А.Н. Ширяев
ВЕРОЯТНОСТЬ
Настоящее учебное пособие представляет расширенный трехсеместровый курс
лекций по теории вероятностей. Нервая часть посвящена элементарной теории
вероятностей и предназначена для первичного ознакомления с предметом. Во
второй части излагаются математические основания теории вероятностей,
базирующиеся на аксиоматике Колмогорова. В третьей части рассматриваются
случайные процессы с дискретным временем — случайные последовательности
(стационарные, марковские, мартингалы). Во введении дан исторический очерк
становления теории вероятностей. В историко-библиографической справке
приводятся источники результатов и указывается дополнительная литература. В
конце каждого параграфа даются задачи. Книга рассчитана на студентов и
аспирантов математических отделений университетов.
ОГЛАВЛЕНИЕ
ПРЕДИСЛОВИЕ	6	игре с бросанием монеты
ВВЕДЕНИЕ	9	§ 10. Случайное блуждание. II. 105
ГЛАВА I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ	14	Нринцип отражения. Закон арксинуса
§ 1. Вероятностная модель эксперимента с конечным числом исходов	14	§11. Мартингалы. Некоторые	114 применения к случайному блужданию
§ 2. Некоторые классические модели и распределения	27	§ 12. Марковские цепи.	121 Эргодическая теорема.
§ 3. Условные вероятности. Независимость	34	Строго марковское свойство
§ 4. Случайные величины и их характеристики	43	ГЛАВА П. МАТЕМАТИЧЕСКИЕ 144 ОСНОВАНИЯ ТЕОРИИ
§ 5. Схема Бернулли. I. Закон	57	ВЕРОЯТНОСТЕЙ
больших чисел		§ 1. Вероятностная модель	144
§ 6. Схема Бернулли. П. Предельные теоремы (локальная, Муавра — Лапласа, Нуассона)	67	эксперимента с бесконечным числом исходов. Аксиоматика Колмогорова
§ 7. Оценка вероятности «успеха» в схеме Бернулли	80	§ 2. Алгебры и о-алгебры.	152 Измеримые пространства
§ 8. Условные вероятности и математические ожидания относительно разбиений	86	§ 3. Способы задания	]66 вероятностных мер на измеримых пространствах
§ 9. Случайное блуждание. I.	94	§ 4. Случайные величины. I	186
Вероятности разорения и		§ 5. Случайные элементы	192
средняя продолжительность при		§ 6. Интеграл Лебега.	197 Математическое ожидание
§ 7.	Условные вероятности и 226
условные математические
ожидания относительно о-
алгебр
§ 8.	Случайные величины. П 248
§ 9.	Построение процесса с 260
заданными
конечномерными
распределениями
§10.	Разные виды сходимости 267
последовательностей
случайных величин
§11.	Гильбертово пространство 279
случайных величин с
конечным вторым
моментом
§12.	Характеристические	292
функции
§ 13.	Гауссовские системы	316
ГЛАВА Ш. СХОДИМОСТЬ	328
ВЕРОЯТНОСТНЫХ МЕР.
ЦЕНТРАЛЬНАЯ
ПРЕДЕЛЬНАЯ ТЕОРЕМА
§ 1.	Слабая сходимость	328
вероятностных мер и
распределений
§ 2.	Относительная компактность 337
и плотность семейств
вероятностных
распределений
§ 3.	Метод характеристических 342
функций в доказательстве
предельных теорем
§ 4.	Центральная предельная 350
теорема
§ 5.	Ьезгранично делимые и	357
устойчивые распределения
ГЛАВА IV.	366
ПОСЛЕДОВАТЕЛЬПОСТ
И И СУММЫ
НЕЗАВИСИМЫХ
СЛУЧАЙНЫХ ВЕЛИЧИН
§ 1.	Законы «нуля или единицы» 366
§ 2.	Сходимость рядов	371
§ 3.	Усиленный закон больших	376
чисел
§ 4.	Закон повторного логарифма 384
ГЛАВА V. СТАЦИОНАРНЫЕ (В 390
УЗКОМ СМЫСЛЕ)
СЛУЧАЙНЫЕ
ПОСЛЕДОВАТЕЛЬПОСТ
И И ЭРГОДИЧЕСКАЯ
ТЕОРИЯ
§ 1.	Стационарные (в узком 390
смысле) случайные
последовательности.
Сохраняющие меру
преобразования
§ 2.	Эргодичность и	393
перемешивание
§ 3.	Эргодические теоремы	396
ГЛАВА VI. СТАЦИОНАРНЫЕ 402
(В ШИРОКОМ СМЫСЛЕ)
СЛУЧАЙНЫЕ
ПОСЛЕДОВАТЕЛЬПОСТ
И. L2 ТЕОРИЯ
§ 1.	Спектральное представление 402
ковариационной функции
§ 2.	Ортогональные	412
стохастические меры и
стохастические интегралы
§ 3.	Спектральное представление 418
стационарных (в широком
смысле)
последовательностей
§ 4.	Статистическое оценивание 430
ковариационной функции и
спектральной плотности
§ 5.	Разложение Вольда	437
§ 6.	Экстраполяция,	445
интерполяция и
фильтрация
§ 7.	Фильтр Калмана—Ььюси и	457
его обобщения
ГЛАВА УП.	467
ПОСЛЕДОВАТЕЛЬПОСТ
И СЛУЧАЙНЫХ
ВЕЛИЧИН,
ОБРАЗУЮЩИЕ
МАРТИНГАЛ
§ 1.	Определения мартингалов и 467
родственных понятий
§ 2.	О сохранении свойства 477
мартингалыюсти при
замене времени на
случайный момент
§ 3.	Основные неравенства	484
§ 4.	Основные теоремы о	496
сходимости
субмартингалов и
мартингалов
§5.0 множествах сходимости 503
субмартингалов и
мартингалов
§ 6.	Абсолютная непрерывность 511
и сингулярность
вероятностных
распределений
§ 7.	Об асимптотике вероятности 524
выхода случайного
блуждания за
криволинейную границу
ГЛАВА УШ.	529
ПОСЛЕДОВАТЕЛЬПОСТ
И СЛУЧАЙНЫХ
ВЕЛИЧИН,
ОБРАЗУЮЩИЕ
МАРКОВСКУЮ ЦЕПЬ
§ 1.	Определения и основные 529
свойства
§ 2.	Классификация состояний 534
марковской цепи по
арифметическим свойствам
переходных вероятностей
/’»’
§ 3.	Классификация состояний 533
марковской цепи по
асимптотическим
свойствам вероятностей
Рп}
§ 4.	О существовании	549
предельных и
стационарных
распределений
§ 5.	Примеры	554
ИСТОРИКО-	562
БИБЛИОГРАФИЧЕСКАЯ
СПРАВКА
ЛИТЕРАТУРА	566
ПРЕДМЕТПЫЙ УКАЗАТЕЛЬ	569
УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ	573
Латинский алфавит	575
Готический алфавит	575
Греческий алфавит	575
ПРЕДМЕТПЫЙ УКАЗАТЕЛЬ
Абсолютная непрерывность мер 212,
213,511
Абсолютно непрерывный тип
распределения 170
Авторегрессионная схема 407
Аксиоматика Колмогорова 144, 149
Аксиомы теории вероятностей 23,
149
Алгебра множеств 21, 145, 152
— тривиальная 21
Альтернатива Гаека — Фельдмана
521
— Какутани 515
Атом разбиения 21
Базис ортонормированный 28;
Байеса теорема 37
— формула 37
Банаховское пространство 277
Белый шум 405
Берри — Эссеена неравенство 75, 356
Борелевская алгебра 157
— функция 186
Борелевское множество 157
— пространство 243
Блуждание частицы 28
Вероятностная модель 14, 23, 144,
149
-----в расширенном смысле 146
Вероятностное пространство 23, 149
-----каноническое 262
-----полное 169
Вероятность 23, 147, 149 г
— апостериорная 37
— априорная 37
— классическая 24
— первого возвращения 538
-----попадания 538
— разорения 94. 99
Винеровская мера 185
Винеровский процесс 326
Взаимная характеристика 476
Вольда разложение 441
Выборки неупорядоченные 15
— упорядоченные 15
Гауссовская система 316, 324
— случайная величина 249. 317
Гауссовский вектор 318
— процесс 326
Гауссовско-марковский процесс 326
Гильбертово пространство 279
-----сепарабельное 284
Двумерная гауссовская плотность
250
Дисперсия 52, 248
Доверительный интервал 84
d-система 165
Задача о размещении 17
— о разорении 95
— о совпадениях 24
Закон арксинуса 112
— больших чисел 57, 347
-------Бернулли 61
-------для марковских цепей 134
-------Пуассона 349, 564
— «нуля или единицы» Бореля 368
-------для гауссовских
последовательностей 522
-----Колмогорова 368, 500
-----Хьюитта и Сэвиджа 370
— повторного логарифма 385
Игла Бюффона 238
Игра благоприятная 473
— неблагоприятная 473
— справедливая 473
Изинга одномерная модель 33
Изометрическое соответствие 419
Измеримая функция 186
Измеримое пространство 146
-----(7?, В (7?)) 156, 166
-----(7?”,В (7?”)) 158, 175
-----(7?°°,В (7?°°)) 159, 178
-----(7?Г,В (7?г)) 161, 182
-----(С,В (С)) 164
-----(D,В (£>)) 164
-----165
«еГ tET
Импульсная переходная функция 423
Инвариантные множества 393, 400
Индикатор множества 44, 64
Интеграл Лебега 197, 199
— Лебега — Стилтьеса 199, 214
— Римана 222
— Римана — Стилтьеса 221
— стохастический 416
Интегральная теорема Муавра —
Лапласа 73
Интегрирование с помощью
подстановка 225
Интерполяция 450
Испытание 41
Исход 14, 150
Квадратическая вариация 489
— характеристика 475
Класс, определяющий сходимость
335
Ковариационная матрица 249
— функция 326, 403
Ковариация 52, 249, 312, 403
Компактность 337
Компенсатор 475
Конечномерные	функции
распределения 261
Корреляционная функция 403
Коэффициент корреляции 52, 249
-----максимальный 259
Кривая регрессии 253
Критерий Карлемана 315
— сходимости Коши 274, 275, 276
Кумулянты 308
Лебеговская мера 169
Лебеговское множество 169
Лемма Бореля — Кантелли 271
— Бореля — Кантелли — Леви 506
— Кронекера 378
— Пратта 226
— Теплица 377
— Фату 203
Линейная независимость 282, 283
Линейное многообразие 281, 284
-----замкнутое 284
Локальная	абсолютная
непрерывность мер 511
Локальная предельная теорема 68
Марковская цепь 121, 124, 267, 529
-----однородная 530
-----стационарная 132
Марковский момент 469
— процесс 263
Марковское свойство 124, 529
Мартингал 114, 467
— квадратично интегрируемый 475
— локальный 470
— обобщенный 469
— обращенный 476
— равномерно интегрируемый 498,
500
Мартингал-разность 474
Мартингальное преобразование 471
Математическое ожидание 48, 197,
199
Матрица ковариации 249
— неотрицательно определенная 305
— переходных вероятностей 124
— псевдообратная 327
Мера абсолютно непрерывная 170,
511
— вероятностная 147
— дискретная 169
— конечно-аддитивная 146
— Лебега 168,169,176,178
— Лебега — Стилтьеса 173
— полная 169
— сингулярная 171
— счетно-аддитивная 146
— конечная 146
Метод моментов 342
— Монте-Карло 239, 383
— наименьших квадратов 508
— характеристических функций 343
Момент остановки 96, 116, 469
Моменты 199
— абсолютные 199, 210
—.смешанные 308
Монотонный класс 153
Паборы неупорядоченные 15, 17, 183
— упорядоченные 15, 17, 183
Пезависимость 34, 39
— алгебр 39
— линейная 282, 283
— случайных величин 46, 195
-----элементов 195
— событий 39
— приращений 326
Некоррелированность 53, 249
Неравенства Бесселя 281
— Буркхольдера 489
— Гельдера210
— Дворецкого 496
— Дуба 485
— Дэвиса 490
— Йенсена 209
— Колмогорова 371, 487
— Коши — Буняковского 49, 209
—	Леви 389
—	Ляпунова 210
Неравенства Маркова 563
—	Марцинкевича — Зигмунда 489
—	Минковского 211
—	Рао — Крамера 83
—	Оттавиани 496
—	Чебышева 58, 209
—	Хинчина 489
Норма 276
Нормальные числа 382
Обобщенная теорема Байеса 245
—	функция распределения 173
Обновляющая последовательность
439
Обратное уравнение 129
Оператор сдвига 533
Определяющий класс 335
Ортогонализация Грама — Шмидта
283
Ортогональные меры 511
Относительная компактность 338
Отношение правдоподобия 121
Отображение измеримое 391
—	сохраняющее меру 391
Оценивание	ковариационной
функции 430
—	спектральной плотности 432
Оценка 53, 81, 251, 465
— несмещенная 81
— оптимальная 53, 54, 251, 281, 441
----состоятельная 81
— эффективная 81
Оценки спектральной плотности
Бартлета 435
-------Журбенко 435
-------Нарзена 435
Неремешивание 395
Нересечение множеств 20, 150
Нереходная вероятность 124, 263,
531
Периодограмма 433
Перпендикуляр 281
Плотность 170, 176, 177, 213
Плотность семейств распределений
338
Полиномы Бернштейна 66
— Пуассона —Шарлье 286, 287
— Эрмита 285, 286
Полнота 169, 276, 277, 279
Полунорма 276
Последовательности	почти-
периодические 404
— регулярные 438
— сингулярные 438
— скользящего среднего 406
— стационарные в узком смысле 390
----в широком смысле 402
— частично-наблюдаемые 453
Почти наверное (почти всюду) 201
Предсказуемая последовательность
467
Представления Леви — Хинчина 360,
364
Принцип отражения 107
— подходящих множеств 154
Продолжение меры 224
Проекция 281
Производная Радона — Никодима
213
Простое случайное блуждание 554
Пространство исходов 14
— элементарных событий 14
Процесс броуновского движения 326
— ветвящийся 126
— винеровский 326
— гауссовский 326
— гауссовско-марковский 326
— марковский 263
— с независимыми приращениями
326
— условно винеровский 326
Прямое произведение мер 41
-----пространств 41, 165
Прямое произведение о-алгебр 158
— уравнение 129
Пустое множество 21, 150
Равенство Парсеваля 285
Равномерная интегрпруемость 204
Разбиение 21, 311
Разложения Вольда 441
— Дуба 475
— Крикеберга 495
— Лебега 512
Размещения 16
Разность множеств 21, 150
Распределение безгранично делимое
357
— бернуллиевское 45, 170
— бета 172
— биномиальное 28, 45, 170
— гамма 172
— гауссовское 172, 177
— геометрическое 170
— гипергеометрическое 32
— двустороннее экспоненциальное
172
— дискретное 169
-----равномерное 170
— инвариантное 131
— Коши 172
— логарифмически нормальное 255
— многомерное 46, 175
-----гипергеометрическое 32
— мультиномиальное 31
— нормальное 172, 177
— отрицательно биномиальное 170
— Пуассона 77, 170
— равномерное 172
— сингулярное 171
— стационарное 131, 132
— Стьюдента 172, 258
— устойчивое 357
— хи 258
— хи-квадрат 172, 258
— экспоненциальное 172
Распределение	вероятностей
процесса 194
-----случайной величины 45, 186
Расстояние Леви 337
Расширенная случайная величина 188
Регулярные условные вероятности
240
-----распределения 241
— функции распределения 241
Свертка распределений 256
Секвенциальная компактность 339
Семиинварианты 308
Симметрическая разность множеств
55, 150
Сингулярные меры 511
Система ортонормированная 280
Скалярное произведение 279
Слабая сходимость 329, 331
Случайная величина 43, 186
-----абсолютно непрерывная 187
-----дискретная 186
-----инвариантная 394
-----комплексная 194
-----непрерывная 187
-----простая 186
Случайное блуждание 94, 105
Случайные векторы 46
— последовательности 194, 326
— процессы с дискретным временем
194
-----с непрерывным временем 194,
326
-----с ортогональными
приращениями 416
Случайные элементы 192
Смешанная модель авторегрессии и
скользящего среднего 409
Событие 20
Событие достоверное 21
— невозможное 21
События перестановочные 370
Согласованности свойство 178
— условие 261
Состояния цепи апериодические 537
-----возвратные 539
-----достижимые 535
-----невозвратные 539
-----несущественные 534
-----нулевые 539
-----положительные 539
-----сообщающиеся 535
-----существенные 535
Сочетания 16
Спектральная мера 410
— плотность 411
— функция 410
Спектральное представление
ковариационной функции 409
-----стационарной
последовательности 418
Спектральные окна 435
Среднее значение 48
Средняя длительность блуждания 94,
101
Стандартное отклонение 248
Статистика Бозе — Эйнштейна 18, 19
— Максвелла — Больцмана 18, 19
— Ферми — Дпрака 18, 19
Статистическая независимость 34
Стохастическая матрица 124
-----дважды 553
— мера 412
-----конечно-аддитивная 413
-----ортогональная 413
-----элементарная 413
— последовательность 467
Стохастический интеграл 415
Строго марковское свойство 139
Структурная функция 414
Субмартингал 467
Сужение меры 181
Сумма множеств 21, 150
Супермартингал 468
Схема Бернулли 57
— серий 348
Сходимость в основном 331, 336
— в среднем квадратическом 268
-------порядка р 268
—	в смысле Lp 268
—	с вероятностью единица 268
—	по вероятности 268
—	по распределению 268
—	почти всюду 268
—	почти наверное 268
—	рядов 371
(5-алгебра 146, 152, 190
—	остаточная 367
—	хвостовая 367
Теоремы Берри — Эссеена 75, 356
—	Бпркгофа — Хинчина 396
—	Бохнера — Хинчина 305
—	Вейерштрасса 66
— Герглотца 409
— Дуба 477, 485, 494
— Ионеску Тулчи 264
— Кантелли 376
— Каратеодори 167
— Колмогорова 178, 182, 261, 374,
377, 379, 444, 451
— Колмогорова — Хинчина 371
— Лебега о мажорируемой
сходимости 204
— Леви 499
— Макмиллана 65
— Марцинкевича 306
Теоремы Муавра — Лапласа 73
— непрерывности 343
—о баллотировке 118
— о двух рядах 373
— о замене переменных под знаком
интеграла Лебега 213
— о монотонной сходимости 202
— о нормальной корреляции 323
— о сходимости под знаком
условных математических
ожиданий 232
— о трех рядах 374
— Пойа 305
— Прохорова 338
— Пуассона 76, 349
— Радона — Пико дима 213
— Фубини 215
— Хелли 340
— центральная предельная 343, 347,
350
— эргодическая 130, 396, 400
Тождества Вальда 480
Уравнение Колмогорова — Чэпмена
128, 263,531
— обратное 129
— прямое 129
Уровень значимости 84
Усиленный закон больших чисел
376, 379
Условие Линдеберга 350
— Ляпунова 354
Условная вероятность 34
-----относительно разбиений 87
-------случайных величин 87, 88,
229
-------(5-алгебр 226, 228
-----регулярная 240
Условное математическое ожидание
86
-------в широком смысле 281
-------относительно разбиений 89
----------случайных величин 92,
229
----------событий 226, 234
----------о -алгебр 226, 227
Фазовое пространство 124
Фильтр 423
— Калмана — Бьюси 457
— физически осуществимый 423
Фильтрация 453
Формула обращения 301 .
— полной вероятности 36, 87, 90
Формула связи моментов и
семиинвариантов 309
— Сеге — Колмогорова 456
— Стерлинга 33
— умножения вероятностей 37
Фундаментальное тождество Вальда
481
Фундаментальность в среднем 269,
276
— по вероятности 269, 275
— с вероятностью единица 269, 274
Функции верхние 384
— нижние 384
— Радемахера 287
— распределения 45, 46, 166, 187,
261
— Хаара 288, 289
Характеристика взаимная 476
— квадратическая 475
Характеристическая функция 292
-----множеств 44
Центральная предельная теорема 343,
347, 350
Цепь Маркова 529
-----апериодическая 538
-----возвратная 546, 547
-----дискретная 530
-----конечная 530
-----неразложимая 535, 547
-----однородная 530
-----положительная 546
Цепь Маркова
-----стационарная 132
-----эргодическая 534, 547
Циклические подклассы 536
Цилиндрические множества 160, 162
Частота 57
Частотная характеристика фильтра
423
Эквивалентные меры 511
Экран отражающий 558, 559
— поглощающий 555, 557
Экстраполяция 445
Элементарное событие. 14, 150
Энтропия распределения 63
Эргодическая теорема 130, 396, 400
Эргодичность 130, 394
ПРЕДИСЛОВИЕ
В основу настоящего учебного пособия положен трехссмест-
ровый курс лекций, который читался автором в течение ряда
лет на механико-математическом факультете Московского госу-
дарственного университета и был частично издан ротапринтным
способом под названием «Вероятность, статистика, случайные
процессы, I, II», изд-во МГУ.
В соответствии с традицией первая часть курса (примерно
один семестр) отводится на элементарную теорию вероятностей
(глава I). Изложение начинается с построения вероятностных
моделей с конечным числом исходов и введения основных веро-
ятностных понятий таких, как элементарные события, события,
вероятность, независимость, случайные величины, математиче-
ские ожидания, корреляция, условные вероятности и др.
Многие вероятностно-статистические закономерности хорошо
прослеживаются уже на примере простейшего случайного блуж-
дания, порожденного схемой Бернулли. В связи с этим для этого
случая излагаются как классические результаты (закон боль-
ших чисел, локальная и интегральная теоремы Муавра и Лап-
ласа), так и более современные результаты (например, закон
арксинуса).
Завершается первая глава рассмотрением зависимых случай-
ных величин, образующих мартингал и марковскую цепь.
Главы II—IV являются расширенным изложением второй
части курса (второй семестр). Здесь излагается (глава II) став-
шая общепринятой аксиоматика теории вероятностей А. Н. Кол-
могорова и дается математический аппарат, составляющий ар-
сенал средств современной теории вероятностей (о-алгебры, ме-
ры и способы их задания, интеграл Лебега, случайные величины
и случайные элементы, характеристические функции, условные
математические ожидания относительно а-алгебр, гауссовские
системы и др.). Следует отметить, что два результата теории
меры — теорема Каратеодори о продолжении меры и теорема
Радона-Никодима — принимаются без доказательства.
Третья глава посвящается вопросам слабой сходимости ве-
роятностных распределений и методу характеристических функ-
ций в доказательстве предельных теорем. Вводятся понятия от-
ПРЕДИСЛОВИЕ
7
носительной компактности и плотности семейства вероятностных
распределений и доказывается (для случая числовой прямой)
теорема Ю. В. Прохорова об эквивалентности этих понятий.
К этой же части курса отнесено рассмотрение свойств
«с вероятностью единица» для последовательностей и сумм не-
зависимых случайных величин (глава IV). Приводятся доказа-
тельства законов «нуля или единицы» (Колмогоров, Хьюитт и
Сэвидж), критерии сходимости рядов и даются условия спра-
ведливости усиленного закона больших чисел. Закон повтор-
ного логарифма формулируется для произвольных последова-
тельностей независимых одинаково распределенных случайных
величин с конечным вторым моментом и доказывается в
предположении, что эти величины имеют гауссовское распреде-
ление.
Наконец, третья часть курса (главы V—VIII) отводится слу-
чайным процессам с дискретным временем (случайным последо-
вательностям). Главы V и VI посвящены теории стационарных
случайных последовательностей, где стационарность понимается
как в узком, так и широком смыслах. Изложение теории ста-
ционарных в узком смысле случайных последовательностей ве-
дется с привлечением понятий эргодической теории: сохраняю-
щее меру преобразование, эргодичность, перемешивание. ... При-
водится простое доказательство (данное А. Гарсиа) макси-
мальной эргодической теоремы, что позволяет дать и простое
доказательство эргодической теоремы Биркгофа.— Хпнчина.
Рассмотрение стационарных в широком смысле случайных
последовательностей начинается с доказательства спектраль-
ного представления для ковариационной функции. Затем вво-
дятся ортогональные стохастические меры, интегралы по ним
и доказывается спектральное представление для самих после-
довательностей. Рассмотрен также ряд статистических задач:
оценивание ковариационной функции и спектральной плотности,
экстраполяция, интерполяция и фильтрация. В эту же главу
включен также материал, относящийся к фильтру Калмана —
Бьюси и его обобщениям.
В седьмой главе рассматриваются основные результаты тео-
рии мартингалов и родственных понятий. Излагаемый здесь
материал стал включаться в традиционные курсы теории веро-
ятностей лишь сравнительно недавно. В последней главе, посвя-
щенной марковским цепям, основное внимание уделяется во-
просам асимптотического поведения цепей Маркова со счетным
множеством состояний.
В конце каждого параграфа приводятся задачи, значимость
которых может быть различной: в одних из них предлагается
доказать утверждения, сформулированные, но не доказанные в
основном тексте, другие содержат утверждения, используемые
$	ПРЕДИСЛОВИЕ
в последующем изложении, третьи преследуют цель дать допол-
нительные сведения к рассматриваемому кругу вопросов и, на-
конец, некоторые носят характер простых упражнении.
При составлении курса и настоящего пособия автор исполь-
зовал разнообразную литературу по теории вероятностей.
В историко-библиографической справке указываются как источ-
ники приводимых результатов, так и дополнительная литерату-
ра, относящаяся к рассматриваемому материалу.
В книге применяется следующая нумерация и система ссы-
лок. Каждый параграф содержит свою нумерацию теорем, лемм
и формул (без указания номера главы и параграфа). При ссыл-
ке на соответствующий результат из другого параграфа той же
главы применяется двойная нумерация, где первая цифра ука-
зывает номер параграфа (так, ссылка на формулу (2.10) озна-
чает формулу (16) из § 2). При ссылке на результаты из другой
главы используется тройная нумерация (так, формула (П.4.3)
означает формулу (3) из § 4 главы II).
Автор пользуется здесь случаем поблагодарить А. Н. Кол-
могорова, Б. В. Гнеденко, Ю. В. Прохорова, которые его учили
и у которых он учился теории вероятностей и советами которых
он имел возможность пользоваться. Автор приносит также свою
признательность сотрудникам кафедр теории вероятностей и ма-
тематической статистики механико-математического факультета
МГУ и сотрудникам отдела теории вероятностей Математиче-
ского института им. В. А. Стеклова АН СССР за обсуждения
и советы.
Москва,
декабрь 1979
Л. Ширяев
ВВЕДЕНИЕ
Предметом теории вероятностей является математический
анализ случайных явлений, т. е. таких эмпирических феноменов,
которые — при заданном комплексе условий — могут быть оха-
рактеризованы тем, что
Для них отсутствует детерминистическая регулярность
(наблюдения над ними не всегда приводят к одним и
тем же исходам)
и в то же самое время
Они обладают некоторой статистической регулярностью
(проявляющейся в статистической устойчивости частот).
Поясним сказанное па классическом примере «честного»
подбрасывания «правильной» монеты. Ясно, что заранее невоз-
можно с определенностью предсказать исход каждого подбрасы-
вания. Результаты отдельных экспериментов носят крайне не-
регулярный характер (то «герб», то «решетка») и кажется, что
это лишает нас возможности познать какие-либо закономерно-
сти, связанные с этими экспериментами. Однако, если провести
большое число «независимых» подбрасываний, то можно заме-
тить, что для «правильной» монеты будет наблюдаться вполне
определенная статистическая регулярность, проявляющаяся в
том, что частота выпадания «герба» будет «близка» к '/2.
Статистическая устойчивость частот делает весьма правдопо-
добной гипотезу о возможности количественной оценки «случай-
ности» того или иного события А, осуществляемого в резуль-
тате экспериментов. Исходя из этого, теория вероятностей посту-
лирует существование у события А определенной числовой
характеристики Р (Л), называемой вероятностью этого события,
естественное свойство которой должно состоять в том, что с
ростом числа «независимых» испытаний (экспериментов) часто-
та появления события А должна приближаться к Р (Л).
Применительно к рассмотренному примеру это означает, что
вероятность события Л, состоящего в выпадании «герба» при
бросании «правильной» монеты, естественно считать равной ’/г-
10
ВВЕДЕНИЕ
Число подобных примеров, в которых интуитивное представ-
ление о численном значении вероятности того или иного собы-
тия складывается весьма легко, можно без труда приумножить.
Однако все они будут носить сходный характер и сопровождать-
ся неопределенными (пока) понятиями типа «честное» подбра-
сывание, «правильная» монета, «независимость» и т. п.
Призванная изучать количественные характеристики «слу-
чайности», теория вероятностей, как и всякая точная наука,
стала таковой лишь тогда, когда было четко сформулировано
понятие вероятностной модели, когда была создана ее аксиома-
тика. В этой связи естественно хотя бы кратко остановиться на
основных этапах становления теории вероятностей.
Возникновение теории вероятностей как науки относится к
середине XVII века и связано с именами Паскаля (1623—1662),
Ферма (1601 —1665), Гюйгенса (1629—1695). Хотя отдельные
задачи, касающиеся подсчета шансов в азартных играх, рас-
сматривались ранее — в XV—XVI вв. итальянскими математика-
ми (Кардано, Пачоли, Тарталья и др.), первые общие методы
решения таких задач были, по-видимому, даны в знаменитой
переписке между Паскалем и Ферма, начавшейся в 1654 г., и в
первой книге по теории вероятностей «De Ratiociniis in Aleae
Ludo» («О расчетах в азартной игре»), опубликованной Гюй-
генсом в 1657 г. Именно в этот период вырабатывается важное
понятие «математическое ожидание», устанавливаются теоремы
сложения и умножения вероятностей.
Истинная история теории вероятностей начинается с работы
Я. Бернулли (1654—1705) «Ars Conjectandi» («Искусство пред-
положения»), опубликованной в 1713 г., в которой была дока-
зана (и вполне строго) первая предельная теорема теории
вероятностей — закон больших чисел, и работы Муавра (1667—
1754) «Miscellanea Analytica Suppiementum» (примерный пере-
вод может быть таков: «Аналитические методы» или «Аналити-
ческая смесь»), 1730 г., в которой впервые была сформулирована
и доказана (в симметричной схеме Бернулли) так называемая
центральная предельная теорема.
Я. Бернулли был, вероятно, первым, кто осознал важность
рассмотрения бесконечных последовательностей повторных ис-
пытаний и кто делал четкое различие между понятием вероят-
ности события и частоты его появления. Муавру принадлежит
заслуга в определении таких понятий, как независимость, мате-
матическое ожидание, условная вероятность.
В 1812 г. выходит большой трактат Лапласа (1749—1827)
«Theorie Analytique des Probabilites» («Аналитическая теория
вероятностей»), в которой он излагает свои собственные резуль-
таты в области теории вероятностей, а также результаты своих
предшественников. В частности, он обобщил теорему Муавра на
ВВЕДЕНИЕ
11
общий (несимметричный) случай схемы Бернулли, раскрыв тем
самым более полным образом значение результата Муавра.
Весьма значителен вклад Лапласа, состоящий в применении
вероятностных методов к теории ошибок наблюдений. Именно
им была высказана плодотворная идея, что ошибка наблюдений
должна рассматриваться как суммарный эффект сложения боль-
шого числа независимых элементарных ошибок. Отсюда следо-
вало, что при достаточно общих условиях распределение оши-
бок наблюдений по крайней мере приближенно должно быть
нормальным.
К этому же периоду в развитии теории вероятностей, когда
центральное место в исследованиях занимали предельные тео-
ремы, относятся работы Пуассона (1781 —1840) и Гаусса
(1777—1855).
С именем Пуассона в современной теории вероятностей свя-
зано понятие распределения и процесса, носящих его имя. Гаус-
су принадлежит заслуга создания теории ошибок и, в частности,
обоснование одного из ее основных принципов — метода наи-
меньших квадратов.
Следующий важный период в развитии теории вероятностей
связан с именами П. Л. Чебышева (1821—1894), А. А. Маркова
(1856—1922), А. М. Ляпунова (1857—1918), создавших эффек-
тивные методы доказательства предельных теорем для сумм
независимых произвольно распределенных случайных величин.
Число публикаций Чебышева по теории вероятностей неве-
лико — их всего четыре, но их роль в теории вероятностей и в
создании классической русской школы теории вероятностей
трудно переоценить.
«С методологической стороны основной переворот, совершен-
ный Чебышевым, заключается не только в том, что он впервые
с полной настойчивостью выдвинул требование абсолютной стро-
гости доказательства предельных теорем... но главным образом
в том, что Чебышев всюду стремился получить точные оценки
отклонений от предельных закономерностей, возможных при
хотя бы и большом, но конечном числе испытаний, в виде безус-
ловно правильных при любом числе испытаний неравенств»
(Колмогоров А. Н. [30]). До Чебышева основной интерес в
теории вероятностей был связан с подсчетом вероятностей слу-
чайных событий. Им же впервые было ясно осознана и исполь-
зована вся сила понятия случайной величины и математического
ожидания случайной величины.
Лучшим выразителем идей Чебышева был его ближайший
ученик Марков, которому принадлежит несомненная заслуга
доведения до полной ясности результатов своего учителя. Зна-
чительным вкладом Маркова в теорию вероятностей явилось
начатое им исследование предельных теорем для сумм зависи-
12
ВВЕДЕНИЕ
мых случайных величин и создание одного из новых разделов
теории вероятностей — теории зависимых случайных величин,
связанных, как теперь принято говорить, в цепь Маркова.
«...классический курс исчисления вероятностей А. А. Маркова
и его оригинальные мемуары, являющиеся образцом точности
и ясности изложения, в наибольшей степени содействовали пре-
вращению теории вероятностей в одну из самых совершенных
областей математики и широкому распространению направления
и методов Чебышева» (Бернштейн С. Н. [3]).
Для доказательства центральной предельной теоремы теории
вероятностей (о сходимости к нормальному закону) Чебышев и
Марков применили так называемый метод моментов. При более
общих условиях и более простым методом — методом характе-
ристических функций эта теорема была получена Ляпуновым.
Последующее развитие теории показало, что метод характеристи-
ческих функций является мощным аналитическим средством
доказательства самых разнообразных предельных теорем.
Современный период в развитии теории вероятностей начи-
нается с установления аксиоматики. Первые работы в этом
направлении принадлежат С. Н. Бернштейну (1880—1968),
Р. Мизесу (1883—1953), Э. Борелю (1871 — 1956). В 1933 г.
вышла книга А. Н. Колмогорова «Основные понятия теории
вероятностей», в которой была предложена аксиоматика, полу-
чившая всеобщее признание и позволившая охватить не только
все классические разделы теории вероятностей, но и дать стро-
гую основу для развития ее новых разделов, вызванных запро-
сами естествознания и связанных с бесконечномерными распре-
делениями.
Изложение в настоящей книге основано на аксиоматическом
подходе Колмогорова. При этом, чтобы формально-логическая
сторона дела не заслоняла интуитивных представлений, наше
изложение начинается с элементарной теории вероятностей,
«элементарность» которой состоит в том, что в соответствующих
вероятностных моделях рассматриваются эксперименты лишь с
конечным числом исходов. После этого мы даем изложение основ
теории вероятностей в ее наиболее общем виде.
Начиная с 20—30 годов в теории вероятностей бурно разви-
вается один из ее новых разделов — теория случайных процес-
сов, занимающаяся изучением семейств случайных величин, эво-
люционирующих во времени. Была создана теория марковских
процессов, теория стационарных процессов, теория мартингалов,
теория предельных теорем для случайных процессов. К недавне-
му времени относится возникновение теории информации.
Основное внимание в настоящей книге уделяется случайным
процессам с дискретным временем — случайным последователь-
ностям. Однако тот материал, который излагается во второй
ВВЕДЕНИЕ	13
главе, дает основательную базу (прежде всего логического ха-
рактера), необходимую при изучении общей теории случайных
процессов.
К 20—30 годам относится и зарождение математической ста-
тистики как отдельной математической дисциплины. В опреде-
ленном смысле математическая статистика занимается задача-
ми, обратными к задачам теории вероятностей. Если основная
цель теории вероятностей — подсчет вероятностей сложных со-
бытий для данной вероятностной модели, то математическая
статистика ставит перед собой обратную задачу — выявление
структуры вероятностно-статистических моделей по результатам
наблюдений за теми или иными сложными событиями.
Отдельные задачи и методы математической статистики так-
же излагаются в настоящей книге. Однако достаточно полно
здесь представлена лишь теория вероятностей и теория случай-
ных процессов с дискретным временем.
ГЛАВА I
ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
§ 1.	Вероятностная модель эксперимента
с конечным числом исходов
1.	Рассмотрим некоторый эксперимент, все мыслимые исходы
которого описываются конечным числом различных исходов
(о1( ..., иЛг. Для нас несущественна реальная природа этих исхо-
дов, важно лишь то, что их число N конечно.
Исходы сор ..., соЛ- будем называть элементарными событиями,
а их совокупность
Q = {(Bj, ..., cdjV}
(конечным) пространством элементарных событий или простран-
ством исходов.
Выделение пространства элементарных событий представляет
собой первый шаг в формулировании понятия вероятностной
модели того или иного эксперимента. Рассмотрим несколько при-
меров описания структуры пространства элементарных событий.
Пример 1. При однократном подбрасывании монеты про-
странство исходов Q состоит из двух точек;
Q = {Г, Р},
где Г —«герб», Р —«решетка». (Мы исключаем возможности типа
«монета стала на ребро», «монета исчезла» и т. п.)
Пример 2. При n-кратном подбрасывании монеты простран-
ство элементарных событий
Q = {ю: & = (ау, ..., а„), а(- = Г или Р}
и общее число N (Q) исходов равно 2”.
Пример 3. Пусть сначала подбрасывается монета. Если
выпадет «герб», то бросается шестигранная кость (с цифрами 1,
2, 3, 4, 5, 6), если же выпадает «решетка», то снова подбрасы-
вается монета. Пространство элементарных событий данного
§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
15
эксперимента будет таким:
Й = {Г1, Г2, ГЗ, Г4, Г5, Гб, РГ, РР}.
Рассмотрим теперь более сложные примеры, связанные с раз-
ными способами выбора п шаров из урны, содержащей М раз-
личных шаров.
2.	Пример 4. Выбор с возвращением. Так называют экспе-
римент, в котором на каждом шаге извлеченный шар возвращается
обратно. В этом случае каждая выборка из п шаров может быть
записана в виде (ах, ..., ап), где —номер шара, извлеченного
на i-м шаге. Понятно, что в случае выбора с возвращением каж-
дое Я/ может принимать любое из М значений 1, 2, .... Л1.
Описание пространства элементарных событий существенно зави-
сит от того, считаем ли мы выборки тождественного состава
такие, как, скажем, (4, 1, 2, 1) и (1, 4, 2, 1), различными или
одинаковыми. В связи с этим принято различать два случая:
упорядоченные выборки и неупорядоченные выборки. В первом
случае выборки, состоящие из одних и тех ясе элементов, но
отличающиеся порядком следования этих элементов, объявляются
различными. Во втором случае порядок следования элементов не
принимается во внимание и такие выборки объявляются тождест-
венными. Чтобы подчеркнуть, какие конкретно выборки мы рас-
сматриваем, будем для упорядоченных выборок использовать
обозначение (аг.....ял), а для неупорядоченных — [щ, ..., яга].
Итак, в случае упорядоченных выборок пространство элемен-
тарных событий Q имеет следующую структуру:
П = {ы: <о = (я1, ..., я„), at = 1, ..., М}
и число (различных) исходов
(Q) = ЛИ.	(I)
Если же рассматриваются неупорядоченные выборки, то
Й = {со: ® = [ях, ..., я„], яг=1, .... Л4}.
Понятно, что N (Q) (различных) неупорядоченных выборок
меньше, чем число упорядоченных. Покажем, что для этого случая
N^) = CnM + n^,	(2)
/ k\
где Ck =	~ число сочетаний из k элементов по I.
Будем вести доказательство по индукции. Обозначим N (М, п)
число интересующих нас исходов. Ясно, что для всех 1г^М
N (k, l) = fc = Q,
Предположим теперь, что N (k, п) = d+n-i> ks^M, и покажем,
что эта формула остается справедливой при замене п на n-j-1.
16
ГЛ. I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
При рассмотрении неупорядоченных выборок [а,,	ал+1] можно
считать, что их элементы расположены в порядке неубывания:
Cj sg а, С... < ап+1. Очевидно, что число неупорядоченных выборок
с а(=1 равно N (М, п), с щ = 2 равно N (.VI — 1, п) и т. д. Сле-
довательно,
7V(Af, п4-1) = Л1(М, н) 4-W (Al - 1, /1)4-...4-Л’ (1, п) =
— С.м + п—1 4~ См _ 14. 1 4-.., 4- Сп =
= (СлД-« ~ См+«—i) + (См'1Л11 - л —	14-л — i) 4~  • •
I (С'! + ' Сп\ I Л"*! —
. . . 4- (С,; 4-1   СП) 4" =- Ь -И 4- П1
где мы воспользовались следующим легко проверяемым свойством
биномиальных коэффициентов:
cl-^c^cUi.
Пример 5. Выбор без возвращения. Будем предполагать, что
п М и что извлеченные шары обратно не возвращаются. В этом
случае также рассматриваются две возможности, связанные с раз-
личением упорядоченных и неупорядоченных выборок.
В случае упорядоченных выборок без возвращения простран-
ство исходов
Q = {co: со = (о^, .... ап), аг^= а.,--^.. .=£ а„, at = 1, .... М},
а число элементов этого множества (называемых размещениями)
равно Л-1 (М — 1)... (М. — п 4- 1). Для этого числа используется
обозначение (Л1)„, или Ам, называемое «числом размещений из Л1
по //».
В случае неупорядоченных выборок (называемых сочетаниями)
пространство исходов
О {то. со~|4-£, ..., пя], й, -А- аг	ап, щ — 1, ..., Л4),
состоит из
N(Q)=Cm	(3)
элементов. Действительно, из каждого неупорядоченного набора
[п1( ..., а„], состоящего из различных элементов, можно получить
ровно п\ упорядоченных наборов. Следовательно,
N (£1)-п\ = (М)п
и, значит,
N (Й)=<^ = ГЛ1.
Результаты о числе исходов в случае п извлечений из урны
с М шарами сведем в табл. 1,
§ t. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
17
Таблица 1
	ПП	С возвраще- нием
ил	рп	Без возвра- щения
Упорядо- ченный	Не упорядо- ченный	\Bi>i5op На5ор\
Для случая М = 3 и п = 2 структура соответствующих прО'
странств элементарных событий приводится в табл. 2.
Таблица 2
(1,1) (1,2) (1,3) (2,1) (2,2) (2,3) (3,1) (3,2) (3,3)	[1,1] [2,2] [3,3] .[1,2] [7,3]. [2,3]	С возвраще- нием
(1,2) (1,3) (2,1) (2,3) (3,1) (3,2)	[1,2] [1,3] [2,3]	Без возвраще- ния
У пор я до- ученный	Неу наряда- - ченный	\Вы6ор Нз5ар\
Пример 6. Размещение дробинок по ячейкам. Рассмотрим
вопрос о структуре пространства элементарных событий в задаче
размещения п дробинок (шаров и т. п.) по /И ячейкам (ящикам
и т. п.). В статистической физике подобная задача возникает,
например, при изучении распределения п частиц (это могут быть
протоны, электроны, ...) по Л1 состояниям (это могут быть энер-
гетические уровни).
Пусть ячейкам присвоены номера 1, 2, ..., М, и предположим
сначала, что дробинки различимы (имеют номера 1, 2, ..., п).
Тогда распределение п дробинок по М' ячейкам полностью опи-
сывается (упорядоченным) набором (alt ..., ап), где а{ — номер
ячейки, куда попала дробинка с номером i. Если же рассматри-
ваемые дробинки неразличимы, то их распределение по М ячей-
18
ГЛ I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
кам полностью описывается (неупорядоченным) набором [оу, ...
,ап\, где оу —номер ячейки, в которую попала дробинка на
t-м шаге.
Сравнивая рассматриваемую ситуацию с примерами 4 и 5,
видим, что имеют место следующие соответствия:
(упорядоченные выборки}	(различимые дробинки},
(неупорядоченные выборки}	(неразличимые дробинки),
означающие, что случаю упорядоченных (неупорядоченных) выбо-
рок в задаче выбора п шаров из урны с М шарами соответствует
(один и только один) случай расположения различимых (неразли-
чимых) дробинок в задаче размещения п дробинок по М ячейкам.
Аналогичный смысл имеют также следующие соответствия:
. г	, !в ячейке может находиться любое)
(выоор с возвращением)	дробинок	],
. „ г	. /в ячейке может находиться не\
(выоор без возвращения)	одноЛ дробинки	).
Из этих соответствий можно сконструировать соответствия типа:
/неупорядоченные выборки-
в задаче выбора без воз-
вращения
'неразличимые дробинки в задаче-
их размещения по ячейкам, когда
в каждой из них не может нахо-
диться более одной дробинки
и т. д., что дает возможность использовать примеры 4 и 5 для
описания структуры пространства элементарных событий в задаче
распределения различимых и неразличимых дробинок по ячейкам
с запретом (в ячейке может находиться не более одной дробинки)
или без запрета (в ячейке может находиться любое число дро-
бинок).
Табл. 3 показывает структуру расположения двух дробинок
по трем ячейкам. В случае различимых дробинок они обозна-
чаются Б (белая) и Ч (черная). В случае неразличимых дробинок
их наличие в ячейке обозначается знаком +.
Указанная выше двойственность между рассматриваемыми
задачами позволяет очевидным образом найти число исходов
в задаче размещения дробинок по ячейкам. Соответствующие
результаты, включающие в себя также и результаты табл. 1,
сведены в табл. 4.
В статистической физике говорят, что различимые (неразли-
чимые) частицы, не подчиняющиеся принципу запрета Паули,
удовлетворяют (физической) статистике Максвелла — Больцмана
(соответственно — статистике Бозе—Эйнштейна). Если же частицы
неразличимы и подчиняются принципу запрета, то —статистике
Ферми —Дирака (см. табл. 4). Известно, например, что электроны,
§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ'
39
протоны и нейтроны подчиняются статистике Ферми — Дирака.
Фотоны и пи-мезоны — статистике Бозе —Эйнштейна. Известно
также, что случай различимых частиц, подчиняющихся принципу
запрета, в физике не встречается.
Таблица 3
|gy| 1 ПФ1 1и м	F+miwnm+H	
		*3
W II 1^1) 1 Иу|	1±Ш	1 til	Ш	
		с?
всшевдешд	1 н+1	
[yg| I EZE®
EZE®
Различимые
дробинки
№П EEEZS
Г~Я+1
Неразличимые
дробинки
Таблица 4
N(£2) в задаче размещения .7 дробинок
по М ячейкам
\ Тип Раз\^би- не- 1л,ение\.	Различимые дробинки	Неразличимые дробинки
£ез запрета	п м ( статистика. НаксВелла- - Больцмана )	п” ° M+n-f ( статистика Бозе - Эйнштей- на)
С запретом	(м)п	Гп ( статистика Ферни-Дирака )
Упорядоченные
выборки
Неупорядоченные
выборки
N (£2) в задаче выбора п шаров из
урны с М шарами
3.	Наряду с понятием пространства элементарных событий
введем теперь важное понятие события.
Экспериментаторы обычно интересуются не тем, какой кон-
кретно исход имеет место в результате испытания, а тем, принад-
20
ГЛ I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
лежит ли исход тому или иному подмножеству всех исходов.
Все те подмножества А <= Q, для которых по условиям экспери-
мента возможен ответ одного из двух типов: «исход со е А» или
«исход со А»,— будем называть событиями.
Например, пусть осуществляется трехкратное подбрасывание
монеты. Пространство всех исходов Q состоит из восьми точек
Й = {ГГГ, ГГР, РРР}
и если мы в состоянии записать (зафиксировать, «измерить» и
т. п.) результаты всех трех подбрасываний, то, скажем, множество
А = 'ГГГ, ГГР, ГРГ, РГГ}
является событием, состоящим в том, что выпадет по крайней
мере два «герба». Однако если мы мож^м зафиксировать лишь
результат г ервого подбрасывания, то рассмасриваемое мне жество А
нельзя будет называть событием, поскольку нельзя дать ни утвер-
дительного, ни отрицательного ответа на вопрос о том, принад-
лежит ли конкретный исход от множеству А.
Отправляясь от некоторой заданной системы множеств, являю-
щихся событиями, можно образовывать новые события, отвечаю-
щие конструкциям высказываний с логическими связками «или»,
«ь» и «не», чему на языке теории множеств соответствуют опера-
ции «объединения», «пересечения», «дополнения».
Если А и В —два множества, то под их объединением, обоз-
начаемым A (J В, понимается множество, состоящее из точек,
входящих пли в А, пли в В:
AjB = {weQ: юеЛ или оеВ}.
На языке теории вероятностей А В — событие, состоящее в том,
что произошло или событие А, или событие В.
Пергачение двух множеств А и В, обозначаемое А|~|В, или
АВ, есть множество, сссюяшде из точек, входящих и в Л и в В:
А П В = {со ед Q; со ед А и со ед В}.
Событие А(]В состоит в тем, что одновременно произошло и
событие А, и ссбьпге В.
Так, если А=-{ГГ, ГР, РГ} и В = {РР, РГ, ГР}, то
А иВ = {ГГ, ГР, РГ, РР}	( = П),
АПВ-{РГ, ГР}.
Если А—некоторое подмножество Q, то под его дополнением,
обозначаемым в дальнейшем А, понимается множество точек из й,
не входящих в А.
§ 1 ВЕРОЯТНОСТИ\Я МОДЕЛЬ
21
Если через В\Л обозначать разность множеств В и А (т. е.
множество точек, входящих в В и не входящих в А), то А = Й\Л.
На языке теории вероятностей А — это событие, состоящее в нена-
ступлении события А. Так, если событие Л = (ГГ, ГР, РГ}, то
Л = {РР}— событие, состоящее в том, что подряд выпадут две
«решетки».
Множества Л и Л не имеют общих точек и, следовательно,
множество ЛПЛ является пустым. Для пустого множества будем
использовать обозначение 0. В теории вероятностей множество 0
называется невозможным событием. Множество й естественно
назвать необходимым, или достоверным, событием.
Объединение Л J В множеств Л и В в том случае, когда они
не пересекаются (ЛВ = 0), называется суммой множеств Л и В
и обозначается Л0В.
Если рассматривается некоторая система а0о множеств Лей,
то с помощью теоретико-множественных операций U > П и \
можно из элементов а0о построить новую систему множеств,
которые также являются событиями. Присоединяя к этим событиям
достоверное и невозможнее события Ии 0, получаем систему
множеств е0, которая является алгеброй, т. е. такой системой
подмножеств множества й, что
2)	если Лее/, В е; а/, то множества Ли В, ЛрВ, Л\В
также принадлежит а-/.
Из сказанного следует, что в качестве систем событий целесо-
образно рассматривать такие системы множеств, которые являются
алгебрами. Именно такие системы событий мы и будем рассмат-
ривать далее.
Остановимся на некоторых примерах алгебр событий:
a)	{Q, 0} —система, состоящая из Q и пустого множества
(так называемая тривиальная алгебра);
Ь)	{Л, A, Q, 0} —система, порожденная событием А;
с)	Я// = (Л: Л й} — совокупность всех (включая и пустое
множество 0) подмножеств й.
Нетрудно заметить, что все эти алгебры событий получены по
следующему принципу.
Будем говорить, что система множеств
^ = {DX, ..., D0
образует разбиение множества й, a D, являются атомами этого
разбиения, если множества £), непусты, попарно не пересекаются
и их сумма равна Й:
Dj. 0 • • • 0	— й.
22
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Если, например, множество Й состоит из трех точек, й =а
= {1, 2, 3}, то существует пять различных разбиений:
с	£>х = {1,2,3};
^2 = {D1; D2}	cD, = {1, 2},	D., =	{3};
^3 = р1; DJ	с	Дх = {1, 3},	D2 =	{2};
^4 = {D1( D2}	с	Р1 = {2, 3},	Д2 =	{1};
S-0 = {Dv,D2,D2]	с Дх = {1},	D2 =	{2}, Р3 = {3}.
(По поводу общего числа разбиений конечного множества см.
задачу 2.)
Если рассматривать всевозможные объединения множеств из S3,
то вместе с пустым множеством 0 полученная система множеств
будет алгеброй, которая называется алгеброй порожденной разбие-
нием S3 и обозначается a (JJ0 Таким образом, элементы алгебры
а (S3) составляются из пустого множества и сумм множеств,
являющихся атомами разбиения S3.
Итак, если ^ — некоторое разбиение, то ему однозначным
образом ставится в соответствие алгебра S3 —a (S').
Справедливо и обратное утверждение. Пусть S3 — некоторая
алгебра подмножеств конечного пространства й. Тогда найдется
и притом единственное разбиение , атомы которого являются
элементами алгебры Д?, и такое, что а55’ = а(^-'). В самом деле,
пусть множество D е S3 и обладает тем свойством, что для вся-
кого В ее S3 множество DQS или совпадает с D, или является
пустым множеством. Тогда совокупность таких множеств D обра-
зует разбиение S3 с требуемым свойством а(^) = дв. В случае
примера а) в качестве S3 берется тривиальное разбиение, состоя-
щее лишь из одного множества Dl = Q; в случае b) S — {A, А}.
Самое мелкое разбиение составленное из одноточечных мно-
жеств {со,}, со,- е Й, порождает алгебру в примере с), т. е. алгебру
всех подмножеств й.
Покажем, что если пространство й состоит, как было предпо-
ложено выше, из конечного числа точек сох, ..., co.v, то общее
число N (eS) множеств, составляющих систему &S, равно 2;V.
Действительно, каждое непустое множество А е &S может быть
представлено в виде Д = |со(], ..., co,-ft|, где со,у ей,
Поставим в соответствие этому множеству последовательность,
состоящую из нулей и единиц:
(О, ..., О, 1, 0, ..., О, 1, ...),
где на ix, ..., ik местах стоят единицы, а на остальных — нули.
Тогда при фиксированном k число различных множеств А вида
|coix, ..., co,J совпадает с числом способов, которыми можно k
единиц (k неразличимых дробинок) разместить по N местам (по N
§ 1 ВЕРОЯТНОСТИ\Я МОДЕЛЬ
23
ячейкам). Согласно табл. 4 (см. правую нижнюю клетку) число
таких способов равно CkN. Отсюда (с учетом пустого множества)
находим, что
N(^) = \ +C^ + ... + Ov = (l + 1)Л' = 2Л/.
4. Пока мы сделали два первых шага к определению вероят-
ностной модели эксперимента с конечным числом исходов: выделили
пространство элементарных событий и некоторую систему о/? его
подмножеств, образующих алгебру и называемых событиями. Сде-
лаем теперь последний шаг, а именно припишем каждому элемен-
тарному событию (исходу) ю;еЙ, i=l, .... iV, некоторый «вес»,
обозначаемый р (со,), и называемый вероятностью исхода од, кото-
рый будем считать удовлетворяющим следующим условиям:
а)	0 р (со,) eg 1 (неотрицательность),
Ь)	р (юх) +• • • + р (rfv) = 1 (нормированность).
Отправляясь от заданных вероятностей р (од) исходов од, опре-
делим вероятность Р (Л) любого события 4 erf по формуле
Р(Л)= 2 PW.	(4)
р: оде Л1
Наконец, скажем, что тройка
(Й, erf, Р),
где Q = {ci)j, ..., солф, erf — некоторая алгебра подмножеств Й,
Р = {Р(Л); А ед erf}, определяет (задает) вероятностную модель,
или вероятностное пространство, эксперимента с (конечным) про-
странством исходов й и алгеброй событий erf.
Из определения (4) вытекают следующие свойства вероятностей
Р(Ф) = 0,	(5)
Р(Й) = 1,	(6)
Р(ЛиВ) = Р(Л) + Р(В)-Р(ЛПВ).	(7)
В частности, если Л П В = rf, то
Р(Л + В) = Р(Л) + Р(В)	(8)
Р(Л) = 1—Р(Л).	(9)
5. При построении вероятностных моделей в конкретных ситуа-
циях выделение пространства элементарных событий й и алгебры
событий erf, как правило, не является сложной задачей. При этом
в элементарной теории вероятностей в качестве алгебры erf обычно
берется алгебра всех подмножеств Й. Труднее обстоит дело
с вопросом о том, как задавать вероятности элементарных событий.
24
ГЛ. Т. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
В сущности, ответ на этот вопрос лежит вне рамок теории веро-
ятностей, и мы его подробно не рассматриваем, считая, что основной
нашей задачей является не вопрос о том, как приписывать исходам
те или иные вероятности, а вычисление вероятностей сложных
событий (событий из по вероятностям элементарных событий.
С математической точки зрения ясно, что в случае конечного
пространства элементарных событий с помощью приписывания
исходам Шр .... cov неотрицательных чисел рг, ..., pN, удовлет-
воряющих условию р1-\~.. •+ p,v = 1, мы получаем все мыслимые
(конечные) вероятностные пространства.
Правильность же назначенных для конкретной ситуации зна-
чений pj, ..., p.v может быть до известной степени проверена
с помощью рассматриваемого далее закона больших чисел, согласно
которому в длинных сериях «независимых» экспериментов, проис-
ходящих при одинаковых условиях, частоты появления элемен-
тарных событий «близки» к их вероятностям.
В связи с трудностью, связанной с вопросом о приписывании
исходам значений их вероятностей, отметим, что существует много
практических ситуаций, в которых из соображений симметрии
представляется разумным рассматривать все мыслимые исходы
как равновозможные. Поэтому, если пространство элементарных
исходов Q состоит из точек ю1, ..., (ov, где 7У<оо, то полагают
р (wj = ... = р (<ojV) = 1/W,
и, следовательно, для любого события Л ед ел?
Р(Л) = У(Л)/У,	(10)
где N (Л) — число элементарных событий, составляющих А.
Такой способ задания вероятностей носит название классиче-
ского. Ясно, что в этом случае подсчет вероятностей Р (Л) сво-
дится к подсчету числа исходов, приводящих к событию Л.
Делают это обычно комбинаторными методами, в связи с чем
комбинаторика, имеющая дело с конечными множествами, занимает
значительное место в вероятностном исчислении.
Пример 6. Задача о совпадениях. Пусть урна содержит М
шаров, занумерованных числами 1, 2, ..., М. Производится выбор
объема п с возвращением, при этом рассматриваемые выборки
считаются упорядоченными. Ясно, что в этом случае
Q = {со: о = (Oj, ..., а„),	= 1, .... Л'1}
и N(Q) — Mn. В соответствии с классическим способом задания
вероятностей будем считать все Мп исходов равновероятными
и поставим вопрос о том, какова вероятность события
Л = {(о: а± =А= а2 =?=... ап],
§ 1 ВЕРОЯТНОСТНАЯ МОДЕЛЬ
25
т. е. события, заключающегося в отсутствии повторений. Понятно,
что N (Л) = М (М — 1)... (М — п + 1) и, значит,
Эта задача допускает следующую интересную интерпретацию.
Пусть в классе находится п учеников. Будем считать, что день
рождения каждого ученика приходится на один из 365 дней и
любой день равновозможен. Спрашивается, какова вероятность Рп
того, что в классе найдутся по крайней мере два ученика, дни
рождения которых совпадают? Если рассматривать выбор дня
рождения как выбор шара из урны с М = 3G5 шарами, то сог-
ласно (11)
р _ 1 _
7 п """ 1	315”" ’
Следующая таблица дает значения вероятностей Рп для неко-
торых п:
п	4	16	22	23	40	64
рп	0,016	0,284	0,476	0,507	0,891	0,997
Интересно отметить, что (вопреки ожидаемому!) размер класса,
где с вероятностью 1/2 найдутся по крайней мере два ученика
с совпадающими днями рождения, не столь уж велик: он равен
всего лишь 23.
Пример 7. Выигрыш в лотерею. Рассмотрим лотерею, устро-
енную по следующему принципу. Имеется Л1 билетов, занумеро-
ванных числами 1, 2, ..., М, из которых п билетов с номерами
1, 2, .... п являются выигрышными (М^2п). Вы покупаете п
билетов, и спрашивается, какова вероятность (обозначим ее Р)
того, что по крайней мере один билет будет выигрышным?
Поскольку порядок, в котором извлекаются билеты, не играет
роли с точки зрения наличия или отсутствия в купленном наборе
выигрышных билетов, то следует считать, что пространство эле-
ментарных событий имеет следующую структуру;
Q = {со: со = [дх, ..., оя], а1 а2 =#... ап,	= 1, ..., Л!}.
Согласно табл. 1 N (Q) = Cm- Пусть теперь
Л0 = {со: <о = [ар ..., а„], а1^=а2^...^=ап, я; —/г-[-1, ..., Л-1}
— событие, состоящее в том, что среди купленных билетов нет
26
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
выигрышных. Опять-таки, согласно табл. 1, N (Ло) = См-п- Поэтому
(М-л)п /,	п\/ п \	/ п \
Спм м (п)	\	М,'\	М-1/	\ М-п + \)
и, значит,
-А)(1	-иУЬр).
Если М = пг и /г-ч-оо, то Р(Л0)->е*1 и
1 -е-1№ 0,632,
где сходимость довольно быстрая: уже при и =10 вероятность
Р = 0,670.
6.	Задачи.
1.	Установите справедливость следующих свойств операций J
и П :
A U В = В U А АВ = В А (коммутативность),
Л (J (В U С) = (A J В) [J С, А (ВС) = (АВ) С (ассоциативность),
А (В U С) = АВ (J AC, A U (ВС) = (Л U В) (Л (J С) (дистрибутив-
ность),
AjA = A, АА — А (идемпотентность).
Показать также, что
ЛЦВ = ЛПВ, АВ = АЦВ.
2.	Пусть множество Q состоит из Д' элементов. Показать, что
общее число d (N) различных разбиений множества И опреде-
ляется формулой
^(^=6-124г-	<12)
k =0
(Указание. Доказать, что
W — I
d (N) = 2 Cn-i d (k), где d (0) = 1,
k=0
и затем проверить, что ряды в (12) удовлетворяют этим рекур-
рентным соотношениям.)
3.	Для любой конечной системы множеств Лр .... Ап
Р(Л1и...и^)<Р(А) + --- + Р(Л.).
4.	Пусть Л и В — два события. Показать, что АВЦВА есть
событие, состоящее в том, что произойдет в точности одно из
§ 2. НЕКОТОРЫЕ КЛАССИЧЕСКИЕ МОДЕЛИ
27
событий А или В. При этом
Р (АВ и В А) = Р (4) + Р (В) - 2Р (АВ).
5.	Пусть 41( Ап — события и величины So,	Sn
определены следующим образом: S0=l,
Sr=SP(4A1fl...n^),
j
где суммирование распространяется по неупорядоченным подмно-
жествам Jr = [A:1, kr\ множества {1,	п}.
Пусть Вт — событие, состоящее в том, что одновременно прои-
зойдет в точности т событий из А1У ,Ап. Показать, что
Р(В1П)= 2
Г—/и
В частности, для т = 0
P(B0)=l-S1 + S2-...±Sn.
Показать также, что вероятность того, что одновременно прои-
зойдет по крайней мере т событий из А1Г Ап, равна
р (вт)+.. ,+Р (Ва = 2 (-\y-mc7z\sr.
г =гп
В частности, вероятность того, что произойдет по крайней мере
одно из событий 41( А,г равна
Р (В J +... + Р (Вп) = S, - S2 +... ± Sn.
§ 2.	Некоторые классические модели и распределения
1.	Биномиальное распределение. Предположим, что монета
подбрасывается п раз и результат наблюдений записывается
в виде упорядоченного набора (а1У ..., ап), где «,= 1 в случае
появления «герба» («успех») и а, = 0 в случае появления «решет-
ки» («неуспех»). Пространство всех исходов имеет следующую
структуру:
Q = {со: со = (а1г а„), аг=0, 1}.
Припишем каждому элементарному событию со = (alt , ап)
вероятность
р(со) = р2а^'г-2аг,
где неотрицательные числа р и q таковы, что р-|-<7=1. Прежде
всего покажем, что этот способ задания «весов» р (со) действи-
28
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
тельно является корректным. Для этого нам достаточно прове-
рить, что У р(ю) = 1.
и s ST
Рассмотрим все те исходы со = (Д1....... ая), для которых
У «< = &, где /г = 0, 1, п. Согласно табл. 4 (размещение k
i
неразличимых «единиц» по п местам) число таких исходов равно
С'п- Поэтому
п
У р (о>) = у cyq'-b = (р + q)n = 1.
оея	/г=о
Итак, пространство Q вместе с системой оЛ всех его под-
множеств и цероятностями Р (Л) = У р (со), ЛеД, определяет
о) еА
некоторую вероятностную модель. Естественно ее назвать вероят-
ностной моделью, описывающей «-кратное подбрасывание монеты.
В случае п = 1, когда пространство элементарных исходов
состоит лишь из двух точек со=1 («успех») и <о = 0 («неуспех»)
вероятность р(1) = р естественно назвать вероятностью «успеха».
Далее мы увидим, что рассматриваемая нами вероятностная мо-
дель, описывающая /г-кратнсе подбрасывание монеты, может быть
получена как результат п «независимых» испытаний с вероят-
ностью «успеха», на каждом шаге равной р.
Введем в рассмотрение события
ЛА = {ы: «>=(0!, ..., а„), оу Д... Да,, = /<?},
k = 0, 1, ..., п,
означающие, что произойдет в точности k «успехов». Из сказан-
ного выше следует, что
Р(Л/;)=	(1)
п
причем уР(Л*) = 1.
k=0
Набор вероятностей (Р(Л0), ..., Р (ЛД) называется бино-
миальным распределением (числа «успехов» в выборке объема /г).
Это распределение играет исключительно важную роль в теории
вероятностей, возникая в самых разнообразных вероятностных
моделях. Обозначим Pn(k) = Р (Ak), /г = 0, 1, п. На рис. 1
. 1
воспроизведены биномиальные распределения для случая р =
(«симметричная» монета) и п = 5, 10, 20.
Приведем еще одну модель (в сущности эквивалентную пред-
шествующей), описывающую случайное блуждание некоторой
«частицы».
s 2. НЕКОТОРЫЕ КЛАССИЧЕСКИЕ МОДЕЛИ
29
Пусть частица выходит из нуля и через единицу времени де-
лает шаг на единицу вверх или вниз (рис. 2).
Таким образом, за п шагов частица может переместиться мак-
симум на п единиц вверх или п единиц вниз. Понятно, что каж-
дая «траектория» го движения частицы может быть полностью
о,з"-
0,2 -	п 7=20
4...........iiihii............,
О 5 В Ю 12 )5	20 к
Рис. 1. Графики биномиальных вероятностей Pn (ft) для п = 5,
10, 20.
описана набором (ot, ..., an), где й,= 4- 1, если на i-м шаге час-
тица сдвигается вверх и ср = —1, если сдвигается вниз. Припи-
шем каждой траектории ш
«вес» р (со) = pv((o)^«-v(<o), г„е
v (го)—число 4-1 в последо-
вательности <о = (а1, ..., «„),
т. е.
v(w) = 1£l±^+£«2+^-,
а неотрицательные числа р и
q таковы, что p4-g = 1.
Поскольку У, Р (®)=1,
то набор вероятностей р (го)
вместе с пространством Q траекторий го = (д1, ..., ап) и его под-
множествами действительно определяет некоторую вероятностную
модель движения частицы за п шагов.
Поставим следующий вопрос: какова вероятность события Ak,
что за п шагов частица окажется в точке с ординатой, равной
30
ГЛ. I. элементарная теория вероятностей
k? Этому условию удовлетворяют все те. траектории со, для ко-
торых v (со) — (га — v (со)) = k, т. е.
Рис. 3. Возникновение биномиаль-
ного распределения.
п+А
Число же таких траекторий (см. табл. 4) равно Сп 2 и, значит,
П-j-fe П-Ь fe n—k
P(Ak)=C~p~q 2 .
Таким образом, биномиальное распределение (Р(Л_„), ...
Р (Ло).... Р Ил)) описывает, как говорят, распределение
вероятностей положения частицы
за га шагов.
Заметим, что в «симметричном»
случае (р = д=1/2), когда веро-
ятность отдельной траектории ра-
вна 2*л,
rt~~k
Р(ЛА) = С~ -2-
Рассмотрим асимптотику этих ве-
роятностей при больших п.
Если число шагов равно 2га,
то из свойств биномиальных коэф-
фициентов следует, что среди вероятностей Р(ЛА), i^'aC2ra,
максимальной является вероятность
Р(Л0) = С«„.2^.
Из формулы Стирлинга (см. формулу (6) в п. 4)
га!	е"-пп *).
Поэтому
22” • 1
гп (/г!)2 ]Лтог
и, значит, при больших га
Р (Ло) ~
V лп
Рис. 3 дает представление о возникновении биномиального
распределения при движении частицы за 2га шагов (в отличие от
рис. 2 временная ось здесь направлена вверх).
*) Соотношение / (га) ~ g (/г) означает,
f (л)
что T-b-C
«(«)
1 при п со.
§ 2 НЕКОТОРЫЕ КЛАССИЧЕСКИЕ МОДЕЛИ	31
2.	Мультиномиальное распределение. В обобщение предшест-
вующей модели предположим, что пространство исходов имеет
следующую структуру:
й = {со: <в = (п1, ..., я„),	Ьг},
где Ьх, br — заданные числа. Пусть vz (со) —число элементов
в последовательности ы = (а1, ап), равных Ь;, / = 1, г, и
вероятность исхода со определяется формулой
р(.И>"
где pi 0 и рх -ф... рг = 1 • Заметим, что
У, р(со)= 2 Сп(пх, ..., nr)p"i ... p"rf
со S О	(п1 >0..пг > 0, |
I + ... + пг = п f
гд.е Сп(пх, ..., Пр) —число (упорядоченных) последовательностей
(ар ..., а„), у которых элемент Ьх встречается пх раз, ..., эле-
мент Ьг встречается пг раз. Поскольку число способов, которым
«j элементов Ьх можно расположить на п местах, равно Сп1, п2
элементов Ъ.г — на н — пх местах —С"* и т. д., то
Сп («1, ..., пг) = Сп  Сп-щ	.. +Пг j =
= п\ _	(n—nJ!_____। _
nx! (n — nJ! ’ пг! (n — fti— n2)!
_ n!
~~~ nL! ... nJ’
Поэтому
2	2	^П^Р11-"Ргг = (Р1 + --- + Р^=Ь
ess	jnL^O, ... , nr 0,1
I n1 + ... + nr= n j
и, следовательно, рассматриваемый способ задания вероятностей
является корректным.
Пусть
,П/. = {(£>: Vi (и) = /гр ..., vr^) = nr}.
Тогда
P(^li....nJ = C„(n1, ..., nr)pnS ... pnrr.	(2)
Набор вероятностей
{Р(ЛЬ... ,nz)}
носит название мультиномиального (полиномиального) распреде-
ления.
32
ГЛ Г ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Подчеркнем, что возникновение этого распределения и его
частного случая — биномиального распределения — связано с вы-
бором с возвращением.
3.	Многомерное гипергеометрическое распределение появляется
в задачах, где имеет место выбор без возвращения.
Для примера рассмотрим урну, содержащую Л1 различных
шаров, занумерованных, скажем, числами 1, 2, ..., Л1, из кото-
рых М/ шар имеет «цвет» Ь1( ..., Мг шаров имеют «цвет» Ьг,
Мх + .. - + Л1Г = М. Предположим, что осуществляется выбор без
возвращения объема п<М. Пространство элементарных событий
Q = {со: oj = (a1, .... a,,), al^a.i^=.. .	а„, а, — !, ..., Л/}
и N(Q) = (M)n. Будем считать элементарные события равновоз-
мсжными и найдем вероятность события Вп , п , состоящего
в том, что га, шар имеет цвет bi, ..., пг шаров имеют цвет Ьг,
п1пг = п. Нетрудно показать, что
N(Bni....Пг) = Сп(П1, ....	... (Л4Г) п>
и, значит,
РГД х	....
"1....- N (И)	~ С"
(3)
Набор вероятностей {Р (ВЛ1.....пг)} носит название многомер-
ного гипергеометрического распределения. В случае г = 2 это рас-
пределение называют просто гипергсометрическим в связи с тем,
что так называемая производящая функция этого распределения
есть гипергеометрическая функция.
Структура многомерного гипергеометрического распределения
довольно сложна. Так, вероятность
P(Sf!1.,2) = H^L , nl + n2 = n, +	=	(4)
Ом
содержит девять факториалов. Однако легко показать, что если
Л4->оо, М1-^-со, но так, что	^и, следовательно,
-> 1 — р^, то
Р(В^. (5)
Иначе говоря, при сделанных предположениях гипергеометри-
ческое распределение аппроксимируется биномиальным, что интуи-
тивно понятно, поскольку при больших М и Mj (конечный)
§ 2. НЕКОТОРЫЕ КЛАССИЧЕСКИЕ МОДЕЛИ
33
выбор без возвращения должен давать почти тот же результат,
что и выбор с возвращением.
Пример. Используем формулу (4) для нахождения вероят-
ности угадывания шести «счастливых» номеров в известной лоте-
рее «спортлото», суть которой состоит в следующем.
Имеется 49 шаров, занумерованных числами 1, 2, ..., 49, из
которых шесть шаров «счастливых» (скажем, красного цвета;
остальные— белого). Производится выбор без возвращения шести
шаров. Спрашивается, какова вероятность того, что все шесть
вытащенных шаров являются «счастливыми». Полагая М = 49,
Л4Х = 6, п1 = 6, п2 = 0, видим, что интересующее нас событие
В61 о — {6 шаров — «счастливые»}
имеет, согласно (4), вероятность
Р(В6,о) = ^^7,2.1О-8.
и i9
4.	Числа п! с ростом п растут чрезвычайно быстро. Так,
10! =3 628 800,
15! = 1 307 674 368 000,
а 100! содержит 158 знаков. Поэтому как с теоретической, так
и вычислительной точки зрения важна следующая формула Стир-
линга:
и! = ]/2л/г exp , 0 < дп < 1,	(6)
доказательство которой имеется в большинстве руководств по
математическому анализу (см. также [69]).
5.	Задачи.
1.	Доказать формулу (5).
2.	Показать, что для мультиномиального распределения
{Р (ЛП1, .... п )} максимальное значение вероятности достигается
в точке (kY, .... kr), удовлетворяющей неравенствам: пр, — 1 <
< kt -С	1) pi, i — 1, .... г.
3.	Одномерная модель Изинга. Пусть имеется п частиц, рас-
положенных в точках 1, 2, ..., п. Предположим, что каждая из
частиц относится к одному из двух типов, причем частиц пер-
вого типа п1 и второго — п2 (п1 + п2 = п). Будем считать все nl
расположений частиц равновозможными.
Построить соответствующую вероятностную модель и найти
вероятность события Ап(т11, т,2, тг1, m22) = {vll = mn, ...
..., v22 = т22}, где чу — число частиц типа I, следующих за части-
цами типа / (г, / = 1, 2).
34
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
4.	Используя вероятностные соображения, доказать справед-
ливость следующих тождеств:
2 С* = 2",
4=0
k = 0
2 (-1)"-*^ = ^-!, т 5=/1 + 1,
4 = 0
у, k(k- \)Скт = т{т — 1) 2^-2,
4 = 0
m 5= 2.
§ 3. Условные вероятности. Независимость
1. Понятие вероятности событий дает нам возможность отве-
тить на вопрос такого типа: если урна содержит А4 шаров, из
которых шаров белого цвета и М2 — черного, то какова веро-
ятность Р (Д) события А, состоящего в том, что вытащенный шар
имеет белый цвет. В случае классического подхода Р (Л) = Мх/М.
Вводимое ниже понятие условной вероятности позволяет отве-
чать на вопрос следующего типа: какова вероятность того, что
второй извлеченный шар белого цвета (событие В), при условии,
что первый шар также имеет белый цвет (событие Д)? (Рассмат-
ривается выбор без возвращения.)
Естественно здесь рассуждать так: если первый извлеченный
шар имел белый цвет, то перед вторым извлечением мы имеем
урну с М — 1 шаром, из которых Л4Х — 1 шаров имеют белый
цвет, а М2 — черный; поэтому представляется целесообразным
считать, что интересующая нас (условная) вероятность равна
1
"М- 1 '
Дадим теперь определение условной вероятности, согласую-
щееся с интуитивными представлениями о ней.
Пусть (й, е+, Р) — (конечное) вероятностное пространство и
Л —некоторое событие (т. е. /1е+).
Определение 1. Условной вероятностью события В при
условии события Д с Р (Л) >0 (обозначается Р (В [ Л)) называется
величина
Р(ДВ)	,п
Р(Л) '	v4
§ 3 УСЛОВНЫЕ ВЕРОЯТНОСТИ НЕЗАВИСИМОСТЬ
3.5
В случае классического способа задания вероятностей Р(А) =
= таЬ РОТ=ж " знач,,т'
Р(ВЫ)-Х<4£>.	(2)
Следующие свойства условных вероятностей непосредственно
вытекают из определения 1:
р (А; л)== 1,
Р(0|А) = О, -
Р(В)А) = 1, В^А,
Р(В1 + В2|А) = Р(В1| А) + Р(В2|А).
Из этих свойств следует, что при «закрепленном» множестве А
условная вероятность P (• | А) обладает на пространстве (QQA,
е^(]А), где Г\ А =-В Г\ А: В<=е^\, теми же свойствами, что
и исходная вероятность Р(-) на (Q,
Отметим, что
Р (В | А) + Р (В | А) = 1,
однако, вообще говоря,
Р (В | А)Ч-Р (В | А) 1,
P(Bj А)Н-Р(В; А)^\.
Пр ид:ер 1. Рассмотрим семьи, имеющие двух детей. Спра-
шивается, какова вероятность того, что в семье оба ребенка
мальчики, в предположении, что:
а)	старший ребенок — мальчик?
Ь)	по крайней мере один из детей — мальчик?
Пространство элементарных событий —
Q = {ММ, МД, ДМ, ДД},
где МД означает, что старший ребенок — мальчик, младший —
девочка и т. д.
Будем считать, что каждый исход равновозможен:
Р (ММ) = Р (МД) = Р (ДМ) = Р (ДД) = 4-
Пусть А—событие «старший ребенок— мальчик», В —«млад-
ший ребенок — мальчик». Тогда А{]В есть событие «по крайней
мере один из детей— мальчик», АВ «оба ребенка— мальчики» и
интересующая нас в вопросе а) вероятность есть условная веро-
ятность Р(А5|А), а в вопросе Ь) — условная вероятность
Р(АВ( A U 5).
36
ГЛ I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Легко находим, что
р / д о । д \ __ Р_0£В) _ 1 /4 _ 1
г ।	Р (А) ~ 1/2 ~ 2 ’
р / л р 1 д I I р\  Р (АВ]  ]^/4   1
Р (АВ ! А и В) — р (4 и	— з/4	з •
2.	Следующая простая, но важная формула (3), носящая наз-
вание формулы полной вероятности, является основным средством
при подсчете вероятностей сложных собышй с использованием
условных вероятностей.
Рассмотрим некоторое разбиение £А = {А{, Ап} с Р (А,:) >
>0, i = 1, .... /г (часто таксе разбиение называют также полной
группой пессвмюститиых событий). Ясно, что
В = ВА1-'г...-фВАп
и, значит,
Р(Л)= У}Р(ВЛ;).
Но
Р (BA,) = Р (В । Л;) Р (Л;).
Тем самым имеет место формула полной вероятности
Р(В)= jbp(B; Л,-)Р(Л;).	(3)
Ю1
В частности, если 0<Р(Л)<1, то
Р(В) = Р(В| Л)Р(Л) + Р(В! Л)Р(Л).	(4)
Пример 2. В урне имеется /VI шаров, среди которых т
«счастливых». Спрашивается, какова вероятность извлечь на вто-
ром шаге «счастливый» шар (предполагается, что качество первого
извлеченного шара неизвестно, рассматривается случай выбора
без возвращения объема /1 = 2 и все исходы равновозможны).
Пусть А — событие «первый шар — счастливый», В — «второй шар —
счастливый». Тогда
т (т — 1)
р /й 1	_т-1
г (Bi Л)— р(Л)	т	.VI-1’
~м
т (/И — т)
о/о 7п _Р(5Й) М(М 1) _________ т
г io ! л/ — р (Л) — м—т “ М — 1
/И
§ 3. УСЛОВНЫЕ ВЕРОЯТНОСТИ НЕЗАВИСИМОСТЬ
37
и
Р (В) = Р (S ! А) Р (А) + Р (В ! А) Р (Л) =
т — 1 т , т	М — т_т
—	’ ~М + Л.'-Ю ‘ ~ЛГ” ~ М'
Интересно отметить, что вероятность Р (Л) также равна т/М.
Таким образом, то обстоятельство, что качество первою шара
осталось неизвестным, не изменило вероятности того, что извле-
ченный на втором шаге шар оказался «счастливым».
Из определения условной вероятности (Р (Л) >0)
Р(АВ) = Р(В\А)Р(А).	(5)
Эта формула, носящая название формулы умножения, вероятностей,
обобщается (по индукции) следующим образом: если события
Л., ..., Л,,-! таковы, что Р (А1... Ап-А > 0, то
Р (Л,... Ап) = Р (Лф Р (Л2 Л,)... Р (А„ А,... Л.-Л (6)
(здесь At... А„ = Л1 ф Л2 Q ... Q Л„).
3.	Предположим, что события А я В таковы, что Р(Л)>0 и
Р(В)>0. Тогда наряду с (5) справедлива также формула
Р(ЛВ) = Р(Л ;5)Р(В).	(7)
Из (5) и (7) получаем так называемую формулу Байеса
р(дгВ)== РЛЛ^_Л).	(8)
Если события Лп .... Л„ образуют разбиение й, то из (3) и
(8) следует так называемая теорема Байеса
Р (Л; I В) =	.	(9)
£Р(Л;)Р(В.ф)
/=1
В статистических применениях события Л1( .А„ (Лх +
. ,. + Л„ = Й) часто называют «гипотезами», а Р (Л,) — априорной *)
вероятностью гипотезы Л,-. Условная вероятность Р (Л,-; В) трак-
туется как апостериорная вероятность гипотезы Л,- после наступ-
ления события В.
Пример 3. Пусть в урне находятся две монеты: Лх — сим-
метричная монета с вероятностью «герба» Г, равной 1/2, и Л2—
несимметричная монета с вероятностью «герба» Г, равной 1/3.
Наудачу вынимается и подбрасывается одна из монет. Предполо-
*) A priori—до опыта, a posteriori —после опыта.
38
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
жим, что выпал герб. Спрашивается, какова вероятность того,
что выбранная монета симметрична.
Построим соответствующую вероятностную модель. В качестве
пространства элементарных событий естественно здесь взять мно-
жество £2 = {Л1Г, HjP, Л.,Г, Л2Р}, описывающее все исходы
выбора и подбрасывания (Л^ означает, что вынута монета Лх
и в результате подбрасывания выпал герб и т. д.). Вероятности
р (®) рассматриваемых исходов должны быть заданы так, чтобы,
согласно условиям задачи,
Р(Л1) = Р(Л2)=1/2
и
Р(Г|Л1) = 1/2, Р(Г|Л2) = 1/3.
Этими условиями вероятности исходов определяются однозначно:
Р(Л1Г) = 1/4, Р(Л1Р)==1/4, Р(Л2Г) = 1/6, Р(ЛаР) = 1/3.
Тогда, согласно формуле Байеса, интересующая нас вероятность
р / д । р\_ _____Р (А) Р (Г I А)_____ 3
Р(41)Р(Г141)+Р(42)Р(Г|Л2)~ 5
и, значит,
Р (Л2 j Г) = 2/5.
4.	Вводимое в этом пункте понятие независимости играет
в определенном смысле центральную роль в теории вероятностей:
именно это понятие определило то своеобразие, которое выделяет
теорию вероятностей в общей теории, занимающейся исследова-
нием измеримых пространств с мерой.
Если А и В—два события, то естественно сказать, что собы-
тие В не зависит от Л, если знание того обстоятельства, что
совершилось событие Л, никак не влияет на вероятность совер-
шения события В. Иначе говоря, «В не зависит от Л», если
Р(В|Л) = Р(В)	(10)
(здесь мы предполагаем, что Р(Л)>0).
Поскольку
р / п д \_, Р (4В)
Р(В|Л)= -pW>
то из (10) находим, что
Р(ЛВ) = Р(Л)Р(В).	(И)
Точно так же, если Р (В) > 0, то естественно сказать, что «Л не
зависит от В», если
Р(Л |В) = Р(Л).
§ 3. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
Отсюда снова получаем соотношение (11), которое симметрично
относительно А и В и имеет смысл также и тогда, когда веро-
ятность этих событий равна нулю.
Исходя из этого, примем следующее
Определение 2. События А и В называются независимыми
или статистически независимыми (относительно вероятности Р),
если
Р(ЛВ) = Р(Л)Р(В).
В теории вероятностей часто приходится рассматривать неза-
висимость не только событий (множеств), но и систем событий
(множеств).
Приведем соответствующее
Определение 3. Две алгебры событий (множеств) и
называются независимыми или статистически независимыми
(относительно вероятности Р), если независимы любые два мно-
жества А1 и Аг, принадлежащие соответственно и
Для примера рассмотрим две алгебры
&’^1 = {Л1, Лх, 0, £2} и еД2 — \А2, А2, ф, £2},
где Лх и Л2 — некоторые множества из £2. Нетрудно показать,
что вуф и сФф независимы тогда и только тогда, когда незави-
симы события Лх и Л2. Действительно, независимость зАф и а^2
означает независимость шестнадцати событий: Л2 и Л2, Аг и
Л2, ..., £2 и £2. Следовательно, АТ и Л2 независимы. Обратно,
если А} и Л, независимы, то надо показать, что независимы
остальные пятнадцать пар событий. Проверим, например, незави-
симость Лх и Л2. Имеем
Р (А,А2) = Р (Аг) - Р (Л,Л2) = Р (Лт) - Р (Лт) Р (Л2) =
= Р(Л1).(1-Р(Л2)) = Р(Л1)Р(Л2).
Независимость остальных пар проверяется аналогичным образом.
5.	Понятие независимости двух множеств и двух алгебр мно-
жеств распространяется на случай любого конечного числа мно-
жеств и алгебр множеств.
Именно, говорят, что множества AL, ..., Ап независимы или
статистически независимы в совокупности (относительно вероят-
ности Р), если для любых k = 1, ..., п и 1 йС h < i-2 < •  • п
Р(Л11..,.Л1/>Р(Л11)...Р(Л1./г).	(12)
Алгебры множеств оАф, ..., о^п называются независимыми
или статистически независимыми в совокупности (относительно
вероятности Р), если независимы любые множества Лх, А„,
принадлежащие соответственно о/ф, ..., о^п.
40
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Отметим, что из попарной независимости событий не следует
их независимость. Действительно, если, например й = {и1, со2,
соа, со4} и все исходы равновозможны, то нетрудно проверить,
что события
Л = {и1, со2}, В = {ю1, ®3} С = {со1( со4}
попарно независимы, но
Р (АВС) = 1 (‘-)3 = Р (Л) Р (В) Р (С).
Отметим также, что из того, что для некоторых событий Л,
В и С
Р (АВС) = Р (Л) Р (В) Р (С),
вовсе не следует попарная независимость этих событий. В самом
деле, пусть пространство й состоит из 36 упорядоченных пар (/, /),
где I, /=1, 2, ..., 6 и все эти пары равновозможны. Тогда
для A — {(i, j): /' = 1, 2 или 5}, B — {(i, j): j — Ф 5 или 6},
C = {(i, j): i +/ = 9} имеем
Р(ЛВ)=|^1=Р(Л)Р(В),
Р(ЛС)=1^118=Р(Л)Р(С),
P(BC) =	= Р(В)Р(С),
но в то же время
Р(ЛВС) =	= Р(Л)Р(В)Р(С).
6.	С точки зрения понятия независимости рассмотрим подроб-
нее классическую модель (Й, &'Ф Р), введенную в § 2 и при-
ведшую к возникновению биномиального распределения.
В этой модели
Й = {со: со = ((?!, .... ап), а{ = 0, 1},
е^ = {Л: Лей}
и
=	(13)
Пусть событие Л s й. Будем говорить, что это событие зави-
сит от испытания в k-м момент времени, если оно определяется
лишь значением ak. Примером таких событий являются события
Л* = {со: aft= 1}, Л* = {®: сгА. = О}.
Рассмотрим последовательность алгебр	..., еЛп,
где e^k = {Ak, ЛА, ф, й}, и покажем, что в случае (13) эти
алгебры независимы.
§ 3. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ
41
Ясно, что
Р(Л)= s S =
{о: 0^=1}	{ffi: ak=V,
pai+-+ak^^-+anX
(°1 Д-Т ЯХ1 ° А
Xq^-^1+-+alt^akrl+...+a,l) = р уд	1 = р,
1-^-0
и аналогичный подсчет показывает, что Р(Ак) — д и при k I
Р(Л*Л/) = р2, Р(ЛаА) = Р7, Р(ДЛ ,) = <?*.
Отсюда легко выводится, что алгебры 2--/* и а/(, k^l, незави-
симы.
Точно так же показывается, что независимы и алгебры
влД, 2,Д2, ..., Это дает основание назвать рассматриваемую
модель (Q, ©Д, Р) моделью, отвечающей «п независимым испы-
таниям с двумя исходами и вероятностью «успеха» р». Я- Бер-
нулли был первый, кто систематически изучал эту модель и дока-
зал для нее справедливость закона больших чисел (§ 5). В связи
с этим эту модель называют также схемой Бернулли (с двумя
исходами«успехом» и «неуспехом» — и вероятностью «успеха» р).
Детальное рассмотрение вероятностного пространства в схеме
Бернулли показывает, что оно имеет структуру «прямого провз-
ведения вероятностных пространств», состоящую в следующем.
Предположим, что задан набор (Qlt Ду, Р3), ..., (Q„, Д?,г, Р,;)
конечных вероятностных пространств. Образуем пространство
Q = X х... X точек со = (ап ..., а„), где а;еЙ(. Обозна-
чим е Д—.'ЭД @.. .ДД-га — алгебру подмножеств Q, состоящую из
сумм множеств вида Л = Вг хВ.2 X... X Вп с Д ед ЭД. Наконец, для
oy^iep, ..., ап) положим р (со) = р3 (ср).. ,рп (ап) и определим Р (Л)
для множеств Л = хВ2Х.. .ХВ„ формулой:
Р(Л)=	2 Ру Ю •  • Рп(ап).
{я1еВ1..ап^Бп}
Нетрудно проверить, что P(Q) = I и, следовательно, тройка
(Q, &Д, Р) определяет некоторое вероятностное пространство.
Это пространство называют прямым произведением вероятностных
пространств (Qn Дф, Рг), ..., (Q„, ДД, Р.Д
Отметим одно легко проверяемое свойство прямого произве-
дения вероятностных пространств: относительно вероятности Р
события
Л2 = {w:	Лл = {со: хеВ,;},
42
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
где е sS,-, являются независимыми. Точно так же алгебры
множеств пространства Q
а^1 = {Л1: ^4i — {со: а^В^, В1^.Р31},
е^п = {Ап: Лл = {со: ап(=Вп}, Вп^^п}
являются независимыми.
Из приведенных конструкций видно, что схема Бернулли
(Q, Р) с Q = {со: 0 = ^!,	«„), а, = 0, 1},
е^ = {Л: Л щ Q]- и р (со) = p^aiqn~^-ai
может быть получена как прямое произведение вероятностных
пространств (Q,-, s93), Р,), 1 = 1, 2, п, где
Н, = {0, 1}, а< = {{0}, {1}, ©, QJ,
р,({1}) = Р, р,-С0!) = 7-
7.	Задачи.
1.	Привести примеры, показывающие, что, вообще говоря,
равенства
Р(В1Л) + Р(В, Л) = 1,
Р (В I А) + Р (В ; А) = 1
неверны.
2.	Урна содержит М шаров, из которых шаров белого
цвета. Рассматривается выбор объема п. Пусть Bj — событие, со-
стоящее в том, что извлеченный на /-м шаге шар имел белый
цвет, а Л* —событие, состоящее в том, что в выборке объема п
имеется в точности k белых шаров. Показать, что как для вы-
бора с возвращением так и для выбора без возвращения
Р (В, \ Ak) = kin.
3.	Пусть Л,, Лл — независимые события. Тогда
p/Q л.и 1 _ц р(л;).
\i = 1	i = i
4.	Пусть Лх, ..., Л,, —независимые события с Р (Л,) = /?,-.
Тогда вероятность Ро того, что ни одно из этих событий не про-
изойдет, определяется формулой
л>=П а-p/)-
i=i
5.	Пусть Л и В — независимые события. В терминах Р (Л) и
Р(В) выразить вероятности событий, состоящих в том, что про-
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ
43
изойдет в точности k, по меньшей мере k и самое большее k из
событий А и В (k = 0, I, 2).
6.	Пусть событие А таково, что оно не зависит от самого
себя, т. е. А и А независимы. Показать, что тогда Р (Л) равно О
или 1.
7.	Пусть событие А таково, что Р (Л) равно 0 или 1. Пока-
зать, что А и любое событие В независимы.
8.	Рассматривается электрическая схема, изображенная на
рис. 4!
Рис. 4.
Каждое из реле Л, В, С, D и Е, работающих независимо,
открывается и закрывается с вероятностями р и q соответственно.
Спрашивается, какова вероятность того, что сигнал, поданный
на «вход», будет получен на «выходе»? Какова условная вероят-
ность того, что реле Е было открыто, если на «выходе» был по-
лучен сигнал?
§	4. Случайные величины и их характеристики
1. Пусть (Q, е^, Р) — вероятностная модель некоторого экс-
перимента с конечным числом исходов, N (Q)-<co, и алгеброй е-К
всех подмножеств Й. Можно заметить, что в рассмотренных выше
примерах, связанных с подсчетом тех или иных вероятностей
событий Л i= , собственно природа пространства элементарных
событий й.не представляла интереса. Основной интерес представ-
ляли лишь некоторые числовые характеристики, значения кото-
рых зависели от элементарных событий. Так, мы интересовались
вопросами о том, какова вероятность определенного числа успе-
хов в серии из п испытаний, каково распределение вероятностей
числа дробинок по ячейкам и т. п.
Вводимое сейчас (и далее —в более общем виде) понятие слу-
чайной величины призвано определить величины, подлежащие
«измерению» в случайных экспериментах.
Определение I. Всякая числовая функция £ = £ (со), опре-
деленная на (конечном) пространстве элементарных событий Q,
будет называться (простой) случайной величиной. (Происхождение
термина «простая» случайная величина станет понятным после
введения общего понятия случайной величины в § 4 гл. II.)
44
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Пример 1. В модели двукратного подбрасывания монеты
с пространством исходов Й = (ГГ, ГР, РГ, РР} определим слу-
чайную величину g = g(®) с помощью таблицы
СО	ГГ	ГР	РГ	РР
g (О)	2	1	1	0
Здесь Е(со) по своему смыслу есть не что иное, как число «гер-
бов», отвечающих исходу w.
Другим простейшим примером случайной величины является
индикатор (иначе — характеристическая функция) некоторого мно-
жества А е о/1:
£= /а (со),
где *)
( 1,	соеэ Л,
/a(w) = ^Qi	Ю(_£Л
Когда экспериментатор имеет дело со случайными величинами,
описывающими те или иные показания, то основной вопрос, ко-
торый его интересует, — это вопрос о том, с какими вероятно-
стями эта случайная величина принимает те или иные значения.
С этой точки зрения интерес представляет не распределение ве-
роятностей Р на (Q, е^К), а распределение вероятностей на мно-
жестве значений случайной величины. Поскольку в рассматри-
ваемом сейчас случае Q состоит из конечного числа точек, то
множество значений X случайной величины также конечно.
Пусть X =	..., хт}, где (различными) числами xL, хт
исчерпываются все значения
Обозначим ЗА — совокупность всех подмножеств множества X,
и пусть В ед . Множество В можно также интерпретировать
как некоторое событие, когда пространство исходов есть X — мно-
жество значений
Рассмотрим на (X, АГ) вероятность 7Д(-), индуцируемую слу-
чайной величиной £ по формуле
P6(B) = P{co: g(co)eB}, В еЕ АГ.
Ясно, что значения этих вероятностей полностью определяются
вероятностями
Ае(лД = Р{со: g(co)=x;}, Х|ЕХ.
*) Для индикатора используется также обозначение 1 (Л). По поводу
часто используемых далее свойств индикаторов см. задачу 1.
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ
45
Набор чисел {Рг.(х}), ..., Рг (х,„)} называется распределением
вероятностей случайной величины Е.
Пример 2. Случайная величина Е, принимающая два значе-
ния 1 и 0 с вероятностями («успеха») р и («неуспеха») q, назы-
вается бернуллиевской *). Ясно, что для нее
Рг (•') = pxql~x, х = 0, 1.	(I)
Биномиальной (или биномиально распределенной) случайной,
величиной g называется случайная величина, принимающая п~ ]
значение 0, 1, п с вероятностями
Рг (х) = С,\pxql~'\	х = 0, 1, .... п.	(2)
Заметим, что с этих и во многих последующих примерах мы
не конкретизируем структуру основного вероятностного простран-
ства (Q, а/, Р), а интересуемся лишь значениями случайных
величин и их распределениями вероятностей.
Верст нос гная структура случайных величин Е полнощью
описывается распределением вероятностей {/ф(х,), i — 1, пф.
Вводимое ниже понятие функции распределения даегэквивалент-
ное описание перст пост ной структуры случайных величии.
Определение 2. Пусть xoeR1. Функция
(х) —- Р {to: Е (w) -т х}
называется функцией распределения случайной величины Е.
Ясно, что
R(x)=	2	Еф(х,-)
где Е«(х--) = Нтп^.(у).
у t X
Если считать, что ху < х2 <.. . < хт и положить /3 (х0) = 0, то
Р^(хд = Fl'%) -Ое С'б-i), i=l, ..., nt.
Следующие графики (рис. 5) дают представление о Рг (х) и
R (х) для биномиальной случайной величины.
Непосредственно из определения 2 следует, что функция рас-
пределения Ег=Е\(х) обладает такими свойствами:
(1) F6(-co)=0, ^(+°с) = 1;
(2) Рг (х) непрерывна справа (F| (х ф-) = Р. (х)) и кусочно-по-
стоянна.
*) Обычно в литературе вместо выражений «бернуллиевская, биноминаль-
ня, пуссоповская, гауссовская случайная величина», используемых здесь,
говорится о «случайных величинах, имеющих распределение Бернулли, бино-
миальное, Пуассона, Гаусса».
46
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Наряду со случайными величинами часто приходится рассмат-
ривать случайные векторы ^ = (^, Ег), компоненты которых
являются случайными величинами. Например, при рассмотрении
мультиномиального распределения мы имели дело со случайным
вектором v = (vlt vr), где v, = v, (со) — число элементов в по-
следовательности « = (<?!.ап), равных ly, i = l, г.
И I .......
0	12 п
Рис. 5.
Набор вероятностей
....xr) = P {со: g1(w)=x1, ..., £л(со) = хг},
где Xj е X, — области допустимых значений называется рас-
пределением вероятностей случайного вектора g, а функция
..., хЛ) = Р{со: ^(со^Хр ..., (со) хг],
где х,- ед 7?\ называется функцией распределения случайного век-
тора 1 = (gp ..., £г).
Так, для упомянутого выше вектора v==(v1, ..., v,.)
А(»р .... nr) = C„(/!p ..., пг)р1ф...рпф
(см. (2.2)).
2.	Пусть Sp .... |г — некоторый набор случайных величин,
принимающих значения в (конечном) множестве XsT?1. Обозна-
чим через 30 алгебру всех подмножеств X.
Определение 3. Случайные величины £р ..., i,r называ-
ются независимыми (независимыми в совокупности), если для любых
Хр ..., хгеХ
Р{?! = Хр ..., £r = xr} = P{g1 = x1}...P{g/. = xr})
или, что эквивалентно, для любых Вр ..., Вг~30
Р^ейр .... ?гЕВг} = Р^еВ1}...Р^еВф
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ
47
Простейший пример независимых случайных величин можно
получить, рассматривая схему Бернулли. Именно, пусть
£2 = {со: «> = («!, .а„), сц — О, 1}, р (со) = p^aiqn~^ai
и £,(со) = й/ для со = (б?!, ..., а„), i—1, ..., п. Тогда случайные
величины Й1, Е2, .... являются независимыми, что вытекает из
установленной в § 3 независимости событий
Д1 = {со: «!= 1}, .... Л„ = {и: а„=1}.
3.	В дальнейшем нам не раз придется сталкиваться с вопро-
сом о распределении вероятностей случайных величин, являю-
щихся функциями f (?!, ..., Sz) от случайных величин ..., Ег.
Рассмотрим сейчас лишь вопрос об отыскании распределения
суммы случайных величин £ = Е4'Т1-
Если g принимает значения в множестве Х = {хх, .... xk},
а г] — в множестве Y~{yl, ..., z/J, то случайная величина £ =
= t + 4 принимает значения в множестве Z — {z: z = Xi-\-tjj, i =
= 1, ..., k\ /=1, .... I}, и ясно, что
Л(г) = р {? = г} = Р {ё + п = г,}= X Р{£ = хг, П = *//}•
{«, />: ^ + ^- = г}
Особо важен случай независимых случайных величин £ и гр
Тогда
Р = Xi, Т] = IJj} = Р = Л-;} Р {л = У]},
и, значит, для любого z е Z
k
X W^X	(3)
/): *; + </у = г}	» = 1
где в последней сумме (г — хг) полагается равным нулю, если
z — Xi ф Y.
Если, например, £ и ц — независимые бернуллиевские случай-
ные величины, принимающие каждая значения 1 и 0 с вероятно-
стями р и q соответственно, то Z = {0, 1, 2} и
p£(0) = p5(0) Pn(O=<A
(1) =	(0) Рп (1)4-	(1)	(0) = 2pq,
Pt (2) = /Ml)^(l)=P2.
По индукции легко устанавливается, что если	—
независимые бернуллиевские случайные величины с Р{|,-= 1} = р,
P{?i = 0} = <7, то случайная величина ? = + ••• + ?» имеет бино-
миальное распределение
Р((А) = СУГ\ £ = о, 1, ...» п.	(4)
48
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
4.	Перейдем теперь к важному понятию математического ожи-
дания, или среднего значения, случайных величин.
Пусть (Q, «м/, Р)—(конечное) вероятностное пространство и
g = £ (со) — некоторая случайная величина, принимающая значе-
ния в множестве А = {х1, ..., xk\. Если положить Д,- = {со: S=xJ,
/ = 1, k, то, очевидно, £ можно представить в таком виде:
k
с (0) = 2 v (А),	(5)
( = 1
где множества Лх, ..., Ah образуют разбиение пространства □
(т. е. они попарно не пересекаются и их сумма равна Q; см. п. 3
§ I)-
Обозначим pi= Р = х,}. Интуитивно ясно, что если наблю-
дать за значениями случайной величины * в и повторных неза-
висимых экспериментах», то значение х, должно встретиться при-
мерно ppi раз, 1=1, ..., k. Таким образом, среднее значение,
подсчитанное по результатам п экспериментов, есть примерно
k
~	+ • •  + «р/л] = 2
1^1
Это замечание делает понятным следующее
Определение 4. Математическим ожиданием или средним
k
значением случайной величины	а;7(А) называется число
k
(6)
i =-1
Поскольку Л/ = {со: g((o)==xj и (>у) = Р (Д), то
k
М1 = ^хД(х;).	(7)
;=1
Вспомнив определение функции распределения F= = Fg(x) и
обозначив
AR (х) = F6 (х) — F-. (х —),
находим, что А (х,) = AF; (х,) и, следовательно,
Мё = ^хгАЛь(х,-).	(8)
i=\
Прежде чем переходить к рассмотрению свойств математиче-
ских ожиданий, заметим, что часто приходится иметь дело с
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ
49
различными представлениями случайной величины g в виде
Ш = 2 х<7 (Ву),
/ = 1
где Вг 4-..В, = Q, но среди х] могут быть, вообще говоря,
одинаковые значения. В этом случае Mg можно подсчитывать по
i
формуле S А-;р (Bj), не переходя к представлению (5), где все х,
/=1
различны. Действительно,
У, x;P(B/)=Xi у	р (Bj) = xtP (д)
{/•:	{г, х’^}
и, значит,
У, Х/Р (Ву) = у, х,Р (А/).
f=l	i=l
5.	Сформулируем основные свойства математических ожи-
даний:
1)	Если gs^O, то Mg^sO.
2)	М (ag-|-br]) = aMg + &Mr], а, Ь — постоянные.
3)	Если Н^т], то MgT>Mq.
4)	|Mg|<M|g|.
5)	Если g и т] независимы, то Mgr] = Mg • Мт].
6)	(М | gt] |)2=с Mg2-Mr)2 (неравенство Коши — Буняковского).
7)	Если g = /(A), то Mg = P(A).
Свойства 1) и 7) очевидны. Для доказательства 2) пусть
£ = У хД (А,), т| = уУу/(Ву).
i	i
Тогда
ag + К] = а у xtI (А; Q Ву) + b у\ yfI (А,- Q Ву) =
= У (axi + ЬуК I (А,- П Ву)
М (ag + ЬЮ = У, (axt + by/) Р (А,- р By) =
= у, axtP (А,) + У byjP (Bj) =
= а 2] Х;Р (А,-) + b у yjP (Bj) = aMg + &Мт].
« /
50
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Свойство 3) следует из 1) и 2). Свойство 4) очевидно, по-
скольку
|МЕ|= 2>Р(А) -У |лДР (Л) = м IU
i	i
Для доказательства свойства 5) заметим, что
= м	(В/)
\ ‘ Л i
= М v Xiy.i (Д n В/) = £ XiyjP (Л,- n By) =
i	t, i
(A)P (Bj) =
= 2 ^P (ЛМ • fs %-P	• Mn,
\ I	/ \ i	)
где мы воспользовались тем, что для независимых случайных ве-
личин события
Л, = {со: g(co) = xz} и Ву = {со: т) (со) = уД
являются независимыми: Р (А, (] В/) = Р (Л,) Р (Д).
Чтобы доказать свойство 6), заметим, что
^ = 2^/(Лг), П2=2Т/К(В;)
i	J
И
Мё2=2»Р(Л;), IW = 2»P(By).
i	/
Пусть М£2>0, Мт]2>0. Положим
? =	=...п_.
J/Mga ’ (Мгр
Поскольку 2 | grj | I2 -j-fj2, то 2М [ Efj | < М|2 + Mi)2 = 2. Значит,
М|Й< 1 и (М Дт]-)2-сМс2-Мц2.
Если же, скажем, М£2 = 0, то это означает, что (^<) = 0
i
и, следовательно, среди значений, принимаемых случайной вели-
чиной g, есть значение 0, причем Р {со: £(со) = 0} = 1. Поэтому,
если по крайней мере одно из значений Mg2 или Мт]2 равно нулю,
то, очевидно, М | £т] | = 0 и, следовательно, неравенство Коши—
Буняковского также выполняется.
Замечание. Свойство 5) обобщается очевидным образом на
любое конечное число случайных величин: если	неза-
висимы, то
М£1...Ь = М£1...М|,
§ 4. случайные величины и их характеристики
51
Доказательство здесь то же, что и для случая г = 2 или по ин-
дукции.
Пример 3. Пусть £ — бернуллиевская случайная величина,
принимающая значения 1 и 0 с вероятностями р и q. Тогда
1 -P{g= 1} + 0-Р {^ = 0} = р.
Пр и мер 4. Пусть ..., %п — п бернуллиевских случайных
величин с Р{£, = 1}=р, Р {£, = 0} = q, pJrq=l. Тогда для
sn = ii+_+tn
находим, что
MSn = np.
К этому результату можно прийти и другим путем. Нетрудно
понять, что М5Л не изменится, если предположить, что бернул-
лиевские случайные величины ..., независимы. При этом
предположении, согласно (4),
Р(5л = /г) = С^УЛ £ = 0, 1, .... п.
Поэтому 
MSra = 2 *P (S„ = ft) = 2 kCk„phqn-k =
k = 0	k=0
= np	——-----------p^q''-
P (/г-1)! ((n — 1) - (k — 1))!	4
k= 1
~nP 2 7^^W=^P,(li,l^~l = nP-
1 = 0
Впрочем, первый способ приводит к результату быстрее, не-
жели последний.
6, Пусть 1 = 2 XJ где	И = и <р = ф (£ (со)) —
i
некоторая функция от £(со). Если В; = {ом ф (| (®)) = r/Д, то
ф(? (03)) = 2f//(5/).
/
и, следовательно,
мф = 2 У/р (bj) = 2 yjp<v (У/У	(9)
1 /
Но ясно также, что
Ф (% (®)) = 2 Ф (Xi) 1Ш-
52
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Поэтому наряду с (9) для 'подсчета математического ожидания
случайной величины ср = <р (Е) можно пользоваться формулой!
Л1ср (Е) = У ср (xi) Pt (х^.
I
7.	Следующее важное понятие дисперсии случайной величины
Е характеризует степень разброса значений | относительно ее
математического ожидания.
Определение 5. Дисперсией случайной величины Е (обо-
значается DE) называется величина
DE = М (Е - Mg)2.
Величина о= —^DE называется стандартным отклонением.
Поскольку
М (Е - М|)2 = М (g2 — 2Е • Mg + (М|)2) = МЕ2 - (МЕ)2,
то
DE = М« - (МЕ)2.
Ясно, что Dg г- 0. Из определения дисперсии также следует,
что
D (а &Е) = Z?2DE, а, й — постоянные.
В частности, Da = 0, D(6E) = fe2Dg.
Пусть Е и 11 —две случайные величины. Тогда
О (Е + л) = М ((Е — МЕ) + (1] — Mq))2 =
— DE + Dq + 2М (Е — ME) (q — Mq).
Обозначим
cov (Е, q) М (Е — МЕ) (т| — Mq).
Эта величина называется ковариацией случайных величин Е и q.
Если DE Д> 0, Dq>0, то величина
называется коэффициентом корреляции случайных величин Е и q.
Нетрудно показать (см. далее задачу 7), что если р (Е, q) = ikl,
то величины Е и q линейно зависимы:
q = di + b,
где <т>0, если р(Е, q) = 1, и а<0, если р (Е, q) = —-1.
Сразу отметим, что если Е и q независимы, то независимы
Е — МЕ и q —Mq, а значит, по свойству 5) математических ожи-
даний
COV(E, q) = М (g — ME)  М (q — Mq) = 0.
С учетом введенного обозначения для ковариации
D (Е-(- q) = DE Я- Dq + 2 COV (Е, q),	(10)
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ I! ИХ ХАРАКТЕРИСТИКИ
53
если же g и т| независимы, то дисперсия судимы g-f-q равна
сумме дисперсий
D(? + ri) = DL+-Dn.	(Н)
Как следует из (10), свойство (11) остается выполненным, и
при меньшем предположении, нежели независимость g и 1].
Именно, достаточно предположить, что величины g и tj некорре-
лирогзаны, т. е. cov (с, т]) = 0.
Замечание. Из некоррелированности £ и г|, вообще говоря,
не следует их независимссгь. Вот простой пример. Пусть слу-
чайная величина а. принимает значения 0, л/2 иле вероятно-
стями 1/3. Тогда g-— sina и q = cosa некоррелированы; в то же
время они не только стохастически зависимы (т. е. не независимы
относительно вероятности Р):
Р fg 1, т) = 1} = G 1/9 = Р {g - 1} Р {n = 1},
но и функционально зависимы: Й- и'-’	1.
Свойства (10), (11) очевидным образом распространяются на
произвольное число случайных величин glt ..., g„:
d v D^+2 £ cov^-- I/)-	<12)
4‘ — 1 / t— 1	i> /
В частности, если величины glt ..., попарно независимы (до-
статочно их попарной некоррелированности), то
?/)= Д De,-.	(13)
Пример 5. Если g — бернуллиевская случайная величина,
принимающая два значения 1 и 0 с вероятностями р и q, то
Dg = М (g — Mg)2 = М (g — р)2 = (1 - р)2 р + p2q = pq.
Отсюда следует, что если gJt ...,	— последовательность неза-
висимых (одинаково распределенных) бернуллиевских случайных
величин и £„ = £!+... + £„, то
DSn = npq.	(14)
8.	Рассмотрим две случайные величины £ и ip Предположим,
что наблюдению подлежит лишь случайная величина g. Если
величины g и т] коррелированы, то можно ожидать, что знание
значений g позволит вынести некоторые суждения и о значениях
ненаблюдаемой величины т].
Всякую функцию f = от g будем называть оценкой для гр
Будем говорить также, что оценка f*=/*(g) оптимальна в сред-
неквадратическом смысле, если
М(п-Г ®)2 = infM(T|-/(g))2.
t
54
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Покажем, как найти оптимальную оценку в классе линейных
оценок Х(Е) = а-\-Ь%. Для этого рассмотрим функцию g {а, Ь)—
= М (т] — (a + t>E))2. Дифференцируя g(a, b) по а и Ь, получаем
^2) = _2М[п-(« + ЬЮ],
^l±) = -2M[(T]-(a + ^))g]I
откуда, приравнивая производные к нулю, находим, что опти-
мальная в среднеквадратическом смысле линейная оценка есть
Л* (Е) =а* + й*Н, где
а* = Мт]-Ь*М£, Ь*=—Ч	(15)
Иначе говоря,
/Л(Д = Мт1 + ££^|Л1(1-М1).	(16)
Величина Л4 (ц — Z* (Е))2 называется среднеквадратической
ошибкой оценивания. Простой подсчет показывает, что эта ошибка
равна
4* = M(n-VO2 = Dn-££^21-) = Dr1[l-p2a, т))]. (17)
Таким образом, чем больше (по модулю) коэффициент корре-
ляции р (Е, т]) между Е и ц, тем меньше среднеквадратическая
ошибка оценивания А*. В частности, если |р(Е, т])| = 1, то А* = 0
(ср. с результатом задачи 7). Если же случайные величины g и
г] не коррелированы (р(Е, т]) = 0), то А,*(£) = Мт], т. е. в случае
отсутствия корреляции между £ и г] лучшей оценкой т] по | яв-
ляется просто Мт] (ср. с задачей 4).
9.	Задачи.
1.	Проверить следующие свойства индикаторов /А=/А(®):
7ф = 0, /о = 1, I а +1 д — 1,
I АВ = I А- h,
IА'^В = IаЛ~ IВ~ 7АВ,
1п = 1~П(1-Ц), /—=П(1-М),
. Uj Ai i==i	и д i=1
1 А ДВ = (/а — 1в)2,
5 4. случайные величины и их характеристики
55
где А д В — симметрическая разность множеств А и . В, т. е. мно-
жество (Л\5) J (В\Д).
2.	Пусть	^„ — независимые случайные величины и
Smin = min (£•£.Е„),	Emax = niax (clf .t„).
Показать, что
Р{£и!п^л-} = П Р{£(-^х},
1=1
Р {Emax < Х] = П Р < ХЬ
i—	1
3.	Пусть	— независимые бернуллиевские случайные
величины с
Р |g;- = 0} = 1 - М,
Р{|,. = 1} = Х;Д,
где А —малое число, Д>0, А,- > 0.
Показать, что
Р{^ + ...-1-^=1} 4 2 ^Д + О(Д2),
Р{^+...~;-1„>1} = О(Д2).
4.	Показать, что inf M(g — а)2 достигается при а =
— <со
и, следовательно,
inf М (g-«)2 = Dg.
— се < л <со
5.	Пусть с — случайная величина с функцией распределения
Fi (х) и те — медиана Е-(х), т. е. такая точка, что
h (те—)^~^у (те).
Показать, что
inf М , g — а ; = М , S — те I.
— ос<я<со
6.	Пусть (х) = Р {g = х} и /А (х) = Р {£;	х}. Показать, что
для а>0 и — ос </?•< оэ
Pai+b(x) = pJ^),
FaU6(*Wi(^)-
Если z/^=0, то
FV (У) = ЕД + У~у) -	(- Уу) + Р. (- УУ.
56
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Пусть Е+ — шах (Е, 0). Тогда
0,	х<0,
Т5+ (х)=
^(0), х = 0,
F6(x), х>0.
7.	Пусть Е и т] —две случайные величины с DE>0, Dq>0,
и р —р(Е, т|) — их коэффициент корреляции. Показать, что | р j-С
<1. При этом, если 1 р • = 1, то найдутся такие константы а и
Ь, что rj = a?J-fe. Более того, если р = 1, то
И —Мц_с — Mg
TW ~ V D?
(и, значит, а>0), если же р =—1, то
г| —Мг|  Е — ME
/Di] ~ ~ i K
(и, значит, а СО).
8.	Пусть Е и р — две случайные величины с МЕ = М1] = 0,
DE = Dr] = 1 и коэффициентом корреляции р = р (Е, т]). Показать,
что
М max (Е2, t]2) -< 1 -р ]/1 — р2.
9.	Используя равенство 7—---= Ц(1 —/z), доказать фор-
Дф i = 1
мулу Р (Z?o)= 1 — 51 + S2 + ...Lt S„ из задачи 4 § 1.
10.	Пусть Ег, ..., Ё„ — независимые случайные величины,
=	•••, Ь) и ср2 = <р2(Е/ж, ..., Е,,) —две функции oi Et, ...
...,£« и Е/г+1, ..., Ел соответственно. Показать, что случайные
величины <ft и ф,2 независимы.
11.	Показать, что случайные величины Е,, ..., Е„ независимы
тогда и только тогда, когда для всех лу, ..., хп
Fi}, ...  (С • • • > -М = Л, V,) •  •	(хл),
где F^... ,?n(Xi...х„) = Р	..., Ь^Хп}-
12.	Показать, что случайная величина Е не зависит от самой
себя (т. е. Е и £ независимы) в том и только том случае, когда
g = const.
13.	При каких условиях на Е случайные величины £ и sing
независимы?
14.	Пусть Е и ^ — независимые случайные величины и q #= 0.
Выразить вероятности событий Р {^г|=Сг} и р|у=^г| через ве-
роятности Р^(х) и Рч(у).
§ 5. СХЕМА БЕРНУЛЛИ, I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
57
§ 5. Схема Бернулли. I. Закон больших чисел
1. В соответствии с данными выше определениями тройка
(Q, ©т/, Р) с Q = {со: со =	, а„), а, = 0, 1},
== {/4: Л Q}, р(0)) = р^у-2о/
была названа вероятностной моделью, отвечающей п независимым
испытаниям с двумя исходами, или схемой Бернулли.
В этом и следующем параграфе мы изучим некоторые пре-
дельные (в указываемом ниже смысле) свойства схем Бернулли,
которые оказывается удобным вести в терминах случайных вели-
чин и вероятностей событий, связанных с ними.
Введем случайные величины tr, ... , с,,, полагая для со = (а,,...
что £,• (со) = я(-, t = l,...,n. Как мы уже видели, бернул-
лневские величины (со) независимы и одинаково распределены:
Р{£/=1} = Р, Р {?< = 0} = q, 1 = 1,..., п.
Понятно, что случайная величина характеризует результат
испытания на t-м шаге (в t'-й момент времени).
Положим So (со) = 0 и
<5* = Ej+ ..• + ?*>	k==l,..., п.
Как было найдено выше, MS„ = np и, следовательно,
М^ = р.
п г
(1)
Иначе говоря, среднее значение -частоты появления «успеха»,
т. е. S,Jn, совпадает с вероятностью «успеха» р. Отсюда естест-
венно возникает вопрос о том, как велики отклонения частоты
S,Jn появления «успеха» от его вероятности р.
Прежде всего отметим, что не приходится рассчитывать на то,
что при достаточно малых с > 0 и даже при больших значениях п
отклонения частоты 5„/п от вероятности р будут меньше е для
всех со, т. е. что будет выполнено неравенство
соедй.	(2)
Действительно, при 0 < р < 1
Р{пг= =	=	^=1}=РИ,
Р{^-= 0} = Р{^ = 0, ... , £л = 0} = 7\
откуда следует, что неравенство (2) не выполняется при доста-
точно малых е > 0.
58
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Однако мы замечаем, что при больших п вероятности событий
= 1} и = oj малы. Естественна поэтому мысль, что сум-
марная вероятность исходов ®, для которых |	— р | > е,
будет при достаточно больших п также мала.
В связи с этим постараемся оценить вероятность события
( I (со) I.	]
<со. —----р >е>, для чего воспользуемся следующим нера-
венством, открытым П. Л. Чебышевым.
Неравенство Чебышева. Пусть (й, е^, Р) — некоторое
вероятностное пространство и g = g(co) — неотрицательная слу-
чайная величина. Тогда для всякого е > О
Р{^е}^.	(3)
Доказательство. Заметим, что
где I (А) —индикатор множества А.
Поэтому по свойствам математических ожиданий
МЕ О еМ7 (Е е) = еР (Е Ул е),
что и доказывает (3).
Следствия. Если Е—произвольная случайная величина, то
для е>0
рп
Р {, Е, ! S=e} =Р{Е2^82}	(4)
Р В-МЕ)
Воспользуемся последним неравенством, взяв E = S„/m. Тогда
с учетом (4.14) получим
Итак,
откуда видно, что при больших п вероятность отклонения частоты
«успеха» Sn/n от его вероятности р больше чем на е достаточно
мала.
§ 5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
59
Обозначим для всех и
Тогда
зд=с*р*Г4-
Р{|тг-^М= 2 р^’
и, в сущности, мы установили, что
4пе2 ’
(6)
т. е. доказали некоторое неравенство, которое можно было бы
получить аналитически, без использования вероятностной интер-
претации.
Из (6) ясно, что
2	Рл(&)->0,	(7)
{А; | - р | > е j
Графически это утверждение можно пояснить следующим
образом. Изобразим биномиальное распределение {Pn(k),
===/г}, как это сделано на рис. 6.
Рис. 6.
2
— р
Тогда с ростом п вся картина «расплывается», в то же время
«сжимаясь» по высоте. При этом сумма величин Рп (k) по k таким,
что пр — «е 'Cfe s^np + пе, стремится к единице.
Будем представлять последовательность случайных величин
So, Slt ... , Sn как траекторию некоторой блуждающей частицы.
Тогда результат (7) означает следующее.
Проведем прямые kp, k(p + e) и k(p — е). Тогда в среднем
траектория движется вдоль прямой kp, и для любого е > 0 можно
утверждать, что для достаточно больших п с большой вероят-
ностью точка Sn, характеризующая положение частицы в момент п,
будет лежать в интервале [п(р — е), п (р -j- е)]; см. рис. 7,
60
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Утверждение (7) хотелось бы записать в таком виде:

Однако надо иметь в виду, что здесь существует определен-
ная тонкость. Дело в том, что эта запись была бы вполне
оправданной, если бы Р была вероятностью на некотором прост-
ранстве (Q, &Д), на котором определена бесконечная последова-
тельность независимых берпуллиевских случайных величин
£2,... Эти объекты действительно можно построить и тем самым
придать утверждению (8) совершенно строгий вероятностный
смысл (см. далее следствие 1 к теореме 1 § 9 в гл. II). Пока же,
если желать придать смысл аналитическому утверждению (7),
пользуясь языком теории вероятностей, мы доказали лишь сле-
дующее.
Пусть (Й1Я),	Р1"'), п 2г 1, — последовательность схем
Бернулли таких, что
=	... ,	аЫ)^0, 1},
еЛАп^{А: A^QW},
pW (Ю(Ю) = a<in\n - 2 аТ}
и
(©(«)) = (W(«)) +... +
где для каждого и2&1	— последовательности незави-
симых одинаково распределенных бернуллиевских случайных
величин.
§ 5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
G1
Тогда
RW Ш
-----------р
П	г
2	p«w->o,
Ml МН
п —>• оо.
(9)
Утверждения типа (7) —(9) носят название закона больших
чисел Я. Бернулли. Отметим, что доказательство Я. Бернулли
именно и состояло в установлении утверждения (7), что было
сделано им вполне строго с использованием оценок для «хвостов»
биномиальных вероятностей Рп (/г) (при тех k, для которых
|	—	Непосредственное вычисление суммы вероятностей
«хвостов» биномиального распределения У, Р,. (k) пред-
ставляет для больших п довольно трудоемкую задачу, к тому же
получаемые формулы мало пригодны для практической оценки
того, с какой вероятностью частоты Sjn отличаются от р меньше
чем на е. Именно поэтому большое значение имели открытые
?Луавром (в случае р — 1/2) и затем Лапласом (для произвольного
0<р<1) простые асимптотические формулы для вероятностей
Р„ (/г), что позволило не только заново доказать закон больших
чисел, но и получить его уточнения — так называемые локальные
и интегральные предельные теоремы, суть которых состоит в том,
что при больших п и по крайней мере для k^np
।	_ <* ~ прУ
Р„ (/?) ~ е 2г‘рч
V 2лпрд
а
е Vnipcj
2 /’«-тФ L
МН ~Е1"Р
2.	Следующий параграф посвящен точным формулировкам и
доказательствам этих результатов. Сейчас же мы остановимся на
вопросе о том, каков реальный смысл закона больших чисел,
какова его эмпирическая интерпретация?
Пусть производится большое число, скажем, У, серий экспе-
риментов, каждая из которых состоит из «п независимых испыта-
ний с вероятностью интересующего нас события С, равной р».
Пусть Slnpi — частота появления события С в i-м серии и Л'£ —
число серий, в которых частоты отклоняются от р меньше чем
на е:
Л7е равно числу тех t, для которых
У-Р
П г
е.
62
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Тогда
р
N
(10)
где Ps = Р ~ - р | =< е}.
Важно подчеркнуть, что попытка уточнить соотношение (10)
неминуемо приводит к необходимости использования некоторой
вероятностной меры точно так же, как оценка отклонения частоты
Sn/n от р оказывается возможной лишь после привлечения
вероятностной меры Р.
3.	Рассмотрим полученную выше оценку
р{!т-₽Н= _	f1"
для ответа на следующий, типичный для математической статис-
тики вопрос: каково наименьшее гарантированное число наблюде-
ний п, при котором (для любого 0<р<1)
Р ~ — р | sg е j  1 — а,
(12)
где сс — заданное (обычно малое) число?
Из (11) следует, что таким числом является наименьшее целое
п, для которого
1
п ' -i  •
(13)
Если, например, сс — 0,05 и е = 0,02, то число наблюдений,
равное 12500, гарантирует выполнение неравенства (12) незави-
симо от значения неизвестного параметра р.
Далее мы увидим (п. 5, § 6), что это число наблюдений сильно
завышено; это объясняется тем, что неравенство Чебышева дает
(IS I )
слишком грубую оценку сверху вероятности Р < ~ — р | ер
4.	Обозначим
С(п, е) = {со: |	- р | < е}.
Из доказанного закона больших чисел следует, что для всякого
е> 0 при достаточно больших п вероятность множества С(п, е)
близка к единице. В этом смысле траектории (реализации) оз из
С(п, е) естественно назвать типичными (или (га, е)-типичными),
Поставим следующий вопрос: каково число типичных реализа-
ций и вес р (оз) каждой типичной реализации?
С этой целью заметим сначала, что общее число точек N (Q) =
= 2я, и если p — Q или 1, то множество типичных траекторий
§ 5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
63
Рис. 8. Функция
Н (р) = — р 1п р —
— (1 — Р)Х1п (1—р).
С(п, е) состоит всего лишь из одной траектории (О, О,..., О/
или (1, 1,..., 1). Но если р = 1/2, то интуитивно понятно, что
«почти все» траектории (за исключением траектории типа (0, 0, ...
0) или (1, 1,..., 1)).будут типичными и, следовательно, их
число должно быть близко к 2п.
Оказывается, что на поставленный вопрос можно дать исчер-
пывающий ответ для произвольных 0 <; р <1 1; при этом
выясняется, что как число типичных реализаций, так и их веса
р (со) определяются некоторой специальной
функцией от р, называемой энтропией.
Чтобы глубже раскрыть содержание со-
ответствующего результата, полезно рассмот-
реть несколько более общую схему из п. 2
§ 2, нежели схема Бернулли.
Пусть (рр р2,..., рг) — некоторое ко-
нечное распределение вероятностей, т. е. на-
бор неотрицательных чисел, удовлетворяю-
щих условию рх+ р,= 1. Энтропией
этого распределения называется величина
Я = -2а-1пА-,	(14)
I
где 0 • 1п 0 = 0. Ясно, что Я~з=0, причем Я = 0 тогда и только
тогда, когда все вероятности pit кроме одной, равны нулю. Функ-
ция f(x)~— xlnx,	выпукла кверху и, как хорошо
известно из свойств выпуклых функций,
i(%i)4~    Ч~/ (xr) с / *1 Ч~---4-я\
Г	\ Г /
Следовательно,
Я = - 2 Pi ^Pi^-r. Р1+--;- + ^ . In [ Р1+-/..-+р<) = in г.
i = 1
Иначе говоря, энтропия достигает своего максимального значе-
ния при рх =... = рг = 1/г (см. рис. 8 для функции Я = Я (р) в слу-
чае г = 2).
Если рассматривать распределение вероятностей (рА, р2, ..., рг)
как вероятности появления некоторых событий, скажем, Alt Л2, ...
..., Аг, то совершенно понятно, что «степень неопределенности»
в свершении того или иного события различна для различных
распределений. Если, например, = 1, р2 = ... = рг = 0, то ясно,
что такое распределение не обладает никакой неопределенностью:
с полной уверенностью можно сказать, что в результате опыта
произойдет событие Однако если р1 — .. . = рг= \/г, то такое
распределение обладает максимальной неопределенностью в том
64
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
смысле, что невозможно отдать предпочтение в свершении тому
или иному событию.
Важно поэтому иметь количественную характеристику меры
неопределенности различных распределений вероятностей, что
позволяло бы их сравнивать с этой стороны. Такой удачной
характеристикой меры неопределенности оказалась энтропия,
играющая существенную роль в статистической механике и во
многих важных задачах кодирования и теории связи.
Предположим теперь, что пространство исходов
Q =={со: со = (сг1( ..., й„), а,-=1, г}
и р (со) = /^i (<0).. .pvrr (ю), где V; (со)— число элементов I в последо-
вательности со, a (plt рг) — некоторое распределение вероят-
ностей.
Для е>0 и п=1, 2, ... положим
С(п, е) = {со: |	— pt | < е, i=l, ...,
Ясно, что
Р(С(щ е))> 1 - V Р {|^-рг|!гЦ,
i = 1
и для достаточно больших п в силу закона больших чисел, при-
мененного к случайным величинам
( 1, ак = 1,
£*(«) = { п , k= 1............п,
( 0, ак Ф i
вероятности Р ~ Р* | достаточно малы. Тем самым при
больших п вероятность события С (л, е) близка к единице. Поэтому,
как и в случае г = 2, траектории, входящие в С (п, е), будем
называть типичными.
Если все pi р> 0, то для любого со ед Q
р(со) = ехр !— п 2	In рА.)
I 4 = 1
Поэтому, если и —типичная траектория, то
2	2 |УДГ-~/?*|1пР*^-е 2lnR
Отсюда следует, что для типичных траекторий вероятность р (со)
близка кг'"' и — поскольку в силу закона больших чисел при
больших п типичные траектории «почти» исчерпывают Q — число
§ 5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
65
таких траекторий должно быть порядка епИ. Эти соображения
приводят к следующему предложению.
Теорема (Макмиллан). Пусть pi>0, i = 1,	, г и 0<е< 1.
Тогда существует n0 = n0(s; р1( ..., рг) такое, что для всех пу>по:
а)	еп (Н	(С (п, е,)) < еп + е>;
Ь)	е~"<н +Е> г=д р («) е~~11 {Н~е), йеС(/!, et);
с)	Р (С (п, ег)) =	2 Р (“)->•1 > п °°>
СО Gx С (fl. Е1)
где
q = min /е,---------------\.
i ~2 2 1пР* /
Доказательство. Угверждение с) следует из закона боль-
ших чисел. Для доказательства остальных утверждений заметим,
что если сое С (я, ej, то
пр11 — ещ<х1,(оР; +	&=1, ..., г,
и, значит,
р (со) = ехр У vA. In pk\< exp {— n У, p,. in р/г -&yi V In p;J
- f	/ П	E
^ехр{-п(Я--^>.
Аналогично
p(co)>exp j— n \H + |
Следовательно, b) и подавно выполнено.
Далее, поскольку
ТО
Р (С (я,	8J)-
min р(со),
(О ёх С (-'I, £ 1)
N(C(n, е1))=С
Р (С (п, 8x1)
min р (ш)
а е С (п, et)
е
и аналогично
У(С(П, г,))3, Р^ТТЬ>Р,С("'
СО G С (П, £i)
Поскольку Р(С(я, 8j))~*-1, п-^со, то найдется nY такое, что
для «>«! Р(С(п, е1))>1—е и, значит,
N (С (п, ej) (1 — е) ехр (н —	—
= ехр (л (Я - 8) + Гу + In (1 - 8)}}.
66
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Пусть п2 таково, что для п>п2
+ In (1 — е)>0.
Тогда для п^п0 — тах(п1, ;?,)
N (С (п,
Теорема доказана.
5. Закон больших чисел для схемы Бернулли позволяет дать
простое и изящное доказательство известной теоремы Вейерштрасса
о приближении непрерывной функции полиномами.
Пусть / = /(р)— непрерывная функция на отрезке [0, 1]. Вве-
дем полиномы
= У fQkWA
называемые полиномами Бернштейна по имени автора приводи-
мого доказательства теоремы Вейерштрасса.
Если ?.], ..., Ея — последовательность независимых бернуллиев-
ских случайных величин с Р{£г=1} = р, Р{с, —0} = <? и Sn =
=	+.  + £«> то
W = в„ (р).
Поскольку непрерывная на отрезке [0, 1] функция [ = / (р)
равномерно непрерывна, то для всякого е > 0 найдется 6 > 0
такое, что \f (х) — щ коль скоро |х —y;s^6. Ясно также,
что такая функция ограничена, (х) | «с М С со.
Учитывая это и неравенство (5), находим
Отсюда
+ 2
EI4--M
E—
r 2/162’
lim max \f (p) —	(p)! = 0,
n —* co 0^ p 1
= e
что и составляет утверждение теоремы Вейерштрасса.
§ 6. СХЕМА БЕРНУЛЛИ. II ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
G7
6. Задачи.
1.	Пусть S и т] —случайные величины с коэффициентом кор-
реляции р. Показать справедливость следующего двумерного ана-
лога неравенства Чебышева:
Р {| g - MS) 5 е У DS или 11] - Mr; j > s УТГр}	; (1 +
(Указание. Воспользоваться результатом задачи 8 из § 4.)
2.	Пу сгь f = f (л) — неотрицательная четная функция, неубываю-
щая пои положительных Тогда для случайной величины §
с |еЙ<С
(?)—f (е)	р I <- Г V- ! р I	~ М;)
' Г(С)	f(S} 
В частности, для /£(л-)=л'2
3.	Пусть и, ..., S.., — последовательность независимых случай-
ных величин с DS, =cC. Тогда
(15)
(С темп же оговорками, какие были сделаны к соотношению (8),
из неравенства (15) следует справедливость закона больших чисел
в более обш.ей ситуации, нежели в схеме Бернулли.)
4.	Пусть S.... S,,. — независимые бернуллиевские случайные
величины с Р = 11 —р > О, Р — —1} = 1— р. Имеет место
следующая оценка Бернштейна', существует а>0 такое, чго
Р p?i_(2p- 1)|ыйе1^2<?-^,
л	I )
где S„ = g1 + ... + ^ и е>0.
§ 6. Схема Бернулли. II. Предельные теоремы
(локальная, Муавра— Лапласа, Пуассона)
1.	Как и в предыдущем параграфе, пусть
‘^п ~ £1 “Г • • • "Г Izi*
Тогда
М^ = р,	(1)
и в силу (4.14)
М = ря.	(2)
68
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Из формулы (1) следует, что ~r''JP, где знак эквивалентности ~
получил точную интерпретацию в законе больших чисел в виде
оценки вероятностей Pj — р 5s е>. Естественно думать, что
аналогичным образом вытекающему из (2) соотношению

(3)
также можно придать точный вероятностный смысл, рассматривая,
например, вероятности типа

или, что то же, вероятности
Р
Vosn Г' .
(поскольку MSn = np и DSn = npq).
Если обозначить, как и выше, для л од 1
то вероятность
Рп (k) =Cnpkqn”, O^k^n,
(4)
Поставим задачу об отыскании удобных асимптотических фор-
мул при п -> со для вероятностей Рп (k) и их сумм для тех k,
которые удовлетворяют условиям в правой части (4).
Следующий результат дает ответ не только для этих значе-
ний k (т. е. таких, что \ k — np\ = Oy' npq)\ но и для тех, кото-
рые удовлетворяют условию I k — пр | = о (npq)2''3.
Локальная предельная теорема. Пусть 0 <' р < 1,
тогда равномерно по всем k таким, что \k — пр\ —о (npq)2/3
tn. е. при п->оэ
_ (k-npY
Pn(k)^-~=e	2^
V 2nnpq
sup
{k‘. \ k — np |<ф (n)}
Рп (k)
1 ->0,
где <f>(n) = o (npq)2/3.
——- е 2,1:14
V2nnpq
(5)
(6)
§ 6 СХЕМЛ БЕРНУЛЛИ IT ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
69
Доказательство существенно использует формулу Стир-
линга (2.6)
/?! ~ фл2лд е~ппп (1 +/?(«)),
где R(ri}->0, тг->оо.
Тогда, если n->oo, k->оо, п — &->оо, то
kl(n—k)l 2л*-2л (л —/?)£>-***•?-<«-*> (/г _
______1 +R (п)	__________1_______ 1+е (/г, /?, n — k)
’ РП1--ТЙ ’
Г п \	п j \п ) \ nJ
где очевидным образом определяемая функция z = e(n,k, n — k)->
-s-О при п->оо, /г->оо, /г —/г—>оо.
Поэтому
,	1	ri/i /1 _ t-)\4~'k
F„<k>-	_	== •>>	(1 + e).
J l'~7j
Обозначим 5 = Тогда
n
Pn (/г) = ^=1== Ce? f к (1 + e) =
=	__* 1 * * * * *_= exp рг In + (ti — k) In 41 4-e) =
! -2.~inp{l— p) VP	1—pJ
~	__1___= exp [n -- in - + f 1 ~ -- 'On -—- |!-(l~i-e) =
I 2:xnp (!—/>)	( Ln P \ n! 1—PJ)
= 1ТТ=Ат=^-ехр I— nH <^)} (1 + e),
2лпр\\— p}
где
H (A-) = X In 4- ( I - X) In
Рассматриваемые значения k таковы, что | k — пр t = о (прд)2/3,
а значит, р— р-^-0, п-^ео.
Поскольку, ДЛЯ 0<Л'<1
И' (х) = 1п--[пД-
' 7 о 1 — р
70
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
то, представив Н (р) в виде Н(р-\-(р — р)) и воспользовавшись
формулой Тейлора, найдем, что для достаточно больших п
Н(р) = Н (р) ф- Н' (р) (р - р) ф- Н" (р) {р - р)2 + О (1 р - р ]3) -
\ Р ч /
Следовательно,
Рп МО = ^-4=^; ехР (- ~ (р - Р)2 + (' Р -РI3)} (! + е)-
Г2лпр(1 — р)	( 2pq	J
Заметим, что
п	п Р _	_ (k — npP
2pq Р> — 2pq \ п ~ 2npq ’
Поэтому
(*- прУ .	, ,	,	, „
р_ (р\ =	___(Г (1 + е («> k> «-«)),
I 2nnpq
где
lJ~e'(/7, k, п — k) = (1 + s (n, k, n ~ k)) en0 p-₽I3) j/
и, как легко видеть,
sup Ie'(я., P, n — k}\-*-Q, n-^oo,
если sup брать по тем k, для которых
I k — np | =С Ф (я), Ф (я) = о (npq)21'3.
Теорема доказана.
Следствие. Утверждению локальной предельной теоремы
можно придать следующую эквивалентную форму: для всех х R1
таких, что X = о (npq)116, а npR-хУ npq — целые числа из множе-
ства {0,	, п]
___	I	_ л
Рп (пр + X Vпро) ~	6 2
У Zr.npq
т. е. при п-^со
sup
{.г : | х | < ф (п)}
Рп (np + xVnpq)
(7)
(8)
У2лпрд
где ф (я) ~ о (npqY/6.
С учетом замечаний, сделанных по поводу формулы (5.8),
полученные результаты на вероятностном языке можно перефор-
§ в. СХЕМА БЕРНУЛЛИ. И. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
71
мулировать следующим образом:
(k — npP
P{Sll^k}^-J==e , ]k — np\ = o(npq)-'3,	(9)
У 2nnpq
Р( S,,—пр 1	1	9
I	—L- :— у t	~ Q~ x'l^
\ Уnpq ) У2mipq ’
х = о (npp)1/s.	(10)
(В последней форм)-ле пр-Ух У npq предполагаются принимаю*
шпмп значения 0, 1, ..., п.)
J?  у р	I
Если положить — и &tk = Zft+1 — tk = —?-=- , то послед*
I npq	I прq
ней формуле можно придать такой вид:
Р Г'" Ей = /Д _ щ г~ , t,!==0(npq)vy (11)
I 1 npq J ! 2л
Ясно, что Д^ = —L=--> 0, п -ч-оо, и множество точек У}
У npq
как Сы «заполняет» всю числовую прямую. Естественно поэтому
думать, что (11) можно использовать для получения «интеграль-
ной» формулы
&	А'2
р (fi< УуУУ. Й---------С е" dx,
(. Г npq )	1 2л J
— со <0 я сД Ь < со.
Перейдем к точным формулировкам.
2.	Пусть для — со < а нД b < оо
Рп(а, b]= Pr/yip + xVTipq),
а < х' <Z b
где суммирование распространяется по тем х, для которых пр -р
~г х У npq — целые числа.
Из локальной теоремы следует (см. также (11)), что для всех
определенных из равенства k = пр + 1к ]/ npq и удовлетворяющих
\ СЛойИЮ I tk • sC Т < оо,
Ри(«р + 4]/ЁЙ) = -^^4/2[1+8(/ь «)],	(12)
У 2.Л
где
sup |e(/ft, п)|—>0,	/г->-оо.	(13)
72
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Следовательно, для фиксированных а и b таких, что

У Pn{np + tkVnpq) =
,2
2 >е’2’+ 1
6
е Г
/2S
где
te-^dx + R'^a,
V 2л J
b)-j-Rn!(a, b),
(14)
а<1к^Ь
^е-4/2_ 1
Ь
1 е- *2/2
/2л J
&) = 2
а<'*г
Из известных свойств интегральных сумм
п
sup IRn!(a, Z?)|->0,
(15)
Ясно также, что
sup I R'n (a, b)\^ sup I e (tk, n)\-
 a^b^T
'•ki
—---e
У 2л
1
2л
sup
-
i Rn (а, Ъ};
О,
где сходимость правой части
известного из математического
к нулю следует из (15) и
анализа факта, что
‘ X2
-U f
/2л
Обозначим
V 2л
(16)
того
(17)
х
а
2
т
— т
ф(х) = -7С- \ е-‘2'2Л.
'	12л. J
§ 6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
73
Тогда из (14) —(16) следует, что
sup \Рп(а, Ь] — (Ф (Ь) — Ф (я)) |-> О, п->оо. (18)
—	т
Покажем сейчас, что этот результат справедлив не только для
конечных Т, но и для Т — со. В силу (17) для заданного е>0
можно найти такое конечное Т ~Т (в), что
т
-Д- ( e~*2'2ttr> 1 -	(19)
I 2 л
Согласно (18) можно найти также такое N, что для всех n~>N
и Т = Т(е)
sup \Рп(а,	(20)
— 7 sP« < Л s' 7
Отсюда и из (19) следует, что
Р,г(-Т, Т]> 1- 2 -
и, следовательно,
Рп(-Ж, Т] + Рп(Т, схо)^ 2е,
где Рп (—со, 7] = lim Рп (5, TJ и Рп (Т, сс) — lim Рп (Т, S].
S i — оо	St С.С
Таким образом, для любых —оо^я=^ —7<71^6^со
Р,.(а, Ь]--Д-
)- 2.г
а
ь
( е-^2.'2 dx
! Рп (- т, Т]
+ Рп(а,-Т\
У 2л J
а
У 2л J
- т
ь
- — -— f е~ *2/2 dx
У 2л J
е
т
1
У' 2л
т
,	е ,	е ,	е ,	е
=	1	+	2	~Г~	8 ’+	8	' •
Вместе с (18) отсюда легко выводится, что равномерно по
всем —оо=са<&=Ссю Р„(а, 6] стремится к Ф(Ь) — Ф(а).
Итак, доказана
Интегральная теорема Муавра —Лапласа. Пусть
0 <7 Р < 1,
Pn(k) = Cnpkqn~k, Рп(а, (?]= У Рп(пр + хУ~прдУ
а< х
74
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Т огда
С точностью до тех же самых замечаний, которые были сде-
ланы по поводу соотношения (5.8), результат (21) можно на
вероятностном языке сформулировать следующим образом:
sup
— оо а < Z? со
Р {ci <z
I /ds;
i
У 2 л
ь
J е~*2'2 dx
а
->0, п->со,
Из этой формулы сразу следует, что при любых — от-с Л <0
< В оо при п -> оо
Р{ Л<5л=сВ}-
\ I nPQ i \ У npq
(22)
Пример. Правильная кость подбрасывается 12000 раз. Спра-
шивается, какова вероятность Р того, что число шестерок будет
лежать в интервале (1800, 2100J.
Искомая вероятность равна
Р =
V
1800 < к 2100
.к ! 1	'5
12 000 (б) Ю6~
12 COO — к
Попятно, что точнее вычисление этой суммы представляет
весьма трудоемкую работу. Если же воспользоваться интегральной
теоремой, то найдем, что интересующая нас вероятность Р при-
мерно равна (/1 = 12 000, р=~, «= 1800, b = 2100)
2100-2000	\ _ ф /	1800 — 2000
1/ 12 000-А-А)	12 000-/.-/
F	6 6/	\ У	6 6
= Ф (У 6) -ф(-2/б)^Ф (2,449) - Ф (— 4,898)	0,992,
где значения Ф (2,449) и Ф(—4,898) взяты из таблиц для функ-
ции Ф (х) (так называемой нормальной функции распределения,
см. далее п. 6).
3.	Нанесем биномиальные вероятности Pn(np-yxV npq) (х пред-
полагается таким, что пр + х^npq — целое число) на графике
(рис. 9).
Тогда локальная теорема говорит о том, что для x = o(npq)} 6
вероятности Р П(пр }-х~\^ npq) хорошо «ложатся» на кривую
§ 6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
75
-	—g~*2/2. Интегральная же теорема говорит о том, что
У 2 л pq	____ ___________________
вероятность Рп (a, b] = Р {а У npq <_Sn — np^b У npq] = Р {пр -У
q-X2U
Z2 (пр+xfnpq}
)
iZTtnpi].

Рис. 6.
+ аУ npq <Z Sn ssznp + b 'Упрр} хорошо аппроксимируется инте-
_____________ь
гралом 1/У2л g-*2'2 dx,
а
Обозначим
Fn W = Рп (- со, х] (= Р	< х]1
\ I V npq )/
Тогда из (21) следует, что
sup J Fn (х) — Ф (х) j -> 0,	/1->со,	(23)
Естественно возникает вопрос, насколько быстро с ростом п
происходит стремление к нулю в (21) и (23). Приведем (без дока-
зательства) результат, относящийся сюда и являющийся частным
случаем так называемой теоремы Берри — Эссеена:
sup |Гл(х)-Ф(х)К^Х.	(24)
-ccs£xs£co	V npq
Важно подчеркнуть, что порядок сценки (\/~У npq) не может
быть улучшен, а это означает, что аппроксимация F„ (х) с по-
мощью функции ф (х) может быть плохой при значениях р, близ-
ких к нулю или единице даже при больших п. Возникает поэтому
вопрос о том, а нельзя ли при малых значениях р или q найти
для интересующих нас вероятностей лучшую аппроксимацию,
нежели так называемая нормальная, даваемая локальной и инте-
гральной теоремами. С этой целью заметим, что, скажем, при
р = 1/2 биномиальное распределение {Pn(k)} имеет симметричную
форму (рис. 10). Однако при малых значениях р биномиальное
распределение приобретает асимметричную форму (см. рис. 10),
и поэтому не приходится ожидать, что нормальная аппроксима-
ция будет хорошей.
76
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
4.	Оказывается, что при малых значениях р хорошую аппрок-
симацию для \Рп (k)} дает так называемое пуассоновское распре-
деление вероятностей.
Пусть теперь
k = 0, 1,	, п,
k = n-\- 1, /И~2,
и предположим, что р является функцией от п, р = р(п).
Рис. 10.
Теорема Пуассона. Пусть
Ю что пр(п)^~7., где Х>0. Тогд<
р(/г)^-О, л->оо, причем
для любого k = Q, 1, ...
где
л/г
Р„ (k)	л,,,, п -+ ОС,
/г=-0, 1, ...
(25)
(26)

Доказательство весьма просто. Поскольку по предполо-
жению р (п) = -- + о ), то для любого фиксированного k = 0, 1,...
и достаточно больших п
Pt,(k) = CknPkqn~k =
_ п(п— 1)
Но
 (n-fe+l)
k)
n(n-l) ... (11 -k+ 1) [^4-0	=
= n (n-n_.,-_(_n.Z±+.12 р.ш0 (1	V, Иco,
nfc
и
1--------о —	—>-e_\ n-^-оэ,
n 1	\. n / J
что и доказывает (25).
СХЕМА БЕ1Ч1УЛ.ТИ Г ПРЕДЕЛ! ПЫ1-' ТБОРГМЫ
77
Набор чисел (лд,, 6 = 0, 1, ...} сСргзхет так называемое ntjac-
I	Д'	\
соновское распределение вероятностей jnAg-0, nA.= li. Отме-
k - О
тим, что все рассматриваемые выше (дискретные) распределения
были сосредоточены лишь в конечном .числе точек. П\ ассонсвское
распределение — это первый встретившийся нам пример (дискрет-
ного) распределения, сосредоточенного в счетном числе точек.
Приведем (без доказательства) следующий результат Ю. В. Про-
хорова, показывающий с какой скоростью величины Pn(k) сходятся
к л* при /г-ь-с-о:
| Рп (k) - лА J <	• min (2, X).
4 = 0
(27)
5.	Вернемся к предельной теореме Муавра — Лапласа. Пока-
жем, как из нее следует закон больших чисел (с оговорками,
сделанными к (5.8)). Поскольку
Sn — np
V npq
V pg)
то из (21) ясно, что для е> 0
е Vnlpq
pJIJk-pl^A--------3—	и->со, (28)
U « нI ) У 2л ?_________
е Vrn/pq
откуда
Р 1~— р | ~е| —> 1,	п -> со,
что и составляет утверждение закона больших чисел.
Из (28)
sYn/pq
рЛ--—р I eg еI	f	e-x2/2dx, п -> со, (29)
И п П j	/2л J  	7
— e,Vn!pq
в то время как неравенство Чебышева давало лишь оценку

pg
пе2 *
В конце § 5 было показано, что для справедливости соотношения
Р
{|т-
-рКе! g 1 -«
78
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
неравенство Чебышева дает следующую оценку для необходимого
числа наблюдений:
_ 1
п
4е2а
Гак, при е = 0,02, а = 0,05 необходимо 12 500 наблюдений. Вос-
пользуемся теперь для решения той же задачи аппроксимацией (29).
Определим число k (а) из соотношения
k (у)
С е-х2/2 dx—1 — а,.
Г 2л
- к (а)
Поскольку е J/ -~-^2е]/п, то, определяя (наименьшее целое) п
из неравенства
2е (а),	(30)
получим, что
Р { |	1^4 <5 1	(3l)
13з (39) находим, что наименьшее целое п, удовлетворяющее
неравенству
гарантирует выполнение (31), где точность аппроксимации легко
может быть установлена из (24).
Беря е = 0,02, а = 0,05, находим, что на самом деле доста-
точно лишь 2500 наблюдений, а не 12 500, как это следовало из
неравенства Чебышева. Значения k (а) находятся по таблицам.
Приведем ряд значений k (а) для некоторых значений а:
а	к (а)
0,50	0,675
0,3173	1,000
0,10	1,645
0,05	1,960
0,0454	2,000
0,01	2,576
0,0027	3,000
6. Введенная выше функция
ф (х) =
v ’	/2л
(32)
участвующая в интегральной теореме Муавра — Лапласа, играет
исключительно важную роль в теории вероятностей. Эта функция
§ 6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
79
называется нормальным или гауссовским распределением вероят-
ностей на числовой прямой с (нормальной или гауссовской) плот-,
ностью
^Х='2’ X^R1-
Мы уже встречались с (дискретными) распределениями, сосре-
доточенными в конечном и счетном множестве точек. Нормальное
распределение принадлежит
другому важному типу рас-
пределений, возникающих в
теории вероятностей. Отмечен-
ная выше его исключительная
роль сбъсняется прежде все-
го тем, что при достаточно
общих предположениях рас-
пределение суммы большего
числа независимых случай-
ных величин (не обязательно
бернуллиевских!) хорошо ап-
проксимируется нормальным
распределением (§4 гл. III).
Остановимся сейчас на некот
ср (,г) и Ф(х), графики которых
Рис. И. График плотности ср (х) нормаль-
ного распределения.
орых простейших свойствах функций,
приведены на рис. 11 и 12,
1,28
Рис. 12. График функции нормального распределения Ф (х).
Функция <р (х) является симметричной колоколообразной кри-
вой, убывающей с ростом I х j очень быстро: так ср (1) =0,24197,
ф (2) =0,053991, ср (3) = 0,004432, ср (4) = 0,000134, <р (5) = 0,000016.
80
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Максимум этой кривой достигается в точке х = 0 и равен (2л)-1/2
№ 0,399.
X
с
К 2 л	.)
— сю
Кривая Ф (х) =
е~/2/2 dt быстро приближается с ростом х
к единице: Ф (1) = 0,841345, Ф (2) = 0,977250, Ф (3) = 0,998650,
ф (4) = 0,999968, Ф (4,5) = 0,999997.
По поводу таблиц функций q? ( х ) и Ф (х), а также других
основных функций, используемых в теории вероятностей и мате-
матической статистике см. [6].
7. Задачи.
1.	Пусть п = 100, р— 1/10, 2/10, 3/10, 4/10, 5/10. Используя
таблицы, (например, из J 6]) биномиального и пуассоновского рас-
пределений, сравните значения вероятностей
Р{Ю<5100^12},
Р {33 < S!00	35},
Р {50
Р{20<3,П8=.с22},
P{40<Si00^42},
Sino^52}
с соответствующими значениями, даваемыми
ооновской аппроксимациями.
2.	Пусть р=1/2 и Z„ = 2S„ —/г (число
над нулями в п испытаниях). Показать, что
нормальной и пуас-
превышений единиц
sup ) Упп Р {Z2n = /} — e-i'1'111 -> 0, п -> оэ.
/
3.	Доказать, что в теореме Пуассона имеет место следующая
скорость сходимости:
] п ...	]	2;?
8и/р^)--дИ;С“'Г-
§ 7. Оценка вероятности «успеха» в схеме Бернулли
1. В рассмотренной выше схеме Бернулли (Q, А, Р) с Q =
= {со: и = (х1, хп), х; = 0,1|, W = {4: Л£Й|,
p(co)=/V2x'
предполагалось, что число р (вероятность «успеха») известно.
Представим теперь, что р заранее неизвестно и мы хотим его
определить по наблюдениям за исходами эксперимента, или, что
то же, по наблюдениям за случайными величинами ...,
где gz(co) = xz. Эта задача, являющаяся типичной для математи-
ческой статистики, допускает различные постановки. Ниже мы
рассматриваем две такие постановки: задачу оценивания и задачу
построения доверительных интервалов.
S 7. ОЦЕНКА ВЕРОЯТНОСТИ «УСПЕХА»
81
Следуя обозначениям, принятым в математической статистике,
неизвестный параметр р обозначим через S, считая a priori, что
значения 0 принадлежат множеству 0 = [О, 1]. Будем говорить
также, что набор (й,	, Р0; 0 е 0) с ре (со) = 92х'(1 —
задает вероятностно-статистическую модель (отвечающую «п не-
зависимым испытаниям» с вероятностью «успеха» Ое0), а вся-
кую функцию Тп = Т„(и>), принимающую значения в О, будем
называть оценкой.
5
Если Sn — ^ + .. и Тп = -~, то из закона больших чисел
следует, что сценка Тп является состоятельной в том смысле,
что >'с > 0)
«->оэ.	(!)
Косме того, эта сценка является несмещенной: для всякого
0 еэ 0
W==G,	(2)
где Мо — математическое сжигание, отвечающее вероятности Р0.
Свойство оценки быть несмещенной является вполне сстесттен-
ным: оно отражает тот факт, что всякая разумная оценка должна,
по крайней мере «в среднем», приводить к желаемому результату.
Однако легко заметить, что оценка Т* не является единственной
несмещенной сценкой. Например, такой же будет всякая сценка
где й|1. При этом для таких щенок также бьдет
выполняться закон больших чисел (1) /но крайней мере для
неотрицательных ф) и тем самым эти оценки Тп так же «хороши»,
как и Тп.
В этой связи возникают вопросы о тем, как сравнивать раз-
личные несмещенные сценки, какую из них назвать наилучшей,
оптимальной.
По самому смыслу сценок естественно было бы считать, что
сценка тем лучше, чем меньше ее отклонение от оцениваемого
параметра. Основываясь на этом, назовем сценку Тп эффектив-
ной (в классе несмещенных оценок Тп), если
D0r„ = infDa7\, 0-е,	(3;
Тп
где ОеГ» — дисперсия сценки Тп, т. е. Me(T„ —S)2.
Покажем, что рассмотренная выше оценка Т„ является эффек-
тивной. Имеем
DoГ* = Do f Sn} =	=	.	(4)
J	\ П J П“	Л2	n
82
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
Поэтому, для того чтобы установить, что сценка Тп зффек-
тивна, достаточно показать, что
(5)
11
При 6 = 0 или 1 эта сценка очевидна. Пусть 6 е= (0, 1) и
ро(х;) = 0л<(1-6)1"4
Ясно, что
п
Ро И = П Р9 te)-
1= 1
Обозначим
Те(со) = 1пр0(со).
Тогда
Т0 ((£>)-1п6. v^ + in(i-6)2(i _Х/)
н
<9^0 (со) —0)
60	= 6 (1 —0) •
Поскольку
1 == Mq1 = 2 Ро (со)
и в силу несмещенности оценки Тп
6^Me7\=£7\(co) р0(®),
СО
то после дифференцирования по S получим, что
/Эре (<о)\
0^V^ = yl_a9J м гафе(о)-1
л Ре И	L эе J
СО	to
f Эре (to) \
1 = 2 г. Рв (И) = м, [т.^ ]•
(1)
Значит,
1 = М6[(Тп-е)^У^]
и, согласно неравенству Коши —Буняковского,
1<Ме[Тл-0р.
м ГдТе(®)-12
§ 7. ОЦЕНКА ВЕРОЯТНОСТИ «УСПЕХА»'
83
откуда
мш- - 6Т =» ТЛЯ 
(6)
где величина (9) =	J носит название информации
Фишера.
Из (6) получаем частный случай так называемого неравенства
Рао ~ Крамера для несмещенных оценок Тп
1
К (О'
inf Dr-Xj
К
(7)
В рассматриваемом случае
_ н i X? X Р _ м ! Т _ '11ILXL _ п
' h‘0L Ф J ,Л° | 0 (i-0) ]	[0(1— X3 0(1-6)’
что и доказывает неравенство (о), из которого, как уже стмеча-
sn
лось, следуе! эффективность несмещенной сценки гп — ~-- для
неизвестного параметра 9.
2. Очевидно, что, рассматривая в качестве «точечной» оценки
для 8 величину Тф мы совершаем некоторого ошибку. Может
даже случиться, что численное значение Т'п, подсчитанное по наблю-
денным значениям лу, л'„, будет довольно сильно отличаться
от истинного значения 9. Поэтому целесообразно было бы ука-
зывать еще и величину погрешности.
Довольно бессмысленно надеяться, что для всех элементарных
событий величины (со) мало отличаются от истинного значения
неизвестного параметра 9. Сдпако из закона больших чисел мы
знаем, что для всякого 6>0 ври достаточно больших п вероят-
ность события ) 10 — Т;, (®) | > 6} будет достаточно мала.
Согласно неравенству Чебышева
РО{|0-Т*|>6Н
0(1 — 6)
яб2
и, значит, для всякого К > О
Ро{!9-7Х=СЦ/
1
у 2 •
Если взять, к примеру, А, = 3, то с Р0-вероятностью, большей чем
0,8888	— j- =	0,8888^, осуществится событие
81
ГЛ I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и тем более — событие
ПОСКОЛЬКУ 6(1—6)гС-р
Таким образом,
Ре{)6-ПК-U = p0(n--ДтЦ^0-8888-
Иначе говоря, можно утверждать с вероятностью, большей чем
0,8888, что истинное значение параметра 6 принадлежит иптер-
I	3	3 ’I
валу	, Тп + J Иногда это утверждение символи-
чески записывают в такой форме:
где «Дг-88%» означает «более чем в 88% случаев».
I	3	.31
Интервал [Тп —	, T'n +^jz=] является примером так
называемых доверительных интервалов для неизвестного парамира.
Определение. Интервал вида
где % (со) и ф2(со) —две функции элементарных событий, па-’м-с-т
доверительным интервалом надежности 1 — б (или с уроы-см
значимости 6), если для всех 0 ед 0
Ре {Ф1 (ю) < 9 ф2 (со)}	1 — 6.
Приведенные выше рассуждения показывают, что интервал । Т* —
----, T'i 4	1 имеет надежность 1 —Л-. На самом дело
2М	IV п J
надежность доверительного интервала значительно выше, что
связано с тем, что использованное неравенство Чебышева дает
лишь грубую сценку вероятностей событий.
Для получения более точных результатов заметим, что
/со: I 0 - Т*  <	= {о : (7% п) -< 9 < ф2 (ДД
где ф1 = ф1(7’Д п) и ф2 — ф2 (Тп, «) —корни квадратного уравнения
(9-%*)2 = ^-9(1-0),
§ 7. ОЦЕНКА ВЕРОЯТНОСТИ «УСПЕХА.»
85
описывающего эллипс, расположенный так, как это изображено
на рис. 13. Пусть теперь
/ЗД = Ре
•	—п8
1616(1^6)
1
Тогда в силу (6.24)
srf5w-®w^iW=sr
Поэтому, если a priori известно, что
0<A<Gc 1 — Д< 1,
где А —некоторая константа, то
sup i FS'(A') - Ф (x) I < —
и, значит
Pe {ipi n,
гр2 (П, П)} = Pof i 0 - Г<\
p i n9!
t [/ tbW
x	2
Пусть V — то наименьшее %, для которого
2
(2Ф(Л)-1}--?т Ssl-6*,
где 6*—заданный уровень значимости. Обо-
2
значая 6 = 6*———= , находим, что X* есть
Д V п
корень уравнения
Ф(Х) = 1-|.
В случае больших п можно пренебречь чле-
ном 2/АИ^ и считать, что Z* удовлетворяет
соотношению
л*
Фр,*)=1-Ш .
В частности, если X* = 3, то 6* = 0,9973 ... Так что с вероят-
ностью, примерно равной 0,9973,
8)
(8)
86
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
или после итерирования и отбрасывания членов порядка О (/г3-4)
находим, что
Отсюда следует, что доверительный интервал
[П-
3
2J/ п
3 -1
2|/%]
(Ю)

имеет (при больших п) надежность 0,9973 (тогда как неравен-
ство Чебышева, давало надежность лишь, примерно, равную 0,8888).
Отсюда можно сделать следующий практический вывод. Пусть
производится большое число N серий экспериментов, в каждой
из которых по п наблюдениям оценивается параметр S. Тогда
примерно в 99,73% случаев из N в каждой серии оценка будет
отличаться от истинного значения параметра не больше чем на
3
2/Т
. (См. по этому поводу также конец § 5.)
3. Задачи.
1.	Пусть a priori известно, что параметр 8 принимает значе-
ния во множестве 0О [0, 1]. Построить несмещенную оценку
для параметра 8, принимающую значения лишь во множестве 0О.
2.	В условиях предыдущей задачи найти аналог неравенства
Рао —Крамера и рассмотреть вопрос об эффективных оценках.
3.	В условиях первой задачи рассмотреть вопрос о построении
доверительных интервалов для 8.
§	8. Условные вероятности и математические ожидания
относительно разбиений
1.	Пусть (Q, о% Р) — конечное вероятностное пространство и
^={7?!, .... Dk}
— некоторое разбиение Q (Dt ед <?у/, Р (£),•) >0, i = 1, ..., k, и
Dt %..- + D* = Q). Пусть, далее, Л—событие из и Р (Л ;£>,)—
условная вероятность события Л относительно события Dt.
С набором условных вероятностей {Р (Л |£>,), i = 1, ..., k}
можно связать случайную величину
k
л(®)= 2 р (Л ! nz) (со)	(1)
i = 1
(ср. (4.5)), принимающую на атомах разбиения Dt значения
Р (Л [£>,). Чтобы подчеркнуть, что эта случайная величина связана
§ 8. УСЛОВНЫЕ ВЕРОЯТНОСТИ П ОЖИДАНИЯ	87
именно с разбиением 2ф ее обозначают
Р(Л|^) или Р (Л I 26) ((»)
и называют условной вероятностью события А относительно раз-
биения 26.
Это понятие, а также вводимые далее более общие понятия
условных вероятностей относительно о-алгебр, играют важную
роль в теории вероятностей, что постепенно будет раскрываться
последующим изложением.
Остановимся на простейших свойствах условных вероятностей:
Р (Л + В j Д7) = Р (Л j 2) + Р (В \26)-	(2)
если 2' — тривиальное разбиение, состоящее из одного множе-
ства Q, то
Р(Л :й) = Р(Л).	(3)
Определение условной вероятности Р(А!2) как случайной
величины дает возможность говорить о ее математическом с жпда-
нии, используя которое можно следующим компактным образом
записать формулу полной вероятности (3.3):
№Р (А\ 2)-==Р (А).	(4)
Действительно, поскольку
/.
Р(Л'<д= V Р(Л
! 1
то по определению математического ожидания (см. (4.5) и (4.6))
Е';Р (А \2’) = ^Р(А\ Di) Р (DJ = £ Р (ADp = Р (Л).
i=i	/=1
ГЭ. с-ь теперь т] = г) (го) — случайная величина, принимающая
с положительными вероятностями значения ylt ук:
k
11(®)= 2 г/ДоД®),
/ = 1
где D, = {и: ц (го) = (/,}. Разбиение	..., Dk\ называется
разбиением, порождаемым случайной величиной 1]. Условную
вероятность PiAl^^) будем в дальнейшем обозначать Р (Л | п)
или Р(Л ;т|)(со), и называть условной вероятностью события А
относительно случайной величины гр Условимся также вод
Р(Л|т)=£0 понимать условную вероятность Р(Л;Э7), где
Р/={®: Я (и) = //;}.
88
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Аналогичным образом, если т|г, г|2, r|m— случайные вели-
чины и	т) — разбиение, порожденное величинами г|1,
т]2, ..., т]т с атомами
°У1, %,	i'm='tC0: 41 И = '/1.	Лт(®)=^}>
то Р (А <л,, .... nm) обозначается Р(А)т-{1, г|2, ..., r|m) и назы-
вайся условной вероятностью события А относительно случайных
величин т]], р.,, ..., т]т.
Пример 1. Пусть g и т] — две независимые одинаково рас-
пределенные случайные величины, принимающие каждая значе-
ния 1 и 0 с вероятностями р и q. Найдем для k — 0, 1,2 услов-
ную вероятность Р (t, + = k J р) события /1=^-{со:	= отно-
сительно р.
С этой целью отметим сначала следующий общий полезный
факт: если g и р —две независимые случайные величины со зна-
чениями х и у соответственно, то
Р(5 + П = г;т1 = «) = р(ё + г/ = г).	(5)
В самом деле,
=_ ?6i + y = z, Т) = У) _ Р(Д--ыЩР = ф _ р р ,	,
Р(П = У) “ Р(П = .'/)	г(е-Г£/-г/.
Используя эту формулу для рассматриваемого случая, нахо-
дим, что
Р (с. + т] = k \ ц) = Р (Е + т] = k ! р = 0) 1{1] а .С) (со) +
Ч~ Р (£ Ч~ Л = k I Л — 1) /{1) = 1) (со) =
= P(g = ^)/{n=0) (<0) + Р^ = Й-1}/{п = !)(«)
Итак,
Р (£ + н = k \ Л)=г
или, что то же самое,
<?/{п = о} И,	й = 0
р/{П = о) (“) + <7/{ii = о (®), k=\
pl{Т) = 1) (to),
* = 2,
(6)
 <7(1-11),
Р (Н-фт] = 7г J »])==  р(1 - п)-Нп,
. РП,
й = 0,
k= 1,
^ = 2.
2.	Пусть Е = £ (со) —случайная величина, принимающая значе-
ния в множестве Х = {х], ..., xt}:
§ 8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
89
и S— {Dlt Dk\ — некоторое разбиение. Подобно тому как
для g по вероятностям Р(Ау), /=1,	было определено
математическое ожидание
М£= 2 ХуР(Ау),	(8)
/ = 1
так и с помощью условных вероятностей Р (Лу | S'), j=\, .... I,
естественно определить условное математическое ожидание случай-
ной величины £ относительно разбие-
ния S, обозначаемое M(EiJ^), или Р (• ) ——М£
М (£ | S) (а>), формулой '	I
I	г
М(£|>) =	XyP(Xyf^). (9) P(.i^__0£L^M^i5)
/	= 1	I
Г'	I	(1)
Согласно этому	определению условное	!' •
математическое ожидание М(^)('о)	; r-A'Sl
является случайной величиной, прими-	7	п<ъс ;
мающей для всех элементарных собы-	Рис. 14
тий со, принадлежащих одному и тому
i
же атому Dh одно и то же значение У, XyP(AJD(). Это за-
/ “ 1
мечание показывает, что к определению условного математиче-
ского ожидания М (Е j S) можно было бы подойти иначе. А именно,
сначала определить М (Е | Dt) — условное математическое ожида-
ние 1- относительно события D, формулой
M(*,z);)= 2,*/miM=-pw±/’	(10)
а затем положить по определению
М (£ ^) (со)
У М (Е | Dz)/о. (со)
i а
(Н)
(см. диаграмму на рис. 14).
Полезно отметить также, что значения М (5 I О) и М (Е, [ S) не
зависят от способа представления случайной величины Е.
Проводимые далее свойства условных математических ожида-
ний непосредственно вытекают из их определения:
М (п£ Ьт| I S) : = аМ (Е | S) ЬМ (р ( S), а, Ь — константы; (12)
М(Е!Й) = МЕ;	(13)
М (С j S) — С, С — kohci анта;	(14)
W	ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
если s = /A(co), то
М(^|^) = Р(Д ]^).	(15)
Последнее равенство показывает, в частности, что свойства услов-
ных вероятностей можно получать непосредственно из свойств
условных математических ожиданий.
Следующее важное свойство обобщает формулу полной вероят-
ности (5):
MM(^^) = Ms.	(16)
Для доказательства достаточно заметить, что, согласно (5),
i	i
ММ (* I ^) = М 2 х,-Р (Aj I ^) = 2 Д-Ь1Р(Л/: ДД = 2 Л'/Р (А) = К
/ = 1	.	i=\
Пусть & ={Dlt Dft}— разбиение и р = р (о) — некоторая
случайная величина. Будем говорить, что т) измерима относительно
этого разбиения или ^-измерима, если	т. е. 1]==}]»<о)
может быть представлена в виде
k
= 2т>’тЦИ,
i = ।
где yt могут быть и равными. Иначе говоря, случайная величина
^’-измерима тогда и только тогда, когда она принимает постоян-
ные значения на атомах разбиения <&'.
Пример 2. Если ^—тривиальнее разбиение, Тлто ч
.©^-измерима в том и только том случае, если	где С —
постоянная. Всякая случайная величина р измерима относи-
тельно разбиения
Предположим, что случайная величина р является До-измери-
мой. Тогда
М (ip — т)М (t i X?)	С 7)
и, в частности,
М()]| Д7)==Т] (М (Т)! Д\) ==Т]).	(’8)
г
Для доказательства (17) заметим, что если	го
i k
= Е X Х/У11 л.ос
j = 1 L = 1
§ 8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
91
и, значит,
У, У х71/;Р(Д/О/|^г) =
i = 1 (= 1
i k	k
j — 1 i = 1	tn ~ 1
i~ 11 = i
= S S	(19)
/ = 11 = 1
С другой стороны, учитывая, что 1Ъ1 — 1о1 и	=	1^т,
получаем
г|М (t i
У У'Р I
/-1
k
zj ИЦ (a)
i =r 1
l—l / =- 1
' !Dm («) =
что вместе с (19) доказывает (17).
Установим еще одно важное свойство условных математиче-
ских ожиданий. Пусть ,'У\ и ДУ2 — два разбиения, причем ДУДЕ
<= У'2 (разбиение ы>2 «мельче» разбиения ДУд). Тогда
М [М а ут21 ^1 = М (В | ДУХ).	(20)
Для доказательства предположим, что
2 ” {^21J •••> ^2«1*
Тогда, если	>д!д , то
/ = 1
М(ЦДУ2)= У ^РМл1^),
i = 1
и достаточно лишь установить, что
М[Р(Л/]ДУ2)|^1] = Р(Л/|^-1).	(21)
Поскольку
Р(Лу!ДУ2)= у Р(Лур29)/д
q =1
92
ГЛ Т ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
М [Р (Л I ,^2)! <^]= 2 Р (Л71 Da?) Р (О2? I ^)=
я =1
^VPMJD2?) 2 P(Dm\D1p)Id
я = ।	С = 1	"
= Z Ч/ 2 Р(Л/|д2?)Р(0зд!01/))-
!> == I	<7=1
= V ID .	2	Р(Лу;о29)Р(п29р1р)=
{Ч-. Diq^DXp}
v , V	РИА?) Р(О2?)
~	2>' 2i Р(О2?) ’ P(Dlp) “
г - ! Р: 2,- = ДД
= 2 7О] •Р(Л/;о1р) = Р(Л,.|^1)(
р = I
что и дог.ззывает (21).
В том случае, когда разбиение £? порождается случайными
величинами гр....... п/г (= 2В M]j . ,lfr), условное математическое
( жпдапие М (| | 2 п _ п) будет обозначаться М (с | т]1, ..., щ.),
или М (| гр, ..., ipj и«>1, и называться условным математическим
Iужимание.ч | относительно гр, ..., i;ff.
Непосредственно из определения М (g |т|) следхет, чю если §
и i| независимы, то
М (2 । tj) - М?.	(22)
Из (18) следует также, что
М (Г) ; Г]) = р.	(23)
Свойство (22) допускает следующее обобщение. Пусть случай-
ная величина S не зависит от разбиения 2 .'т. е. для любого
Di <= 2 случайные величины g и /0. независимы). Тогда
М (g | 2) = М2.	(24)
Из (20) в качестве частного случая получаем следующую полез-
ную формулу:
М [М (g ПЪ, ПИ 'Id = М (g | >Ъ).	(25)
Пример 3. Для случайных величин с и q, рассмотренных
в примере I, найдем М (£ + 4 i П). В силу (22) и (23;
М (ё + 4 1 4)	: 'С
§ 8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
93
Этот результат можно получить и отправляясь от (8):
м (£ + n I п) = У, kP (g + n = k I n) = p U -л) + Д1 + 2РП = Р + П-
,t=(J
Пример 4. Пусть £ и т] — независимые одинаково распреде-
ленные случайные величины. Тогда
M(g i I + П) = М (0 £ + Л) = -+П1
Действительно, считая для простоты, что | и т) принимают
значения 1, 2,..., т, находим, что	2=</=с2т)
Р/е-А.е  п д Р(5 = + 5 + ч = 0	= п = (-б) _
=	= P(n = /0P(5^rl) = р (л =	= Z).
(26)
Р (5 + 4 = 0	Р (5 + 9 = 0
Этим доказано первое равенство в (26). Для доказательства вто-
рого достаточно заметить, что
2М(+Е + т]) = МО+ л) +М('п!£ + 'П) = М(£ + Ш + Л) = £ + +
3.	Еще в§ 1 отмечалось, что каждому разбиению ^={D1, ...
..., Dk\ конечного множества Q соответствует алгебра сс(®?)
подмножеств Q. Точно так же и обратно, всякая алгебра +5*
подмножеств конечного пространства Q порождается некоторым
разбиением .£7" (<+? = «(+?)). Тем самым между алгебрами и разбие-
ниями конечного пространства Q существует взаимно однозначнее
соответствие. Это обстоятельство следует иметь в виду в связи
с вводимым в дальнейшем понятием условного математического
ожидания относительно специальных систем множеств, так назы-
ваемых о-алгебр.
В случае конечных пространств понятия алгебр и су-алгебр
совпадают. При этом оказывается, что если Si — некоторая алгебра,
то вводимое в дальнейшем (§ 7 гл. II) условнее математическое
ожидание М (2 | S3) случайной величины £ относительно алгебры S3
просто совпадает с М (| |	— математическим ожиданием £ отно-
сительно разбиения 3S такого, что Si — a(3S). В этом смысле
в случае конечных пространств в дальнейшем мы не будем раз-
личать М (£ | S3) и М(^|^), понимая всякий раз, что М(£|Д+
есть по определению просто М(||^).
4.	Задачи.
1.	Привести пример двух случайных величин £ и г], которые
не являются независимыми, но для которых
M(g|i]) = ME.
(Ср. с утверждением (22).)
94
ГЛ I ЭЛ СМЕНТ \РН ля ТЕОРИЯ ВЕРОЯТНОСТЕН
2.	Условной дисперсией % относительно разбиения назы-
вается случайная величина
D(S =	w:^]-
Показать, что дисперсия
D>^MD(g!^) + DM(g|^).
3.	Отправляясь от (17), доказать, что для всякой функции
/ = /(1]) условное математическое ожидание М (s 11]) обладает
следующим свойством:
м [/(!]) м (£; !])] = м [ШФ].
4.	Пусть Е и т] —случайные величины. Показать, что
inf М (г)—f (I))2 достигается на функции/* (£) = М (т|, с). (Таким об-
разом, оптимальной в срсднеквадпатическом смысле оценкой i] по
£ является условнее математическое ожидание М(рЦ)).
5.	Пусть Hlt ..., tn> т — независимые случайные величины,
причем	одинаково распределены и т принимает значе-
ния 1, 2,..,, п. Показать, что если ST =	..-J-— су мма
случайного числа случайных величин, то
и
М (Sx | т) = тМс1, D (Sx т) = тО21
MSt = Мт • Mt1( DSt = Мт 	+ Dt • (M jJT
6.	Доказать равенство (24).
§ 9. Случайное блуждание. I. Вероятности разорения
и средняя продолжительность
при игре с бросанием монеты
1. Значение установленных в § 6 предельных теорем для с мы
Бернулли далеко не исчерпывается тем, что они дают удобные
формулы для подсчета вероятностей P(Sn — k) и Р (Л <	В).
Роль этих теорем состоит также и в том, что они носят универ-
сальный характер, т. е. остаются справедливыми не только для
независимых бернуллиевских случайных величин ..., Ъп, при-
нимающих всего лишь два значения, но и для величин гораздо
более общей природы. В этом смысле схема Бернулли явилась
той простейшей моделью, на примере которой были подмечены
многие вероятностные закономерности, присущие и гораздо более
общим моделям
В настоящем и следующем параграфах будет рассмотрен ряд
новых вероятностных закономерностей, подчас носящих крайне
неожиданный характер. Все рассмотрения будут вестись снова для
схемы Бернулли, хотя многие выводы о характере случайных
§ 9 СЛУЧАЙНОЕ БЛУЖДАНИЕ. I.
95
колебаний остаются справедливыми для случайных блужданий
более общего вида.
2. Рассмотрим схему Бернулли (Q,	, Р), где Q = {<о: а>=*
= (.г1...х,г), х, = ±1},	— система всех подмножеств Q и
р (со) =	v (и) = ^Х>2~^п. Пусть (со) —х{, 1=1,..., п.
Тогда, как уже известно, последовательность	с,г является
последовательностью независимых бернуллиевских случайных
величин
P(S, = l) = p, Р(1г = -1) = 7, p + q=l.
Положим So = О, = + ... + ?*,	Последователь*
ность So, .... Sn можно рассматривать как траекторию слу-
чайного блуждания некоторой частицы, выходящей из нуля.
При этом S/;+1 = Sfe + т. е. если в момент k частица находится
в точке 8.^, то в момент й+1 она сдвигается либо на единицу
вверх (с вероятностью ,о), либо на единицу вниз (с вероятностью q).
Пусть А и В —два целых числа, /1то()тоВ. Одна из инте-
ресных задач, связанных с рассматриваемым случайным блужда-
нием, состоит в исследовании вопроса о том, с какой вероятностью
блуждающая частица выйдет за п шагов из интервала (А, В).
Интересен также вопрос о том, с какой вероятностью выход из
интервала (Д, В) произойдет в точке А или В.
Естественность этих вопросов становится особенно понятной,
если воспользоваться следующей игровой интерпретацией. Пусть
имеются два игрока (первый и второй), у которых начальные
капиталы равны соответственно (—А) и В. Если =-Е1, то будем
считать, что второй игрок платит единицу капитала первому;
если же S, = — 1, то наоборот, первый платит второму. Таким
образом, SA = 5, + • •  + можно интерпретировать как величину
выигрыша первого игрока у второго (если S*<;0, то этот выигрыш
есть на самом деле величина проигрыша первого игрока второму)
за k «ходов».
В тот момент времени k^n, когда впервые Sk = B (Sk = A)
капитал второго (первого) игрока становится равным нулю, иначе
говоря, происходит его разорение. (Если k < п, то следует счш ать,
что игра прекращается в момент времени k, хотя само блуждание
остается определенным до момента п включительно.)
Прежде чем переходить к точным постановкам, введем ряд
обозначений.
Пусть х — целое число из интервала [А, В] и для Q-^k-xn
пусть Sxk = x + Sk,
Xk = min [О -Ж I -х k: Si = А или в},	(1)
где условимся считать т£ = £, если А < S; < В для всех Oxxl-xtfi.
96
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Для каждого Олт/глтп и хе[.4, В] момент xxk, называемый
моментом остановки (см. § 11), является целочисленной случайной
величиной, определенной на пространстве элементарных событий Q
(зависимость xxk от со явно не указывается).
Ясно, что для всех l<zk множество {со: = есть событие,
состоящее в том, что случайное блуждание {зД O^i^k}, начи-
нающееся в нулевой момент в точке х, выйдет из интервала (А, В)
в момент I. Понятно также, что для l^k множества {со: т* = /,
и {со: xxk=l, S^=B| имеют смысл событий, состоящих'В том,
что блуждающая частица выйдет из интервала (А, В) в момент I
в точках А и В соответственно.
Обозначим для всех м'Аг-ммг
^=2 {со: 4 =	Sf = 4},
ООО
£ {со: xl^l, Si =в},	(2)
и пусть
а* (х) = Р (а<0, ₽* (х) = Р (М)
— вероятности выхода частицы за время [0, k] из интервала (А, В)
соответственно в точках А и В. Для этих вероятностей можно
получить рекуррентные соотношения, из которых последовательно
находятся аДх), ..., ап (х) и (ф (х), ..., 0я(х).
Итак, пусть А <Сх <2 В. Ясно, что сс0 (х) = (х) == 0. Пусть
теперь	Тогда по формуле (8.5)
(х) = Р (^) = Р (.Ж ! ЗГ = х + 1) Р (^ = 1) ф
+ Р«|Х( = х-1)Р(^ = -1) =
=Рр« is; =--*+о+=*- 0-	(3)
Покажем, что
Р «; S]' = х + 1) - Р ОЙ), Р (О ] Sf = х - 1) = Р (Ж!).
С этой целью заметим, что множество можно представить
в виде
е®* = {со: (х, х-р 51, ...» х -р ~Р • •  ~Р £*) *=	»
где /Д —множество траекторий вида
(х, X-pXj, ..., X-р Xj-р.». “р х^)
с х,=Д:1, которые за время [0, k} впервые выходят из интер-
вала (Д, В) в точке В (рис. 15).
§ 9. случайное блуждание, г.
97
Представим множество ВЦ в виде ВЦ'x+l + ВЦ'х где ВЦ'*+l
и ВЦ'Х~1 — те траектории из ВЦ, для которых хг = 4-1 и х± =—1
соответственно.
Заметим, что каждая траектория (х, *4-1, х+1 + х2, ...
..., х 4-1 + *2 + • • • + *й) из ВЦ' *+1 находится во взаимно однозначном
соответствии с траекторией (х4-1, х4-14--^2> •••> х+14-*г+-• •+**)
из То же справедливо и для траекторий из ВЦ х~*. Учиты-
вая эти обстоятельства, а также независимость, одинаковую
распределенность величин ..., и
формулу (8.6), находим, что
P(^|Sf = x4-l) = P«|^=l) =
= Р{(х, x4-g1( ..., х4-£14-
4-...-+^)еВ^|^=1} =
= Р{(х4~1, х4"1 + ?2> •••> Л'_Р
4-14-^24-...4-^)еВ-+;} =
= Р{(х4-1, х4- 1 + Ви •••> х +
1 + 51+• • •+ 5*-i)	1}=
Рис. 15. Пример траекто-
рии из множества ВЦ.
= Р«±1).
Точно так же
p«|sf=x-i) = p(M=D-
Таким образом, в силу (3) для х е (Л, В) и k^n
(х)	(Х4- 1)4-^р*_1(х— 1),	(4)
где
Аналогично
Pz(B) = l, pz(A) = O,	(5)
ak(x) = pak_1(x+ Vf + qa^tx- 1)	(6)
с
ос, (Л) = 1,
(В) = О,
0^1 £^П.
Поскольку а0 (х) = р0 (х) = О, л'е(.4, В), то полученные рекур-
рентные соотношения можно (по крайней мере в принципе)
использовать для отыскания вероятностей осх (х), ..., ап(х) и
Pi(x), ..., ря(х). Оставляя в стороне конкретное вычисление этих
вероятностей, зададимся вопросом об их значениях при больших п.
С этой целью заметим, что поскольку <^ЗЦ-1 ед <£%Ц, keszn, то
₽*-! (х) Рй (х)	1. Естественно поэтому рассчитывать (а так оно
и есть, см. и. 3), что при достаточно больших п вероятность р„ (х)
близка к решению р (х) уравнения
Р(х) = рР (х 4-1) + <7₽ (*-1)
(7)
98
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
с граничными условиями
0(В)=1, Р(Л) = О,	(8)
получаемых формальным предельным переходом из (4) и (5).
Для решения задачи (7), (8) предположим сначала, что p^q,
Нетрудно заметить, что рассматриваемое уравнение имеет два
частных решения а и b(qlp)x, где а и Ь — константы. Будем
поэтому искать решение р (х) в виде
$(x) = a + b(q/p)*.	(9)
С учетом (8) находим, что для всех А^х^В
Р W-(?/p)Z~ Ша-	(Ю)
(?/Р)в-(9/Р)л
Покажем, что это есть единственное решение рассматриваемой
задачи. С этой целью достаточно показать, что все решения за-
дачи (7), (8) могут быть представлены в виде (9).
Пусть р (х) — некоторое решение с р (Л) = 0, Р (В)= 1. Всегда
можно найти такие константы а и Ь, что
a+b(q/p)A=4{A), aA-b(qip)A+^^ (Л+1).
Тогда из (7) следует, что
р (Л + 2) = Й + &ШЛ+2
и вообще
Р (х) = а + b(q/p)x.
Тем самым найденное решение (10) есть единственное решение
рассматриваемой задачи.
Аналогичные рассуждения показывают, что единственное ре-
шение уравнения
а (х) — ра (хА- 1)4~7<х(х— 1), х е (Л, В) (11)
с граничными условиями
<х(Л)=1, сс(В) = 0	(12)
задается формулой
a(x)=(?/p)*~Wp)*, Л<х^В.	(13)
' (q/P}B -(q/P)A
Если же p — q=\/2, то единственными решениями р (х) и
а(х) задач (7), (8) и (11), (12) являются соответственно
О4)
5 9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. Ъ
99
И
а (х)
В—х
В-А*
(15)
Заметим, что при любых 0 «5 р 1
а(х) + ₽(х) = I.
(16)
Рис. 16. График р (х) —
вероятности достиже-
ния точки В раньше
точки 0, когда частица
выходит из точки х.
Величины а (х) и р (х) хотелось бы назвать вероятностями
разорения первого и второго игрока соответственно (когда началь-
ный капитал первого есть х —Л, а второго
В — х) при неограниченном числе ходов, что,
конечно, предполагает; существование беско-
нечной последовательности независимых бер-
нуллиевских случайных величин g1( g2, ..
где = + 1 трактуется как выигрыш первого
игрока, а £,• = —1—как его проигрыш. Рас-
смотренное в начале этого параграфа вероят-
ностное пространство (Q, Р) оказывается
слишком «бедным», для того чтобы на нем
существовала такая бесконечная последова-
тельность независимых случайных величин.
В дальнейшем мы увидим, что такую последо-
вательность действительно можно построить и
и а(х) в самом деле являются вероятностями
что величины |3 (х)
разорения при не-
ограниченном числе шагов.
Обратимся к некоторым следствиям, вытекающим из получен-
ных формул.
Если положить Л = 0, СЬ<х&сВ, то по своему смыслу функ-
ция р (х) будет вероятностью того, что частица, вышедшая из
состояния х, достигнет точки В раньше, чем точки 0- Из формул
(10) и (14) следует (рис. 16), что
р(х) =
х/В,
(?/р)* —I
(9/р)в—1 ’
p = q = 1/2,
p^=q-
(17)
Далее, пусть q>p, означающее, что для первого игрока игра
является неблагоприятной. Его предельная вероятность разорения
а = а (0) задается формулой
_	(?/р)в—1
(<z/p)s ~(.q/p)A'
Предположим сейчас, что условия игры изменены: капиталы
игроков по-прежнему равны (—А) и В, но плата каждого игрока
Теперь равна 1/2, а не 1, как раньше. Иначе говоря, пусть
100
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
теперь Р (£,= 1/2) = р, Р (?г =—1/2) = 7. Обозначим в этом случае
предельную вероятность разорения первого игрока через а1/2.
Тогда
и, значит,
_	(?/р)2В-1
1/2~«7/р)2В-(?/Р)2Л’
„ —п ^!Р>В +1	„
/о — СС * D	. CCt
(q/p}B +(q/P)A
если q>p.
Отсюда вытекает такой вывод: если для первого игрока игра
неблагоприятна (т. е. qZ>p), то увеличение ставки в два раза
уменьшает вероятность его разорения.
3.	Обратимся теперь к вопросу о том, как быстро ап (х) и
(х) сходятся к предельным значениям а(х) и р (х).
Будем считать для простоты х = 0 и обозначим
а„ = ап(0), ₽л = ₽л(0), Ь = 1-(ал + Рл).
Ясно, что
ул = Р{Л <Sb<B, 0</г=Сп},
где {Л<3*<6, 0 k sec п} обозначает событие
П {Л<5а<В}.
О k п
Пусть п = гт, где г и т —целые числа, и
С1 = ?1 + - • - +
= Sm+l + • • • +
(r-l)+l+ • • - +
Тогда, если C = | Л|-)-В, то нетрудно убедиться в том, что
{Л<5*<В,	.... | ?г| <С},
и, значит, в силу независимости величин ..., tr и их одина-
ковой распределенности
?^РШ<с, .... Ы<с} =
= П Р{|^1<С} = (Р{|^|<С}Г.	(18)
1=1
Заметим, что — m[l — {р — q)2]. Поэтому при 0<р<;1 для
достаточно больших т
P{|-CJ<C}^ei,	(19)
где е1<1, поскольку если Р {|С} = 1, то D^^C2.
§ 9, случайное блуждание. I.
101
Если же р — 0 или р=1, то для достаточно больших т
Р {£1 <С} = 0 и, следовательно, (19) выполнено при всех 0 eg
sg р -g 1.
Из (18) и (19) следует, что для достаточно больших п
g ея,	(20)
где е = ej'"1 < 1.
Согласно (16) а-{-|3 = 1. Поэтому
(a-a„) + (P-p„) = v„,
и так как as=an,	то
0  ' a — ап fig уп fig еп,
0 < Р — рл уп fig е", е<1.
Аналогичные оценки справедливы и для разностей сс(х) — ап(х) и
р(х)-р«(х).
4.	Обратимся теперь к вопросу средней длительности
случайного блуждания.
Пусть mk (х) = Мт* — математического ожидание момента оста-
новки х*, k^n. Поступая, как и при выводе рекуррентных со-
отношений для р*(х), получаем, что для хе (А, В)
тк (х) = Мт* = У IP (т* = /) =
lg/g*
= s Z.[pP(T- = /| g1 = 1) + 7Р(т* = /| ?1 = _ 1)] =
lg/g/г
= 2 п[рР(^+; = /-1)+дР(тГ1 = /-1)] =
Ig/g k
= 2 (/+1)[рР(^±{ = /) + 9Р(тГ! = 0] =
0 fig Z sg й — 1
== pm*-x (х + 1) + 7m*_j (х — 1) +
+ s 1?р (т*± ! = /) 4-7P(t*z ! = /)]==
OgZg* — 1
= pm*-i (x + 1) + 7m*-! (x — 1) 4- 1.
Итак, для xe(/1, В) и Ogfeg/i функции m*(x) удовлетво-
ряют рекуррентным уравнениям
/л* (х) = 1 + pm*-i (х + 1) 4- 7m*-i (х - 1),	(21)
где т0 (х) = 0. Из этих уравнений вместе с граничными ус-
ловиями
т* (А) = т* (В) = 0	(22)
можно последовательно найти т1(х), тп(х).
102
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Поскольку т4(х)<иН1(х), то существует предел
пг (х) = Пт тп (х),
п —* со
который в силу (21) удовлетворяет уравнению
т (х) = 1 +рт (*+ l) + qm (х — 1)	(23)
с граничными условиями
гп (Л) = т (В) = 0.	(24)
Чтобы найти решение этого уравнения, предположим сначала,
что
гп(х)<оо, ге(/1, В).	(25)
Тогда, если p~^q, то частное решение имеет вид и общее
решение (см. (9)) записывается в виде
Отсюда с учетом граничных условий т(А) = т(В)=0 находим,
что
т (*) = 7^ W + Аа (х) “ Ч	(26)
где Р (х) и а(х) определяются из формул (10) и (13). Если же
р = q = 1/2, то общее решение уравнения (23) имеет вид
т (х) = а + Ьх — х2,
и поскольку щ(Л) = щ(В) = 0, то
т (х) = (х — В) (х — Л).	(27)
Отсюда, в частности, вытекает, что если начальные капиталы
игроков равны (В =— А), то
т (0) = В2.
Возьмем В — 10, и пусть каждый ход в игре осуществляется через
1 'с., тогда (предельное) среднее время до разорения одного из
игроков довольно велико —оно равно 100 с.
Формулы (26) и (27) были получены в предположении, что
т(х)<со, хе (Л, В). Покажем теперь, что и на самом деле
т(х) конечны при всех хе (Л, В). Ограничимся рассмотрением
случая х = 0. Общий случай разбирается аналогичным образом.
Пусть р = <7=1/2. С последовательностью So, Slt ..., S„ и
моментом остановки тл = т« свяжем случайную величину Sx ,
§ 9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. I.
103
определенную следующим равенством:
п
S'n = S S*7K=*} И-	(28)
k = 0
Наглядный смысл величины ясен —это есть значение слу-
чайного блуждания в момент остановки хп. При этом, если тл <
<н, то Sx = А или В; если же т„ = /г, то A < ST
Докажем, что при р = q = 1 /2
М5Тл=0,	(29)
М5^ = Мтл.	(30)
Для доказательства первого равенства заметим, что
MSr„= S M[SftZ{tn=i}(0))] =
k= о
— У, М [5,;/|Тп=а.| (со)] + У М f(Sft — S„)	(®)] =
k—Q	6=0
= MS„+SM[(Sft-S„)Z{T^M ((D)],	(31)
k=0
где, очевидно, MS^ = 0. Покажем, что
у M[(sA-s„)/{Tn=,} ((D)]=0.
k=0
С этой целью заметим, что для 0^к<п {xnZ>k} = {A<Z
<Z.Sv<iB, ...,	Событие {Д<51<В, А <
может быть, очевидно, представлено в виде
И (£1( ..., уеЛ4};
(32)
где Ak — некоторое подмножество множества {—1, 4-1}*. Иначе
говоря, это множество определяется лишь значениями случайных
величин |1, ..., и не зависит от значений величин ЁА+1,.... 1п.
Поскольку множество
К'= k} = {т„ > k - 1} \ {тл > k},
то оно также является множеством вида (32). В силу независи-
мости случайных величин gx, ..., и в силу задачи 9 к § 4
отсюда вытекает, что для любого 0^k<Zn случайные величины
Sn — Зк и /{гл=£} независимы, а значит,
М [(5Л - Sk) 1 =k} ] = М [S„ -	• М7 ь= 0.
104
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Итак, формула (29) установлена.
Тем же методом доказывается и формула (30):
М51/{Тл=Л}= i]M([S„ + (Sft-Sn)p/{T^A}) =
4 = 0	4=0
— У,	(Sk — S„) I+
4=0
+ M(S„-Sft)4{Tn=A}] = MS2„- 2 М(5л-$а)М{Т/1^} =
4=0
= tl — У (tl — k) P (t„ = k) = У kP (Тл = k) = Mt;1.
4 = 0	4=0
Итак, для р = <?=1/2 имеют место формулы (29), (30). В слу-
чае же произвольных р и q (p + g=l) аналогично устанавли-
вается, что
MST?j = (р — q) • Мт,„	(33)
М [ST/j — тл •	)2 = О£г  Мтл,	(34)
где = р - q, = 1 — (р — р)2.
С помощью полученных соотношений покажем, что Пт т„(0) =
Я~-*СО
= т (0) < оо.
Если р = <?=1/2, то в силу (30)
Мтл =с шах (Л2, В2).	(35)
Если же p^=q, то из (33)
(35)
IP-9I	’
откуда ясно, что т(0) <со.
Заметим также, что в случае р = q = 1/2
Мтл = М52л = Л2-ал4-В2 • р„4-М [S„/{H<sre <в}]
и, значит,
Л2 • ап + В2 • рл =<5 Мтл	Л2 • ал + В2 • рп + шах (Л2, В2)  у„.
Вместе с неравенствами (20) отсюда следует, что Мт„ сходятся
при п->оо к предельному значению
т(0) = Л2а + В2Р = Л2.54т-В2.5^- = 1ЛВ|
экспоненциально быстро.
Аналогичный результат справедлив и в случае р=^=р:
экспоненциально быстро Мтл -> т (0) — ,к-4 + Р-в,
§ 10. случайное блуждание. II.
105
5.	Задачи.
1.	Показать, что в обобщение (33) и (34) справедливы сле-
дующие формулы:
MST* = х + (р — q) Мт,,,
2.	Исследовать вопрос о том, к чему стремятся величины а(х),
Р (х) и т(х), когда уровень Л| — оо.
3.	Пусть в схеме Бернулли р — q = 1/2/ Каков порядок М | Sn|
при больших п?
4.	Два игрока независимым образом подбрасывают (каждый
свою) симметричные моменты. Показать, что вероятность тоге,
что у них после п подбрасываний будет одно и то же число гер-
п	п
бов, равна 2~2п У, (С„)2. Вывести отсюда равенство У {.С^—С^п-
k=0	k=о
Пусть о„ — тот первый момент, когда число гербов у одного
игрока совпадает с числом гербов у другого (совершается п под-
брасываний, G„ = n-f-l, если указанного момента не существует).
Найти М min (о„, п).
§ 10. Случайное блуждание. II. Принцип отражения.
Закон арксинуса
I. Как и в предыдущем параграфе, будем предполагать, что
Jj2, ..., ^„ — последовательность независимых одинаково рас-
пределенных бернуллиевских случайных величин с
Р(Е(. = 1) = р, Р(^ = -1) = 7,
Sfe —	l^k^2n; So = 0.
Обозначим
a2„ = min{1	k^2n\ SA = 0},
полагая <т2„ = со, если Sk^=Q при всех 1 ^k^2n.
Наглядный смысл а2„ вполне понятен — это момент первого
возвращения в нуль. Свойства этого момента и будут изучаться
в настоящем параграфе, при этом будет предполагаться, что рас-
сматриваемое случайное блуждание симметрично, т. е. р — q = \/2.
Обозначим для O^k^n
u2k — Р (^2* = 0), fzk = Р (Огл = 2k).	(1)
Ясно, что п0 = 1 и
Иг* —	• 2 2ft>
106
ГЛ, I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Наша ближайшая цель — показать, что для l^ks^n вероят-
ность fik определяется формулой
/г* * = “2 (*-!)•	(2)
Понятно, что для 1 k п
{о2л = 2k} = {Sj=£ 0, S2 =/= 0, ..., S2*-i¥=0, S2A = 0},
и в силу симметрии
fik — Р {$! =/= 0, ..., 82^-1=^= 0, 52^ = 0} =
= 2Р {Sj > 0, ...,	> 0, S2k = 0}.
Назовем.путем длины k последовательность чисел (So, ..., SA)
и обозначим через Lft(X) —число путей длины k, для которых
выполнено свойство А. Тогда
fik = 2 У, Т2л(51>0, ..., 52й-!>0, S2s = 0,
(°2А+1..ап)
Sik+l —a2k+lt •••’ ^2n = Й2Й+!+•.. + а2л) • 2-2zi =
= 2L2A(S1>0, ..., S2*-1>0, S2ft = 0)-2~2*,	(4)
где суммирование распространяется по всем наборам (a2*+i, •••> ain)
с а,- = ± 1.
Следовательно, отыскание вероятности f2k сводится к подсчету
числа путей Llk (Sj > О, ..., S2k-i > О, 82k — 0).
Лемма 1. Пусть а, b — целые неотрицательные числа, а — Ь>0
и k = a-\-b. Тогда
Lk(Si>0, Sk^>0, Sk = a-b)=~Cak. (5)
Доказательство. Действительно
Lk(Sx>Q, ..., Sw>0, Sk = a — b) =
— [^(8^—1, S2>0, ..., Sfe_i>0, S* = a — b) —
= Lk(S1=l, Sk = a — b)—Lk(S1=l, Sk = a — b;
2i, 2=ci=cfe— 1, такое, что S(-. 0).	(6)
Иначе говоря, число положительных путей (Sx, S2, ..., 8к), выхо-
дящих из точки (1, 1) и заканчивающихся в точке (k, a — b)
совпадает с числом всех путей, идущих из точки (1,1) в точку
(k, a — b) за вычетом тех путей, которые касаются или пересекают
временную ось *).
------- ————
*) Путь ($!,	8к) называется положительным (неотрицательным), если
все S,->0 (S/C-sO); путь называется касающимся временной оси, если для
всех	Sy’  0 или SysgO и найдется такое IsgisgZ;, что S,- = 0, и
называется пересекающим временную ось, если найдутся такие два момента
времени i и /, что S, > 0, a Sy < 0.
§ 10. СЛУЧАЙНОЕ БЛУЖДАНИЕ. II.
107
Заметим теперь, что
La(5'1=1, Sk = a — b\ 3i, 2^i^k — I, такое, что S;sc0) =
= ^(^ = -1, Sk — a — b),	(7)
т. e. число путей, идущих из точки a = (1, 1) в точку р = (£, а — Ь)
и касающихся или пересекающих вре-
менную ось, совпадает с числом всех
путей, идущих из точки а* = (1, —1)
в точку р = (k, a — b). Доказательство
этого утверждения, носящего название
принципа отражения, следует из легко
устанавливаемого взаимно однозначного
соответствия между путями А = (S,,...
.Sa, So+1, Sk), соединяющими
точки а и р, и путями В — (—S„ ...
..., — Sa, SaJrl,..., Sk), соединяющими то-
чки а* и р (рис. 17); а —первая точка,
ются в нуль.
Из (6) и (7) находим
где пути А и В обраща-
..., S*-i2>0, Sk— a b) —
—	Sfe = a — b) — Lk (S\ = — 1, Sk = a — b) =
— 1	0, — b
что и доказывает утверждение (5).
Возвращаясь к подсчету вероятности /уй, находим, что, со-
гласно (4) и (5) (с a — k, b = k—l),
f2k = 2L2k(S1>0,	S2W>0, S2ft = 0)-2-2ft =
= 2Lik-1(Sl>0......5.^ = 1) -2-2* =
= 2 • 2'2* • 2ГЛ - 1 = 2k u‘l
Итак, формула (2) доказана.
Приведем еще одно доказательство этой формулы, основанное
на следующем замечании. Непосредственная проверка показывает,
что
2й" w2(ft-l) = И2 (*-1) И2Й'	(8)
В то же самое время ясно, что
{а2л = 2k} = {о2л > 2 (k — 1)} \ {а2л > 2k},
{<?2л2Z} — {Sx0> •••» S2i0}
108
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и, значит,
\^2п = 2/г} — {Sj 7^ 0, S2 (й-j) 7^ 0} \ {Sj 0, S2k ~^= 0}.
Поэтому
fik ~ Р {Sx	0, .... S2(*-d 0} Р {Sj #= 0, .... S2ft=#0}„
и, следовательно, в силу (8) для доказательства равенства f2k —
= ^u2(k-i) достаточно лишь показать, что
..., S2feT^0) = L2ii(S2lt = 0).	(9)
С этой целью заметим, что очевиднььм образом
L2k(Si т^О, ..., S2k 7^= 0) = 2Lik (SL >0, ..., S2ft>0).
Поэтому для проверки (9) нужно лишь установить, что
и
2L2ft(Sx>0, ..., S2* > 0)— L2/;(Sl2s0, ..., S2fe 2s 0)	(10)
WSt^O, ..., S2*2s0) — b2ft(S2* = 0).	(11)
Равенство (10) будет доказано, если показать, что между
путями Д = (51( ..., S2k), у которых по крайней мере одно S,=0,
и положительными путями В — (Slt S2k) можно установить
взаимно однозначное соответствие.
Пусть А = (Зи ..., S2ft) — неотрицательный путь, у которого
первое обращение в нуль происходит в точке а (т. е. Sa = 0).
Выпустим из точки (а, 2) траекторию (на рис. 18 она обозначена
штриховыми линиями) (Sa + 2, Sa+1 + 2, ..., 3зй.-)-2); Тогда путь
S = (S1, ..., S^, Sa + 2,	S2* + 2) является положительным.
Обратно, В = (Зр ..., Sik) — некоторый положительный путь
и Ь — тот последний момент времени, для которого Sb = 1 (рис. 19).
Тогда путь Д = (51, ..., Sb, S6+1 —2, ..., Sk — 2) является неот-
рицательным. Из приведенных конструкций следует, что между
положительными путями и неотрицательными путями, у которых
по крайней мере одно S; = 0, существует взаимно однозначное
соответствие. Тем самым формула (10) доказана.
§ 10. СЛУЧАЙНОЕ БЛУЖДАНИЕ. II.
109
Установим теперь справедливость равенства (11). В силу сим-
метрии и (10) достаточно показать, что
..., Sih > 0) -|- Lzk (Sl ss 0, Sih === 0
и 3i, 15giss2&, такое, что S; = 0) = .L2*(S2ft = 0).
Множество путей (S2k'—0) можно представить в виде суммы
двух множеств и ^2, где —те пути (So, ..., S2*), у кото-
рых только один минимум, а — пути, у которых минимум
достигается по меньшей мере в двух точках.
Пусть С\ (рис. 20) и у —точка минимума. Поставим пути
= (Sfi, S1( ..., S2lt) в соответствие положительный путь С*,
полученный следующим образом (рис. 21). Отразим траекторию
(So, Sx ..., St) около вертикальной линии, проходящей через
точку /, и полученную траекторию сместим вправо и вверх,
выпустив ее из точки (2k, 0). Затем сместим начало координат
в точку (/, — т). Полученная траектория Ct будет положитель-
ным путем.
Точно так же, если путь С2 ее ^2, то тем же приемом ему
можно поставить в соответствие некоторый неотрицательный
путь С2.
Обратно, пусть С* = (Sj > 0, ..., S2* > 0) — некоторый поло-
жительный путь с Sih = 2m (см. рис. 21). Поставим ему в соот-
ветствие путь Clt полученный следующим образом. Пусть р —та
последняя точка, где Sp = m. Отразим (Sp, ..., S2m) около вер-
тикальной прямой х = р и сместим отраженную траекторию вниз
и влево, так чтобы ее правый конец совпал с точкой (0,' 0).
Поместим затем начало координат в левый конец полученной
траектории (это будет в точности траектория, изображенная на
рис. 20). Полученный путь С\== (Sfl, ..., S2A) имеет минимум и
S2ft = 0. Аналогичная конструкция, примененная к пути (31^0, ...
..., S2/,2s0 и 3/, l^i=s^2k, с S; = 0), приводит к пути, у ко-
торого по меньшей мере два минимума и S2* = 0. Тем самым
установлено взаимно однозначное соответствие, которое и дока-
зывает требуемый результат (11).
по
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Итак, равенство (9), а следовательно, и формула /ъ = w2(fe-i)—
1
•— «2* =	«2 (*-i) установлены.
Из формулы Стирлинга
м2* =	• 2	у~'»	& —> со.
Поэтому
Гоь '---т^=—тто-1	со.
I2k 2 /л й3/2 ’
Отсюда следует, что математическое ожидание времени первого
возвращения в нуль
М min (о2«, 2п) = У 2feP (о2„ = 2k) 4- 2пи2п =
А = 1
= У ^2 (ft-i) 4" 2,пи%п
fc=i
является довольно-таки большим.
Более того, У и2 (k-i) — ос, и, следовательно, предельное зна-
*=1
чение среднего времени возвращения блуждания в нуль (при
неограниченном числе шагов) равно сю,
Это обстоятельство поясняет многие неожиданные свойства
рассматриваемого симметричного случайного блуждания. Напри-
мер, естественно было бы ожидать, что за время 2п число ничьих
при игре двух равносильных противников (р = q = 'l/2), т. е. число
тех моментов времени /, для которых S, = 0, должно быть про-
порционально 2п. Однако на самом деле число ничьих имеет
порядок ]Т2п (см. [69]). Отсюда вытекает, в частности, что, во-
преки ожидаемому, «типичные» реализации блуждания (So, S1, ...
..., Sn) должны иметь не синусоидальный характер (для кото-
рых примерно половину времени частица проводит на положи-
тельной стороне и другую половину —на отрицательной), а ха-
рактер длинных затяжных волн. Точная формулировка утвержде-
ния дается так называемым законом арксинуса, к изложению
которого мы сейчас и приступим.
2. Обозначим вероятность того, что на отрезке [0, 2п]
частица проводит 2k единиц времени на положительной стороне*).
Лемма 2. Пусть ид = 1 и Os^k^n. Тогда
*) Мы говорим, что в интервале [т — 1, т] частица находится на поло-
жительной стороне, если по крайней мере одно из значений или Sm
положительно.
§ 10. СЛУЧАЙНОЕ БЛУЖДАНИЕ. П,
Ш
Доказательство. Выше было установлено, что f2k =s
= u2(»-i) — u2k- Покажем, что
k
U2* == 2 fzr ‘ U2(k-r)>	(13)
r = l
Поскольку {S2ft = 0} s {<r2„ «5 2k\, to
{S2A = 0} = {S2ft = 0}n{a2n^2q= 2 {S2ft = 0} П {o2„ = 2/}.
Следовательно,
w2ft = P(S2* = 0) = 2 P(S2fe = 0, (t2„ = 2/) =
= S P (S2ft — 01	= 2/) P (o2„ = 2Z).
1<Z<A
Ho
P (^2* 0 I ^zn ~ 2Z) = P (S2k — 0 I *Si 0, ,.., S2i~i =5^= 0, S2l = 0) =
= P (S2l(^2/+!. + i2k) = 0 | Sj =0= 0,	S2/_1 =£0, S2/ = 0)=3
= P (S2; + (t2z+i + • • • + ёгл) = 01 S2i = 0) =
“ P (?2z+i + • • • + £2* = 0) = P (S2 (*-z) = 0).
Поэтому
usk— z? P (S2 (k-i) — 0) P (ст2л — 2Z),
i^z<*
что и доказывает (13).
Перейдем к доказательству формулы (12). При k = 0 и £ = гг
ее справедливость очевидна. Пусть теперь 1 =С/г<:/г —1. Если
частица проводит 2k моментов времени на положительной сто-
роне, то она проходит через нуль. Пусть 2г —момент первого
возвращения в нуль. Возможны два случая: когда k^2r
и Sk sg 0, k z'T 2r.
Число путей, относящихся к первому случаю, равно, как
нетрудно видеть,
^'2~	 22	(k-r), 2 (n-r) = ~2~ ’ 22z! 'fir • Р 2 (fe-r), 2 («-/•)•
Во втором случае соответствующее число путей равно
1 . О2Л , г . р t ,
2	/2Г г 2k, 2(л-г)«
Следовательно, для I ^k^n — 1
1л	1й
Ргк,гп — -2 fir’Рг(.к-г), г(п-г) "Ьу 2	2^п~гР ^4)
f=l
112
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Предположим, что формула P2kf 2т = u2k ^uim^2k верна для т ~
= 1, п — 1. Тогда из (13) и (14) находим, что
1	к k
P?.k, 2П = *2" ^2n~2k *	/2г * ^2Й—2г "4~ ~2~ ^2А '	f%r * ^2n~2r~2k —
г=1	Г=1
____1_ 1 _
----2“ ^2n-2k ‘ ^2k ~Г ~2	’ ^2n~2k — ^2k ' ^2fl-ik •
Лемма доказана.
Пусть теперь у (2п) — число единиц времени, которое частица
проводит на положительной оси в интервале [0, 2п]. Тогда для
Поскольку при k^>-<x>
1
то
D	1
Р2k, in — ^2k ' U-2 (n-k)	,/7—-rr •
л V k (n — k)
если £->oo, n — £->oo.
Поэтому
n—>-oo,
откуда
k:
dt
VW^t)
n -> oo.
Но из соображений симметрии
и
X
1 С dt
л J К/(1-0
1/х
2	.	1
— arcsin ух— у,-.
л	1
Тем самым доказана следующая
Теорема (закон арксинуса). Вероятность того, что доля
времени, проводимого частицей на положительной стороне, меньше
% 10 СЛУЧАЙНОЕ БЛУЖДАНИЕ. I.
ИЗ
или равна х, стремится к 2л-1 arcsin Ух:
2
{‘ 44
P‘ik, 2п	2л-1 arcsin Ух.
(15)
Заметим, что подынтегральная функция р (/) в интеграле
X
1 С dt
л .)
представляет U-образную кривую, уходящую в бесконечность
в точках t = 0 и t =1.
Отсюда следует, что при больших п
р/о<т<М
I 2п
<д}>р{4<
2/2 2rj ’
т. е. более вероятно, что доля времени, проводимой частицей на
положительной стороне, будет близка к нулю или единице, не-
жели к естественно ожидаемому значению 1/2.
Пользуясь таблицами арксинуса и тем обстоятельством, что
на самом деле скорость сходимости в (15) очень быстрая, нахо-
дим, что
р 17(24^ 0,024} ^0,1,
\ 2п	J ’ ’
о, 11^0,2,
рЩ^-sS 0,21 ^0,3,
р /_v(2n)	0,65} ^0,6.
( 2п ’ )	’
Таким образом, если, скажем, п— 1000, то примерно в одном
случае из десяти частица проводит всего лишь 24 единицы вре-
мени на положительной оси и, значит, большую часть времени —
976 единиц —на отрицательной оси.
3. Задачи.
1. С какой скоростью М min (о^, 2«)->сю при га->-оо?
2. Пусть тл = min {1 sg k п: 'Sk = 1}, считая, тл = оо, если
Sk < 1 при всех lsgfesS«. К чему стремится Mmin(x„, 4 при
п-»-оо для симметричного (р = ?= 1/2) и несимметричного \р 4 а)
блужданий?
114
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
§ 11. Мартингалы. Некоторые применения
к случайному блужданию
1. Рассмотренные выше бернуллиевские случайные величины
|1( ..., сл образовывали последовательность независимых, случай-
ных величин. В этом и следующем параграфе будут введены два
важных класса зависимых случайных величин, образующих мар-
тингал и марковскую цепь.
Теория мартингалов будет детально излагаться в гл. VII.
Сейчас же будут даны лишь необходимые определения, доказана
одна теорема о сохранении мартингального свойства для момен-
тов остановки и дано ее применение к выводу так называемой
теоремы о баллотировке. В свою очередь эта последняя теорема
будет использована для иного доказательства утверждения (10.5),
полученного выше с применением принципа отражения.
2. Пусть (Й, Р) — конечное вероятностное пространство,
— ••• ——' л — некоторая последовательность разбиений.
Определение 1. Последовательность случайных величин
..., называется -мартингалом (относительно разбиений
-^е^2 “ • • • ”	, если.
1) являются ^д-измеримыми,
2) M(b+il^)==^, КАкп-1.
Чтобы подчеркнуть, относительно какой системы разбиений
случайные величины ..., образуют мартингал, будем для
его обозначения использовать запись;

(1)
часто опуская для простоты указание на то, что
В том случае, когда разбиения порождаются величинами
.... т. е.
^* = ^4’ -.5*’
вместо того, чтобы говорить, что £ = (£*,	— мартингал, будем
просто говорить, что последовательность £ = (Sft) образует мар-
тингал.
Остановимся на некоторых примерах мартингалов.
Пример 1. Пусть ...» г]„ — независимые бернуллиевские
случайные величины с
Р(Т]й=1) = Р(г1й = _1)=1/2,
5/г = 'П1 + --- + 11й И	...,
Заметим, что структура разбиений & k проста:
= {D+, £>•},
§ 11. МАРТИНГАЛЫ
115
где DT = {w; ^=+1}, D- = {<n: тц = — 1},
= {£>++, D+~, D~+, D—},
где
/?++ = {со: тц = +1. Па = +1}. •••• D— = {a: ^ = — 1, т]2 = — 1}
и т. д.
Нетрудно понять также, что .... = ^rs1.........sft.
Покажем, что последовательность (Sk, &*) образует мартингал.
Действительно, Sk ^-измеримы и в силу (8.12), (8.18) и (8.24)
М (Sft+11	= М (Sk + т]т I ^Д) =
= M (S* | &k) + M (tu+i I &k) — Sfe + Мт]б+1 -= Sfe*
Если положить So = O и взять Do — {Q} —тривиальное разбие-
ние, то последовательность (Sft, &k)o^k^n также будет мартин-
галом.
Пример 2. Пусть т^, ..., ^„ — независимые бернуллиевские
случайные величины с Р (тр = 1) = р, Р(т]< = — 1) = <?. Если p^=qt
то каждая из последовательностей g = (|А) с
^ = (f) k, b = Sk-k(p-q), где 5а = тц + --- + Лй>
образует мартингал.
Пример 3. Пусть г] — некоторая случайная величина, s.,4
и
^ = М(т]|^).	(2)
Тогда последовательность g = (|А, &k) образует мартингал. В са-
мом деле, .^-измеримость М (и | ^г*) очевидна и, согласно (8.20),
М (ЕА+1 I &k) = М [М (п I ^А+11 >ft] = М (л | ^) = ь.
В связи с этим заметим, что если g = (gft, &k) — произвольный
мартингал, то в силу формулы (8.20)
Ь = м \^k) = M [М (Ьг+2 | ^А+1) I &k] =
= М(^+2|^) = ... = М(§„|^).	(3)
Таким образом, множество всех мартингалов ^ = (?*, ^ft) исчер-
пывается мартингалами вида (2). (Заметим, что в случае беско-
нечных последовательностей ^ = (^, ^*)*>i это, вообще говоря,
уже не так; см. задачу 7 в § 1 гл. VII).
Пр и мер 4. Пусть т)1?	^„ — последовательность независи-
мых одинаково распределенных случайных величин, S* = ti1 + -..
।.. + т]А и = ^Sl, = ^Sl,	^sx,..., s„. Покажем, что
последовательность £ = (£*, &k) с =	=	••••	=
116
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
С
~	£п==У’ образует мартингал. Во-первых, ясно,
ЧТО	и Е* ^-измеримы. Далее, в силу симметрии для
j sg П — k 1
М (Г)7	= м (ml	Н)
(ср. с (8.26)). Поэтому
п — АД 1
(п -k+1) м (т | •©©) = У, M(mi^r*) = M(S„-*+1|^rft) = 5,,^,.-!,
/= 1
а значит,
и мартингальность последовательности ^=(E/;, &k) следует из при-
мера 3.
Пример 5. Пусть т> •••> Л»_ независимые бернуллиеьские
случайные величины с
Р (т = + 1) = Р (Пг = — 1) = 1/2>
Sfc -= Pi 4-.. .Л-ту... Пусть А и В —два целых числа,
Тогда для всякого 0<%<gn/2 последовательность g = ('£*,
"g.............© ”
Ь = (cos A)-* ехр |a[sa -	(Д
образсет комплексный мартингал (т. е. действительная и ком-
плексная части © — мартингалы).
3. Из определения мартингала следует, что математическое
ожидание М|/; одно и то же для всех k:
м©=м©.
Оказывается, что это свойство останется справедливым, если
вместо момента k взять случайный момент.
Для формулировки этого свойства введем такое
Определение 2. Случайная величина т = т(®), принимаю-
щая значения 1, 2, ..., п, будет называться моментом, остановки
(относительно разбиений (^)к*<п,^\ S ©© S • • • — ©©), если для
любого й=1, п случайные величины /{Х=л}(®) являются
.©©-измеримыми.
Если трактовать разбиение 5© как разбиение, порожденное
наблюдениями за k шагов (например, ^\ = 4£’Г|1..л — разбиение,
порожденное величинами гц, ..., rjft), то ^-измеримость величины
/{Т=*} (со) означает, что осуществление или неосуществление со-
бытия {т = &| определяется лишь наблюдениями за k шагов (и не
зависит от «будущего»).
§11. МАРТИНГАЛЫ
117
Если =	к), то ^^-измеримость величин 7{Т=*} (®) экви-
валентна предположению, что
{x — k}^aftk.	(6)
С конкретными примерами моментов остановки мы уже встреча-
лись: таковыми являются моменты т*, сг2„, введенные в §§ 9 и 10.
Эти моменты являются частным случаем моментов остановки вида
хА = min {0 </гsg n:
оА = min {Osgп: ^еЛ},
являющихся моментами (соответственно первого после нуля и
первого) достижения множества А некоторой последовательностью
So- Bl- • • • ’ Bra-
4. Теорема 1. Пусть S = (B*,	k)\^k^n — мартингал и т —
некоторый момент остановки относительно разбиений к)\^к^п-
Тогда
M(Sd^1) = S1,	(8)
где
п
Вт= У, £*/{*=*} (®)	(9)
k =i
и
MgT = MSi.	(10)
Доказательство (ср. с доказательством формулы (9.29)).
Пусть D е Тогда, пользуясь свойствами условных математи-
ческих ожиданий и (3), находим, что
м.атр) = -^^=
п
=	nW-2 М(|г/(т=/)-/л)=
1=\
Л п
=	р^- 2 м [М I	=
1 = 1
п
=	Р< 2 М [М • Id I
1=1
п
=	р '/j)’ 2 М {т== о  7°]=
Z = I
= рДД-М(ВгаМ = М(^|П),-
118
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
а следовательно,
М (£XW = M (^1^) = ^.
Равенство Мсх = М£х следует отсюда очевидным образом.
Теорема доказана.
Следствие. Для мартингала (Sk,	из примера 1
и любого момента остановки т (относительно (^Д) справедливы
формулы
MSX = O, MSx=Mr,	(11)
называемые тождествами Вальда (ср. с (9.29) и (9.30); см.
также задачу 1 и теорему 3 в § 2 гл. VII).
4. Используем теорему 1 для доказательства следующего
утверждения.
Теорема 2 (теорема о баллотировке). Пусть г[г, г[п—
последовательность независимых одинаково распределенных случай-
ных величин, принимающих неотрицательные целочисленные значе-
ния, <$л = т]1 + .>. + 1Ъ>	Тогда
Р {S* < k для всех 1 k п | Sn} = ^1 —	(12)
где а+ = max (а, 0).
Доказательство. На множестве {и:	формула
очевидна. Будем поэтому доказывать (12) для тех элементарных
исходов, для которых Sn<Zn.
Рассмотрим мартингал £ = (£*, -®Д)1==^=п с	и
^k = Dsn+x sn. введенный в примере 4.
Определим
т = min {1 «С & «С га: Ьг2й1}>
полагая х = п на множестве {^<1 для всех
(S )
max -/< 1 >. Понятно, что на этом множестве сх = £„ = Зх = 0 и,
значит,
(max -/< 11 = (max 1, Sn<Zn\ s{£x = 0}.	(13)
11г=/г=/г ‘	)	11г=/==/г 4	J
Рассмотрим теперь те исходы, для которых одновременно
max-/Ss 1 и S„<n. Обозначим а = га-)-1—т. Нетрудно видеть,
1гЕ/==л 1
что
а = max {1 ksg:п: Sk^k]
и, значит, (поскольку Sn<n) cs<n, Sa^a и Sa+1<a+I. Следо-
вательно, т]0+1 = So+1 — So < (оф-1) — а= 1, т. е. т]с+1 = 0, Поэтому
§ 11. МАРТИНГАЛЫ
119
esc sa = sa+1 <C a+ 1, а следовательно, Sa = o и
t _ ‘Sn+l-T   Sq   1
St	«4-1—т	a
Тем самым
(max	{£t= 1}.	(14)
Из (13) и (14) находим, что
( max 1, Sn < п\ = {gt = 1} П {$п < п}.
{isi-zn v	J
Поэтому на множестве {Sn<.n}
Р(max ^1|$Д = Р{^=1|5„} = М(Ш„),
где последнее равенство следует из того, что принимает лишь
два значения: 0 или 1.
Заметим теперь, что М (£х | S„) = М (£х | и в силу теоремы 1
М (£х |	= £х = Sn/n. Следовательно, на множестве {Sn<zn}
Р {S* < k для всех. 1 - ' k - п | S„} = 1 —
Теорема доказана.
Применим эту теорему для получения другого доказательства
леммы 1 из § 10 и объясним' ее название как теоремы о балло-
тировке.
Пусть £х,	независимые бернуллиевские случайные вели-
чины с
Р(^ = 1) = Р(^ = -1) = 1/2,
Sfc = Si+••• + £* и а> & —целые неотрицательные числа такие, что
а — Ь>0, а-]-Ь = п. Покажем, что тогда
Р{Зх>0, .... Sn>0\Sn = a-b}=^.	(15)
В самом деле, в силу симметрии
Р{Зх>0, .... S„>0|S„ = a-b} =
= P{S1<0.....5л<0|Зй = -(ц-&)} =
= Р {Sx+1 < 1, ...» sn -^-п п | Sn Ц- n = n — (a — b)}~
= Р{П1<1. •••> ni + --- + Tl»<«hi + ---+'n» = «-(a-&)} =
где мы положили T]* = ^+l и воспользовались равенством (12).
Из (15) очевидным образом выводится формула (10.5), установ-
ленная в лемме 1 § 10 с применением принципа отражения.
120
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Будем интерпретировать ^ = -(-1 как голос, поданный на выбо-
рах за кандидата А, а =—1—за кандидата В. Тогда Sk есть
разность числа голосов, поданных за кандидатов А и В, если
в голосовании приняло участие k избирателей, а	...
...,	> 0 | Sn = а — Ь} есть вероятность того, что кандидат А
все время был впереди кандидата В, при условии, что в общей
сложности А собрал а голосов, В собрал b голосов и а —Ь>0,
а-]-Ь = п. Согласно (15) эта вероятность равна (а — Ь)/п.
5. Задачи.
1.	Пусть Д'о S !=...£=	— последовательность разбиений,
&0 = {Q}; T]ft — ^-измеримая величина, l^k^n. Доказать, что
последовательность Н = (^/г, с
?А= i Ь - (пг 1
i= 1
является мартингалом.
2.	Пусть случайные величины г)3, ..., щ таковы, что М(н*1Н’> •  -
..., T|ft.j) = O. Доказать, что последовательность £ = (S*)i^*--«
С £1= 41 и
k
Ь+1 = У. Ч+lfl Oil....Hi),
t — 1
где fi — некоторые функции, образует мартингал.
3.	Показать, что всякий мартингал £ = (£*, &/г) имеет некор-
релированные приращения: если a<Zb<Zc<Zd, то
cov(&rf-L, b-U = 0.
4.	Пусть ^ = (gj, ..., Е„) — некоторая случайная последова-
тельность такая, что .^-измеримы	—   —
Доказать, что для того, чтобы эта последовательность была мар-
тингалом (относительно системы разбиений (^*)), необходимо и
достаточно, чтобы для любого момента остановки т (относительно
М&Т = М^1. (Выражение «для любого момента остановки»
можно заменить на выражение «для любого момента остановки,
принимающего два значения»).
5.	Показать, что если £ = (£*,	— мартингал и т —
момент остановки, то для любого k
М [L7{т=А}] = М [1/г/{т=*}]-
6.	Пусть Н = (£ь И п = (Т]4, .Д/j—два мартингала, =
= »>! = 0. Доказать, что
М£лПл ~ 2 М (^й ?А-1) (П/г 'Пл-1)
§ 12 МАРКОВСКИЕ ЦЕПИ
121
и, в частности,
М^= 2 М^-М2-
4 = 2
7.	Пусть rij, т]д — последовательность независимых одина-
ково распределенных случайных величин, Mqi-0. Показать, что
последовательности g= (ЕА) с
/ k \2
t _ехРМт]1 + --- + щ)
-А (М ехр Хг]1)А
являются мартингалами.
8.	Пусть г)!,	т|„ — последовательность независимых одина-
ково распределенных случайных величин, принимающих значения
в конечном множестве У. Пусть f0 (у) = Р (гр = У), У е Y и /, (у) —
неотрицательная функция с У = Показать, что последо-
у
вательпость £ = (£*, с ^4 = ^^........
t = fi (Пс) • • -/т (Пл)
/о СЙ1) •  /о (Пл)
образует мартингал. (Величины называемые отношениями
правдоподобия, играют исключительно важную роль в математи-
ческой статистике.)
§ 12. Марковские цепи. Эргодическая теорема.
Строго марковское свойство
1. В рассмотренной выше схеме Бернулли с £2 = {со: со—
= (хх, .... хп), Х; = 0,1} вероятность р (со) каждого исхода со зада-
валась формулой
p(to) = p(x1)...p(x„),	(1)
где р (х) = pxq^x. При этом условии случайные величины £1( ...
..., с (уд) —Xi оказывались независимыми и одинаково рас-
пределенными с
P(^ = x) = ... = P(g„ = x)=p(x), х = 0,1.
Если вместо (1) положить
р(со) = р1(х1)...р„ (х„),
где pi (х) — р* (1 — Pi)x~x, dKpi<A, то тогда случайные величины
L> •••> "in- также будут независимыми, но уже, вообще говоря,
122
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
разнораспределенными:
Р (g1 = x) = p1(x), .... P(gn = x) = p„(x).
Рассмотрим теперь одно обобщение этих схем, приводящее
к зависимым случайным величинам, образующим так называемую
цепь Маркова.
Будем предполагать, что
П = {а>: со = (х0, хп .... хп), х;еХ},
где X — некоторое конечное множество. Пусть заданы также
неотрицательные функции р0(х), рг(х, у), ..., рп(х, у) такие, чю
У ро (х) = 1,
ХЕХ	2
У Pk(x, у) = \,	k=\.......п; у^Х.
ys, X
Для каждого исхода со = (хо, хп ..., х„) положим
p(co) = p0(*o)pi(*o> х1)...рп(хп^1, хп).	(3)
Нетрудно проверить, что ^р(о) = 1 и, следовательно, набор
ШЕЙ
этих чисел р (а) вместе с пространством й и системой всех его
подмножеств определяет некоторую вероятностную модель, которую
принято называть моделью испытаний, связанных в цепь Маркова.
Введем в рассмотрение случайные величины g0,	...,
с £,-(со)=хг. Простой подсчет показывает, что
Р(£0 = а)=р0(а),	(4)
Р(£о = ао, ...» Ik = ak) = ро (а0) рх (а0, aj.,	(«a-i, «*)•	'
Установим теперь справедливость следующего важного свой-
ства условных вероятностей:
Р {?А+1 ~ ^A+l I SA = ttk> • • • > 1о = «о} = Р {?А+1 = ®A+1 I SA = @k} (5)
(в предположении P(|ft = aft, .... со = по)>0).
В силу (4)
Р {?А+1 = ®А+1 ( ?А = ^А, • • • » So = ®о} ~
_ Р {^А+1 ~аА+1' •••< £о~ао} _ Ро(ао) Р1 (а0' а1)  • • Pk+i (ak< аА+1) __
р Ш =	• • • > Io = М	Ро (ао) • • • Ра («л-1» «а)
“Ра+1(^А» ^А+1)'
Аналогичным образом проверяется равенство
Р {?а+1 ~ ®a+i ( 1а == Яа} = Pa+i (^Ai ЯА+1)>	(fi)
что и доказывает свойство (5),
§ 12 МАРКОВСКИЕ ЦЕПИ
123
Пусть =	.разбиение, порожденное величинами
go, •••> и =
Тогда в соответствии с обозначениями, введенными в § 8, из
(5) следует, что
Р = akH I ^1} = Р {Ь+1 = aft+l 154	(7)
или
P {5*+l ~ ah+\ ! 5«,	54 — P {5 *+1 — ak+l | 54-
Если воспользоваться очевидным равенством
P(4BiQ = P(A)BQP(B |Q,
то из (7) получаем, что
Р{5п = ап, •••, 5fe+l = Gli-l I s®*} =
= Р |ЕЛ = а„,	1к+1 = ak+11g4 (8)
или
Р {ё/г ~	• • • , 5&Т1 =	' 5о, • • • , 54 “
= Р{сл = «л, •••> ^+1 = я*+11?4- (9)
Это равенство допускает следующую наглядную интерпрета-
цию. Будем трактовать 1к как положение частицы в «настоящем»,
(g0, gw) — в «прошлом» и (g*+1, .... 54 —в «будущем». Тогда
(9) означает, что при фиксированных «прошлом» (g0, ..., 5*-i) и
«настоящем» gft «будущее» (Е*+1, ..., 54 зависит лишь от «настоя-
щего» gfc и не зависит от того, каким способом частица попала
в точку с*, т. е. не зависит от «прошлого» (Ео, ..., g*-4.
Пусть Б = {g„ = а„,...,	= H = {gfe = aft}, П = {?*_! =
=	g0 = o0}. Тогда из (9) следует, что
Р(Б1НП) = Р(Б|Н),
откуда легко находим, что
Р(БП|Н) = Р(Б|Н)Р(П|Н).	(10)
Иначе говоря, из (7) следует, что при фиксированном «насто-
ящем» Н «будущее» Б и «прошлое» П оказываются независимыми.
Нетрудно показать, что справедливо и обратное: из выполнения
(10) для любого k = 0, 1,..., п— 1 следует выполнение свойства
(7) для всякого k = 0, 1, ... , п — 1.
Свойство независимости «будущего» и «прошлого», или, что то
же, независимость «будущего» от «прошлого» при фиксированном
124
ГЛ I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
«настоящем» принято называть марковским свойством, а соответ-
ствующую последовательность случайных величин ^0, ...,	—
марковской цепью.
Таким образом, если вероятности р (со) элементарных событий
задаются формулой (3), то последовательность £ = (£0, ..., £„)
с £, (со) = хь будет образовывать марковскую цепь.
В этой связи понятно следующее
Определение. Пусть (Q, erf, Р) — некоторое (конечное)
ге[оятностное пространство и £ = (£0...£„)-— последовательность
случайных величин со значениями в (конечном) множестве X.
Если выполнено условие (7), то последовательность g = (g0,
назыьаекя (конечной) марковской цепью.
Множество X называется фазовым пространством или прост-
ранством состояний цепи. Набор вероятностей (р,,(*}), х<=Х,
с р0 (к/ = Р (go = x) называют начальным распределением, а матрицу
{pft(.r, у)ч, х, у^Х, с pk(x, с/) = Р (Ь = У	= матрицей
переходных вероятностей (из состояний х в состояния у) в момент
п.
В том случае, когда переходные вероятности pk(х, у] не
зависят от k, pk (х, у) = р (х, у), последовательность S — (сп, ... , £„)
называется однородной марковской цепью с матрицей переходных
вероятностей (р (х, у)
Заметим, что матрица ji р (х, у) § является стохастической-.
ее элементы неотрицательны и сумма элементов любой ее строки
равна единице, Р (х> У) — ^> х^Х.
у
Будем считать, что фазовое пространство X состоит из конеч-
ного множества целочисленных точек (Х = {0, 1,..., N}, Х =
— {О, ±1,..., it А'} и т. д.), и обозначать, согласно традиции,
Pi = Po(i) И Pif=p(i, j).
Понятно, что свойства однородных марковских цепей полно-
стью определяются начальными распределениями pi и переходными
вероятностями рц. В конкретных случаях для описания эволюции
цепи вместо явного выписывания матрицы jl/tyll используют
(ориентированный) граф, вершинами которого являются состояния
из X, а стрелка
Р’И
идущая из состояния i в состояние / и с числом ру над ней,
показывает, что из точки i возможен переход в точку j с вероят-
ностью ру. В том случае, когда /?(у = 0, соответствующая стрелка
не проводится.
§ 12, МАРКОВСКИЕ ЦЕПИ
125
Пример 1. Пусть Х = {0, 1, 2} и
/1
1М= 2
\з
2
Этой матрице соответствует следующий граф:
1/2 П2
2/3
Отметим, что здесь состояние 0 называется «поглощающим»: если
частица в него попала, то она в нем и остается, поскольку рй0= 1-
Из состояния 1 частица с равными вероятностями переходит
в соседние состояния 0 и 2, состояние 2 таково, что частица
остается в нем с вероятностью 1/3 и переходит в состояние О
с вероятностью 2/3.
Пример 2. Пусть X = {0, ±1, .... ±N}, p0=b Pnn =
= P(-.V) (-Л') = 1 и для \i I < N
Ра =
Р< / = '+!.
q, / =
О в остальных случаях.
(И)
Переходы, соответствующие такой цепи, можно графически
изобразить следующим образом (N = 3):
-3	-2 р -1 р 0	$ t q 2	3
Эта цепь отвечает исследованной выше игре двух игроков, когда
капитал каждого равен N и на каждом шаге первый игрок
с вероятностью р выигрывает у второго ф1 и проигрывает — 1
с вероятностью q. Если трактовать состояние i как величину
выигрыша первого игрока у второго, то достижение состояний
N и — N означает разорение второго и первого игроков соответ-
ственно.
В самом деле, если т]!, г]2,... , т]„ — независимые бернуллиевс-
кие случайные величины с Р (тр = + 1) = р, Р(г],- = —1) = ^,
So = O и S* = t]j+i]ft — величина выигрыша первого игрока
У второго, то последовательность So, S,,..., S„ будет образовы-
126
ГЛ I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕН
вать марковскую цепь с р0=1 и матрицей переходных вероят-
ностей (11), поскольку
Р — j I St = i*, Sk_] = ik-n • • •} =
= P {Sfc ~b 1'l*+i= j I Sfe = i*, Sk-i = (ft-i, ...} =
= P {5ft + r)ft+1 = j j 5* = I*} — P {r]ft+1 = j — ift).
Марковская цепь So, Slt... , Sn имеет весьма простую структуру:
Sft+j = Sft т]ft+j,	0  ' k n 1,
где гр, t]2, ..., т]„ — последовательность независимых случайных
величин.
Те же рассуждения показывают, что если |0, г^, .... г]я—не-
зависимые случайные величины, то последовательность Ео,
In с
Ьн = />(£*. Л*+1),	0 k <п-1,	(12)
также образует марковскую цепь.
В этой связи полезно отметить, что так построенную марков-
скую цепь естественно рассматривать как вероятностный аналог
(детерминированной) последовательности х = (х0, хл), управ-
ляемой рекуррентными соотношениями
Xft+i = f k (-^ft)1
Приведем еще один пример марковской цепи типа (12), воз-
никающей в задачах теории «очередей».
Пример 3. Пусть на стоянку такси в единичные моменты
времени прибывают (по одной в каждый момент) машины. Если
на стоянке нет ожидающих, то машина немедленно уезжает.
Обозначим через число ожидающих, приходящих в момент k
на стоянку, и будем предполагать, что rij,, т]л — независимые
случайные величины. Пусть Е* —длина очереди в момент k, Ео = 0.
Тогда, если Eft = i, то в следующий момент длина очереди
Е*+1 станет равной
(	если 1 = 0,
( I — 1 -}- г]А+], если i 1.
Иначе говоря,
Bfc+l =	— D+ + Tlft+1>	—1,
где й+ = шах(а, 0), и, значит, последовательность Е = (£о, ёп)
образует цепь Маркова.
Пример 4. Этот пример относится к теории ветвящихся про-
цессов. Под ветвящимся процессом с дискретным временем будем
понимать последовательность случайных величин Ео, ... , Ел,
где интерпретируется как число частиц, существующих в момент
§ 12. МАРКОВСКИЕ ЦЕПИ
127
времени k, а процесс гибели-размножения частиц происходит
следующим образом: каждая частица независимо от других частиц
и от «предыстории» процесса превращается в / частиц с вероят-
ностями pf, j — 0, 1,..., М.
Будем считать, что в начальный момент времени имеется всего
лишь одна частица, Еп=1. Если в момент k было t* частиц
(с номерами 1, 2,..., EJ, то, согласно описанию, ^+1 представ-
ляется в виде случайного числа случайных величин:
с.	(k) 1	1	(k)
+ ••• + %>
где —число частиц, произведенных частицей с номером i.
Разумеется, если Е* = 0, то и E*+1 = 0. Считая, что все случайные
величины k^O, j^\, независимы между собой, находим
Р {?/г+1 ~ ik+1 I ?/< — Ikt = ("л-1,  • ~
— Р {s*+i= г'*+11 — Д} — Р {л14>4-> •	= г'*+1}-
Отсюда видно, что последовательность Ео, Ег,... , %п образует
марковскую цепь.
Особый интерес представляет случай, когда каждая частица
или погибает с вероятностью q, или превращается в две с вероят-
ностью р, p-Sf-q—i. Для этого случая легко подсчитать, что
Pij = Р {?*+! = /)?* = i}
задается формулой
Г Срр//У“//а, / = 0, ... , 2t,
~~ ( 0	в остальных случаях.
2. Будем обозначать через £==(£*, ]П> Р) однородную марков-
скую цепь с векторами (строкой) начальных вероятностей 1П = (РД
и матрицей переходных вероятностей П = |Р</11- Ясно, что
= Р {В1 = / I ='}=•••= Р = / I ^-1 = О-
Обозначим
Р^ = Р {?й = /1 io = i} (= Р {Ьи = /1 iz = Ф
вероятность перехода за k шагов из состояния i в состояние / и
^’ = Р{Ь = /}
— вероятность нахождения частицы в момент времени k в точке j.
Пусть также
128
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Покажем, что переходные вероятности р$> удовлетворяют
уравнению Колмогорова — Чэпмена
р^1}-^рЖр	03)
а
или в матричной форме
ptfe+z) _р(*) .pin.	(14)
Доказательство весьма просто: используя формулу полной
вероятности и марковское свойство, получаем
рЖ = Р (Ы/ = 7110 = 0 = 2 Р О/ =/ л*=°л0= о =
а
= Ц Р (1/ж =7 1л = а) Р (1, = а ' 10 = i) = 2 Р{‘]Р^-
а	а
Особо важны’ следующие два частных случая уравнений (13):
обратное уравнение
Ри+1}==^рЖ	(15)
а
и прямое уравнение
n(k + D __ yi (k)
Pit — /1 P‘rj- Pa.)	Uw
a
(см. рис. 22 и 23). В матричной фопме прямые и обратные
Рис. 22. К обратному
уравнению.
Рис. 23. К прямому
уравнению.
уравнения записываются соответственно следующим образом:
p(fr+D = p(fe).p)	(17)
р(Лт1) = р.р(/Н.	(18)
Аналогично для (безусловных) вероятностей pW получаем, что
=	(19)
a
или в матричной форме
1Л'*и’=1П(*’ ,р(.г
§ 12. МАРКОВСКИЕ ЦЕПИ
129
В частности,
][р+1’ = ][](*’•₽
(прямое уравнение) и
(обратное уравнение). Поскольку Р(1> = Р, ]П1П=]П» то 113 этих
уравнений следует, что
Р^» = Р\ n(fe'=ITI*-
Тем самым для однородных марковских цепей вероятности
перехода за k шагов р)к) и вероятности р<*> являются -элементами
k-x степеней матриц Р и Ц> в связи с чем многие свойства этих
цепей можно изучать методами матричного анализа.
Пример. Рассмотрим однородную марковскую цепь с двумя
состояниями 0 и 1 и матрицей
р __ !Роо Poi )
\Р10 PllJ
Нетрудно подсчитать, что
ра _/Рр TPotPio Poi (Роо + Рп))
\Р10 (Роо + Pll) Pu+PoiPlO/
и (по индукции)
рп _ 1 (1 Рп 1 ~ Роо)
2 — Роо — Рп \1—Рп 1 — Роо/
I (.Роо + Р11 — I)” С 1 —Роо —(I Роо))
2 — Роо Рп \ — (1 Рп) 1 Рп /
(в предположении, что | рОо + Рн — 1 I < О-
Отсюда видно, что если элементы матрицы Р таковы, что
|Роо + Рп — 1 I < 1 (в частности, если все вероятности перехода р^
положительны), то при п->оо
рп ,______1	/ 1 — Pl 1 1 — Роо)	(20)
2-Роо — Рп \ 1 — Рп. 1—Рои/’	'
и, значит,
limp}”1 =——~-Plt—, limp(")=p—.
n io 2 — pOo — plt n 1	2—poo — Ph
Таким образом, если | p00 Ц-Ри — 1 ; < 1, то поведение рассмат-
риваемой марковской цепи подчиняется следующей закономерности:
влияние начального состояния на вероятность нахождения частицы
в том или ином состоянии исчезает с ростом времени (р^} сходятся
к предельным значениям л;, не зависящим от i и образующим
распределение вероятностей л0^?О, nt^0, л0-)-л1 = 1); если к тому
130
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
же все элементы р,у > 0, то тогда предельные значения л0 > 0,
> 0.
Следующая теорема описывает широкий класс марковских
цепей, обладающих так называемым свойством эргодичности-, пре-
делы лу = limp!?’ не только существуют, не зависят от i, образуют
распределение вероятностей	У, Л/ = 1), н0 и таковы> чт0
\ / /
Л/ > 0 при всех / (такие распределения л; называются эргодиче-
скими).
Теорема 1 (эргодическая теорема). Пусть Р = ||р;;|| — матрица
переходных вероятностей марковской цепи с конечным множеством
состояний Х = {1, 2, ..., N}.
а)	Если найдется п0 такое, что
min р<'!»> > 0,	(21)
и i ‘
то существуют числа лр ..., nN такие, что
Л/>0, 2я/ = 1
и для любого i е X
р<)"!->л^., п->сю.	(23)
Ь)	Обратно, если существуют числа лг, ..., лЛ', удовлетворяю-
щие условиям (22) и (23), то найдется п0 такое, что выполнено
условие (21).
с)	Числа (л1; ..., Лдг) удовлетворяют системе уравнений
ni = S / = 1 > •  • > N-	(24)
Доказательство, а) Обозначим
/и(.'О= rninz/P, 2W(.n) = max р!Р.
i	i	1 i 4
Поскольку
^7 + 1) = S^a/>	<25>
a
TO
m<n+I) = min П1Л+0 = min Ур. р^’^ттУр. minp^.’ = m'n'>
1	4 a	1 a a
откуда miv^mf+v и аналогично M’-n)	Mp+1). Поэтому для
доказательства утверждения (23) достаточно показать, что
M\n)-m^-^Q, п-+оо, j=l........N.
§ 12 МАРКОВСКИЕ ЦЕПИ
131
Пусть е = minp!'?»’ > 0. Тогда
i. i 11
ру°+п) = ^Р^Р^ = S [РЙт. * о) - О
W+eS<’C) =
а
= 5 К’	+
а
Но рР^ —ер(^^г--0, поэтому
р <"»+"> т- mw . у [р<”о> — ер<">] + ер^’ = лг<я> (1 — е) + гр^п>,
а
и, значит,
/тг(до+п) /пр1 (1 — е) ер*?/1'.
Аналогичным образом
Mfo+n) м‘-п) (1 - е) + &р(/1пу.
Объединяя эти неравенства, получаем
М^+п} _ m‘5«+n)	(М(.п) _ mW) . (
и, следовательно,
_ m(^o+n) ; С (M(n) _	(1 _ 8)* | 0, k оо.
Итак, по некоторой подпоследовательности {нр} — т(п&-+0,
Пр-+оэ. Но разность М/п) — т/п) монотонна по п, а значит,
М.^ — ni{"’ -> 0, п->оо.
Если обозначить Лу = limm(.,!), то из полученных оценок еле-
п 1
дует, что для n^nQ
(1 — е)!'1''"»!-1,

т. е. сходимость pff к предельным значениям nf происходит
с геометрической скоростью.
Ясно также, что тр>т\п-- б> 0, п^п0, и, значит, л.^>0.
Ь) Условие (21) непосредственно следует из (23), поскольку
число состояний конечно и Лу > 0.
с) Уравнения (24) вытекают из (23) и (25).
Теорема доказана.
4. Система уравнений (24) играет большую роль в теории
марковских цепей. Всякое ее неотрицательное решение (лп ..., д«),
удовлетворяющее условию ^na=L принято называть стацио-
а
парным или инвариантным, распределением вероятностей для
марковской цепи с матрицей переходных вероятностей ||ру||.
Объяснение этого названия состоит в следующем.
1'2	ГЛ I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Возьмем распределение (лР.., n,N) в качестве начального,
Р] = П]. Тогда
р’/' = S П«Рщ = Л/
а
и вообще р<.п) — л^. Иначе говоря, если в качестве начального
распределения взять (лх.....лдг), то это распределение не будет
изменяться со временем, т. е. для любого k
Р(Ь = /) = Р(Ь = Д /=1,
Более того, с таким начальным распределением марковская цепь
Е = (£, П> F) будет стационарной-, совместное распределение вектора
(Ь, L+i. 	Ь+/) не зависит от k для любого I (предполагается,
ЧТО
Условие (21) гарантирует как существование пределов лу =
= lim pW, не зависящих от i, так и существование эргодического
п 11
распределения, т. е. распределения с л;>0. Распределение
(ли ..., n;v) оказывается также и стационарным распределением.
Покажем сейчас, что набор (лп ..., nN) является единственным
стационарным распределением.
В самом деле, пусть (л,,..., nN) — еще одно стационарное
распределение. Тогда
Я; = У Лара/ = • •  = У,
а	а
и поскольку	ТО
Лу —	(Ла ' Лу) — Лу.
а
В связи с этими результатами возникают интересные и важные
вопросы о достаточных, необходимых, а также необходимых и
достаточных условиях, при которых: (Л) существуют пределы
Л/= limне зависящие от г; (В) пределы (л2, ..., nN) образуют
п 11
распределение вероятностей-, (С) пределы (nb ..., лл-) образуют
эргодическое распределение вероятностей; (D) существует и при том
единственное стационарное распределение вероятностей.
Все эти вопросы будут детально исследованы в гл. VIII для
марковских цепей не только с конечным, но и счетным множеством
состояний.
Отметим, что стационарное распределение вероятностей (и к тому
же единственное) может существовать и для неэргодических цепей.
§ 12. МАРКОВСКИЕ ЦЕПИ
133
Действительно, если
то

Ц О2л+1__р °\
\1 0)' г ~\0 1J’
и, следовательно, пределы limp!?’ не существуют. В то же самое
п
время система
Л/ = 2 лара,-, / = 1, 2,
а
превращается в систему
== л2»
л2 = *^1»
единственное решение (лп л2) которой, удовлетворяющее условию
Л1 + я2=1, есть (х/а. V2).
Отметим также, что для рассмотренного выше примера систе-
ма (24) имеет вид
л0 = лороо + rtjpjo,
ni = л0р01 + л1р11,
откуда, учитывая условие лп4-л1 = 1, находим, что единственное
стационарное распределение (л0, я,) совпадает с уже найденным:
тг — ]~Ри „
0 2-Роо-Рп’ 1	2 — Роо-Ри’
Рассмотрим теперь некоторые следствия, вытекающие из эрго-
дической теоремы.
Пусть А —некоторая группа состояний, А = X и
Рассмотрим величину
— долю времени, проводимого частицей во множестве А. Поскольку
м [/л	= *]=р (Ь е а । = о = j; р<)> (=р(^ (Л
/ЕЛ
ТО
п
k=0
134
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и, в частности,
п
M[v{/) («) i = *] =	2 ?<*’.
4=0
Из анализа известно (см. также лемму 1 в § 3 гл. IV), что
если последовательность ап—>а, то	> + п->оо. Поэтому
если р<*>->-лу, &->оо, то
Мг{/)(л)->лу, Мул (n) -> пА, где лл = 2 я/-
/ЕЛ
Для эргодических цепей на самом деле можно доказать боль-
шее, а именно,, что для величин 7Л(ЕО), ..., 7Л(£Л), ...справедлив.
Закон больших чисел. Если £0, |j, ... — конечная эргоди-
ческая марковская цепь, то для всякого е > 0 и произвольного
начального распределения
Р {] \’л (п) — лл | > е} ->0, п->оо.	(26)
Прежде чем переходить к доказательству, заметим, что непо-
средственное применение результатов § 5 к бернуллиевским вели-
чинам /л(£0),	1а(^п), ••• невозможно, поскольку они, вообще
говоря, являются зависимыми. Однако доказательство можно про-
вести по тому же пути, что и в случае независимых величин,
если снова воспользоваться неравенством Чебышева и тем обстоя-
тельством, что для эргодических цепей с конечным числом состояний
найдется такое 0 <р < 1, что
]р<«> — лу [ ==sC-p".	(27)
Рассмотрим состояния i и / (они могут и совпадать) и покажем,
что (е>0)
p{|V{/}(n)-ny |>е|?о = О"*°» П->СО. (28)
В силу неравенства Чебышева
Р(ы„1(м л	!v{/} («)—^/|2|So = f}
Г 1 I V {/} W ~ nJ I > S I So— 4	---------g2-----------
Поэтому надо лишь показать, что
(«)-л> |2|?о = 4->0> п-*оо.
Простой подсчет показывает, что
М{ |v{/} (п) - лу |21 £0 = 1} =
{п
4 = 0

п п
(n+l)2 Z Z <7 >
4 = 01 = 0
§ 12. МАРКОВСКИЕ ЦЕПИ
135
где
< Z, = M{K</) (ЖО1М-
— л/ • М [/{/} (ik) | Jj0 = 1] — л7 • М [/{/} (£,) | £0 = П + Л/ =
= P{ij  Рп - л/ • Р{ц - ni  Рц + Пр
s = min(ft, /) и t = \k —1\.
В силу (27)
Р{ц = л/ + &и}> | е!;> | < Ср".
Поэтому
I т{И Z> | < С! [pf + Р( + Pft + р'] -
где Сх —некоторая постоянная. Следовательно,
j>+p'+p*+p']<
* = 0Z = 0	* = 0Z = 0
4С1_ 2(n+l) 8Ct , n
^=(«+l)2 ’ 1-P	(п+1)(1-р)">и’
n->oo,
откуда и следует справедливость соотношения (28), из кото-
рого очевидным образом вытекает требуемое соотношение (26).
5. В § 9 для случайного блуждания So, .... порожденного
схемой Бернулли, были выведены рекуррентные уравнения для
вероятностей и математических ожиданий времени выхода на ту или
иную границу. Аналогичные уравнения сейчас будут выведены и
для марковских цепей.
Пусть g = (?0, .... g„) — марковская цепь с матрицей переход-
ных вероятностей и фазовым пространством Х = {0, ±1, ...
..., ± N}. Пусть А и В — два целых числа, — NA s^QВX
и х е X. Обозначим через ё%)к+1 множество тех траекторий
(х0, xlt ..., xk), Xt^X, которые впервые выходят из интервала
(А, В) через верхнюю границу, т. е. покидают множество (А, В),
попадая в множество (В, В ф-1, ..., N).
Положим для А -С х < В
₽й W = р {(go. • •  > Sft) е <Ж+1 I So = к}-
С целью отыскания этих вероятностей (первого выхода марков-
ской цепи из множества (А, В) через верхнюю границу) восполь-
зуемся методом, примененным при выводе обратных уравнений.
Имеем
₽* (X) = Р {(£„, .. . , |7г) Е 1 ?0 = X} =
= S Рхр • Р {(So...S*)e^4-ilSo = x, h=y},
У
136
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где, как нетрудно убедиться, опираясь на марковское свойство и
однородность цепи, что
Р{&»=	=
= Р{(Х, у, в2, .... Е*) 6= <Ж+1 | £о = X, £1==г/} =
= Р {(у, U  • •, Ы е | gj = у} =
= Р {(//, ?!>•••. ^*-1)	^Зк I ?о = У} = P*-i (У)‘
Поэтому для A<Zx<Z.B и 1
Ра (•'-)= У] Рху Ра-i (у)-
У
При этом ясно, что
рй(х) = 1, х = В, 5+1, .... JV
и
Р*(х) = 0, х = — А.
Аналогичным образом выводятся и уравнения для ак (х) — веро-
ятностей первого выхода из интервала (А, В) через нижнюю гра-
ницу.
Пусть т* = min {0=С /=С k: Еге£(А, 5)}, причем xk = k, если
множество {-} = 0. Тогда тот же самый метод, примененный к
mk (х) = М (т* | t0 = х), приводит к следующим рекуррентным
уравнениям:
mk (х) = 1 + У tnk^ (у) рху
У
(здесь	A<Zx<.B). При этом
mft(x) = 0, хе£(А, В).
Понятно, что если матрица переходных вероятностей задается
формулой (11), то уравнения для ak(x), ₽ft(x) и mk(x) превращаются
в соответствующие уравнения из § 9, где они получены, по суще-
ству, тем же самым методом, что и здесь.
Наиболее интересны применения выведенных уравнений в пре-
дельном случае, когда блуждание осуществляется неограниченно
во времени. Так же, как и в § 9, соответствующие уравнения можно
получить формальным предельным переходом из выведенных выше
уравнений, полагая /г—>-со.
Для примера рассмотрим марковскую цепь с состояниями
{О, 1,... , В\ и переходными вероятностями
А>о=П Рвд=1
§ 12. МАРКОВСКИЕ ЦЕПИ
137
и для 1 i В — 1
Рр =
/ = /+1,
/ =
/ = г-1,
где р, + rt + q, = 1.
Этой цепи соответствует граф
/	г,	ГВ. 1
Pt	Ps-f
Отсюда видно, что состояния 0 и В являются «поглощающими»,
в любом же другом состоянии i частица остается с вероятностью
.П, переходит на единицу вправо с вероятностью р, и влево с вероят-
ностью
Найдем а{х) — liin ak (х) — предельную вероятность того, что
4—со
частица, выходящая из точки х, достигнет нулевого состояния
раньше, чем состояния В. Предельным переходом при k-> оо в урав-
нениях для a*(x) получим, что для 0</<В
а (/) =	(/ - 1) + г/а (/) + P/а (j + 1)
с граничными условиями
сс (0) — 1, а (В) = 0.
Поскольку г, = 1 — qf — ph то
Pi (а (/ + 1) - а(/)) = qj (а (/) - а (/ - 1))
и, следовательно,
а(/ + 1)-а(/)==ру(а(1)-1),
где
Но
а(/ + 1)-1 = £ (а(£ + 1)-а(1)).
1 = 0
138	ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Поэтому
а(/+1)-1 = (а(1)-1).2 Рм
z=i
Если j = B — I, то а(/ + 1) — а (В) = 0, и, значит,
MD-l = -zd— 
Pi
i = l
откуда
в —1	В—1
2 рг	2.	Pi
“(1) = эЕт— и a(/)=^j—. /=1..............В.
2 pi	S	Pi
i=0	i=l
(Ср. с соответствующими результатами § 9.)
Пусть теперь т(x) = limmfe(x) — предельное значение среднего
*
времени блуждания до попадания в одно из состояний 0 или В.
’’’огда т (0) — т (В) = 0,
т (х) = 1 + 2 т (у) рху
У
и, следовательно, для рассматриваемого примера
т (/) = 1 + q/tn (j - 1) + Г/tn (j) + Pftn (i + 1)
для всех /=1, В —1. Чтобы найти m(j), обозначим
M(/) = m(/)-m(/-1),	/ = 0, 1...В.
Тогда
у9/Л4(/4-1) = 7/ЛП/)-1,	/ = 1,...,В-1,
и последовательно находим, что
где
р £1  <7y d =±Г1	+	+
Pi р/ ’ Pi L Pi-i	Pi Pil
Поэтому
i-i
m (i) = m (j) — m (0) = 2 M (i + 1) =
i = 0
= 2 (Pim(l)-B;) = m(l) 2 P(--2 Bi-
i = 0	i = 0	i=U
§ 12 МАРКОВСКИЕ ЦЕПИ
139
Осталось лишь найти т(1). Но m(B) = Q, значит,
В-1
рг
и для 1 </'< В
В-1
/-1 У, Ri l-i
т (/) = 2 Р< • --------J Ri'
i = o	У Pi i = 0
( = 0
(Ср. с соответствующими результатами из § 9, полученными там
для случая r; = 0, pi = p, qt = q.)
6.	В этом пункте будет рассмотрено одно усиление марков-
ского свойства (8), заключающееся в том, что оно остается спра-
ведливым при замене момента времени k на случайный момент
(см. далее теорему 2). Важность этого так называемого строго
марковского свойства будет проиллюстрирована, в частности, на
примере вывода рекуррентных соотношений (38), играющих суще-
ственную роль для классификации состояний марковских цепей
(гл. VIII).
Пусть £ = (?0, Ел) — однородная марковская цепь с матри-
цей переходных вероятностей ||ру||,	=	—система
разбиений, =	. Через «Ж будем обозначать алгебру
порожденную разбиением
Придадим прежде всего марковскому свойству (8) несколько
иную форму. Пусть В е Покажем, что тогда
=	..., £ж = о*+1 |ВП (Ь = а*)} =
= P{Hra = fln, ...»	= Фг-н1— 0-k\	(29)
(предполагается, что Р {В П (£* = а*)} > 0). Действительно, мно-
жество В можно представить в виде
B = S*{?o = flo*. ...»	=
где суммирование распространяется по некоторым набора
(«о, ..., а?)- Поэтому
Р{?« = «л>	Ь+1=г«*+115П(?Л = «*)} =
. р = .......= В} __
РЦМЛВ}
__L*P {(gn — ап* •  • > gfe — ak) fl (go	. ... j gfe — Q&l)	/391
Р{(Ь = «а)ЛВ}	•	>
140
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Но в силу марковского свойства
Р{(^ = а„, ....	=	= е* = О} =
Р {|П ~ ^л» • • • , 1/гН ~ «*+1 I 1о ^б » • • • » Фг} X
=	хР{?0 = а*.......^k = al}, если ак = а1,
0, если ак^ак,
Р {^л = ^л> • • • ।	^/гЧ'1	^/е+1 '	I Р {г0	^0 ’ • • •
=	..., Е* = а*}, если ак = ак,
0, если ак ак,
' Р '!« = ап...Ikn = Cik^ ' h, = ак\ Р {(~/г = ак) Л В},
= 	ССЛ11 Qfy 33=1
0, если ак ак.
Гем самым сумма V* в (30) равна
Р {?л = «л..Ь+1 = Oft+i! Ik = ak\ Р {(?* = ак) Л В},
что и доказывает формулу (29).
Пусть т —момент остановки (относительно системы разбиений
; см. определение 2 в § 11).
Определение. Будем говорить, что множество В из ал-
гебры принадлежит системе множеств если для каждого
0 k п
впМ!е4	(31)
Нетрудно проверить, что совокупность таких множеств В об-
разует алгебру (называемую алгеброй событий, наблюдаемых до
момента т).
Теорема 2. Пусть g = (£0, Ы — однородная марковская
цепь с матрицей переходных вероятностей f рц т — момент ос-
тановки (относительно ^5), Ве Л; и А = {ш: т-p/sgrt}- Тогда,
если Р {А Л В П (?т = а0)} > 0> т0
Р {St+i — ai>  • • > ^т+1 — ai I Х1 Л В Л (£г — ао)। =
= P{^r+z = «(. •••. £тг+1 = а11 л (?Т ==«о)}>	(32)
и если Р {Л Л (5-г = яо)} > 0> т0
Р {ътН = О-l, , . . , ^r+l =	| А Л (?Т = Од)) — Р“оа1 • ' • Ра1-1аГ (33)
§ 12 МАРКОВСКИЕ ЦЕПИ
141
Доказательство проведем для простоты лишь в случае
7=1. Поскольку ВП(т = £) то, согласно (29),
Р {Ir+i = я1> Л |~| В Q (Ет = п0)} =
= У Р{^+1 = а1- Ь = й0, T:=k, В} =
k п — 1
= У, Р {?*+! = «1; Ь = а0, т = А>, В}Р{£* = я0, x = k, В} =
k п — 1
= У Р{?*+1 = о1|?л = й0}Р{Вй = о0, x — k, В} =
kп — 1
= рйов1 ’2 р {Ь = «о, Т = к, в} = ра„а1 • Р {Л П В П = й0)},
k п ~ 1
что и доказывает одновременно (32) и (33) (в случае (33) надо
взять В = Q).
Замечание. В случае / = 1 строго марковское свойство
(32), (33) эквивалентно, очевидно, тому, что для любого Cs X
Р {£т+1 е С | А П В П (^ = а0)} = Рао (Q,	(34)
где
Ра„ (С) = У Paaat-
h,gC
В свою очередь (34) может быть переформулировано следующим
образом: на множестве А — {т^п — 1}
P{Ute С^4} = Рц(С),	(35)
что является одной из обычно используемых форм строго марков-
ского свойства в общей теории однородных марковских процессов.
7.	Пусть Е = (Ео, ..., Ел) — однородная марковская цепь с мат-
рицей переходных вероятностей ||ру||,
/ц’ = Р{^ = В	(35)
и для i j
Л/’ = Р^ = /, ^=Л/, 1	1 ||0 = /}	(37)
вероятности первого возвращения в состояние i и момент первого
попадания в состояние j в момент времени k соответственно.
Покажем, что
р“= S	где	(38)
*=1
142
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Наглядный смысл этой формулы ясен: чтобы за п шагов по-
пасть из состояния I в состояние /, надо сначала за k шагов
впервые попасть в состояние /, а затем за остав-
шиеся п — k шагов из j попасть в /. Дадим теперь строгий вывод.
Пусть / фиксировано и
T = min{l	5* = /}.
считая т = га+1, если {-} = 0. Тогда = Р {x = k | |0 =»} и
= 2 Р&. = /, т = Ж = 0 =
1 ^л
= 2 P{Un-ft = J. т =	=	(39)
1 </г<л
Аде последнее равенство следует из того, что на множестве {т = Р}
= Далее, для всякого l^k^n множество {x = k} =
— {х — k, £,x = j}. Поэтому, если P{5o = i, т = £}>0, то в силу
теоремы 2
Р {5г+л-А = j | = г> т = &} = Р {5т+л-А = / I £о —	~ k, 5т — j} —
= Р{ил-А = /|^ = /} = Р/Г*’
и, согласно (37),
Ро’= 5 Р{£т+л-а = Шо=Д. x=k}P{x=k\l0= i} =
А = 1
— V
— Zj "// /О ’
А=1
что и доказывает соотношение (38).
8.	Задачи.
1.	Пусть 5 = (5о. •	5л) — марковская цепь со значениями в X
и / = /(х) (х е X) — некоторая функция. Будет ли последователь-
ность (/(50), ..., /(^л)) образовывать марковскую цепь? Будет ли
марковской цепью «обратная» последовательность (5П, 5л-х< • • • > ?о)?
2.	Пусть P = (pi;||, 1 Ci, /=Сг, — стохастическая матрица и
X — собственное число этой матрицы, т. е. корень характеристи-
ческого уравнения det || Р — ХЕ || = 0. Показать, что Хо = 1 явля-
ется собственным числом, а все остальные корни Хх, .... Хг по
модулю не больше 1. Если все собственные числа Х1Г ..., Хл раз-
личны, то р}}- допускают представление
Ру1 = Пу + йу (1) Xj + . . ,-|-П;у (г) X*,
§ 12. МАРКОВСКИЕ ЦЕПИ
143
где Лу, <2ц(1), .... йц (г) выражаются через элементы матрицы Р.
(Из этого алгебраического подхода к анализу свойств марковских
цепей, в частности, вытекает, что при	..., |ЛГ|<1 для
каждого / существует предел lim рр не зависящий от г.)
3.	Пусть £ = (£о, •••, £л) — однородная марковская цепь с мно-
жеством состояний X и матрицей переходных вероятностей Р =
= || рху ||. Обозначим
Тер (х) = М [ср (Вх) 120 = х] (= ^Ч^У) рху\.
\ У	/
Пусть неотрицательная функция <р удовлетворяет уравнению
Тф (х) = ф (х), х е X.
Доказать, что последовательность случайных величин
с =
образует мартингал.
4.	Пусть £ = (£„, П, Р) и % — (In, fl, Р) — две марковские цепи,
отличающиеся начальными распределениями Д'! = (Pi, ..., рг) и
fl = (А, .... Рг). Пусть П(л) = (рГ, • • •, Р(гп>), П1"’ = (pf.Ргп)).
Показать, что если minp,y^e>0, то
i.)
vir-pri<2(i-er.
1
ГЛАВА II
МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Вероятностная модель эксперимента
с бесконечным числом исходов. Аксиоматика Колмогорова
1. Введенные в предшествующей главе модели позволили нам
дать вероятностно-статистическое описание тех экспериментов, число
исходов которых конечно. Так, тройка (й,	, Р) сй = {<о: со =
= (а1( ..., а„), о,= 0, 1},	= {А: А = Й} и р (®) = р^а1дп~Ха> —
это модель эксперимента, состоящего в n-кратном «независимей»
подбрасывании монеты с вероятностью выпадания «герба», равной
р. В этой модели число N (Q) всех исходов, т. е. число точек
множества В, конечно и равно 2Л.
Зададимся теперь вопросом о построении вероятностной модели
для эксперимента, состоящего в бесконечном «независимом» под-
брасывании монеты с вероятностью выпадания «герба» на каждом
шаге, равной р.
В качестве множества исходов естественно взять множество
Й = {со: со = (н1, а2, ...), о, = 0, 1},
т. е. пространство всех последовательностей <в = (н1, а.г, эле-
менты которых принимают два значения 0 или 1.
Чему равна мощность N (й) множества Й? Хорошо изве-
стно, что всякое число йе[0, 1) может быть однозначно разло-
жено в (содержащую бесконечное число нулей) двоичную дробь
а=а21+| + ... (а/ = 0, 1).
Отсюда ясно, что между точками со множества Й и точками а
множества [0, 1) существует взаимно однозначное соответствие,
а значит, мощность множества Й равна мощности континуума.
Таким образом, если желать строить вероятностные модели,
списывающие эксперименты типа бесконечного подбрасывания мо-
§ I. АКСИОМАТИКА КОЛМОГОРОВА	'4е;
неты, то приходится привлекать к рассмотрению пространства Й
довольно сложной природы.
Попытаемся теперь понять, как разумно следовало бы зада-
вать (приписывать) вероятности в модели бесконечного числа
«независимых» подбрасываний «правильной» (р 4-9 =1/2) монеты.
Поскольку в качестве Й можно взять множество [0, 1), то
интересующая нас задача может рассматриваться как задача
о значениях вероятностей в модели «случайного выбора точки из
множества [0, 1)». Из соображений симметрии ясно, что все ис-
ходы должны быть «равновозможными». Но множество [0, 1)
несчетно, и если считать, что его вероятность равна единице,
то' получается, что вероятность р(®) каждого исхода сое [О, 1)
непременно должна быть равна нулю. Однако из такого способа
задания вероятностей (p(co) = 0, со е [0, 1)) мало что следует.
Дело в том, что обычно мы интересуемся не тем, с какой веро-
ятностью произойдет тот или иной исход, а тем, какова вероят-
ность того, что исход эксперимента будет принадлежать тому или
иному заданному множеству исходов (событию) А. В элементар-
ной теории вероятностей по вероятностям р (со) можно было найти
вероятность Р(А) события А: Р (А) =	р(а>). В рассматривае-
СО £= Д
мом сейчас случае при р(со) = О, со е [0, 1), мы не можем опре-
делить, например, вероятность того,- что «случайно выбранная
точка из [0, 1)» будет принадлежать множеству [0, 1/2). В то же
самое время интуитивно ясно, что эта вероятность равна 1/2.
Эти замечания подсказывают, что при построении вероятност-
ных моделей в случае несчетных пространств й вероятности надо
задавать не для отдельных исходов, а для некоторых множеств
из Й. Та же аргументация, что и в первой главе, показывает,
что запас множеств, на которых задается вероятность, должен
быть замкнутым относительно взятия объединения, пересечения и
дополнения. В связи с этим полезно следующее
Определение 1. Пусть Q — некоторое множество точек со.
Система Л подмножеств Й называется алгеброй, если
а)	й е ,
b)	A, Be2/=>A’JBe2/, A/iBes/,
с) А е в^=> Л е
(заметим, что в условии Ь) достаточно требовать лишь, чтобы
либо AjB е , либо А П В е поскольку A (J В — A Q В,
АПВ = Лц^).
Для формулировки понятия вероятностной модели нам необ-
ходимо
146
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Определение 2. Пусть — алгебра подмножеств Й.
Функция множеств р. = ц(Д), Ле®/, принимающая значения
в [0, со], называется конечно-аддитивной мерой, заданной на erf,
если для любых двух непересекающихся множеств А и В из erf
ц (Л В) = р (Л) + ц (В).	(1)
Конечно-аддитивная мера ц с ц(й)<со называется конечной,
а в случае р, (й) = 1 — конечно-аддитивной вероятностной мерой,
или конечно-аддитивной вероятностью.
2. Дадим теперь определение вероятностной модели (в расши-
ренном смысле).
Определение 3. Совокупность объектов
(й, erf, Р),
где
а)	Й — множество точек со;
Ь)	— алгебра подмножеств Й;
с)	Р — конечно-аддитивная вероятность на orf,
называется вероятностной моделью в расширенном смысле.
Оказывается, однако, что для построения плодотворной мате-
матической теории, эта вероятностная модель является слишком
широкой. Поэтому приходится вводить ограничения как на классы
рассматриваемых подмножеств множества й, так и на классы
допустимых вероятностных мер.
Определение 4. Система аГ подмножеств й называется
а-алгеброй, если она является алгеброй и, кроме того, выполнено
следующее свойство (усиление свойства Ь) из определения 1):
Ь*) если Л„еаГ, п—\, 2, ..., то
U Л„ е «Я", П Л„ е/
(в условии Ь*) достаточно требовать, чтобы либо IJ Лл е J7, либо
Г1 Аг — аЯ")-
Определение 5. Пространство Й вместе с о-алгеброй его
подмножеств аГ называется измеримым пространством и обозна-
чается (й, аГ).
Определение 6. Конечно-аддитивная мера ц, заданная на
алгебре erf подмножеств множества Й, называется счетно-адди-
тивной (о-аддитивной) или просто мерой, если для любых попарно
СО
непересекающихся множеств А1г А2, ... из Л таких, что У, Aa^erf
п = 1
5 ЛП= У н(Лл).
= 1	/ а = 1
§ I. АКСИОМАТИКА КОЛМОГОРОВА
147
Конечно-аддитивная мера р называется о-конечной, если про-
странство Q можно представить в виде
Q = У, йя,
п — 1
С р(Йя)<оо, п=1, 2, ...
Счетно-аддитивная мера Р на алгебре удовлетворяющая
условию Р(й) = 1, будет называться вероятностной мерой или
вероятностью (определенной на множествах алгебры ©^).
Остановимся на некоторых свойствах вероятностных мер,
Если ф — пустое множество, то
Р(0) = О.
Если А, В е а#, то
Р(АиВ) = Р(Л) + Р(В)-Р(АПВ).
Если А, В е и В s А, то
Р(В)<Р(А).
Если Ап^о/ф п = 1, 2,... и J Ап е ©А то
P(A1UA2U;..)cP(A1) + P(A2) + ...
Первые три свойства очевидны. Для доказательства послед-
него достаточно заметить, что У Ап= У Вп, где Д = At, Вп —
_	_	п г- [	п ~1
= А1р...р А^Г) А-» «S&2, В, ПВ7 = 0, i=£j, и, значит,
/ со \	7 со \ со	со
Р и л =р 2 дги 2 Р(В„)< 2
'П —1	/ \n = 1 i п = 1	тг — 1
Приводимая ниже теорема, имеющая многочисленные приме-
нения, дает условия, при которых конечно-аддитивная функция
множеств является в то же самое время и счетно-аддитивной.
Теорема. Пусть Р — конечно-аддитивная функция множеств,
заданная на алгебре а/б, с Р(Й)==1. Тогда следующие четыре
условия эквивалентны:
1)	Р о-аддитивна (Р — вероятность)',
2)	Р непрерывна сверху, т. е. для любых множеств Ар А2, ...
...е=©^ таких, что А„ s Ая+1, (J А„е&/
п = 1
lim Р (Ая) == pf (J АД
«	\п = I /
148
ГЛ И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
3)	Р непрерывна снизу, т. е, для любых множеств Alt А2, ...
00
таких, что А„ э Ап+1,
п = 1
/ 00
ПтР(Дл) = Р( Q Ап
п	'П=1
4)	Р непрерывна в «нуле», т. е. для любых множеств Дп А2, ...
СО
... е= таких, что Дл+1 s Ап, Q Ап — ф
« = 1
Г1шР(Д„) = 0.
п
Доказательство. 1) => 2). Поскольку
СО
U Ап = Ах + (Д2\Д J + (А3 \ А2) 4*...,
п= 1
ТО
/ со \
Р( U ^ = Р(А) + Р(Л\А) + Р(Л3\Л2)4-...=
= Р(Д1) + Р(Д2)-Р(Д1) + Р(Д3)-Р(Д2) + ...=
= ИтР(Дл).
п
2)=}3). Пусть п^1, тогда
Р (Дл) = Р (Дг \ (А, \ А„)) = Р MJ - Р (А, \ Дл).
Последовательность множеств {Д1\ДЛ}«>1 является неубываю-
щей (см. в следующем п. 3 таблицу) и
СО	со
U (Д^дд^ч Q Ап.
п = 1	п — 1
Тогда в силу 2)
/ со
ПтР(Д1\Д„) = Р( J (Дг\Д„)
п	'п = 1
и, значит,
lim Р (Дл) = Р(Д г) — lim Р (Дх \ Дл) =
п	п
'со	\	/	ОЭ
= Р(Д1)-Р1 и (Дг\дл)Up^-pMa П
\п = 1	I	\	п = 1
= Р(А)-Р(Д1) + Р|/ Q лХр(п дД
\« = 1	1 \п = 1	/
§ 1. АКСИОМАТИКА КОЛМОГОРОВА
149
3) => 4) Очевидно.
4)=>1) Пусть At, А.,,	попарно не пересекаются и
2 Ап (=	. Тогда
п — 1
/ со \	/ п \	/ СО
р S фр S А +р( s
ч = 1 <	'ч = 1 /	4 = п +
оо
И поскольку У, А[\ф,	00,1'0
i — п \
со	п	/ п
У P(A) = lim У P(A) = liniP 2 Л-
i = 1	п I = I	п Ч = 1
3.	Теперь можно сформулировать ставшую общепринятой
систему аксиом Колмогорова, лежащих в основе понятия вероят-
ностного пространства.
Основное определение. Набор объектов
(Й, оГ, Р),
где
а)	Й — множество точек, со,
b)	aF — о-алгебра подмножеств й,
с)	Р — вероятность на ,
называется вероятностной моделью или вероятностным простран-
ством. При этом й называется пространством исходов или про-
странством элементарных событий, множества А из ^ — собы-
тиями, а Р (Л) — вероятностью события А.
Из данного определения видно, что аксиоматика теории вероят-
ностей существенно опирается на аппарат теории множеств и тео-
рии меры. В связи с этим полезно дать таблицу, показываю-
щую, как различные понятия интерпретируются в теории множеств
и в теории вероятностей. Примеры наиболее важных для теории
вероятностей измеримых пространств и способы задания вероят-
ностей на них будут даны в последующих двух параграфах.
150
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Таблица
Обозначения	Интерпретация теории множеств	Интерпретация теории вероятностей
(0	элемент, точка	исход, элементарное со- бытие
Q	множество точек	пространство исходов, элементарных событий; достоверное событие
S'	о-алгебра подмножеств	с-алгебра событий
Ае.?	множество точек	событие (если й е Л, то говорят, что наступило событие Л)
Л=Й\Л	дополнение множества Л, т. е. множество точек со, не входящих в Л	событие, состоящее в не- наступлении события Л
лив	объединение множеств Л и В, т. е. множество точек со, входящих или в Л или в В	событие, состоящее в том, что произошло либо Л, либо В
Л П В (или АВ)	пересечение множеств Л и В, т. е. множество точек со, входящих и в Л и в В	событие, состоящее в том, что одновременно про- изошло и Л и В
Ф	пустое множество	невозможное событие
А(]В = ф	множества Л и В не пере- секаются	события Л и В несовме- стны (не могут насту- пать одновременно)
А+В	сумма множеств, т. е. объединение непересе- кающихся множеств	событие, состоящее в том, что произошло одно из двух несовместных собы- тий
А\В	разность множеств Л и В, т. е. множество точек, входящих в Л, но не входящих в В	событие, состоящее в том, что произошло Л, но не произошло В
А кВ	симметрическая разность множеств, т. е. множе- ство	событие, состоящее в том, что произошло одно из событий Л или В, но не оба одновременно
СО и Ап п= I	объединение множеств Alt Лг, ...	событие, состоящее в на- ступлении по крайней мере одного из событий Л,, Л2,...
00 П=1	сумма, т. е. объединение попарно непересекаю- щихся множеств At, Л2, ...	событие, состоящее в на- ступлении одного из несовместных событий Л1, Л2,
§ 1. АКСИОМАТИКА КОЛМОГОРОВА
151
Продолжение
Обозначения	Интерпретация теории множеств	Интерпретация теории вероятностей
00 П Ап 1 Ап\ А /или A = lim | л„\ \ п ) Ап[А /или А — lim | Ап\ \ п / lim Ап п (или lim sup А„, или {Ая б. ч.}) lim А„ п (или lim inf Ап)	пересечение множеств Alt Аз,... возрастающая последова- тельность множеств Ап, сходящаяся к А, т. е. Aj £= Аз £== ... и 00 A— U Ап п — 1 убывающая последова- тельность множеств Ап, сходящаяся к At т. е. А1 =? Ла —  • • и оо Л — П лл п = 1 множество 00 со П и Аь п=1 k—n множество со	00 и n Ak п = 1 k ~п	событие, состоящее в том, что одновременно про- изошли Alt А2, ... возрастающая последова- тельность событий, схо- дящихся к событию А убывающая последова- тельность событий, схо- дящихся к событию А событие, состоящее в том, что произойдет беско- нечно много событий из Аь А2,... событие, состоящее в том, что произойдут все со- бытия А,, А2,... за ис- ключением, быть может, только конечного числа
4.	Задачи.
1.	Пусть Q = {r: г i= [0, 1]} — множество рациональных точек
на [0, 1],	— алгебра множеств, каждое из которых является
конечной суммой непересекающихся множеств А вида {г: а < г <Z
Cb}, {г: a^zr<.b}, {г: «</•-</?}, {г: Ж г Ь} и Р (А) = b — а.
Показать, что Р (Д), А s , является конечно-аддитивной, но
не счетно-аддитивной функцией множеств.
2.	Пусть Q — некоторое счетное множество и аЯ" — совокупность
всех его подмножеств. Положим ц(Д) = 0, если А конечно и
|л(Д) = оо, если А бесконечно. Показать, что функция множеств ц
конечно-аддитивна, но не счетно-аддитивна.
3.	Пусть ц —конечная мера на ст-алгебре , An^J, п=1,
2, ... и Д = ПтДл (т. е. А — lim Ап — lim Ал). Показать, что
М(Д) = limp (Д„).
п
152
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
4.	Доказать, что Р (А д В) = Р (Л) 4- Р (В) — 2Р (Л f| В).
5.	Показать, что «расстояния» рДЛ, В) и р2(Л, В), опреде-
ленные по формулам
рДЛ, В) = Р (А аВ),
Р,м, =
I 0, если Р (A J В) = О,
удовлетворяет неравенству треугольника.
6.	Пусть и — конечно-аддитивная мера на алгебре &F, множе-
ства Alt Аг,	попарно не пересекаются и А —	At<=&^.
i = i
Тогда р (Л)2э У р(Л,).
i = 1
7.	Доказать, что
lim sup Ап = lim inf An, lim inf An = lim sup An,
lim inf An s lim sup An, lim sup (Л„ J Bn) = lim sup An (J lim sup Brl,
lim sup A„ П lim inf Bn s lim sup (Aa fi lim sup An П lim sup Bn.
Если An^A или An\ A, to
lim inf An = lim sup An.
8.	Пусть {x„} — числовая последовательность и A„ = (—oo, xn).
Показать, что x = lim sup xn и Д = lim sup X,, связаны следующим
образом: (— co, x) = Л s (— co, xj. Иначе говоря, А равно или
(— oo, x) или (— co, х].
9.	Привести пример, показывающий, что для мер, принимаю-
щих значение ф-оо, из счетной аддитивности не вытекает, вообще
говоря, непрерывность в «нуле» ф.
§ 2. Алгебры и <т-алгебры. Измеримые пространства
1, Алгебры и о-алгебры являются составными элементами при
построении вероятностных моделей. Приведем примеры и ряд
результатов, относящихся к этим объектам.
Пусть Q — некоторое пространство элементарных событий.
Очевидным образом системы множеств
=	О}, eF* = {X: As=Q}
являются и алгебрами, и о-алгебрами. При этом eF*—тривиаль-
ная, самая «бедная» о-алгебра, a eF* — самая «богатая» о-алгебра,
состоящая из всех подмножеств Й.
§ 2. АЛГЕБРЫ И СИГМА-АЛГЕБРЫ
153
В случае конечных пространств Q о-алгебра cF* вполне обо-
зрима, и, как правило, именно ее рассматривают в элементарной
теории в качестве системы «событий». В случае же несчетных
пространств класс оказывается слишком широким, поскольку
на системе таких множеств не всегда удается «согласованным
образом» задать вероятность.
Если Лей, то система
^л = {Л, А, ф, Q}
является также примером алгебры (и о-алгебры), называемой
алгеброй (а-алгеброй), порожденной множеством А.
Эта система множеств является частным случаем систем, поро-
ждаемых разбиениями. А именно, пусть
=	D2, ...}
— некоторое счетное разбиение Q на непустые множества:
£2 = Dl -f- D2 4-...; D,(j Dj = ф, i =£= j.
Тогда система = a(&), образованная из множеств, являющихся
объединением конечного числа элементов разбиения, является
алгеброй.
Следующая лемма имеет важное значение, поскольку в ней
устанавливается принципиальная возможность построения наимень-
ших алгебры и о-алгебры, содержащих заданную систему мно-
жеств.
Лемма 1. Пусть % —некоторая система множеств из Q.
Тогда существуют наименьшая алгебра, обозначаемая а(£), и
наименьшая о-алгебра, обозначаемая с (б), содержащие все множе-
ства из <S.
Доказательство. Класс всех подмножеств </"* простран-
ства Q есть о-алгебра. Таким образом, по крайней мере одна
алгебра и о-алгебра, содержащие существуют. Образуем теперь
систему а(Й'), (а(й’)), состоящую из тех множеств, которые при-
надлежат любой алгебре (а-алгебре), содержащей S. Нетрудно
проверить, что такая система есть алгебра (о-алгебра) и к тому же
наименьшая.
Замечание. Систему а(ё) (соответственно о ($)) часто на-
зывают наименьшей алгеброй (соответственно а-алгеброй), порож-
денной системой множеств S.
Часто возникает вопрос о том, при каких дополнительных
условиях алгебра или какая-нибудь другая система множеств
является в то же самое время и а-алгеброй. Приведем несколько
результатов в этом направлении.
Определение 1. Система подмножеств Q называется
монотонным классом, если из того, что Ап е ^1, п=1, 2, и
Ап | А или Ап | А следует, что Л е
154
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Пусть S — некоторая система множеств. Будем обозначать через
р (%) наименьший монотонный класс, содержащий (Доказатель-
ство существования такого класса проводится так же, как и
в лемме 1.)
Лемма 2. Для того чтобы алгебра еД была в то же время
и а-алгеброй, необходимо и достаточно, чтобы она была монотон-
ным классом.
Доказательство. Каждая ст-алгебра является, очевидным
образом, монотонным классом. Пусть теперь <г^ является моно-
п
тонным классом и Ап е п = 1, 2,... Ясно, что Вп = |J	е &Д
i=i
и Вп £= 5л+1. Следовательно, по определению монотонного класса
оо	00
Вп f Аг s Аналогично устанавливается, что Q А,ее/.
i =1
Используя эту лемму, докажем справедливость следующего
результата, показывающего, как, отправляясь от алгебры
можно с помощью монотонных предельных переходов получить
ст-алгебру о (а^).
Теор е м а 1. Пусть — алгебра. Тогда
р (esf?) = О	(1)
Доказательство. Из леммы 2 р s ст(®^). Поэтому
достаточно показать, что р(®^) является о-алгеброй. Но система
= р.(е^9 — монотонный класс, поэтому опять-таки по лемме 2
достаточно только установить, что р (®^) является алгеброй.
Возьмем А е <М и покажем, что тогда А е <М. С этой целью
применим часто используемый в дальнейшем принцип подходящих
множеств, состоящий в следующем.
Обозначим
--- {В'. В Gr оЛ, В S
все те множества, которые обладают интересующим нас свойством.
Ясно, что	<=: еМ. Установим, что Л — монотонный класс.
Пусть Вле<^, тогда Вп е <^, Вп^.^1, и поэтому
lim | Вп е o/Z, lim f Вп е <М, lim|B„e®^, lim|B„Ee^.
Следовательно,
lim f Вп — lim | Bn e <M, lim | Bn = lim f Bn e <^,
lim f = lim Bn<= <M, lim [ Bn= lim f Bn s zM,
а значит, — монотонный класс. Ho Д1 s и — наименьший
монотонный класс. Поэтому е£ =<М, и если А е = р (а^), то
§ 2. АЛГЕБРЫ И СИГМА-АЛГЕБРЫ
155
и Ае <Ж, т. е. класс <М замкнут относительно операции взятия
дополнения.
Покажем теперь, что класс замкнут относительно взятия
пересечения.
Пусть А е <М и
oAt5 ЕЕ EtC, А ("| В ЕЕ }.
Из равенств
lim | (Л П Вп) = А 0 lim | Вп,
lim | (Л П Вп) = А П lim | Вп
следует, что <«^д —монотонный класс.
Далее, легко проверяется, что
(Л ЕЕ а^в) (В ЕЕ е^»д).	(2)
Пусть теперь Л е е^, тогда поскольку — алгебра, то для
всякого В е Д множество ,4 QB е Д и, значит,
orf гМ д гМ.
Но о^д — монотонный класс (поскольку lim f АВп = Л lim f Вп и
lim | АВп = Л lim | Вп), а — наименьший монотонный класс.
Значит, &<д == для любого Л е . Но тогда из (2) вытекает,
что для Л е отё и В еЛ
(Л ЕЕ ЕНв) (В ЕЕ е/^д = е^»).
Следовательно, если Л е &^, то для любого В Еа#
Л ЕЕ
В силу произвольности А <= еЛ отсюда следует, что
£ Eft в —
Значит, для всякого В е <Ж
aft в = а^,
т. е. если Be»-# и Се«/, то С (А В е Et.
Итак, класс о/4 замкнут относительно операций взятия допол-
нения и пересечения (а значит, и объединения). Следовательно,
с-//— алгебра, что и доказывает теорему.
Определение 2. Пусть Q — некоторое пространство. Класс
& подмножеств й называется d-системой, если
а)	0ег4;
Ь)	Л, Ве^, ЛеВ^В\ЛеД;
с)	Ап^^А, Л„е Л„+1=>и Л^ееД^.
Если S — некоторая система множеств, то через d (S) будет
обозначаться наименьшая d-система, содержащая &,
156
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Теорема 2. Если ё есть система множеств, замкнутая от-
носительно образования пересечений, то
d(S) = a(S).	(3)
Доказательство, Каждая о-алгебра является d-системой,
и, следовательно, d(g)so(g). Поэтому, если доказать, что си-
стема d (S) замкнута относительно взятия пересечений, то d (S)
будет о-алгеброй и тогда, конечно, будет справедливо противопо-
ложное включение о (S) <= d (S).
Для доказательства снова воспользуемся принципом подходя-
щих множеств.
Пусть
Sj = {В е d (g): В П/1 е d (g) для всех А е ё}.
Если Bt=S, то	для всех Лохё и, значит, ё =
Но (Lv есть d-система. Поэтому d (ё) s С другой стороны, по
определению	Следовательно,
«! = d(S).
Пусть теперь
g2 = {В е d (g): В П А е d (S) для всех А е d (£)}•
Снова легко проверяется, что есть d-система. Если В = С то
по определению gj для всех А е ёг = d (ё) получим, что В П А е
е d (ё). Следовательно, g = ё2 и d (g) S^s. Но d (g) э g2, поэтому
d(g) = g2, и, значит, для каждых А и В из d (ё) множество
ДрВ также принадлежит d(g), т. е. система d (g) замкнута от-
носительно взятия пересечений.
Теорема доказана.
Перейдем к рассмотрению наиболее важных для теории веро-
ятностей измеримых пространств (Q, оЕ).
2.	Измеримое пространство (R, £/% (Д)). Пусть R = (— со, оо) —
действительная прямая и
(a, б] = {х е R: a<Zx-ob}
для всех —оо -< а < b <о оо. Условимся под интервалом (а, оэ]
понимать интервал (а, оо). (Это соглашение необходимо для того,
чтобы дополнение до интервала (— с>о, Ь] было интервалом того
же вида, т. е. открытым слева и замкнутым справа.)
Обозначим через систему множеств в R, состоящих из
конечных сумм непересекающихся интервалов вида (а, Ь]:
п
А е е^, если А = (ан М> п < °°-
i = i
Нетрудно проверить, что эта система множеств, в которую
мы включаем также и пустое множество ф, образует алгебру,
§ 2. АЛГЕБРЫ И СИГМА АЛГЕБРЫ
157
которая, однако, не является о-алгеброй, поскольку, если Ап —
= (О, 1 —то (J/4„ = (0,
п
Пусть е® (7?) — наименьшая о-алгебра о(е^), содержащая си-
стему . Эта о-алгебра, играющая важную роль в математи-
ческом анализе, называется борелевской алгеброй множеств число-
вой прямой, а ее множества — борелевскими.
Если обозначить через <г7 систему интервалов 7 вида (а, Ь],
а через о (<=7) — наименьшую о-алгебру, содержащую е7, то не-
трудно проверить, что о (d?) будет совпадать с борелевской алгеб-
рой. Иначе говоря, к борелевской алгебре можно прийти от си-
стемы &, минуя обращение к алгебре поскольку а =
= о (ос (е7)).
Заметим, что
CQ
(л, Ь) =	a<Zb,
п==1 v
со
[а, &]= Q (а—	b\,	а<_Ь,
п — 1
Тем самым в борелевскую алгебру наряду с интервалами вида
(а, 7>] входят одноточечные множества {а}, а также любое из
шести множеств
(а, Ь), [а, &], [а, Ь), (—сю,' Ь), (—оо, Ь], (а, оо). (4)
Отметим также, что при конструировании борелевской алгебры
г'С (7?) можно было бы отправляться не от интервалов вида (а, Ь],
а от любого из шести указанных интервалов, поскольку все на-
именьшие о-алгебры, порожденные системами каждого из интер-
валов вида (4), совпадают с о-алгеброй а® (7?).
Иногда приходится иметь дело с о-алгеброй <£/д (R) множеств
на расширенной числовой прямой 7? = [—сю, со]. Так называют
наименьшую о-алгебру, порожденную интервалами вида
(a, b] = {x^R-. a<.x^b},	—oos^a<.b^oo,
где под (—сю, й] понимается множество {.сеТ’: — оооСхюсЬ}.
Замечание 1. Для измеримого пространства (7?, <£fi(R))
часто используются также обозначения (R, е%1), (R1,
Замечание 2. Введем на числовой прямой R метрику
р. и.») =
158
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
(эквивалентную обычной евклидовой метрике | х — у |) и обозначим
через S30 (R) наименьшую о-алгебру, порожденную открытыми
множествами S,, (х°) = {х е R: рх (.г, х°) < р}, р > 0, е R. Тогда
<S3O(R) = S3(R) (см. задачу 7).
3.	Измеримое пространство (Rn, S3 (Rn)). Пусть Rn = Rx...
... X R — прямое, или декартово, произведение «экземпляров (ко-
пий) числовой прямой, т. е. множество упорядоченных наборов
х=(х1, ..., хл), где —ос <; х/г <оэ, k=\, ..., п. Множество
/ = /1Х...Х/л, где Ik — (ak, Ьк], т. е. множество {хе Rn: xk^.Ik,
k—l, .... «}, назовем прямоугольником, Ik — сторонами этого
прямоугольника. Через S обозначим совокупность всех прямо-
угольников в 1. Наименьшая о-алгебра а(^), порожденная си-
стемой прямоугольников <&, называется борелевской алгеброй мно-
жеств в Rn и обозначается S3(Rn). Покажем, что к этой боре-
левской алгебре можно было бы прийти и иначе.
Наряду с прямоугольниками / = 71х...х/л рассмотрим пря-
моугольники В = Вх х... X Вп с борелевскими сторонами (Bh —
борелевское множество числовой прямой, стоящей на k-м месте
в прямом произведении Rx...xR). Наименьшая о-алгебра, со-
держащая все прямоугольники с борелевскими сторонами, обозна-
чается
S3 (R) 0 ... ® S3 (R)
и называется прямым произведением о-алгебр S3(R). Покажем,
что на самом деле
^(R") = ^(R)0...0^(R).
Иначе говоря, наименьшие о-алгебры, порожденные прямоуголь-
никами I = Rx.. -X 1П и (более широким) классом прямоугольни-
ков В = Btx.. .X Вп с борелевскими сторонами, совпадают.
Доказательство сущес1венно опирается на следующее предло-
жение.
Лемма 3. Пусть S — некоторый класс множеств из Q, мно-
жество В £ Q, и пусть по определению
=	А^ё}.	(5)
Тогда
о(§ПВ) = о(«)ПВ-	(6)
Доказательство. Поскольку S<=o(S), то
^ПВЕа(0ПВ.	(7)
Но а(^)р|В является о-алгеброй, поэтому из (7) следует, что
о(«ПВ)га(^)ПВ-
Для доказательства обратного включения снова воспользуемся
принципом подходящих множеств.
§ 2. АЛГЕБРЫ И СИГМА-АЛГЕБРЫ
159
Обозначим
^; = {Лес(?): А П В е ст (£ П В)}.
Поскольку о(£) и <у(£(}В) являются о-алгебрами, то 'ё’в также
а-алгебра, причем, очевидно,
откуда о (^) е о(^в) =	= о (^) и, значит, а(§) = ^в. Поэтому
для каждого множества ,4 = off)
и, следовательно, о (g) Г) В £ о (^ f| В).
Лемма доказана.
Доказательство совпадения о-алгебр &B(Rn) и е®0,. ,0а®.
Для п = 1 их совпадение очевидно. Докажем теперь, что они
совпадают для п — 2.
Поскольку Д? (7?2)	<0 X а®, то достаточно показать, что боре-
лсеский прямоугольник ВгхВ2 принадлежит а®(7?2).
Пусть 7?2 = 7?х хТ?.2, где 7?х и Т?2 —«первая» и «вторая» дейст-
вительные прямые, &/31 — !£/31xR2, 3332 = Rlx3332, где Д\хТ?2
(RlX<R32) есть совокупность множеств вида B1xR2 (R^xB^,
с	(В2 е Х0). Пусть также <=0 и Д2 — совокупности ин-
тервалов в 7?х и R2 и <^1 = cR1xR2, Д2 = 7?1хД2. Тогда в силу (6)
Д1ХД2 = Д1П Д2еДДП52 = а(^1)П5г =
= a (g7x П В2) = о (П Д2) = а (Дх X Д2),
что и требовалось доказать.
Случай произвольного п >2 рассматривается аналогичным
образом.
Замечание. Пусть Д?о (7?я) — наименьшая о-алгебра, порож-
денная открытыми множествами
0, (х°) = {х = Rn: р„ (х, х°) < р}, x°(=Rn, р>0,
в метрике
р„(х, х°) = 2 2~kp1(xk, xl),
k =i
где x=(xv, ..., хп), x° — (xl, ..., Хп).
Тогда (Д’о (7?л) = е® (Rn) (задача 7).
4.	Измеримое пространство (/?°°, <0(7?“)) играет значительную
роль в теории вероятностей, поскольку оно служит основой по-
строения вероятностных моделей экспериментов с бесконечным
числом шагов.
160
ГЛ'. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
Пространство /?°° —это пространство упорядоченных числовых
последовательностей
х = (хр х3, ...),	—оо <xft<oo, k=\, 2, ...
Обозначим через 1к и Вк соответственно интервалы (ак, bk] и
борелевские множества k-й числовой прямой (с координатой хк).
Рассмотрим цилиндрические множества
s2'(/lX...X/n) = {x: х = (хп х2, ...),	...хпе=1п}, (8)
<^(В1х...хВ„) = {х: х = (х1...), XjeBj, х'„еВ;11,	(9)
^(В’) = {х:(х1,..„хл)еВ$	(10)
где Вп — борелевское множество из a$)(Rn). Каждый из «цилин-
дров» <^(В, х...хВ„) или 3 (Вп) может рассматриваться также
как цилиндр с основаниями в Rn+1, Rn+2, .... поскольку
s7 (Вх х... х Вп) = 3 (Bj х... X Вп х R),
3 (В^^В^1),
где Bn+1 — BnxR.
Отсюда следует, что как система цилиндров а7 (В, х.. .хВп),
так и система цилиндров е7 (В") образуют алгебры. Нетрудно про-
верить, что множества, составленные из объединений непересе-
кающихся цилиндров о/ (/г х.. .X 1п), также образуют алгебру.
Обозначим через 33 (Rx)< ,'х, (^ я) и /Й3(Д”) наименьшие о-ал-
гебры, содержащие все множества (8), (9) и (10) соответственно.
(Часто о-алгебру (70) обозначают 7® (R) 3) 33 (R) 0 ....) По-
нятно, что	На самом же деле все
эти три о-алгебры совпадают.
Для доказательства обозначим для каждого п=1, 2, ...
^n={A^Rn: {х: (хп ..., х„) ен А] е 0'(/?”)}.
Пусть Вп е 33 (Rn). Тогда
33 00
Но <0 —о-алгебра, а значит,
а®(/?Д^О(^л) = ^лЕД?(Д0
и, следовательно,
< (/?”) S а® (РП.
Итак, a® (R'M) = а®! (/?“) =	(R°°).
В дальнейшем множества из 33 (£°°) будем называть борелев-
скими множествами (в /?°°).
Замечание. Пусть (/?“) —наименьшая о-алгебра, порож-
денная открытыми множествами
Sp(x«) = {xe/?co; Рда(х, х°)<р},
>0,
х» е= /?”,
Р
§ 2 АЛГЕБРЫ И СИГМА-АЛГЕБРЫ
161
в ме:рике
Роэ (* х< хп) = У 2~kPt (Xk, *k),
k= i
где x = (x1( x2, x° = (xj, x], Тогда S3 (R™) = S?a (Rm)
(задача 7).
Приведем несколько примеров борелевских множ<.с:в в Д”:
(а)	= зирхя>а},
{х е 7?30: inf хп < а};
(Ь)	[1<:еР": Птхя<а},
limx„>a},
где, как обычно,
limxra = inf sup хт, limx„ = sup inf хт;
п т~^ п	п т^п
(с)	{х е RS хп ->} —
множество тех хе!Зл, для которых limx„ существует и конечен;
(d)	{x^R™: limx„>a};
(е)	/х <=Rm: У I хп | > а\;
(	п — 1	J
(	п	\
(f)	.jxGP'i У х* = 0 по крайней мере для одного п->11
(	*=1	J
Чтобы убедиться, например, в том, что множества из (а) вхо-
дят в систему S3 (IS), достаточно заметить, что
{х: sup хп > а} — |J {х; хп> а} <= S3 (R^),
п
{х: inf х„ < а] = |J {х: хп < а} S3 (Rx).
п
5.	Измеримое пространство (RT, S3{RT)'}, где Т — произволь-
ное множество. Пространство RT — это совокупность действитель-
ных функций x = (xz), определенных для t е Т *). В основном нао
будет интересовать тот случай, когда Т — некоторое несчетное
подмножество числовой прямой. Для простоты и определенности
можно сейчас предположить, что 7' = [0, оо).
*) В дальнейшем для функции из RT используются также обозначения:
x=(xt) г, x=*(xt), t = RT.
i x=:i\
162 ГЛ II М TTEM ЭТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
Введем в рассмотрение три типа цилиндрических множеств
...tn (71х...х/„) = {х:	ус!,],	(11)
...tn(Blx...xBn) = \x: Xt^B^ ...» х1п^Вп\, (12)
(xti, .... x^B*},	(13)
где Jh — множества вида (ak, blt], Bk — борслевские множества на
числовой прямой, а В" — борелевское множество в 7?".
Множество e7Zj t (7Х X.. .х 1п) есть не что иное, как мно-
жество 1 ех функций, которые в моменты tx, .... tn «проходят
через окна» 1Х,	1„, а в остальные моменты принимают про-
извольные значения (рис. 24).
Обозначим через е® (Яг). ^х(7?0 и <=®2 (Rr} наименьшие
о-алгебры, содержащие все цилиндрические множества (11), (12)
и (13) соответственно. Ясно, что
(Н)
На самом же деле все эти три о-алгебры совпадают между собой.
Более того, исчерпывающим образом можно описать и структуру
их множеств.
Теорема 3. Пусть Т — любое несчетное множество. Тогса
&В (RT) = е®х (Rr) ~ <S32 (RT), и любое множество А е (RT) имеет
следующую структуру, найдется не более чем счетное множество
точек tv t2, ... из Т и борелевское множество В из такое,
что
Л = {х: (ху, Х{г, ...)<= В}.	(15)
Доказательство. Обозначим через Ж совокупность мно-
жеств вида (15) (при различных наборах (/1; /2, ...) и множест-
вах В из e%(Rm)). Если Л1( Аг,	и отвечающие им наборы
§ 2 АЛГЕБРЫ И СИГМА-АЛГЕБРЫ
1G3
есть	 •). Г2’= (/?', Л2’, ...), то множество ГОТ| =
t= U T(ft) можно взять в качестве единой системы такой, что
k
все Л; будут представлены в виде
Лг = {х: (хТ1, хХ1, ...) ей,},
где В, — некоторые множества из (одной и той же) о-алгебры
+5 (7?^), a Xi (=Тт\
Отсюда следует, что система множеств £ образует о-алгебру.
Понятно, что эта о-алгебра содержит все цилиндрические мно-
жества вида (1) и, поскольку Л32 (RT) есть наименьшая о-алгебра,
содержащая эти множества, то вместе с (14) это дает
(16)
Рассмотрим множество А из S, представимое в виде (15). Если
зафиксировать набор (tlt t2, ...), то тогда те же рассуждения, что
и в случае пространства (7?30, АЛ (/?”)), показывают, что множе-
ство А будет элементом о-алгебры, порожденной цилиндрическими
множествами (11). Но эта о-алгебра, очевидно, принадлежит
о-алгебре SB(RT), что вместе с (16) и доказывает оба утвержде-
ния теоремы.
Итак, любое борелевское множество А из о-алгебры е7?(/?7’)
определяется ограничениями, наложенными на функции x = (xt),
t^T, не более чем в счетном числе точек R, t2, ... Отсюда сле-
дует, в частности, что множества
Ак = {х; supxz<C для всех 1е[0, 1]},
А2 = {х: xz = 0 по крайней мере для одного t е [0, 1]},
А3 = {х: Xi непрерывна в фиксированной точке t0 е [0, 1]},
зависящие от «поведения» функций в несчетном числе точек, не
обязаны быть борелевскими. И действительно, все три указанных
множества не принадлежат ЛЗ (RW- 1]).
Пс кажем это для множества At. Если Аг е S3 (JA1^ Ч), то,
согласно доказанной теореме, можно найти такие точки (/J, t], ...)
и множество В0 ЛЗ (ВЛ}, что
|х: supxz<C, Ze [О, 1]1. = {х: (х(о, х^, ...)еВ0},
Ясно, что функция t/z = C—1 принадлежит Л1, и, следовательно,
Образуем тогда функцию
( С — 1,
г<= ( С+1,
Z е (С,	...),
Ц, ...).
164
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Понятно, ЧТО

и, следовательно, функция z = (zt) принадлежит множеству
(х,о, ...)еВ0}. Но в то же время ясно, что она не принад-
лежит множеству {х: supX/<C}. Полученное противоречие пока-
зывает, что Ах S3 <7?[0’ 1]).
В связи с неизмеримостью множеств Аг, Л2 и А3 по отноше-
нию к о-алгебре S3 Ч) в пространстве всех функций х=(х,),
/е[0, 1], естественно рассмотреть более узкие классы функций,
где эти множества могут оказаться измеримыми. Интуитивно
понятно, что так будет, если в качестве исходного пространства
рассмотреть, например, пространство непрерывных функций.
6.	Измеримое пространство (С, S3 (С')'). Пусть Т = (0, 1] и С~
пространство непрерывных функций x = (xt), O-cHCl. Относи-
тельно равномерной метрики р(х, z/) = sup \xt~yt\ это простран-
(ег
ство является метрическим. В С можно ввести две о-алгебры:
S3 (С) — о-алгебру, порожденную цилиндрическими множествами,
и о-алгебру S)0(C), порожденную открытыми (в метрике р(х, у))
множествами. Покажем, что на самом деле обе эти о-алгебры
совпадают: S3 (С) = S3P (С).
Пусть В = {х: xta < b} — некоторое цилиндрическое множество.
Нетрудно убедиться, что это множество является открытым. Отсюда
вытекает, что {х: Х/1<Ь1, ..., Xtn <_ bn} (= S3P (С) и, значит,
<^(С)с=^0(С).
Обратно, рассмотрим множество Вр — {у. i/eSp(x0)}, где х° —
некоторая функция из С и Sp(x°) = {xsC: sup | xt — х° | •< р} —
открытая сфера с центром в х°. В силу непрерывности функций
из С
y^Sp (х0)} = {у е= С: max |yt-х?; <р} =
= П{1/еС: \yt/i-x^\<p}^S3(C),	(17)
где lk — рациональные точки отрезка [0, 1]. Поэтому S30 (С) <= S3 (С),
Следующим важным примером является
7.	Измеримое пространство (О,	(£>)), где D — пространство
функций x = (xz), t е [0, 1], являющихся непрерывными справа
(х/ = Х/+ для всех /<1) и имеющих пределы слева (в любой
точке />0).
Так же, как и в случае пространства С, в D можно ввести
метрику d (х, у) так, что о-алгебра S30(D), порожденная открытыми
множествами, будет совпадать с о-алгеброй S3(D), порожденной
цилиндрическими множествами. Эта метрика d (х, у), введенная
§ 2 АЛГЕБРЫ II СИГМА АЛГЕБРЫ
165
А. В. Скороходом, определяется следующим образом:
d(x, z/) = inf {е>0: ЗХ s A: sup!xz- yui}\ +
+ sup |/-Z(0;=ce},	(18)
t
где А —множество строго возрастающих непрерывных на [О, 1J
функций 7. = k(t) с 7.(0) = 0, 7.(1) = 1.
8.	Измеримое пространство z Q-, 1 д 1 S't\. Наряду с прост-
' (еГ t<=T I
ранством (RT, S3(Rr)), являющимся прямым произведением Т
копий числовой прямой с системой борелевских множеств, в теории
вероятностей рассматривают также измеримые пространства
|| Qz, ] ® j аТ'/1, образованные следующим образом.
\teT 1<=Т I
Пусть Т — произвольный набор индексов и (Qz, SA — измеримые
пространства, t s Т. Обозначим Q = P[ — множещво всех функ-
ГеТ
ций со = (<oz), t , таких что	для каждого t<=T.
Совокупность цилиндрических множеств
...t (В1Х...хВл) = {<о: Ю/ eBj,..., со, eBA,
где Bt образует, как нетрудно показать, алгебру. Наимень-
шую сг-алгебру, содержащую все цилиндрические множества,
обозначают । ® ыД, а измеримое пространство | | . । s I назы-
/еТ
вают прямым произведением измеримых пространств (Qb St),
te=T.
9.	Задачи.
1.	Пусть Л?! и 5% — о-алгебры подмножеств пространства й.
Будут ли о-алгебрами системы множеств
П {А: A И А Е5 ДЛ}»
<6®! (J	= {А: Я е или Л ед х?2}?
2.	Пусть 6F={£)1, £>3, ...} —некоторое счетное разбиение й
и <Л5 = сг(бА). Будет ли число множеств, составляющих щб, также
счетно?
3.	Показать, что
g®(^)® А9(7?) = бЙ(^+1).
4.	Доказать, что множества (b) — (f) (см. п. 4) принадлежат
^(/?°°).
5.	Доказать, что множества А2 и А3 (см. п. 5) не принад-
лежат S3 (2?1°- Ч).
1(>6
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
6.	Доказать, что функция (15) действительно задает метрику.
7.	Доказать, что <Д?0 (Rn) = а® (Rn),	1, и <=®0 (R°°) = S3 (Rx).
8.	Пусть С = С[0, оо) — пространство непрерывных функций
x = (xt), определенных для /оэО. Показать, что относительно
метрики
р(х, у) = У min Г sup |х^ —уД 11, х, у е С
„ = 1	j
это пространство является полным сепарабельным метрическим
пространством и о-алгебра еДДС), порожденная открытыми мно-
жествами, совпадает с а-алгеброй е®(С), порожденной цилиндри-
ческими множествами.
§ 3.	Способы задания вероятностных мер
на измеримых пространствах
1.	Измеримое пространство (R, е®(/?)). Пусть Р = Р(Л) —
вероятностная мера, определенная на борелевских множествах А
числовой прямой. Возьмем Л = (—со, х], и положим
F (х) = Р (—сю, х],	х е R.	(1)
Так определенная функция обладает следующими свойствами:
1) F (х) — неубывающая функция-,
2)	F(—сю) = 0, F(+oo) = l, где
F(—сю) = lim F (х), F (+со) = lim F (х);
X I —СО	X t со
3)	F (х) непрерывна справа и имеет пределы слева в каждой
точке х е R.
Первое свойство очевидно, последние два вытекают из свойства
непрерывности вероятностной меры.
Определение 1. Всякая функция F = F(x), удовлетворяю-
щая перечисленным условиям 1) — 3), называется функцией распре-
деления (на числовой прямой R).
Итак, каждой вероятностной мере Р на.(R, 2F (R)) соответствует
(в силу (11)) некоторая функция распределения. Оказывается,
что имеет место и обратное утверждение.
Теорема 1. Пусть F = F (х) — некоторая функция распреде-
ления на числовой прямой R. Тогда на (R, S3 (R)) существует и
притом единственная вероятностная мера Р такая, что для
любых —сю юс a < b < сю
Р(а, b] = F(b) — F(a).	(2)
Доказательство. Пусть ехТ — алгебра множеств А из R,
являющихся конечными суммами непересекающихся интервалов
§ 3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
167
вида (а, Ь]:
А =5 (ak, Ьк].
k=l
Определим на этих множествах функцию множеств Ро, полагая
Р0(Л) = 2 [F(0)-f«],
6=1
(3)
А ЕЕ .
На алгебре эта формула определяет и, очевидно, однозначно
некоторою конечно-аддитивную функцию множеств. Поэтому, если
показать, что на этой алгебре эта функция к тому же счетно-
аддитивна, то существование и единственность требуемой меры Р
на будет непосредственно вытекать из следующего общего
результата теории меры (приводимого без доказательства).
Теорема Карате од ори. Пусть Q—некоторое простран-
ство, е/А — алгебра его подмножеств и <£В = а (<жф — наименьшая
о-алгебра, содержащая . Пусть — о-конечная мера на (Q,
Тогда существует и притом единственная мера ц на (Q,	(а^)),
являющаяся продолжением р0, т. е. такая, что
р (Л) = р,0 (Л), Де&’Т
Итак, покажем, что функция Ро счетно-аддитивна на алгебре
Согласно теореме из § 1 для этого достаточно проверить непре-
рывность Ро в 0, т. е. проверить, что
р0(Ля)|о, лл; ф,
Пусть Лп Л2, ... — некоторая выбранная последовательность
множеств из со свойством Ап\ ф. Предположим сначала, что
все множества Ля принадлежат некоторому замкнутому интервалу
[—N, Л7], N <со. Поскольку Л„ состоят из конечного числа сумм
интервалов вида (а, Ь] и поскольку в силу -непрерывности справа
функций F (х)
Рфа', b] = F(b)-F(a')^F(b')-F(a) = P0(a, &]
при а' а, то для каждого Ап найдется множество Вп ед такое,
что его замыкание [Z0] Е Ап и
Ро(Л)-Р0(В„)^е.2Л
где е —некоторое заранее заданное число, большее пуля.
По предположению [\Ап=ф, а значит, и П[Вл] = 0. Но
множества [Вя] замкнуты, поэтому найдется такое конечное
»о = -'Ме), что
ПШ=0.	(4)
168
ГЛ II МАГМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
(В самом деле, [—N, Л'] — компакт, а система множеств
{[—N, М]\[5Л]}„1 образует открытое покрытие этого компакта.
Тогда по лемме Гейне — Бореля существует конечное подпокрытие:
U ([-Л/, М]\[5л]) =[-N, MJ
П(,
а значит, Q [Вл]=0).
1
Учитывая (4) и го, что Лло s А По—1 — *  • Ai,
находим
Ро (Апо) = Р 4 Лл.\ П в?) + Ро ( П Вк] =
\	6 —1 /	\Л-=1 /
=р0М„0\П в4^р<4 и
\ £-1 /	— 1	/
«о	"о
<У Ро(Л\А)^5 с-2-^е.
Поэтому Ро(Лл)|О, п-^со.
Откажемся теперь от предположения, что все Ап с= [—У, М]
для некоторого N. Зададим е>0 и выберем такое N, чю
Ро[—М, Л’]>1—е/2. Тогда, поскольку
л,г = л.ш-д/, мц- л„п[-Л/, М],
то
Р0(Лл) = Р()(ЛД-Л\ М] + Р0(ЛлП[-ЛГ, У|)^
Ро(Лл П [-А/, MJ) + e/2
и, применяя предшествующие рассуждения (с заменой Ап на
ЛлП[—N, N]), получаем, что для достаточно больших пР0(ЛлП
П[—N, М])=Се/2. Тем самым снова Ро(Лл)|О, п->сю. Теорема
доказана.
Итак, между вероятностными мерами Р на (А?, S3 (R)) и функ-
циями распределения F на числовой прямой R существует взаимно
однозначное соответствие. Меру Р, построенную по функции F,
принято называть вероятностной мерой Лебега — Стилтьеса, отве-
чающей функции распределения F.
Особо важен случай, когда
' О,
F (х) = х,
. 1,
х<0,
1,
х> 1.
В этом случае соответствующую
ее X) называют меоой Лебега на
вероятностную меру (обозначим
отрезке [0, 1]. Ясно, что А (а,
§ 3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
169
= Ь — а. Иначе говоря, мера Лебега интервала (а, Ь] (а таг же
любого из интервалов (а, Ь), [й, fe], [а, Ь)) равна просто ио
длине Ь — а.
Обозначим
^([0, 1]) = {ЛП[О, 1]: Ле^(/?)}
совокупность борелевских множеств отрезка [0, 1]. Наряду с этими
множествами часто приходная рассматривать так н !3ываемые
лсбеговские множества отрезка [0, 1]. Будет говори'Ь, что мн -
жество Л = [0, 1] относится к системе У?([0, 1]), если меж .о
найти такие борелевские множества Л и В, что А Е Л cz В и
Л.(В\Л) = 0. Нетрудно проверить, что система ^([0, 1]) является
о-алгеброй. Именно ее и называют сист смой лебеговских множеств
отрезка [0, 1]. Ясно, что ([0, 1 ]) <=, ВЗ ([0, 1J).
Меру X, определенною пока лишь на множешвах из е59([О, 1]\
естественным образом можно продолжить и на систему лебеговских
множеств Д/3([0, 1]). А именно, если Л <=	([0, 1]) и ЛеЛеВ,
где А, В^&([0, 1]), ^(В\Л) = 0, то положим X (Л) = Л (Л). Так
определенная функция множеств А. = Л(Л), Ле&7з([О, 1]) явля-
ется, как нетрудно проверить, вероятностной мерой на ([0, 1],
«УЗ ([0, 1])). Ее также называют лебеговской мерой (на сишеме
лебеговских множеств).
Замечание. Проведенная процедура пополнения (продолже-
ния) меры применяется и оказывается полезной не только в рас-
смотренном случае. Например, пусть (Q, cF, Р) —некоторое
вероятностное пространство. Обозначим через eFp совокупность
всех подмножеств А пространства Q, для которых можно найти
также множества Вг и В2 из aF, что В, с- A s В2 и Р (В2\Вг) = 0.
Естественным образом (с помощью равенства Р (Л) = Р (В^) вероят-
ностная мера определяется и для множеств Аес.сЗВр. Полученное
таким образом новое вероятностное пространство (Q, aFp, Р) назы-
вается пополнением пространства (Q, cF, Р) относительно меры Р.
Если вероятностная мера Р такова, что cFp=aF, то она
называется полной, а соответствующее пространство (Q, aF, Р)—•
полным вероятностным пространством.
Устанавливаемое равенством Р (а, /?] = F (b) — F (а) соответствие
между вероятностными мерами Р и функциями распределения F
дает возможность конструирования разных вероятностных мер
с помощью задания соответствующих функций распределения.
Дискретные меры. Пусть функция распределения F = F (х) явля-
ется (рис. 25) кусочно-постоянной, меняющей свои значения
в точках xlt х2..., (AF (х,)>0, где AF (х) = F (х) — F (х —)). Соот-
ветствующая этой функции вероятностная мера Р сосредоточена
170
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
в точках a'j, хг,
P(KJ) = a.f(a-/;)>o, 2p(M = 1-
/г
Набор чисел (рп р2, где р* = Р ({**}), называют дискрет-
ным распределением вероятностей.
!т I A/Y-Zj)
। ьГ(хг)
jaFIx,) ,____________,___________
X,	Х2	X-	X
Рис. 25.
Приведем таблицу наиболее употребительных типов дискретных
вероятностных распределений с соответствующими наименованиями
(табл. 1).
Таблица 1
Гаспрсделение	Вероятности	Параметры
Дискретное равномерное Бернуллиевское	, /? = 1, 2	N N ’ Pi = P.	У = 1, 2, ... 0 -Щ р Щ 1, <7=1 — р
Биномиальное	Ра = Я C*okqn-k, /г-0, 1	п	0 р sg 1, 9 = 1— р
Пуассоновское Геометрическое	1,... qk-ip, k= 1, 2, ...	п= 1, 2, ... }.>0 0 < psg 1, у=1 — р
Отрицательно-	г>Г— 1 ,-Г nk—Г	0<psgl, 9 = 1 —р
биномиальное	k = r, Г-К 1, ...	г = \, 2, ...
Абсолютно-непрерывные меры. Пусть существует неотрица-
тельная функция — t <= R, такая, что
X
F (х) = $ f(t)di,	(5)
где под интегралом сейчас понимается интеграл в смысле Римана,
а в общем случае—в смысле Лебега (см. § 6/.
Функция / = /(%), xe=R, называется плотностью функции
распределения F = F(x) (плотностью распределения вероятностей
или просто плотностью).
§ 3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
171
Понятно, что всякая неотрицательная функция / = /(х), инте-
грируемая по Риману и такая, что /(x)dx=l, определяет
формулой (5) некоторую функцию распределения. В табл. 2 при-
ведены особо важные для теории вероятностей и математической
статистики примеры разных типов плотностей / = /(х) с указа-
нием их наименований! и параметров (плотность f (х) считается
равной нулю для неуказанных в таблице значений х).
Сингулярные меры. Так называют меры, функции распреде-
ления которых непрерывны, но точки их роста образуют мно-
жество нулевой меры Лебега. Не останавливаясь подробно на этом
случае, ограничимся лишь примером такой функции.
Возьмем отрезок [0, 1] и построим функцию F (х) с помощью
следующего приема, принадлежащего Г. Кантору.
Разделим отрезок [0, 1] на три равные части и положим
(рис. 26)
Л =
1/2 хе (1/3, 2/3),
О х = О,
1 х = 1,
доопределяя ее в остальных точках с помощью линейной интер-
поляции.
Далее, каждый из интервалов [О,
на три части и определяем функцию
1/3] и [2/3, 1] снова делим
(рис. 27)
1/2
1/4
К2 (х) = 3/4
О
х е (1/3, 2/3),
хе (1/9, 2/9),
хе (7/9, 8/9),
х = О,
х — 1
1
172
ГЛ. П. /МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Таблица 2
Тип распределения	Платность	Параметры
Равномерное на fa, b] Нормальное, или гауссов- ское Гамма Бета Экспоненциальное (гамма- распределение с а=1, f5=lA) Двустороннее экспоненци- альное распределение Хи-квадрат, /2 (гамма рас- пределение с а—п/2, р = = 2) Стыодента, t Г Коши	, а е:~ х b Ь — а 1	_ Р"Р2 — е 2а' . х ед R 1 2л о ха -1,-х/Р Г (ел) ’ *'' ° qqq-1," - 1 (5 (м s) }.е>х, X R- 0 x^R 1	х 2 е 2 2'!/2Г (л/2) х>-0 \ 2 /	1 г [ 2 ) /	X”- "J2’ ' Т +j X £= R т [т \ "з	т о [ т п\	т-1- п ЧТ’2/(1 + ^ 2 Х2=О 8	„ л(х2-Н2)’ *	а, Ь е R; а <Ь т s R, о > 0 а > 0, 3 > 0 г > 0, s > 0 Л>0 Х>0 п — 1, 2, ... п= 1, 2, ... т, я= 1, 2, ... 6 > 0.
§ з зхдлнпя ВЕРОЯТНОСТНЫХ МЕР
173
со значениями в остальных точках, полученными линейной интер-
поляцией.
Продолжая этот процесс, построим последовательность функ-
ций F,, (х), /г = 1, 2, ..., которые сходятся к некоторой неубы-
вающей непрерывной функции F (х) (называемой канторовской),
точки роста которой (х — точка роста F (х), если Г(х-|-е)—
-—F (х — е)>0 для любого е > 0) образуют множество лебегов-
ской меры нуль. Действительно, из конструкции F (х) видно, что
общая длина интервалов (1/3, 2/3), (1/9, 2/9), (7/9, 8/9), .... на
которых функция принимает постоянные значения, равна
Обозначим через множество точек роста канторовской
функции F (х). Из (6) следует, что Х(5/Д = 0. В то же самсе
время, если рг —мера, соответствующая канторовской функции
F (х), то pt(oA") = l- (В этом случае говорят, что мера сингулярна
по отношению к лебеговской мере Л.)
Не останавливаясь более на вопросе о возможных типах
функций распределения, ограничимся лишь замечанием о том,
что на самом деле указанными тремя типами исчерпываются
все функции. Точнее, произвольная функция распределения
может быть представлена в виде pj^-yр^-Ур3Р.Л, где Fr—
дискретная, Т2 — абсолютно непрерывная, — сингулярная функ-
ции распределения, Pt — неотрицательные числа, рг-фр2 -ф р3 — 1.
2.	Теорема 1 устанавливает взаимно однозначное соответствие
между вероятностными мерами на (R, Д? (/?)) и функциями рас-
пределения на R. Анализ доказательства этой теоремы показы-
вает, что на самом деле справедлив более общий результат,
позволяющий, в частности, ввести так называемую меру Лебега
на всей числовой прямой.
Пусть pi —некоторая a-конечная мера на (Q, с^), где о/Р —
алгебра подмножеств Q. Оказывается, что утверждение теоремы
Каратеодори о продолжении меры рг с алгебры &Л на наимень-
шую о-алгебру а(е^) остается справедливым и для о-конечных
мер, что и дает возможность обобщения теоремы 1.
Назовем мерой Лебега — Стилтьеса на (R, ЛЗ (R)) всякую
(счетно-аддитивную) меру рг такую, что для любого ограничен-
ного интервала 1 его мера рг(/)<оо. Обобщенной функцией рас-
пределения на числовой прямой 7? назовем всякую неубывающую
непрерывную справа функцию G — G (х) со значениями в (— со, со).
Теорема 1 допускает обобщение в том смысле, что формула
рг(а, b] = G (b) — G (а),
174
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
снова устанавливает взаимно однозначное соответствие между
мерами Лебега —Стилтьеса ft и обобщенными функциями рас-
пределения G.
В самом деле, если G(H-co) — G(—со)<со, то доказатель-
ство, примененное в теореме 1, проходит без всяких изменений,
поскольку этот случай сводится к случаю, когда G(-)-co) —
— G(—оо)=1 и G(—оо) = 0.
Пусгь теперь G(4-co) —G(—сю) = оэ. Положим
Gn (х) =
G(x),
G(/z),
G (—/г).
| х | n,
x — n,
x = — n.
Определим на алгебре ad конечно-аддитивную меру pt0 так, что
p0(fl, l>] — G (£>) — G (а), и пусть —уже построенные (по тео-
j еме 1) счетно-аддитиЕные меры, соответствующие функциям Gn(x).
Очевидно, что на ad pi„ f pt0. Пусть теперь Alt Л2,	—непе-
ресекающпеся множества из ad и A=^^An^od. Тогда (зада-
ча 6 из § 1)
Po(As= У но (Л)-
п — 1
И если У, р.0(Л„) = оо, то |т0(Л) = У, р0 (Л„). Предположим
п = 1	п — 1
теперь, что 2р0(Л„) < оо. Тогда
р0(Л) = Итр„(Л) = Пт У (Л*).
п	п е= 1
Согласно сделанному предположению р0 (Л„) < оо. Поэтому
ЛтЙ- У, Ро(ЛА.) = lim У (МЛ/.,)-МАО) =<0,
*=i	п U=i
поскольку fl„s£;pi0.
Итак, a-конечная конечно-аддитивная мера рп является счетно-
аддитивной на ad, и, значит, (по теореме Каратсодори) она
может быть продолжена до счетно-аддитивной меры ц на o(sd).
Особо важен тот случай, когда G(x) = x. Отвечающая этой
обобщенной функции распределения мера Л называется мерой
Лебега на (R, e%)(R)). Как и в случае отрезка [0, 1] на число-
вой прямой R, вводится система лебеговских множеств S3 (R)
(Xei®(ft), если существуют борелевские множества А и В
такие, что А^А^В, Х(В\А)==0), для которых определяется
также лебеговская мера Л (Х(Л) = Л(Л), если .4сЛ = В, Ле
е^?(/?) иЛ(В\Л) = 0).
§ 3. ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
175
3.	Измеримое пространство (7?л, ей? (/?")). Как и в случае дей-
.ствительной прямой, предположим, что Р —некоторая вероят-
ностная мера на (Rn, <F3(Rn)).
Обозначим
Fn(xlt ..., хл) = Р((—оо, х1]х...Х(—оо, хл]),
или, в более компактной форме,
Fa (х) = Р (— со, х],
где х = (х1, ..., хп), (—со, х] = (—оо, хг]Х...Х(—со, хп].
Введем разностный оператор Да._ ь: Rn-*-R, действующий по
формуле (йг < bt)
bt Fп (Xj, . . . , Хл) = F п (Хц ... , X,_|, bit X;+j . . .)
F п (Xi, ..., X/-!, di, A',+1 • • •)
Простой подсчет показывает, что
Aa1fc1 .. . капЬпРп (хх... хл) = Р (а, 6],	(7)
где (a, £>] = (д^, &1]х...Х(о,л, Ьп]. Отсюда, в частности, видно,
что, в отличие от одномерного случая, вероятность Р (а, Ь], вообще
говоря, не равна разности Fn(b) — Fn{a).
Поскольку Р (а, 6]	0, то из (7) следует, что для любых
а = (а1...ал), b = (br... bn),
   ^nbnFa Ом, • • , хл) 2s 0.	(8)
Из непрерывности вероятности Р вытекает также, что функ-
ция ^„(Xj, ..., хп) непрерывна справа по совокупности перемен-
ных, т. е. если х(*> | х, xw = (х|*>, ..., х<*>), то
(xW) 4 Fn (х), k -> оо.	(9)
Ясно также, что
F«(-rco, •••» -}-оо) = 1	(10)
и
limF„(x1, .... хл) = 0,	(11)
* I и
если по крайней мере одна из координат у у принимает значе-
ние — оо.
Определение 2. Всякую функцию F = F„(x1 ...хл), удов-
летворяющую условиям (8) —(11), будем называть п-мерной функ-
цией распределения (в пространстве
Используя те же самые рассуждения, что и в теореме 1, можно
доказать справедливость следующего результата.
176
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Теорема 2. Пусть F — F„(x1, хп) — некоторая функция
распределения в Rn. Тогда на (Rn, Л (Rn')) существует и притом
единственная вероятностная мера Р такая, что
Р (a, ft] =	. ^nbFn (xt, х„).	(12)
Приведем некоторые примеры n-мерных функций распределения.
Пусть F1,..., F"- — одномерные функции распределения (на R) и
.....ХЛ)=Г!(Х1) ...^(Гя).
Ясно, что эта функция непрерывна справа и удовлетворяет усло-
виям (10), (11). Нетрудно проверить также, что
Afli6t ... ^anbFn (%!..хп) = j | [F* (bk) - Fk (а*)] Д- 0.
Следовательно, Fn(xlt ..., х„) — некоторая функция распределения.
Особо важен случай, когда
' о,
Fk (хк) =  х1г,
 1,
х*<0,
1,
Xk> 1.
В этом случае для всех 0 -С хк -С 1, k = 1, ..., п,
Fп (^1» • • • । Л'л) = Xi . . . Хп.
Соответствующую этой n-мерной функции распределения вероят-
ностную меру называют п-мерной мерой Лебега на [0, 1J".
Большой запас n-мерных функций распределения получается
в виде
*1 гп
Fп (Xi> • • •» хп) —	...	fп (/], ..., С) dty ... at п,
где fn(tlt ..., tn) — неотрицательные функции с
СО оо
§ • • *	fп (G» • • • >	... dt п = 1,
— со —со
а интегралы понимаются в смысле Римана (и в более общем
случае —в смысле Лебега). Функции f = fn(tx, ..., tn) называют
плотностями n-мерной функции распределения, n-мерной плот-
ностью распределения вероятностей, или просто n-мерными плот-
ностями.
В случае п = 1 функция
1	т>2
252  X^R’
§ 3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
177
с а>0 есть плотность (невырожденного) гауссовского, или нор-
мального распределения. Существуют естественные аналоги этой
плотности и в случае п>1.
Пусть R = JГу|| —некоторая неотрицательно определенная сим-
метрическая матрица порядка пхп:
ri/KJkj О, е R, i — 1, ..., п,
i. i=i
гн = rti
В том случае, когда R — положительно определенная матрица, ее
' R | = det R > 0, и, следовательно, определена обратная матрица
Л =В-
Тогда функция
/Л........(13)
(2П)
где ny^R, z = l, ..., п, обладает тем свойством, что интеграл
(Римана) от нее по всему пространству равен 1 (это будет дока-
зано в § 13) и, следовательно в силу ее положительности она
является плотностью.
Эта функция называется плотностью п-мерного (невырожден-
ного) гауссовского, или нормального распределения (с вектором
средних значений tn = (/nlt ..., тп)
и матрицей ковариаций К=Л~1).
В случае п — 2 плотность f.2 (лу,
х2) может быть приведена к виду
М*1- *2) =
1 ( 1
=--------------. ехр (--------X
2ло1а2 I' 1 — р- (	2(1—р2)
Рис. 28. Плотность двумерного
нормального распределения.
L
~	11	(14)
где о, > 0, | р [ < 1. (Смысл пара-
метров т,-, о,- и р будет объяснен
в § 8.) Приводимый рис. 28 дает представление о виде двумер-
ной гауссовской плотности.
Замечание. Как и в случае п — 1, теорема 2 допускает
обобщение на (аналогичным образом определяемые) меры Лебега —
Стилтьеса в (/?", a® (Rn)) и обобщенные функции распределения
в Rn. В том случае, когда обобщенная функция распределения
Gn (xL ... хп) равна xt ... х„, соответствующая мера называется
178
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
мерой Лебега на борелевских множествах пространства Rn. Ясно,
что для нее
Л (п, 7'] = ][ (bi — а,),
. = 1
т. е. мера Лебега «прямоугольника»
(п, b] — (а^, Ту] х  • * X (ап, Ьл]
равна его «объему».
4. Измеримое пространство (7?“, ^5(7?“)). В случае прост-
ранств Rn, и 5=1, вероятностные меры строились по следующей
схеме: сначала для элементарных множеств — прямоугольников
вида (а, Ь], затем естественным образом на множествах вида
Л =	Ь,] и, наконец, с помощью теоремы Каратеодори —на
множествах из <ffi (Rn).
Аналогичная схема построения вероятностных мер «работает»
и в случае пространства (Rr~°, ^(R^)).
Обозначим через
е7л (S) = {х е 7?°°: (х1( ..., .г„)еВ], B^<£3(Rn),
цилиндрическое множество в пространстве /?с0 с «основанием»
B<=TB(Rn). Как мы сейчас увидим, именно цилиндрические мно-
жества естественно считать теми элементарными множествами
в У?30, по значениям вероятностей которых определяется вероят-
ностная мера на множествах из е®(7?°°).
Пусть Р —некоторая вероятностная мера на (7?°°,	(7?33)).
Обозначим для п=1, 2, ...
Т’Л(7?) = Р(^Л(5)),	B^(R").	(15)
Последовательность вероятностных мер Ри Р2, ..., определен-
ных соответственно на (R, <PB(R)), (R2, cPS (R2)), ..., обладает сле-
дующим очевидным свойством согласованности: для любого
= 1, 2, ... и В
Pn+1(BxR) = Pn(B).	(16)
Весьма примечательно, что имеет место и обратный результат.
Теорема 3 (теорема Колмогорова о продолжении меры
в (7?°°, <^(7?°°)). Пусть Plt Р2, .. . — последовательность вероят-
ностных мер на (R, <=®(7?)), (R2, &B(R2)), ..., обладающих свой-
ством согласованности (16). Тогда существует и притом единст-
венная вероятностная мера Р на (рл, <=35 (7?3)) такая, что для
каждого п = 1, 2, ...
Р(^Л(В)) = Р„(Б), В^ЛЗт	(17)
§ 3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
179
Доказательство. Пусть Вп <= 333 (Rn) и с7„ (Вл) — цилиндр
с «основанием» Вп. Припишем этому цилиндру меру Р (а7л (В'1)),
полагая Р (s7„ (В")) = Р„ (В").
Покажем, что в силу условия согласованности такое опреде-
ление является корректным, т. е. значение В (э^„ (Вп)) не зависит
от способа представления цилиндрического множества е7„(В'г).
В самом деле, пусть один и тот же цилиндр представлен двумя
способами:
(Вп) = <37n+k(Bn+,t).
Отсюда следует, что если (хр ..., xn^k) е Rn+k, то
(х1( ..., хп) е= Вп о (хх, х„т/г) <= Вп+к,	(18)
и, значит, в силу (16) и (18)
Рп (Вл) = Р„+1 ((хъ ..., хп^): (хх, .... с) = В’) = ...=
= Вn+k ((-И, • • • , Xn-k) • (д» • • • > Хп) В-) =
= Р„+А,(В^).
Обозначим (Р30) совокупность всех цилиндрических мно-
жеств Вп = 337 п (Вп), Вп <= 333 (Rn), п=1, 2, ...
Пусть теперь Вх, ..., В/г — непересекающиеся множества из
(В30). Без ограничения общности можно считать, что все они
таковы, что для некоторого п В[ = 33Jп[ВТ), 1 = 1, ..., k, где
В", ..., В* — непересекающиеся множества из Д?(В”). Тогда
pi 2 bJ = pJ	^Bt\= £р„(в?) = £р(в(),
T=1	!	>1=1	>1=1	/	1 = 1	1=1
т. e. функция множеств P конечно-аддитивна на алгебре '-Z(Ar/j.
Покажем, что Р непрерывна в «нуле», т. е. если последова-
тельность множеств Вл|0, п->оо, то Р(В„)->0, п->со. Пред-
положим противное, т. е. пусть lim Р (Вп) = 6 > 0. Без ограниче-
п
ния общности можно считать, что последовательность {В„} такова,
что
Вп = {х: (хх, .... x.jeB,,}, Bn^33ARn).
Воспользуемся следующим свойством (см. задачу 9) вероятност-
ных мер Рп на (Rn, S3 (Rn)): если Вп ^3 (Rn), то для заданного
6>»0 можно найти такой компакт Ап 333 (Rn), что А„ Вп и
Рп(Вп\Ап)^д/2^.
Поэтому, если
Лл = {х: (хх, хп)е=Ап},
180
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
ГО
Р (Вп \ Ап) = Рп (Вп \ Ап) -с 6/2лН.
Образуем множество Сп = Q Ак, и пусть Сп таковы, что
4 = 1
Сп — {х.	, . . . , Хп) ЕЕ С\}.
Тогда, учитывая, что мпожешва Вп убывают, находим
Р(В„\СЛ)^2 Р(Вп\Ак)^ %Р(Вк\Ак)^8/2.
4 = 1	4 = 1
Но по предположению lim Р (В„) = 6> 0, значит, limP(C„)>'
п	п
5э6/2>0. Покажем, что это противоречит тому, что
Действительно, выберем в множествах Сп по точке х(п'> =
= (xjra), х*\ ...)• Тогда для каждого (x{f\ ..., х!/’) (= Сп.
Пусть (nA — некоторая подпоследовательность последователь-
ности (п) такая, что х’/11’—>xj, где xj —некоторая точка в C\.
(Такая подпоследовательность существует, поскольку все х^ еС.,
а Сг — компакт). Из последовательности (nJ выберем подпоследо-
вательность (п2) такую, что х<Л2,)->-(х^ Т)еС2. Аналогич-
ным образом пусть (x^\..., х^) ->• (х®, ..., xJ)eCj. Обра-
зуем, наконец, диагональную последовательность (тк), где тк
есть й-й член в последовательности (л*). Тогда для любого i -~=
= 1, 2, ... х((т*)-> х? при т/;->со, причем точка (х®, х®, ...)е
еС„ для любого п—1, 2, ..., что, очевидно, противоречит пред-
положению о том, что Сп\ф, п-+оо. Теорема доказана.
Замечание. В рассмотренном сейчас случае пространство
есть счетное произведение прямых, Rco = RxRx... Естест-
венно поставить вопрос о том, а верна ли теорема 3 для случая,
когда вместо (Д°°, <=$§(/?“)) берется прямое произведение измери-
мых пространств (Qz, еУ,), i — 1, 2, ...
В приведенном выше доказательстве можно усмотреть, что
единственное свойство числовой прямой топологического харак-
тера, которое было существенно использовано, состояло в том,
что в любом множестве из Ь'А(/?Л) можно найти компакт, вероят-
ностная мера которого сколь угодно близка к вероятностной мере
этого множества. Известно, однако, что это свойство присуще не
только пространствам (Rn, P/j(Rn)j, но и любым полным сепара-
бельным метрическим пространствам с а-алгебрами, порожденными
открытыми множествами.
§ 3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
181
Таким образом, теорема 3 остается справедливой, если счи-
тать, что /\, Рг, ... — последовательность согласованных вероят-
ностных мер на (Qlt s/J, (й2хй2,	.... где (й,, аР,)—
поли ые сепарабельные метрические пространства с о-алгсбрами
</,, порожденными открытыми множествами, а вместо (/?",
рассмотреть пространство (t^X^X..., аР] гР2 ® • • •)•
В § 9 (теорема 2) будет показано, что результат теоремы 3
также остается справедливым и в случае произвольных измери-
мых пространств (Q,-, аР,), если меры Рп сконструированы неко-
торым специальным образом. В общем же случае (без каких-либо
предположений топологического характера о структуре рассмат-
риваемых измеримых пространств или о структуре семейства мер
{Р„}) теорема 3 может быть и кеьерна, что показывает следующий
пример.
Рассмотрим пространство Q = (0, 1], которое, очевидно, не
является полным, и построим в нем последовательность о-алгебр
по следующей схеме. Пусть для всех п=1, 2, ...
ф« (со) =
1, 0 < со < 1/п,
О, l/nsgcosC 1,
гё’п = {А е2: Л = {со: фх'со) еВ'-, B^P(R)}
и г7'„ = о{^’1, ..., п} — наименьшая cr-алгебра, содержащая
системы множеств 2® ...,	„. Ясно, что Jj£/2s... Пусть
еУ = а ( U гГ„) — наименьшая о-алгебра, содержащая все -Р п. Рас-
смотрим измеримое пространство (Q, ,Р А и определим на нем
вероятностную меру Рп следующим образом:
„ ,	(1, если (1, ..., I) се Вп,
Рп{(1У. (фх (со), .... <рл (со)) е Вп] = {
(Ов противном случае,
где Bnt=P3(Rn). Нетрудно убедиться в том, что семейство мер
\Рп} является согласованным: если Лее,, то Рп+1 (А) = Р„ (Л).
Можно, однако, утверждать, что на (Q, sF) не существует веро-
ятностной меры Р такой, чтобы ее сужение Р | -Р(т. е. мера
Р, рассматриваемая лишь на множествах из <р"п) совпадало с Рп,
п=1, 2, ... В самом деле, допустим, что такая вероятностная
мера Р существует. Тогда
Р {со: ф1(со) = ... = ф„(со) = 1} = Р„{со: ф1(со)=... = ф„(со) = 1}= 1 ч
(19)
для любого п=1, 2, ... Но
{со: (со) = .. . = ф„ (со) = 1} = (0, 1/п)|0,
что противоречит (19) и предположению о счетной аддитивности
(а значит, и непрерывности в «нуле» ф) функции множеств Р.
182
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Приведем теперь пример вероятностной меры в еУ(7?П).
Пусть Fx(x), F2(x), ... — последовательность одномерных функций
распределения. Определим функции G(x) = Fy(x), G2(x1, х2) =
= Fx (хх) F2 (x2) , ... и соответствующие им вероятностные меры на
(R, У® (/?)), (R2, <Й?(Л?2)), ... обозначим Рх, Р2, ... Тогда из тео-
ремы 3 следует, что в (Rx, FB (Rd) существует такая мера Р, что
P{xeeR/: (хх, ..., х„) В} = Рп(В), Вов ПНР’1)
и, в частности,
P{xe/<: хх^ях, ..., луг<:«„} = F, ... F„(an).
Возьмем в качестве F, (х) — бернуллиевское распределение:
Fdx) =
q, ОеЕх< 1,
X^s 1
Тогда можно утверждать, что в пространстве Q всех числовых
последовательностей х=(хХ) х2, ...), х; = 0, 1, с о-алгеброй его
борелевских подмножеств существует вероятностная мера Р такая,
что для любого
Р {х: х1 = «1, ..., хп = ап} = pLaiqri~^a‘.
Заметим, что именно этого результата нам не хватало в первой
главе, чтобы сформулировать закон больших чисел в форме (1.5.8).
5. Измеримые пространства {RT, <£B(RT)). Пусть 7 —произ-
вольное множество индексов /еТ и /^ — числовая прямая, соот-
ветствующая индексу /. Рассмотрим произвольный конечный
неупорядоченный набор т = [/х, ..., /„] различных индексов
tj^T, п'^1, и пусть Рх — вероятностная мера на (7?т, &B(RX))
с Rr = Rtix...xRtn.
Будем говорить, что семейство вероятностных мер {Pt}, где т
пробегает множество всех конечных неупорядоченных наборов,
является согласованным, если для любых наборов т = [/х, ...,
и cr = [sI, ..., 8/г] таких, что нет
Pv {(л\....xSk): (xSi, ..., xSft) 6= В} =
= PT{(x/x, ..., xzJ:(xSi, .... xSk) ее B} (20)
для любого В e (Ra).
Теорема 4 (теорема Колмогорова о продолжении
меры в (RT, е® (/?г)). Пусть {Р х} — семейство согласованных ве-
роятностных мер на (R.\ <£B(RX)). Тогда существует и притом
единственная вероятностная мера Р на (RT, <£B(Rr)) такая, что
P{xsBH (xZj.......4)sB} = P[Zi....../л](В)	(21)
§3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
183
для всех неупорядоченных наборов т = [/1; ..., tn\ различных индек-
сов ti(=T и В (= ХА (Rx).
Доказательство. Пусть множество Веа%’(7?г). Согласно
теореме из § 2 найдется такое счетное множество S = {«j, s2, ...} s
<= т, что В <= ХА (Rs), где Rs = 7?S1 xRs? X...
На множествах Bs=XB(RT) определим функцию (множеств)
Р, полагая
P(B) — PS(B),	(22)
где Ps- та вероятностная мера, существование которой гаранти-
руется теоремой 3. Мы утверждаем, что Р — именно та мера,
существование которой утверждается в теореме. С этой целью
надо, во-первых, проверить, что определение (22) корректно, т. е.
приводит к одному и тому же значению Р (В) при разных спосо-
бах представления множества В, и, во-вторых, что эта функция
множеств счетно-аддитивна.
Итак, пусть B<=XA(RSl) и B =	Ясно, что тогда В =
е ХВ (/?SiUlSz)> и поэтому достаточно показать, что если SsS',
В е <хЗ (Rs), то Ps (В) = Ps- {В). Но (Rs) s е® (Rs') и на множе-
ствах В вида
B = {x<=Rs‘. (xSi, ..., xS/t)^A}, A<=XB(Rk),
меры Ps(B) и Ps' (В) совпадают в силу условия согласованности.
Поэтому в силу теоремы 3 они совпадают и для всех множеств
В XX (Rs), что и доказывает корректность определения Р (В).
Пусть теперь {/?„} —некоторая последовательность попарно
непсресекающихся множеств из XB(RT). Тогда найдется такое
счетное множество S^T, что для любого п B,t ед х; (Rs). Тогда
поскольку Ps — вероятностные меры, то
Р (2 Вп) = Ps (v в„) = £PS (Вп) = V Р (В„).
Теорема доказана.
Замечание 1. Подчеркнем, что Т — любое множество индек-
сов. При этом в силу замечания к теореме 3 настоящая теорема
сстается в силе, если вместо числовых прямых Rt рассматривать
любые полные сепарабельные метрические пространства (с
о-алгебрами, порожденными открытыми множествами).
Замечание 2. Исходное семейство вероятностных мер {Рх}
предполагалось заданным для всех неупорядоченных наборов т —
= [^i, .  •, tn\ различных индексов. Иногда в качестве исходного
берут семейство вероятностных мер{/\}, где т пробегает множе-
ство всех упорядоченных наборов т=(/1( ..., tn) различных ин-
дексов. В этом случае для справедливости теоремы 4 к условию
18-1
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
(20) надо тогда добавить еще одно условие согласованности’.
Ру......tл (Л/ х...х == Ру. ,... ,t. i (А< х.. .X At }	(23)
el П) \ l	П/ \ q	|/i \ *1	гп /*
где (i\, ..., in) — произвольная перестановка чисел (1,	и),
Л/( ед	очевидность которого как необходимого условия
существования вероятностной меры Р следует из (21) (с заменой
Р[ч. . , tn] (В) на ...>ч)	(В)).
В дальнейшем мы всегда будем предполагать, что рассматри-
ваемые наборы т являются неупорядоченными. Если Т — мшжс-
ство на числовой прямой (или некоторое вполне упорядоченнее
мясжество), то без ограничения общности межно считать, что
рассматриваемые наборы т — [?,, Сг] таковы, что tx<Zt-2<Z- .
...<tn. Таким образом, все «конечномерные», вероятности доста-
точно задавать лишь для таких наборов x =	/„], кото-
рых tx<.t.2<...<tn.
Рассмотрим сейчас тот случай, когда 7' = [0, оо). В этом слу-
чае RT есть пространство всех действительных функций х =
= (х,р2>о- Важным примером вероятностной меры на
рр (рщ «))) является так называемая вииеровская мера, строящаяся
следующим образом.
Рассмотрим семейство {<р, (у j x)}t^о гауссовских плотностей (по
у при фиксированном х)
Ф/(1/!х) = -7|де~<,у“":)г/2'’ У^Р’
У 2л/
и определим для каждого набора т = [^, ..., /„], tx < t2 •< ... <; tn
и множества В = /1Х...Х/П, 1ь = (ак, Ьк), меру РХ(В) по формуле
Л(Лх...х/л) =
= 5 ••• $ Фо («т '°) Фо-о («2 > а1)---Ф^-/л_1 (an\an_i)da1...dan (24)
б 'П
(интегрирование понимается в смысле Римана). Затем для каж-
дого цилиндрического множества г (/2Х.. .X /л) = {х е RT:
х( еД, ..., xtn^I„} определим функцию множеств Р, полагая
Р ... tn (/i X.. .X /«)) =	... /л] (/iX...X In).
Наглядный смысл такого способа приписывания меры цилиндри-
ческому множеству .../п (^X.. .X/га) состоит в следующем.
Множество е7/1... t (Л X.. .X In) — эго множество всех функций,
проходящих в моменты tx, ..., tn через «окна» 1Х, ..., 1П
(см. рис. 24 § 2). Будем инте претировать ф^-/^ г («* | a*-i) как
вероятность того, что частица, выходящая из точки дл_х за время
§ 3 ЗАДАНИЯ ВЕРОЯТНОСТНЫХ МЕР
185
/(г —//,_1 попадет в окрестность точки ak. Тогда то, что в (24)
рассматривается произведение плотностей, означает определенную
независимость приращений смещений движущейся «частицы» на
интервалах времени [0, /,], [/ь /2]....М-
Так построенное семейство мер {Рт} является, как нетрудно
проверить, согласованным и, следовательно, может быть продол-
жено до меры на (F?l°,cc>,	(R1,9, сс))). Полученная таким образом
мера играет важную роль в теории вероятностей. Эта мера была
введена Н. Винером и называется винеровской мерой.
6. Задачи.
1.	Пусть F (х) = Р (—со, х]. Показать справедливость следую-
щих формул:
Р (a, b] = F (b) — F (а),	Р (a, b) — F (Ь— F (а),
Р[а, b] = F (b) — F (а—),	Р [а, Ь) = F (b—) — F (а —),
Р {х} = F (х) - F (х —
где F (х—) = limF(y).
и Щ
2.	Убедиться в справедливости формулы (7).
3.	Провести доказательство теоремы 2.
4.	Показать, что функция распределения F = F(x) на R имеет
не более чем счетное число точек разрыва. Справедлив ли соот-
ветствующий результат для функций распределения в /?"?
5.	Показать, что каждая из функций
G (х, у) = [х-f-//] — целая часть х-{-у,
является непрерывной справа, возрастающей по каждой перемен-
ной, но не является (обобщенной) функцией распределения в R2.
6.	Пусть ц —мера Лебега— Стилтьеса, отвечающая непрерыв-
ной обобщенной функции распределения. Показать, что если мно-
жество А не более чем счетно, то ц(Л)=0.
7.	Пусть с—-мощность континуума. Показать, что мощность
борелевских множеств в Rn равна с, а лебеговских — 2е.
8.	Пусть (Q, eF, Р) — некоторое вероятностное пространство и
о/ —алгебра подмножеств Q такая, что о(&/) = 9/'. Используя
принцип подходящих множеств, доказать, что для всякого е>0
и В e -F можно найти такое множество А е аФ", что
Р (А д В) -Д 8.
9.	Пусть Р — вероятностная мера в (Rn, <S3(Rn)). Используя
задачу 8, доказать, что для всякого е>0 и B^<£3(Rn) можно
186
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
найти такой компакт <4eJ (Rn), что A s В и
Р(В\ Л)<е.
(Этот результат используется в доказательстве теоремы 1.)
10.	Проверить согласованность мер, задаваемых формулами (21).
§ 4. Случайные величины. I
1.	Пусть . (Q, <Л) — некоторое измеримое пространство и
(/?, а® (7?)) — числовая прямая с системой борелевских множеств
ЭД.
Определение I. Действительная функция £ = £(со), опре-
деленная на (Q, а^), называется S -измеримой функцией или
случайной величиной, если для любого
{со: Нсо) ед В} ее ,	(1)
или, что то же самое, если прообраз g-1(B) = {<o: g (со) ей) явля-
ется измеримым множеством в Q.
В том случае, когда (Q, а7) = (Д'г, ^3(7?л)), S3 (Дл)-измеримые
функции называют борелевскими.
Простейшим примером случайной величины является индика-
тор Уд (со) любого (измеримого) множества ,4е/.
Случайная величина g, представимая в виде
Uo>)= 2^Ц(со),	(2)
С=1
где £Л; = П, Ai^a7, будет называться дискретной. Если же
в (2) сумма конечна, то такая случайная величина будет назы-
ваться простой.
Следуя той же интерпретации, что и в § 4 главы I, можно
сказать, что случайная величина есть некотораяJчисловая харак-
теристика эксперимента, значения которой зависят от «случая» со.
При этом требование измеримости (1) важно, и вот по какой
причине. Если на (Й, S) задана вероятностная мера Р, то тогда
имеет смысл говорить о вероятности события {со: g (со) е В},
состоящего в том, что значения случайной величины принадлежат
некоторому борелевскому множеству В.
В этой связи дадим такое
Определение 2. Вероятностная мера Р-. на (Д, S3 (R)) с
А(Д = Р{со: £(со)еВ}, B^S3(R),
называется распределением вероятностей случайной величины 2 на
(R, S! (/?)).
<$ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. I
187
Определение 3. Функция
F£(x) = P(cd: g (со) г}, хе/?,
называется функцией распределения случайной величины
Для дискретной случайной величины мера Р*. сосредоточена
не более чем в счетном числе точек и может быть представлена
в виде
^(^)= S Р^,	(3)
{A: xkeB}
где р (хД == р {S = X*} = AF-. (хД.
Очевидно, что верно и обратное: если А представимо в виде
(3), то £ является дискретной случайной величиной.
Случайная величина g называется непрерывной, если ее функ-
ция распределения Fj (х) непрерывна по .се/?.
Случайная величина £ называется абсолютно непрерывной,
если существует неотрицательная функция /=Д(х), называемая
плотностью, такая, что
Fl W = $ h (У) ЛУ’ xeeR,	(4)
— 00
(интеграл понимается в смысле Римана, а в более общем слу-
чае—в смысле Лебега;..см. далее § 6).
2.	Установление того, что некоторая функция | = £(<о) явля-
ется случайной величиной, требует проверки выполнимости свой-
ства (1) для всех множеств В ДР Следующая лемма показывает,
что класс таких «пробных» множеств может быть сужен.
Лемма 1. Пусть % — некоторая система множеств такая,
что о (S) = && (/?). Для того чтобы некоторая функция | = £(со)
была &-измеримой, необходимо и достаточно, чтобы
{со: g (со) (= Е} <= eF	(5)
для всех Е eg,
Доказательство. Необходимость очевидна. Для доказа-
тельства достаточности опять воспользуемся принципом подходя-
щих множеств.
Пусть ^ — система тех борелевских множеств D из <=$$(/?),
для которых tE1 (ГД е Операция «взятия прообраза» сохра-
няет, как нетрудно проверить теоретико-множественные операции
объединения, пересечения и дополнения:
\ а /	а
Г1 ffl ва\ = П	(5а),	(6)
188
ГЛ II MVTEM МИЧГСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Отсюда следует, что система дД является о-алгеброй. Значит,
f ?= д;(Р)
и
o(g)Ea(^) = ^s^(^).
Но <x(S) — T3(R), следовательно, & — JB(R).
Следствие. Для того чтобы {; = £(«) была случайной вели-
чиной, необходимо и достаточно, чтобы для любых х <= Д
{со: S, (со) <7 A'} GE о?",
или
{со: £ (со) -Сх) СЕ -Д.
Доказательство сразу следует из того, что каждая из систем
множес гв
Si = {х: х < с, с ,= Д],
S2 — {х: х<с, се Д}
порождает о-алгебру <Й?(Д), о (S2) = ст (S.2) = -Д (Д) (см. § 2).
Приводимая ниже лемма дает возможность конструирования
случайных величин как функций от других случайных величин.
Лемма 2. Пусть ср ~tp (х) — борелевская функция, a g = g (&>; -—
случайная величина. Тогда сложная функция т] = ср »£, т. е. функ-
ция т] (со) = ф (£ (со)), является также случайной величиной.
Доказательство следует из того, что для В е Дг? (Д)
{со: г| (со) (= В} = {со: ср (£ (со)) е= В} = {со: £ (со) ее ф1 (В)} (=	(7)
поскольку ф~г (В) ТВ (Д).
Таким образом, если g —случайная величина, то такие функ-
ции, как, скажем, £", £+ = max(s, 0),	— min(H, 0), |£|
также являются случайными величинами, поскольку функции хп,
х+, х-, |х| являются борелевскими (задача 4).
3.	Отправляясь от заданной системы случайных величин {£„},
можно из них строить новые функции, например V |ЕЙ|, lim
< = 1
Нт|л и т. д. Заметим, что эти функции принимают свои значе-
ния, вообще говоря, уже в расширенной числовой прямой Д =
= [—сю, оо]. Поэтому целесообразно несколько расширить класс
^-измеримых функций, допуская, чтобы они принимали также
значения ± со.
Определение 4. Функция £ = £(со), определенная на (Q, аГ)
и принимающая значения в Д=[—со, оо], будет называться рас-
ширенной случайной величиной, если для любого борелевского
множества В = Д(/?) выполнено условие (1).
5 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ I
18Э
Следующая теорема, несмотря на ее простоту, является клю-
чевой при построении интеграла Лебега (§ 6).
Теорема 1. а) Для любой (в том числе и расширенной) слу-
чайной величины Н = £(со) найдется последовательность простые
случайных величин Е1, 12, ... таких, что j Zn {eg g и (co) 5 (co),
n co, для всех co e Й.
b) Если к тому же Н(со)^0, то найдется последовательность
простых случайных величин Е2, ... таких, что ln (со) { Н (со),
fi-o-oo, для всех соей.
Доказательство. Начнем с доказательства второго утвер-
ждения. Положим для п= 1, 2, ...
п‘2п
/	9^~~ I [k-\	*1 (®)	(СО).
£ (бй <Е — >
k-M	I 2Л %гъ( ’	2")
Непосредственно проверяется, что построенная последовательность
Е,(со) такова, что tn (со) f | (со) для всех соей. Из этого утвер-
ждения вытекает также справедливость первого утверждения, если
только заметить, что Н может быть представлена в виде £ = —
— Н~. Теорема доказана.
Покажем теперь, что класс расширенных случайных величин
замкнут относительно'поточечной сходимости. С этой целью заме-
тим прежде всего, что если Е1; £2, ... — последовательность расши-
ренных случайных величин, то функции sup tn, inf^, limg„ и
lim tn также являются случайными величинами (быть может, рас-
ширенными). Следует это непосредственно из того, что
{со: sup £„ > х}= [J {со: tny> х} ел Д',
п
{со: infL<-4= J {со: с„<х}е.сД
п
И limв» = inf sup lm, limS„ = sup inf gm.
n ii	n m^n
Теорема 2. Пусть E1; ё2, ... — последовательность расширен-
ных случайных величин и Н (со) = lim (со). Тогда £ (со) также яв-
ляется расширенной случайной величиной.
Доказательство сразу следует из сделанного выше заме-
чания и того, что
{со: £ (со) <х} = {со: lim (со) <х} =
= {со: lim tn (со) = lim (со)} f) {lim cn (co) < x}=,
= Й П {lim in (co) <Zx} = {lim %n (a) <x} e ,
190
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
4.	Остановимся еще на некоторых свойствах простейших
функций от случайных величин, рассматриваемых на измеримом
пространстве (О, и принимающих, быть может, значения
в расширенной числовой прямой Я = [—с», со]*).
Если g и 1] — две случайные величины, то ё — 1Ъ (ф и
E/ц также являются случайными величинами ^в предположении,
что они определены, т. е. не возникает неопределенностей типа
со а\
со — со,---,	.
со 0)
В самом деле, пусть {Sn} и {•>]„} — последовательности случай-
ных величин, сходящиеся к g и i] (см. теорему 1). Тсгда
± Tj„ -> £ ± Т|,
7{л„=0}(ш)
Каждая из функций в левых частях этих соотношений являе:ся
простой случайной величиной. Поэтому в силу теоремы 2 пре-
дельные функции g±r], и Н/т) также являются случайными
величинами.
5.	Пусть Е —случайная величина. Рассмотрим множества из aF
вида {«: llojefi},	Наименьшую о-алгебру, поро-
жденную такими множествами, называют я-алгеброй, порожденной
случайной величиной Е. Будем ее обозначать ДД.
Если <р —некоторая борелсвская функция, то из леммы 2 сле-
дует, что функция f] = <p.g также является случайной величиной,
причем eF^-измеримой, т. е. такой, что {со: т] (со) е В} е cF^, В s
е->?(/?) (см. (7)). Сказывается, что справедлив и обратный
результат.
Теорема 3. Пусть г\—^-измеримая случайная величина.
Тогда найдется такая борелсвская функция ср, что т) = ф«£, т. е.
для каждого шей а] (со) = ср (g (со)).
Доказательство. П)сть Ф —класс всех еГ^-измеримых
функций т] = т](со), а Ф^ —класс eF^-измеримых функций, предста-
вимых в виде ср • где ср —некоторая борелевская функция. Ясно,
что <= Ф^. Утверждение теоремы состоит в том, что на самом
деле Фр = Фе.
*) В дальнейшем принимаются обычные соглашения относительно арифме-
тических операций в R: если аеР, то ащсо = Д:оо, —Д—-=0; а-оэ = оэ,
если а>0 и Я'СО =—со, если а<0, 0-(цоо) = 0, со-[-ос = оэ, —
§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. I
191
Пусть A s и I] (со) == 1А (со). Покажем, что т| = Ф|. Действи-
тельно, если А <= of j, то найдется В е Д' (7?) такое, что А =
— {со: £ (со) е В}. Обозначим
( 1, х е В,
Ха(х)=| 0(
Тогда /л (со) =/с (с (w)) еЕ Фг. Отсюда следует, что и любая про-
п
стая ef ^-измеримая функция ^с^ л. (со), Л^еД^, также принад-
1 = 1
лежит классу Фг.
Пусть теперь т| — произвольная «f^-измеримая функция. По
теореме 1 найдется последовательность простых ^-измеримых
функций {гЦ таких, что т|„ (со) -> г] (со), n->oo, соей. Как только
что было установлено, существуют такие борелевские функции
фп = фл(х), что Т|я(со) = ф„(^(со)). При ЭТОМ <рл (g (со)) -+ Г] (со),
П —>- СО, 01 Е Ц.
Обозначим B={x^R\ limcp4(x) существует}. Это множество
и
является борелевским. Поэтому функция
/ lim срл (х), х е В,
<₽(*)={ п
I 0, х В
также является борелевской (см. задачу 7).
Но тогда, очевидно, т] (со)= lim <p„ (£ (со)) = <р (2 (со)) для всех
п
соей. Следовательно, Ф^ = Ф5.
6.	Рассмотрим вероятностное пространство (Й, Д', Р), в кото-
ром о-алгебра Д' порождается некоторым конечным или счетным
разбиением & = {Dit D2, ...}, УДД- = Й, P(D,)>0. Будем при
этом предполагать, что Dt являются атомами относительно меры Р,
т. е. если A s Dh А е Д', то или Р (Л) = 0 или Р (П;\Л) = 0.
Лемма 3. Пусть £ — -измеримая функция, где = о (^).
Тогда g постоянна на атомах разбиения, т, е. g представима
в виде
£(“)= У xkID (а)	(Р-п. н.).	(8)
k = \
(Запись «^ = г| (Р-п. н.)» означает, что Р (£^г]) = 0.)
Доказательство. Пусть D — атом- разбиения относительно
меры Р. Покажем, что на этом множестве случайная величина §
(Р-п. н.) постоянна, т. е. Р {D П (g =£ const)}= 0.
Обозначим К = sup ‘xeR: Р {D f| (£ <х)} = 0}. Тогда
Р{ПП(^<^)}=Р
г<К
-г—рационально
= 0,
192
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
поскольку, если Р {D Q (g <;%)} = 0, то и Р {D ["] (g < у)’= 0 для
всех у х.
П)сгь х>К, тогда Р{£> П (£<*)}> О и, значит, Р {D Q (g л==х)} = О,
поскольку D — атом. Поэтому
Итак,
Р{ОПЙ>К)}-Р
U {и е D:	— 0.
г>К
г — рационально
Р{ППС5>К)}=Р{ОП^<К)} = 0
и, значит, Р (D П (g = 0.
Общее утверждение (8) следует отсюда в силу того, что
££>( = Q. Лемма доказана.
7.	Задачи.
1.	Показать, что случайная величина £ непрерывна, если и
только если P(g = x) = 0 для всех x?~R.
2.	Если |g| является /"-измеримой, то верно ли, что £ также
«/-измерима?
3.	Показать, что функция g = g(co) является расширенной слу-
чайной величиной тогда и только тогда, когда {со: с1й)еВ[Е/
для всех В <= Si (R).
4.	Доказать, что функции х", х+ = шах(х, 0), г= — min (х, 0),
|х|=х+ + х" являются борелевскими.
5.	Если g и q — ./'-измеримы, то {со: £ (со) = т] (со)} е </".
6.	Пусть g и г] — две случайные величины на (Q, /") и мно-
жество А ед /". Тогда функция
С (со) = (со) • /л Н-Т] (со)
также является случайной величиной.
7.	Пусть ...,	—случайные величины и ф(хп ..., хл)—
борслевская функция. Показать, что функция ф^^со), ..., g„(co))
также является случайной величиной.
8.	Пусть £ и Г| —две случайные величины, принимающие зна-
чения 1, 2, ..., N. Предположим, что = Показать, что
существует такая перестановка («{, /2, •••> Cv) чисел (1, 2, ..., Ад,
что для каждого /=1, 2, ..., N {со: £ = /’} = {со: т| —(/}.
§ 5. Случайные элементы
1.	Наряду со случайными величинами в теории вероятностей
и ее приложениях 'рассматривают случайные объекты более общей
природы, например случайные «точки», векторы, функции, про-
цессы, поля, множества, меры и т. д. В связи с этим желательно
иметь понятие случайного объекта произвольной природы.
§ 5. СЛУЧАЙНЫЕ элементы
193
Определение 1. Пусть (П,^) и (Е,&)—два измеримых про-
странства. Будем говорить, что функция X = Х(со), определен-
ная на Q и принимающая значения в Е, есть /^-измеримая
функция, или случайный элемент (со значениями в Е), если для
любого В е
{со: X (со) е В} <= .	(1)
Иногда случайные элементы (со значениями в Е) называют также
В-значными случайными величинами.
Рассмотрим частные случаи этого определения.
Если (В, Ж)=(7?, е® (/?)), то определение случайного элемента
совпадает с определением случайной величины (§ 4).
Пусть (В, %)=(Rn, 333 (R'1')). Тогда случайный элемент X (со)
есть «случайная точка» в Rn. Если л* — проекция Rn на k-ю коор-
динатную ось, то X (со) можно представить в виде
X (co)=(^j (со),	(со)),	(2)
где gft==nft.X.
Из условия (1) вытекает, что ^ — обычные случайные вели-
чины. Действительно, для любого Вей(В;
{со: gft(co)sB} =
= {со: ^(со)е/?.....tkf=B,	...}=
— {со: X (со) е (Дх.. .хRxBxRx.. .XR)} <= ,
поскольку множество Rx.. .X RxBxRx.. .X R e (Rn).
Определение 2. Всякий упорядоченный набор случайных
величин (тц (со), ..., ц, (со)) будем называть п-мерным случайным,
вектором.
В соответствии с этим определением всякий случайный эле-
мент X (со) со значениями в Rn является «-мерным случайным
вектором. Справедливо и обратное: всякий случайный вектор
X (со) = (^1 (со).£п(®)) есть случайный элемент в Rn. Действи-
тельно, если Bk<=<E3(R}, k=\, ..., п, то
{со: X (со) е (В1X.. ,XBn)}= || {со: (со) е В*} е Д".
fc=i
Но наименьшая о-алгебра, содержащая множества В1х...хВп,
совпадает с 333 (Rn). Тогда из очевидного обобщения леммы 1 из
§ 3 сразу получаем, что для любого Be 333 (Rn) множество
{со: X (со) е В} принадлежит 3F.
Пусть (В, g)=(Z, cS§(Z)), где Z—множество комплексных
чисел z = x-\-iy, к, y^R, а Д? (Z) — наименьшая cr-алгебра, содер-
жащая множества вида {г: z = x-\-iy, a1<x^bl, a2<zy^b2}.
Из предыдущего рассмотрения следует, что комплекснозначная слу-
чайная величина Z (от) представляется в виде Z (со) = X (со)-|-/Т(со),
1Э4
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
где X (®) и У (со) — случайные величины. Поэтому Z (со) называют
также комплексными случайными величинами.
Пусть (Е, &) = (А!Г, а®(АД))> где Т — некоторое подмножество
числовой прямой. В этом случае всякий случайный элемент X =
= X (со), представимый, очевидно, в виде X = (^)ieT с =
называют случайной функцией с временным интервалом Т.
Так же как и для случайных векторов, устанавливается, что
всякая случайная функция является в то же самое время слу-
чайным процессом в смысле следующего определения.
Определение 3. Пусть Т — некоторое подмножество число-
вой прямой. Совокупность случайных величин X = (cz)/s т называ-
ется случайным процессом с временным интервалом Т.
Если Т = {1, 2, ...}, то Х = (с1, Ег, ...) называют случайным
процессом с дискретным временем или случайной последователь-
ностью.
Если Т = [0, 1], (—оо.оо), [0, со),..., X = (Sz)/er называют
случайным процессом с непрерывным, временем.
Используя структуру а-алгебр <Pd(RT)(§ 2), нетрудно показать,
что всякий случайный процесс X = (£/)/<= т (в смысле определения 3)
является в то же самое время случайной функцией пространства
(RT, M(RT)).
Определение 4. Пусть Х = (£z) Т —случайный процесс.
Для каждого фиксированного соей функция (|Дсо));е=т называ-
ется реализацией или траекторией процесса, соответствующей
исходу со.
По аналогии с определением 2 § 4 естественно следующее
Определение 5. Пусть X = (gz)tsг — случайный процесс.
Вероятностная мера Рх на (АД, <£3(Rr)) с
Ех(5) = Р{со: Х(со)еВ},
называется распределением вероятностей процесса X. Вероятности
Л,................../л(В) = Р{со: (Ц...уеВ}
с < 4 <... < tn, , называются конечномерными вероятнос-
тями (или распределениями вероятностей). Функции
...tn(x1, .... х„)==Р{со: Ц	Ъп^хп}
с	. .<tn, ti ~Т, называются конечномерными функциями
распределения.
Пусть (Е, g) = (C, &0(С)), где С — пространство непрерывных
функций x — (Xt)t^T на Г = [0, 1] с а-алгеброй <^0(С), порожден-
ной открытыми множествами (§ 2). Покажем, что всякий случай-
ный элемент X пространства (С, <£Ий (С)) есть в то же самое время
случайный процесс с непрерывными траекториями в смысле опре-
деления 3.
§ 5 СЛУЧАЙНЫЕ элементы
195
В самом деле, согласно § 2 множество Л = {хе С: xt < а} есть
открытое множество в &30 (С). Поэтому
{со: It (со) < а} = {со: А'(о) е <4j s -7.
С другой стороны, пусть X =	((о))ц=т есть случайный про-
цесс (в смысле определения 3), траектории которого при каждом
ое2 являются непрерывными функциями. В соответствии с (2.14)
фт еС: х е= Sp (х0)} = Q {х «= С: I xtk-хЧк | < р},
где 4— рациональные точки отрезка [0, 1]. Поэтому
{со: Х(со)ед5р(Х<М)}=Г|{а.- j (®) - ^(со) J < р} е
а значит, и {со: X (со) е В] е для любого Ве70(С).
Аналогичные рассуждения показывают также, что всякий слу-
чайный элемент пространства (D, Д30 (£))) может рассматриваться
как случайный процесс с траекториями из пространства функций
без разрывов второго рода, и наоборот.
2.	Пусть (Q, аХ, Р)— вероятностное пространство и (Еа, Sa)—
измеримые пространства, где индекс а принадлежит некоторому
(произвольному) множеству Я.
Определение 6. Будем говорить, что а7"/^а-измеримые функ-
ции (Ха(со)), ае2(, независимы (ити независимы в совокупности),
если для любого конечного набора индексов а1,..., а„ случайные
элементы ,..., Xa/i независимы, т. е.
Р (Xai е Bai, ..., Xan g= Ban) = Р (Xai е 2Ц)... Р (Xan е Ban), (3)
где Ba <= Fa.
Пусть ?! = {1, 2,..., п}, Еа —случайные величины, ае?(, и
(-H> • • •’ %n) — Р (ё1 Хх, • • 'А Хп)
— /г-мерная функция распределения вектора £ = (tj, ..., Е„). Пусть
F-it (х,) — фу нкцня распределения случайной величины t,, i = 1,..., п.
Теорема. Длч того чтобы случайные величины Sx,..были
независимы, необходимо и достаточно, чтобы для всех (хх, ..., х„) <= Rn
(хх, ..., х„) = \ (хх)... Fin(xn).	(4)
Доказательство. Необходимость очевидна. Для доказа-
тельства достаточности положим а = (а1г ..ап), b = (blt ..., bn)
Р^, (®, ft] — Р {<в. пх <С sS bi, ..., ап <у *-.д Ьп}
bt] == Р {а( < g, < bt}.
196
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Тогда в силу (4) и (3.7)
= П ~ М = П РИ М
1—1	Z=1
и, значит,
Р е /р ..|я е /„} = f[ Р {|; е /,},	(5)
i=i
где 7,= (а;, &,].
Зафиксируем /2,.... I п и покажем, что для любого В, сд S (/?)
Р Ui Е Вп е/,,.. ., 1п е /„} = Р {?! е В,} П Р {?« е /.}. (6)
1 = 2
Пусть оМ — совокупность множеств из S3 (R), для которых выпол-
нено (6). В входит, очевидно, алгебра ct/ множеств, состоя-
щих из сумм непересекающихся интервалов вида /i = («i,
Поэтому &S s St £ S3 (R). Из счетной аддитивности (а следова-
тельно, и непрерывности) вероятностной меры следует также, что
система S3 является монотонным классом. Поэтому (см. п. 1 § 2)
р, (&S) сл St с= S3 (R).
Но согласно теореме 1 из § 2 р (aS) о (&S) —S3 (R). Поэтому
St = S3 (/?).
Итак, (6) доказано. Фиксируя теперь Вх, 13, ..., тем же мето-
дом доказываем справедливость (6) с заменой /, на борелевское
множество В2. Продолжая этот процесс, очевидным образом при-
ходим к требуемому равенству
Р (^ е= Blt ..., е Вп) = Р(^1еВ1)...Р (g„ е Вп),
где Bi <= S3 (R). Теорема доказана.
3.	Задачи.
I.	Пусть Sj, ...,	— дискретные случайные величины. Показать,
что они независимы тогда и только тогда, когда для любых дейст-
вительных Хх, ..хп
Р (?! = х1> • • •> ?71 — Хп) — j^JP = Х^‘
1=1
2.	Провести доказательство того, что всякая случайная функ-
ция (в смысле определения 1) есть случайный процесс (в смысле
определения 3), и наоборот.
3.	Пусть Х1; ..., Хп — случайные элементы со значениями в
(£ь	, (Еп, <„) соответственно. Пусть, далее, (£[,§[),..., (£«,?,',) —
измеримые пространства и glt ,.., gn являются	,',-изме-
§6 ИНТЕГРМ1 ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ	»97
римыми функциями соответственно. Показать, что если Хг, ... ,Хп
независимы, то независимы также и случайные элементы
§1 °	• • •>	• Хп.
§ 6. Интеграл Лебега. Математическое ожидание
1. В том случае, когда (Q, У, Р) — конечное вероятностное
пространство и 1 = 1 (со) — простая случайная величина,
п
?(“)= У xkIA(a),	(1)
k= 1
понятие математического ожидания Ml было определено в § 4
гл. I. Та же самая конструкция математического ожидания Ml от
простых случайных величин 1 используется и в случае произволь-
ного вероятностного пространства (Q, У, Р). А именно, по опре-
делению полагается
Ml- 2 xkP(Ak).	(2)
Это определение корректно (в том смысле, что значение Ml не за-
висит от способа представления 1 в виде (1)), что показывается
точно так же, как и в случае конечных вероятностных про-
странств. Аналогичным образом устанавливаются простейшие свой-
ства математического ожидания (см. п. 5 § 4 гл. I).
Цель этого параграфа— дать определение и изучить свойства
математического ожидания Ml произвольной случайной величины.
С точки зрения анализа математическое ожидание Mg есть не что
иное, как интеграл Лебега от ^-измеримой функции 1 = 1 (со) по
мере Р, для которого (наряду с Ml) используются также следую-
щие обозначения: J1 (со) Р (da) или §ldP.
я	я
2. Пусть 1 = 1 (со) — неотрицательная случайная величина. По-
строим последовательность простых неотрицательных случайных
величин {!„},!> 1 таких, что (со) f 1 (со), zi-o-оо, для каждого
со е Q (см. теорему 1 в § 4).
Поскольку М1„=сМ1л+1 (ср. со свойством 3) из п. 5 § 4 гл. I),
то существует ПтМ1ч, который может принимать и значение -фсо.
п
Определение 1. Интегралом Лебега от неотрицательной
случайной величины 1 = 1 (со), или ее математическим ожиданием,
называется величина
Ml = limMl„.	(3)
п
Чтобы это определение было корректным, надо показать, что
значение этого предела не зависит от выбора аппроксимирующей
198
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
последовательности {3„}. Иначе говоря, надо показать, что если
In f s и Ли t гДе {Лт} — последовательность простых функций,
ТО
limM£„ = lim Mi]m.	(4)
п	т
Лемма 1. Пусть ц и £п —простые случайные величины,
причем
Hssn-
Тогда
lim Z-- Мт].	(5)
т
Доказательство. Пусть е>0 и
=	£„Ssr]-s}.
Ясно, что An f Q и
=	л Д=(п-е)/л •
Поэтому, используя свойства математических ожиданий от простых
случайных величин, находим, что
Mczl М (ц - е) 1ап = М»|/..1я — еР (Л„) =
= Мц — Мг|7ап — еР (ЯД Мг| — СР (ЙД — г,
где С — max ц (со). Отсюда в силу произвольности е > 0 вытекает
(О
требуемое неравенство (5). Из этой леммы следует, чтоПшМ£л^
п
lim Mrlm и по симметрии lim Мг;„( ~ - lim Мс„, что и доказывает (4).
п	т	п
Часто оказывается полезным следующее
Замечание 1. Для математического ожидания Мс от неот-
рицательной случайной величины Н имеет место следующее пред-
ставление:
М| = sup Ms,	(6)
{s G 5; s £}
где S = {s} — множество простых неотрицательных случайных ве-
личин (задача 1),
Итак, для неотрицательных случайных величин математическое
ожидание определено. Перейдем теперь к общему случаю.
Пусть £ — случайная величина и Д = max (£, 0), Д — — min (£, 0).
Определение 2. Говорят, что математическое ожидание
случайной величины g существует, или определено, если по край-
ней мере одна из величин МД или МД конечна:
min(Mg+, М£-)<оо.
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
199
В этом случае по определению полагают
Ml = Мё- - mi-.
Математическое ожидание Ml называют иначе интегралом Лебега
(от функции 1 по вероятностной мере Р).
Определение 3. Говорят, что математическое ожидание
случайной величины 1 конечно, если МД < со и М1~<сю.
Поскольку |^| = ^ + ё", то конечность Ml, или |М1|<оо,
эквивалентна тому, что М, с < сю. (В этом смысле интегрирова-
ние по Лебегу носит «абсолютный» характер.)
Замечание 2. Наряду с математическим ожиданием Ml важ-
ными числовыми характеристиками случайной величины 1 являются
величины МГ (если они определены) и М 1 г, г>0, называемые
соответственно моментом г-ro порядка (r-м моментом) и абсолют-
ным моментом r-го порядка (r-м моментом) случайной величины 1.
Замечание 3. В данном выше определении интеграла Лебега
^l(co)P(dco) предполагалось, что мера Р является вероятностной
й
(Р (Q) = 1), а sF-измеримые функции (случайные величины) 1 при-
нимают значения в R = (—сю, сю). Предположим теперь, что ц—
произвольная мера, заданная на измеримом пространстве (Q, Л~)
и принимающая, быть может, значение + сю, а 1 = 1 (со) — ^-изме-
римая функция со значениями в /? = [—сю, сю] (расширенная
случайная величина). В этом слу чае интеграл Лебега 1 (со) р. (dco)
определяется тем же самым способом: сначала для нсотрицатоль
ных простых 1 (по формуле (2) с заменой Р на ц), затем д тя
произвольных неотрицательных 1 и в общем случае по формуле
1 (от) р (dco) = $ Цн (doo) — § l-p(dco),
Й	й	й
если только не возникает неопределенности вида сю —сю.
Для математического анализа особо важен стачай, когда
(Q, аГ) = (Д, а/ДД)), а р—мера Лебега. В этом случае интеграл
У 1 (х) и (dx) обозначают 1 (х) dx, или )jl(x)dr, или (L) (UR/dc,
R	R	-Л
чтобы подчеркнуть отличие этого интеграла от интеграла Римана
(R) ) 1 (х) dx. Если же мера р (Лебега — Стилтьеса) соответствует
некоторой обобщенной функции распределения G —G(x), то ин-
теграл j 1 (х) ц (dx) называют также интеграла ч Лебега— Стилтье-
R
са и обозначают (L-S) g (х) G (dx), чтобы отличать его от соответ-
R
200
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
спеющего интеграла Римана — Стилтьеса (7?-S)	(х) G (dx) (см.
R
далее п. 10).
Из дальнейшего (свойство D) станет ясно, что если МН опре-
делено, то определены также математические ожидания М(П/Л)
для любого Ае/. Для М(П/Л), или, что то же, ^UAdP,
и
часто используются обозначения М (И; Л) и jj И dP. Интеграл ^HdP
А	А
принято называть интегралом Лебега от И по мере Р на множе-
стве А.
Аналогично и в случае произвольной меры р вместо $ Н • IA dp
й
пишем §Hdp. В частности, если р —«-мерная мера Лебега —
А
Стилтьеса, А = (аг, Ь1]х...х(а„, Ьп], то вместо Н dp используем
А
ь, ь
1 п
запись § ... Jj £(лу, .... хп) р (<Ду,..., dxn). Если р— мера Лебега,
"з ап
то вместо р (йлу, ..., dxn) пишем просто dxy ... dxn.
2. Свойства математического ожидания МН случайных величин Н.
А.	Пусть с —постоянная и МН существует. Тогда М (сН)
также существует. и
М(сП) = сМН.
В.	Пусть £-<п, тогда
мн Мп
в том смысле, что
если — ос <: МП, то —со<С Му и МН - т Му
или
если Мп < оо, то МН < оо и МЛ Му.
С.	Если МН существует, то
jMHKM |Н|.
D.	Если МН существует, то для каждого Л е / М (Н/А) также
существует', если МП конечно, то М (Н/л) также конечно.
Е.	Если И и П~ неотрицательные случайные величины, или
такие, что М | И | < оо, М | у | < со, то
М (Н + п) = МН 4-Мц.
(По поводу обобщения этого свойства см. задачу 2).
Приведем доказательство свойств А —Е.
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
201
А.	Для простых случайных величин утверждение очевидно.
П>сть t^sO, 5» f 5. гДе 5л —простые случайные величины, и с 2=0.
Тогда с5„ f с'Е и, значит,
М (cl') = lim М (cln) = с lim Mg„ = сМ5-
п	п
В общем случае надо рассмотреть представление 5 = 5+ — и заме-
тить, что для сSs0, (с5)+ = с5+, (c5)- = ct~, а для с<0 (с5)+=
=--с5“, (с5)- = —cg+.
В.	Если 0 :<£-.<->], то Мс и Мт] определены и неравенство
Mg-'h/p сразу следует из формулы (6). Пусть теперь М5> — сс,
тогда Mg~<co. Если g-X г], то j-tCip и	Поэтому Мт|~-2
=cMg-<co, следовательно, Mr) определено и М5 = М5*-— М5~
<Мг]+ —М1)~ = М1]. Аналогичным образом рассматривается случай,
когда Мт] < со.
С.	Поскольку — | 5 |	5 I 5 I, т0 из свойств А и В
-М|5|<М5^М)5|>
т. е. I М5 | «с М . 5 |.
D.	Следует из В и того, что
(Н/л)+ = 5+/а<5+, (5/а)- = 5-7а<5-.
Е.	Пусть 5 2=0, т] 2= 0 и пусть {5Л} и {ipj — последовательности
простых функции таких, что 5„ f 5, т]„ f г]. Тогда М (5„ -ф П«) —
= M5„ + Mi]„ и М(5„ + т1л) f М (5 + л), МН„ f Mg, Мг]л f Мт] и, зна-
чит, М (5 + л) = М5 4-Мтр Случай, когда М|5|<схэ, MjrijCoo,
сводится к рассмотренному, если воспользоваться тем, что Н =
= л = г]+-г|-, Н+<| 5 |, 5"=С|51 и т]+<|т] |, ip - ' । ц
Следующая группа утверждений относительно математических
ожиданий связана с понятием «P-почти наверное». Будем говорить,
что некоторое свойство выполнено «P-почти наверное», если
существует множество е с Р = 0 такое, что это свой-
ство выполнено для каждой точки со <= Q\©/2 Вместо слов
«P-почти наверное» часто говорят «P-почти всюду» или просто
«почти наверное» (п. п.), «почти всюду» (п. в.).
F.	Если 5 = 0 (п. н.), то М5 = 0.
В самом деле, если 5 — простая случайная величина,
? = ^j-Vfe/д (ю) и х*=И=0, то по условию Р(Лй) = 0, а зна-
чит, М5 = 0. Если же 5  0 и 0-Cs< И, где s —простая слу-
чайная величина, то ь = 0 (п. н.), а следовательно, Ms = 0 и
М5 = sup Ms = 0. Общий случай сводится к рассмотрен-
{sez S: s < £}
ному обычным переходом к представлению 5 = 5+ — 5- с учетом
того, что	5~^Ш и |5| = 0 (п. н.).
G.	Если 5'= Л (п. н.) и М|5(<оо, то М | т] [ < со и М£ = Мт]
(см. также задачу 3).
202
ГЛ II М ТЕМАТИЧЕСКИЕ ОСНОВ ХНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
В самом деле, пусть ©/zV = {io: g^p}. Тогда Р(э/Д = 0 и g=
=	+ n = V^ + ,1/ж = 11/ж + р/^' По свойствам Е и F
Mg-=Mg/.„ + Mg/ - =Mg/„ = Mp/.,. Но Мр/„ = 0, поэтому по
свойству Е Mg = Mp/^--)-Mp/^=Mp.
Н.	П\С1ь g>?0 и Mg = O. Тогда g = 0 (п. н.).
Для доказательства обозначим Д = {со: £ (со) > 0}, Д„={со: g(co)
г- 1//?}. Ясно, что Ап f А и 0«Cg-/4	Поэтому по свой-
ству В
0<MH/4 <Mg = O.
Следовательно,
0 = Mg/.4/j^~P(H,)
и, значит, Р(Дл) = 0 для всех п^1. Но Р (Д) = lim Р (Л,.) и, сле-
довательно, Р(Д) = 0.
I.	П^сть g и т| таковы, что М 1 / . М I р [ < с>о и для всех
Ле/ М (g/4) ==/М (р/л). Тогда gsSp (п. н.).
В самом деле, пусть В = {со: g (со) > р (со)}. Тогда М (т|/л)
«5 М (|/в)«£ М (р/в) и, значит, М (g/B) = М (р/в). В силу свой-
ства Е M((g —р)/в) = 0 и по свойству Н (g —р)/в = 0 (п. н.),
откуда Р(В) = 0.
J.	Пусть g — расширенная случайная величина и М g <  .
Тогда |g|<oo(n. н.). Действительно, пусть А = {со: | g (со), = от}
и Р(Д)>0. Тогда М 'g ЭМ( g|/л) = оо• Р (Д) = оэ, что проти-
воречит предположению М g < л (См. также задачу 4.)
3.	В этом пункте будут рассмотрены основные теоремы о пре-
дельном переходе под знаком математического ожидания (инте-
грала Лебега).
Теорема 1 (о монотонной сходимости). Пусть р, g, gn g.2, •  • —
случайные величины.
а)	Если S„/sp для всех п йл1, Мр> — оо и g„ f g, то
Mg„ t Mg.
b)	Если g„egp для всех п^\, Мр<со и g„ | g, то
Mg„ { Mg.
Доказательство, а) Предположим сначала, что р>0.
Пусть для каждого £osl {g*"'},; > i — последовательность простых
функций таких, что g^’f g*, n^-оо. Обозначим t^'n> = max g*!).
1
Тогда
. £(«) = max max =
i <k <n
Пусть g = limg('1). Поскольку для
§6 ПНТГГРАТ ЛИБЕГЛ МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
203
то, переходя к пределу при «->со, получим, что для любого
1
а значит, £ = g.
Случайные величины g'/’> простые и f g. Поэтому
Mg = Mg = lim Mgtn) «С lim Mg„.
С другой столоны, очевидно, что, поскольку gn ыр gn+1 sgg, то
lirnMg,scMg.
Тем самым Um Mg, = Mg.
Пусть теперь л — произвольная случайная величина с Мл > — со.
Если Мг| = со, то в силу В Mg„ = Mg = oo и утверждение
доказано. Пусть Мт]<со. Тогда вместе с условием Мт]> —со
получаем, что М | л' < со. Ясно, что 0 g„ — л f g — л для всех
oieQ. Поэтому, согласно доказанному, М (g„ — т|) f М (g — г|) и,
значит, (по свойству Е и задаче 2)
Mg, — Мл t Mg — Mi].
Но М । л | < со, поэтому Mg, f Mg, П-Э-СО.
Доказательство утверждения b) следует из а), если вместо
исходных величин рассмотреть величины со знаком минус.
Следствие. Пусть {лДп > i — последовательность неотрица-
тельных случайных величин. Тогда
М 2 тЬ= 5 М1Ъ.
п == 1 п — 1
Доказательство следует из свойства Е (см. также задачу (2)
k
теоремы о монотонной сходимости и того замечания, что f
п=\
t У,
п = 1
Теорема 2 (лемма Фату). Пусть т], ?х> ?2> • • • — случайные
величины.
а)	Если с, "_-с- л для всех п^Л и Мл > — со, то
М limg, •' lim Mg,.
b)	Если £,г'СРл для ecex и Мл<со, то
lim Mg„sg М lim g„.
с)	Если | g„ I л для всех n2sl и Мл<оо, то
М limg„<limMg„sS lim MgZi-C М lim с„.	(7)
204
ГЛ И МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство, а) Пусть £„ = inf £m, тогда
т п
limg„ = lim inf =
п tn п	п
Ясно, что £л j lim£„ и для всех Тогда из теоремы 1
М limсл = М lim Zn = limM£n = lim < lim M£«,
n	n	n
что и доказывает утверждение а). Второе утверждение следует из
первого. Третье —есть следствие первых двух.
Теорема 3 (Лебега о мажорируемой сходимости). Пусть р,
Е, |2, ... — случайные величины такие, что |	т], МрСоо
и («• «•)• Тогда М|£|<оо,
+	(8)
MIL-SR0	(9)
при п-^-оо.
Доказательство. В силу леммы Фату справедлива фор-
мула (7). Пр предположению lim = Tim Е„ = £ (п. и.). Поэтому
по свойству G 
М lim = lim = lim М£„ = М lim = Mg,
что и доказывает (8). Ясно также, что | g | Р т]. Поэтому М [ Е, | <со.
Утверждение (9) доказывается так же, «если только заметить,
что |£п — £|^2т].
Следствие. Пусть т), g, £г, ... — случайные величины такие,
что I^JsgT], Елю-Е (п. н.) и Мг)р < сю для некоторого р>0.
Тогда М|£|р<оо и М | Е — |р->0, п->оо.
Для доказательства достаточно заметить, что | g | -С т], || — 1пг’-^=
<(||| + |^|)р<(2т|)р.
Условие «Д„ |-С р, Мт]<оо», входящее в лемму Фату, теорему
о мажорируемой сходимости и обеспечивающее выполнение фор-
мул (7) —(9), можно несколько ослабить. Для формулировки соот-
ветствующего результата (теорема 4) введем
Определение 4. Семейство случайных величин {Цл>1
называется равномерно интегрируемым, если
sup	|	| Р (dco)->0, с->сю,	(10)
" {Ы><}
или (в других обозначениях)
sup М[| | 7{ил| >с}]~>0, с-^сю.	(П)
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ	205
Ясно, что если случайные величины %п, n^zl, таковы, что
|gnjsgr], Мт|<сю, то семейство {£„}«> i будет равномерно инте-
грируемым.
Теорема 4. Пусть i — семейство равномерно инте-
грируемых случайных величин.
а)	Тогда	___
М limlim MS,, '  М ИтЕл.
b)	Если к тому же £л->| («. н.), тогда случайная величина g
интегрируема и
и-* со,
я->сх>.
Доказательство, а) Для всякого с>0
= М	<-4 ] + м [£л/{^	(12)
В силу равномерной интегрируемости для всякого е>0 можно с
выбрать столь большим, что
sup । М [g„/{^ <_ с}]1 < е.	(13)
В силу леммы Фату
1»™ М [£„/-с}] S& М [lim tnI{in > _ с}].
Но	^Дл, поэтому
lim М	- с}] Sa М [lim Е„].	(14)
Из (12) —(14) находим, что
lim М|„У-М [lim S„| — е.
В силу произвольности е>0 отсюда следует, что limM^Sa
Sa М lim S„. Аналогично доказывается неравенство с верхними пре-
делами. Утверждение Ь) вытекает из а) так же, как и в теореме 3.
Аналогичным образом доказывается, что lim М£л - М lim
Что же касается утверждений Ь), то они доказываются так же,
как соответствующие утверждения в теореме 3.
Наиболее полно значение понятия равномерной интегрируе-
мости раскрывается в следующей теореме, дающей необходимое
и достаточное условие для предельного перехода под знаком мате-
матического ожидания.
Теорема 5. Пусть 0==sg„->£ и М£л<оо. Тогда М£л->
М? < оо тогда и только тогда, когда семейство случайных
величин {^л}л351 равномерно интегрируемо.
206
ГЛ. И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство. Достаточность следует из утверждения Ь)
теоремы 4. Для доказательства необходимости рассмотрим (не
более чем счетное) множество А = {а: Р(£ = а)>0}, Тогда для
каждого а A	-> у {g<a}, причем семейство величин
> 1 будет равномерно интегрируемым. Поэтому в силу
«достаточности» <aj<а}, афА, а значит,
->Mg/{g>a), афА, n^QQ. (15)
Зафиксируем 8>0 и выберем сначала ай е А столь большим,
что	< е/2, а затем No столь большим, что для всех
n^sN0
+ е/2,
и значит,	aoi -с е. Выберем, наконец, <2г5=а0 и столь
большим, что для всех n^N0	«•' е. Тогда
sup M£„/pn>ai}=ce,
что и доказывает равномерную интегрируемость семейства слу-
чайных величин {£л}п>1.
4.	Остановимся на некоторых критериях равномерной интегри-
руемости.
Прежде всего заметим, что если {£„} — семейство равномерно
интегрируемых случайных величин, то
sup М I I < ос.
п
(16)
В самом деле, для фиксированного е>0 и достаточно больших
с>0
sup М | Ы = sup [М (| | 11п, > с}) + М (j \1 {। in । < a})] <
=CsupM(| | I{[in । >c}) + sup M (j ^|<a))-ce + c,
что и доказывает (16).
Оказывается, что условие (16) вместе с так называемым усло-
вием «равномерной непрерывности» является необходимым и доста-
точным для равномерной интегрируемости.
Лемма 2. Для того чтобы семейство случайных величин
{Вп}п> 1 было равномерно интегрируемо, необходимо и достаточно,
чтобы М | с„ |, О1, были равномерно ограничены (т. е. выпол-
нено условие (16)) и чтобы М {| с,г 11Д, п^1, были равномерно
непрерывны (т. е. sup М |/д}0, когда Р(Д)->-0).
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
207
Доказательство. Необходимость. Условие (16) было
проверено выше. Далее,
+	(17)
Выберем с столь большим, что sup М I । >с}}	е/2. Тогда,
если Р(Д)==^е/2с, то из (17)
sup М {| 11А} е,
что и доказывает равномерную непрерывность.
Достаточность. Пусть е>0 и 6>0 таково, что из усло-
вия Р(Л)<6 ^следует, что равномерно по п М(||/д) е. По-
скольку для всякого с>0
М|£л >М |/{1^>с}^сР {
(ср. с неравенством Чебышева), то
sup Р {|£л | <-^sup М I £J->0, с->оо,
п	с
а значит, для достаточно больших с в качестве множества А
можно взять любое из множеств {|£л|^гс}, п^1. Поэтому
sup М ([	/{|? |>с})	8, что и доказывает равномерную интегри-
руемость. Лемма доказана.
В следующем предложении дается удобное достаточное усло-
вие равномерной интегрируемости.
Лемма 3. Пусть |г, |2, ... — последовательность интегрируе-
мых случайных величин и G — G (t) — неотрицательная возрастаю-
щая функция, определенная для t^sO, такая, что
lim-^
/ —л.	*
(18)
sup М [G ()£„ |)] < оо.
(19)
Тогда семейство случайных величин является равномерно
интегрируемым.
Доказательство. Пусть е>0, М = sup М[G(||)], а =
п
= Выберем с столь большим, что —для t^c. Тогда
1	Л4
м [I 11{^п |>с}] < - м [G (IM •	V = 8
равномерно по всем п^1.
208
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
5.	Если Е и т] — независимые простые случайные величины,
то, как и в п. 5 § 4 гл. I, доказывается, что М|т] =	• Мщ
Установим теперь справедливость аналогичного утверждения
в общем случае (см. также задачу 5).
Теорема 6. Пусть | и т] — независимые случайные величины
с М|||<оо, М|т]|<оо. Тогда М)|г||<;со и
М|т] = ME • М'.].	(20)
Доказательство. Пусть сначала ЕЭгО, т]^0. Положим
ОО
у	*+iV
оо
,1я= 2
* = 0	1«	л J
Тогда	||л — ||<-^ и т]/г^П.	Поскольку
М|<оо, Мт] < со, то по теореме Лебега о мажорируемой схо-
димости
limM|„ = M|, ПтМт]л = Мт].
Далее, в силу независимости | и л
М|„т]л= 2 S’7(£<п<*±П =
A,	Iп	nJln nJ
= 2 ’S МД* 'И 1 1  МЛ I z_4jl =	• Мт)„.
Заметим теперь, что
| М|л - М|„т]л | се М | Ел — Е„Лп | М [| 11 • I л - Лп |] +
+ М[КМ£-Ы]^4М; + 1 М (т]+ о, П-+СО.
Поэтому Mgr] = lim М|лт]л = lifn М|„ • lim Мт|„ = Mg • Мт], причем
п
М|л < оо.
Общий случай сводится к рассмотренному, если воспользо-
ваться представлениями | = |+ — £-, т| — т]+ — т]~, Ел = £+Л+ — |-т]+ —
— 1+Л--|-|_тГ- Теорема доказана.
6.	Приводимые в этом пункте неравенства для математических
ожиданий систсматииески применяются и в теории вероятностей,
и в математическом анализе.
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
209
Неравенство Чебышева. Пусть % —неотрицательная
случайная величина, тогда для всякого 8 >• 0
Р(В^е)^.	(21)
Доказательство сразу следует из того, что
Ml =з М [1  7{5>е}]2з еМ/{?>е> = 8Р(^е).
Из (21) получаем следующие разновидности неравенства Чебы-
шева, если 1 — произвольная случайная величина, то
Р(?^8)^-^	(22)
и
Р(||-М5 123 8)^^,	(23)
где DI == М (1 — Ml)2 — дисперсия случайной величины 1.
Неравенство Коши — Буняковского. Пусть 1 и т]
таковы, что Ml2 <Z oo, Mt]2 < oo. Tогда M | In | <z co и
(M | In I)2 Ml2 • Mt]2.	(24)
Доказательство. Будем предполагать, что Ml2 > 0, Mr)2 >
>0. Тогда, обозначая |= > —, т)=	находим, что поскольку
V Mg2 У Мц2
2 1П2, то
2М |1п| Ml2 + M ? = 2,
т. е. М 11л | sg 1, что и доказывает (24).
Если же, скажем, Ml2ss0, то тогда по свойству I 1 = 0 (п. н.)
и по свойству F М1п = 0, т. е. (24) также выполнено.
Неравенство Йенсена. Пусть g = g (х) — выпуклая книзу
борелевская функция и МЩСоо. Тогда
g(Ml)^M^d).	(25)
Доказательство. Если функция g = g (х) выпуклая книзу,
то для каждого х0 е R найдется число %(х0) такое, что для всех
х е Д
£(*)2з£(хо) + (*-*о)-^ (*о).	(26)
Полагая х = 1 и х0 = М1, из (26) находим, что
gd)^g(Mi)+(i- му -x(Mi)
и, следовательно, Mg(l)2sg(Ml).
210
ГЛ ТТ МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Из неравенства Йенсена выводится целая серия полезных
неравенств. Получим, к примеру,
Неравенство Ляпунова. Если 0<s</, то
(М|ш1/5<(М|ШД.
(27)
Для доказательства обозначим г = t/s. Тогда, полагая т) = |£|*
и применяя неравенство Йенсена к функции g (х) = j х f, находим,
| Мт] |г М | т| |г, т. е.
(М j g |TS м | g IS
что и доказывает (27).
Из неравенства Ляпунова вытекает следующая цепочка не-
равенств между абсолютными моментами!
М I £|==s (М 1112)1/2 =<...=< (М| gr)1M-	(28)
Неравенство Гёльдера. Пусть 1<р<оо, 1<<7<со
и| + |=1. Если М|£|р<оо, М|т]|’<оэ, то М | £т]| <оо и
М | gr, К (М11 \pyiP (М | л |Д1''Л	(29)
Если М | £ |-р = 0 или М | т] |? = 0, то (24) следует немедленно,
так же как и в случае неравенства Коши — Буняковского (являю-
щегося частным случаем неравенства Гёльдера при p = q = 2~).
Пусть теперь М | £ |р > 0, М | т] |? >• 0 и
t =-----2---- т1 =-------1.
(М|Ш1/₽	(М|тц’)1/в
Воспользуемся неравенством
x°z/ ах Д- by,	(30)
справедливым для положительных х, у, a, b, a-[-b — 1 и выте-
кающим непосредственно из свойства выпуклости кверху лога-
рифмической функции:
In [ах + by] a In х + b In у = In хауь.
Тогда, полагая х = |р, z/ = fj4', а = -~> Ь = -~, находим, что
tn
откуда
что и доказывает (29).
§ 6. интеграл либега. математическое ожидание 211
Неравенство Минковского. Если М | g 1 < оо,
<оо, 1<р<оо, то М! £4-г] 4 < оо и
(М I £ + п 1ТР < (М | g РЖ + (М | Т) !РЖ- (31)
Установим прежде всего следующее неравенство: если а, b > О
и р 1, то
(а + Ь)р^2Р-ЦаР + ЬР).	(32)
В самом деле, рассмотрим функцию F (х) = (а-\-х)р — 2р-1Х
Х(ар-{-хР). Тогда
F' (х) = р (а + х)р~г — 2р-1рхР~1,
и поскольку то F' (а) = О, F'(x)>0 для х<а и F'(х)<0
для х > а. Поэтому
F (6) max F (x) = F (а) = О,
что и дает неравенство (32).
В соответствии с этим неравенством
ЖЖс(ЖЖЖЖЖЖ) (33)
и, значит, если M;g|p<oo, М i] р< .с, то М ' £ 4-ц 1Р < оо.
Если р=1, то неравенство (31) следует из (33).
Будем теперь предполагать, что р>1. Возьмем q>\ таким,
что у + у=1. Тогда
1ЖЖ = 1ЖЖ1ЖлГ14~ I ЖЖ ПГ1. (34)
Заметим, что (/?—1) </ = /?. Поэтому
М (| Ж Ц |р-1)? = М | g 4- Ж < °°>
и, значит, в силу неравенства Гёльдера
М (, ЖЖ п ,р-1)  (М1I \рУ!р (М) Ж п Ж1’ ?Ж =
= (М | g \рур (М j ЖиЖ’ < °0-
Точно так же и
М (| т] I |g4~i] Ж) < (М | ц |p)I/p (М I £ + л |р)1/<?.
Поэтому в силу (34)
М j Ж Ж =ЖМ | Ж П 1Т? ((М | g ip)1/p + (М ! П Н1/р).	(35)
Если М | g-E1'! lp = 0, то требуемое неравенство (31) очевидно.
Пусть теперь М | g + Ц |р > 0. Тогда из (35) находим
1-1
(М | g 4- Ж) ? (М | g |р)1/р + (М | n |p)l/p,
что и дает требуемое неравенство (31), поскольку 1—- = —.
212
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
7.	Пусть g — случайная величина, для которой определено
математическое ожидание Mg. Тогда, согласно свойству D, опре-
делена функция множеств
Q (Л) = g dP, А е=	(36)
А
Покажем, что эта функция является счетно-аддитивной.
Предположим сначала, что g — неотрицательная случайная
величина. Если Лп Л.2, ... — попарно непересекающиеся множе-
ства из и Л = v А„, то в силу следствия к теореме 1
а(Л) = м(|./д) = М(§-/2лл) = м(2^./Лл) =
= ^М(|./.4Г1) = 1;а(Лл).
Если же g — произвольная случайная величина, для которой Mg
определено, то счетная аддитивность Q (Л) следует из представ-
ления
О(Л)=а+(Л)-а-(Л),	(з?)
где
адл)=^+^р, а-(Л) = ^-йР,
А	А
установленной счетной аддитивности для неотрицательных слу-
чайных величин и того факта, что min(Q+(Q), Q_(fi))<oo.
Итак, если Mg определено, то функция множеств О = О(Л)
является мерой со знаком — счетно-аддитивной функцией мно-
жеств, представимой в виде Q = Qr — Q2, где по крайней мере
одна из мер Qt или Q2 конечна.
Покажем, что функция множеств О = О(Л) обладает следую-
щим важным свойством абсолютной непрерывности относительно
меры Р;
если Р(Л) = 0, то О(Л) = 0 (Л е еЯ~)
(это свойство кратко записывают в виде: Q<;P).
Для доказательства достаточно рассмотреть случай неотрица-
п
тельных случайных величин. Если g = У, xhIAk — простая неот-
*=1
рицательная случайная величина и Р(Л) = 0, то
п
О(Л) = Л1 (g-/д)= JP xftP (Л,ПЛ) = 0.
fe = i
Если же {!„}„>! —последовательность неотрицательных простых
функций таких, что gnfg^O, то по теореме о монотонной
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
213
СХОДИМОСТИ
а(Л) = М(^7л) = НтМа,1-7л) = 0,
поскольку М(£л-/а) = 0 для любого пуА и А с Р(Л) = 0.
Итак, интеграл Лебега Q (Л) = $ | dP, рассматриваемый как
А
функция множеств Л е /, является мерой со знаком, абсолютно-
непрерывной относительно меры Р (Q Р). Весьма замечательно,
что имеет место и обратный результат.
Теорема Радона —Никодима. Пусть (Q,	—измери-
мое пространство, р — о-конечная мера и К —мера со знаком (т. е.
А.==Х1 —Л.2, где по крайней мере одна из мер или Е, конечна),
являющаяся абсолютно непрерывной относительно ц. Тогда суще-
ствует ^-измеримая функция f = f (со), принимающая значения
в R= [— оо, оо] такая, что
Х(Л) = у (со) р. (da>), Л 1= аЯ".	(38)
А
С точностью до множеств р-меры нуль функция f (со) един-
ственна: если h — h(a>) — другая ^-измеримая функция такая, что
К (Л) = jj h (w) ц (d<n), Лг-/, то f (<о) =£h (со)} = 0.
А	_
Евли X — мера, то / = /(ю) принимает значения в /?+ = [0, оо].
Замечание. Функция / = /(«) в представлении (38) назы-
вается производной Радона — Никодима или плотностью меры X
,	dK dm , .
относительно меры it, и обозначается или ^ (<>>)•
Теорема Радона — Никодима, приводимая без доказательства,
будет играть ключевую роль в конструкции условных математи-
ческих ожиданий (§ 7).
п
8.	Если £ = J] xjА. — простая случайная величина, то
i= i 1
MgW = Eg (Xi) Р (At) = Е g (xt) AFZ (хф	(39)
Иначе говоря, для подсчета математического ожидания функции
от (простой) случайной величины g нет надобности знать всю
вероятностную меру Р, а достаточно знать распределение вероят-
ностей Р^ или, что эквивалентно, функцию распределения F; слу-
чайной величины
Следующая важная теорема обобщает это свойство.
Теорема 7 (о замене переменных под знаком интеграла
Лебега). Пусть (Q, аЯ") и (Е, £) — два измеримых пространства
и X = X (со) — eF'/^-измеримая функция со значениями в Е. Нусть
Р — вероятностная мера на (Q, аЯ") и Р % —вероятностная мера
214 ГЛ 1Г. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
на (Е, S), индуцируемая X = Х (со);
рх(Л) = Р{со: Х(ю)еЛ},	(40)
Тогда для всякой ^-измеримой функции g = g(x), х^Е
\g(x)Px(dx) = 5 g(X(<o))P(c/co),	A^S (41)
А	X *(Л)
(в том смысле, что если существует один из интегралов, то опре-
делен и второй, и они совпадают).
Доказательство. Пусть множество и g (х) = 1в(х),
где В е ё. Тогда искомое соотношение (41) превращается в ра-
венство
РЛ(ДВ) = Р(Х-1(Д)ПХ-1(В))»	(42)
справедливость которого следует из (40) и замечания, что Х-1(Л) П
ПХ-ДВ) = Х-1(ЛПВ).
Из (42) вытекает, что (41) справедливо для неотрицательных
простых функций g = g(x), а значит, в силу теоремы о монотон-
ной сходимости (41) справедливо и для произвольных неотрица-
тельных ^-измеримых функций.
В общем же случае надо представить функцию g в виде
£+ — g~ и заметить, что, поскольку для функций g+ и g~ равен-
ство (41) справедливо и если, например, Jg+ (х) Рх (dx) < со, то
А
и $ g+ (* (со)) Р (dco) < со, а значит, из существования
X-i(A)
^g(x)Px(dx) следует существование интеграла $ g(X (<о))Р (da).
А	Х~1(А)
Следствие. Пусть (Е, &) — (R, ЛЗ (R)) и £ = £ (а>)— случай-
ная величина с распределением вероятностей Р^. Тогда, если g =>
= g (х) — борелевская функция и существует любой из интегралов
$ g (х) Р% (dx) или J g (£ (со)) Р (da), то
A	(Л)
\g(x)P^(dx) = J g(£(®))P(dco).
А	£~>(А)
В частности, при А — Q получаем, что
Mg (i (а)) = g (g (со)) Р (da) = $ g (х) Р% (dx).	(43)
й	R
Мера Рг однозначно восстанавливается по функции распреде-
ления (теорема 1 в § 3). Поэтому интегралы Лебега ^g(x)P^(dx)
н
часто обозначают ^g(x) F^(dx) и называют интегралами Лебега —
R
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ	215
Стилтьеса (по мере, соответствующей функции распределения
Л W)-
Рассмотрим случай, когда функция распределения F\ (х)
имеет плотность Д (х), т. е. пусть
f^y)dy,	(44)
— со
где = (х) — неотрицательная борелевская функция, а интеграл
понимается как интеграл Лебега по лебеговской мере на множе-
ство (—оо, %] (см. замечание 2 в п. 1). В предположении (44)
формула (43) принимает следующий вид:
Mg (£(«)) = f g(x)f^(x)dx,	(45)
— СО
где интеграл понимается как интеграл Лебега от функции
g(x)f^(x) по лебеговской мере. В самом деле, если g(x) = 1В (х),
B^<£8(R), то требуемая формула превращается в равенство
Р^ (В) = J (х) dx, B<=FJ3 (/?),	(46)
В
справедливость которого следует из теоремы 1 § 3 и формулы
ь
F^b)-F^a) = \f^x)dx.
а
В общем случае доказательство то же, что и в теореме 7.
9.	Рассмотрим специальный случай измеримых пространств
(Q, х") с мерой ц, где й = й1хП2, eF =	а мера ц =
= хц2 — есть прямое произведение конечных мер и, и ц2 (т. е.
такая мера на , что
Jlj X Ц2 (А X В) = Jlj (Лх) М2 (В),	А (ЕЕ еЯ~х, В 2;
существование такой меры будет следовать из доказательства
теоремы 8).
Приводимая далее теорема играет ту же самую роль, что и
известная теорема из анализа о сведении двойного интеграла
Римана к повторному.
Теорема 8 (теорема Фубини). Пусть Н = ^(®1, со2) является
aF 1 ® ^-измеримой функцией, интегрируемой по мере щХри:
$ |U“i> ®2)|d(piXp2)<oo.	(47)
£2,Х П2
Тогда интегралы $ £(<»i> ®г) Pi (^®i) и 5 (®i> °2) Иг
а,
216
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
1) определены для всех со2 и 2) являются и е? ^изме-
римыми функциями, соответственно,
Н2/®2: §	®2) | Hi (d®x) = ool = О,
I Qi	J
и 3)
Hi	®2) IНг (d(d2) = col = О
1 /
(48)
•i, ®2) |Л2 (d(02) Hl (rf®i) —
Qi Qg
(49)
йДО,
Доказательство. Покажем прежде всего, что для любого
фиксированного ы, е функция £И1 (®2) = g (®р со2) является
<Х2-измеримой по ю2.
Пусть F е 'F\ ® #"2 и g (®n со2) = /F («ц, со2). Обозначим/х =
= {игей2: (сор со2) е F} — сечен ие множества F в точке <0р и
пусть = {Fe/: F& е eZ2}. Надо показать, что для любого сох
Если Е = ЛхВ, Ле/j, Ве/2, то
.	( В, если о, е А,
АхВ)а , = {	’	1
( ф, если (,)[ А.
Поэтому прямоугольники с измеримыми сторонами принадле-
жат ^И1. Далее, если Ве/, то (/%, =/х, а если	— мно-
жества из еГ, то (UE")M1= Отсюда следует, что ^at = ef.
Пусть теперь ^(<0р со2)^0. Тогда, поскольку для каждого оц
функция £ (о)р со2) является ^-измеримой, то определен интег-
рал jj ?(Юр (о.2)fi2 (d(i>2). Покажем, что этот интеграл является
0-2
«^-измеримой функцией и
$ $ U®i, ®2)H2(rf“2)]Hi(rf“i) =
Q1 Qs
®2)d(HiXn2). (50)
Qj X О.
Предположим, ЧТО с(С0р и2) = 1А х в (<0р (02), ЛЕеГр Ве/2.
Тогда, поскольку /лхв(®1, ®2) = 1а (®i) Ib (®2), то
$ /яхв(®1> ®2) Н2 (da2) = 1А (<£>1) 5 /в (®2) Иг (rf(°2)	(5Ь
Qo
и, следовательно, интеграл в левой части (51) является ^-изме-
римой функцией.
Пусть теперь £(®р	—	со2), F е	® FF2. Пока-
жем, что интеграл /(®i)= § /в(®1, ®2) н2 (^®?) является eF-изме-
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
217
римым. С этой целью обозначим г^ = {Ве7: /(©J —^-изме-
рима}. Согласно доказанному множества Ах В принадлежат
(Л е eFi, В е aF2), а значит, и алгебра &£, образованная из
конечных сумм непересекающихся множеств такого вида, также
принадлежит Из теоремы о монотонной сходимости следует,
что система является монотонным классом, ^’ = pi(^’). Поэтому
в силу включений	и теоремы 1 из § 2 aF = о (e^F) =
= pi (&F) pi (<^) = S aF, т. е. ^ = aF.
Наконец, если 5 (®х, ®2)— произвольная неотрицательная eF-
измеримая функция, то aFj-измеримость интеграла § £ (<о1( ю2)х
йг
X pi2 (с!<в2) следует из теоремы о монотонной сходимости и тео-
ремы 2 § 4.
Покажем сейчас, что мера p = pi1Xpi2, определенная на aF =
— eFj ® aF2 и обладающая свойством рц х ц2 И X В) = р^ (Л) • pt2 (В),
Ле/р Be/,, действительно существует и единственная.
Положим для F е /
И (В) = $
Й1
)	(®2)pi2(t/®2)
Й2
Hi (dot).
Как было показано, внутренний интеграл является aFj-измери-
мой функцией и, следовательно, функция множеств pi (В) действи-
тельно определена для Ве/. Ясно, что если В = ЛхВ, то
р (Л хВ) = Р4 (Л) pi2 (В). Пусть теперь {В"} — непересекающиеся
множества в aF. Тогда
н(5/?'1)== $ П В(2/гЛ)й)1 (<о2) иа (dco2)1 р,, (сМ =
01 Lo,	J
т. е. pi является мерой (о-конечной) на aF.
Из теоремы Каратеодори следует, что эта мера pi является
единственной мерой со свойством pi(HxB) = pi1(H)pi2(B).
Установим теперь формулу (50). Если Н(о\, со2) = 1 дхв(®1> ®2)»
Л <= aF^ В е eF2, то
/лхв(“1> <о2)с((ц1Хр12) = р11Хр2(ЛхВ), (52)
Qj X
и так как Iaxb^, ®2) = Ia (®i) h (®2), то
$RBixb(®i> ®2) P-г (d®2)l Hi (c!®i) =
Й
'1, ®2) ц2 (d(02) Hl (d®i) = Hi (Л) На (В). (53)
218
ГЛ И МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Но по определению меры pjxp2
Pi х р2 (Л X В) = Pj (Л) р2 (В).
Поэтому из (52) и (53) следует справедливость (50) для £ (со1, ®2) —
= 7дхв(«1, ®2).
Пусть теперь g (©п ю2) = 1г(а1, <в2), Fe/. Функция множеств
X(F)=	//=(»!, и2) d(p1Xp2), F е еГ
Й1ХЙ2
является, очевидно, a-конечной мерой. Нетрудно проверить также,
что таковой же является функция множеств
v(F) = $ И
й i |_Й 2	I
Как было установлено выше, % и v совпадают на множестве вида
F = AxB, а значит, и на алгебре o/F. Отсюда по теореме Кара-
теодори следует, что Хит совпадают для всех F е/.
Перейдем теперь к доказательству собственно утверждений
теоремы Фубини. В силу (47)
$ £+(со1( coJd^XpaXoo,
Й1ХЙ2
Согласно доказанному интеграл
еУрИЗмеримой функцией от со1 и
Нед, <о2) d (рхХр2) < со.
й j X Й 2
g+(co1, со2) р2 (с/сэ2) является
Йэ
5	£+(®1> C02)t/(PiXp2)<CO.
й,Ха2
Поэтому в силу задачи 4 (см. также свойство J в п. 2)
t+ ((Ор ©2) р2 (dco2) < сю (ррП. и.),
йд
Точно так же и
5 g-(©i, co^pXdwJCoo, (ргп. н.),
а значит,
$ |g(©1( ш2) I р2 (dco2) < оо (ргп. н.).
й 2
Ясно, что за исключением некоторого множества имеющего
рх-меру нуль,
5 U®i> ®2)р3(^со2) =
Й2
= £+ («!, ®2) р2 (d®2) - \	(«ь ®2) р2 (d®2).	(54)
Q 2	Й-2
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
219
Полагая входящие сюда интегралы равными нулю для и, е
можем считать, что (54) выполнено для всех их е £2Х. Тогда, инте-
грируя (54) по мере рх и учитывая (50), получим, что
$ R £ (“1> “г) Иг Hl (<Н) =
е, |_й2
= Ш V(®i, <оа)р2(dco2)lpi(d®x)-
Й, |_й2
— $ И w2) ц2 (dco2)l р.х (d®x) =
Й1 1^2
J E+(cOi, co2)d(p.xX|T2) —
Й1ХЩ
— § £"(®i> <»2) с? (цх X ц2) = 5 £(®х> ®2)d(pxXp2)-
Й1ХЙ2	Й1ХЙ2
Аналогичным образом устанавливается первое соотношение в (48)
и равенство
$ U®i, «2)о!(цхХц2) = $ И V®i>
CiXQa	й2L^i
®2)р.Х(^®1) Рз^И-г)-
ТО
Теорема доказана.
Следствие. Если $ J |g(cox, ю2) | ц2 (d®2) Hi (^®i)
£?i	_
утверждения теоремы Фубини также выполнены.
Действительно, при сформулированном условии из (50) сле-
дует (47), а значит, справедливы и все утверждения теоремы
Фубини.
Пример. Пусть (5, т|) —пара случайных величин, распреде-
ление которых имеет двумерную плотность f^(x, у), т. е.
Р ((£, т])еВ) = $ Дц (х, у) dx dy, (R2),
в
где ^я(х, ^ — неотрицательная <Д? (7?2)-измеримая функция, а
интеграл понимается как интеграл Лебега по двумерной лебегов-
ской мере.
Покажем, что тогда одномерные распределения для Е и q также
имеют плотности j\(x) и причем
СО
/Vх) = $ hn(x< У)Лу
—со
и
(55)
оо
—со
220
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
В самом деле, если	то по теореме Фубини
Р(;еЛ) = Р((?, т))еЛх^)=	/Ы*> y)dxdy =
AxR
= $ Г$ y)dy\dx>
A L«	J
что и доказывает как наличие плотности распределения вероят-
ностей у так и первую формулу (55). Аналогично доказывается
вторая формула.
Согласно теореме из § 5, для того чтобы случайные величины §
и т] были независимы, необходимо и достаточно, чтобы
*Чч (*> у) = Fl W Fn (у)> (*• У) е Я2.
Покажем, что в случае наличия двумерной плотности /чп(х, у)
величины £ и г) независимы тогда и только тогда, когда
y)=fi(x)fn(y)	(56)
(равенство понимается почти наверное относительно двумерной
лебеговской меры).
В самом деле, если выполнено (56), то по теореме Фубини
^ч (х, У) =
=	5	y)dxdy=	fi(x)fn(y)dxdy =
(—со, х] Х(—СО, у]	(—со, х]Х(—со, </]
= 5 h(x)dx( 5 K(y')dy'\ = Fi(x)Fri(y)
(—со, *]	\(—со, (/]	j
и, следовательно, £ и г] независимы.
Обратно, если они независимы и имеют плотность Л5П(х, у),
то опять-таки по теореме Фубини
5	f^(x, y)dxdy =
(—со, Х]х(—СО, у]
= / J fl(x)dx\/ J f^(y)dy} =
= S h{x)f^y}dxdy.
(—со, л:]Х(—СО, у}
Отсюда следует, что для любого В ^^3 (/?2)
5 ^ч (х, у) dxdy=\ ft (х) fп (у) dx dy,
в	в
и из свойства 1 легко вывести, что выполнено (56).
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
221
10. В этом пункте будет рассмотрен вопрос о соотношениях
между интегралами Лебега и Римана.
Прежде всего отметим, что конструкция интеграла Лебега не
зависит от того, на каком измеримом пространстве (й, аГ) заданы
подлежащие интегрированию функции. В то же время интеграл
Римана для абстрактных пространств не определяется вовсе, а для
случая пространств Q = Rn он определяется последовательным
образом: сначала для R1, а затем с соответствующими изменениями
переносится на случай п>1.
Подчеркнем, что в основу построения интегралов Римана и
Лебега положены разные идеи. Первый шаг в конструкции Римана
состоит в том, что точки xg R1 группируются по признаку их
близости па оси х. В конструкции же Лебега (для Q = /?1) точки
х ен R1 группируются по другому признаку — по близости значений,
подлежащих интегрированию функций. Следствием этих разных
подходов является то, что соответствующие интегральные суммы
Римана будут иметь предел лишь для не «слишком» разрывных
функций, в то время как лебеговские интегральные суммы будут
сходиться к предельным значениям для более широкого класса
функций.
Напомним определение интеграла Римана— Стилтьеса. Пусть
G = G (х) — некоторая обобщенная функция распределения на R
(см. п. 2 § 3), ц — соответствующая ей мера Лебега— Стилтьеса,
и пусть g = g(x) — ограниченная функция, обращающаяся в нуль
вне отрезка [а, й].
Рассмотрим разбиение & = {хп, ..., хп},
а = х0 < xt <... < х„ = Ь,
отрезка [а, 6] и составим верхние и нижние суммы
= S gi[G (xi+1) -G (xt)], 2 = 2 gt [G (xi+1) - G (x,)].
i==l	--- 1=1
где
gi= sup g(y), gi= inf g(y).
Определим простые функции g&(x) и g^(x), полагая на х^х<.
<gx^xt
g^(x)^gi, gv(x) = gh
и определяя g^(a) = g^(a) = g(a). Ясно, что тогда
^T = (G-S)5 gsr(x)G(dx)
222
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
И
6
^ = (L-S)\g^(x)G(dx).
а
Пусть теперь — последовательность разбиений таких, что
Тогда
gsy ^g&,^.. • 7' g^.. .2=gplt
и если |g(x)|^C, то по теореме о мажорируемой сходимости
.__	ь
lim	= (L-S) \g(x)G(dx),
°	(57)
lim	=(^-S) \g(x)G(dx),
>CO - «	a ~~
где g(x) = limg> (x), g(x) = limg>(x).
k	~	k - R.
Если пределы limV^. и limVy конечны, совпадают и их
k k k — k
общее значение не зависит от выбора последовательности разбиений
{г7\}, то говорят, что функция g = g (х) интегрируема по Риману—
Стилтьесу, а соответствующее общее значение пределов обозна-
чается
ъ
(R-S)\g(x)G(dx).	(58)
а
В том случае, когда G(x) — x, этот интеграл называется интегра-
лом Римана и обозначается
*
(Я) g (х) dx.
а
b
Пусть теперь (L-S) \g(x) G (dx) — соответствующий интеграл
а
Лебега — Стилтьеса (см. замечание 2 в п. 2).
Теорема 9. Если функция g — g(x) непрерывна на [а, /?], то
она интегрируема по Риману— Стилтьесу и
ь	ь
(R-S) \g (х) G (dx) = (L-S) \g(x)G (dx).	(59)
а	а
Доказательство. Так как функция g(x) непрерывна, то
g(x) — g(x) =g(x)- Поэтому в силу (57) lim 2^ =lim
“	k -.00	я k -»со  "
§ 6 ИНТЕГРАЛ ЛИБЕГА МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
223
Таким образом, непрерывная функция g — g(x) интегрируема по
Риману— Стилтьесу и, более того, ее интеграл совпадает (опять-
таки в силу (57)) с интегралом Лебега— Стилтьеса.
Рассмотрим несколько подробнее вопрос о соотношении между
интегралами Римана и Лебега в случае лебеговской меры на
прямой R.
Теорема 10. Пусть g — g(x) — ограниченная функция на [а, Ь].
а)	Функция g = g(x) интегрируема по Риману на [а, Ь] тогда
и только тогда, когда она непрерывна почти всюду (относительно
меры Лебега К на ЛЗ ([«, &])).
Ь)	Если g~g(x) интегрируема по Риману, то она интегри-
руема по Лебегу и
b	ь	_
(R)\g(x)dx = (L)\g(x)Mdx).	(60)
а	а
Доказательство, а) Пусть функция g = g(x) интегрируема
по Риману. Тогда, согласно (57),
ь	ь
(Т) $ £ W X (dx) = (L) Jg (х) X (dx).
а	а
Но g(x) ^g(x) ^g(x), поэтому в силу свойства Н
g(x) = g(x)=g(x)	(х-п. н.),	(61)
откуда нетрудно вывести, что функция g(x) непрерывна почти
всюд;, (относительно меры ъ).
Обратно, пусть функция g = g(x) непрерывна почти всюду
(относительно меры X). Тогда выполнено (61) и, следовательно,
g(x) отличается от измеримой (по Борелю) функции g (х) лишь
на множестве с X (&F) = 0. Но тогда
{*: g(x)^c} — {x: g(x)^c}(\e^+{x: g (х) с} Г\ ъИ ==
= {х: g(x)^c}p\^ + {x: g(x)<c}H©^.
Ясно, что множество {х: g (х) sg с} Q е ЛЗ ([а, Ь]), а множество
{х: g (х) sg с} П является подмножеством множества имею-
щего лебеговскую меру X, равную нулю и, следовательно, также
принадлежащего <Д?([а, Ь]). Тем самым g(x) Л3(\а, &])-измерима
и как ограниченная функция интегрируема по Лебегу. Поэтому
по свойству G
ь	ь	ь
(L) 5 g (х) X (dx) = (L)\g (х) X (dx) = (L)$g(х) X (dx),
а	а	ч
что и завершает доказательство утверждения а).
224
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Ь) Если функция g = g(x) интегрируема по Лебегу, то согласно
а) она непрерывна (^-п. н.). Выше было показано, что тогда g(x)
интегрируема по Лебегу и ее интегралы Римана и Лебега совпадают.
Теорема доказана.
Замечание. Пусть р. — некоторая мера Лебега — Стилтьеса
на а® ([а, Ь]). Обозначим ([а, Ь]) систему подмножеств Л = [а, &],
для которых найдутся множества А и В из е5Э([а, &J) такие, что
А<=Л.^В и р.(Д\Л) = 0. Пусть у. — продолжение меры р, на
([а, Д) (р (Л) = р, (Л) для Л таких, что A s Л s В и р. (В\Л) =
= 0). Тогда утверждение теоремы останется в силе, если вместо
лебеговской меры х рассмотреть меру р, а вместо интегралов
Римана и Лебега рассмотреть соответствующие интегралы Римана—
Стилтьеса и Лебега — Стилтьеса по мере р.
11. Задачи.
1.	Доказать представление (6).
2.	Показать, что справедливо следующее обобщение свойства Е.
Пусть £ и р — случайные величины, для которых определены Mg
и Мр и выражение М^ + Мр имеет смысл (не имеет вида оо —оо
или —ооДоо). Тогда
М (В + 'П) = М£ + Мт).
3.	Обобщить свойство G, показав, что если £ = р (п. н.) и Mt
существует, то Мр также существует и Мр — М£.
4.	Пусть £ —расширенная случайная величина, р — о-конечная
мера, |gidp<oo. Показать, что тогда	(р-п. н.) (ср. со
я
свойством J).
5.	Пусть р —о-конечная мера, £ и р— расширенные случайные
величины, для которых Mg и Мр определены. Тогда, если для
всех A^ef § £dPsgjjp dP, то р (р-п. н.). (Ср. со свойством I.)
А	А
6.	Пусть £ и р — независимые неотрицательные случайные вели-
чины. Показать, что тогда Mgp = Mt-Mp.
7.	Используя лемму Фату, показать, что
Р (lim А„) -и lim Р (Д„), Р (lim Ап) lim Р (Д„).
8.	Привести пример, показывающий, что в теореме о мажори-
руемой сходимости условие «|	| С р, Мр<оо» не может быть,
вообще говоря, ослаблено.
9.	Привести пример, показывающий, что в лемме Фату условие
«£„sCp, Мр> — оо» не может быть, вообще говоря, отброшено.
10.	Доказать справедливость следующих вариантов леммы Фату.
Пусть семейство случайных величин	равномерно интег-
рируемо и Mlim£„ существует. Тогда
limM^sSMlim^
§ 6. ИНТЕГРАЛ ЛИБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
225
d(x) =
Пусть	п 1, где семейство	равномерно интег-
рируемо и т]л сходятся п. н. (или только по вероятности — см.
далее § 10) к некоторой случайной величине г]. Тогда ПтМ|л^
л; М lim
11.	Функция Дирихле
1, х — иррациональное,
0, х — рациональное,
определенная на [0, 1], интегрируема по Лебегу, но не интегри-
руема по Риману. Почему?
12.	Привести пример последовательности интегрируемых по
Риману функций {/,,}„>], заданных на [0, 1] и таких, что
fn f почти всюду по мере Лебега, но f не интегрируема по Риману.
13.	Пусть i, /5= 1)— последовательность действительных
чисел таких, что	j ait j | < а. Вывести из теоремы Фубини, что
i. I
s	(62)
(». /) I \ i ) i \ ‘	/
14.	Привести пример последовательности (ащ I, /5=1), для
которой 21Ф;! = О0 11 равенства в (62) несправедливы.
i, i
15.	Отправляясь от простых функций и используя теоремы
о предельных переходах под знаком интеграла Лебега, доказать
справедливость следующего результата об интегрировании с помощью
подстановки.
Пусть h = h (у) — неубывающая непрерывно дифференцируемая
функция на интервале [a, ft], a f (х) — интегрируемая (по ме-
ре Лебега) функция на интервале '[h (a), h (ft)]. Тогда функция
f(h(y)) h'(у) интегрируема на [a, ft] и
й (6)	ь
j f (х) dx = J f (h (у)) h' (у) dy.
h(a)	a
16.	Пусть £— неотрицательная случайная величина с функцией
распределения F|(x). Показать, что
СО
Mg = $[1 — F%(x)]dx
о
и для любой константы с 5=0
М min (g, с) = [1 — /ч (х)] dx.
о
226
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
17.	Пусть g, g2, ... — неотрицательные интегрируемые слу-
чайные величины такие, что М£л-^-М£ и для всякого е>0
Р (£ — £л >е)->0. Показать, что тогда М|£л —1|->0, л->оо.
18.	Пусть t 4,5 и %п, т]л, £л, n is 1,—случайные величины
такие, что
?л и Sal,
М£Л-^М£, Мрл->Мт],
и математические ожидания М£, Мц, М£ конечны. Показать, что
тогда справедлива следующая лемма Пратта-. Мсл->М£.
Если к тому же т]л а0 <£л, то М]£л — £|->0.
Вывести отсюда, что если £л-^£, М |£л |->М| g I и М] £| <со,
то М|£л-||->0.
§ 7. Условные вероятности и условные
математические ожидания относительно о-алгебр
1. Пусть (Q, еГ, Р) — вероятностное пространство, и событие
Ле / таково, что Р(А)>0. Как и в случае конечных вероят-
ностных пространств, условной вероятностью события В относи*
тельно А (обозначение: Р (В | А)) будем называть величину
' (Л)
а условной вероятностью события В относительно конечного или
счетного разбиения & = {Dlt D2, ...} с Р(Ц)>0, i1 (обозна-
чение: Р (В | ^)) назовем случайную величину, равную Р (В |
для со е Di, i ?: 1.
Аналогичным образом, если £ —случайная величина, для
которой определено Mt, то условным математическим ожиданием §
относительно события А с Р(А)>0 (обозначение: M(g| А)) будем
называть величину (ср. с (1.8.10)).
Случайная величина Р (В | является, очевидно, измеримой
относительно а-алгебры = в связи с чем ее обозначают
также Р (В | S-) (см. § 8 гл. I).
В теории вероятностей приходится, однако, сталкиваться
с необходимостью рассмотрения условных вероятностей относи-
тельно событий, имеющих нулевую вероятность.
Рассмотрим, например, следующий эксперимент. Пусть £ —слу-
чайная величина, равномерно распределенная на [0, 1]. Если с=х,
то подбрасывается монета, у которой вероятность появления
«герба» равна х, а «решетки» — (1 —х). Пусть v — число появлений
«герба» при п независимых подбрасываниях такой монеты. Спра-
шивается, чему равна «условная вероятность P(v = £|£ = x)»?
Поскольку Р(£ = х) = 0, то интересующая нас «условная вероят-
ность Р (v = k | g = х)» пока не определена, хотя интуитивно понятно,
что эта вероятность должна быть равна Слх*(1 — x}n~k.
§ 7 УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
227
Дадим теперь общее определение условного математического
ожидания (и, в частности, условной вероятности) относительно
о-алгебр S, & и сравним его с определением, данным в § 8
гл. I для случая конечных вероятностных пространств.
2. Пусть (й, еГ, Р) — вероятностное пространство, S — некоторая
о-алгебра, s У (S'— о-подалгебра JF) и g = g (ы)— случайная
величина. Напомним, что, согласно § 6, математическое ожидание
Mg определялось в два этапа: сначала для неотрицательных слу-
чайных величин I, а затем в общем случае с помощью равенства
Mg = Mg+ - Mg-
и только в предположении, что
min (Mg-, Mg+) < оо.
Подобная двухэтапная конструкция применяется и при определении
условных математических ожиданий М (g | S).
Определение 1. 1) Условным математическим ожиданием
неотрицательной случайной величины g относительно о-алгебры S
называется неотрицательная расширенная случайная величина,
обозначаемая М (g | S) или М (g | S) (со), такая, что
а)	М (g | S) является ^--измеримой;
Ь)	для любого А е S
$ gdP = $ M(gp)dP.	(1)
А	А
2) Условное математическое ожидание М (g | S), или М (g | S) (со),
произвольной случайной величины g относительно о-алгебры S
считается определенным, если Р-п. н.
min (М (g+ | S), М (g-1S)) < ею,
и задается формулой
M(g|^)BBM(g+^)-M(g-|n
причем на множестве (нулевой вероятности) тех элементарных
событий, для которых М (g+ | S) = М (g~ | S) = оо, разность М (g+ | S) —
— М (g- | S) определяется произвольно, например полагается рав-
ной нулю.
Прежде всего покажем, что для неотрицательных случайных
величин М (g f S) действительно существует. Согласно (6.36) функ-
ция множеств
Q(4) = $gdP, A<=S,	(2)
А
является мерой на (й, S), которая -абсолютно непрерывна отно-
сительно меры Р (рассматриваемой на (й, S), S<=: <F). Поэтому
(по теореме Радона — Никодима) существует такая неотрицательная
228
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
^-измеримая расширенная случайная величина M(g|^), что
СЦЛ) = $ M(g|^)dP.	(3)
А
Из (2) и (3) следует соотношение (1).
Замечание 1. В соответствии с теоремой Радона —Нико-
дима условное математическое ожидание М (g | S) определяется
однозначно лишь с точностью до множеств P-меры нуль. Иначе
говоря, в качестве M(g|<^) можно взять любую ^-измеримую
функцию / (и), называемую вариантом условного математического
ожидания, для которой О(Л) = § / (co)dP, Ле.5.
А
Отметим также, что в соответствии с замечанием к теореме
Радона-Никодима
M(g|^g(co),	(4)
т. е. условное математическое ожидание есть не что иное, как
производная Радона-Никодима меры Q относительно меры Р
(рассматриваемых на (й,<^)).
Замечание 2. В связи с соотношением (1) заметим, что
мы не можем, вообще говоря, положить М (g | S) — g, поскольку
случайная величина g не обязана быть ^-измеримой.
Замечание 3. Предположим, что случайная величина g
такова, что для нее существует Mg. Тогда М (g j S) можно было
бы определить как такую ^-измеримую функцию, для которой
справедливо (1). Обычно именно так и поступают. Приводимое
нами определение М (g | S) = М (g+1S) — М (g- | S) обладает тем
преимуществом, что в случае тривиальной а-алгебры & = \ф, 0}
оно превращается в определение Mg и при этом оно не предпо-
лагает существования Mg. (Например, если g —случайная вели-
чина с Mg+ = oo, Mg- = оо, а = то Mg не определено,
но в смысле определения 1 М (g | S) существует и есть просто
Определение 2. Пусть В еeF. Условное математическое
ожидание М(/в|<^) обозначается Р (В | S), или Р (В | S) (со), и
называется условной вероятностью события В относительно
о-алгебры S, S .
Из определений 1 и 2 следует, что для каждого фиксирован-
ного В е условная вероятность Р (В | S) есть такая случайная
величина, что:
а) Р (В | S) является ^-измеримой,
в) для любого А е S
Р(ЛПВ) = (Р(Вр)с(Р.	(5)
§ 7 УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
229
Определение 3. Пусть g —случайная величина и Sn —
о-алгебра, порожденная некоторым случайным элементом г).
Тогда М (с рл), если оно определено, обозначаемся М (£ | rj) или
М (£ | г]) (со) и называется условным математическим ожиданием g
относительно q.
Условная вероятность Р (В | обозначается Р (В | q) или
Р (В | q) (со), и называется условной вероятностью события В от-
носительно Т].
3. Покажем, что данное здесь определение М (g I согласуется
с определением условного математического ожидания § 8 гл. 1.
Пусть 26 = {DV, D2,... } —некоторое конечное или счетное
разбиение с атомами D{ относительно вероятности Р (т. е.
Р (£),)> О, и если А <= Dh то или Р(Л) = 0, или Р(П,-|Л) = 0).
Теорема 1. Если S = и £ — случайная величина, для
которой Me определено, то
М(^Р) = ^!М (Р-п. н. на	(6)
или, что то же,
М (В | S) = j РР (Р-п. и. на Dt).
‘ Di
(Запись «l = q (Р-п. н. на Л)», или «£ = т| (Л; Р-п. н.)» означает,
что Р(ЛП {g=#q}) = 0.
Доказательство. Согласно лемме 3 из § 4 на Dz М (£ | S) -
= Ki, где /^ — постоянная. Но
^dP = $M(?p)dP=^P(D,),
Di	Di
откуда
= P(DJ j d^'
Di
Теорема доказана.
Таким образом, введенное в гл. I понятие условного матема-
тического ожидания М (£ j М) относительно конечного разбиения
= {Dlt , Dn} является частным случаем понятия условного
математического ожидания относительно о-алгебры ^ = о(^).
4. Свойства условных математических ожиданий. (Будем пред-
полагать, что для всех рассматриваемых случайных величин
математические ожидания определены и о-алгебра S <= еТ').
А*. Если С —постоянная и s = C (п. н.), то М(£р) = С (п. н.).
В*. Если PCq (п. н), то M(^i)<M(t||^) (п. н.).
С*. I М (gIS) I <М (I £ I р) (п. н.).
D *. Если а, Ь — постоянные и йМ£ bMq определено, то
М (ag-pq р) == йМ (£ р)-рМ (q р) (п. н.).
230 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Е*. Пусть ^* = {0, й} — тривиальная а-алгебра. Тогда
M(gp#) = Mg (п. н.).
F*. M(gp) = g (п- и.).
G*. M(M(gp)) = Mg.
Н*. Если S\ s Э-2, то
M[M(gp2)p1] = M(gpi) (п. н.).
I*. Если S1sSi, то
M[M(gp2)pj = M(gp2) (п. н.).
J*. Пусть случайная величина g, для которой Mg определено,
не зависит от о-алгебры S (т. е. не зависит от Iв, В е S).
Т огда
M(gp) = Mg (п. н.).
К*. Пусть т] — S-измеримая случайная величина, М | т] | < oo и
М | gr] | < oo . Тогда
М (g n р) = т]М (g Р) (п. н.).
Приведем доказательства этих свойств.
А*. Функция, равная постоянной, измерима относительно S'.
Поэтому остается лишь проверить равенство
\%dP = \CdP, A<=S.
А	А
Но в силу предположения g = C (п. н.) и свойства G из § 6 это
равенство выполнено очевидным образом.
В*. Если g т] (и. н.), то по свойству В из § 6
J gdP С Л ^Р, A^S,
А	А
а значит,
$ М (g p)dP < $ М (n P)dP, A<=S.
А	А
Тогда требуемое неравенство следует из свойства I (§ 6).
G*. Это свойство вытекает из предыдущего, если учесть,
что—|g|<g<|g|.
D*. Если множество А е S, то, согласно задаче 2 из § 6,
§ (ag 4- Z>r])dP = § ag dP -j- § frq dP = J °M (g P) dP 4-
A	AAA
4- $ ЬМ (г) P) dP = 5[aM(gp)4-bM(nP)] dP,
A	A
-что и доказывает свойство D*,
§ 7 УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
231
Е*. Это свойство следует из замечания, что М| является
е/* — измеримой функцией и-того факта, что если Д = О или
<4 = 0, то очевидным образом
А	А
F*. Поскольку g — sf-измерима и
$£dP= $gdP, Ле/,
А	А
то М (I I аГ) = С (п. н.).
G*. Это свойство вытекает из Е* и Н*, если взять Л?х =
= Q} и =
Н*. Пусть Ле^х; тогда
5 М (В рх) dP = dP.
А	А
Так как ^xs$2, то Ле-Л, и, значит,
$M[M(gp2)px]dP = jM(gpJdP= ^dP.
А	А	А
Следовательно, для Л s
J M(g|^)dP = jMfM^pOpJdP
A	A
и по свойству 1 (§ 6) и задаче 5 (§ 6)
M(ip1) = M[M(gp2)p1] (п. н.).
I*. Если А е р, то по определению М [М (g р2)рх]
5 М [М (g J р) рх] dP = $ М (g I p)‘dP.
А	А
Функция М(?р2) является p-измеримой и, поскольку 0 s р,
то и p-измеримой. Отсюда следует, что М (£ | р) есть один из
вариантов условного математического ожидания М [М (£ | р) j р],
что и доказывает свойство I*.
J*. Поскольку Mg является ^-измеримой функцией, то остает-
ся проверить, что для любого В Еа>
JgdP= $mup,
А	А
т. е. что MR- 7в] = М£-М/в. Если М 111 < со, то это сразу сле-
дует из теоремы 6 § 6. Общий случай сводится к этому с при-
менением результата задачи 6 из § 6.
232
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство свойства К*, опирающееся на утверждение
а), следующей далее теоремы 2, будет дано несколько позднее.
Теорема 2 (о сходимости под знаком условных математи-
ческих ожиданий). Пусть {|л}л>1 — последовательность расширен-
ных случайных величин.
а)	Если |£и|^т], Мг|<со и (п. н.), то
(п. н.)
и
М(|£л-£||^)->0 (п- н.)
Ь)	Если £n5sr], Мт]> —со и (п. н.) то
M(£„|^)tM(gP) (п. н.).
с)	Если	Mr] <с СО и £л|£ (п. н.), то
(п. н.)
d)	Если |я5гт|, Мг]> — со, то
М (lim %п | >)lim М (£л [ S) (п. н.).
е)	Если ?л==£т], Mi]<co, то
lim М (Zn I М (lim с„ | «£) (п. н.).
f)	Если ^=>0, то
М(£^|>) = £М(^) (п. н.).
Доказательство, а) Пусть £„= sup |Sm —£|. Поскольку
т^п
|B->g (п. н.), то с„|0 (п. н.). Математические ожидания Мс„ и
Mt конечны, поэтому в силу свойств D*-h С* (п. н.)
Поскольку М (£л+11 <^) М (£„ | S) (п. н.), то (п. н.) существует
предел h. = lim М (£л [ &). Тогда
п.
0 dP -С М (£„ | S) dP ~ § £л dP —> 0, п -> со,
о о	п
где последнее утверждение следует из теоремы о мажорируемой
сходимости, поскольку 0^Ся=^2т], Мг]-<оо. Следовательно,
J/idP = O и по свойству Н й = 0 (п. н.).
и
§ 7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ	233
Ь) Пусть сначала г] = 0. Поскольку М (gn р) М (|л+1р)
(п. н.), то существует (п. н.) предел £ (со) = lim М (£л р). Тогда
п
из равенства
JgftdP= $M(£„P)dP,
О	Й
и теоремы о монотонной сходимости
^dP=^dP, Ле^.
А	А
Следовательно, по свойству I и задаче 5 § 6 £ = £ (п. н.)
Для доказательства в общем случае заметим, что O^g„fg+,
и по доказанному
М(^рИМ(^р) (п. н.).	(7)
Но	М£_<со, поэтому в Силу а)
М(^Р)->М(£-Р),
что вместе с (7) доказывает Ь).
Утверждение с) вытекает из Ь).
d) Пусть £л = inf %т, тогда £лр, где g = lim^. Согласно Ь)
М (£л р) f М (£ р) (п. н.). Поэтому (п. н.) M(limg„P) = M(£p) ~
= lim М (?л р) = lim М (?л р) - lim М | >).
п
Утверждение е) вытекает из d).
f) Если 1п 0, то по свойству D*
Mf £ £ftpU 5 M(gftp) (п. н.),
\А=1	/	6=1
что вместе с Ь) и доказывает требуемый результат.
Теорема доказана.
Приведем теперь доказательство свойства К*. Пусть ^ = IB,
В Тогда для всякого А е &
^ndP= gdP= M(£p)dP = pBM(gp)dP =
А	длв	ДС1В	A
= $nM(?p)dP.
A
В силу аддитивности интеграла Лебега равенство
$nM(5p)dp,	(8)
А	А
234
гл п математические основ гния ТЕОРИИ вероятностей
останется справедливым и для простых случайных величин т] =s
п
— У, Уь!вк, Bk Поэтому по свойству I (§ 6) для таких
k= 1
случайных величин
М(^Р) = лМ(Вр) (п.н.).	(9)
Пусть теперь ц — произвольная ^-измеримая случайная вели-
чина с М j т| {< оо и	—последовательность простых о7-
измеримых случайных величин таких, что )т]л|=Ст] и т|„->т|.
Тогда в силу (9)
М Р) = ПлМ (£ р) (п. н.).
Ясно, что | | \ | £т] |, где М j | < оо. Поэтому по свойству
а) М (£!]„ М (£т] р) (п. н.). Далее, так как М ;< , то
М(£р) конечно (п. н.) (см. свойство С* и свойство J (§ 6)).
Поэтому т]яМ (Е. р) -> т)М (| |	(п. н.) (Предположение о конечности
почти наверное М (£ р) существенно, поскольку, согласно сноске
на стр. 190, 0 • оо = 0, но если т]л = 1/п, г] = 0, то • оо 0 • оо = 0.)
5. Рассмотрим подробнее структуру условных математических
ожиданий М (Е рр обозначаемых, как было условлено выше,
также через М (Е, | т]).
Поскольку М (£ | г)) является ^-измеримой функцией, то,
согласно теореме 3 из § 4 (точнее — очевидной ее модификации
для расширенных случайных величин), найдется такая борелевская
функция т = т(у), определенная на R и со значениями в R, что
для всех oeQ
т (л (со)) = М (g | т]) (®).	(10)
Эту функцию т(у) будем обозначать через М(£|т] = у) и называть
условным математическим ожиданием £ относительно события
(г) = р, или условным математическим ожиданием £ при условии,
что vj = y.
В соответствии с определением
dP = М (£ | т|) dP — § т (т]) dP, Л ен	(11)
А	А	А
Поэтому по теореме 7 § 6 (о замене переменных под знаком
интеграла Лебега)
J т (т]) dP = J т (у) P^(dy),	B^^S(R'),	(12)
{<o:r|GB}	В
где — распределение вероятностей т]. Следовательно, т — т(у)
есть борелевская функция такая, что для всякого B^q%1(R)
j РР= \m(y)dPv	(13)
{со: чей}	В
§ 7 УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
235
Это замечание подсказывает, что к определению условного
математического ожидания М (g | г] = у) можно прийти и иначе.
Определение 3. Пусть £ и т] — случайные величины (быть
может, и расширенные) и Mg определено. Условным математи-
ческим ожиданием случайной величины § при условии, что г] = у,
назовем всякую S3 (Р)-измеримую функцию m = m(y), для которой
§ %dP = § т(у) Pn(dy), B<^S3(R).	(14)
{о: nsB}	В
Тот факт, что такая функция существует, следует из той же
теоремы Радона — Никодима, если заметить, что функция множеств
Q(B)= gdP
{со: tjsB}
является мерой со знаком, которая абсолютно непрерывна отно-
сительно меры Рп.
Предположим теперь, что т (у) есть условное математическое
ожидание в смысле определения 3. Тогда, применяя снова теорему
о замене переменных под знаком интеграла Лебега, находим, что
?dP= \m(y)Pn(dy)= /n(1l) P^dy), Bt=S3(R).
{co: tie В]	В	{co:
Функция^ m (rj) является ^-измеримой, и множествами {со: т] е В},
В <^S3 (R), исчерпываются все множества из
Отсюда вытекает, что т (г]) есть математическое ожидание
М(£|т]). Тем самым, зная М Q | т] = «/), можно восстановить М (g | т])
и, наоборот, по М(£|л) найти М (£ | т] = у).
С интуитивной точки зрения условное математическое ожида-
ние М(£|т]=£) является более простым и понятным объектом,
нежели М(?|п). Однако математическое ожидание М (g 11|), рас-
сматриваемое как ^-измеримая случайная величина, более удобно
в работе.
Отметим, что приведенные выше свойства А* — К* и утвержде-
ния теоремы 2 легко переносятся на условные математические
ожидания М (| | т] = у) (с заменой «почти наверное» на «7%-почти
наверное»). Так, например, свойство К* переформулируется сле-
дующим образом: если М 111 < сю,	< со, где f=f(y) —
— S3 (Р)-измеримая функция, то
М & (т)) | т] = «/)=/(у) М (£ | г] = у)	(Рп-п. н.).	(15)
Далее (ср. со свойством J*), если § и г] независимы, то
M(!s|n = i/) = Mg (Рл-п. н.).
Отметим также, что если B^S3(R2) и £ и q независимы, то
у) (рп-п. Р.),	(16)
236
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
и если <р = ф(х, у) — S3 (Д2)-измеримая функция такая, что
М I ф (g, Т])|<ОО, ТО
М[Ф(^, П)111 = г/] = М[ф(^ г/)] (Рп-п. н.).
Для доказательства (16) заметим следующее. Если5 = 51хД2,
то для справедливости (16) надо лишь проверить, что
5	(L Л) Р (dco) = J М/в1Хв2 (t, у) Pn(dy).
{в:11'еЛ|	(Z/SA)
Но левая часть есть Р еВх, ц е А В2}, а правая - Р(: = х
X Р (г) е А П В2), равенство которых следует из независимости g
и тр В общем случае доказательство проводится с применением
теоремы 1 из § 2 о монотонных классах (ср. с соответствующим
местом в доказательстве теоремы Фубини).
Определение 4. Условной вероятностью события А S
при условии, что ц = у (обозначение: Р(Л|т] = г/)), будем называть
М Ua IЛ = У)-
Понятно, что Р (Л | т] = у) можно было бы определить как
такую S3 (Д)-измеримую функцию, что
Р(ЛП{цеВ})= $Р(Л \г\ = у) P-^dy), В ее S3 (R).	(17)
в
6. Приведем некоторые примеры вычисления условных вероят-
ностей и условных математических ожиданий.
Пример 1. Пусть г] — дискретная случайная величина с
Р(П = 1/й)>0, jp Р(т] = «/*)== 1. Тогда
А = 1
Р(Л н =
' 1 1	Р(Ч = //*)
Для у ф {ylt у2,.. .} условную вероятность Р (А | г] = у) можно
определить произвольным образом, например положить равной
нулю.
Если случайная величина, для которой существует Mg, то
|адч=л>=р(^ J
Условное математическое ожидание М (£ | г] = у) для у ф {уг, уг,...}
определяется произвольно (например, полагается равным нулю).
Пример' 2. Пусть (£, т]) — пара случайных величин, распре-
деление которых обладает плотностью Дп(х, у):
Р {(I, Ч)£В)= y)dxdy, B<==S3(R2).
в
§ 7 УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
237
Пусть f^(x) и Д, (у) — плотности распределения вероятностей слу-
чайных величин 1 и т| (см„ (6.46), (6.55), (6.56)).
Обозначим
t i । \ Дч^х'	о,
ДМ*1#) —	>	<18)
полагая ,>(*)#) = О, если fr](y) = O.
Тогда
Р(1б=С|т) = </) = <\fi^(x\y)dx,
с
C<=dB(R),
(19)
т. е. ц(х\у) есть плотнссть условного распределения вероят-
ностей.
В самом деле, для доказательства (19) достаточно убедиться
в справедливости формулы (17) для	(Я), А -41
В силу (6.43), (6.45) и теоремы Фубини
И $ k (* i У) dx~\ 4 (dy) = $ Г А; я (х | у) dx](у) dy =
в [с	J	в [с	J
в
= $ Д, ч (* I #) /ч (#) dx dy = $ Дч(*> y)dxdy =
Схв	схв
= Р{(1, n) еСхВ} = Р {(1 еС)П(п е В)},
что и доказывает (17).
Аналогичным образом устанавливается следующий результат:
если Mg существует, то
М(Цт] = г/)= $ xf^, n (х | у) dx.
(20)
Пример 3. Пусть длительность работы некоторого прибора
описывается неотрицательной случайной величиной т] = т](<в),
функция распределения которой F^(y) имеет плотнссть /л(#)
(естественно, что (у) = (#) = О Для #<0). Найдем условное
математическое ожидание М (т] — а | т] Ssa), т. е. среднее время,
которое прибор еще проработает в предположении, что он уже
проработал время а.
Пусть Р (ц а) > 0. Тогда, согласно определению (см. п. 1)
и (6.45),
М (т| — а | т] а) =
P(i]Ssa)	Р(цЭ=а)
DO
j (У ~а) dff
а
00
J fr\(y)du
а
238
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Интересно отметить, что если случайная величина т] экспонен-
циально распределена, т. е.
Ai (У) = |
ке~Ку,
О,
г/^0,
У<0,
(21)
то Мц = М (г) | T]2s0) = 1Д и для любого а>0 М (r| — а I г]2зй) = 1Д.
Иначе говоря, в этом случае среднее время, которое прибор еще
проработает, в предположении, что он уже проработал время а,
не зависит от значения а и совпадает просто со средним време-
нем Мт].
В предположении (21) найдем условное распределение
Р (iq — а Сх | ц а).
Имеем
р(п-^1п^>=Р(°г,;]й+^
^(а+х)-Fn(a) + P (ц = а) [1 —	[1
°	1-Гл(а) + Р(т] = а)	“	1—[1—
е-ха[1_е^]
е~Ка
Таким образом, условное распределение Р(ц — ascx'qjysa)
совпадает с безусловным распределением Р (т| ' х). Это замеча-
тельное свойство экспоненциального распределения является
характеристическим: не существует других распределений с плот-
ностями, обладающими свойством Р (ц — а
-у х | г] а) = Р (г) ==sx), а  0, 0sg:x<;oo.
Пример 4 (игла Бюффона). Пусть на «ко-
ридор» бесконечной длины и единичной ширины
(рис. 29) на плоскости «случайным» образом
бросается игла единичной длины. Спрашивается,
какова вероятность того, что игла пересечет
(по крайней мере одну) стенку коридора?
Чтобы решить эту задачу, определим прежде
всего, что означает, что игла бросается «слу-
чайным» образом. Пусть g — расстояние от центра иглы до левой
стенки. Будем предполагать, что £ равномерно распределено на
отрезке [0, 1], а (см. рис. 29) угол 0 равномерно распределен на
[— л/2, л/2]. Кроме того, будем предполагать | и 0 независимыми.
Пусть Л —событие, состоящее в том, что игла пересечет стенку
коридора. Легко видеть, что если
В={(я, х):	хе[0, 1/2 cos a] (J р — у cos а, 1
то А — {со: (6, с)еВ}, и значит, интересующая нас вероятность
Р (Л) = М/д (со) = М/д (0 (со), £(со)).
§ 7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
239
В силу свойства G* и формулы (16)
М/д (©(<»), £(«)) = М (М [Уд (0(®), 5(ш))|0 («)]) =
= М [/в (6 (со), g (со)) | 0 (со)] Р (dco) =
л/2
= j М[/В(9(а), U®))) e(<o) = a]Ps(da)^
— л/2
л/2	л/2
= ~ \	=^- \ cosada = ~,
J L ]	J и ф)	Jv
— л/2	—Л/2
где мы воспользовались также тем, что
М/д (a, g (со)) = Р е [0, 1/2 cos ст] U [1 — 1/2 cos a]} = coscz.
Итак, вероятность того, что «случайным» образом брошенная
на коридор игла пересечет его стенки, равна 2/л. Этот результат
может быть положен в основу экспериментального определения
значения числа л. В самом деле, пусть игла бросается независи-
мым образом М раз. Определим gt- равным 1, если при i бросании
игла пересекает коридор, и равным 0 в противном случае. Тогда
в силу закона больших чисел (см., например, (1.5.6)) для всякого
е > О
р{ 11±2_±1^_р(Д)|>е|_>0>	N-+<x>.
В этом смысле частота
N	п
и, значит,
2N
Л.
Именно эта формула и послужила основой для статистического
определения значения числа л. В 1850 г. Р. Вольф (Цюрих)
бросал иглу 5000 раз и получил для л значение 3,1596. По-
видимому, этот способ явился одним из первых методов (извест-
ных теперь под названием «метода Монте — Карло») использова-
ния вероятностногстатистических закономерностей в численном
анализе.
7. Если 1— последовательность неотрицательных слу-
чайных величин, то, согласно утверждению /) теоремы 2,
=	(П. и.).
240
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
В частности, если Вх, В2, ... — последовательность попарно
пепересекающихся множеств, то
p(£b„p}=£P(b„P) (п. и.).	(22)
Важно подчеркнуть, что это равенство выполнено лишь почти
наверное и, следовательно, условную вероятность P(B\S)(&)
нельзя рассматривать при фиксированном со как меру по В.
Можно было бы подумать, что, за исключением некоторого мно-
жества меры нуль, P(-p)(w) является все же мерой для
йе®Г. Однако это, вообще говоря, не так в силу следующего
обстоятельства. Обозначим эУ'" (В,, В,, ...) то множество исходов
со, где для заданных Вх, В.,,... не выполнено свойство счетной
аддитивности (22). Тогда исключительное множество есть
U^-рр в2, ...),	(23)
где объединение берется по всем непересекающимся множествам
В1У В2, ... из Хотя P-мера каждого множества (В1У В.г, ...)
равна нулю, P-мера множества может оказаться (в силу
несчетности объединения в (23)) ненулевой (Вспомним, что лебе-
говская мера отдельной точки равна нулю, а мера множества
®у^ = [0, 1), являющегося несчетной суммой одноточечных мно-
жеств {х}, 0^х<1, равна единице).
В то же время было бы удобно, чтобы условная вероятность
Р( • I S) (со) являлась мерой для каждого соей, Поскольку тогда,
например, подсчет условных вероятностей М(£р) можно быта
бы осуществлять (см. далее теорему 3) просто с помощью усред-
нения по мере Р( • | S) (со):
М(£ р) = ^(«)P(dcop)	(п. н.)
а
(ср. с (1.8.10)).
Введем такое
Определение 4. Функцию Р (со; В), определенную для
всех соей и Ве/, назовем регулярной условной вероятностью
относительно если:
а)	для каждого соей Р (со; •) есть вероятностная мера на Т”;
Ь)	для каждого В е В (со; В) как функция от со есть один
из вариантов условной вероятности Р (В | <7) (со), т. е. Р (со; В)—
= Р (В] S) (со) (п. н.).
Теорема 3. Пусть Р В) — регулярная условная вероят-
ность относительно S и I- интегрируемая случайная величина.
Тогда
MQp)(a) = ^(<5)P(co; ей) (п. н.).	(24)
а
§ 7 УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
211
Доказательство. Если £ = /в,	то требуемая фор-
мула (24) превращается в равенство
Р (В | >) (со) = Р (со; В) (п. я.),
выполнимое в силу определения 4 Ь). Следовательно, (24) выпол-
нено для простых функций.
Пусть теперь tjs-O и где — простые функции. Тогда
по свойству Ь) теоремы 2 М (£ | 9) (со) — lim М (Е„ j 9) (со) (п. н.).
п
Но поскольку для каждого со се Q В (со; •) есть мера, то по
теореме о монотонной сходимости
lim М © 9) (со) = lim j (й) P (a;d<n) = lim g (co) P (co; dB).
n	n q	n a
Общий случай сводится к рассмотренному с помощью пред-
ставления ^ = ^+ — £-.
Теорема доказана.
Следствие. Пусть <^ = ©1, где т] —случайная величина,
причем пара © т]) имеет плотность распределения вероятностей
Д.Дх, у). Пусть M|g©[<oo, тогда
М (g © । т] = у) = f g (х) Д, л (х | у) dx,
где Д । п (х | у) — плотность условного распределения (см. (18)).
Чтобы сформулировать основной результат о существовании
регулярных условных вероятностей, нам понадобятся следующие
определения.
Определение 5. Пусть (В, S) — измеримое пространство и
X = X (со) — случайный элемент со значениями в В и .9 — о-под-
алгебра aF. Функция Q(w; В), определенная для со i= Q и В е S,
называется регулярным условным распределением X относительно 9,
если:
а)	для каждого me Q Q (со; В) есть вероятностная мера на
(В, £);
Ь)	для каждого Be£ Q (со; В) как функция от со есть один
из вариантов условной вероятности Р (X es В 19) (со), т. е.
Q(co; В) = Р (X е= В19) (со) (п. н.).
Определение 6. Пусть £ —случайная величина. Функция
Е = Е(со; х), ojeQ, x^R, называется регулярной функцией рас-
пределения для g относительно 9, если:
а)	для каждого со е Й F (со; х) есть функция распределения
на R-,
Ь)	для каждого X^.R В (со; х) — Р (g х| 9) (со) (п. н.).
242
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Теорема 4. Всегда существуют регулярная функция распре-
деления и регулярное условное распределение случайной величины £
относительно &.
Доказательство. Для каждого рационального r^R обо-
значим Fr(<R) = Р(£=Сгр)(со), где
— какой-нибудь вариант условной вероятности события {S-Cr}
относительно S. Пусть {г,-} — множество всех рациональных чисе_л
на R. Если то в силу свойства В* Р (£=<гг) >)=сР (|=^Г/1
(п. н.) и, значит, если Д;у = {со: Fr. (со) < Fr. (со)}, A=(JA/> то
Р (А) = 0. Иначе говоря, множество тех со, где у функций распре-
делений Fr((f>), rejrj, нарушается монотонность, имеет меру
нуль.
Пусть теперь В, = |со: lim F j (со) ^Fr. (со)}, В = [J Д.
11 |	п->-оо. Поэтому, согласно утвер-
Г1 + п )
ждению а) теоремы 2, F i (со)-> Д. (со) (п. н.) и, значит, мно-
6'+ 7Г	‘
жество В, где нарушается непрерывность справа (по рациональ-
ным числам), также имеет меру нуль, Р(В) = 0.
Далее, пусть С = (со: lim Fn(ti>)^= 1} (J {oo: lim Л»(®)>01.
(	n-> co	n—>—co	f
Тогда, поскольку	n->oo, а {сО})ф, n->—сю,
то P(C) = 0.
Положим теперь
Ясно, что I
F (co; x) =
lim Fr (co),
'P
G(x),
co A U В U C,
a e A U В U C,
где G (x) — произвольная функция распределения на R, и покажем,
что функция F (со; х) удовлетворяет определению 6.
Пусть co^XU^UC. Тогда ясно, что F (со; х) является неубы-
вающей функцией от х. Если х<х'=Сг, то F (со; х)?сЕ(со; х')=С
<Д (со; г) = F, (со) | F (со, х), когда г | х. Поэтому F (со; х) непре-
рывна справа. Аналогично lim F (со; х) = 1, lim Д’(со; х) = 0.
х—►со	Х-* — СО
Поскольку для со е A J В J С F (со; х) = G (х), то для каждого
со е Q F (со; х) является функцией распределения на R, т. е.
выполнено условие а) в определении 6.
Согласно конструкции Р (g=cr) | ^)(со) = Д(со) = Е(со; г). Если
г | х, то для всех ое Q F (со; г) | F (со; х) в силу установленной
непрерывности справа. Но из утверждения а) теоремы 2 Р(;с
sgr |^)(со)->Р (g «С х I <^) (со) (п. н.). Поэтому F (со; х) = Р (g
х | S) (со) (п. н.), что и доказывает свойство Ь) определения 6.
Обратимся теперь к доказательству существования регулярного
условного распределения £ относительно &,
§ 7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
243
Пусть F (&); х) — построенная выше функция. Положим
Q (со; В)= $ F (со; dx),
в
где интеграл понимается как интеграл Лебега— Стилтьеса, из
свойств которого (см. п. 7 § 6) вытекает, что Q(co; В) является
мерой по В для каждого фиксированного co = Q. Для установле-
ния того, что Q (со; В) есть вариант условной вероятности Р (| е
еВ|^)(со), воспользуемся принципом подходящих множеств.
Пусть Д’— совокупность множеств В из S3(R), для которых
Q(co; В) = Р (£ е В | Д) (со) (п. н.). Поскольку F (со; х) = Р(§гД
sg:x| S) (со) (п. н.), то в систему входят множества В вида
В = (— оо, х], хе /?. Значит, в Д’ входят также все интервалы
вида (а, £] и алгебра aS, состоящая из конечных сумм непересе-
кающихся множеств вида (а, Ь]. Тогда из свойства непрерывности
меры Q(co; В) (со— фиксировано) и утверждения Ь) теоремы 2
следует, что Д’ является монотонным классом, и поскольку aS S
S Д <^S3(R), то из теоремы 1 § 2
S3 (R) = О (е^) £ О (Д’) = р (Д’) = Д’ <= S3 (R),
откуда Д = Д&(7?).
Теорема доказана
С помощью несложных топологических рассмотрений утвер-
ждение теоремы 4 о существовании регулярного условного рас-
пределения можно распространить на случайные элементы со зна-
чениями в так называемых борелевских пространствах. Дадим
соответствующее
Определение 7. Измеримое пространство (£, S) называется
борелевским пространством, если оно борелевски эквивалентно
некоторому борелевскому подмножеству числовой прямой, т. е.
существует взаимно однозначное отображение ср — ср (е): (Е, S) —►
(R, S3 (R)) такое, что:
1) <р (£) ={<р (е): ее£} есть некоторое множество из S3 (Ry
2) q> — ^-измеримо (ф-1(Д)е§, А е ф (£) П S3 (R)),
3) ф’1 — S3 (7?)/^-измеримо (ф (В) е ф (£) П SJ3 (R), В <=F>).
Теорема 5. Пусть X = X (а) — случайный элемент со значе-
ниями в борелевском пространстве (Е, S). Тогда существует регу-
лярное условное распределение X относительно &.
Доказательство. Пусть ф = ф(е)—функция из определе-
ния 7. В силу 2) из этого определения ф(Х(со)) является случай-
ной величиной. Поэтому по теореме 4 определено условное
распределение Q (со; А) случайной величины ф(Х(со)) относи-
тельно S, А е ф (Е) П S3(R).
Введем функцию Q (со; B) = Q(co; ф(В)), В е S. В силу 3)
определения 7 ф (В) е ф (Е) П S3 (R) и, следовательно, Q(w; В)
244
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
определено. Понятно, что при каждом w Q(<b; В) является мерой
по В е ё. Зафиксируем теперь В е В силу взаимной одно-
значности отображения <р = <р (е)
Q(co; B)=Q(w; ср (В)) = Р {<р (X) е <р (В) |>} = Р{Х е В | <>} (п. н.).
Таким образом, Q(<o; В) является регулярным условным рас-
пределением X относительно S’.
Теорема доказана.
Следствие. Пусть X ~= X (w) —случайный элемент со значе-
ниями в полном сепарабельном метрическом пространстве (Е, £).
Тогда существует регулярное условное распределение X относи-
тельно S. В' частности, такое распределение существует в случае
пространств (Rn, <S3(Rn)), (Rm, ^(R^)).
Доказательство следует из теоремы 5 и известного результата
из топологии о том, что такие пространства являются борелевскими.
8. Развитая выше теория условных математических ожиданий
позволяет дать обобщение теоремы Байеса, находящей примене-
ния в статистике.
Напомним, что если & = {Alt ..., ЛД — некоторое разбиение
пространства Q с Р(Л;)>0, то теорема Байеса (1.3.9) утвер-
ждает, что для всякого В с Р (В) > О
Р (Ai j В) =	1 Ai}—.	(2 5)
2 Р (А,) Р (В ; А,)
/= 1
п
Поэтому, если 0=2 аДд.— дискретная случайная величина, то,
t = 1	‘
согласно (1.8.10),
2 £(аг)Р(Д;)Р(В!Л)
М [g (8) i В]=	,	(26)
2 р (А,) Р (В I А/)
/=1
или
$ g(a) Р (В |e=a)Pe(da)
м [g(6) | В]=	.	(27)
j Р (В | 6 = a'. Pq (da.)
— 00
Основываясь на данном в начале этого параграфа определении
M[g(0)|B], нетрудно установить, что формула (27) остается спра-
ведливой для любого события В с Р (В) > 0, случайных величин 0
и функций g = g(a) с M|g(0)|<oo.
§ 1 УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
245
Рассмотрим теперь аналог формулы (27) для условных матема-
тических ожиданий М (g(0) | <£?] относительно некоторой о-алгебры S,
Пусть
Q(B) = $g(0)P(d®), B^S.	(28)
в
Тогда в силу (4)
<29)
Наряду с о-алгсброй S рассмотрим о-алгебру SQ. Тогда,
согласно (5),
Р(В) = $P(Bpe)dP	(34)
й
ил । по формуле замены переменных под знаком интеграла Лебега
Р(В) = f P(B|0=a)P0(<fa).	(31)
Поскольку
Q (В) = М [g (9) 1В] = М (0) • М Uв I ^е)Ъ
то
Q (В) = f g (а) Р (В I 0 = а) Р0 (da).	(32)
Предположим теперь, что условные вероятности Р (В | 0 = а)
являются регулярными и допускают представление
Р (В [0 = а) = $р(со; a)K(d&),	(33)
в
где р = р (х; а) — неотрицательная измеримая по паре переменных
функция, а л —некоторая о-кснечная мера на (Q, S).
Пусть M|g(0)i<oo. Покажем, что (Р-п. н.)
5 g(«)P(®. а)Р0Иа)
м [g (0) | ^]=	-------------- (34)
( р (ш, а) Рд (da)
— со
(обобщенная теорема Байеса).
Для доказательства (34) нам понадобится следующая
Лемма. Пусть (Q, ^( — некоторое измеримое пространство.
а) Пусть р, и % —а-конечные меры, (iS). и f = f (а) — ^-изме-
римая функция. Тогда
^fdy.^f^.dK	(35)
а й
246
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
(в том смысле, что если существует один из интегралов, то
существует и второй, и они совпадают).
Ь) Если у —мера со знаком и и, К-р-конечные меры,
то
dy	dv	du	х
-7Г- = --------%- (Х-П. н.)
с/Х	dp, dX v '
(36)
у- (ц-п. н.).
(37)
Доказательство, а) Поскольку
то (35) очевидным образом выполнено для всякой простой функ-
ции / = Общий случай следует из представления / = /—f~
и теоремы о монотонной сходимости.
Ь) Из утверждения а) с / = — находим
А
Тогда и, значит,
откуда в силу произвольности множества А и свойства I (§ 6)
следует (36).
Свойство (37) вытекает
( du,
с/Х
из (36) и
dh = О (на
ал	\
того замечания, что
множестве /ю: — = С)1
> определить
положить равной нулю^. Лемма доказана.
Для доказательства
и предположения (33)
правую часть в (37) можно
произвольно, например,
(34) заметим, что в силу теоремы Фубини
и
А
А
J “X
А
Q (В) = $ $ g (а) р (х; a) Pq (da) К (dx),
В — со	J
(38)
Р(В)=
в
р (х; a) Pq (da) Л (dx).
(39)
§ 7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
247
Тогда в силу леммы
___________________________ dQ/dA, /р ,
dP ~ dP/dA. <г'и- н'л
что с учетом (38), (39) и (29) дает формулу (34).
Замечание. Формула (34) остается справедливой, если
вместо случайной величины 0 рассмотреть случайный элемент
со значениями в некотором измеримом пространстве (Е, ё) (с за-
меной интеграла по R интегралом по Е).
Остановимся на некоторых частных случаях формулы (34).
Пусть ст-алгебра S порождается случайной величиной S = S^.
Предположим, что
Р Q е А 10 = а)= $ q (х; а) Л (dx), A^SA(R), (40)
А
где q = q(x; а)—некоторая неотрицательная измеримая по паре
переменных функция, а X —некоторая ст-конечная мера на
(R, cEJ(R)). Тогда из формулы замены переменных под знаком
интеграла Лебега и (34) находим, что
j g (a) q О; а) Ре (da)
М (6) | £ = х]=	.	(41)
j q (х; а) Р0 (da)
—со
Пусть, в частности, (0, £) —пара дискретных случайных вели-
чин, 0 = 2^., g = ^XjIb}- Тогда, выбирая в качестве X считаю-
щую меру (X({%;}) = 1, i = 1, 2, ...) из (40), получим
2§(а/)р g = x/| 0=az)P(0 = a/)
М [£ (9) R = Х/]=	.	(42)
1	2P(g = x/|0 = a,-)P(0 = aI)
(Ср. С (26).)
Пусть теперь (9, £) — пара абсолютно непрерывных величин
с плотностью (а, х). Тогда в силу (19) представление (40)
выполнено с <?(х; a) = i0 (х| а) и мерой Лебега X. Поэтому
j g (а) 10 (х |а) f0 (a) da
М (9Ш = Х]=	.	(43)
j fg । е (х | a) fe (a) da
9.	Задачи.
1.	Пусть | и ^ — независимые одинаково распределенные слу-
чайные величины и М£ определено. Показать, что
МО + п) = М(п|£ + т])=-Цр-(п- н.).
248
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
2.	Пусть ?2, ... — независимые одинаково распределенные
случайные величины с М | | < оо. Показать, что
М(?Д Sn, Sn+1,	(П. н.),
где S„ = 4~... + ?п-
3.	Предположим, что случайные элементы (X, У) таковы, что
существует регулярное распределение Р.х (В) = Р (У е В | X = х).
Показать, что если M|g(X, У)|<оо, то Рх-п. н.
M[g(X, Г)|Х = х]= \g(x, y)Px(dy).
4.	Пусть | —случайная величина с функцией распределения
Fs(x). Показать, что
ь
j х dF^ (х)
М (1' а < с-С Ь)=
(предполагается, что F% (b) —	(а) > 0).
5.	Пусть g = g(x) — выпуклая книзу борелевская функция и
М |g(?) j <оо. Показать, что для условных математических ожи-
даний справедливо неравенство Йенсена
£(м
6.	Показать, что случайная величина ? и о-алгебра > незави-
симы (т. е. для любого В е S случайные величины ? и /в(со)
независимы) тогда и только тогда, когда для каждой борелевской
функции g (х) с M|g(?)|<oo M(g(?)p) = Mg(?).
§ 8.	Случайные величины. II
1.	В первой главе были введены такие характеристики простых
случайных величин, как дисперсия, ковариация и коэффициент
-корреляции. Соответствующим образом эти понятия вводятся и
в общем случае. А именно, пусть (Q, еГ, Р)— вероятностное про-
странство и ? = ? (®) — случайная величина, для которой опреде-
лено математическое сжидание М?.
Дисперсией случайной величины ? называется величина
D? = M(? —М?)2.
Величина <т= + УО? называется стандартным отклонением.
Если | — случайная величина с гауссовской (нормальной)
плотностью
_ (jc —т)а
^па g 202 > <*>0, — co<m<oo, (1)
$ 8 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ II.
249
то смысл параметров тио, входящих в (1), оказывается очень
простым:
т = ME, о2 = Dg.
Таким образом, распределение вероятностей этой случайной
величины Е, называемой гауссовской, или нормально распределенной,
полностью определяется ее средним значением т и дисперсией о2.
(В этой связи понятна часто используемая для этого запись:
Е~<=Ж(т, о2).)
Пусть теперь (Е, q) —пара случайных величин. Их ковариа-
цией называется величина
cov (Е, q) — М (Е — Mg) (q — Mq)
(2)
•(предполагается, что математическое ожидание определено).
Если cov (Е, т]) = 0, то говорят, что случайные величины Е
и q не коррелированье.
Если DE > О, Dq>0, то величина
Р (£. Л) =
cov(E. п)
V D? • Dq
(3)
называется коэффициентом корреляции случайных вели-
чин Е и q.
Свойства дисперсии, ковариации и коэффициента корреляции
для простых случайных величин были изложены в § 4 гл. I.
В общем случае эти свойства формулируются совершенно анало-
гичным образом.
Пусть Е = (Е1, .... Ел) — случайный вектор, компоненты которого
имеют конечный второй момент. Назовем матрицей ковариации
(ковариационной матрицей) вектора Е матрицу (порядка пХп)
Ь I, где Rij = cov (Е/, Е/)- Ясно, что матрица R является
симметрической. Кроме того, она неотрицательно определена, т. е.
Rlj'ki'Kj 2s О*
для любых е R, i = l, ...» п, поскольку
2 Ry№/ = М
/. 1
2 & -МЕ,)Х/
i=i
2
2s 0.
Следующая лемма показывает, что справедлив и обратный
результат.
Лемма. Для того чтобы матрица R порядка пхп была
ковариационной матрицей некоторого вектора E = (£i, •••, Е«)>
необходимо и достаточно, чтобы эта матрица была симметриче-
ской и неотрицательно определенной, или, что эквивалентно,
250
ГЛ. II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
существовала бы матрица А (порядка n /.k, 1 szk'-ezn) такая, что
R = AA*,
где * — символ транспонирования.
Доказательство, Как показано выше, всякая ковариа-
ционная матрица является симметрической и неотрицательно
определенной.
Обратно, пусть R —такая матрица. Из теории матриц известно,
что для всякой симметрической неотрицательно определенной
матрицы R можно найти такую ортогональную матрицу 0 (т. е.
00* = Е — единичная матрица), что
0*^0 = D,
где
Г) _	о \
[о  dj
— диагональная матрица с неотрицательными элементами d,, i =
= 1, .... п.
Отсюда следует, что
R — 0D0* — (0B) (В*0*),
где В — диагональная матрица с элементами bt = + Vdt, i— 1, ...
..., п. Поэтому, если положить A—0B, то для матрицы R полу-
чим требуемое представление R = XX*.
Ясно, что всякая матрица АА* является симметрической и
неотрицательно определенной. Поэтому осталось лишь показать,
что R является ковариационной матрицей некоторого случайного
вектора.
Пусть т]|, т)2, ..., ^„ — последовательность независимых нор-
мально распределенных случайных величин, ©У'°(0, 1). (Существо-
вание такой последовательности вытекает, например, из след-
ствия 1 к теореме 1 § 9 и, в сущности, может быть легко выве-
дено из теоремы 2 § 3). Тогда случайный вектор £ = Дц (векторы
рассматриваются как векторы-столбцы) обладает требуемым свой-
ством. Действительно,
М^* = М (Ят)) (Лт])* = А  Мт]т]* • А* = АЕА* — АА*.
(Если £ = || £у|| —матрица, элементами которой являются случай-
ные величины, то под М£ понимается матрица ||М^/||).
Лемма доказана.
Обратимся теперь к двумерной гауссовской (нормальной)
плотности
ет₽ {- -
_9 (x — mj (и — т.р . (у —т2)2Т)	...
Р ff/Га “с of Jj’ ' '
§ 8 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II.
251

характеризуемой пятью параметрами znv т2, Стр и2ир (ср. с (3.14)),
где |т1|<оо, |/п.21<оо, ах>0, <г2>0, |р|<1. Простой под-
счет раскрывает смысл этих параметров:
оу = Dg,
т2 = Мт], o2 = Dr],
Р = Р (£, Л)-
В § 4 гл. I было объяснено, что если величины g и ц не кор-
релированы (р (£, ц) = 0), то отсюда еще не вытекает, что они
независимы. Однако если пара (£, ц) — гауссовская, то из некор-
релированности g и 11 следует, что они независимы.
В самом деле, если в (4) р = 0, то
(x—mt)a __ (#—mf2
2а? е 2of
Но в силу (6.55) и (4)
оо	_ (*—Ю,)»
\ у)йу = -Л---е 2of ,
СО	_
/л (у) = ( hv (х, y)dx =	'  е 2oi .
—ос
Поэтому
hn(x, y)=^(x)-fn(y),
откуда следует, что величины £ и т] независимы (см. конец п. 8 § 6).
2.	Убедительной иллюстрацией полезности введенного выше
в § 7 понятия условного математического ожидания является его
применение к решению следующей задачи, относящейся к теории
оценивания (ср. с п. 8 § 4 гл. I).
Пусть (£, т]) —пара случайных величин, из которых £ наблю-
даема, а т] наблюдению не подлежит. Спрашивается, как по зна-
чениям наблюдений над £ «оценить» ненаблюдаемую компоненту т]?
Чтобы сделать эту задачу более определенной, введем понятие
оценки. Пусть <р = <р (х) — борелевская функция. Случайную вели-
чину <р (£) будем называть оценкой г] по g, а величину М [г] — <р (£)]а
(среднеквадратической) ошибкой этой оценки. Оценку <р* (с) назо-
вем оптимальной (в среднеквадратическом смысле), если
Д = М[т] — <р* (g)]2 = inf М[ц — <р(?)]2,	(5)
<р
где inf берется по классу всех борелевских функций <р = <р(х).
252
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Теорема 1. Пусть Мг|2<оо. Тогда оптимальная оценка
Ф* = Ф*(£) существует и в качестве ф*(х) может быть взята
функция
Ф* (х) = М(ц|£ = х).	(6)
Доказательство. Без ограничения общности можно рас-
сматривать только те оценки ф(Е), для которых Мер2 (£) < оо.
Тогда, если ф(£) — такая оценка, а Ф* (£) = М (т] | £), то
М [i] - ф (с)]2 = М [(ц - ф* (£)) + (ср* (I) - ф О]2 =
= М [1] - ф* (g)]2 + м [ф* (?) - Ф (ё)]2 +
+ 2М [(ц - ф* (ё)) (ф* (£) - ф (£))] S& М [т] - ф* (£)]2>
поскольку М [ф* (£) — ф (£)]2 ёз: 0 и по свойствам условных матема-
тических ожиданий
М [(ц - Ф* (Е,)) (ф* (5) - ф (£))] = М {М [(т) - Ф* О (ф* (£) - Ф (£)]) О =
= М {(ср* (В) - ф О М (ц — ф* (В) I £)} = 0.
Теорема доказана.
Замечание. Из доказательства теоремы видно, что ее утверж-
дение справедливо и в том случае, когда £ не только случайная
величина, но и произвольный случайный элемент со значениями
в некотором измеримом пространстве (Е, S). Под оценками ф =
= ф(х) тогда следует понимать (Д)-измеримые функции.
Рассмотрим структуру функции ф* (х) в предположении, что
(£, т]) — гауссовская пара с плотностью, задаваемой формулой (4).
Из (1), (4) и (7.10) находим, что плотность Д, ^(i/|x) услов-
ного распределения вероятностей задается формулой
где
т (х) = т2 + р • (х - mJ.	(8)
Тогда из следствия к теореме 3 § 7
М(ц|£ = х) = f yf^t.(y\x}dy = m(x)	(9)
и
□ (Ш = х)^М[(п-М(Ш = х))2|£ = х] =
= $ (</-m(x))2f1lli(ylx)dy =
= af(l-p2),	(10)
§8 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ II.
253
Заметим, что условная дисперсия D (ц | £ = х) не зависит от х
и, значит,
Д = М[т] — М(п!£ = х)]2 = о1(1 — р2).	(11)
Формулы (9), (11) получены в предположении D£>0, Dt;>0.
Если же D^>0, a Dr| = 0, то они выполняются очевидным об-
разом.
Итак, справедлив следующий результат (ср. с (1.4.16), (1.4.17)).
Теорема 2. Пусть (g, с\) — гауссовский вектор с D£>0.
Тогда оптимальная оценка ц по с. есть
М(1) Е) = Мп+	(12)
а ее ошибка
Д = М[т]-М(11Ш]2 = О>1-(13;
Замечание. Кривая у (х) = М (ц | £ = х) называется кривой
регрессии ц на £ или т| по отношению к £. В гауссовском случае
М (г; |£ = х) = а Ьх и, следовательно, регрессия ц на £ является
линейной. Поэтому нет ничего удивительного в том, что правые
части формул (12) и (13) совпадают с соответствующими частями
формул (1.4.16) и (1.4.17) для оптимальной линейной оценки и
ее ошибки.
Следствие. Пусть ту и е2 — независимые гауссовские слу-
чайные величины с нулевыми средними и единичной дисперсией и
С =	^2^2> Л :===	^2^2"
Тогда М; = Мт] = 0, D£ = fli + al, Di; = bi + b2lt cov(g, т]) = аа&1 +
-ц ajj2, и если ai-f-a(>0, то
М(Ш) = 21^М,	(14)
A =	(15)
3.	Рассмотрим вопросы отыскания функций распределения для
случайных величин, являющихся функциями от других случай-
ных величин.
Пусть Е — случайная величина с функцией распределения F^(x)
(и плотностью /е.(х), если таковая существует), <р = (р(х) —некото-
рая борелевская функция и т] = (р(£). Обозначая 1У = (—сю, у),
находим
Fn (У) = Р (г) у) = Р (ф (£) е ly) = Р (£ <= ф’1 О =
= $ I\(dx),	(16)
Ф"‘ Су)
254
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
что дает выражение для функции распределения F^ (у) через функ-
цию распределения F^ (х) и функцию <р.
Так, если ц = +	а>0, то
(17)
Если т) = е2, то, очевидно, Р^(у} = ® для у<.0, а для у 2= О
У (у) = Р № У) = Р (- Уу_^ Уу) =
= У (Уу) - У (- У у) + Р а = - У у\	(18)
Обратимся теперь к вопросу отыскания плотности /^(у).
Предположим, что область значений случайной величины £
есть (конечный или бесконечный) открытый интервал 1 = (а, Ь),
а функция <р = ср(х), определенная для х е I,  является непре-
рывно дифференцируемой и либо строго возрастающей, либо строго
убывающей. Будем предполагать также, что <р' (х) =/= 0, хе/.
Обозначим h (у) = qr1 (у) и предположим для определенности,
что <р(х) строго возрастает. Тогда для уеф(/)
У (У) = Р (т)  У) = Р (ф (£)< У) = Р (В < Ф"1 Ш =
h(y)
= Р(^Му))= $ k(x)dx. (19)
— со
Согласно задаче (15) из § 6
fi (у)	в
(j fl (х) dx — fi(h (г))h’ (г) dz	(20)
— co	—co
и, значит,
Ai^WUM^'Q/)-	(21)
Аналогично, если функция <p (x) является строго убывающей, то
[Уу^ЬУШ (—
Таким образом, в обоих случаях
(22)
Например, если ц = а£4-6, а#=0, то = и fn(y) =
= _Lf У~ь\
| а | ' \ а )'
Если $~<^(т, а2), а т] = е&, то из (22) находим, что
fn (.У) =
Й^ехр
2а2
//>0,
(23)
где М = ет.
0,
§ 8 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II.
255
Распределение вероятностей с плотностью (23) называется ло-
гарифмически нормальным.
Если функция <р = <р(х) не является строго возрастающей или
строго убывающей, то формула (22) неприменима. Однако для
многих приложений вполне достаточно следующее ее обобщение.
п
Пусть функция ср — (р(х) определена на множестве У [ak, bk],
*=i
причем на каждом открытом интервале Ik — (ak, bk) является не-
прерывно дифференцируемой либо строго возрастающей, либо
строго убывающей, <р' (х) Ф 0 при хе/4. Пусть hk — hk (у) — об-
ратная функция к <р (х), х е Ik- Тогда имеет место следующее
обобщение формулы (22):
h (hk(y))\h'k (у)\- IDk(y),	(24)
t=i
где Dk — область определения функции hh(y).
Так, например, если ц = g2, то, беря	= (— оо, 0), 7а = (0, со),
находим, что hx(y) = — Уyt hi(y) = ]/у, и, значит,
Ai (У) =
^ШУу)+М-Гу)]> У>0,
0,
(25)'
У^О.
Заметим, что этот результат следует также из (18), поскольку
Р(5==-Г^)=о. в частности, если	1), то
Н* (у) =
-7= е~у'2,
V 2лу
о,
У>0,
у^О.
(26)
Несложный подсчет показывает также, что
, .	( Ь(у)+К(—У)> У>®,
у^О,
f _^_(^(АИ+А(-О, у>о,
у^О.
(27)
(28)
4. Обратимся теперь к функциям от многих случайных ве-
личин.
Если £ и т] —случайные величины с совместным распределе-
нием F|n(x, у), а <р = <р(х, у) — некоторая борелевская функция,
то для С = Ф (?, Л) сразу получаем, что
F£(2)=	$ dF^(x, у).	(29)
{*. у, ф(дг, у) <г}
256
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Например, если ср (х, у) — х-\-у, а £ и ц независимы (и, зна-
чит, Fln(x, у) = F^(x)  F^ty)), то, применяя теорему Фубини, по-
лучим ’
F; (г) = j dFz (х)  dFrt (у) =
У Л--Ну<г}
= \Ц^«^г}{х, у) dF%(x) dF^ty) —
R2
= f FF6(.\)H 1{х+у^г](.х, y)dFn(y)\ = f Fn (г - х) dFz (х)
(30)
и аналогично
^(г)= $ Fl(z-y)dFy}(y).
(31)
Если F и G —две функции распределения, то функцию
И (г) = j F (г — х) dG (х)
принято обозначать F*G и называть сверткой F и G.
Таким образом, функция распределения F^ суммы двух незави-
симых случайных величин £ и »] есть свертка их функций распре-
деления Р\ и F4:
Ft = Fi:*FX].
Ясно при этом, что Fj * Fn = Fn * 7Y
Предположим теперь, что независимые случайные величины £
и ц имеют плотности и Тогда из (31), снова применяя тео-
рему Фубини, найдем, что
со tz — y
Fi(z)= J $ ft(u)du f,}(y)dy^
CO r 2	Z	CO
= J J  Д (U - y) du (p) dy = $	$ h (u ~ y) fn (F) dy du,
откуда
и аналогично
A(2)= Г A(2-F)Ai(F)dF.	(32)
— со
co
^(г)= $ fri(z-x)fi(x)dx.	(33)
— CO
Рассмотрим несколько примеров на применение этих формул.
§ 8 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ II,
257
Пусть gx, %2, ....	— последовательность
ково распределенных случайных величин
[—1, 1] плотностью
независимых одина-
с равномерной на
Тогда из (32) находим
О,
и<1,
|х|> 1.
	2 —|х|		
	4	’	|х|^	2,
	о.	|х|	>2,
	(3-|х|)2 16	1~	| х| <3,
	3 —х2 8 ’		
	0,	|х|	>з,
и вообще (по индукции)
h1+-+ln(x)::=
1
2« (п—1)!
Г п + *1
L 2 J
2 (—1)АСп(п + х-2/г)'г-1, \х\^п,
fe = 0
О,
| X I > n.
Пусть
значить
то
теперь	(/пх, of), х\^@^(тг, а|). Если обо'
ф(х) =-^6-^/2
4 V ’	/2л
...	1 /х — т,\ с .	1 [х — тг\
м^=^\-^гг
и из (32) легко находим, что
4+n W
1	/X—(ffli + ni2)\.
Таким образом, сумма двух независимых гауссовских случайных
величин снова есть гауссовская случайная величина со средним
mi + (n2 и дисперсией Oi + a|.
Пусть glt ...,	— независимые случайные величины, каждая
из которых нормально распределена с нулевым средним и еди-
ничной дисперсией. Тогда, используя (26), нетрудно (по индук-
ции) найти, что
4?+...+^
_____ 1_____х(/г/2) -lg-*/2
2п/2Г (п/2)
О,
х>0,
(34)
258 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Обычно величина	обозначается а ее распреде-
ление (с плотностью (32)) называется ^-распределением (хи-квад-
рат распределением) с п степенями свободы (ср. с табл. 2 в § 3).
Если обозначить	, то из (28) и (34) следует, что
W =
' ^хп~ге-х^2
2Л/2Г (и/2) ’
. 0-
xSsO,
х<0.
(35)
Распределение вероятностей с такой плотностью принято назы-
вать ^-распределением (хи-распределением) с п степенями свободы.
Пусть снова g и г] — независимые случайные величины с плот-
ностями и Тогда
F^ (z) =	$ $	(х) (у) dx dy,
{х, у- ху^г}
^/ч(2) = И k^f^yydxdy.
{х’“‘ тМ
Отсюда нетрудно получить, что
оэ	со
W2) = j	-	(36)
— со	—со
и
4(г)= Г h(zy)f^(y)\y\dy.
Г]	—со
(37)
Полагая в (37) £ = и n =	где g0, |г,
независимые гауссовские случайные величины с нулевыми сред-
ними и дисперсиями о2>0, и используя (35), найдем, что
Величина —ёо - обычно обозначается через t, а ее рас-
У ^|+.,-НМ
пределение называется t-распределением или распределением Стью-
дента с п степенями свободы (ср. с табл. 2 в § 3). Заметим, что
это распределение не зависит от о.
5. Задачи.
1.	Проверить справедливость формул (9), (10), (24), (27), (28),
(34)—(38).
§ 8 СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И.
259
2.	Пусть	ln, п 5= 2,— независимые одинаково распре-
деленные случайные величины с функцией распределения F (к)
(и плотностью f(x), если таковая существует) и | = тах(?х,g„),
? = min(?x, gn), р = | — Показать, что
 (х гл=/(f ('/))'’У>х,
6,1	\(F(y)y,	y^x,
y>x,
’	| 0,	y<x,
3.	Пусть и ?2 — независимые пуассоновские случайные ве-
личины с параметрами Лх и Z2 соответственно. Показать, что
+ ?2 также имеет пуассоновское распределение с параметром
-j- Х2.
4.	Пусть в (4) т1 — т2 = 0 Показать, что
f. (?} = giCT2 /1-р2
' п (о-г — 2ра1а2гЦ-о21)
5.	Величина р* (?, ц) = sup р (м (?), к(т])), где супремум берется
и, V
по всем борелевским функциям ц = н(х) и v = v(x), для которых
коэффициент корреляции p(w(g), v (»])) определен, называется
максимальным коэффициентом корреляции с и г). Показать, что
случайные величины ? и ц независимы тогда и только тогда,
когда р* (?, г]) = 0.
6.	Пусть Tj, т2, т„ — независимые неотрицательные одина-
ково распределенные случайные величины с экспоненциальной
плотностью распределения
/(/) = Ае-« /5=0.
Показать, что распределение случайной величины тх +... + тА
имеет плотность
» ^SsO,
и
*-i
P(T! + ... + Tft>/)=2e’Wnr-
i =0
263
ГЛ II МЛТЕЧХТПЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
7.	Пусть	о2). Показать, что для всякого р5^1
М^|р = Срор,
 де
г -2Р/2 о/р+Ц
2 ;
и Г (s) == е-^-1 dx — гамма-функция Эйлера. В частности, для
о
любого целого п1
М£2" = (2л — 1)!!<т2л.
§ 9.	Построение процесса с заданными
конечномерными распределениями
1.	Пусть £= с (со) — случайная величина, заданная на вероят-
ностном пространстве (Q, ef, Р) и
F^(x) = P {со: g(co)<x}-
ее функция распределения. Понятно, что F%(x) является функ-
цией распределения на числовой прямой в смысле определе-
ния 1 § 3.
Поставим сейчас следующий вопрос. Пусть F = F (х) — некото-
рая функция распределения на R. Спрашивается, существует ли
случайная величина, имеющая функцию F(x) своей функцией
распределения?
Одна из причин, оправдывающая эту постановку вопроса, со-
стоит в следующем. Многие утверждения теории вероятностей
начинаются словами: «Пусть S —случайная величина с функцией
распределения F (х), тогда...». Поэтому, чтобы утверждения подоб-
ною типа были содержательными, надо иметь уверенность, что
рассматриваемый объект действительно существует. Поскольку
для задания случайной величины нужно прежде всего задать
область ее определения (Q, eZ), а для того, чтобы говорить о ее
распределении надо иметь вероятностную меру Р на (Q, вГ), то
правильная постановка вопроса о существовании случайной вели-
чины с заданной функцией распределения F (х) такова:
Существуют ли вероятностное пространство (Q, eF, Р) «
случайная величина £ = g (со) на нем такие, что
Р {со: g(co)sgx} = /;(x)?
Покажем, что ответ на этот вопрос положительный и, в сущ-
ности, он содержится в теореме 1 § 1.
Действительно, положим
Й = 7?, aF = &®(/?).
§ 9 ПОСТРОЕНИЕ ПРОЦЕССА
261
Тогда из теоремы 1 § 1 следует, что на (7?, а55(7?)) существует
(и притом единственная) вероятностная мера Р, для которой
Р(й, b] = F (b) — F (a), a<b.
Положим g (со) е= со. Тогда
Р{со: g (со)^х} = Р {со: ©sSx} = P(—оо, x] = F(x).
Таким образом, требуемое вероятностное пространство и искомая
случайная величина построены.
2.	Поставим теперь аналогичный вопрос для случайных про-
цессов.
Пусть X = (£/)/(=?- — случайный процесс (в смысле определе-
ния 3 § 5), заданный на вероятностном пространстве (Q, а?-, Р)
для t е Т е R.
С физической точки зрения наиболее важной вероятност-
ной характеристикой случайного процесса является набор
..tn (хх, .. •, x„)j его конечномерных функций распределения
Рц....tn(xr, .... х„) = Р{и:	.... Ъп^хп], (1)
заданных для всех наборов 7Х, ..., tn с	..<ztn.
Из (1) видно, что для каждого набора tt......tn с
 функции F^...........t (хх, .... х„) являются /i-мерными функ-
циями распределения (в смысле определения 2 § 3) и что набор
*п (А1’ Хп)} Удовлетворяет следующим условиям согла-
сованности:
Рц....7/;(^i, xk)^Ftv ...,tn (xlt ..., xk, + co, ..., -У оо), (2)
где k < п.
Естественно теперь поставить такой вопрос: при каких усло-
виях заданное семейство {Т ....tn (хх, ..., л„)} функций распреде-
ления Ft ... tn(xt, .... хл) (в смысле определения 2 § 3) может
быть семейством конечномерных функций распределения некото-
рого случайного процесса? Весьма примечательно, что все такие
дополнительные условия исчерпываются условиями согласован-
ности (2).
Теорема 1 (теорема Колмогорова о существовании процесса).
Пусть [Ftl...tn(.x1...xn)Y где tt^T	nSsl,
заданное семейство конечномерных функций распределения, удов-
летворяющих условиям согласованности (2). Тогда существуют
вероятностное пространство (Q, TF, Р) и случайный процесс
X = (Sz), е Т, такие что
Р{«: ^^хх, ..., bn-e^xn} = Fti...tn(xl...xn). (3)
х62 ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство. Положим
Й = 7?г, ^ = ^(^7-),
т. е. возьмем в качестве пространства й пространство действи-
тельных функций © = («)/)/(= т с о-алгеброй, порожденной цилин-
дрическими множествами.
Пусть т = [71,	Тогда, согласно тео>
реме 2 из § 3, в пространстве (Rn, £3(Рп}) можно построить и
и притом единственную вероятностную меру Рх такую, что
.... с%):	...,	хл). (4)
Из условий согласованности (2) вытекает, что семейство {Рт}
также является согласованным (см. (3.20)). Согласно теореме 4
из § 3 на пространстве (RT, <£13 (RT)) существует вероятностная
мера Р такая, что
Р {®: (со/р .... <%)еВ} = Рт(В)
для всякого набора т = [/1, ..., tn}, tl<Z.  .<tn-
Отсюда следует также, что выполнено условие (4). Таким
образом, в качестве искомого случайного процесса X = {£z (®)}Ze г
можно взять процесс, определенный следующим образом:
|z(®) = coz,	(5)
Теорема доказана.
Замечание 1. Построенное вероятностное пространство
(RT, S3 (RT), Р) часто называют каноническим, а задание случай-
ного процесса равенством (5) — координатным способом построе-
ния процесса.
Замечание 2. Пусть (Еа, ёа) — полные сепарабельные мет-
рические пространства, а принадлежит произвольному множеству
индексов 2(. Пусть {Pt} — набор согласованных конечномерных
функций распределения Рг, т = [а1, ..., ал] на (Еах X... X Еап,
%ах ® • • • ® ^а„)- Тогда существуют вероятностное пространство
(й, J2-, Р) и семейство /^-измеримых функций (Ха (и))аея(
такие, что
Р{(Ха1, ..., Хал)еВ} = Л(В)
ДЛЯ любых т = [а1, ..., И,г] И В <= 3?а1 ® . . . (X) ^ап.
Этот результат, обобщающий утверждение теоремы 1, следует
из теоремы 4 § 3, если положить й = Еа, | ® j и Ха(со) =?
а	а
= соа для каждого со = (соа), аеЯ.
Следствие 1. Пусть F1(x), F2(x), ... — последовательность
одномерных функций распределения. Тогда существуют вероят-
§ 9 ПОСТРОЕНИЕ ПРОЦЕССА	233
постное пространство (й, еГ, Р) и последовательность независи-
мых случайных величин £г, g2, ... такие, что
В {со: li^')^x}=Fi(x).	(6)
В частности, существует вероятностное пространство (й, aF, Р),
на котором определена бесконечная последовательность бернул-
лиевских случайных величин (в этой связи см. п. 2 § 5 гл. I).
Отметим, что в качестве й можно здесь взять пространство
й = {со: «) = («!, а2, ...), а,= 0,1}
(ср. также с теоремой 2).
Для доказательства следствия достаточно положить Fi..п (хь...
..., x„) = F1(x1)...F„(x„) и применить теорему 1.
Следствие 2. Пусть Т — [0, сю) и {р (s, х\ t, В)} —семей-
ство неотрицательных функций, определенных для s, t^T, t>s,
х R, В е СЙ (7?) и удовлетворяющих следующим условиям:
а)	р (s, х; t, В) является при фиксированных s, х и t веро-
ятностной мерой по В;
Ь)	при фиксированных s, t и В р (s, х; t, В) является боре-
левской функцией по х;
с)	для всех 0sCs</<t и B<=RB(R) выполняется уравнение
Колмогорова — Чэпмена
p(s, х; т, В) = § p(s, х; t, dy) p(t, у, т, В).	(7)
R
И пусть л = л (В) — вероятностная мера на (7?, <$?(7?)). Тогда
существуют вероятностное пространство (й, еТ", Р) и случайный
процесс X = {gz}^o на нем такие, что для 0 = t0 <	. < tn,
Р *о, 'С Хр .. , ^tn хп
х»	Х1	хп
= $ л(с?г/э) 5 Р(°> У<Й ^1. dyj... 5 Р(^-1> Уп-1, tn, dyn). (8)
Так построенный процесс X называется марковским процессом
с начальным распределением л и системой переходных вероят-
ностей {p(s, х; t, В)}.
Следствие 3. Пусть Т — {0, 1, 2, ...} и {7Д(х; В)} —семей-
ство неотрицательных функций, определенных для х е R,
Bt=&(R) и таких, что функция pk(x; В) есть вероятностная
мера по В (при фиксированных k и х) и измерима по х (при
фиксированных k и В). Пусть, кроме того, л = л (В) — вероятно-
стная мера на (7?, <£В(К)).
Тогда можно построить вероятностное пространство (й, УК, Р)
с семейством случайных величин X = {g0, gI( ...} на нем таких,
264
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
ЧТО
Р {£о ' 	Gl'C-'-'i, • • •} :=
х0	Х1	хп
— л (dt/o) Рх(У^ dl/i)• • • Рп(.Уп-у.\ dtJnP
—оо	—со	—00
3. В соответствии со следствием 1 существует последователь-
ность независимых случайных величин £2, одномерные
функции распределения которых есть соответственно F,l, F2, ...
Пусть теперь (£г, gj, (Е2, S2), ... — полные сепарабельные
метрические пространства и Р1, Р2, ... — вероятностные меры
на них. Тогда из замечания 2 следует, что существует вероят-
ностное пространство (Q, ФЕ, Р) и последовательность независи-
мых элементов Хъ Х„, ... таких, что Хп — е7'/^’л-измеримы, и
В^бп.
Оказывается, что этот результат остается справедливым и
в тем случае, когда пространства (£„, 6’„) являются произволь-
ными измеримыми пространствами.
Теорема 2 (теорема Ионеску -Тулчи о продолжении меры и
существовании случайной последовательности). Пусть (Qn, аУ
п = 1, 2, ..., — произвольные измеримые пространства и Q =
= ] [ Qn, ef = | s X Предположим, что на (Q1; eFt) задана
вероятностная мера Pj и для каждого набора («ц, ..., «,,) <=
е Й1Х...ХПЛ, п 1, на (йл+1, -/'„+]) заданы вероятностные меры
Д >'<?). , ..., ®г;-). Будем предполагать, что Р ((Щ, .... а>„; В)
для каждого В ~ сЕГ1+1 являются борелевскими функциями ст (<о1Э ...
..., со,,), и пусть
Рл(Л1х...хЛ„) =
= { PjXfwj ( P(®t; dco2)... ( Р(и1( ..., co,,-!; da>n), (9)
A k <
A, <= ^1, n^A.
Тогда на (Q, PF) существуют единственная вероятностная
мера Р такая, что для любого п  1
Р {cd: 0te4 ...,	4} = Ря(Л1х...хЛл), (10)
и случайная последовательность X = (Х1 (со), Х2 (со), ...) такая, что
Р {со: ХДсо) «= Л^.., Х„1о|еЛ,!’=Р,,(Л1Х...>:Л„),	(И)
где Ai^8t.
Доказательство. Первый шаг в доказательстве состоит
в установлении того, что для каждого п > 1 функцию множеств
Рп, заданную на прямоугольниках Л1Х...хЛл с помощью равен-
ства (9), можно продолжить на о-алгебру PF х 0... 0 FF
§ 9 ПОСТРОЕНИЕ ПРОЦЕССА
265
С этой целью для каждого пТ;2 и В е g,,.g положим
Р„(В)= 5 Pl(rfcDi) $ Р(®х; d®2) $ Р(®1, ..., ®я_2; dco^Jx
й!	fi2	Qn-1	(12)
X ( /в(®1, O.jPfOj, ©л-р d(i)n).
Qn
Нетрудно видеть, что для В = Л1х...хЛ„ правая часть в (12)
совпадает с правой частью в (9). Кроме того, для п — 2, так же
как и в теореме 8 § 6, устанавливается, что Р2 является мерой.
Отсюда по индукции легко устанавливается, что Рп являются
мерами для произвольного п>:2.
Следующий шаг в доказательстве такой же, как и в теореме
Колмогорова о продолжении меры в (7?=°, <й? (/?“)) (теорема 3 § 3).
А именно, для всякого цилиндрического множества Jn (В) =
= {oeQ: (йр ..., соя)едВ}, В <= J0 ®... (х) а7~я, определим
функцию множеств Р с помощью равенства
Р(Л(В)) = РЯ(В).	(13)
Используя (12) и то обстоятельство, что Р (со3, ..., со*; •) явля-
ются мерами, нетрудно установить, что определение (13) кор-
ректно в том смысле, что значение P(J„(B)) не зависит от способа
представления цилиндрического множества.
Отсюда вытекает, что функция множеств Р, определенная в
(13) для цилиндрических множеств и, очевидным образом, на
алгебре, содержащей все цилиндрические множества, является
на этой алгебре конечно-аддитивной мерой. Остается проверить
се счетную аддитивность на этой алгебре и затем воспользоваться
теоремой Кара1еодорп.
В теореме 3 § 3 осуществление указанной проверки основы-
валось на том свойстве пространств (Рп, <P3(Rn)), что для каж-
дого борелевского множества В можно .найти компакт А s В,
вероятностная мера которого сколь угодно близка к мере мно-
жества В. В рассматриваемом случае этот момент доказательства
видоизменяется следующим образом.
Пусть, как и в теореме 3 § 3, {Вя}я> i — последовательность
цилиндрических множеств
Вп = {со: (сох, ..., <оя) <=Вп},
убывающих к пустому множеству 0, но
lim Р(В„)>0.	(14)
Из (12) для п > 1
Р(вя)= $
я.
266
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
где
$ Р	5 /вл(®н	“«)Р (го2>	йл-1! dan).
Д	ап
Поскольку Вп^^Вп, то Ви+1 s В„Х Йл+1 и, значит, /в„ + 1(со1, ...
..., со,.+1) < IBn (гоъ ..., сол) Ian+1 (гол+1). Поэтому последователь-
ность функций {fn" (к>1)}л> 1 является убывающей. Пусть /(1) (<»i) ==»
«= lim fn' (roj. Тогда no теореме о мажорируемой сходимости
п
lim Р (Вл) = lim $ А11 (гог) Рг (drox) = $ fW (Ю1) Р, (daj.
п	«я,	я.
По предположению lim Р (/?„) > 0. Отсюда следует, что найдется
п
такое со{еВ, что Д1’ (со'}) > 0, поскольку, если точка гох Blt
то /«’(со1)==0 для’всех n^sl.
Далее, для п > 2
Д‘>?)= $ fn- ЫД(< dro2),	(15)
Q2
где
fn' (ю2) = $ P^i, го2; da3)...
fis
. .. \ 7вл(®1, ГО,, ..., СО,,) Р ('(Oj, со.,, ..., con..x, dro,.).
%
Как и в случае последовательности {/«’(гор}, устанавливается,
что последовательность {/Д' (со,)} является убывающей. Пусть
Л2)(го2) = Нш /Д'(со2). Тогда из (15) следует, что
0<ДП(&){)= рЦ^Р^- d^),
я3
и найдется такая точка со? е Я2, что f^ (со2) > 0. При этом
(со?, со2) В2. Продолжая указанный процесс, получим, что для
любого п найдется точка (со?, ..., со;}) е Вп. Следовательно, точка
(со?, сол, ...) е П Вп, но в то же время, по предположению,
рВл=0. Полученное противоречие показывает, что limP(B„) = 0.
п
Итак, утверждение теоремы в части, касающейся существова-
ния вероятностной меры Р, доказано. Заключительная часть оче-
видным образом следует из предыдущей, если положить Хп (со) =
= со,,,	1.
Следствие 1. Пусть (Еп, <5Л)Л>1 — произвольные измеримые
пространства и (Рп)п^ i — вероятностные меры на них. Тогда суще-
§ 16 РАЗНЫЕ ВИДЫ СХОДИМОСТИ
2б7
ствуют вероятностное пространство (й, aF, Р) и семейство неза-
висимых случайных элементов Хъ Х2, ... со значениями в (Elt ёг),
(Е2, <ё2), ..., соответственно такие, что
Р {со: Хп (®) е= В} = Рп (В), В <= Sn, п 1-.
Следствие 2. Пусть Е = {1, 2, ...}, {pk(x\ ^{ — семей-
ство неотрицательных функций, k^l, х, у ^.Е, таких, что
У, ph (х\ у) = \, х^Е, k^\. Пусть, кроме того, л = л(х)
уеЕ
распределение вероятностей на Е (л(х)^О, л(х) = 1).
В
Тогда существуют вероятностное пространство (й, aF, Р) и
семейство случайных величин Х = {50,	...} на нем такие, что
Р 1-0 = А'о, = Хц • • • , 1/г — Хп} =
= л (х0) р± (х0, Xj) . . . рп (х„_ь Хп) (16)
(ср. с (1.12.4)) для всех х, и /г>1. В качестве й можно
взять пространство
й = {со: со = (х0, хг, ...), х( е Е}.
Последовательность случайных величин X — {g0,	..}, удо-
влетворяющих условию (16), называют марковской цепью со счет-
ным множеством состояний Е, с матрицами переходных вероят-
ностей {pk (х, у)} и начальным распределением вероятностей л.
(Ср. с определением в § 12 гл. I.)
4. Задачи.
1.	Пусть й=[0, 1], cF —класс борелевских множеств на [0, 1],
Р —мера Лебега на [0, 1]. Показать, что пространство (й, aF, Р)
является универсальным в том смысле, что для любой функции
распределения F (х) на (й, aF, Р) можно так определить случай-
ную величину 2 = g (со), что ее функция распределения Fj(x) =
= Р(£<х) совпадает с функцией F (х). (Указание. % (со) =
=F-1(co), О<со<1, где F-1 (со) = sup {х: F(x)<co}, когда 0<
<«<!, а |(0), 5(1) могут быть взяты произвольными.)
2.	Проверить согласованность семейств распределений в след-
ствиях к теоремам 1 и 2.
3.	Вывести утверждение следствия 2 к теореме 2 из теоремы 1.
§ ЮГРазные виды сходимости последовательностей
случайных величин
1. Как и в математическом анализе, в теории вероятностей
приходится иметь дело с разными видами сходимости случайных
величин. Ниже будут рассмотрены следующие основные виды схо-
268
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕН
димости: по вероятности, с вероятностью единица, в среднем
порядка р, по распределению.
Начнем с определений. Пусть g2, ... — случайные вели-
чины, заданные на некотором вероятностном пространстве (Й, sF, Р).
Определение 1. Последовательность случайных величин
J-j, П2, ... называется сходящейся по вероятности к случайной
величине g (обозначение:	если для любого е>0
Р {I In - ё | > е} -»- 0,	и-э-оэ.	(1)
С этим видом сходимости мы уже встречались в связи с зако-
ном больших чисел в схеме Бернулли, утверждающему, что
Р-^ | — — р j > -> 0, п -> со
(см. обозначения в § 5 гл. I). В анализе этот вид сходимости
принято называть сходимостью по мере.
Определение 2. Последовательность случайных величин
£2, ... называется сходящейся с вероятностью единица (почти
наверное, почти всюду) к случайной величине %, если
Р {«:	у^}=0,	(2)
т. е. если множество исходов со, для которых (со) не сходятся
к £ (со), имеет нулевую вероятность.
Этот вид сходимости обозначают следующим образом:
(Р-п. н.), или	или
Определение 3. Последовательность случайных величин
£х, £2, называется сходящейся в среднем порядка р, 0<р<оо,
к случайной величине g, если
п-+оз.	(3)
В анализе этот вид сходимости называют сходимостью в смысле
.р
L. В этой связи (3) обычно записывают в виде с,г —. В частном
случае р = 2 эту сходимость называют также сходимостью в сред-
нем квадратическом и пишут £ = 1. i.m.E„ (1. i. m. — сокращение
от limit in mean — сходимость в среднем).
Определение 4. Последовательность случайных величин
... называется сходящейся по распределению к случайной
величине g (обозначение:	если для любой ограниченной
непрерывной функции f = f(x)
МЖ)->МШ, и->со.	(4)
Наименование этого вида сходимости объясняется тем, что, как
будет показано в § 1 гл. III условие (4) эквивалентно сходимо-
сти функций распределения F^n (х) к функции распределения
§10 РАЗНЫЕ ВИДЫ СХОДИМОСТИ
269
П (х) в каждой точке х, где функция F% (х) непрерывна. Эту
сходимость обозначают
Подчеркнем, что сходимость по распределению случайных
величин определяется только в терминах сходимости их функций
распределения. Поэтому об этом виде сходимости имеет смысл
говорить и тогда, когда случайные величины заданы на разных
вероятностных пространствах. Этот вид сходимости будет под-
робно изучаться в гл. III, где, в частности, будет объяснено,
почему в определении сходимости F^n=}F^ требуется сходимость
лишь в точках непрерывности функции Г5(х), а не для всех х.
2. В математическом анализе для решения вопроса о сходи-
мости (в том или ином смысле) заданной последовательности
функций оказывается полезным понятие фундаментальной после-
довательности, или последовательности Коши. Введем аналогичные
понятия для первых трех рассмотренных видов сходимости пос-
ледовательностей случайных величин.
Будем говорить, что последовательность случайных величин
фундаментальна по вероятности, с вероятностью единица
и в среднем порядка р, 0 < р <; сю, если выполнены соответ-
ственно следующие условия: для любого е>0 P{jg„ — £т\<.
<е}->0, п, т-+со, последовательность {|п («)}«> i фундамен-
тальна для почти всех мей, последовательность функций
{ (®)> 1 фундаментальна в смысле Lp, т. е. М |	-> 0,
п, т-^-схь.
3. Теорема I. а) Для того чтобы (Р-п. н.), необхо-
димо и достаточно, чтобы для любого е > 0
Ь) Последовательность {^л}ч>1 фундаментальна с вероятностью
единица тогда и только тогда, когда для любого е > 0
Р {sup I g* —	n->oo,	(6)
или, что эквивалентно,
Р {sup | Z,l+k - In I e} 0, n-+oo.
(7)
Доказательство, а) Пусть =	|£л —£|2ге}, Аг =
= 11шЛ®= Q [J Aek. Тогда
л= 1 k^n
{«:	J Де= (J Д1М
е > 0	т = 1
270 ГЛ. И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИЙ ВЕРОЯТНОСТЕЙ
Но
Р(ЛЕ) = ПтР/ [J ЛЕЛ
п \к>п Г
поэтому утверждение а) является результатом следующей цепочки
импликаций:
/ ю \
0 = Р {со: Lt4} = P U А° <=>Р( U А"т =°<=>
\е > 0	/	\т = 1	/
<=> Р (А^т) = 0,	1 <=>Р(ЛЕ) = 0, е>0<=>
<=2>Р/ II ЛЕК>0, /г-> оо <=} Р (sup I — ^|^е)->0, п->оо.
\k^n j	k>n
b) Обозначим 5Ez = {co: |gfe-Bz|Sse}, BF- = Q |J B\. i-
n = 1 k n
n
Тогда {or {^(o))}„>i не фундаментальна} = [J Вг, и так же,
е>0
как в а), показывается, что Р {со: {gra(co)’„>i не фундаментальна} =
= 0 <j=> (6), Эквивалентность же утверждений (6) и (7) следует из
очевидных неравенств
sup I	। 7 sup J ^4-^  ^л+z} ' 7 2 sup 1 |л f A j.
*>0	7=s0	k-0
1^3
Теорема доказана.
Следствие. Поскольку
Р {sup|^-F.]^e} =Р f U СЬЧМк 5 Р {I Ь-S I ,
11	V? {->/г	) k^n
то выполненье для каждого е>0 условия
5 Р{|Ъ-Ь2М<^	(8)
k = \
достаточно для сходимости -22
В связи с условием (8) уместно сейчас отметить, что положен-
ные при его выводе рассуждения позволяют установить следую-
щий простой, но важный результат, являющийся основным сред-
ством при исследовании свойств, выполняющихся с вероятностью
единица.
Пусть Л1; Л2,	—некоторая последовательность событий из
еГ. Напомним (см. 1абл. в § 1), что через {Л„б.ч.} обозначается
событие lim Л„, состоящее в том, что произойдет бесконечно много
событий из Л1( Л2,
§ 10 РАЗНЫЕ ВИДЫ СХОДИМОСТИ
271
Лемма Бореля —Кантелли.
а)	Если £Р(Ля)<оо, то Р{Л„б.ч.} = 0.
Ь)	Если 2P(4) = oo и события Alt А„, ... независимы, то
Р {Ллб.ч.} = 1.
Доказательство, а) По определению
{Ап б. ч} = lim Ап = Q J Аь.
п=Ik^n
Поэтому
Р{Л„ б. ч.} = р/р илА=НшРШ ЛЛ<Нт £ Р(ЛЙ),
= 1 k^n )	\k^n /	k^n
откуда и следует утверждение а).
Ь)	Если события Лп Л2, ... независимы, то таковыми же будут
и события Лп А2, .... Тогда для любого N^n
pfП П р(М
'k=n	/	k—ll
откуда нетрудно вывести, что
/СО Ч	со
рШ^=Пр(М	(9)
k—n / k=n
В силу неравенства log(l — х)-< — х, 0^х<;1,
log Д [1 -Р (ЛА)]= log[l-PMJ]^- 2 Р(ЛА) = —со.
k = n	k =п	k ~п
Следовательно, для любого п
/ СО	х
Р п л* =°
\k=n /
и, значит, Р (Лл б. ч.) = 1.
Лемма доказана.
Следствие 1. ЕслиЛ® = {«>:	— s|«5e}, то условие (8)
означает, что 2 Р (^л) < со- 6 > О, и по лемме Бореля — Каи-
п= 1	___
телли Р (Л8) = 0, е > 0, где Ле = lim Л®. Тем самым
S р Шй — 11 S3 е} < со, е > 0 => Р (Ле) = О,
е > 0 <=> Р {со:	е) = 0,
что уже отмечалось выше.
2Т2
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Следствие 2. Пусть — последовательность положи-
тельных чисел таких, что е„ | О, н->оо. Тогда, если
ОО
У Р Шл - £ I < оо,
Л = 1
(Ю)
ТО
В самом деле, пусть А„ = {| сп — % {Э=е,г}. Тогда по лемме
Бореля — Кантелли Р (Ап б. ч.) = 0. А это означает, что для
почти каждого исхода оеО найдется такое N = N(ti>), что для
«2sjV(<o) j £„(«) — £(co)|sge„. Но ея ( 0, поэтому (®)£ (со)
для почти всех ю Q.
4.	Теорема 2. Имеют место следующие импликации:
(11)
р>0,	(12)
(13)
Доказательство. Утверждение (11) следует из сравнения
определения сходимости по вероятности с критерием (5), а импли-
кация (12) —из неравенства Чебышева.
Для доказательства (13) пусть |/(х)|^с, е>0 и N таково,
что Р (| £ | > N) =Се/4с. Выберем б таким, чтобы для всех | х | sg N
и |х —z/|sg6 было выполнено неравенство | f (х) — f (у) j sg е/4с.
Тогда (ср. с доказательством теоремы Вейерштрасса в п. 5 § 5 гл. I)
+ M(№HG)I; i^-^б, |^|>У) +
+ М(№)-Ш1; |^-g|>6)^
sge/2-|-e/2-[-2cP {| — g j > 6} = е-j-2сР {|g„-gf>6b
Но P | > 6}-> 0, поэтому для достаточно больших п
М |/(£«) — /(2) j sg 2е, что в силу произвольности е>0 доказы-
вает импликацию (13).
Теорема доказана.
Приведем ряд примеров, показывающих, в частности, что в (11),
(12) обратные импликации, вообще говоря, несправедливы.
Пример 1. (^Х-^^НЛЦ; нл	Пусть Q =
= [0, 1], а^ = е®([0, 1]), Р —мера Лебега. Положим
/лн®),	1 = 1,2, .... n; н^1.
Тогда последовательность случайных величин
Ш; У; У; •••}
§ 10 I ЗНЫЕ ВИДЫ СХОДИМОСТИ
273
сходится и по вероятности, и в среднем порядка р>0, но не
сходится ни в одной точке со е [0, 1].
Пример 2.	—	р>0). Снова пусть
Q = [0, 1J, & = &([0, 1]), Р —мера Лебега и

еп, С - '7 со sd/n,
0, со > 1/п.
Тогда последовательность {£„} сходится с вероятностью единица
(и, следовательно, по вероятности) к нулю, однако для любого
р>0
епР
М|ЫР = —-*°о, п->оо.
Пример 3.	?)• Пусть { }— последователь-
ность независимых случайных величин с
P(g„=l) = p„, Р(|„ = 0)=1-р„.
Тогда нетрудно установить, что
с„ ~ 0«р„—>-0, п->оо,	(14)
—0»р„-*0, п-+оо,	(15)
1п^0^^рп<оо.	(16)
п=1
В частности, при р„=1//г	— 0 для любого р > 0, но " Q.
В следующей теореме выделяется один интересный случай,
когда из сходимости почти наверное следует сходимость в смысле L1.
Теорема 3. Пусть {£,п\ — последовательность неотрицатель-
ных случайных величин таких, что £ и Mg -> Mg < оо.
Тогда
M|^-g|->0, п->оэ.	(17)
Доказательство. Для достаточно больших п M£n<oo,
поэтому для них
—£л| =М (£ — In)	4-	—|)/{gn>£} =
= 2М (£-Ш{?>?„} + М(^-£).
Но 0==£ (£ — £п) 7 sg Поэтому по теореме о мажорируемой
сходимости lim (g —g„) 7	= 0, что вместе с предположением
Mg„->Mg доказывает (17).
Замечание. Теорема о мажорируемой сходимости справед-
лива и тогда, когда в ней сходимость почти наверное заменяется
274
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
на сходимость по вероятности (см. задачу 1). Поэтому в теореме 3
сходимость Дп~можно заменить на сходимость
5.	Из математического анализа известно, что всякая фунда-
ментальная числовая последовательность {хл}> %n<=R, является
сходящейся (критерий Коши). Приведем аналогичные результаты
для сходимости последовательности случайных величин.
Теорема. 4 (критерий Коши сходимости почти наверное).
Для того чтобы последовательность случайных величин
была сходящейся с вероятностью единица (к некоторой случайной
величине у, необходимо и достаточно, чтобы она была фундамен-
тальна с вероятностью единица.
Доказательство. Если	то
sup|gfi-gz|=s£sup|b-B| -4-sup | gz — В!,
k^n	l^n
откуда вытекает необходимость условия теоремы.
Пусть теперь последовательность >i фундаментальна с
вероятностью единица. Обозначим =={о):{си (о\)} не фундамен-
тальная}. Тогда для всех оей У числовая последовательность
{Е,п (со))л>1 является фундаментальной и, согласно критерию Коши
для числовых последовательностей, существует limg„(co). Положим

lim In (®),
О,
со eQ 1
СО 4= гг/p*.
(18)
Так определенная функция является случайной величиной и, оче-
видно, 1п~-1
Теорема доказана.
Прежде чем переходить к случаю сходимости по вероятности,
установим следующий полезный результат.
Теорема 5. Если последовательность {£„} фундаментальна
(сходится) по вероятности, то из нее можно извлечь подпоследова-
тельность фундаментальную (сходящуюся) с вероятностью
единица.
Доказательство. Пусть последовательность фундамен-
тальна по вероятности. В силу теоремы 4 достаточно доказать,
что из нее можно извлечь подпоследовательность, сходящуюся
почти наверное.
Положим щ — 1 и по индукции определим пк, как то наи-
меньшее	для которого при всех s^n, t^n
Тогда
Р {I > 2-Д < 2~*.
k
§ 10 РАЗНЫЕ ВИДЫ СХОДИМОСТИ
275
И по лемме Бореля — Кантелли
Н1^+1-М>2-*б.ч.}=о.
Поэтому с вероятностью единица
СО

Пусть = |со: У, +1 — tnk | = сю}. Тогда, если положить
Чи + 5 (С+1 -И- “ е Q\®^>
k=l
0,	со е
то получим ^,П/1
Если же исходная последовательность сходится по вероятности,
то она и фундаментальна по вероятности (см. далее (19)) и,
следовательно, этот случай сводится к уже разобранному.
Теорема доказана.
Теорема 6 (критерий Коши сходимости по вероятности).
Для того чтобы последовательность случайных величин {£,
была сходящейся по вероятности, необходимо и достаточно, чтобы
она была фундаментальна по вероятности.
Доказательство. Если	то
р {IL, -	Р {-1	е/2} + Р {I 1 |>е/2} (19)
и, следовательно, последовательность {£„} фундаментальна по
вероягнести.
Обратно, если ДД фундаментальна по вероятности, то тогда,
согласно теореме 5, найдутся подпоследовательность и слу-
чайная величина £ такие, что _++. g. Но тогда
Р {j g | So е} < Р {|	| =+е/2} + Р {| Ьк-SK+.S/2},
откуда ясно, что Д, Теорема доказана.
В связи со сходимостью в среднем порядка р>0 сделаем
прежде всего несколько замечаний о пространствах Lp.
Будем обозначать через LP = LP(Q, 6Д, Р) — пространство
случайных величин	с М Д |р = $ Д р dP < со. Предпо-
а
ложим, что р+ 1 и положим
Н k = (M 1ж1/р.
Ясно, что
(20)
ИЬ = 1с1Ш1р, с-постоянная,	(21)
276
ГЛ IT. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
и в силу неравенства Минковского (6.31)
i^+u<iia+nu-
(22)
Таким образом, в соответствии с известными определениями
функционального анализа функция ||• !|р, определенная на Lp и
удовлетворяющая условиям (20) —(22), является (для pSsl)
полунормой.
Чтобы она была и нормой, нужно еще выполнение свойства

(23)
Это свойство, конечно, не выполнено, поскольку, согласно свой-
ству Н (§ 6), можно лишь утверждать, что ^ = 0 почти наверное.
Однако если под Lp понимать пространство, элементами кото-
рого являются не случайные величины gcM|^|p<oo,a классы
эквивалентных случайных величин (g эквивалентно ц, если S = q
почти наверное), то становится нормой, a Lp — нормирован-
ным линейным пространством. Если в каждом классе эквива-
лентных случайных величин выбрать по одному элементу, беря
функцию, тождественно равную нулю, в качестве представителя
в классе функций, ей эквивалентных, то полученное простран-
ство (которое также обозначается Lp) будет уже линейным нор-
мированным пространством функций (а не классом эквивалент-
ности).
Один из важных результатов функционального анализа сос-
тоит в доказательстве того, что пространства Lp, р1ем1, явля-
ются полными, т. е. всякая фундаментальная последовательность
является сходящейся. Сформулируем и докажем этот результат
на вероятностном языке.
Теорема 7 (критерий Коши сходимости в среднем порядка
рРы 1). Для того чтобы последовательность случайных величин
из Lp сходилась в среднем порядка р^1 к случайной
величине, принадлежащей Lp, необходимо и достаточно, чтобы
эта последовательность была фундаментальной в среднем по-
рядка р.
Доказательство. Необходимость следует из неравенства
Минковского. Пусть {gn}— фундаментальна —«,/«->
->со). Как и в доказательстве теоремы 5, выберем подпоследо-
вательность } такую, что	где t — некоторая случай-
ная величина с || g <; со.
Положим «!=( и по.индукции выберем nk, как то наимень-
шее п^п/i^, для которого при всех s^n, t^n
Обозначим
1Ъ-Ыр<2-2\
^ = {®: |^+1-Ц|^2-Д.
§ 10 РАЗНЫЕ ВИДЫ СХОДИМОСТИ
277
Тогда в силу неравенства Чебышева
Р(ЛА)<
MIL -L к
2 kr ~~~ tj-kr
2-*r<2"ft.
Так же как в теореме 5, отсюда выводится, что существует
такая случайная величина %, что ЕЯ/;—
Выведем отсюда, что ||£л —£|1р->0, п->сю. С этой целью
зафиксируем е > 0 и выберем Л7 = Лг (в) таким, что || £я — gm II ₽ <
<е для всех n^N, m^N, Тогда для любого фиксированного
п >- Д? в силу леммы Фату
M|g^-g|₽ = M Him |g„-g„jn=Mjlim | gn-
I In - lnk \p = link IIIn - lnk )l£ < e.
n. co	n. —> co
Следовательно, M | g„ — g |p-> 0, n -> сю. Ясно также, что поскольку
g = (g — g«) 4^я, то в силу неравенства Минковского M|g|p<;cx>.
Теорема доказана.
Замечание 1. В соответствии с терминологией функци-
ей ал ыюго анализа полные нормированные линейные пространства
называются банаховскими пространствами. Таким образом, прост-
ранства Lp, р >= 1, являются банаховскими.
Замечание 2. Если 0 < р < 1, то || g |lp = (М |g |р)1/₽ не
удовлетворяет неравенству треугольника (22) и, следовательно,
не является нормой. Тем не менее пространства (классов экви-
валентности) Lp, 0<р<1, являются полными относительно
метрики d (g, ц) == М — т| |р.
Замечание 3. Обозначим LCO = ECO(Q, Р) пространство
(классов эквивалентное! и) случайных величин g = g(<o), для
которых JgJ^coo, где величина |^|1ет, называемая существенным
супремумом g, определяется формулой
|| g |1от == css sup 111 — >п^ {0 -С с  ' сю: Р (|g1 > с) = 0}.
Функция ||-[дз является нормой, и относительно этой нормы
пространство L является полным.
6. Задачи.
1.	Используя теорему 5, показать, что в теоремах 3 и 4 из
§ 6 сходимость почти наверное может быть заменена сходимостью
по вероятности.
2.	Доказать, что пространство полно.
3.	Показать, что если gn ~- S и в то же время g„-^r], то g
и т] эквивалентны (Р (g 7^ ц) - 0).
278
ГЛ И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
4.	Пусть	Лл-^Л и случайные величины £ и л экви-
валентны. Показать, что для любого е>0
РШл —	п->оо.
5.	Пусть	Лга-^Л- Показать, что а^п + bt]n+ Ьи\
(а, b — постоянные), | £„ | -£• I % I» ?пЛи £л-
6.	Пусть (£•„ — с)2-->0. Показать, что Д, —t2.
7.	Показать, что если 1п-^С, где С — постоянная, то имеет
место и сходимость по вероятности:
L-iC=7l/C.
8.	Пусть последовательность {£«}«>! такова, что для некото-
рого р>0 М <„'р < со. Показать, что с,г—>0 (Р-п. н.).
72—1
9.	Пусть 1 —последовательность независимых одина-
ково распределенных случайных величин. Доказать, что
ОО	со
М | 1 < оо « V Р {>в  /г} <оо« V Р ДГ |>е}<оо=>
п= 1	п— 1
=> -к.»о(Р-п. н.).
п '	'
10.	Пусть 1 — некоторая последовательность случайных
величин. Предположим, что существуют случайная величина с и
подпоследовательность {nk} такие, что	(Р-п. н.) и
max —1„	|->0 (Р-п. н.) при k-^oo. Показать, что
тогда с„^1(Р-п. н.).
11.	Определим d-метрику во множестве случайных величин,
полагая
d р л) = М___Д1_
Л? м 1+1^1
и отождествляя случайные величины, совпадающие почти на-
верное. Показать, что сходимость по вероятности эквивалентна
сходимости в d-метрике.
12.	Показать, что не существует метрики во множестве слу-
чайных величин такой, что сходимость в ней эквивалентна схо-
димости почти наверное.
§ И. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 279
§ 11. Гильбертово пространство случайных величин
с конечным вторым моментом
1. Среди банаховских пространств Lp, рассмотренных
выше, особо важную роль играет пространство Л2 = Ла(й, А, Р)—
пространство (классов эквивалентных) случайных величин с ко-
нечным вторым моментом.
Если g, т](=Е2, то положим
(I, т]) = М^г].	И)
Ясно, ЧТО ДЛЯ g, Т],
(а^ + b}], 0 = «(ё> О +	С).	«. b^R,
(L 1)^0
и
а, Е)=о^1^о.
Тем самым (|, ц) является скалярным произведением. Относи-
тельно нормы
Ш = (^)1/2>	(2)
индуцируемой этим скалярным произведением, пространство L2
(как было показано в § 10) является полным. Поэтому в соот-
встшвии с терминологией функционального анализа пространство
с введенным скалярным произведением (1) является гильберто-
вым пространством случайных величин (с конечным вторым
моментом).
Методы гильбертова пространства широко используются
в теории вероятностей при исследовании свойств, определяемых
лишь первыми двумя моментами рассматриваемых случайных
величин («/Атеория»), В этой связи остановимся на основных
понятиях и фактах, необходимых для изложения Е2-теории
(гл. VI).
2. Две случайные величины g и т] из £2 будем называть
ортогональными (gJ_T|), если их скалярное произведение (^, т|) =
=Д/||1] = 0. Согласно § 8 величины g и т] назывались некоррели-
рованными, если cov (£, т|) = 0, т. е. если
М?т| = Мс • Мт].
Отсюда следует, что для случайных величин с нулевыми сред-
ними значениями понятия их ортогональности и некоррелиро-
ванности .совпадают.
Система М~ L2 будет называться системой ортогональных
случайных величин, если с Д ц для любых т] е М (gy=T)).
280
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Если к тому же для всех g е М их норма |Щ = 1, то М
называется ортонормированной системой случайных величин.
3. Пусть М = {тц, .... т]„} — ортонормированная система и £ —
какая-то случайная величина из L2. В классе линейных оценок
п
вида У, ару найдем наилучшую (в среднеквадратическом смысле)
оценку случайной величины £ (ср. с п. 2 § 8).
Простой подсчет показывает, что
2
м % - У м.
п
п
__ ; £ '2
\
н?;2
(3)
где мы воспользовались тем, что
ai~2ai^, T]i) = i at - (g, rp) 2 - | (g, rp) |2.
Отсюда ясно, что инфинум JVI £ — У а,т],-
2 по всем действи-
тельным а1( ..., ап достигается при =	Л()> i = 1, ..., п.
Таким образом, оптимальной (в среднеквадратическом смысле)
линейной оценкой g по т^, ..., т]/г является сценка
п
i = У (I, ЛМ-
1=1
При этом
Д = inf М
п	2	п
% - У = М|£ -|,2 - S I (£> Л-) I2
i=i	i=i
(4)
(5)
(ср. с (1.4.17) и (8.13)).
§ И. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН
281
Из (3) вытекает также следующее неравенство Бесселя', если
М — {т]1» т]2> • • •} — некоторая ортонормированная система и ge
eL2, то
СО
Sl(L W^ii2;	(6)
1=1
при этом равенство достигается тогда и только тогда, когда
со
g= 1. i.m. 2 (?>	(7)
i=i
Оценку g, являющуюся оптимальной линейной оценкой, часто
обозначают М (g |т]1(	i]„) и называют условным математичес-
ким ожиданием (g относительно тц, .г>„) в широком смысле.
Это название объясняется следующим. Если рассматривать
всевозможные оценки <р = ф(т]1, ..., ц„) случайной величины g
по rjj, .гц (<р — борелевская функция), то оптимальной оцен-
кой будет оценка <р* = М(g|ц.,	т)„), т. е. условное матема-
тическое ожидание g относительно	т|я (ср. с теоремой 1
§ 8). Поэтому оптимальную линейную оценку по аналогии обо-
значают М (g | тц, ..., т]„) и называют условным математическим
ожиданием в широком смысле. В этой связи отметим, что если
г),, ..., образуют гауссовскую систему (см. далее § 13), то
м (g I гц, ..., ц„) и М (g I гц, ..., Т]„) совпадают.
Остановимся на геометрическом смысле оценки g = М (g I гц,...
..., >]„).
Обозначим через Х = Х(г]1, ..., т)„) линейное многообразие,
порожденное ортонормированной системой случайных величин
т]|, ..., тц (т. е. совокупность случайных величин вида
п
У арсу, at е RY
i=--\
Тогда из вышеизложенного вытекает, что g допускает «орто-
гональное разложение»
g = g + a-g),	(8)
где	a g — g ...L в том смысле, что g — _1_ X для любого
X е X. Естественно поэтому g назвать проекцией g на X («бли-
жайшим» к g элементом из X}, а ^ — ^ — перпендикуляром к X.
4. Предположение ортонормированности случайных величин
т)!, ..., т]„ позволило просто найти оптимальную линейную
оценку (проекцию) g для g по гц, ..., Сложнее обстоит дело,
если отказаться от предположения ортонормированности. Од-
нако случай произвольных величин тц, ..., т]„ в определенном
смысле может быть, как будет ниже показано, сведен к уже
282
ГЛ. И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
рассмотренному случаю ортонормированных величин. Для прос-
тоты дальнейшего изложения будем предполагать, что все рас-
сматриваемые случайные величины имеют нулевые средние.
Будем говорить, что случайные величины т]1( ..., линейно
независимы, если равенство
У, ОРЪ- = 0 (Р-п. н.)
<=1
выполнено лишь тогда, когда все а, равны нулю.
Рассмотрим матрицу ковариаций
Rs= Мцт|*
вектора Н = (т]г, Лп). Она является симметрической и неот-
рицательно определенной и, как отмечалось в § 8, найдется
ортогональная матрица 0, приводящая -ее к диагональному
виду
0*^0 = D,
где
/rft	о\
D =
\0	d,J
— матрица с неотрицательными элементами dit являющимися
характеристическими числами матрицы R, т. е. корнями X харак-
теристического уравнения det (R —= 0.
Если величины гр, .... т]„ линейно независимы, то детерми-
нант Грама (т. е. detR) не равен нулю и, значит, все d/>0.
Пусть
/Уд? о\
Б =
\о	VTJ
и
P =	(9)
Тогда матрица ковариаций вектора 0
Мрр* =	= Е,
и, следовательно, вектор ₽ = (₽i, ..., ₽«) состоит из некоррели-
рованных случайных величин. Ясно также, что
n = (<W.	(Ю)
Таким образом, если Цр ..., т|„ линейно независимы, то
найдется такая ортонормированная система (Д, ..., рл, что выпол-
нены соотношения (9) и (10). При этом
^{Л1........л»}=^{Р1.....Р4.
§ 11 ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН
283
Изложенный способ получения ортонормированной системы
рп в ряде задач сказывается не очень удобным. Дело
в том, что если трактовать щ как значение случайной последо-
вательности (т]1, ,.., т]„) в момент времени i, то построенное
выше значение Р; сказывается зависящим не только от «прош-
лого» (т]1, тр), но и от «будущего» (т]/+1» •••, Лл)- Приводи-
мый ниже процесс ортогонализации Грама —Шмидта не стра-
дает этим недостатком, более того, он обладает тем преиму-
ществом, что может быть применен к бесконечным последова-
тельностям линейно независимых случайных величин (т, е.
последовательностям, у которых любое конечное число величин
является линейно независимыми).
Пусть tjj, т]2, ... — последовательность линейно независимых
случайных величин из L2. Построим по индукции последова-
тельность ех, е2, ... следующим образом. Пусть et — 11)1 , Если
elt ..., еА_х уже выбраны так, что они ортонормированы, то
положим
где т]п есть проекция т]„ на линейное многообразие X (ех,
..., е„_1), порожденное величинами тр, ...,
Лл=2 0b’ е*)е*-
(12)
Поскольку величины тр, ..., т]л линейно независимы и
% (Пт, .... nn-i) = =^(ei, .... ел-1), то || щ —щ|'> 0 и, следо-
вательно, ея определено.
По построению ||е„ || = 1, п^?1, и ясно, что (е„, eft) = 0, k<Zn,
Тем самым последовательность ег, е2, является ортонормиро-
ванной. При этом, согласно (II),
Нга —	4~ Ьп&п>
где Ьп = || т]п — т|п ||> а т]„ определяется формулой (12).
Пусть теперь т^, ..., т]л — произвольная система случайных
величин (не обязательно линейно независимых). Пусть det R = О,
где R = ||г,у|| — матрица ковариаций вектора (щ, ,,, , т^), и пусть
rangR = r <п.
Тогда, как известно из алгебры, квадратичная форма
Q (а) = У, r^aj, а = (ах, ..., «„),
i,
284
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
такова, что существует ровно п — г линейно независимых векто-
ров а(1>, .... а(п~г'< таких, что Q (а(1)) = 0, 1= 1, ..., п — г»
Но
(п
У, ад*
А = 1
Следовательно, с вероятностью единица
S44 = 0> i = 1.......n-r.i
k = i
Иначе говоря, существует ровно п — г линейных соотношений
между величинами Th, ... , Поэтому, если, скажем, тр, ... , тр
линейно независимы, то все остальные величины тр+1, ... , тр
линейно через них выражаются и, значит, X(т]1, ..., тр) =
= X(тр, ..., ip). Отсюда ясно, что с помощью процесса орто-
гонализации можно найти г ортонормированиях случайных вели-
чин е1( .... ег таких, что все тр» •••» Ли линейно через них
выражаются и X (rji, ..., г]„) = Х(81, ..., ег).
5. Пусть тр, т]2, .... — последовательность случайных величин
из L2. Будем обозначать через Х — Х^, тр, ...) линейное много-
образие, порожденное величинами тр, тр, .... т. е. совокупность
п
случайных величин вида У а,т],-, nS^l, ai<=R. Через X —
_	i = i
= X (тр, тр, ...) обозначим замкнутое линейное многообразие, по-
рожденное ip, тр, ... , т. е. совокупность случайных величин из X
и их пределов в среднеквадратическом смысле.
Говорят, что система случайных величин т)г, тр, ... образует
счетный ортонормированный базис (иначе — полную ортонорми-
росанную систему) в L2, если:
а) Лъ Лг» .-. — ортонормированная система,
Ь)^(Л1, тр» • ••) = Т2.
Гильбертово пространство со счетным ортонормированным ба-
зисом называют сепарабельным.
В силу условия Ь) для любого сеР и заданного е>0
найдутся такие alt , ап, что
п
4 = 1
Тогда, согласно (3),
и
Л<)Л.||=^е
4 = 1
§ 11 ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН
285
и, следовательно, для сепарабельных гильбертовых пространств L2
любой элемент § представим в виде
СО
£ = тр) . гр,	(13)
i — i
точнее,
£ = 1. i. пт. (£, П/) П<-
n ;=i
Отсюда и из (3) тогда заключаем, что имеет место следую-
щее равенство Парсеваля:
W- ?еИ2.	(14)
‘=•1
Нетрудно доказать, что верно и обратное: если т^л, р2, ... —
некоторая ортонормированная система и выполнено любое из усло-
вий (13) или (14), то эта система является'базисом.
Приведем примеры сепарабельных гильбертовых пространств и
их базисов.
Пример 1. Пусть Q — 7?, а?' = е5§(7?) и Р — гауссовская мера
а 1
Р ( — оо, а] = $ <р (х) dx, <р (х) = у— е~к21\
Сб< гзчим D = ~ и введем функции
н iY\- (->mw	„	,1с;.
11	------Ml)---- ’ п °-	45)
Нетрудно наши, что
Пф (х) = — хф (х),
П2ф(х) = (х2-1)ф(х),	,16)
7)3Ф (х) = (Зх — х3) ф (х),
Отсюда следует, что Нп (х) являются полиномами (называемыми
полиномами Эрмита). Из (15), (16) находим, что
Я0(х)^1,
(х) = х,
Н2 (х) = х2 — 1,
Н3 (х) = х3 — Зх,
286
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Простой подсчет показывает, что
ОО
(Нт, Нп)= 5 Нт (х) Нп (х) dP =
—ОО
= $ Нт(х) Hn(x)q>(x)dx = nl8m„,
—ОО
где 6тл- символ Кронекера (0, если ту=п, и 1, если т = п).
Поэтому, если положить
h (х\ — Нп
Пп[х> Уп ’
то система этих нормированных полиномов Эрмита {1гп (%)}«>о бу-
дет ортонормированной системой. Из функционального анализа
известно, что если
lim ? ес|д:|Р (dx) < оо,	(17)
с 4 0 —QQ
то система функций {1, х, х2, ...} является плотной в L2, т. е.
любая функция g = ^(х) из U может быть представлена или в виде
п
У, 0,-т]/ (х), где гр (х) — х1, или в виде их пределов (в среднеквад-
ратическом смысле). Если применить процесс ортогонализации
Грамма — Шмидта к последовательности функций r)i(x), 1Ъ(х)< •••
с гр (х) — х', то полученная ортонормированная система будет в точ-
ности совпадать с системой нормированных полиномов Эрмита.
В рассматриваемом нами случае условие (17) выполнено. Следо-
вательно, полиномы {hn (х)о образуют базис и, значит, любая
случайная величина g = g(x) на рассматриваемом вероятностном
пространстве представима в виде
СО
В(Х) = 1. i. m. 2(g, ht)hi(x).	(18)
1=0
Пример 2. Пусть £2 = {0, 1, 2, ... ,} и Р = {Рг, Р2, ...} —
пуассоновское распределение:
Рх=^-±-, х = 0, 1, ...; Х>0.
Положим Д/(х)=/(х) —f (х—1) (/(х) = 0, х < 0) и по аналогии
с (15) определим полиномы Пуассона — Шарлье
Пп(х) = ^^пр- ,	По=1.	(19)
* X
§ И. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН
287
Поскольку
со
(Пт, Пл) = 2	(х) П„ (х)Рх — сп8тп,
х=о
где сп — положительные константы, то система нормированных
полиномов
Пуассона — Шарлье {лп (х)}п > о, л „ (х)
Пп(х)
обра-
зует ортонормированную систему, которая в силу выполнимости
условия (17) является базисом.
Пример 3. Приводимые в этом примере ортонормированные
системы функций Радемахера и Хаара интересны как для теории
функций, так и для теории вероятностей.
Пусть Q = [0, 1), е^ = е^([0, 1)) и Р — мера Лебега. Как
упоминалось в § 1, каждое число хе[0, 1) может быть одно-
значно разложено в двоичную дробь
v_____ л-1 । -’'г ।
Х~ Т + 2^ +	>
где xt = 0 пли 1. (Для однозначности разложения мы уславливаемся
рассматривать только те разложения, которые содержат бесконеч-
ное число нулей. Так, из двух разложений
1 = 1 + £ + £+ =£ + 1 + 1+ „
2	2	22 т 2з Т " '	2	22	23 “ ” *
мы берем первое.)
Образуем случайные величины gx(x), £а(х), ...j положив
(х) == Хп.
Тогда для любых принимающих значения 0 или 1,
Р{х: 51 = й1, ...,	=	= P (х: § + §+ •+
£1 £1 _!	+	11 =
' 2 п 2з1г 2«	2«J
= Р х е= + ... £-	, ^- + ... 4-
Отсюда непосредственно следует, что glt |2, ... образует последо-
вательность независимых бернуллиевских случайных величин (рис. 30
показывает, как устроены £i = £i(x) и ga = ga(x)).
Если теперь положить Rn (х) = 1 —	(х), то нетрудно
проверить, что система (функций Радемахера, рис. 31) яв-
ляется ортонормированной:
MRnRm-= ^Rn(x)Rm(x)dx = 8nm.
о
288
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Заметим, что (1, Rn) = MRn — 0. Отсюда следует, что эта си-
стема не является полной.
Однако систему Радемахера можно использовать для построения
так называемой системы Хаара, которая и проще устроена, и к
тому же является как ортонормированной, так и полной.
№	Цх)
--gJ____!_». LyJ Щ-1 I >
О 1/2 / х О 7/47,04/ z
Рис 31 Функции Радемахера
Рис 30.
Снова пусть й = [0, 1), -Л = ^Э([0, 1)). Положим
Н2 (x)^R1(x),
Нп(х) =
2J/2Rj(x), если ~27~х<"2/ ’	+
0 в остальных случаях.
Нетрудно проверить, что Нп (х) можно записать и в таком виде:
2«/2
2т,'2
0
+ i (х) =
OsS x<2“<m+1>,
2-‘m41)<x<2-m, т==1, 2,...,
в других случаях,
#*т+/ (х) = Н-^+1 (х -	, / = 1.2т.
На рис. 32 приведены графики первых восьми функций, даю-
щих представление о структуре образования и поведении функций
Хаара.
Система функций Хаара является, как нетрудно проверить,
ортонормированной. Более того, она полна и в L1, и в L2, т. е.
если функция f = f(x)<=Lp для р = 1 или р = 2, то
1	п.
Hk}Hk^dx-^, п-+<х>,
О	fe = l
§ 11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН
289
и обладает к тому же тем свойством, что с вероятностью еди-
ница (по лебеговской мере)
2 (A Hk)Hb(x)-+f(x), п-+<х>.
fe=-i
Мы докажем эти факты в § 4 гл. VII, выведя их из общих
теорем о сходимости мартингалов, что, в частности, будет служить
хорошей иллюстрацией применения мартингальных методов к тео-
рии функций.
__1
О
2'4	2 ' fl
Рис. 32. Функции Хаара (x), ..., Ha (x).
H3(x).
>-
11
U
Hf (х),
I 
6. Если г],,..., г]я —некоторая конечная ортонормированная
система, то, как было показано выше, для всякой случайной
величины geL2 в линейном многообразии <5f = J5'(r]1, qn)
можно найти случайную величину | (проекцию £ на «5?) такую, что
lg-U==inf{U-U: £е^(т]1. .... ты)}.
290
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
При этом |= У, (?, Эт°т результат допускает естественное
i=i
обобщение на тот случай, когда т^, т]2, ... — счетная ортонормиро-
ванная система (не обязательно являющаяся базисом). А именно,
справедлив следующий результат.
Теорема. Пусть т]1, т}2,	— ортонормированная система
случайных величин, Х = Х(уу,	замкнутое линейное мно-
гообразие, порожденное ими. Тогда существует и притом единст-
венный элемент | е X такой, что
H-||l = inf{||^-CI|:	(20)
При этом
t = l.i.m. Л (I, лОПг	(21)
п i=i
Доказательство. Обозначим d = inf{j|£ —	и
выберем последовательность 'Q, так, что Н —Пока-
жем, что эта последовательность является фундаментальной. Про-
стой подсчет показывает, что
кл-и2=2к,,-^+2нт-иа-4|Ц^-||2.
Ясно, что	X, поэтому — gj2 ^d2 и, следова-
тельно, Hn —£m||2->0, п, т->-са.
Пространство L2 является полным (теорема 7 § 10). Поэтому
найдется такой_элемент |, что |1	11| -> 0. Множество X замкнуто,
поэтому t <= X. Далее, ||£л — g|l->d, следовательно, — fj| = d,
что и доказывает существование требуемого элемента.
Покажем, что | — единственный элемент в X с требуемым свой-
ством. Пусть | е X и
Тогда (в силу задачи 3)
Но
в1 + 1-2^ = 4||((-Н)-||2^4Л
Следовательно, jf —f|P = O, что и доказывает единственность «бли-
жайшего» к g элемента из X.
§ 11 ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН
291
Докажем теперь, что 5 — | С Е X. В силу (20) для любого
се/?
и
Но
n-t-cCl2 = H-fS2+c2U«2-2(g-t, ф.
Поэтому
с2Ш12^2(5-5, сО-	(22)
Возьмем с = Л(5 —5, 0, ле/?. Тогда из (22) получим, что
(5-t О2 Р J £ !12 - 2Л] === 0.
При достаточно малых положительных Л А,2||£||2 — 2Л<0. Поэтому
(5-5, 0 = 0, СеХ
Осталось доказать представление (21).
Множество Х — Х(ц^ г]2,...) является замкнутым подпростран-
ством в L2 и, следовательно, само является гильбертовым про-
странством (с тем же самым скалярным произведением). Для этого
гильбертова пространства X система т^, т)2, ... является базисом
(задача 4) и, следовательно,
t = l.i.m. (5,	(23)
Л = 1
Но 5 — I_1_	а значит, (5, т]*) = (£> Ла)> k^O, что вместе
с (23) доказывает (21).
Теорема доказана.
Замечание. Как и в конечномерном случае, 5 будем назы-
вать проекцией 5 на X X (т]1, л2,...), 5 —f — перпендикуляром,
а представление
s=t+G-t)
— ортогональным разложением.
Величину 5 обозначают также М (51 T)i,	и называют
условным математическим ожиданием в широком смысле (5 отно-
сительно Ц], ц2,...). С точки зрения оценивания | по Ли Яг»--»
величина 5 является оптимальной линейной оценкой, ошибка
которой
A^Mi5-ti2Mi-tP=m*-f: i(i> w.
i=i
что следует из (5) и (23).
292
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
7. Задачи.
1.	Показать, что если £ = l.i.m.	то ||£Я||~Ч£||-
2.	Показать, что если g = l.i.m.	и т] = l.i.m. т]„, то (£„,
->(L П)-
3.	Показать, что норма удовлетворяет свойству «параллело-
грамма»
11В + п1124Ч1£-< = 2(ШЖ<)-
4.	Пусть {^,	£„} —семейство ортогональных случайных
величин. Показать, что для них справедлива «теорема Пифагора»:
II п II2 п
2Ы=£||Ы2.
II 1 = 1 ||	1 = 1
5.	Пусть т]1» 'Па- ... — ортонормированная система и Х =
=#(T)t, т]2,...) —замкнутое линейное многообразие, порожден-
ное Tji, т]а.Доказать, что эта система является базисом для
(гильбертова) пространства X.
6.	Пусть |2,... —последовательность ортогональных случай-
ных величин, =	Показать, что если S М^<со,
П —1
то найдется такая случайная величина S с М 52 < сю, что l.i.m.S„ =
= S, т. е. || Sn — S ||2 = M | Sn — S |2->0, n-^-co.
7.	Показать, что в пространстве L2 — L2([—л, л], &%([—л, л]))
с мерой Лебега р система функций	п = 0, ± 1,.. .j обра-
зует ортонормированный базис.
§ 12.	Характеристические функции
1.	Метод характеристических функций является одним из основ-
ных средств аналитического аппарата теории вероятностей. Наи-
более ярко это будет продемонстрировано в гл. III при доказа-
тельстве предельных теорем и, в частности, при доказательстве
центральной предельной теоремы, обобщающей теорему Муавра —
Лапласа. Здесь же мы ограничимся определениями и изложением
основных свойств характеристических функций.
Прежде всего сделаем одно замечание общего характера.
Наряду со случайными величинами (принимающими действи-
тельные значения) теория характеристических функций требует
привлечения комплекснозначных случайных величин (см. п. 1 § 5).
Многие из определений и свойств, относящихся к случайным
величинам, легко переносятся и на комплексный случай. Так,
математическое ожидание М? комплекснозначной случайной вели-
чины £ = £ + й] считается определенным, если определены матема-
§ 12 ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
293
тические ожидания М| и Мгр В этом случае по определению пола-
гаем М£ = Mg 1'Мт]. Из определения 5 (§ 5) независимости случайных
элементов нетрудно вывести, что комплекснозначные величины
Ci = gl4-tT)i» С2 = -2 + 1т1г независимы тогда и только тогда, когда
независимы пары случайных величин (gv г^) и (g2, т]2), или, что
то же самое, независимы о-алгебры 5t, Т)1 и еУg2> П2.
Наряду с пространством L2 действительных случайных величин
с конечным вторым моментом можно ввести в рассмотрение гиль-
бертово пространство комплекснозначных случайных величин £ =
= g + rq с М|£|2<оо, где | £|2 = £2 + т]2, и скалярным произведе-
нием (Ci, £2) = M^s2, где £2 — комплексно-сопряженная случайная
величина. В дальнейшем как действительнозначные, так и ком-
плекснозначные случайные величины будем называть просто слу-
чайными величинами, отмечая, если это необходимо, о каком
конкретно случае идет речь.
Условимся также о следующих обозначениях.
При алгебраических операциях векторы a s R" будут рассмат-
риваться как вектор-столбцы,
/Щ\
а = 1 = ),
а а*—как вектор-строки, a* = (alt ..., а„). Если a, b^Rn, то
под их скалярным произведением (а, Ь) будет пониматься величина
п
2 0,^1. Ясно, что (а, Ь) = а*Ь.
i=i
Если w=Rn и R = ||r/;|| —матрица порядка пхп, то
(Ra, a) = a*Ra= г^а,.	(1)
i./ = l
2.	Определение 1. Пусть F = F (хи ... , хп) — п-мерная
функция распределения в (Rn, (/?")). Ее характеристической
функцией называется функция
<р(0 = $ е1^*) dF (х), t^Rn.	(2)
Rn
Определение 2. Если g = (gx, g„) —случайный вектор,
определенный на вероятностном пространстве (Q, oF, Р) со зна-
чениями в Rn, то его характеристической функцией называется
функция
(/) = J е1 й. х) dpz	s Rnt	(3)
Rn
где =	, Хп)— функция распределения вектора g =
= (si> • • •»
2S4 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Если функция F (х) имеет плотность f = f (х), то тогда
<p(Z)= е1^’ (х) dx.
Rn
Иначе говоря, в этом случае характеристическая функция ср(/)
есть не что иное, как преобразование Фурье функции f (х).
Из (3) и теоремы 6.7 (о замене переменных под знаком интег-
рала Лебега) вытекает, что характеристическую функцию <р^(/)
случайного вектора можно определить также равенством
<р5 (/) = Me1' t е Rn.	(4)
Приведем теперь основные свойства характеристических функ-
ций, формулируя и доказывая их лишь в случае п = 1. Некоторые
наиболее важные результаты, относящиеся к общему случаю,
даются в виде задач.
Пусть £ = £ (со) — случайная величина, F6 = F^(x) —ее функция
распределения и
<р1(/) = Ме'7?
— характеристическая функция.
Сразу отметим, что если у\ = а^-\-Ь, то
Фл (0 = Me'"1 = Me'7 = eitb№iat\
Поэтому
<pn(0 = e"*<p6(a/).	(5)
Далее, если Ej, g2,	—независимые случайные величины
и Sn = + • • • + |л> то
<Ч(0=ПМ>.	(6)
i=i
В самом деле,
cps = Me'7 (?i + • ’ • +	= Me'75i... е“5« =
= Ме"п...Ме^»=П <р5 (0,
i=i
где мы воспользовались тем, что математическое ожидание произ-
ведения независимых (ограниченных) случайных величин (как
действительных так и комплексных, см. теорему 6 в § 6 и задачу 1)
равно произведению их математических ожиданий.
Свойство (6) является ключевым при доказательстве предельных
теорем для сумм независимых случайных величин методом харак-
теристических функций (см. § 3 гл. III). В этой связи отметим,
что функция распределения FSn выражается через функции рас-
пределения отдельных слагаемых уже значительно более сложным
§ 12 ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
295
образом, а именно, FSn = Fii*...*Fi/t, где знак * означает свертку
распределений (см. п. 4 § 8).
Приведем примеры характеристических функций.
Пример 1. Пусть I — бернуллиевская случайная величина
с P(g=l) = p, Р(| = 0) = <7, р + <7=1, 1 > р > 0, тогда
Ф’6 (/) = ре‘7 + <7.
Если	— независимые одинаково распределенные (как g)
случайные величины, то
{iS-^
<Psn-nP (Q-Me
Vnpq
t
I-----
pg Vnpq
п
- и у пР_
= е У q
п
Заметим, что
Пример 2.
жем, что
i7 1/A -itVJL
= ppe ’ np-\-qe ' ni>
при n->oo отсюда следует, что
Vnpq
Пусть £^©y^(m, о2),
(7)
(8)
Пока-
Положим Т]
<Pl(/) = e 2 .
Qm. Тогда i]~©7^(0, 1) и, так как в силу (5)
<РИ0 = е'/тФп (<*0.
(9)
то достаточно лишь показать, что
Фп =
Имеем
СО
<рп (/) = Ме,7,1 = —== § eitxe~ x2/i dx =
— со
(10)
V 0'02я/о„	1ЧН V (i‘02n(2n)l
“	(2и)! 1	(2п)! 2«п!
П—Q	n=Q
где мы воспользовались тем (см. задачу 7 в § 8), что
СО
—X- § Х2пе~~х‘/'2dx = Мт]2л = (2п — 1)!!
296
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Пример 3. Пусть £ — пуассоновская случайная величина,
P(g = «) = ^,	k — 0, I,...
Тогда
СО	со
Ме"* =	=«42^=exP{M«i'-1)}.	(П)
k=0	6=0
3. Как отмечалось в п. 1 § 9, с каждой функцией распределения
в (R, <^(/?)) можно связать случайную величину, имеющую эту
функцию в качестве своей функции распределения. Поэтому при
изложении свойств характеристических функций (в смысле как
определения 1, так и определения 2) можно ограничиться рас-
смотрением характеристических функций ф (/) = <р^ (/) случайных
величин g = g(co).
Теорема 1. Пусть g — случайная величина с функцией рас-
пределения F — F(x) и
Ф (/) = Ме'7^
— ее характеристическая функция.
Имеют место следующие свойства'.
1)	|ф(0|^Ф(0) = 1;
2)	ф (/) равномерно непрерывна по t ^R;
3)	ф(0=ф(-0;
4)	ф (/) является действительнозначной функцией тогда и
только тогда, когда распределение F симметрично (\dF (х) =
— dF (х), B<='33(R), — В = {— х: те 5});
-в	/
5)	если для некоторого п 1 М j g j” < оо, то при всех г ^п
существуют производные ф(г) (7) и
ф(') (/) = (jx)r eitx dF-(x),	(12)
л
=2^,	(13)
п
= + <14>
г=0
где |en(t) | ЗМ |£|я и 8„(/)->0, /->0.
6)	Если существует и является конечной ф(2л) (0), то МГ'**^00-
7)	Пусть М|£Iя<оо для всех п^1 и
г— (М 11 |л)1/я	1
lim1— — -g- < со,
а п R ’
§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
297
тогда при всех 111 < R
Ф(0= 2 ЧГМ^-
п = 0
(15)
Доказательство. Свойства 1) и 3) очевидны. Свойство 2)
следует из оценки
| <р (t + h) — <р (01 = | Мег7^ (eihi — 1) | -С М | eih^ — 11
и теоремы о мажорируемой сходимости, согласно которой
М|е^_ 1 |_>о, /г->0.
Свойство 4). Пусть F ci” метрична. Тогда, если g(х) — огра-
ниченная борелевская нечетная функция, то $ g (х) dF (х) — 0 (за-
fl
метим, что для простых нечетных функций это следует сразу из
определения симметричности F). Поэтому sin tx dF (х) = 0 и,
а
значит,
Ф (0 = М cos tt.
Обратно, пусть ф^(/) является действительной функцией.
Тогда в силу 3)
фч(0 = ф6(— 0 = фГ(/) = ф^ t^R-
Отсюда (как это будет доказано ниже в теореме 2) следует, что
функции распределения F^ и F± случайных величин и ij
совпадают, а значит (по теореме 3.1),
Р(|еВ) = Р(-?еВ) = Р(?е-В)
ДЛЯ любого В е е® (/?).
Свойство 5). Если М|£|л<оо, то в силу неравенств Ляпу<
нова (6.28) М|£|г<со, г ^п.
Рассмотрим отношение
<р(/ + А)-<р(О =
Л	\ h )'
Поскольку
\eihx — 1 I ,
1---Т.--^Х,
Л ’
и М 111 < оо, то по теореме о мажорируемой сходимости
ствует
lim Ме'7^ V"1 ,
л-»о \ « /
равный
суще-
Me'75 lim
Л-0
со
= l'M Qe'76) = i j
е- ОО
хеНх dF (х).
(16)
298
ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Поэтому существует производная ф' (/) и
ф' (/) — i (M£e,7S) = I § xeitx dF (x).
— co
Существование производных <pW (/), 1<ггСя, и справедли-
вость формул (12) устанавливаются по индукции.
Формулы (13) следуют непосредственно из (12). Установим
справедливость представления (14).
Поскольку для действительных у
П—1
е'^ = cosy + * sin z/ =	+ (-^р[cos 8^ + r sin 02у],
ft = 0
где |0Х|1, |821, то
п— 1
eiti = 2 Чп + Т tcos 01И + i sin 02 (со) /е]	(17)
А —О
и
п — 1
Meiti = 2 дг +Т w<18)
k=0
где
е„ (0 = М [Вл (cos 8Х (со) ft, + i sin Э2 (со) — 1)].
Ясно, что | е„ (/) | еС ЗМ 1сп |, причем по теореме о мажорируемой
сходимости ел (/) -> 0, / -> 0.
Свойство 6). Доказательство будем вести по индукции. Пред-
положим сначала, что производная <р" (0) существует и конечна.
Покажем, что тогда М£2 < оо. По правилу Лопиталя и лемме
Фату
„ /ГН — 1 im J- Гф'	(°) I ф' (О)-ф' (—2ft)~| _
ср цц — пш 2 L 2Л "п 2/1 J
= Ит 2Ф'	2Ф1.(.-^) = Ит [ф (2Д) - 2ф (0) + ф (- 2А)] =
й —0	6/2	/г —о^1
р fpihx_p-ihx \ 2
= lim l p----------pF(x) =
Л-ч-0 J \	/
— со
со	со
t= — lim f fsi? x2 dF (x) sg — f lim x2 dF (x) =
ft^o J \ hx }	’ J A_>0\ hx J v
«—CO	— co
= - J x2dF (x).
§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
299
Поэтому
j ха dF (х) sC — ф" (0) < со.
— со
+ со
Пусть теперь ф(2*+2> (0) существует, конечна и § x2k dF (х) < оо.
— 00
Если x2k dF (х) = 0, то и $ x2k+2 dF (х) = 0. Так что будем
— СО	—00
со
предполагать, что $ x2i dF (х)>0. Тогда, согласно свойству 5),
— со
Ф<2*) (/) = $ (ix)2ft eitx dF (х)
— 00
и, значит,
(_	= $ eilxdG(x),
—со
где G (х) = J u2k dF (и).
— оо
Следовательно, функция (—1)* ф(2^ (/) G-1 (со) является харак-
теристической функцией вероятностного распределения G (х) • G-1 (со)
и по доказанному
G-1 (со) § х2 dG (х) <z со.
— 00
Но G-1 (со) >» 0, значит,
jj x2k+2	_ (j х2 dG (x) < co.
— CO	—co '
Свойство 7). Пусть 0<70<-K« Тогда, используя формулу
Стирлинга, находим, что
Пй(11Г.	1	пm/МЦМ)«'<!.
п	/о	п	\	/
V7 М I ё tn
Следовательно, по признаку Коши ряд >——1 сходится,
00
а значит, сходится и ряд	для любого 111 sg Iq, Но
Г=0
в силу (14) для любого n^sl
п
300
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
где |	(t) I 3 М | g |n. Поэтому для всех 111 < R
00
<Р(0=2(7ГМ^
г=о
Теорема доказана.
Замечание 1. Аналогично доказательству (14) устанавли-
ваемся, что если для некоторого /г2&1 М | £ |я < оо, то
п	со
=	J xV^F(x)+^^e„(/-s),	(19)
k~Q	—oo
где |е„(/ — s)|^3M|^| и e.n(t — s)->0, t — s-»0.
Замечание 2. По поводу условия, фигурирующего в свой-
стве (7), см. также далее п. 9, посвященный вопросу об «единст-
венности проблемы моментов».
f£(x}
4. Следующая теорема показывает, что характеристическая
функция однозначно определяет функцию распределения.
Теорема 2 (единственности).
Пусть F и G — две функции распределе-
ния, имеющие одну и ту же характери-
стическую функцию, т. е. для всех t <^R
О а-е а
Ь Ь*е
Рис. 33.
§ eilxdF(x) = $ e"xdG(x). (20)
Тогда F(x) = G (х).
Доказательство. Зафиксируем a, b^R, е>0 и рассмот-
рим функцию /е = /е(х), изображенную на рис. 33. Покажем, что
f ]E(x)dF(x) = f fe(x)dG(x).	(21)
— CO	—00
Пусть таково, что [a — e, b + e] = [—n, n], и последо-
вательность {6„} такая, что 1 Э^бл|О, п-+<х>. Как всякая непре-
рывная на [— п, п] функция с равными значениями в концевых
точках, функция fs — fs(x) может быть равномерно аппроксими-
рована (теорема Вейерштрасса —Стоуна) тригонометрическими
полиномами, т. е. существует конечная сумма
f® (х) — ak ехр
такая, что
sup \fE(x)-fen (х)|^бл.
л
(22)
(23)
§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
301
Продолжим периодически функцию fzn (х) для всех х е R и заме-
тим, что
sup |/е (х)|<2.
X
Тогда, поскольку в силу (20)
$ f?,(x)dF(x) = $ fen(x)dG(x),
ТО
f fe(x)dF(x) — f fe(x)dG(x) =
n	n
п
п
— п	—п
f„dF— $ ftdG +26„ + 2F([— ti, n])4-2G([—n, «]),
(24)
тдр F (A) — ^dF (x), G (A) = ^dG (x). При «->со правая часть
А	А
в (24) стремится к нулю, что и доказывает равенство (21).
При е->0 /е (х)->- Ца: й] (х). Поэтому по теореме о мажорируе-
мой сходимости из (21) следует, что
СО	со
5 Ца, b](x)dF(x)= 5 ha.b](x) dG (х),
— CO	—00
т. e. F (b) — F (a) — G (b) — G (а), откуда в силу произвольности а
и b следует, что F(x) = G(x) для всех хе/?.
Теорема доказана.
5. Предыдущая теорема говорит о том, что функция распреде-
ления F — F(x) однозначно восстанавливается по своей характе-
ристической функции <р = ф(/). Следующая теорема дает явное
представление функции F через <р.
Теорема 3 (формула обращения). Пусть F = F (х) — функция
распределения и
tp(i)= j eitx dF (х)
— СО
— ее характеристическая функция.
а)	Для любых двух точек a, b(a<Zb), где функция F = F(x)
непрерывна,
С
F(b)-F (a) = Игл 2- I ---T----<p (/) dt-, (25)
392 ГЛ. II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
со
Ь)	Если $ | <р (/) | dt < оо, то функция распределения F (х)
— со
имеет плотность f(x),
X
F(x) = f(y)dy	(26)
— СО
U
00
Ш = 2Д J e~Uxq>(t)dt.	(27)
— co
Доказательство. Прежде всего отметим, что если функ-
ция F (х) имеет плотность /(х), то
ср (/) = $ eilxf (х) dx,	(28)
— 00
и поэтому формула (27) есть не что иное, как преобразование
Фурье от (интегрируемой) функции <р(£). Интегрируя левую и
правые части (27) и применяя теорему Фубини, получим
F (b) — F (а) = f (х) dx = ~	е-'7л(р (/) dt dx =
a	a L — оо
После этих рассмотрений, объясняющих до некоторой степени
формулу (25), перейдем к ее доказательству.
а)	Имеем
ф = —
с 2л
_ _1_
2л
p-ita .~р-ИЪ
е е -q (t)dt =
it
g-Ua__g-Ub
it
= 1
2л
g-Ua__g~Ub
J it
_—с
eitx dt dF (x) =
00
e j Tc(x)dF(x),
— 00
(29)
где мы положили
—tf
§ 12 ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
303
и
в
воспользовались теоремой Фубини,
данном случае следует из того, что
справедливость которой
p-ita____o-itb I I p-ita_____________P-itb
1K , pitx _________________ \e
it	it
ь
а
И
Далее
ад =4
Функция
c (x—a)
= J_	C
2л	J
—cix—a)
sin v ,
-----dv —
v
c(x—b)
1	(* sin и ,
77-	I ---------du.
2л J и
— c [x — b)
(30)
равномерно непрерывна по s
sin V ,
-----dv
V
g(s, t)-+n
(31)
при s| —co и / j'oo. Поэтому существует такая константа С, что
для всех с и х |	(х) | < С < оо. Кроме того, из (30) и (31) сле-
дует, что
где
(х) -> Т (х), с -> оо,
' о,
Т(х)= 1/2,
1,
х<а, х>&,
х=а, х = Ь,
а<_х<.Ь.
Пусть ц —мера на (/?, е®(7?)) такая, чтоц(а, b]=F (b) — F (а).
Тогда, применяя теорему о мажорируемой сходимости и поль-
зуясь формулами задачи 1 в § 3, находим, что при с->оо
Фс = f Wc(x)dF(x)-> f Т (х) dF (х) «
— со	—со
= Н(а, Ь) + -|-р{а)ц{й} =
- F (Ъ -) - F (а) + 4 Р7 (a)-F(a-) + F(b)-F(b -)] -
= f «-I , F W +;(«И = F{b)-F(а),
И»	лл
и t и
304
ГЛ, II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
где последнее равенство справедливо для любых точек а и Ь,
являющихся точками непрерывности функции F (х).
Итак, формула (25) доказана.
00
Ь)	Пусть J | <р (/) | dt < оо. Обозначим
— СО
со
Ш = J e~itx<P Ю dt.
— со
Из теоремы о мажорируемой сходимости следует, что эта функция
непрерывна по х и, следовательно, она интегрируема на интер-
вале [а, Ь]. Поэтому, снова применяя теорему Фубини, находим,
что
ь
а
____1_
2л
b / со	у
J e~"x<P(t)dt\dx=>
а \—оо	/
о Г &	1
<р (0 f e~itx dx dt = lim
J	C-.oo 2л
o La	J
Г ь
J e~itx dx dt~
_а
1	(* £>~Иа_p-itb
= Дт ~ ------------Tt----ф (t) dt = F(b) — F (a)
—c
для всех точек а и b, являющихся точками непрерывности функ-
ции F (х).
Отсюда вытекает, что
F(x) = $ f(y)dy, xt=R,
— со
и так как /(х) — непрерывная, a F (х) — неубывающая функции,
то f(x) есть плотность F (х).
Теорема доказана.
Следствие. Формула обращения (25) дает другое доказа-
тельство утверждения теоремы 2.
Теорема 4. Для того чтобы компоненты случайного вектора
| = (lv ..., £„) были независимы, необходимо и достаточно, чтобы
его характеристическая функция была произведением характери-
стических функций компонент-.
Ме(№+-+^«)=	(fx, .... tn)(=Rn.
k= i
Доказательство. Необходимость следует из задачи 1.
Для доказательства достаточности обозначим F = F(xlt ..., хп) —
функцию распределения вектора £ = (£х, ..., £„) и Fk(x}— функ-
§ 12 ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
305
цию распределения Is^k^n. Положим G=G(x1, ..., хп) —
= F1(x1).. .Fn(xn). Тогда по теореме Фубини для всех (Z1( ...
tn)^Rn
$	+W dG (хх... хп) = П $ dFk (х) =
k = 1 R
= П МЛ5* = Ме'№+-+'^= $ е‘^+-+‘пхп) dF(xt ... хп).
k = 1
Поэтому по теореме 2 (точнее по ее многомерному аналогу; см.
задачу 3) F = G, и, следовательно, согласно теореме из § 5, вели-
чины £х, ..., независимы.
6. В теореме 1 сформулированы некоторые необходимые усло-
вия, которым удовлетворяет характеристическая функция. Таким
образом, если для функции <р = <р (£) не выполняется, скажем,
одно из первых трех утверждений этой теоремы, то это означает,
что рассматриваемая функция не является характеристической.
Сложнее обстоит дело с проверкой того, является ли интере-
сующая нас функция ф = ф(/) характеристической. Сформулируем
(без доказательства) ряд результатов в этом направлении.
Теорема Бохнера —Хинчина. Пусть ср(Z) — непрерыв-
ная функция, t <= R, и <р (0) = 1. Для того чтобы ф (Z) была харак-
теристической, необходимо и достаточно, чтобы она была неот-
рицательно-определенной, т. е. для любых действительных tx, ...
...,tn и любых комплексных чисел Х1( ..., Хл, /1=1, 2, ...,
2 ф^-^хд^о.
i. /=1
(32)
Необходимость условия
(32) очевидна, поскольку, если
Ф (Z) = § eitx dF (х), то
— 00
п	со
У, <p(Z/-z/)XzX/ =
I, j' = 1	—со
п
2 lke“»x
*=i
2
dF (х)	0.
Труднее доказывается достаточность условия (32).
Теорема Пой а. Пусть непрерывная, четная и выпуклая
книзу-функция (p(t) такова, что ф (/):>= 0, ф(0) = 1, ф (£) —>-0 при
Тогда ф(/) является характеристической функцией.
Эта теорема дает весьма удобный способ конструирования
функций, являющихся характеристическими. Таковыми будут,
306
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
например, функции
Ф1 (0 = e-|Z|>
(1-и
ф2(0=|	0'

и>1.
Таковой будет и функция <р3 (/), изображенная на рис. 34. На
интервале [—а, а] функция <р3(/) совпадает с функцией <р2(/).
Однако отвечающие им функции распределения и F3, оче-
видно, различны. Этот пример показывает, что для совпадения
функций распределения недостаточно, вообще говоря, совпадения
их характеристических функций на конечном интервале.
Рис. 34.
Теорема Марцинкевича. Если характеристическая
функция q>(/) имеет вид expd^(Z), где (/) — полином, то сте-
пень этого полинома не может быть больше двух.
Из этой теоремы вытекает, например, что функция не
является характеристической функцией.
7. Следующая теорема является примером результата, показы-
вающего, как по свойствам характеристической функции случай-
ной величины могут быть сделаны нетривиальные заключения
о структуре этой величины.
Теорема 5. Пусть	— характеристическая функция слу-
чайной величины 5-
а)	Если |	(/0) | = 1 для некоторого t0 #= 0, то случайная вели-
чина g является решетчатой с шагом п = -т-, т. е.
А/
со
2 Р{£ = а+дй} = 1,	(33)
п = ~- со
где а — некоторая константа.
Ь)	Если | (0 I = IФе. (а0 I = 1 для двух различных точек t и at,
где а — иррациональное число, то случайная величина £ является
вырожденной:
PU = O} = 1.
где а —некоторая константа.
§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
307
с)	Если |	(t) | == 1, то случайная величина £ вырождена.
Доказательство, а) Если | <р^ (/0) | = 1, t0 0, то найдется
число а такое, что для этого ф (/0) = е17°а. Тогда
^1ах dF (х) —1 _ eitQ(x-a) dF (х)	=
— оо	—со
со	оо
= cos t0 (х — a) dF (х) =>	[ 1 — cos /0 (х — а)] dF (х) = 0.
— со	—со
Поскольку 1 — cos/0(x — а) 5s О, то из свойства Н (п. 2 § 6) сле-
дует, что (Р-п. и.)
1 = cos t0 (5 — а),
что эквивалентно соотношению (33).
Ь) Из предположения | ф% (/) | = | ф6 (at) | = 1 и (33) следует, что
СО	со
2 Р{5 = а+^п}= 2 P{6-»+S Ч-1-
п =—оо	ш =— оо
Если £ не является вырожденной, то тогда во множествах
|a4--^-n, n — Q ±1 •••) и + т — 0, ±1, ...)
( 1 t	)	( at	)
найдутся по крайней мере по две совпадающие точки:
а-И— п1 = Ь + — т1, а + ~п2 = Ь+^т2,
откуда
2л ,	. 2л ,	.
— («1 -	= ДГ (mi -
что противоречит предположению об иррациональности числа а.
Утверждение с) следует из Ь).
Теорема доказана.
8. Пусть 5 = (£i> ...» £*) — случайный вектор,
фД/) = Ме‘‘^>,	/=(/!,..., th),
— его характеристическая функция. Будем предполагать, что для
некоторого М | 5/1" < оо, * = 1, k. Из неравенства Гёль-
дера (6.29) и неравенства Ляпунова (6.27) отсюда следует, что
существуют (смешанные) моменты М ... 5**) для всех неотри-
цательных vn ..., у* таких, что vx-]-...4-Vft^n.
Как и в теореме 1, из этого выводится существование и непре-
рывность частных производных
5V1+-+Vfe
...
308	, гл II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
для + и. Тогда, разлагая ф^(4, .... tk) в ряд Тей-
лора, найдем, что
ЯЧ(4, tk) —
Ч-»» 4“Vt,
=	2	"vr^r^1"'^ ...^ + o(|/|”),	(34)
Vj+.-.+v^^n
где 111 = | ti |+.. . + | tk | и
S	1	«
— смешанный момент порядка v = (v,, ..., vft).
Функция q>£ (4, ... , 4) непрерывна, ф6 (0,..., 0) = 1, и поэтому
в некоторой окрестности нуля (111 < д) она не обращается в нуль.
В этой окрестности существуют и являются непрерывными частные
производные
——-InФь(4, ..., 4),
д^1 ... <?4«
где под In г понимается главное значение логарифма (если г = ге^,
то Inz полагается равным Inr-J-iS). Поэтому 1пф^(4, .4)
может быть представлен по формуле Тейлора
1Пфг(4...4)=	2 vfer 5Г1’"^1 ••• /?+°(ПИ).
v1 + ...+vfe<n
(35)
где коэффициенты sp’1"'V(3 называют (смешанными) семиинвариан-
тами или кумулянтами порядка v = (vl...vk) вектора g =ч
= (?i, .... h).
Заметим, что если g и т] —два независимых вектора, то
1пф^+п(/) = 1п<р^(0 + 1пфТ1(0,	(36)
и поэтому
Sft-^) = S(vi-^) + s(v1-4	(37)
(Именно это свойство и оправдывает название «семиинварианты»
для s<v>Vft\)
Чтобы упростить запись и придать формулам (34), (35) «одно-
мерный» вид, введем следующие обозначения.
Если v = (Vj, ..., vk) — вектор с неотрицательными целочислен-
ными компонентами, то положим
vl = vj ... vftI, IV^Vj + .-.+v*, tv= tvp ... tft.
Пусть также s*v) = s(V1 Vfc\ m»v) = шГ1 Vft\
J	6 S	9 6 s
§ 12 ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
309
Тогда представления (34), (35) примут следующий вид.
= 2	(38)
|v(Cn
in<p^(o= 2 4rsr/v+o(i/i”)-	(39)
Следующая теорема и ее следствия дают формулы связи момен-
тов и семиинвариантов.
Теорема 6. Пусть Е = (^, ..., Ik) — случайный вектор
с М | li Iя<оо, i = 1, ..., k, п^\. Тогда для всех v = (vx, .... vk)
с | v | С n
ч
Ч”= 2 У,	<«>
X(1’+-- + V?,=v	p = 1
q
ч”= 2 -~F П>П <-"»
V1,+---+V?l=v	p=i
где У означает суммирование no всем упорядоченным
наборам целых неотрицательных векторов	| > 0, даю-
щих в сумме вектор v.
Доказательство. Поскольку
(/) = ехр (1пф&(0),
то, разлагая ехр по формуле Тейлора и учитывая (39), получим
2 1 / VI	. \Я
7Г 2	+°(lZ Iя)- (42)
<7 = 1	/
Сравнивая члены при Л в правых частях (38) и (42) и учитывая,
что | )i(1) | + •. • +| = | Х(1) + .. .4~^(g) получаем формулу (40).
Далее,
2/1ЛI
,-!М
(43)
При малых z справедливо разложение
п
In (14-?)= У (~д)? 1 zg4-o(zg).
?=i
310 ГЛ. П. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Применяя это разложение к (43) и приравнивая затем коэффи-
циенты при tK с соответствующими коэффициентами в правой
части (38), получим формулу (41).
Следствие 1. Справедливы следующие формулы, связываю-
щие моменты и семиинварианты:
у ___________1____________________Il rsc,/:)]r7-
{r1V1’ + ... + rXV'=v} 1 J J U J /=1
(44)
S(V) _ у	X
xfl	(45)
/=i
где У, означает суммирование по всем неупорядо-
{г^'1’ +... + ' ^*'х' = v}
ченным наборам различных целых неотрицательных векторов
|Хо> |>0 и по всем упорядоченным наборам целых положитель-
ных чисел г} таким, что г1Л(1> + ...+гАЛ(*> = у.
Для доказательства (44) предположим, что среди векторов
X’1’, ..., Х<?), участвующих в формуле (40), ту векторов равны
ZVi)....гх векторов равны АЛ*) (г/>0, гг + ...+гх = д), при-
чем все векторы различны. Существует ровно ——г раз-
личных наборов векторов, совпадающих с точностью до порядка
с набором {ЛА1’,...,	. Но если два набора, скажем, {ТА1’,...,
<7
и {Х(1),	Х^1}, отличаются лишь порядком, то ГТ s[x'₽=»
p=i
= {[ S(V-). Поэтому, отождествляя наборы, совпадающие с точ-
р= 1
ностью до порядка, из (40) получаем (44).
Аналогичным образом из (41) выводится формула (45).
Следствие 2. Рассмотрим тот частный случай, когда v =
= (1, ..., 1). В этом случае моменты	... И* и соот-
ветствующие семиинварианты будем называть простыми.
Формулы связи простых моментов и семиинвариантов полу-
чаются из приведенных формул. Однако их удобнее записать по-
другому.
Для этого введем следующие обозначения.
Пусть £ = (£1, Ь) — рассматриваемый вектор, /?={1, 2, ...
..., k} — множество индексов компонент этого вектора. Если /s
s Д, то через & будем обозначать вектор, состоящий из тех
§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ	311
компонент вектора %, индексы которых принадлежат I. Пусть
Х(/) —вектор {xi, Хп}, У которого х< = 1, если i <= I, и х. = 0,
если i её I. Эти векторы находятся во взаимнооднозначном соот-
ветствии с множествами I s 1%. Поэтому обозначим
/ng(/) = s. (I) =s(x</)).
Иначе говоря, m^(I) и St (I) являются простыми моментами
и семиинвариантами подвектора gj вектора g.
Далее, назовем разбиением множества I неупорядоченный набор
непересекающихся непустых множеств 1Р, такой, что У, Iр— I.
р
С учетом этих обозначений имеют место формулы
q Пш	(46)
Z 4>=z₽=1
₽=1
4(7)=3S	т^1р).	(47)
S '₽='	₽ = 1
₽ = i
Для доказательства представления (46) обратимся к формуле
(44). Если v = x(^) и ^(1) +  • . + ?v<9) = v, то Х1р) = х(Л>), Ip — 1>
все Х(р) различны, X(p)!=v! = l и каждому неупорядоченному
набору {х(Л), х(Л?)} взаимнооднозначно соответствует раз-
ч
биение I = У 1р. Следовательно, из (44) следует (46).
р= 1
Аналогичным образом из (45) выводится справедливость пред-
ставления (47).
Пример 1. Пусть —случайная величина (А=1) и тп =
=	--Mg", s„ = s^). Тогда из (40) и (41) получаем следующие
формулы:
mi = si,
m2 = s2 + sb
тз — s3 4~ 35^2 4-Si,	(43)
mi= s4 ~Т 3s| + 4s!S3 4- 6sjS2 4- Sj,
si =	= Mg,
s2 = m2 - tn\ = Dg,
s3 = m3 — 3/n1/n2 4- Vtiii,
s4 = mt — 3m22 — 4m!m3 4- 1— 6m'b
(49)
312 гл II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Пример 2. Пусть с.^^(т, а2). Поскольку, согласно (9),
/2а2
—	---g—,
то в силу (39) sx = tn, s2 = о2 и все семиинварианты, начиная
с третьего, равны нулю, т. е. sn = 0, п 3.
Заметим, что в силу теоремы Марцинкевича функция вида
ехр<^(/), где (/) — полином, может быть характеристической
только в том случае, когда степень этого полинома не больше
двух. Отсюда, в частности, вытекает, что гауссовское распреде-
ление является единственным распределением, обладающим тем
свойством, что все его семиинварианты sn> начиная с некоторого
номера, обращаются в нуль.
Пример 3. Если % —пуассоновская случайная величина
с параметром Х>0, то, согласно (11),
In чч (/) = ^(ег7- 1).
Отсюда следует, что для всех п 1
s„ = X.	(50)
Пример 4. Пусть g = (^x, ..., ?*) — случайный вектор. Тогда
/n5(l) = s^(l),
m6(l, 2) = Sj(l, 2) + ss(1)sU2),
(1, 2, 3) = Sj (1, 2, 3) -J-s^ (1, 2)s^(3)+	j
+ s^(l,3)U2) +
-{-s^(2, 3) (1) -j-Sj (1) (2) Sj (3)
Эти формулы показывают, что простые моменты выражаются
через простые семиинварианты весьма симметричным образом.
Если положить £1 = ^2 = ... = Е)Ь, то из них получатся, конечно,
формулы (48).
Из (51) становится понятным «групповое» происхождение
коэффициентов в формулах (48). Из (51) следует также, что
Sl(l, 2) = /тч(1, 2)-/п5(1)т5(2)=М^-МЖг,	(52)
т. е. (1, 2) есть не что иное, как ковариация случайных вели-
чин gj, g2.
9. Пусть £ — случайная величина с функцией распределения
F = F(x) и характеристической функцией <р(/). Предположим,
что существуют все моменты /пл = М|л, и 2^1.
§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
313
Из теоремы 2 следует, что характеристическая функция одно-
значно определяет распределение вероятностей. Поставим сейчас
следующий вопрос (единственность проблемы моментов): однозначно
ли определяют моменты	распределение вероятностей?
Точнее, пусть F и G —две функции распределения, у которых
все моменты совпадают, т. е. для всех целых
\xndF(x) = J хП dG (х).	(53)
— СО	—со
Спрашивается, вытекает ли отсюда совпадение функций F и G?
Вообще говоря, ответ на этот вопрос отрицательный. Чтобы
в этом убедиться, рассмотрим распределение F с плотностью
где а > О, 0<Х< 1/2, а константа k выбрана из соображений
нормировки § f (х) dx = 1.
о
Обозначим p=atgXn, и пусть g(x) = Q для х«/0 и
g-(x) =/ee-c'-v'"[ 1 -f-e sinфхЛ)], [e| < 1, х>0.
Ясно, что g(x)^0. Покажем, что при всех целых п^О
§ хпе~ахК sin fJxx dx = 0-	(54)
о
Известно, что для р>0 и комплексных q с Re^>0
Положим здесь p = r~±, <7 = a-H’B, t — xK. Тогда
Л
“ X/"+1 А
§ x '	/£-(«+<₽) -A^x^-1 dx —
о
= xne~^i^xKdx = X 5 xne~ax>' cos 0x adx —
[о	о
CO	pM+l\
— г’Л. ( xne~rxx' sin 6xx dx — --L±J__. (55)
о	»+i	»+i v ’
a K (1-j-itgЛл) K
314
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Но
п+ 1	п+ 1	_ п+ 1
(1 + i tg Хл) к = (cos Хл + i sin Хл) ' (cosXn) к —
—"+1 _1+1
==e‘«(n+i) (cos Хл) х = cos л (п 4-1) • cos (Хл) к ,
поскольку sin л (пф- 1) = 0.
Тем самым правая часть в (55) является действительной и,
значит, при всех целых п^О справедлива формула (54). Возьмем
теперь в качестве G (х) функцию распределения с плотностью gix).
Тогда из (54) следует, что у функций распределения F и G все
моменты совпадают, т. е. для всех целых справедливы
равенства (53).
Приведем теперь некоторые достаточные условия, обеспечиваю-
щие единственность проблемы моментов.
Теорема 7. Пусть F = F(х) — функция распределения и р„ =
— $ |x|"dF(x). Если
___ ДМ
(56)
л —> со п
00
то моменты	где m„ = ^xnd F (х), однозначно определяют
—СО
функцию распределения F = F(x).
Доказательство. Из (56) и утверждения 7) теоремы 1
следует, что найдется такое to>0, что для всех 111 sS t0 характе-
ОЭ
ристическая функция <р (/) = § eitx dF (х) представима в виде
— оо
со ,
ф (0 = Е д'
4=0
и, следовательно, моменты {mtl}n^\ однозначно определяют зна-
чение характеристической функции <р (?) для всех
Возьмем точку s с | s |	t0/2. Тогда из (56), так же как и при
доказательстве (15), показывается, что для всех \t — s|==^0
ф(0= s '"If—(s),
4 = 0
где
ф W (g) _ [k (j Xkglsx dP
однозначно определяется по моментам {тя}я>1. Следовательно,
эти моменты определяют однозначно ф (t) для всех [ 11 «С %
§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
315
Продолжая этот процесс, убеждаемся в том, что {/пл}л>1 опре-
деляют однозначно <р (/) при всех I, а значит, и функцию распре-
деления F (х).
Теорема доказана.
Следствие 1. Моменты однозначно определяют распреде-
ление вероятностей, сосредоточенное на конечном интервале.
Следствие 2. Для единственности проблемы моментов дос-
таточно, чтобы
«—♦со
Для доказательства достаточно заметить, что нечетные моменты
оцениваются по четным, и затем воспользоваться условием (56).
Пример. Пусть F(x) —функция нормального распределения,
f(x)
х —1L
1 Г „ 2аа
- I е at,
V2лаа J
Тогда т2п+1 — 0, т2„ — ^^-и2п и из (57) следует, что эти мо-
менты являются моментами только нормального распределения.
Приведем в заключение (без доказательства)
Критерий Карлемана единственности проблемы
моментов.
а)	Пусть {m„}n^i — моменты некоторого распределения вероят-
ностей, причем
ОО
п—0
Тогда они определяют распределение вероятностей однозначно.
Ь)	Если {тп}п^\—моменты распределения, сосредоточенного
на [О, оо), то для однозначности достаточно потребовать, чтобы
ОО
V 1 _
Z (тп)Ч^ ~ °0,
п = 0
10.	Задачи.
1.	Пусть § и т] — независимые случайные величины, f (х) =
= /1 (х) + if2 (х), g (х) = g± (х) + ig2 (х), где fk (х), gh (х) - борелевские
функции, &=1,2. Показать, что если М|/(£)|<оо M|g(|)|<oo,
то
МI/(Ю£(П) I < сю
и
316
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
2.	Пусть £ =	, |„) и M||g||ra<oo, где |]Н=+/1>
Показать, что
п
k = 0
где t = (tu .... tn) и en(t)-+O, t-+0.
3.	Доказать теорему 2 для n-мерных функций распределения
F — F „ (х,,	, х„) и G = Gn (хх,... , хп).
4.	Пусть F = F(x1( ... , х„) — n-мерная функция распределения,
Ф = ф(/1, ... , /„) —ее характеристическая функция. Используя
обозначение (3.12), установить справедливость формулы обращения
С п
Р (a, b] = lim —J— f ТТ e~ltkak- e~itkl>k ф .у
^=° (2п) Л
(Предполагается, что (а, Ь] является интервалом непрерывности
функции Р (а, Ь], т. е. при Всех k = l, ... , п точки ак, Ьк яв-
ляются точками непрерывности маргинальных функций распреде-
ления Fft(xft), полученных из F (хг, .... х„), если положить все
переменные, за исключением хА, равными 4-оо.)
5.	Пусть <Pfe(0,	1,— характеристические функции, а неотри-
цательные числа Xft, k^l, таковы, что 2^л=1- Показать, что
функция	является характеристической.
6.	Если <р (t) — характеристическая функция, то будут ли
Яеф(^) и Im ф (/) —характеристическими функциями?
7.	Пусть фп ф2, ф3 — характеристические функции и фхф2 = фхф3.
Следует ли отсюда, что ф2 = ф3?
8.	Составить таблицу характеристических функций для рас-
пределений, приведенных в табл. 1 и 2 § 3.
9.	Пусть | — целочисленная случайная величина и ф-Д/)—ее
характеристическая функция. Показать, что
п
= = J	й = 0, ±1, +2...
— л
§ 13. Гауссовские системы
1. Гауссовские, или нормально распределенные, случайные
величины, гауссовские процессы и системы играют исключительно
важную роль в теории вероятностей и математической статистике.
Объясняется это прежде всего справедливостью центральной
предельной теоремы (§ 4 гл. III), частным случаем которой яв-
§ 13 ГАУССОВСКИЕ СИСТЕМЫ	317
ляется теорема Муавра — Лапласа (§ 6 гл.1). Согласно этой теореме
нормальное распределение носит универсальный характер в том
смысле, что распределение суммы большого числа независимых
случайных величин или случайных векторов, подчиняющихся не
слишком стеснительным условиям, хорошо аппроксимируется этим
распределением.
Именно это обстоятельство дает теоретическое объяснение
распространенному в статистической практике «закону ошибок»,
выражающемуся в том, что ошибка измерения, слагающаяся из
большого числа независимых «элементарных» ошибок, подчиняется
нормальному распределению.
Многомерное гауссовское распределение описывается небольшим
числом параметров, что является несомненным его достоинством
при построении простых вероятностных моделей. Гауссовские
случайные величины имеют конечный второй момент, и, следо-
вательно, их свойства могут изучаться методами гильбертова
пространства. Важным при этом оказывается то обстоятельство,
что в гауссовском случае некоррелированность превращается
в независимость, что дает возможность значительно усилить
результаты «£2-теории».
2. Напомним, что (согласно § 8) случайная величина g = g(w)
называлась гауссовской или нормально распределенной с пара-
метрами т и о2 (т, о2)), |/п|<оо, о2>0, если ее
плотность Д(х) имеет следующий вид:
(х—т)2
202 ’
где о = + рло2.
При о | 0 плотности Д (х) «сходятся к 6-функции, сосредото-
ченной в точке х — гт. Поэтому естественно сказать, что случай-
ная величина £ нормально распределена с параметрами т и о2 = 0
(|~@^(/тг, 0)), если £ такова, что Р(£ = т) = 1.
Можно дать, однако, такое определение, которое сразу будет
охватывать как невырожденный (о2>0), так и вырожденный (о2 = 0)
случаи. С этой целью рассмотрим характеристическую функцию
(/) == Me i(\ t е R.
Если Р (g = т) = 1, то очевидно, что
<h(0=e'7m,	(2)
а если	(т, а2), а2>0, то, согласно (12.9),
/2а2
=	2	(3)
Легко видеть, что при о2 = 0 правая часть (3) совпадает с правой
частью (2). Отсюда и из теоремы 1 § 12 следует, что гауссовскую
случайную величину £ с параметрами т и ст2 (\т | <_ оо, ст2 0)
можно определить как такую величину, для которой характе-
318
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
ристическая функция задается формулой (3). Подход, осно-
ванный на привлечении характеристических функций, особенно
удобен в многомерном случае.
Пусть g = (£п ... , 5Л) — случайный вектор и
(0 =	Ч t =	, tn) е= Rn,	(4)
— его характеристическая функция (см. определение 2 в § 12).
Определение 1. Случайный вектор g = (^, ... , ?„) назы-
вается гауссовским или нормально распределенным, если его
характеристическая функция (p-g (t) имеет следующий вид;
Фб(0 = е 2	(5)
где т = (/и11..., тп), |тА|<оо и R = || гм || — симметрическая
неотрицательно определенная матрица порядка пхп (для крат-
кости будем использовать обозначение:	(m, R)).
В связи с данным определением возникает прежде всего
вопрос о том, а является ли функция (5) характеристической?
Покажем, что это действительно так.
С этой целью предположим сначала, что матрица R является
невырожденной. Тогда определены обратная матрица А — R"1 и
функция
f(x) = (lHSexp{_4(А (х~т)> (х~т))}>	(6)
где x = (xt, .... хп), | Л | = det А. Эта функция является неотри-
цательной. Покажем, что
/(x)dx = elXm)4(Rz-0
R'1
или, что то же,
Z„ = J	(x~m))dx — e~ T(RI,t). (7)
Rn
Сделаем в интеграле замену переменных
х — т — &и, t = 0v,
где (^ — ортогональная матрица такая, что
— D,
и
о
%,
dn
§ 13. ГАУССОВСКИЕ СИСТЕМЫ
319
— диагональная матрица с dt^0 (см. доказательство леммы в § 8).
Поскольку |R| = detR#= 0, то dt>Q, i = l, , п. Поэтому
(8)
Далее (см. обозначения п.1 § 12)
i(t, х — т) —-^-(А(х-т), (х — т)) =
= i (0v, 0и) — у (А® и, 0и) =
= / (0v)*0u — у (&и)*А (&и) —
— iv*u----~и*0* А0и =
Вместе с (8) и (12.9) это дает
7 —______ 1_____ I р1о*и-i- u*D-»u z/п =
/л
- г 1 г ,	4 А-
-П^^_Ь"А И 2 -
_	‘ v.Da _	’	±	_ - 4 (R7, 0.
— t>	—— (z	“ **	— G
Из (6) следует также, что
p(x)dx=l.	(9)
Rn
Таким образом, функция (5) является характеристической
функцией «-мерного (невырожденного) гауссовского распределения
(см. п. 3 § 3).
Пусть теперь матрица R вырожденная. Возьмем 8>0 Я рас-
смотрим положительно определенную симметрическую матрицу
Re == R + еД. Тогда по доказанному функция
ф.ю=е“«-4®«.о
является характеристической:
<р8 (/) = С е‘^(- dFe (х),
Rn
где Fe (х) — Fe (хх.х„) — «-мерная функция распределения.
При е-> 0
p/а /а
320
ГЛ И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Предельная функция ф (f) непрерывна в нулевой точке (0,... , 0),
Поэтому, согласно теореме 1 и задаче .1 из § 3 гл. III, она
является характеристической.
Итак, корректность определения 1 установлена.
3.	Выясним смысл вектора т и матрицы ₽ = ||ГйН|, входящих
в характеристическую функцию (5).
Поскольку
п	п
In (/) = «(/, т) — у (R/, t) = i tkmk-^- rkltkth (10)
fr=i	k,i=i
то из (12.35) и формул связи моментов и семиинвариантов нахо-
дим, что
mj = s6<>"°••. °) = М^,.... тк = $6<°.°. ') = M£fe.
Аналогично
z-h=sV2'0....0> = D^, r12 = s^ i,o...) = cov(|ji U
и вообще
rw = COV(gft, Ь)-
Таким образом, т есть вектор средних значений g, a R — матри-
ца ковариаций.
Если матрица R невырожденная, то к этому результату можно
было бы прийти и иначе. Именно, в этом случае вектор £ имеет
плотность f(x), задаваемую формулой (6). Тогда прямой подсчет
показывает, что
Mlk = \xkf(x)dx=mk,	(И)
cov (gft, = \(xk- тк) (xt - тд f (х) dx = гк1.
4.	Обратимся к рассмотрению некоторых свойств гауссовских
векторов.
Теорема 1. а) У гауссовского вектора некоррелированность
его компонент эквивалентна их независимости;
Ь) вектор g = (g1>... , |„) является гауссовским тогда и только
тогда, когда для любого вектора Z = (Xlt... , А.„), A* е R, случай-
ные величины (£,X) = Xj£i4- .имеет гауссовское распре-
деление.
Доказательство, а) Если компоненты вектора g —(gp...
..., |„) некоррелированы, то из вида характеристической функции
qjt (I) следует, что она является произведением характеристических
функций
п
<р& (0 = JI
k=l
Поэтому в силу теоремы 4 § 12 компоненты	независимы.
§ 13. ГАУССОВСКИЕ СИСТЕМЫ
321
Обратное утверждение очевидно, поскольку из независимости
всегда следует некоррелированность.
Ь) Если £ —гауссовский вектор, то из (5) следует, что
М ехр {it +   • +	= ехр {it	-
-----------------------2	Jj’, t е R,
и, следовательно,
(I, X) ~ &Г (^kmk,
Обратно, гауссовость случайной величины (g, Х) = ^1Д- ... +
+ означает, в частности, что
Me- (SA) = eiM Cs'м = el S Т s ^'cov .
В силу произвольности /.lt ... Пп и из определения 1 отсюда
следует, что вектор £ = (£v ... , %,„) — гауссовский.
Теорема доказана.
Замечание. Пусть (9, £) —гауссовский вектор с 8 = (0Х,...
•	£ =	••• > Ы- Если векторы 0 и £ некоррелированы, т. е.
cov (0г, |/) = 0, i =? 1, ... , k, j = 1, ... , I, то они и независимы.
Доказательство— то же, что и для утверждения а) теоремы.
Пусть fe = (^,..., £л) — гауссовский вектор, и для простоты
будем предполагать, что -вектор средних значений является
нулевым. Если rangR — r<Zn, то, как было показано в § 11,
существует ровно п — г линейных соотношений между величинами
... , В этом случае можно считать, что, скажем, величины
|х, ... , линейно независимы, а все остальные через них линейно
выражаются. Поэтому все основные свойства вектора £ = (^, ..., £„)
определяются первыми г .компонентами (£х, ... , £г), для которых
соответствующая матрица ковариаций уже является невырожденной.
Итак, можно считать, что исходный вектор £ = (£х,.... t„)
уже таков, что его компоненты линейно независимы и, значит,
|R|>0.
Пусть (^ — ортогональная матрица, приводящая R к диаго-
нальному виду
<0*^0 — D.
Все диагональные элементы матрицы D положительны, и, следо-
вательно, определена обратная матрица. Положим В2 = £> и
Тогда легко убедиться, что
= <£7, П'
322
ГЛ II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
т. е. гектор p = (Plt ...» ₽„) — это гауссовский вектор с некорре-
лированными, а значит (теорема 1), и независимыми компонен-
тами. Тогда, обозначая А = 0В, получаем, что исходный гауссов-
ский вектор ? = (?!,	Е„) представляется в виде
£ =	(12)
где р = (Pi, ... , р„)-~гауссовский вектор с независимыми компо-
нентами, р,’.'-'-'	(0,1). Отсюда вытекает следующий результат.
Пусть | = (£и .... 5п) — вектор с линейно независимыми компо-
нентами, MSft = O, k=l, ... , п. Этот вектор является гауссовским
тогда и только тогда, когда существуют независимые гауссовские
величины рх,..., Рп, Ps~(0,1), и невырожденная матрица А
порядка п такие., что £ = Лр. При этом R = А А* — матрица
ковариаций вектора
Если |R | Ф0, то, согласно методу ортогонализации Грама —
Шмидта (см. § 11),
—	k=\,...,n,	(13)
где в силу гауссовости вектор е = (е1( ..., ел.)^@£"(0, £),
(14)
1 = 1
(15)
и
...,	..., £ft}.	(16)
Из ортогонального разложения (13) сразу получаем, что
...Л1).	(17)
Вместе с (16) и (14) отсюда следует, что в гауссовском случае
условнее математическое ожидание М (^ (..., |Х) является
линейной функцией от (gx, ..., £fc-x):
k-i
M(^|h~i, ....?!)= U a&-	(18)
i = i
(В случае k = 2 этот результат был установлен в § 8.)
Поскольку, согласно замечанию к теореме 1 § 8, M(gft||*-x,..., |х)
является оптимальной (в среднеквадратическом смысле) оценкой
по gt, ^й-х, то из (18) следует, что в гауссовском случае
оптимальная оценка оказывается линейной.
Используем эти результаты для отыскания оптимальной оценки
вектора 6 = (0Х,..., 6А) по вектору £ — (|х, .... £г) в предположении,
§ 13 ГАУССОВСКИЕ СИСТЕМЫ
823
что (8, £) —гауссовский вектор. Обозначим
те = М8, т£==М£
— векторы-столбцы средних значений и
D99 = cov(8, 8) = ||cov (0,-, 07)|i,	1 <' i, j^k,
DOs == cov (8, %) == || cov (8,-,	|l, 1 < i 1 C j < I,
D6I cov (g, £) = j| cov (E,-, 1Д II, 1 < i, j < I,
— матрицы ковариаций. Предположим, что матрица имеет
обратную матрицу. Тогда справедлива следующая
Теорема 2 (теорема о нормальной корреляции). Для гаус-
совского вектора (8, |) оптимальная оценка М (8 11) вектора 8 по §
и ее матрица ошибок
А = М[6 — М (6 |g)][9 — М (6 |В)]*
задаются следующими формулами'.
М(8Ш=-т9 + ОеА1(£-«Н),	<19)
А = D99 — Dg^DjU (Dej) *.	(20)
Доказательство. Образуем вектор
П = (0 - тф - D9As ~mi)-	(2 О
Тогда непосредственно проверяется, что Мц (£-/т)* = 0, т. е.
вектор ц не коррелирован с вектором (£ — тДф Но в силу гаус-
совости (8, Е) вектор (г), £) также будет гауссовским. Отсюда
в силу замечания к теореме 1 векторы rj и | —/т независимы.
Значит, независимы -ц и | и, следовательно, М (г] | £). = Мт] = 0.
Поэтому
М [8 - т91 £] - DesD|t (£ — "Ч) = °>
что и доказывает представление (19).
Для доказательства (20) рассмотрим условную ковариацию
cov (8, 8 |g) = M[(8 - М (0 |g))(8 - М(8 |£))* II]. (22)
Поскольку 8— М (0 |g) = г], то в силу независимости т] и g нахо-
дим, что
cov (6, 6 | g) = М (т)Г)* 11) = MrjTi* =
= De0 + Do ААДЭцОед — 2D0sD |sD«D|sDq? = De0 — D^D^.
Поскольку cov (8, 6 | g) не зависит от «случая», то
A = Mcov(8, 0| g) = cov(6, 6 | i),
что и доказывает представление (20).
324
ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Следствие. Пусть (0,	£„) — (п+.1)-мерный гауссов-
ский вектор, причем £i, ...» независимы. Тогда
М (01	L) = Мб + 2 "°VDg;tg,) & ~ м^’
1 = 1	1
п
ддР8- У Ы
i = 1
(ср. с формулами (8.12), (8.13)).
5, Пусть gp g2, ... — последовательность гауссовских случайных
векторов, сходящаяся по вероятности к вектору Покажем, что
вектор также является гауссовским.
В соответствии с утверждением а) теоремы 1 достаточно пока-
зать это лишь для случайных величин.
Пусть тп = М£л, On = D|„. Тогда по теореме Лебега о мажо-
рируемой сходимости
lim etmn~^°n< = lim МеОДл = Ме'а.
л-*со	n->co
Из существования предела в левой части вытекает, что найдутся
такие т и о2, что
т= lim тп, a2 — lim
п—»со	п—>оо
Следовательно,
Ме!/6 = е 2 ,
т. е.	(т, о2).
Отсюда, в частности, вытекает, что замкнутое линейное много-
образие X'{^х, Вг, ... }, порожденное гауссовскими величинами
Ej, £2, ... (см. п. 5 § 11), состоит из гауссовских величин.
6. Перейдем теперь к определению общих гауссовских систем.
Определение 2. Совокупность случайных величин £ = {?а},
где а принадлежит некоторому множеству индексов 21, называется
гауссовской системой, если для любого я^1 и любых а1; ..., ап
из 21 случайный вектор (gai, ...,	) является гауссовским.
Отметим некоторые свойства гауссовских систем.
а)	Если £ = (Еа), а е 21, — гауссовская система, то всякая ее
подсистема g' = (H^.), а'е 21's 21, также является гауссовской.
Ь)	Если Еа, а е 21, — независимые гауссовские величины, то
система | = (£а), а е 21, является гауссовской.
с)	Если g = (|a), а е 21, — гауссовская система, то замкнутое
п
линейное многообразие X (£), состоящее из величин вида У са.Ц
i = i ‘
§ 13. ГАУССОВСКИЕ СИСТЕМЫ
325
и их пределов в среднеквадратическом смысле, образует гауссов-
скую систему.
Заметим, что утверждение, обратное к свойству а), вообще
говоря, неверно. Например, пусть и независимы и
<^©-//а(0, 1), Tjj ~ егЛ’ (0, 1). Определим систему
(5, п)={
(5i, Ini!),
(51, — Ini!),
если
если
5т О,
5т <0.
(23)
Тогда нетрудно проверить, что каждая из величин £ и т] гаус-
совская, а вектор (g, тр гауссовским не является.
Пусть £ = £а, а е 21, — некоторая гауссовская система с векто-
ром средних значений m = (ma), as’2l, и матрицей ковариаций
R = (Лхр)«.рея, где ma = Mca. Матрица R является, очевидно, сим-
метрической (rap = Гра) и неотрицательно-определенной в том смысле,
что для любого вектора с = (са)аед со значениями в у кото-
рого лишь конечное число координат са отлично от нуля,
(Rc, с) — £ ra₽cacp 0.
a, р
(24)
Поставим сейчас обратный вопрос. Пусть задано некоторое
параметрическое множество Й = {а}, вектор т = (та)а!=% и сим-
метрическая неотрицательно-определенная матрица R — (rap)a,
Спрашивается, существует ли вероятностное пространство (Й,	, Р)
и на нем гауссовская система случайных величин £ =
такие, что
COV (£а, ?p) = rap, а, Р e'.’t?
Если взять конечный набор а1, ...» ап, .то по вектору т —
= (/тц, ..., и матрице R = (гар), а, 0 = ах, ..., а„, в Rn можно
построить гауссовское распределение ... a (хх ... хя) с характе-
ристической функцией
T(0=ez(Cm)"^(R/’<), / =	.... ^).
Нетрудно проверить, что семейство
{Еаг	..., хп); аге=3(}
является согласованным. Следовательно, по теореме Колмогорова
(теорема 1 § 9 и замечание 2 к ней) ответ на поставленный выше
вопрос является положительным.
"26 ГЛ II МАТЕМАТИЧЕСКЙЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
7. Если 91 = {1, 2, ... }, то в соответствии с терминологией,
принятой в § 5, систему случайных величин ^ = (^а)ае?[> будем
называть случайной последовательностью и обозначать g = (^, В2,.. .).
Гауссовская последовательность полностью описывается вектором
средних значений т = (mlt т2, ...) и матрицей ковариаций R = || rtj [,
r/y = cov (£,-, £у). В частности, если гу = о,26/у-, то £ = (g1; Н2, ..)
есть гауссовская последовательность независимых случайных вели-
чин с	of), iSsl.
В том случае, когда 91 = [0, 1], [0, оо), (—сю, со) ..., систему
величин £ = (£,), t е 91, называют случайным процессом с непре-
рывным временем.
Остановимся на некоторых примерах гауссовских случайных
процессов. Если считать их средние значения равными нулю, то
полное описание вероятностных свойств таких процессов опреде-
ляется видом матрицы ковариации |] rst [. Будем обозначать rst
через r(s, t) и называть эту функцию от ь и t ковариационной
функцией.
Пример 1. Если Т = [0, оо) и
г (s, Z) = min(s, t),	(25)
то гауссовский процесс £ = (£/)<> о с такой функцией ковариации
(см. задачу 2) и д = 0 называется процессом броуновского движе-
ния (винеровским процессом).
Отметим, что этот процесс имеет независимые приращения, т. е.
для любых < t2 <z,.. • < tn случайные величины
....
являются независимыми. В самом деле, в силу гауссовости доста-
точно проверить лишь попарную некоррелированность приращений.
Но если s<zt <и <zv, то
М[^-Ь][Е.-В«] =
= [г(/, v) — г (t,- и)] — [г (s, v) — r(s, п)]= (t — t) — (s — s) = 0.
Пример 2. Процесс £ = (HZ),	с Ho = O и
r(s, Z) = min(s, t) — st	(26)
называется условным винеровским процессом (заметим, что по-
скольку г(1, 1) = 0, то Р(^1 = 0)=1).
Пример 3. Процесс £ = (&), —сю <7<оо, с
r(s, /) = е-В-®1	(27)
назыв ают гауссовско-марковским.
§ 13. ГАУССОВСКИЕ СИСТЕМЫ
327
8. Задачи.
1.	Пусть Si, Вз — независимые гауссовские случайные вели-
чины, Sz~ (0, 1). Показать, что
gi±H3-^^r(0, 1).
/1-Н! V
(В этой связи возникает интересная задача описания всех нели-
нейных преобразований от независимых гауссовских величин
Sv .... распределение которых также является гауссовским.)
2.	Доказать, что функции (25), (26), (27) являются неотрица-
тельно-определенными (и, следовательно, действительно являются
ковариационными функциями).
3.	Пусть А — некоторая матрица порядка тХп. Назовем
матрицу Д® порядка пХт псевдообратной к матрице А, если
найдутся такие матрицы U и V, что
ДД®Д = Д, ДЭ = ДД* = Д*17.
Показать, что матрица Л®, определяемая этими условиями, суще-
ствует и единственна.
4.	Показать, что формулы (19) и (20) в теореме о нормальной
корреляции остаются справедливыми и в случае вырождения
матрицы если в них вместо ОД рассматривать псевдообратную
матрицу Dfj.
5.	Пусть (9, &) = (9Г...9Й; Ei, .... Sz) — гауссовский вектор
с невырожденной матрицей A s= Dee— D^Dej. Показать, что у функ-
ции распределения Р (9 «с a | S) = Р (9j аг, ..., 9* ak |S) суще-
ствует (Р-п. н.) плотность р(ал, aft|S), определяемая формулой
Р 	ak | S) =
= exp { - 1 (а - М (9 | |))*А-1 (а - М (9 | £))}.
(2л)*/2 I 2	'
6.	(С. Н. Бернштейн). Пусть S и 11 — независимые одинаково
распределенные случайные величины с конечной дисперсией. Дока-
зать, что если S + л и S — т] независимы, то £ и т| являются
гауссовскими величинами.
СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР.
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
§ 1. Слабая сходимость вероятностных мер
и распределений
1. Многие из фундаментальных результатов теории вероятно-
стей формулируются в виде предельных теорем. В форме предельной
теоремы было сформулировано утверждение, названное законом
больших чисел Я. Бернулли, эту форму имела теорема Муавра —
Лапласа, с которых, собственно говоря, и началась истинная
теория вероятностей.
В настоящей главе мы остановимся на двух основных аспектах
теории предельных теорем: на понятии слабой сходимости и на
методе характеристических функций, являющимся одним из самых
мощных средств доказательства предельных теорем и их уточнений.
Напомним для начала формулировку закона больших чисел
(гл. I, § 5) в схеме Бернулли.
Пусть £i, ^2> ••• — последовательность независимых одинаково
распределенных случайных величин с Р(^ = 1) = р, Р(|/ = 0) = <7,
р4-#=1. Используя введенное в § 10 гл. II понятие сходимости
по вероятности закон больших чисел Я. Бернулли можно сформу-
лировать в следующей форме:
— — р, п->со,	(1)
где Sn = gj 4-... 4- (В гл. IV будет показано, что на самом
деле здесь имеет место и сходимость с вероятностью единица.)
Обозначим
§ 1 СЛАБАЯ СХОДИМОСТЬ
329
где F (х) — функция распределения вырожденной случайной вели-
чины | = р. Пусть также Р„ и Р — вероятностные меры на
(/?, d%)(R)), отвечающие функциям распределения Fn и F.
В соответствии с теоремой 2 из § 10 главы II сходимость по
вероятности — р влечет за собой сходимость по распределению
означающую, что
М/(^)^М/(р), п^сю,	(3)
для любой функции f = f(x) из класса © (7?) непрерывных ограни-
ченных функций на R.
Поскольку
М/ = р (х) Р„ (dx), М/ (р) = J f (х) Р (dx),
R	R
то (3) можно переписать в форме
\f(x)Pn(dx)^f(x)P(dx), f^(£(R),	(4)
R	R
или (в соответствии с обозначениями § 6 гл. II) —в форме
\f(x)dFn(x)-+\f(x)dF(x), f<=$(R).	(5)
R	R
В анализе сходимость (4) называют слабой сходимостью (мер Рп
к мере Р, п->оо) и записывают в виде Р„Р. Естественно и
сходимость (5) также назвать слабой сходимостью функций рас-
пределений Fn к F и обозначить ее Fn ~ F.
Итак, можно утверждать, что в схеме Бернулли
(6)
Из (1) нетрудно также вывести, что для функций распределе-
ния, введенных в (2),
Fn (x)->-F (х), п^со,
для всех точек хе R за исключением одной точки х = р, где
функция F (х) терпит разрыв.
Это обстоятельство показывает, что слабая сходимость Fn-^ F
не влечет за собой поточечную сходимость функций Fn(x) к F (х),
для всех точек x<=R. Оказывается, однако, что как
в случае схемы Бернулли так и в общем случае произвольных
функций распределения, слабая сходимость эквивалентна (см. далее
теорему 2) так называемой сходимости в основном в смысле сле-
дующего определения.
330
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Определение 1. Последовательность функций распределе-
ния {F„}, заданных на числовой прямой, называется сходящейся
в .основном к функции распределения F (обозначение: Fn-=$F),
если при п -> оо
Fn(x)-+F(x), xe(D(F),
где © (F) — множество точек непрерывности предельной функции
F = F(x).
В рассматриваемом случае схемы Бернулли функция F = F(x)
вырождена, и-отсюда нетрудно вывести (см. задачу 7 к § 10
в гл. II), что
(F„=>F)=}[^-
Таким образом, с учетом приводимой ниже теоремы 2
-р. р\ => (Fn^F)<=> (Fn =>F) =>	Л р}
и, следовательно, утверждение закона больших чисел можно рас-
сматривать как одну из теорем о слабой сходимости функций
распределений, определенных в (2).
Обозначим
I I npq )
F(X)=~- §	2 dU'	(8)
Теорема Муавра— Лапласа (§ 6 гл. I) утверждает, что Fn (x)->
->F(x) для всех хеА’ и, следовательно, F„z=^F. В силу отме-
ченной эквивалентности слабой сходимости Fn^-F и сходимости
в основном F„^F можно, следовательно, сказать, что теорема
Л^уавра — Лапласа есть также утверждение о слабой сходимости
функций распределений, определенных в (8);
Эти два примера оправдывают концепцию слабой сходимости
вероятностных мер, вводимую далее в определении 2. Хотя для
случая числовой прямой слабая сходимость равносильна сходи-
мости в основном соответствующих функций распределения, пред-
почтительнее, однако, в качестве исходной рассматривать именно
слабую сходимость, во-первых, потому что она проще поддается
анализу, и, во-вторых, по той причине, что она имеет смысл и
для более общих пространств, нежели числовая прямая, в част-
ности для метрических пространств, важнейшими примерами кото-
рых для нас являются пространства Rn, Rx, С и О (см. § 3 гл. 11).
2. Пусть (Е, S, р)— метрическое пространство с метрикой
р = р (х, у), ст-алгеброй ё борелевских подмножеств, порожденных
§ 1. СЛАБАЯ СХОДИМОСТЬ
331
открытыми множествами, и пусть Р, Рп Р2, ... — вероятностные
меры на (Е, S, р).
Определение 2. Последовательность вероятностных мер
{Р„} называется слабо сходящейся к вероятностной мере Р (обозна-
чение: РЛ-^Р), если
\f(x)Pn(dx)-+\f(x)P(dx)	(9)
Е	Е
для любой функции f = f(x) из класса (&(Е) непрерывных огра-
ниченных функций на Е.
Определение 3. Последовательность вероятностных мер
{Р„} называется сходящейся в основном к вероятностной мере Р
(обозначение: РИ=>Р), если
Рл(Л)->Р(Л)	(10)
для любого множества Л из для которого
Р(дЛ) = 0.	(11)
(Через дА обозначается граница множества Л:
дА = [Л] Л [А],
где [Л] — замыкание множества Л.)
Следующая важная теорема показывает эквивалентность поня-
тий слабой сходимости и сходимости в основном для вероятност-
ных мер, а также содержит другие равносильные формулировки.
Теорема 1. Следующие утверждения эквивалентны'.
I.	Р„-^Р.
II.	lim Р„ (Л) -'б Р (Л), А—замкнутые множества.
III.	limР„(Л)ЭгР (Л), Л — открытые множества.
IV.	Р„^Р.
Доказательство. (1)=> (II). Пусть Л —замкнутое мно-
жество, / (х) = 1а (х) и
k(x) = g(~p(x, Л)), е>0,
где
р(х, Л) = inf {р (х, у)\ у е А},
g(0 =
1,
1-/,
0,
1,
fesl.
332
ГЛ. III.-СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Обозначим также
Де = {х: р(х, Д)<е}
и заметим, что Ае[А, е | 0.
Поскольку функции fs (х) ограничены, непрерывны и
Р„ (Л) = Jj IА (х) Р„ (dx) ' J fe (х) Рп (dx),
Е	Е
!О
lim Рл (Д) ; lim jj fe (х) Рл (dx) =
,l	n E
= 5 fe (x) P (dx) < P (Де) ; P (A), 8 J 0,
E
что и доказывает требуемую импликацию.
Импликации (П)=>(1П) и (П1)=>(11) становятся очевид-
ными, если от множеств перейти к их дополнениям.
(Ill)	=^> (IV). Пусть Д° = Д дА —внутренность, а [Д] —
замыкание множества А. Тогда в силу II, III и предполо-
жения Р(дА) = д
ПЫ Р„ (Д) С 1ЪКРЛ ([Д]) < Р ([Д]) = Р (А),
п	п
lim Рл (Д) Sa lim Р„ (Д°) I Р (Д°) = Р (А),
п	~
и, значит, Рп(А)-+Р (А) для всякого А с Р (дА) = 0.
(IV)	=>(!)• Пусть f == f (х) — непрерывная ограниченная функ-
ция с । f (х) {< М. Обозначим
D = Р{х: f(x) = t}^0}
и рассмотрим разбиение Tk = (tn, tt, ..., tk) интервала [ — ЛА,/VI]:
— М = /j < <... <tk ~ М, k$sl,
с	i = 0, 1, ..., k. (Заметим, что множесгво D не более
чем счетно, поскольку множества f^1 {/} не пересекаются, а мера
Р конечна.)
Пусть В, = {х: ^sg/(x)</;+1}. Поскольку функция f (х) не-
прерывная и, следовательно, множество ti+1) открыто, то
дВ, S/-1 {t,} [J/-1 {//+1}. Точки I,,	поэтому Р(дВ{) = ® и
в силу (IV)
£-1	*-1
2/;Рл(В,.)->2^Р(Вг).	(12)
1=0	1=0
§ 1. СЛАБАЯ СХОДИМОСТЬ
333
Ho
5 f (x) P„ (dx)
E
k-\
t.PntBi) +
£-1
4—1
1=0
1=0
> max (//+1-/,•) + Z	tp (Bi) ,
1	-to	z±o
1=0
E
4-1	4-1
откуда в силу (12) и произвольности разбиений Тк, k^l,
lim (х)Р„ (dx) — y(x)P(dx).
п Е	Е
Теорема доказана.
Замечание 1. Участвующие в доказательстве импликации
I => 11 функции f (х) — 1А (х) и /Е (х) являются соответственно
полунепрерывными сверху и равномерно непрерывными. Учитывая
это обстоятельство, нетрудно показать, что каждое из'условий
теоремы эквивалентно одному из нижеследующих условий:
(V)	f (х)Р„ (dx) -> (х)Р (dx) для всех ограниченных равно-
Е	Е
мерно непрерывных функций f (х);
(VI)	lim (x)P„ (dx) (х)Р (dx) для всех ограниченных
п Е	Е	___
функций f (х), являющихся полунепрерывными сверху pim/(x„)^
^f(x), х„->х);
(VII)	lim \ f (х)Рп (dx) \ f (х)Р (dx) для всех ограниченных
~7Г Е	Е
функций f(x), являющихся полунепрерывными снизу ^lim/(x„)^
^f(x), хп->х).
Замечание 2. Теорема 1 допускает естественное обобще-
ние на тот случай, когда вместо вероятностных мер Р и Р„,
заданных на (Е, ё, р), рассматриваются произвольные (не обяза-
тельно вероятностные) конечные меры р и р„. Для таких мер
совершенно аналогично вводятся понятия слабой сходимости
рп р, сходимости в основном р„ => р и, так же как в теореме
1, устанавливается эквивалентность следующих условий:
I*. р«-р;
II*. 1 imp„ (А) й£р (Л), А — замкнутые множества, и р„(Д)->
п
334
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
III*, 1!тр„(Л)2эц(Л), А — открытые множества, и рп(£)->
IV*.
Каждое из этих условий равносильно любому из условий V*,
VI*, VII*, формулируемых как и V, VI, VII с заменой мер Р„ и
Р на и р. соответственно.
3. Пусть (/?, S3 (У?)) — числовая прямая с системой борелев-
ских множеств S3 (£), порожденных евклидовой метрикой р (х, у) =
~\Х~У\ (ср. с замечанием 2 в п. 2 § 2 гл. II). Обозначим Р,
Рл,	вероятностные меры на (/?, е®(/?)), и пусть F, Fn,
1, —соответствующие им функции распределения. Тогда спра-
ведлива
Теорема 2. Следующие условия эквивалентны'.
(1)	Р„^Р,
(2)	Р„=>Р,
(3)	Fn^F,
(4)	F„=>F.
Доказательство. Поскольку (2) е> (1) о (3), то достаточно
доказать, что (2) <=> (4).
Если Р„=>Р, то, в частности,
Р„( —со, х]->Р( —оо, х]
для всех хе/? таких, что Р{х} = 0. А это и означает, что
Fn=>F.
Пусть теперь Fn => F. Для доказательства сходимости Р„ => Р
достаточно (в силу теоремы 1) показать, что lim Р„ (Л) Ss Р (Л)
п
для всякого открытого множества А.
Если А — открытое множество, то найдется счетная система
непересекающихся открытых интервалов Ilt 12, ... (вида (а, &))
таких, что А = У, Ih. Зафиксируем е > 0 и выберем в каждом
k=\
интервале Jft==(aft, bk) подынтервал ]'k = (a'k, bi] такой, что а’к,
&£e©(F) и Р (Д)^Р(/*)-|-е • 2~k. (Поскольку множество точек разрыва
функции F = F(x) не более чем счетно, такие интервалы Гк, 1.
действительно существуют.) Тогда по лемме Фату
lim Р„ (Л) = lim 2 Р« (h) > 2 Um Р„ (Ц)
П 1	k~ 1 п
S Ит р» (^)>
k=l п
§ 1. СЛАБАЯ СХОДИМОСТЬ
335
Но
Рл (I'k) = Fn (b'k) - Fn (a'k) -> F (b'k) — F(a'k) = P (/*).
Поэтому
limP„(4)^2 P(Z£)^S (P (7*)-8.2-*) = Р(Л)-е,
n	k—l	k—i
что в силу произвольности е>0 доказывает, что lim Р„ (Л) 2s
п
2s Р (Л), если Л —открытое множество.
Теорема доказана.
4. Пусть (Е, ё) — измеримое пространство. Систему подмно-
жеств (F) s ё назовем определяющим классом, если для лю-
бых двух вероятностных мер Р и Q, заданных на (Е, g), из
равенства
Р (Л) = Q (Л) для всех А е (Е)
вытекает, что эти меры совпадают тождественно, т. е.
Р (Л) = Q (Л) для всех Л её.
Если (Е, ё, р) — метрическое пространство, то систему под-
множеств 5^', (Е) s ё назовем классом, определяющим сходимость,
если для любых мер Р, Рп Р2, ... из того, что
Р„(Л)->Р(Л) для всех	с Р(<ЭЛ)=О
вытекает, что
Р„ (Л) -> Р (Л) для всех А ^ё с Р (дЛ) = 0.
В случае (Е, ё) = (R, &Е (R)) в качестве определяющего
класса ё%"0 (Е) можно взять класс «элементарных» множеств
<% = {( — оо, х], х е /?} (теорема 1 из § 3 гл. II). Из эквива-
лентности условий (2) и (4) теоремы 2 вытекает, что класс Ж
является также и классом, определяющим сходимость.
Естественно возникает вопрос о таких определяющих классах
и для более общих пространств.
В случае пространств Rn, п^2, класс &С «элементарных»
множеств вида ( — с», х] = ( —оо, xjx ... Х( — оо, хя], х =
= (х1( ..., х„) е Rn является как определяющим классом (теоре-
ма 2 из § 3 гл. II), так и классом, определяющим сходимость
(задача 2).
В случае пространства цилиндрические множества Жп(Е')
являются теми «элементарными» множествами, по вероятностям
которых однозначно определяется вероятность для всех борелев-
ских множеств (теорема 3 из § 3 гл. II). Оказывается, что в этом
случае класс цилиндрических множеств является тем классом,
336
гл. Ill СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
который определяет также и сходимость (задача 3). Таким обра-
зом, 5Г1(/?”) = 5Г0(/?=°).
Можно было бы ожидать, что и в случае более общих про-
странств класс цилиндрических множеств является классом, опре-
деляющим сходимость. Однако, вообще говоря, это не верно.
Так, например, рассмотрим пространство (С, ^0(О)> Р)
с равномерной метрикой р (см. п. 6'§ 2 гл. II). Пусть Р —веро-
ятностная мера, целиком сосредоточенная на
Хп'_	функции xz = 0, Osg/sgl, а Рп — вероятно-
А	стные меры, поа 1, каждая из которых сосре-
/1 \	доточена на функции хп, изображенной
/ । \	на рис. 35. Нетрудно убедиться, -что
-)—-------L*. Рл(Л)->Р(Л) для всех цилиндрических мно-
0 1/п г/п 1 t жеств д с Р(5Л) = 0. Но, если взять, на-
р 35	пример, множество
А={х(=С: | xt | «Су, 0 Ьс 1} е (С),
то Р (дА) = О, Р„ (Л) = О, Р (Л) = 1 и, следовательно, Р„^> Р.
Таким образом, е^0 (Q =	(С), но (С) ед (С) (включе-
ние строгое!).
5. Задачи.
1. Будем говорить, что функция F = F (х), заданная на Rn,
непрерывна в точке х Rn, если для любого е > 0 найдется
такое 6 > 0, что | F (х) — F (у) | < е для всех y<=Rn, удовлетво-
ряющих неравенству
х — 8е < у < х -ф бе,
где е = (1, ..., 1) е Rn. Будем говорить также, что последова-
тельность функций распределения {Fn} сходится в основном
к функции распределения F(Fn-=$F), если Fn (х) ->F (х) для всех
точек х е R:i, где функция F = F (х) непрерывна.
Показать, что утверждение теоремы 2 остается справедливым
для Rn, п>1. (См. замечание к теореме 2.)
2. Показать, что в случае пространств R’* 1 класс «элементар-
ных» множеств &С является классом, определяющим сходимость.
3. Пусть Е — одно из пространств 7?33, С или D. Будем
говорить, что последовательность вероятностных мер {Рл} (задан-
ных на о-алгебре % борелевских множеств, порожденных откры-
тыми множествами) сходится в основном в смысле конечномерных
распределений к вероятностной мере Р (обозначение: Р„=>Р), если
Рл(Л)->Р(Л), п->оо, для всех цилиндрических множеств А
С Р(дЛ) = 0.
Показать, что в случае пространства R™
(рп=> р) о(Рл=> Р).
§ 2. ОТНОСИТЕЛЬНАЯ КОМПАКТНОСТЬ И ПЛОТНОСТЬ	337
4.	Пусть F и G —функции распределения на числовой прямой
н
L(F, G) = inf {h > 0: F (x — h) — h. < G (x)	F (x + h) + h}
— расстояние Леви (между F и G). Показать, что сходимость
в основном эквивалентна сходимости в метрике Леви:
(Fп=ЭF) L (Fп, F)->0.
5.	Пусть F„=>F и функция распределения F является непре-
рывной. Показать, что тогда сходимость Fn(x) к F (х) равномерна:
sup | Fn (х) — F (%) j -> 0, п->оо.
X
6.	Доказать утверждение, сформулированное в замечании 1
к теореме 1.
7.	Убедиться в справедливости эквивалентности условий (I*) —
(IV*), сформулированных в замечании 2 к теореме 1.
8.	Показать, что Р„-^Р тогда и только тогда, когда всякая
подпоследовательность {Р„-} последовательности {Р„} содержит
подпоследовательность {Р„"} такую, что Р«" -V Р.
§ 2. Относительная компактность и плотность семейств
вероятностных распределений
1.	Если задана последовательность вероятностных мер, то
прежде чем рассматривать вопрос о ее (слабой) сходимости к той
или иной вероятностной мере, следует, конечно, выяснить,
а сходится ли вообще эта последовательность к некоторой мере
или имеет она хотя бы одну сходящуюся подпоследовательность.
Так, например, последовательность {Р„}, где Р2Л = Р, Ро,,^ =
= Q, а Р и Q —различные вероятностные меры, не является,
очевидно, сходящейся, но имеет две сходящиеся подпоследова-
тельности {Р2Я} и {Р2я+1}.
Совсем просто устроенная последовательность {Р„} вероят-
ностных мер Р„, п  1, каждая из которых сосредоточена в точке
{п} (Р„{п} = I), не только не является сходящейся, но и не со-
держит ни одной сходящейся-подпоследовательности. (Поскольку
limP„(a, b] = 0 для любых a<zb, то предельная мера должна
была бы быть тождественно равной нулю, а это противоречит
тому, что 1 = Ря (£?)/> О, п->оо.) Интересно отметить, что в этом
примере соответствующая последовательность функций распреде-
ления {Fn}, где
338	гл. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ мер
является, очевидно, сходящейся: для любого хе/?
Fn (х) ->G(x) = 0.
Однако предельная функция G = G(x) не является функцией
распределения (в смысле определения 1 из § 3 гл. II).
Этот пример поучителен с той точки зрения, что, как он
показывает, класс функций распределения не является компакт-
ным. Он подсказывает также, что для сходимости последователь-
ности функций распределения к функции, которая являлась бы
также функцией распределения, нужны некоторые условия,
предотвращающие «утечку массы на бесконечность».
После этих вводных замечаний, поясняющих характер возни-
кающих здесь трудностей, перейдем к основным определениям.
2.	Будем предполагать, что все рассматриваемые меры опре-
делены на метрическом пространстве (£, S, р).
Определение I. Семейство вероятностных мер еТ5 =а
= {Ра; а е назовем относительно компактным, если любая
последовательность мер из аР содержит подпоследовательность,
слабо сходящуюся к некоторой вероятностной мере.
Подчеркнем, что в этом определении предельная мера пред-
полагается вероятностной, хотя, быть может, и не принадлежа-
щей исходному классу SF. (Именно с этим последним обстоятель-
ством связано появление слова «относительно» в данном опреде-
лении.)
Проверка того, ,что данное семейство вероятностных мер
относительно компактно, является делом далеко не простым.
Желательно поэтому иметь простые и удобные критерии, позво-
ляющие осуществлять эту проверку. Этой цели служит
Определение 2. Семейство вероятностных мер еТ5 ==
= {Ра; аеЯ} называется плотным, если для каждого 8>0
можно указать компакт К s Е такой, что
sup Ра (Е\К) е.	(1)
ае?[
Определение 3. Семейство функций распределения Ж =s
= {Fa} аеЯ}, определенных на Rn, rtSsl, называется относи-
тельно компактным (плотным), если таковым является соответ-
ствующее семейство вероятностных мер <95 = {Ра; а е 21}, где
Ра —мера, построенная по Fa.
3.	Следующий результат играет фундаментальную роль во
всей проблематике слабой сходимости вероятностных мер.
Теорема 1 (теорема Прохорова). Пусть а? = {Ра; а еф --
семейство вероятностных мер, заданных на полном сепарабельном
метрическом пространстве (Е, F, р). Семейство Зй является отно-
сительно компактным тогда и только тогда, когда оно является
плотным.
§ 2. ОТНОСИТЕЛЬНАЯ КОМПАКТНОСТЬ И ПЛОТНОСТЬ'
339
Доказательство этой теоремы будет приведено лишь для слу-
чая числовой прямой. (Почти без всяких изменений это доказа-
тельство переносится на случай произвольных евклидовых про-
странств Rn, п '^-2. Затем справедливость теоремы устанавливается
последовательно для /?°°, для ст-компактных пространств и, нако-
нец, для общих полных сепарабельных метрических прост-
ранств путем сведения каждого из этих случаев к предыдущему.)
Необходимость. Пусть семейство вероятностных мер ёТ5 =
{Ра; ае?1}, заданных на (7?,	(/?)), относительно компактно,
но не плотно. Тогда найдется такое е>>0, что для любого ком-
пакта К Е R
sup Ра (7?\Л) > е,
а
А значит, и для любого интервала I — (а, Ь)
sup Ра (7?\Z) > 8.
а
Отсюда вытекает, что для каждого интервала 1п — (—п, п), п^ 1
найдется такая мера Ра , что
Р% (Я\Д) > е.
Раз исходное семейство Д относительно компактно, то из после-
довательности {Рал}«>1 можно извлечь подпоследовательность,
скажем, {Ра„ } такую, что Р^ДДО, где Q —некоторая вероят-
ностная мера. Тогда в силу эквивалентности условий I и II в тео-
реме 1 из § 1 для всякого п 1
TtaPa (Z?\Z„)^Q(Z?\Z„).	(2)
Но Q(/?\Z„)|0, п->оо, а левая часть в (2) больше е>0. Это
противоречие показывает, что относительная компактность влечет
за собой плотность.
Для доказательства достаточности нам необходим один общий
результат (называемый теоремой Хелли) о секвенциальной ком-
пактности семейства обобщенных функций распределения (п. 2
§ 3 гл. II).
Обозначим через e7—{G} совокупность функций G—G(x) (обоб-
щенных функций распределения), удовлетворяющих следующим
свойствам:
1)	О(х) — не убывают-,
2)	0=^G(—оо), G(+oo)^l;
3)	G (х) — непрерывны справа.
Ясно, что & включает в себя класс функций распределения
— для которых F(—оо) = 0 и У7 (+оо) = 1.
340
ГЛ. Ill СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Теорема 2 (теорема Хелли). Класс e7={G} обобщенных функ-
ций распределения является секвенциально компактным, т. е. для
любой последовательности {G„} функций из найдутся функции
G и подпоследовательность {nh} s {п} такие, что
Gn (x)-+G(x), k->oo,
для любой точки х из множества <D (G) точек непрерывности
функции G — G(x).
Доказательство. Обозначим через Т = {хь х2, ...} счетное
всюду плотное множество в R. Поскольку числовая последова-
тельность {G„(xi)} ограничена, то найдется подпоследовательность
Л\ = {n)11, nj1’,...} такая, что при I-> со Gnti> (Xi) сходятся к некото-
рому числу gv В свою очередь из последовательности ЛД можно
извлечь подпоследовательность	ri2, ...} такую, что
Gn<2> (х2) сходятся при i->oo к некоторому числу g2 и т. д.
Определим на множестве T<=R функцию GT(x), полагая
Grixi^gt, Xt<=T,
и рассмотрим «канторовскую» диагональную последовательность
К = {n'i\ п2Тогда для любого х, е Т при т->оо
Gtm) (xJ-^Grixi).
m
Определим, наконец, функцию G — G(x) для всех хе/?, полагая
G (х)-= inf {GT (у): У^Т, у>х}.	(3)
Мы утверждаем, что G = G (х) есть искомая функция и G (m)fx)->
nm
-> G (х) для всех точек х, где G (х) непрерывна.
Поскольку все рассматриваемые функции Gn являются неубы-
вающими, то G (щ) (х) G (m) (у) для всех х и у, принадлежащих
пт	пт
множеству Т и удовлетворяющих неравенству х-=2у. Поэтому для
таких х и у
Gt{x)s^Gt{ij).
Отсюда и из определения (3) следует, что функция G = G(x) явля-
ется неубывающей.
Покажем теперь, что она непрерывна справа. Пусть х* | х
и d = limG(x*). Ясно, что G(x)-Cd, и надо установить, что на
k
самом деле G(x) = d. Предположим противное, т. е. пусть G(x)<d.
Из (3) следует, что тогда найдется такая точка у <=Т, x<Zy, что
Gt (у) < d. Для достаточно больших k х < xk < у, а, значит,
G (хй) -С Gt (и) < d и limG(xA)<d, что противоречит равенству
k
d = limG(xft). Итак, построенная функция G принадлежит <&.
§ 2. ОТНОСИТЕЛЬНАЯ КОМПАКТНОСТЬ И ПЛОТНОСТЬ
341
Установим теперь сходимость G <т) (х°) -> G (х°) для всякой
точки х° е © (G).
Если	то
lim G (m) (х°) «2 lim G (m) (у) = GT (//),
tn nm	tn lm
откуда
Пгп G (m) (x°) inf {Gr (у): y>x<>, ye=T} = G (x°).	(4)
m m
С другой стороны, пусть x1 < у < х°, у ^Т. Тогда
G (л-1) sg GT (у) = lim G (m) (у) = lim G (m) (y) ==glim G (m) (x°).
tn m	tn rn	tn m
Поэтому, полагая x1 f x°, получим, чго
G(xO-)^UmGn(m){^-	(5)
m
Но если G (x° —) — G (x°), то тогда из (4) и (5) заключаем, что
Теорема доказана.
Завершим теперь доказательство теоремы 1.
Достаточность. Пусть семейство еТ плотно и {Р,,} —неко-
торая последовательность вероятностных мер из 5s. Обозначим
ч^рез {ЕД последовательность соответствующих функций распре-
деления.
В силу теоремы Хелли найдутся подпоследовательность
S {Fn} и обобщенная функция распределения Сео такпе,
что Fn/t (х) -> G (х) для xeQ(G). Покажем, что в силу предполо-
жения о плотности семейства 9'- функция G = G(x) является на
самом деле «настоящей» функцией распределения (G (—оо) = О,
G(+oo) = l).
Возьмем е > 0, и пусть I = (а, Ь] — тот интервал, для которого
sup Р„(/?\/)<с,
п
или, что эквивалентно,
1 — esgP„(n, 6],	«5= 1.
Выберем точки a', b' е L (G), такими, что а' < а, Ь' > Ь. Тогда
l-e^P„ft(a, b]^Pn/{(a', b'] = F„k(b’) -Fnk(ar)-+G (b’) — G (a').
Отсюда следует, что G(H-oo) —G(—oo) = l, и поскольку 0-C
=CG(—oo) ‘ G ( + oo) sg 1, to G(—oo) = 0 и G( + oo)=l.
Таким образом, предельная функция G = G (х) является функ-
цией распределения и Fnk =^> G, что вместе с теоремой 2 из § 1
342
гл. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
доказывает, что	где Q — вероятностная мера, построенная
по функции распределения G.
Теорема 1 доказана.
4.	Задачи.
1.	Провести доказательство теорем 1 и 2 для пространств Rn,
п>~-2.
2.	Пусть Ра — гауссовская мера на числовой прямой с пара-
метрами та и ой, а е 31. Показать, что семейство ^ = {Ра; ае2(}
является плотным тогда и только тогда, когда существуют кон-
станты а и b такие, что
\тл\^а, Оа^Ь, аей,
3.	Привести примеры плотных и неплотных семейств вероят-
ностных мер SF = {Pa;	определенных на (RF,
§	3. Метод характеристических функций
в доказательстве предельных теорем
1. Доказательство первых предельных теорем теории вероятно-
стей—закона больших чисел и теорем Муавра — Лапласа и Пуас-
сона для схемы Бернулли — основывалось на прямом анализе
допредельных функций распределений Fn, которые довольно просто
выражаются через биномиальные вероятности. (В схеме Бернулли
суммируемые случайные величины принимают только два значения,
что и дает, в сущности, возможность явно найти функции Fn.)
Однако для случайных величин более сложной природы подобный
метод прямого анализа функций Fn становится практически
неосуществимым.
Первый шаг в доказательстве предельных теорем для сумм
произвольно распределенных независимых случайных величин был
сделан Чебышевым.
Предложенное им неравенство, известное теперь как «неравен-
ство Чебышева», не только дало возможность элементарно дока-
зать закон больших чисел Я. Бернулли, но и установить весьма
общие условия справедливости этого закона для сумм Sn = 4-
+--- + £п, «3^1, независимых случайных величин в форме утвер-
ждения, что для всякого е >О
(См. задачу 2.)
Далее, Чебышевым был создан (и Марковым усовершенствован)
так называемый «метод моментов», который позволил установить.
§ 3. МЕТОД характеристических ФУНКЦИЙ
343
что утверждение теоремы Муавра — Лапласа, записанное в виде
р / $п'
I I-'ds?
i
К 2л
e~u*Hdu,
(2)
носит универсальный характер в том смысле, что оно справедливо
в очень общих предположениях относительно природы суммируе-
мых случайных величин. Именно это дало основание называть
утверждение (2) центральной предельной теоремой теории вероят-
ностей.
Несколько позже Ляпунов предложил иной метод доказатель-
ства центральной предельной теоремы, в основе которого лежала
(восходящая к Лапласу) идея «характеристической функции» рас-
пределения вероятностей. Последующее развитие показало, что
«метод характеристических функций» Ляпунова является весьма
эффективным при доказательстве самых разнообразных предельных
теорем, что и обусловило его развитие и широкое применение.
Сущность этого метода состоит в следующем.
2. Мы уже знаем (§ 12 гл. II), что между функциями распре-
деления и характеристическими функциями существует взаимно
однозначное соответствие. Поэтому изучение свойств функций
распределения можно проводить, изучая соответствующие характе-
ристические функции. Замечательным сказывается то обстоятельство,
что слабая сходимость F,,--/7 функций распределения эквивалентна
поточечной сходимости фя-*ф соответствующих характеристических
функций. Более того, имеет место следующий результат, являю-
щийся основным средством доказательства теорем о слабой сходи-
мости распределений на числовой прямей.
Теорема 1 (теорема непрерывности). Пусть {Fn} — последова-
тельность функций распределения Fn = Fn(x), x^R, и {<р„}—
соответствующая последовательность характеристических функций,
СО
<р„(0= $ eltx dFп (х),	t<=R.
—СО
1) Если Fn w< F, где F = F (х) — некоторая функция распределения,
то ф„ (/) -><р (/), t R, где <р (/) — характеристическая функция
F^F(x).
2) Если при каждом t е R существует limcp„(/) и функция
п
ф (/) = Пгп<ря (/) непрерывна в точке t — О, то она является харак-
п
теристической функцией некоторого распределения вероятностей
F~F(x) и
Fn F.
344
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Доказательство утверждения 1) сразу следует из опреде-
ления слабой сходимости, примененного к функциям Ree'7-* и Ime'7x.
Доказательству утверждения 2) предпошлем несколько вспомо-
гательных предложений.
Лемма 1. Пусть {Р„} — плотное семейство вероятностных мер.
Предположим, что каждая слабо сходящаяся подпоследовательность
{Р;1'} последовательности {Рп} сходится к одной и той же вероят-
ностной мере Р. Тогда и вся последовательность {Р„} слабо
сходится к Р.
НУ
Доказательство. Допустим, что Р„-/»Р. Тогда найдется
такая ограниченная непрерывная функция f = f(x), что
f(x) Pn(dv)-^\f(x)P(dx).
R	R
Отсюда следует, что существуют е>0 и бесконечная последо-
вательность чисел {«'} — {п} такие, что
Ц f (х) Рп- (dx) — J f (х) Р (dx)
|Я	R
5s е> 0.
(3)
По теореме Прохорова (§ 2) из последовательности {Р„-} можно
выбрать подпоследовательность {Р„Д такую, что Рп- — Q, где
Q —некоторая вероятностная мера.
По прёдположению леммы Q = P, и, значит,
$ f (х) РП" (dx) -+У (х)Р (dx),
R	R
что находится в противоречии с (3). Лемма доказана.
Лемма 2. Пусть {Р„} — площное семейство вероятностных
мер на (R, <£/3(R)). Последовательность {Р„} слабо сходится
к некоторой вероятностной мере тогда и только тогда, когда для
каждого t^R существует lim<p„(/), где qn(t) — характеристи-
п
ческая функция меры Р„:
Фп (0 = $eitx Рп (dx).
R
Доказательство. Если семейство {Рл} плотно, т.о по теореме
Прохорова найдется подпоследовательность {Рп>} и вероятностная
мера Р такие, что Р^--Р. Предположим, что вся последователь-
ность {Рп} не сходится к р(р„-/»р). Тогда в силу леммы 1 най-
дется подпоследовательность {Р„-} и вероятностная мера Q такие,
что РП'<-^0, 'причем P=^Q.
§ 3 МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ	345
Воспользуемся теперь тем, что при каждом t е R существует
lim ф„ (/). Тогда
lim eitxPn- (dx) = lim § е‘/хРп>> (dx)
n' R	n" R
и, значит,
J ellxP (dx) — e!txQ. (dx), t e R.
R	R
Но характеристическая функция однозначно определяет распреде-
ление (теорема 2 § 12 гл. II). Поэтому P = Q, что противоречит
w *
предположению Рл-т> Р.
Что же касается обратного утверждения леммы, то оно непо-
средственно следует из определения слабой сходимости.
Следующая лемма дает оценку «хвостов» функции распределения
по поведению ее характеристической функции в окрестности нуля.
Лемма 3. Пусть F = F (х) — функция распределения на число-
вой прямой и ф = д>(/) — ее характеристическая функция. Тогда
существует такая константа /С > 0, что для всякого а > О
а
5 dF(x)^~ j [1 - Re ф (/)]<#.	(4)
|ж|>1/я	О
со
Доказательство. Поскольку Иеф(/)= § cos txdF (х), то,
—СО
применяя теорему Фубини, находим, что
а	а г- со
[1 — Re ф (/)] dt = ±- j У (1 — cos tx) dF (x)]dt=>
О	0 _—со
со	а	со
= $ [1^ (1 -cos tx) dt]dF (х) = 5(1—^-)dF(x)^
—со	0	—оо
& Inf fl	( dF(x),
где
1	. г 7, sin и \	,	. __1
-тг= inf 1— -——) = 1 — Sin 1	,
К }у\>Л У '	7
так что (4) справедливо с константой К — 7. Лемма доказана.
Доказательство утверждения 2) теоремы 1. Пусть фл(0~>
->ф(7), п->оо, где функция q>(t) непрерывна в нуле. Покажем,
что отсюда следует плотность семейства вероятностных мер {Рл},
где Рл —мера, соответствующая функции распределения Fn.
ГЛ Ш СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
В силу (4| и теоремы о мажорируемой сходимости
а

у)} = J	J[l-Re<pn(O]^^
а
->4 Jll-Re<P(Z)]^
о
при п -> оо.
Поскольку по предположению функция <р (/) непрерывна в нуле
и <р(0) = 1, то для всякого е>0 можно найти такое а>0, что
для всех и 5г 1

Следовательно, семейство {Р„} плотно, и в силу леммы 2 сущест-
вует вероятностная мера Р такая, что
Отсюда
Рл—Р.
<Р«(О= 5 eitxPn(dx)-> $ eitxP (dx),
—СО	—со
и в то же самое время <рп (I) -> ср (/). Поэтому ср (/) является харак-
теристической функцией вероятностной меры Р.
Теорема доказана.
Следствие. Пусть {Г„} — последовательность функций рас-
пределения и {<р„} — соответствующая последовательность характе-
ристических функций Пусть, кроме того, F —функция распреде-
ления, ср —ее характеристическая функция. Тогда FnwF, если
и только если ср„(/)-><р(/) для всех t е R.
Замечание. Пусть к], т)п т]2, ... — случайные величины и
В соответствии с определением § 10 гл. П тогда говорят,
что случайные величины гр, т]2, ... сходятся по распределению к ц,
и записывают это в виде	Эта запись наглядна, и поэтому
часто в формулировках предельных теорем ее предпочитают запи-
си
3. В следующем параграфе теорема 1 будет применена для
доказательства центральной предельной теоремы для независимых
разнораспределенных случайных величин. Доказательство будет
вестись при выполнении так называемого «условия Линдеберга».
Затем будет показано, что «условие Ляпунова» обеспечивает выпол-
нение «условия Линдеберга». Сейчас же мы остановимся на приме-
нении метода характеристических функций к доказательству
некоторых простых предельных теорем.
§ 3 МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ
84?
Теорема 2 (закон больших чисел). Пусть £i,	— после-
довательность независимых одинаково распределенных случайных
величин с MlliKoo, Sn = ?! + .,.+ In и M£i = т. Тогда
~ X т, т. е. для всякого е > О
п
‘•4
Доказательство. Пусть <р(/) = и ср sn (t) = Мб " •
п
Тогда в силу независимости случайных величин и формулы (II. 12.6)
/А [ft Д'2
сч (0=гЫ1 •
п
Но согласно (11.12.14)
ср (I) = 1 -\-itm-\-o(t),	t-+0.
Значит, для всякого фиксированного t е R
m — =14-1 — т + о — , и->оо.
\ п j	п \ п J
и поэтому
Г t	/1 \1« -л
ф5 (0 = \l+i~m + o 4
п	L ,l	\ '* / J
п
Функция — непрерывна в нуле и является характеристи-
ческой функцией вырожденного распределения вероятностей, сосре-
доточенного в точке т. Поэтому
значит (см. задачу 7 в § 10 гл. II),
Теорема доказана.
Теорема 3 (центральная предельная теорема для независимых
одинаково распределенных случайных величин). Пусть g2, ...—
последовательность независимых одинаково распределенных (невы-
рожденных) случайных величин с M£i<oo и 5л = £1 + ... + £п-
Тогда при п-^-со
рР^Ч^Д^ф^),	(5)
348
гл. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
где
X
Ф(х)=-71=- f
V '	/2л J
Доказательство. Пусть M^1 = m, D^ = o2 и
(р(/) = Ме“
Тогда, если обозначить
s -мз„
и п. п
<р„(0 = Ме	>
то получим, что
а2/3
Но в силу (11.12.14)
ср(О = 1 - —/о)/,	/-^0.
Поэтому для любого фиксированного t и п -* ос
<р«(/)=[1
2cr-zz
\n^e-t4\
Функция е~/2/2 является характеристической функцией нор-
мально распределенной случайной величины (обозначим ее (0, 1))
с нулевым средним и единичной дисперсией, что в силу теоремы 1
и доказывает требуемое утверждение (5). В соответствии с заме-
чанием к теореме 1 это утверждение записывают также в следую-
щем виде:
Sn — WSn а
(6)
/ds„
Теорема доказана.
Предыдущие две теоремы относились к асимптотическому пове-
дению вероятностей (нормированных и центрированных) сумм
5Я = Н1+.. • + £« независимых одинаково распределенных случайных
величин. Однако, чтобы сформулировать теорему Пуассона (§6 гл. I)
приходится привлекать к рассмотрению более общую модель,
называемую схемой серий случайных величин.
Именно, будем предполагать, что для каждого п 5= 1 задана
последовательность независимых случайных величин
Иначе говоря, пусть задана треугольная таблица
Ег,1> ?2,2
Ез, 1> Ез,2! Ез,3
§ 3 МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ
349
слу^йных величин, которые в каждой строчке независимы между
собой. Положим Sn =
Теорема 4 (теорема Пуассона). Пусть при каждом п 1
независимые одинаково распределенные случайные величины H„,i, •••
таковы, что
Р (£„,* = 1) = Рл» PGUfe = °) = <7«, l^k^n,
где рп + рп=^ и Рп-*® так, что прл->А>0, п—>со. Тогда
P(S„ = m)->—^-, m = 0, 1,.,.	(7)
Доказательство. Поскольку для l^k^n
Me 1п.» ~pne'(-]-q„,
то
<Ps„ (0 = Me"5” = (рпе,( + qn)n =
== (1 Jrpn(e‘t— I))”-*" exp {A(ei7 — 1)},	n-^-oo.
Функция cp (/) = exp {A (elt — 1)} является характеристической функ-
цией пуассоновского распределения (11.12.11), что и доказывает (7).
Если через л (А) обозначить пуассоновскую случайную величину
с параметром А, то по аналогии с (6) утверждение (7) можно
записать также в следующем виде:
S„ — л (А).
Теорема доказана.
4. Задачи.
1.	Доказать справедливость утверждений теоремы 1 для случая
пространств Rn, п^‘2.
2.	Пусть 12, ... — последовательность независимых случайных
величин с конечными средними значениями М | £л I и дисперсиями
О|л такими, что D£n=^/C<oo, где /( — некоторая константа.
Используя неравенство Чебышева, доказать справедливость закона
больших чисел (1).
3.	В следствии к теореме 1 установить, что семейство {<рл}
равностепенно непрерывно и сходимость <рл->Ф равномерна на
каждом ограниченном интервале.
4.	Пусть £л, n Sa 1, случайные величины с характеристическими
функциями <р^ (/), и^1. Показать, что £л-^0 тогда и только
тогда, когда в некоторой окрестности точки t = 0	(t) -> 1, п -> оо.
5.	П)с.ть Xt, Х2, ... — последовательность независимых случай-
(ных векторов (со значениями в Rk), имеющих нулевое среднее
350
ГЛ. Ill СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
и (конечную) матрицу ковариаций Г. Показать, что
£+•"+*» д (о, г).
V п
(Ср. с теоремой 3.)
§ 4. Центральная предельная теорема
1. Теорема 1. Пусть £2, ... — последовательность незави-
симых случайных величин с конечными вторыми моментами. Пусть
= oi = D£fe>0, S„ = H1 + ... + L, Dl= У al uFk=Fk(x') —
k = i
функция распределения случайной величины S/;.
Предположим, что выполнено «условие Линдсборга»’, для всякого
е>0
•4г V J (х - mhy dFk (х) -> 0, n->oo. (1)
п k = i {х: ir — mk
Тогда
^ВД®Г(0, 1).	(2)
VDSn
Доказательство. Без ограничения общности можно счи-
тать mk = 0, k^\. Обозначим <р* (/) = Тп =
VDS„ Dn
qsn (0 = MeltSn, (prn (0 = Mei/T".
Тогда
i — s	n
„ (/) __Mc °. - _	_ Ц l±.'t	,3)
k = 1
и для доказательства (2) достаточно (в силу теоремы 1 из § 3)
установить, что для каждого t е R
<рг (/) —е~п-^оо.	(4)
п
Возьмем некоторое t е R и будем считать его фиксированным
на протяжении всего доказательства. В силу разложений
e^=l + iy + ^-,
01
§ 4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА	351
справедливых для каждого действительного у с Si = 0i(//)f 0г=
«=02(//), такими, что | 0Х j 1, |02|^1, находим, что
<рА (/) =	=
~ J e“*dFk(x)~ J	^+iix + S-^^dFk(x) +
— со	| х I > eD^
i С /1 i •! tW j бо I ix \ , j-i , »
Ix I <eDn
= 1 4-( Sjx2 dFk (x)-^-	( x2 dFk (x) ->
	-*	-	|Aj|<eOra
+ J 021X I3 dFk (x)
i x ] <eDn
что, согласно предположе-
(здесь мы воспользовались также тем,
нию, тк= xdFft(x) = G).
— со
Следовательно,

-J- f x2dFk(x) +
ZUn , J
Y . с" 0 г>
I Ui3
1 6D*
J 621 x|3 dF* (x).	(5)
\X I > eDn	4 x |< &Dn
Поскольку
у J V^dFktx)	x2dFk(x),
1x I >eDn	Ix|>eDn
TO
у e^2 dFk (x) = 0X § x2 dFk (X),	(6)
I X I > eDn	\x\^eDn
где 6j = 0j (/, k, ri) и | 0X | s£ 1/2.
Точно так же
1 J 02|xj3dfftW J
Ix I <eDn	Ix | <BDn
( eD„x2dFk(x),
lxl<eDn
352
гл. Ill СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
и, значит,
621 х |3 dFk (х) = 9, j e.Dnx2 dFk (х),
Iх |<sDn	Ix | <bDn
(7)
где 02 = 62 (Z, k, n) и | 921	1/6.
Положим теперь
д _ 1 С
^kn —	2	\
" 1 * I < eDn
х2 dFk (х),
Bkn~DSn
J х2 dFk (x).
I X ! > eOn
Тогда в силу (5) —(7)
=1 - +'113 Акп=1+Ckn- (8)
Заметим, что
2(ЛЙ„ + В,л) = 1	(9)
А = 1
и, согласно условию (1),
2	н->со.	(10)
1
Поэтому для достаточно больших п
max | Ckn | < Fe2 + e j /13	(11)
1	k n
И
2	\ckn\^t2 + e\t\2.	(12)
k= i
Воспользуемся теперь тем, что для любых комплексных чисел г
с \г\^ 1/2
In (1 + z) = z + 9 I z I3,
где 9 = 9 (г) c 19 | sS 1 и In обозначает главное значение лога-
рифма. Тогда для достаточно больших п из (8) и (И) следует,
что для достаточно малых е > 0
In ф* = О "Ь ^kn) — С\п + Зал I Ckn |2,
§ 4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
353
где	Следовательно, из (3)
п
|+1п<рГл(о=4+21п(р* U) =
А = 1
п	п
=4+2 с*«+ 2 мс*+а-
4=1	4 = 1
Но
п	/ п	\	п
4+2 ^=4 и- 2Акп +/2 2 k’ п^в^+
k=1	\ k=\ /	k=1
п
+ е|/;з у: 92(/, kt п) Akni
4 = 1
и в силу (9), (10) для любого б>0 можно найти столь боль-
шое п0 и е>0, что для всех п^п0
k= 1
Далее, в силу (11) и (12)
п
S ekn! ckn j2
4 = 1
max Kfcnl S K4nl^(^2 + + ^l3)^2 + si^3).
l<4<n	* = 1
Поэтому для достаточно больших п за счет выбора е > 0 можно
добиться того, что
п
2 Q4«|G„|2
4 = 1
6
2
и, следовательно,
|4 + In<J’7'« (z)|=^s-
Таким образом, для любого действительного t
Фг (0е^/2-^1,
п

и, значит,
П-->СХ),
п
Теорема доказана.
2. Остановимся на некоторых частных случаях, в которых
выполнено условие Линдеберга (1) и, следовательно, справедлива
центральная предельная теорема.
354	гл. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ мер
а) Пусть выполнено «условие Ляпунова»: для некоторого 6>О
’ 2 М|?А-тАр + ^°,	(13)
k = i
Пусть е>0, тогда
m*|2+6 =	\x-mk[2+6dFk(x)^s
\x-mk^ + ^dFk(x)^
{х; x\x-mk\^SDn}
^e&D6n J (х — mk)2 dFk (x)
{*' \x-mk\^SDni
и, значит,
-4г 2 J (x-mrfdF^x)-^
n k = i{x-. \x-mk\>eDn}
6	" k = i
Следовательно, «условие Ляпунова» обеспечивает выполнение
«условия Линдеберга».
Ь) Пусть gx, |2, ... — независимые одинаково распределенные
случайные величины с т = М£х и дисперсией 0 < о2 = Dt, < со.
Тогда
-4-2 J \x-m\2dFk(x) =
& — 1	I х — т I е^л}
= 44“ J \x-m\2dF1(x)-^Q,
{х: | х — т | Г- eo2Vn
поскольку {х: |х — т |Ээео2]/п} | ф, п^-оо, а о2=М |^х — т|2<оо.
Таким образом, «условие Линдеберга» выполнено и, следова-
тельно, теорема 3 из § 3 вытекает из доказанной теоремы 1.
с) Пусть £х, Е2, ... — независимые случайные величины такие,
что для всех п 1
| Ik | К < со,
где /( — некоторая постоянная, и £>„->оо, п->оо,
§ 4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
355
Тогда из неравенства Чебышева
| х- тк\2dFk(х) = М[(£/,. - mtf I(|- mk\^Dn)]^
{x- \ *~mk\^eDn}
(2КГ P {I — mk I 804 (2КУ
8 Dfi
и, значит,
n
тлг У f I x - mk 2 dFк (x)^	-> 0, н->сю.
" *=1 {X- \Х-тк\^гОп}	e n
Следовательно, снова выполнено условие Линдеберга и, значит,
справедлива центральная предельная теорема.
3. Замечание 1. Условие Линдеберга достаточно для спра-
ведливости центральной предельной теоремы. Оказывается, что
при некотором дополнительном условии (асимптотической малости
величин ' условие Линдеберга оказывается и необходимым.
Будем говорить, что величины	1	1, асимп-
тотически малы, если для любого е > О
max Р ||	I	е1 _> о,	п->оо. (14)
1 < k < п Ч	I	>
Поскольку
п
А- У f (х - mft)2 dFk (х) -
" *=1 {х- \ x-'nkl>£Dn}
tl
л»е2 У P{|^-m/;|^8On}Ss:e2 max Р {| - mk | Лл zDn},
то из условия Линдеберга вытекает условие (14).
Вместе с теоремой 1 это показывает, что условие Линдеберга
достаточно для выполнения центральной предельной теоремы и
условия асимптотической малости. Следующая теорема, приводи-
мая без доказательства, показывает, что условие Линдеберга
является и необходимым.
Теорема 2. Пусть g1( g2,	— последовательность независи-
мых случайных величин с конечным вторым моментом. Условие
Линдеберга (1) является необходимым и достаточным для (2) и (14).
Замечание 2. Пусть Тп==5пу)М5" и Frn (х) = Р (Та^х).
Тогда утверждение (2) означает, что для всякого x^R
Ртп (х) ->Ф (х),	«->оо.
356
ГЛ. HI СХОДИМОСТЬ -ВЕРОЯТНОСТНЫХ МЕР
Поскольку функция Ф(х) непрерывна, то на самом деле сходи-
мость здесь равномерная (задача 5 в § 1):
sup I Ft (х) — Ф (х) | -> О,
ЛЕЯ1 л	1
В частности, отсюда следует, что
Р {S„ •< х} - Ф ) -> О,
\	‘-'п	/
оо.
(15)
ОО.
Это утверждение часто выражают словами, что при достаточно
большом п величина Sn примерно нормально распределена со сред-
ним MS„ и дисперсией Dn = DSn.
Замечание 3. Поскольку в соответствии с предыдущим заме-
чанием сходимость Frn (х) ->Ф (х), п->оо, равномерна по х, то
естественно поставить вопрос о скорости сходимости в (15). В том
случае, когда величины |2, ... независимы, одинаково распре-
делены и М | |3 < оо, ответ на этот вопрос дается неравенством
Берри — Эссеена'.
5ир|Ргд(х)-Ф(х)|^СМ|^-^113,	(16)
х 1 п	1	О3 V п
где абсолютная константа С такова, что
1
К2л
^С<0,8.
Важно подчеркнуть, что без дополнительных предположений о при-
роде суммируемых случайных величин порядок оценки (16) не
может быть улучшен (см. задачу 3).
4. Задачи.
1.	Показать, что в доказательстве теоремы I в самом деле
без ограничения общности можно считать mk — Q,
2.	Пусть £2,... последовательность независимых нормально
распределенных случайных величин с M£ft = 0, и D^=l,
DHft = 2*-2, k ^2. Показать, что в этом случае условие Линде-
берга не выполнено, но в то же самое время центральная пре-
дельная теорема (2) справедлива.
3.	Показать, что в схеме Бернулли величина sup (х) —
— Ф(х)| имеет порядок
п->оо.
4.	Пусть £2, ... — последовательность независимых едина
ково распределенных случайных величин с М£х = О, М£1 = 1.Пока
жите, что max/ДУ-. ....п->оо.
\ У п v п j
§ 5. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ
357
§ 5.	Безгранично делимые и устойчивые распределения
1.	В § 3 отмечалось, что для формулирования теоремы Пуас-
сона приходится прибегать к рассмотрению так называемой схемы
серий, считая, что при каждом задана последовательность
независимых случайных величин l^k^n.
Положим
Тл = ^г1 + ... + ^,„, nSsl.	(1)
Понятие безгранично делимого распределения возникает в связи
со следующим вопросом: как охарактеризовать все те распреде-
ления, которые могут выступать в качестве предельных для после-
довательности распределений случайных величин Тп,
Вообще говоря, при такой общей постановке вопроса предель-
ное. распределение может быть произвольным. Действительно,
если % —некоторая случайная величина и — ln,k = ^,l<Z
<Zk^n, то Т„ = 1 и, следовательно, предельное распределение
совпадает с распределением g, которое может быть взято произ-
вольным.
Чтобы сделать задачу о предельных распределениях более
содержательной, будем всюду в этом параграфе предполагать, что
при каждом величины	не только независимы,
но и одинаково распределены.
Напомним, что именно такая ситуация имела место в теореме
Пуассона (теорема 4 из § 3). К этой схеме относится и централь-
ная предельная теорема (теорема 3 из § 3) для сумм S„ = ^+...
. . ,-рН„,	независимых и одинаково распределенных случай-
ных величин g2, ... В самом деле, если положить
е ъ*— Mgj, и* __ пе
Sn, k — —п..> Un ~~
ип
то тогда
Таким образом, нормальное и пуассоновское распределения
могут выступать в качестве предельных в схеме серий. Если
Тп~Т, то интуитивно понятно, что, поскольку Тп есть сумма
независимых одинаково распределенных случайных величин, то
предельная величина Т должна быть также суммой независимых
одинаково распределенных случайных величин. Имея это в виду,
введем такое
Определение 1. Случайная величина Т (а также ее функ-
ция распределения FT и ее характеристическая функция фГ) назы-
358
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
вается безгранично делимой, если для каждого л ^=1 можно найти
такие независимые одинаково распределенные случайные величины
т)1, г\п, что*) Г = 1]! +... + (или, что то же самое, Ег==
или <рг = ((рТ11)«)>
Теорема 1. Случайная величина Т может быть пределом
п
по распределению сумм Тп= У, в том и только том случае,
k = 1
когда Т безгранично делима.
Доказательство. Если £ безгранично делима, то для
каждого п 1 существуют независимые одинаково распределенные
случайные величины £я>1, .... такие, что £ = Ui+-••+£«,*>
а это и означает, что g = 7\, п 1.
Обратно, пусть Тп-^Т. Покажем, что тогда Т безгранично
делима, т. е. для любого k найдутся независимые одинаково рас-
пределенные случайные величины Tjj^, ..., T]ft такие, что Т = т1г+--«
Зафиксируем некоторое и представим величину Tnk в виде
^> + ... + £‘4 где
Ql) = lnk, 1 + • • • +	..Q® ~ %nk,n{k — 1)4- 1 + • • • + Ini, nk*
Поскольку Tnk-^T, п—у-оо, то последовательность функций рас-
пределений, соответствующих случайным величинам Tnh, n^l,
относительно компактна и, значит, по теореме Прохорова плотна.
Далее,
[Р (&П > < = Р (^” > г......> г) . Р (Tnk > kz)
и
[Р < - г)]* = Р < — г, ..., &*’< - г) Р (Tnk < - kz).
Из этих двух неравенств и плотности семейства распределений
для Tnk, 1, вытекает плотность семейства распределений для ',
«5=1. Поэтому найдется подпоследовательность {п,} <= {«} и слу-
чайная величина щ такая, что	ni ->со. Поскольку вели-
чины &1, ..., t,nk) одинаково распределены, то Сп. Лг- • •  >
d	d d
—* т]ъ где т|1 = т]2 =... — т)£. В силу независимости величин
из следствия к теореме 1 из § 3 вытекает, что величины
*) Запись g— т] означает, что случайные величины £ и г) совпадают по
распределению, т. е. Р^{х) = р^{х), xeR,
§ 5. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ
359
......ц* независимы и
Tn.k =	+ ... + ^> X П1 + ... + Па-
Но Tn.k±T, поэтому (задача 1)
о Й
^ = П1 + --- + Па-
Теорема доказана.
Замечание. Утверждение теоремы остается в силе, если
условие, что при каждом величины £п>1,	одинаково
распределены, заменить на условие равномерной асимптотической
малости (4.14).
2.	При проверке того, является ли данная случайная величина Т
безгранично делимой, проще всего исходить из вида ее характе-
ристической функции ср(Z). Если для любого можно найти
такие характеристические функции ср„ (Z), что ср (/) = [<р„ (/)]", то Т
безгранично делима.
В гауссовском случае
_ Ei
ср (t) = eitme 2 ,
и, полагая
с2 -
____!L
ср„(/)=е "е 2 ,
сразу находим, что ср (Z) = [ср„ (^)]л.
В пуассоновском случае
~(?7—1)
и если положить срл(/) = еп , то ср (t) = [срп (/)]я.
Если случайная величина Т имеет Г-распределение с
плотно-
стью

ха-1е
Г (а) |За
О,
х<0,
то, как нетрудно показать, ее характеристическая функция равна
гр = (1 — Z₽0“ ’
Следовательно, ср (/) = (ср„ (/))”, где
43/1 ~ (i—’
и, значит, Т безгранично делима.
360
ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Приведем без доказательства следующий результат об общем
виде характеристической функции безгранично делимых распре-
делений.
Теорема 2 (представление Леви — Хинчина). Случайная вели-
чина Т является безгранично делимой тогда и только тогда, когда
Ф(/) = ехрф(/) с
ОО
ф(0 = /ф—J	(2)
— со
где ре/?, о20 и К — некоторая конечная мера на (R, <$)(#))
с Х{0} = 0.
3.	Пусть £2, ...— последовательность независимых, одина-
ково распределенных случайных величин и Sn = |х + ... + ?«. Пред-
положим, что существуют такие константы Ь„, ал>0 и случай-
ная величина Т, что
Sn bn d гр	,3,
ап '	' '
Спрашивается, как охарактеризовать все распределения (случай-
ных величин Т), которые могут возникать в виде предельных
распределений в (3)?
Если независимые одинаково распределенные случайные вели-
чины |2, ... таковы, что 0< а2 =	<00, то, полагая Ьп —
— ггМ^ и ап — о У~7г, согласно § 4, находим, что Т имеет нор-
мальное распределение @.^“(0, 1).
Если f(x)==n ае^_92у — плотность распределения Коши (с пара-
метром 6>0) и g2, ... — независимые случайные величины
с плотностью f(x), то характеристическая функция <р61 (I) равна
( --1/1V
е~0|/| и, значит, Фзл/п(0 = \е " / ==e-ei<lf т, е. величина Sn/n
имеет также распределение Коши (с тем же самым параметром 8).
Таким образом, в качестве предельных распределений, помимо
нормального, могут появляться и другие распределения (как,
например, распределение Коши).
Если положить ln,k = ~—то найдем, что
ап пап
п
<=п).
4=1
Таким образом, все мыслимые распределения для Т, которые
могут появляться в качестве предельных в (3), обязательно
являются (в соответствии с теоремой 1) безгранично делимыми.
Однако специфика рассматриваемых реличин Тп=$п~Ьп дает
§ 5. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ
361
возможность получить дополнительную информацию о структуре
возникающих здесь предельных распределений.
С этой целью введем такое
Определение 2. Случайная величина Т (а также ее функ-
ция распределения F (х) и характеристическая функция <р (/)) назы-
вается устойчивой, если для любого найдутся такие кон-
станты а„>0, Ьп и такие независимые случайные величины
  • > £п> распределенные как Т, что
+	+ + L	(4)
или, что то же самое, F[------ }—F* ... *F(x), или
\ ап J
[ф (ОР = [<р	(5)
Теорема 3. Случайная величина Т может быть пределом
по распределению случайных величин Sn--bn, ап > 0, тогда и только
тогда, когда Т является устойчивой.
Доказательство. Если Т устойчива, то, согласно (4),
р jL
~ ап ’
где 5л = |г+	и, следовательно, X т.
ап
Обратно, пусть Ер Ег> ... — последовательность независимых
одинаково распределенных случайных величин, Sn = E]
и jp р, ал>0. Покажем, что Т является устойчивой слу-
ап
чайной величиной.
Если Т — вырожденная случайная величина, то она, очевидно,
устойчива. Будем поэтому предполагать, что Т является невырож-
денной случайной величиной.
Зафиксируем и обозначим
S«1> = £1 + • • • +?я, •••»	= £(А-1)л+1 + - • - + ?4п>
Т(1) s^-bn 'w_s^-bn
1 п —	7	П —	„
Ufl	ип
Ясно, что по распределению все величины Тп}........Т„} совпа-
дают и
Т^~>Т, п-+оо, 1 = 1..........k.
Обозначим

362
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Тогда

где Т(1) ^ ... ^	= Т.
С другой стороны,
jy(/o  £1 ~Н  	— kbn __
akn I 11 Ч~   • "T^k/г bkn\ , b^n kbn ~(4'v	, д (k)
=	\	~^T~ - an v kn + P" ’
где
__ ^kn R(>)_____ bkn kbn
Un ~ a ’ 1,1 ~ n
un	an
II
tz 4- • • • 4~ ^,kn bjtn
v kn —---------------------------------~----------- •
Щт
Из (6) ЯСНО, ЧТО
(6)
где Vkn±T, Up-^Т^ + ...+ Т^,
Из приводимой ниже леммы следует, что найдутся такие кон-
станты а<4)>-0 и что оф*’ -> а(*’, рФ’-^р(/г), п->оо. Поэтому
Т
d Г|1’ + .,. + Г^1 —p'fe'
а11г‘
что и доказывает, что Т является устойчивой случайной вели-
чиной.
Теорема доказана.
Сформулируем и докажем упомянутую выше лемму.
Лемма. Пусть g и существуют такие константы ап^>0
и Ьп, что
anln + bn-^l,
причем случайные величины £ и | не вырождены. Тогда найдутся
такие константы а>0 и Ь, что \iman = a, lim bn — b и
l±al + b.
Доказательство. Пусть <ря, <р и <р —характеристические
функции £ и ( соответственно. Тогда фал1л+ьп (0> характери-
стическая функция ап^п-{-Ьп, равна eltbnqn (anf), и согласно
J 5.	БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ	363
следствию к теореме 1 и задаче 3 из § 3,
е"Чп(М-*Ф(0,	(7)
фЛ)-*ф(0	(8)
равномерно на каждом конечном интервале изменения t.
Пусть {nJ — подпоследовательность {«}	такая, что ап.-*-а.
Покажем прежде всего, что а<сю. Пусть а = со. В силу (7) для
любого с > О
sup 11 <р„ (ant) | — | ф (t) 11 -> 0, п->оо.
Возьмем вместо t величину tn. = -^-. Тогда, поскольку ап.-+со,
ni
то
и, значит,
Но | фл.(Q |-> | ф(4) Поэтому |ф(/0)|=1 для любого t0<=R, и,
следовательно, согласно теореме 5 из § 12 гл. II, случайная вели-
чина £ должна быть вырождена, что противоречит предположе-
нию леммы.
Итак, а<со. Предположим теперь, что существуют две под-
последовательности {п{} и {n't} такие, что ап.-^а, ап’-+а', где
а у= а' и для определенности 0 -С a’ <z а. Тогда из (7) и (8)
I чч Н । (af> I- ) ^ni Н  ч1 (О I
и
I чч М ч5 (а7) I Ы w | -н $ (О I-
Следовательно,
1ф(^)| = 1ф(«'О1,
и, значит, для любого t е R
I ф(0 I = | Ф (v t) | = • • • = | Ф ((")" -> b п-+со.
Поэтому | <р (t) | = 1 и, согласно теореме 5 из § 12 гл. II, отсюда
вытекает, что £ —вырожденная случайная величина. Полученное
противоречие показывает, что а = а' и, значит, существует конеч-
ный предел Итап~а, причем а^?0.
364
гл. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Покажем теперь, что существует предел limbn — b и а>0.
Поскольку (8) выполнено равномерно на каждом конечном интер-
вале, то
<р„ (а„/)->Ф(а/),
и, значит, в силу (7) существует	для всех тех t, для
п^-со
которых ф (at) =/= 0. Пусть б > 0 таково, что для всех j t| < S
Ф (at) 0. Тогда для таких t существует limelZ6« и, значит,
lim I Ъп | < оо.
Пусть существуют две подпоследовательности {/г,} и такие,
что limbn. = b и limb ' = b'. Тогда для 1/1 <6
I	ni	11
glib __ gitb’
и, следовательно, b = Ь'. Итак, существует конечный предел b =
= limb„ и, согласно (7),
Ф (t) = ei/b<p (at),
что означает, что |	+ b. Поскольку | не вырождена, то а > 0.
Лемма 'доказана.
4. Приведем теперь (без доказательства) теорему об общем
виде характеристической функции устойчивых распределений.
Теорема 4 (представление Леви — Хинчина). Случайная
величина Т является устойчивой тогда и только тогда, когда ее
характеристическая функция ф (t) имеет вид ф (t) = exp ф (t),
q(t) = W-d\tr(l+i3-LG(t, a)V	(9)
где 0<a<2, [3 «= R, d^Q, |91 sg 1, ~ = 0 при 1=0 и
ItI
		1 JT tgya,	если a =/= 1,
G (t, а) =	2 ,	(Ю)
	log 111,	если а = 1.
Отметим, что особо просто устроены характеристические функ-
ции симметричных устойчивых распределений:
Ф (/) = e~a!|Z|“,	(11)
где 0<а<2, dy&O.
5. Задачи.
1.	Показать, что если и |я-^т], то £ = т).
2.	Показать, что если фх и ф2 —две безгранично делимые
характеристические функции, то фх • ф2 — также безгранично дели-
мая характеристическая функция.
§ 5. БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ	365
3.	Пусть ср„ — безгранично делимые характеристические функ-
ции и <рп (2) -> ф (/) для каждого t е R, где ф (/) — некоторая харак-
теристическая функция. Показать, что ф (/) безгранично делима.
4.	Показать, что характеристическая функция безгранично
делимого распределения не обращается в нуль.
5.	Привести пример случайной величины, являющейся безгра-
нично делимой, но не устойчивой.
6.	Показать, что для устойчивой случайной величины £
М|И<°° Для всех ге(0> а)-
7.	Показать, что если Е — устойчивая случайная величина
с параметром 0<а==£1, то ф(/) не дифференцируема при t = Q.
8.	Дать доказательство того, что функция e-dlzi“ с d^O, 0<
<с/. <2, является характеристической.
ГЛАВА IV
ПОСЛЕДОВАТЕЛЬНОСТИ И СУММЫ НЕЗАВИСИМЫХ
СЛУЧАЙНЫХ ВЕЛИЧИН
§ 1.	Законы «нуля или единицы»
со	со
1.	Ряд расходится, а ряд (— 1)Л-А- сходится. Поста-
п = 1	п = 1
вим следующий вопрос. Что можно сказать о сходимости или рас-
ходимости ряда	где 12, ... — последовательность неза-
п = 1
висимых одинаково распределенных бернуллиевских случайных
величин с Р (£i = + 1) = Р (£i = —1) = 1/2? Иначе говоря, что
можно сказать о сходимости ряда с общим членом ± 1/п, где
знаки + и — «разбросаны» в случайном порядке в соответствии
с рассматриваемой последовательностью £1( g2, ... ?
Обозначим
с?	1
Л1 = |со: ~ сходитсяХ —
[ п — 1	J
со
множество тех элементарных исходов, где ряд XKl сходится
п = 1
(к конечным значениям) и рассмотрим вероятность Р (Л]) этого
множества. Заранее не ясно, какие значения может принимать
эта вероятность. Замечательным оказывается, однако, то обстоя-
тельство, что a priori можно утверждать, что эта вероятность
может принимать только два значения 0 или 1. Этот результат
является следствием так называемого закона «нуля или единицы»
(«О или 1») Колмогорова, формулировка и доказательство которого
составляют основное содержание данного параграфа.
2.	Пусть (й, sF, Р)—вероятностное пространство, |2, ...—
некоторая последовательность случайных величин. Обозначим
§ 1. ЗАКОНЫ «НУЛЯ ИЛИ ЕДИНИЦЫ»
367
eF“ = O(U
чинами
£„+1,	—о-алгебру, порожденную случайными вели-
(„+1, .... и пусть
Л=1
пересечение о-алгебр есть снова о-алгебра, то Ж —
Поскольку
есть <т-алгебра. Эта о-алгебра будет называться «хвостовой» или
«остаточной», в связи с тем, что всякое событие Л не зави-
сит от значений случайных величин 5Х, ..., при любом конеч-
ном числе п, а определяется лишь «поведением бесконечно дале-
ких значений последовательности gx, g2, ...».
Поскольку для любого k 1
— сходится
п
сходится е еТ'*’,
п = k
то Лх е Q 32 Точно так же, если gx, g2, .,. — произволь-
k
ная последовательность, то
Л2 = {2 ?„ сходится} е
Следующие события также
являются «ХВОСТОВЫМИ»!
бесконечно многих п},
где /„ее® (7?), «Sa 1;
\п
] j61 г*** Г ъд
. п п
Sn	1
~ СходитеЯН
V—	Sn
lim п — =
п V 2п log п
С другой стороны,
£1 = {£л = 0 для всех «Sal},
JB2 = }lim(g1 + ... + g„) существует и меньше с}
являются примерами событий, не принадлежащих
Будем теперь предполагать, что рассматриваемые случайные
величины являются независимыми. При этом допущении из леммы
368
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Бореля — Кантелли следует, что
Р(Л3) = 0<=>2Р(^е/л)<оо>
Р(Л3)^1<=>2Р(|„е/л) = со.
Таким образом, вероятность события А3 может принимать лишь
два значения 0 или 1 в зависимости от сходимости или расходи-
мости ряда ^Plbs /„). Это утверждение носит название закона
«О или 1» Бореля.
Теорема 1 (закон «О или 1» Колмогорова). Пусть
£а, ... — последовательность независимых случайных величин и
А е SE. Тогда вероятность Р (Л) может принимать лишь два
значения-, нуль или единица.
Доказательство. Идея доказательства состоит в том, чтобы
показать, что каждое «хвостовое» событие А не зависит от самого
себя и, значит, Р (Л (] А) = Р (Л) • Р (Л), т. е. Р(Л) = Р2(Л), от-
куда Р (Л) = 0 или 1.
.••} = <>( r^e =
Если Л е то Л е = о g2,
= cr{^lt .... £п}, и можно найти (задача 8 из § 3 гл. II) такие
множества	п+=1, что Р(ЛДЛ„)—>0, п—>-оо. Отсюда
следует, что
Р(Л„)->Р(Л), Р(Л„П Л)->Р(Л).	(1)
Но если
висимы:
Лей’, то для каждого п1 события Л„ и А неза-
Р(ЛЛЛ„) = Р(Л)Р(Л„),
откуда в силу (1) следует, что Р(Л) = Р2(Л), и, значит, Р(Л) = 0
или 1.
Теорема доказана.
Следствие. Пусть ^ — случайная величина, измеримая от-
носительно «хвостовой» о-алгебры ДД т. е. {г] е В} ЗТ, В <=
е-+(/?). Тогда ц является вырожденной случайной величиной,
т. е. существует константа с такая, что Р (т] = с) = 1.
3.	Приводимая ниже теорема 2 служит иллюстрацией нетри-
виального применения закона «нуля или единицы» Колмогорова.
Пусть |2, ... — последовательность независимых бернулли-
евских случайных величин сР(^=1) = р, Р(§„=— !) = <?, р +
+ <7=1, «+=1, и S„ = gj + .. . + Интуитивно понятно, что
в симметричном случае, р= 1/2, -«типичные» траектории случай-
ного блуждания Sn, /г+=1, бесконечно много раз проходят через
нуль, а в случае ру=1/2 «уходят» в бесконечность. Сформули-
руем теперь точный результат.
Теорема 2. а) Если р = 1/2, то Р (S„ = 0 б. ч.) = 1.
Ь) Если рФ 1/2, то P(S„ = 0 б. ч.) = 0.
§ 1. ЗАКОНЫ «НУЛЯ ИЛИ ЕДИНИЦЫ;
369
Доказательство, Прежде всего отметим, что событие В =
= (S„ = 0 б. ч.) не является «хвостовым», т. е. В ф % —
е^п° = о{£п, ?„+1, Поэтому в принципе не ясно, что вероят-
ность события В принимает лишь значения 0 или 1.
Утверждение Ь) легко доказывается применением (первой ча-
сти) леммы Бореля — Кантелли. Действительно, если B2„={S2„=0},
то по формуле Стирлинга.
P(B2/I) = W~^
г ЯП
и, значит, S Р (B2n) < оо. Поэтому P(S„ = 0 б. ч.) = 0.
Для доказательства утверждения а) достаточно доказать, что
событие
A = (lim-^ = oo, lim-:7!L = .— ool
I /л —Vn j
имеет вероятность 1, поскольку
Пусть
Лс = /1пп
Sn
Тогда ДС|А, с->оо, при этом как событие А, так и все собы-
тия Ас являются «хвостовыми». Покажем, что для каждого с > О
Р(АС) = 1. Поскольку Асе^, то достаточно лишь установить,
что Р (Ас) > 0. Но
P/lim
Уп
>0,
где последнее неравенство следует из теоремы Муавра — Лапласа.
Итак, для всех с > 0 Р (Ае) = 1 и, значит, Р (А) = lim Р (Ас) = 1.
Теорема доказана.
4.	Отметим еще раз, что событие В = {5„ = 0 б. ч.} не яв-
ляется «хвостовым». Тем не менее из теоремы 2 следует, что для
схемы Бернулли вероятность этого события, как и в случае «хво-
стовых» событий, принимает лишь два значения 0 или 1. Оказы-
вается, что это обстоятельство неслучайно и является следствием
так называемого закона «0 или 1» Хьювитта и Сэвиджа, который
обобщает для случая независимых одинаково распределенных слу-
чайных величин результат теоремы 1 на класс так называемых
«перестановочных» событий (включающий в себя и класс «хвосто-
вых» событий).
Введем необходимые определения. Взаимно однозначное ото-
бражение л = (л1, л2, ...) множества (1, 2, ...) в себя назовем
конечной перестановкой, если пп~п для всех п, за исключением,
быть может, конечного числа.
370
ГЛ. IV, НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Если | = (?и ?г, ,,.) — последовательность случайных величин,
то через л(£) будем обозначать последовательность (?Я1, ?„2,
Если событие Л = -^еВ}, В еа59 (/?“), то через л (Л) обозначим
событие	Bei(7?cc).
Назовем событие 4 = {сеВ},	перестановочным,
если для любой конечной перестановки л событие л (Л) совпа-
дает с А.
Примером перестановочного события является событие Л =>
= {5Я = о б. ч.}, где Sn = ?, +• • • + £«• Более того, можно пока-
зать (задача 4), что каждое событие из «хвостовой» о-алгебры
У (S) = П«^п(5), aT“(S) = o{co: Sn, S„+1, .порожденной ве-
личинами	S2 = ?1 + ?2, является перестановочным,
Теорема 3 (закон «0 или 1» Хьюитта и Сэвиджа). Пусть ?п
?2, ... — последовательность независимых одинаково распределенных
случайных величин и Л = {(о: (?j, ?2> В] — перестановочное
событие. Тогда Р(Л) = 0 или 1.
Доказательство. Пусть Л = {? е В} — перестановочное со-
бытие. Выберем множества Вп е а® (В") такими, что -для Ап =*
— {w: (£1, •• •, Вп}
Р (Л ДЛ„)-> 0, весе.	(2)
Поскольку случайные величины ?2, ,,, независимы и оди-
наково распределены, то распределения вероятностей Ръ (В) sa
== Р (? <= В) и Р„п а) (В) = Р (л„ (?) <= В) совпадают. Значит,
Р (Л ДЛ„) = Р^ (В АВп) = РЯп (6) (В ДВ„).	(3)
Раз событие Л является перестановочным, то
Л = {? GE В} = лл (Л) = {пл (?) f= В}.
Поэтому
РЯп (В АВп) = Р {л„ (?) е В) Д (л„ (?) е Вл)} =
= Р {(? е В) Д (л„ (?) е Вл)} = Р {Л Дпл (Л„)},	(4)
Итак, из (3) и (4)
Р(ЛДЛ„) = Р(ЛДпл(Лл)).	(5)
В силу (2) отсюда следует, что
Р(ЛД (Лл[~| л„(Л„)))-»-0, и->оо.	(6)
Поэтому из (2), (5) и (6) заключаем, что
Р(Лл)^Р(Л), Р(я„(Лл))->Р(Л),
Р (Л П (Л„)) Р (Л),	(7)
§ 2. СХОДИМОСТЬ РЯДОВ
371
Далее, в силу независимости случайных величин Е2> • • •
Р П Пп (-^л)) — Р {(?!» • • • » 5л)	В„, (У+1, • • • > ^гл) Вп} —
= Р{(Вх....U еВп} • Р {(U1, УеВ.} =
= Р(Лл)Р(ля(Л„)),
откуда в силу (7)
Р(Л) = Р2 (Л)
и, значит, Р(Л) = 0 или 1.
Теорема доказана.
5.	Задачи.
1.	Доказать следствие к теореме 1.
2.	Показать, что если (£„) — последовательность независимых
случайных величин, то случайные величины limgn и lim яв-
ляются вырожденными.
3.	Пусть (g„) — последовательность независимых случайных вели-
чин, S„ = g, 4-.. .Д и константы Ьп таковы, что 0<b„foo.
Показать, что случайные величины lim и lim являются вы-
рожденными.
4.	Пусть S„ = ^ + ... + U h^(S) = 0^(5), aF“(S) =
= о{ш: S„, Sra+], ...}. Показать, что каждое событие из Л' (S)
является перестановочным.
§ 2. Сходимость рядов
1.	Будем предполагать, что 12, ... —последовательность не-
зависимых случайных величин, Sn =	и Л —множество
тех элементарных исходов со, где ряд У (w) сходится к конеч-
ному пределу. Из закона «0 или 1» Колмогорова следует, что
вероятность Р(Л) = 0 или 1, т. е. с вероятностью единица ряд
V;,. сходится или расходится. Цель настоящего параграфа— дать
критерии, позволяющие определять, сходится или расходится ряд
из независимых случайных величин.
Теорема 1 (Колмогоров и Хинчин). а) Пусть М£„ = 0, n^sl.
Тогда, если
£М^<со,	(1)
то ряд 2 сходится с вероятностью единица.
Ь) Если к тому же случайные величины п^1, равномерно
ограничены (Р (| £„ | «Сс) = 1, с<с>о), то верно и обратное-, из
сходимости с вероятностью единица ряда следует условие (V).
Доказательство этой теоремы существенно опирается на
Неравенства Колмогорова, а) Пусть £а, ...,	—
независимые случайные величины с Мс, = 0, Мс; < 00, i п. Тогда
372
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
для всякого е 2> О
MS3
Pf шах | Sft|S==el	(2)
) fc
b) Если к тому же Р (| £, | <с) — 1, isgn, то
p{,SJs'|s't3sI-!w- (3)
Доказательство, а) Обозначим
А = {max ) Sk 12- е},
ЛА = {|5» |<е, 1 = 1,	k—1, | Sk | 2з e}t l^zks^n.
Тогда A = ^A/i и
М5|=>М5|/л = £М5|7лА.
Ho
= M (5* + (£fc+i + • • • + ?n))2 I Ak =
= MSI I Ak + 2MSft (gft+1 + . . . + In) IAk + м (gft+1 + • • • + In)21 Ak >
>М5|/Лъ
поскольку MSft (£ft+14-... 4- у IAk = ^SklAk  M (gA+14- • • • + Ы = 0
в силу предположенной независимости и условий Mg( = O, i^n.
Поэтому
MS| £ М517Ла е2 £ Р (Л*) = е2Р (4),
что и доказывает первое неравенство.
Для доказательства (3) заметим, что
М5|/л = MSI - М5|/л 2s MS| - е2Р (Л) = MS| - е2 4- е2Р (Л).	(4)
С другой стороны, на множестве Ak
I Sfe-i | е, | SA |	| S*-! 14-1 e4~c
и, значит,
MSI/л = 2 MSUAk 4-2 м (/лА (S„ - SA)2)
k	k
n	n
<(е + с)22Р(ЛА)4-2 Р(ЛА) 2 M^<
k	k=\	/=*+1
n
^Р(Л) (e + c)24-2 Mgz2 =Р(Л)[(84-с)2 + М5|].
(5)
Из (4) и (5) находим, что
Р(-Л)^
М«3-е2
(e + 424-MS| —е2
(8 +с)2
(s-|-c)24-MS|-e2
(е +с)2
-м$г
S 2. СХОДИМОСТЬ РЯДОВ
373
Неравенство (3) доказано.
Доказательство теоремы 1. а) Согласно теореме 4 из
§ 10 гл. II последовательность (S„), n^sl, сходится с вероят-
ностью единица тогда и только тогда, когда эта последователь-
ность фундаментальна с вероятностью единица. По теореме I из
§ 10 гл. II последовательность (S„), n^l, фундаментальна
(Р-п. н.) в том и только том случае, когда
Поэтому, если S 1Ш < со, то выполнено условие (6) и, следо-
*=i
вательно, ряд У|/г сходится с вероятностью единица.
Ь) Пусть ряд 22 сходится. Тогда в силу (6) для достаточно
больших п
В силу (3)
Поэтому, если допустить, что У, М^| = оо, то получим
k=i
что противоречит неравенству (7).
Теорема доказана.
Пример. Если gj, Н2> ••• — последовательность независимых
бернуллиевских случайных величин с Р (g„ = + 1)=рал=-1) =
= 1/2, то ряд	гДе	сходится с вероятностью еди-
ница тогда и только тогда, когда £ а2п < оо.
2.	Теорема 2 (теорема о «двух рядах»). Для сходимости
с вероятностью единица ряда £ из независимых случайных ве-
личин достаточно, чтобы одновременно сходились два ряда V] Mtn
и SD|„. Если к тому же Р (| | =Сс) = 1,	1, то это условие
является и необходимым.
374
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Доказательство. Если 2D5n<°°. то по теореме I ряд
2(5« — Mgn) сходится (Р-п. н.). Но по предположению ряд
сходится, поэтому сходится (Р-П. H.) И ряд 25л-
Для доказательства необходимости воспользуемся следующим
приемом «симметризации». Наряду с последовательностью g2,..,
рассмотрим не зависящую от нее последовательность независимых
случайных величин Ец, |2, ... таких, что |„ имеет то же распреде-
ление, что и Ея, «5=1. (Когда исходное пространство элементар-
ных событий предполагается достаточно «богатым», существование
такой последовательности следует из теоремы 1 § 9 гл. II. В свою
очередь можно показать, что это предположение не ограничивает
общности.)
Тогда, если сходится (Р-п. н.) ряд 25л. то сходится и ряд
25л, а ~ значит, и ряд 2 (5л —5л)- Но М(ВЯ —1«) = 0 и
Р(|5л —5л|=^2с) = 1. Поэтому по теореме 1 2 D (5л — 5л) < оо-
Далее
2d^=t2d^-^<c°-
Поэтому по теореме 1 с вероятностью единица сходится ряд
2(5л —Mg„), а значит, сходится и ряд 2 М£„.
Итак, из сходимости (Р-п. н.) ряда 2 5л (в предположении
Р (| In | sg с) = 1, п5=1) вытекает, что оба ряда 2М£Я и 2DEre
сходятся.
Теорема доказана.
3.	Следующая теорема дает необходимое и достаточное усло-
вие сходимости ряда 2 5л без предположений об ограниченности
случайных величин.
Пусть с — некоторая константа и
Теорема 3 (теорема Колмогорова о «трех рядах»). Пусть
^2, ... — последовательность независимых случайных величин. Для
сходимости с вероятностью единица ряда 2 5 необходимо, чтобы
для любого с>0 сходились ряды
2М&, 2D& £P(|5«|sM
и достаточно, чтобы эти ряды сходились при некотором с > 0.
Доказательство. Достаточность. По теореме о «двух
рядах» ряд 2 5л сходится с вероятностью единица. Но если
2 Р (| 15= с)< оо, то по лемме Бореля — Кантелли с вероят-
ностью единица 2 (I 5л | с) < оо, а значит, %п = 1п Для всех ».
за исключением, быть может, конечного числа. Поэтому ряд 2 5л
также сходится (Р-п. н.).
§ 2 СХОДИМОСТЬ РЯДОВ
375
Необходимость. Если ряд У L сходится (Р-п. и.), то
L->0 (Р-п. н.) и, значит, для всякого с>0 может произойти
(Р-п. н.) не более конечного числа событий {ILI^c}- Поэтому
У I (| L | ,• с) < со (Р-п. и.) и по второй части леммы Бореля—
Кантелли v Р (^	| > с) < со. Далее, из сходимости ряда £L
следует и сходимость ряда v Поэтому по теореме о «двух ря-
дах» каждый из рядов V и DL сходится.
Теорема доказана.
Следствие. Пусть L. L, ... — независимые случайные вели-
чины с ML = 0- Тогда, если
Ум-. ,-<оо,
1 + I in |
го ряд сходится с вероятностью единица.
Для доказательства заметим, что
JM <оо «2М[^7 (I L|=C 1) + ; In I I (i Ъг \ > 1)]<СО.
Поэтому, если S,1, = ^nI (| L | ; 1), то
у М &)2 < со.
Поскольку ML = 0, то
£ I ML1 = V | ML/ о In к 1); = V; ML/ (I LI > ПК
vмiLi/ (iLI> 1)<оо.
Значит, кгждый из рядов Д ML и У DL сходится. Далее, по
неравенству Чебышева
P{|LI> 1} = Р{| LI /(ILI > 1)> 1}сМ (|LI/(|LI> О-
Поэтому S Р (| L !> 1) Тем самым сходимость ряда v
следует из теоремы о «трех рядах».
4.	Задачи,
1.	Пусть L, ?2> ... — последовательность независимых случай-
ных величин, Sn= L + --- + ^n. Используя теорему о «трех рядах»,
показать, что: а) если UL<co (Р-п. и.), то ряд £L сходится
с вероятностью единица в том и только том случае, когда схо-
дится ряд 2 м^/(| I о 1); Ь) если ряд 2L сходится (Р-п. н.),
то ряд У L < со (Р-п. н.) в том и только том случае, когда
2(М |L| / (I Ll^l))2<co.
2.	Пусть L> ••• — последовательность независимых случай-
ных величин. Показать, что	(Р-п. н.) тогда и только
376
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
тогда, когда
1 + ^
оо.
3.	Пусть |х, ?2, ... — последовательность независимых случай-
ных величин. Показать, что ряд сходится (Р-п. н.) тогда и
только тогда, когда он сходится по вероятности.
§ 3. Усиленный закон больших чисел
1.	Пусть Е1, Е2, ... — последовательность независимых случай-
ных величин с конечными вторыми моментами, S„ = ^ + .. • + £„.
Согласно задаче 2 из § 3 гл. III, если дисперсии равномерно
ограничены, то имеет место закон больших чисел:
р q
п
п->со.
Усиленным законом больших чисел называется утверждение,
в котором сходимость по вероятности в (1) заменяются сходи-
мостью с вероятностью единица.
Один из первых результатов в этом направлении дается сле-
дующей теоремой.
Теорема 1 (Кантелли). Пусть |х, g2, .— независимые слу-
чайные величины с конечным четвертым моментом и такие, что
для некоторой константы С
Тогда при п-+<х>
(Р-п. н.).	(2)
Доказательство. Не ограничивая общности, будем счи-
тать М£„ = 0, пЭг!. По следствию к теореме 1 из § 10 гл. II
О
для сходимости -- -> 0 (Р-п. н.) достаточно, чтобы для любого
е>0
2р{|тг|Н<о°-
В свою очередь, в силу неравенства Чебышева, для этого доста-
точно выполнения условия
Покажем, что при сделанных предположениях это условие дейст-
вительно выполнено.
§ 3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
377
п
Имеем
i<i
+ 22ГТГП-+ 2
(Ф!	i<i<k<l	i^i
i^k
i<k
Тогда, учитывая, что М^ = 0, ks^n, отсюда находим
ms^=2m^+6 2 м£Ж/=^с+б j жжн
1 — 1	i, /—1	I, / —1
i</
С пС + 6п (П2~-1- С = (Зп2 — 2п)С<. Зп2С.
Следовательно,
2м(тУ-еЗС2да<“-
Теорема доказана.
2.	Привлечение более тонких методов позволяет существенно
ослабить предположения, сделанные в теореме 1, для справедли-
вости усиленного закона больших чисел.
Теорема 2 (Колмогоров). Пусть g2, ... — последователь-
ность независимых случайных величин с конечными вторыми мо-
ментами, положительные числа Ь„ таковы, что bn | оо и
У DS/i
Ьп
< оо.
Тогда
В частности, если
то
(Р-п. н.).
2^<~.
4^ п2
Sn-MSn^Q ^Р.п .
п	'	1
(3)
(4)
(5)
(6)
Для доказательства этой теоремы, а также нижеследующей
теоремы 3 нам понадобятся следующие два вспомогательных
утверждения.
Лемма 1 (Теплиц). Пусть {ап} — последовательность неотри-
п
цательных чисел, Ьп=~^ at, bn>Q для всех п^ 1 и bn | со,
t— 1
378
ГЛ IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
п->оо. Пусть также {хп} — последовательность чисел, сходящаяся
к некоторому числу х. Тогда
п
^щх^х.	(7)
/=1
В частности, если ап— 1, то
Л + - +	§
п	' '
Доказательство. Пусть е > 0 и /?„ = л0 (е) таково, что для
всех n^s па | хп — х I - е/2. Выберем «1>и0 так, что
По
Тогда для п > щ
п	п
=	+	2 а,]х;-х\^
/ = 1	/=/ZoH“I
1 V ।	ill	V	।	,	е . n — n0	е	,
щТ 2. й/ ' Х’ ~ X	' ~~ b~n	2j	I	xi ~ x I	V 1 n	¥ ? 8‘
1 /=1	/=n0+l
Лемма доказана.
Лемма 2 (Кронекер). Пусть {bn} —последовательность поло-
жительных возрастающих чисел, bn f оо, п-+ео, и {хп} — последо-
вательность чисел таких, что ряд ^хп сходится. Тогда
F 2	п-^оэ-	(9)
"/=1
В частности, если Ьп—п, хп = ~р и ряд сходится, то
,У1 + ..^. + уп ^Qi	п->оо.	(10)
п
Доказательство. Пусть Ьо = О, Se = 0, Sn~ У, Xj. Тогда
/ = 1
(«суммирование по частям»)
У, bjXj =i'^bj (Sj — S/-i) = bnSn — b0S0 — У S/_x pb] — bt-j)
§ 3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
379
и, значит,
п	п
/=1	/=1
поскольку, если S„->x, то по лемме Теплица
п
х 2 sJ-iaJ^~x'
i=i
Лемма доказана.
Доказательство теоремы 1. Поскольку
_.1_ у -
bn bn	bk ’
k = l
то в силу леммы Кронекера для выполнения (4) достаточно, чтобы
(Р-п. н.) сходился ряд	Но этот ряд действительно
сходится в силу условия (3) и теоремы 1 из § 2.
Теорема доказана.
Пример 1. Пусть £2, ... — последовательность бернулли-
евских независимых случайных величин с Р (§л=1)= Р (£„ =—1) =
= 1/2. Тогда, поскольку 2' n log2 д'< °°’ то
>0 (Р-п. н.).
п log
(И)
3. В том случае, когда величины S2, ... не только незави-
симы, но и к тому же одинаково распределены, для справедливо-
сти усиленного закона больших чисел нет надобности требовать
(как в теореме 2) существования второго момента, а достаточно
лишь существования первого абсолютного момента.
Теорема 3 (Колмогоров). Пусть |2, ... — последователь-
ность независимых одинаково распределенных случайных величин
с М | gx| < оо. Тогда
(Р.п. „.),	(12)
где т = МсР
Для доказательства нам понадобится следующая
Лемма 3. Пусть ^ — неотрицательная случайная величина.
Тогда
СО	оо
Д—1	Д = 1
(13)
380
ГЛ IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Доказательство следует из следующей цепочки неравенств:
f;p(^n)=f; 2 р(k^i<k+1)=
п = 1	и = 1 k п
= j>P(/e<l</e+l) = § М[й/ <k^<k + 1)]^
А=1	k=0
ft=0
=	M[(*+1)Z (£<£<*+!)>
= 2 (k+l)P(k^<k+l) =
k = 0
= SP(^n)+ 2Р(/г<?</г+1)= 2P(^n)+l.
п=1	/г=0	n=l
Доказательство теоремы 3. В силу леммы 3 и леммы
Бореля — Кантелли
М | j < со « v Р {| gi | п} < оо <=>
«2Р{|^|^и}<оо<^>РШ^п б. ч.}=0.
Поэтому с вероятностью единица для всех п, за исключением
лишь конечного числа, | с„| <; п.
Обозначим
г ______________ J | I
1о,
и будем считать, что М£„ = 0,	Тогда	~»~0 (Р-п. н.),
если, и только если	.^-0 (Р-п. н.). Заметим, что, вообще
говоря, М|„ Ф 0, но
м|„=ми о u I < n) = mu (i u <«) -> m^=o.
Поэтому по лемме Теплица
;УМЬ->0, n->oo,
§ 3 УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
381
и, следовательно,	->0 (Р-п. н.) в том и только том
случае, когда (Р-п. н.)
+ + 14)
п	’	' '
Обозначим In = („ — М|п. В силу леммы Кронекера для выпол-
нения (14) достаточно лишь установить, что ряд сходится
(Р-п. н.). В свою очередь, согласно теореме 1 из § 2, для этого
достаточно показать, что предположение М | | < со обеспечивает
V d£„
сходимость ряда 7
Имеем
00	со
п = 1	Я = 1
ОО	00	п
= 2 J - м [^7 с । < н)]= j i 2 м (* -1 -1 । < эд-
п=1	п=1	k~ 1
со	со
= 2 м[ш(^-
k —1	п — k
со
£=1
оо
<с2 2 М[| I(k- 1 < IgJ <£)] = 2М IgJ <оо.
*=i
Теорема доказана.
Замечание 1. Утверждение теоремы допускает обращение
в следующем смысле. Пусть g2, ... — последовательность неза-
висимых одинаково распределенных случайных величин, для
которых с вероятностью единица
Е1 + -" + £л > Q
п	’
где С —некоторая (конечная) константа. Тогда М|^х|<оо и
С = М^.
В самом деле, если	(Р-п. н.), то
и, значит, Р (| £„|>п б. ч.) = 0. По лемме Бореля — Кантелли
2 Р (Hi I > «) < °о
382
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
и в силу леммы 3 М | ^ | < оо. Тогда из доказанной теоремы сле-
дует, что С =
Таким сбразом, для независимых одинаково распределенных
случайных величин условие М|^|<оо является необходимым и
достаточным для сходимости (с вероятностью единица) отношений
Sn/n к конечному пределу.
Замечание 2. Если математическое ожидание т = М^! суще-
ствует, но не обязательно конечно, то утверждение (11) теоремы
также остается в силе.
В самом деле, пусть, например,	и M£t = co. Поло-
жим для С>О
s„c=
i —1
Тогда (Р-п. н.)
S	Sc
lim ~ У lim = ML7 < С).
п	п
Но при С->оо
->1^=00,
5
поэтому	(Р-п. н.).
4. Остановимся на некоторых применениях усиленного закона
больших чисел.
Пример 1 (применение к теории чисел). Пусть Q=[0, 1),
S3 — борелевская система подмножеств О и Р —мера Лебега на
[О, 1). Рассмотрим двоичное разложение со = 0, со1ю2... чисел well
(с бесконечным количеством нулей) и определим случайные вели-
чины gj (со),	(со), •••, полагая S„(a>) = co„. Поскольку для любого
«2=1 и любых хх, ..., хп, принимающих значения 0 или 1,
{(S) — хх, ..., (со) = хп} —
= {<о:	+ > + ..•+	+	+
то P-мера этого множества равна 1/2”. Отсюда вытекает, что
g2, ... — последовательность независимых одинаково распределен-
ных случайных величин с
Р(^ = 0) = Р(^=1)=|.
Отсюда и из усиленного закона больших чисел вытекает следую-
щий результат Бореля: почти все числа интервала [О, 1) нормальны
в том смысле, что с вероятностью единица доля нулей и единиц
в их двоичном разложении стремится к 1/2, т. е.
42/&=1)->4(р-п. к>.
А=1
§ 3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ	383
Пример 2 (применение к «методу Монте Карло»), Пусть
J (х) — непрерывная функция, заданная на интервале [0, 1] и при-
нимающая значения из [0, 1]. Следующие рассуждения лежат
в сснове статистического метода численного вычисления интегра-
1
лов ^f(x)dx («метод Монте Карло»),
о
Пусть ц1; g2, ц2, ... — последовательность независимых слу-
чайных величин, равномерно распределенных на [0, 1J. Положим
( 1, если
Р;~ (О, если /(^Хпй
Ясно, что
мрх = р {/ (£1) > П1}= V W dx-
о
В силу усиленного закона больших чисел (теорема 3)
п	1
2	(р-п-н-)-
1 = 1	о
1
Таким образом, численный подсчет интеграла ^f(x)dx можно
о
осуществлять с помощью моделирования пар случайных чисел
п
(□;, тр), с последующим подсчетом величин р, и ± У р;.
z = i
5. Задачи.
1.	Показать, что М£3<оо тогда и только тогда, когда
СО
2 «Р(!?!>«)<сю.
п=1
2.	Предполагая, что t2, ... независимы и одинаково распре-
делены, показать, что если М|^|“<;со для некоторого 0<а<1,
то ^^-->0 (Р-п- н.), и если М|^|₽<сю для некоторого 1==^|3<2,
то	(Р-п. н.).
3.	Пусть £г, ... — последовательность независимых одинаково
распределенных случайных величин с М|?х| = оо. Показать, что
для любой последовательности констант {«„}
liml-— —п„| = оо (Р-п. н.).
п. 1 п	I
4.	Показать, что все рациональные числа из [0, 1) не являются
нормальными (в смысле примера 1 в п. 4).
384
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
§ 4.	Закон повторного логарифма
1.	Пусть gj, g2, ... — последовательность независимых бернул-
лиевских случайных величин с Р (|л = 1) = Р (£„ = —1) = —1/2,
Sn = |j + •• + !« Из доказательства теоремы 2 в § 1 следует, что
с вероятностью единица
lim-^- = 4-оо,	= — оо.	(1)
V п	--- V п
С другой стороны, согласно (3.11),
----->0 (Р-п. н.).
V п log п
(2)
Сравним эти два результата.
Из (1) следует, что с вероятностью единица траектории
бесконечное число раз пересекают «кривые» :±ej/n, где
е —любое положительное число, но в то же самое время они
в силу (2) лишь конечное число раз выходят из внутренности
области, ограниченной кривыми ±е|Лг log п. Эти два результата
дают весьма полезную информацию о характере «размаха» коле-
баний симметричного случайного блуждания (S„)n^i. Приводимый
ниже закон повторного логарифма существенно уточняет эти
представления о «размахе» колебаний (£„),;> ь
Введем такое
Определение. Функция ф* = ф* (л), п 1, называется верх-
ней (для	если с вероятностью единица 5„=Сф*(п) для
всех п, начиная с некоторого n = n0(w).
Функция <р* — ф* (п), п^1, называется нижней (для (S„)„^i),
если с вероятностью единица 5л>ф*(/г) для бесконечно мно-
гих п.
В соответствии с этим определением и в силу (1) и (2) можно
сказать, что каждая из функций ф* = е logo, е>0, является
верхней, а функция ф* = е ]/п — нижней, е>0.
Пусть ф = ф (п) — некоторая функция и фе=(1+е)ф, ф*е =
= (1—е)ф, где е>0. Тогда нетрудно видеть, что
! = (lim Г sup -4^-
I L Ь>лч>(п)
Е для всякого е2>0, начи-1
ная с некоторого п1 (е) J
для всякого е > 0, начи-1
ная с некоторого ^(е) j '
§ 4. ЗАКОН ПОВТОРНОГО ЛОГАРИФМА
385
Точно так же
(lim^11 = (lim
I <P(n) J
sup
т^п
f SUp ^ > [	с для всякого е>0, начи- j <4—
I т^пг(е) Ф(т> "" ная с некоторого n2(e) /
(SOTSs(l — e)qp(m) для всякого 8>0 и для 1
бесконечно многих значений т, больших г. (4)
некоторого п3 (е) 5э n2 (е)	J
Из (3) и (4) вытекает, что для того, чтобы проверить, что
каждая из функций <ре = (1 -hе) ф, е>-0, является верхней, надо
доказать, что
=	(5)
I ф(«) J
А для того чтобы доказать, что функции <р*Е==(1 — в) ср, е>0,
являются нижними, надо установить, что
Р him-Фт ^11=1.	(6)
1 Ф («) J	'
2.	Теорема 1 (закон повторного логарифма). Пусть |1( |2» •••
последовательность независимых одинаково распределенных случай-
ных величин с Mg,=0 и М£г=о2>0. Тогда
Р(ПЫ^\ = 1( = 1,	(7)
( Ф (л) J ’	' ’
где
ф (п) = ]/2o2n log log п.	(8)
Для случая равномерно ограниченных случайных величин
закон повторного логарифма был установлен Хинчиным (1924 г.).
В 1929 г. Колмогоров обобщил этот результат на широкий класс
независимых случайных величин. В условиях, сформулированных
в теореме 1, закон повторного логарифма установлен Хартманом
и Винтнером (1941 г.).
Поскольку доказательство этой теоремы довольно сложно,
ограничимся рассмотрением лишь частного случая, когда случай-
ные величины ^„являются нормально распределенными,
~®<Г(0, 1), п^1.
Начнем с доказательства двух вспомогательных результатов.
Лемма 1. Пусть |х, ..., с)П — независимые случайные величины
о симметричным распределением (Р (5* еВ) = Р (—е В) для
386
ГЛ IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
каждого B^<£B(R), k^n). Тогда для любого действительного а
шах 5\>а)ес2Р(Sn>a).	(9)
Доказательство. Пусть А — 1 max Sk>a\, Ak = {St^a,
I
i^k — 1; Sk>a} и В = {Sn>а}. Поскольку на множестве Ak
Sn>a (так как Sft=ssS„), то
Р (В П Л) Р (Ak П {5Л 2s S4) = Р (ЛА) Р (S„ 2s S*)==
= Р(ЛА)Р(|йн + -.-+Вя^0).
В силу симметричности распределений вероятностей'случайных
величин Ер ....
Р(^+1 + ... + ^>О) = Р(Ей+1 + ... + 1я<О).
Поэтому Р (Ьн + - • • + 1«S=:O) 2s 1/2 и, значит,
п
п
Р (В) 2s 2 Р П В) 4 2 Р =.2Р
*=1	k=l
что и доказывает (9).
Лемма 2. Пусть	о2 (я)), о2(л)'{'сю и числа а(п),
/i2sl, таковы, что	л->со. Тогда
о («)
Р$п>а(п))
о(п)
V 2л а (п)
а2 (а)
2Ог(а)
(10)
Доказательство следует из того, что при х->со
1 ?	1
а случайная величина S„/o (я) W (0, 1).
Доказательство теоремы 1 (в случае	1)).
Установим сначала соотношение (5). Пусть е>0, А. = 1+8,
nk~^k, где k^k0, a k0 выбирается так, чтобы lnln&0 был опре-
делен. Обозначим также
Ak — {S„ > Ал|з (л) для некоторого п е (nk, «a+i]}>	(П)
§ 4 ЗАКОН ПОВТОРНОГО ЛОГАРИФМА
387
и пусть
Л = {ЛЙ б. ч.} = {S„>Xip(n) для бесконечно многих п}.
В соответствии с (3) для доказательства (5) достаточно доказать,
что Р (Л) = 0.
Покажем, что У Р (ЛА)<оо. Тогда по лемме Бореля — Кантелли
Р(Л) = 0.
Из (11), (9) и (10) находим, что
Р (ЛА) ss Р {S„ > tap (nk) для некоторого п (= (п*, nA+1)}=sS
=^P{S„>Xip(nA) для некоторого nsgn*+1}sg
k^C.2e-^k =C2k-K,
2Р{^+г
где C\ и C2 — некоторые константы. Ho У <; оо, поэтому
k=i
У! Р (Л) <оо.
Итак, соотношение (5) доказано.
Перейдем к доказательству (6). В . соответствии с (4) надо
показать, что для X — 1 — е, е > 0, с вероятностью единица Sn 55=
^tap(n) для бесконечно многих п. Применим доказанное соотно-
шение (5) к последовательности ( —5я)л>ь Тогда получим, что
для всех п, за исключением, быть может, конечного числа (Р-
п. н.) — Sn 2чр (п). Следовательно, если nk = Nh, N>\, то для
достаточно больших k
^nk-i 2'Ф (nk-i)
Или
Snk^Yk 2ip(M*_j),	(12)
где Kft = S„A-S„ft_1.
Поэтому, если доказать, что для бесконечно многих k
Kft>Xip(nft) + 2ip(nft_1),	(13)
то вместе с (12) это даст, что (Р-п. н.) для бесконечно многих
k S„k^> tap(nft). Возьмем некоторое Л' е (%, 1). Тогда можно найти
такое N > 1, что для всех k
К’ [2 (Nk - N*-1) In In 2V*]1/2 > % (2.V* In In N*)1^ +
+ 2 (2/V*-1 In In /V*-1)1/2 = tap (Nk) + 2ip (2V*-1).
388
ГЛ IV НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Теперь достаточно показать, что для бесконечно многих k
У*>А'[2(Л^* —A^ft-1)ln 1п^]1/г.	(14)
Очевидно, Ук~<^ (О, Nk — Поэтому в силу леммы 2
Р {Yk Ж [2 (Nk - #*- *) In In AZ*]1/2} ~
_______1________g - (X')2 In In Nk	CT - (X')2 C2
~/2лХ'(21п1пЛГ*)1/2	"" (1пЛг)1/2	*1п£ '
Так как У / — оо, то, следовательно, по второй части леммы
ft 1 Fl Zv
Бореля — Кантелли с вероятностью единица для бесконечно мно-
гих k выполнено (14), что и доказывает соотношение (6).
Теорема доказана.
Замечание 1. Применяя (7) к случайным величинам ( —S„)n^i,
находим, что
lim—r = -1.	(15)
<р(ге)	' '
Из (7) и (15) следует, что закону повторного логарифма можно
придать также следующую форму:
р1пйЦ4 = 11 = 1-	о6)
I ф (n) J
Замечание 2. Закон повторного, логарифма говорит о том,
что для любого е>0 каждая из функций ф^ = (14-е)ф является
верхней, а функция ф*е = (1 — е) ф — нижней.
Утверждение (7) закона повторного логарифма эквивалентно
также тому, что для всякого е > 0
Р {| S„ |	(1 — е) ф (п) б. ч.} = 1,
Р {| S„	(1 + е) ф(п) б. ч.} = 0.
3.	Задачи.
1.	Пусть lx, g2, ... последовательность независимых случайных
величин, £л^У(0, 1). Показать, что
2.	Пусть £х, ^.... — последовательность независимых случай-
ных величин, распределенных по закону Пуассона с параметром
А.>0. Показать, что (независимо от А)
Р (П^ Ц^-ПЛ- = 1]=1.
( In л )
3.	Пусть £х, |2, ... — последовательность независимых одинаково
распределенных случайных величин с
Ме«Ь	0<а<2.
§ 4 ЗАКОН ПОВТОРНОГО ЛОГАРИФМА
389
Показать, что
I___I sn
Р |lim п1/а
1
1П 1ПЛ
— е1/а Г _ 1
4.	Установить справедливость следующего обобщения неравен-
ства (9). Пусть £t, ... ,	— независимые случайные величины.
Тогда для всякого действительного а справедливо неравенство
Леви
Р( max [S* + p(S„-S*)]>alss2P(S„>a),
где p. (£) —медиана случайной величины g, т. е. такая константа,
что
Р(^Н1))^1,
ГЛАВА V
СТАЦИОНАРНЫЕ (В УЗКОМ СМЫСЛЕ) СЛУЧАЙНЫЕ
ПОСЛЕДОВАТЕЛЬНОСТИ И ЭРГОДИЧЕСКАЯ ТЕОРИЯ
§ 1. Стационарные (в узком смысле) случайные
последовательности. Сохраняющие меру преобразования
1. Пусть (й, eF, Р) — вероятностное пространство и с =
= (£х, Е2, ...) —некоторая последовательность случайных величин,
или случайная последовательность. Обозначим через 6*5 последо-
вательность (5*+1, g*+2, ...).
, Определение!. Случайная последовательность | называется
стационарной (в узком смысле), если для любого распре-
деления вероятностей 0*£ и £ совпадают:
Р (&, ?2, ...)еВ) = Р ((gft+1, lft+2, ...) е= В),	(Rm).
Простейшим примером такой последовательности % является
последовательность В = (^, ?2> ••)> состоящая из независимых
одинаково распределенных случайных величин. Отправляясь от
такой последовательности, можно сконструировать широкий класс
ст ационарных последовательностей q = (T]lf т|2, ...), если взять
произвольную борелевскую функцию	хп) и положить
Л*= 8 ?а+1> • • • I ?*+«)•
Если 5 =	...) —последовательность независимых одина-
ково распределенных случайных величин с М |<оо и М5Х = т,
то, согласно усиленному закону больших чисел с вероятностью
единица,
—> т,	п —> оо.
п
В 1931 г. Биркгоф получил замечательное обобщение этого
результата на случай стационарных последовательностей. Именно
доказательство теоремы Биркгофа и составляет основное содер-
жание настоящей главы.
Последующее изложение будет вестись с привлечением понятия
«сохраняющего меру преобразования», что даст возможность как
познакомиться с одной из интересных ветвей анализа — эргодичес-
§ I СОХРАНЯЮЩИЕ МЕРЫ ПРЕОБРАЗОВАНИЯ
391
кой теорией, так и установить ее связь с теорией стационарных
случайных последовательностей.
Пусть (й, aF, Р) — некоторое вероятностное пространство.
Определение 2. Отображение Т пространства й в себя
называется измеримым, если для всякого Ле/
=	То>(=А}(=^.
Определение 3. Измеримое отображение Т называется
сохраняющим меру преобразованием (морфизмом), если для всякого
/1е/
р (7-М) = Р (Л).
Пусть / — сохраняющее меру преобразование, Т” — его п-я
степень и (со) — некоторая случайная величина. Положим
(со) = (Г"_1со), п  2, и рассмотрим последовательность £ =
= (£i, g2, ...). Мы утверждаем, что эта последовательность явля-
ется стационарной.
В самом деле, пусть Л = {со: geB}, Л1 = {со: е^еВ}, где
В е / (В00). Поскольку Л = {со: (^ (со), (Тео), ...) еВ}, а Д =
= {со: (^(Тсо),	(Т2со), ...)еВ}, то шеЛ, в том и только том
случае, когда ТшеЛ, или А1 = Т~1А. Но Р(Т_М) = РЛ, и поэ-
тому Р(ЛХ) = Р(Л). Аналогичным образом Р(ЛА) = Р(Л) для
любого ЛА = {(о: 5^еВ},./>2.
Итак, введение сохраняющего меру преобразования дает воз-
можность построения стационарных (в узком смысле) случайных
последовательностей.
В определенном смысле верен и обратный результат: для каж-
дой стационарной последовательности g, рассматриваемой на (й,
еГ, Р), можно указать новое вероятностное пространство (й, aF, Р),
случайную величину ti (®) и сохраняющее меру преобразование t
такие, что распределение случайной последовательности | ==
= {ti (со), gj (Feo), ...} совпадает с распределением последователь-
ности g.
Действительно, возьмем в качестве й «координатное» простран-
ство В00 и положим aF = Si (В00), Р = Pg, где Pg (В) = Р {со: Ее
Ве д?(В'х). Преобразование Т, действующее в й, определим по
> формуле
Г (хь х21...) = (х2, х3, . .
Положим также для со = (х1, х2, ...)
|1(«) = х1, L(w) = |1(F/’-1co),	п>~2.
392
ГЛ V СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Пусть теперь Л = {(о: (xlt , xk)^.B}, B^.<£B(Rk) и f М =
= {со: (х2, ..., .cs+1)eB}. Тогда в силу стационарности
Р (Л) = Р {со: ..., е В} = Р {со: (g2.....gft+1) €= В} = Р (Т М),
т. е. Т — сохраняющее меру преобразование. Поскольку Р {со:
(L.... L)eB} = p {со: (^, ... , ^)еВ} для любого k, то отсюда
следует, что распределения | и f совпадают.
Приведем примеры сохраняющих меру преобразований.
Пример 1. Пусть Q = {cO], со„{ — множество, сосюящее
из конечного числа точек, л 2-2, ТА — все его подмножества,
7о>, == о); tl,	1 и Тсо„ = со1. Если Р (со,) = 1/п, то Т—
сохраняющее меру преобразование.
Пример 2. Если Q = [0, 1), еГ = ^Э([0, 1)), Р — мера Лебега,
/. е[0, 1), то Тх = (х + Х) mod 1 и Tx = 2xmodl являются сохра-
няющими меру преобразованиями.
2.	Остановимся на физических предпосылках, приводящих
к изучению преобразований, сохраняющих меру.
Будем представлять себе О как фазовое пространство состоя-
ний со некоторой системы, эволюционирующей (в дискретном
времени) в соответствии с заданным законом движения. Тогда,
если со есть состояние в момент л=1, то Т"со, где Т — оператор
сдвига (индуцируемый данным законом движения), есть то состоя-
ние, в которое перейдет система через п шагов. Далее, если А —
какое-то множество состояний со, то Т-1Л = {со: ТсоеЛ} есть по
своему определению множество тех «начальных» состояний со,
которые через один шаг окажутся в множестве Л. Поэтому, если
интерпретировать О как «несжимаемую жидкость», то условие
Р(Т1Л) = Р(Л) можно рассматривать как вполне естественное
условие сохранения «объема». (Для классических консервативных
гамильтоновых систем известная теорема Лиувилля утверждает,
что соответствующее преобразование Т является преобразованием,
сохраняющим меру Лебега.)
3.	Одним из первых результатов относительно преобразований,
сохраняющих меру, была следующая теорема Пуанкаре (1912)
о «возвратности».
Теорема 1. Пусть (Q, <У, Р) — некоторое вероятностное
пространство, Т — преобразование, сохраняющее меру, и Ар/.
Тогда для почти каждой точки ыеЛ Т’"о)еЛ для бесконечно
многих п 1.
Доказательство. Обозначим С = {(»еЛ: Тпв> <ф Л, для
всех nA-А}. Поскольку для любого п^А С [\Т~пС = 0, то
Т тС Г) Т~(т 'гп'>С = Тт (Сfl Т~пС) = 0. Таким образом, последова-
тельность {Т"С} состоит из непересекающихся множеств, Р-мера
§ 2. ЭРГОДИЧНОСТЬ И ПЕРЕМЕШИВАНИЕ
393
которых одна и та же. Поэтому У, Р (С) = У Р(Т~пС)^ Р (Й) = 1
л—0	п—0
и, следовательно, Р(С) = 0. Таким образом, для почти каждой
точки (1)Е.4, по крайней мере для одного /г=;1, Тпы се А.
Выведем отсюда, что тогда и для бесконечно многих п Тпи> А.
Применим предшествующий результат к преобразованиям Тк,
k^A. Тогда для каждой точки ы^А'1, где М —множество
нулевой вероятности, являющееся объединением соответствующих
множеств, отвечающих разным k, найдется такое nk, что (Т*)л*сое А.
Отсюда, разумеется, следует, что Тп<л^. А для бесконечно многих п.
Теорема доказана.
Следствие. Пусть Е (со) уа-0. Тогда на множестве {со: Е (ш)>6}
У£(ТМ = °о (Р-п. н.).
В самом деле, пусть А„ = {со: Е(со);> Тогда, согласно
теореме на множестве (Р-п. н.) У £ (Ткы) = оо, и требуемый
4=0
результат следует, если положить, оо.
Замечание. Теорема сохраняет свою силу, если вместо
вероятностной меры Р рассмотреть любую конечную меру р,
р (й) < оо.
4.	Задачи.
1.	Пусть Т — сохраняющее меру преобразование и | = |(<о)—
случайная величина с существующим математическим ожиданием
М£(со). Показать,  что (со) = (Тео).
2.	Показать, что в примерах 1 и 2 преобразования Т являются
преобразованиями, сохраняющими меру.
3.	Пусть й = [0, 1), еТ==э5&([0, 1)) и Р —некоторая мера
с непрерывной функцией распределения. Показать, что преобразо-
вания Tx = Xx, 0<^< 1, и Тх = х2 не являются преобразованиями,
сохраняющими меру.
§ 2. Эргодичность и перемешивание
1. На протяжении всего данного параграфа будем через Т
обозначать сохраняющее меру преобразование, действующее на
вероятностном пространстве (й,	, Р).
Определение 1. Множество А еназывается инвариант-
ным, если Т~ХА = А. Множество A^JF называется почти инва-
риантным, если А- и Т~гА отличаются на множество меры нуль,
т. е. Р(ЛДТ-М) = 0.
394
ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Нетрудно проверить, что класс инвариантных (почти инва-
риантных) множеств (соответственно <=7*) образует сг-алгебру.
Определение- 2. Сохраняющее меру преобразование Т
называется эргодическим (или метрически транзитивным), если
каждое инвариантное множество А имеет меру нуль или единица.
Определение 3. Случайная величина g = g(co) называется
инвариантной (почти инвариантной), если £ (со) = £ (Ты) для всех
ыеЙ (для почти всех со е Й).
Следующая лемма устанавливает связь между инвариантными
и почти инвариантными множествами.
Лемма 1. Если А является почти инвариантным множест-
вом, то найдется такое инвариантное множество В, что Р (ЛАВ) —
= 0.
Доказательство. Положим В = НтТ~”А. Тогда Т~гВ ==
= ИтТ^^+^А = В, т. е. Ве/. Нетрудно убедиться в том, что
ЛАВе (j (T-kA\T-^A). Но Р(Т-МДТ-<*+1)Л) = Р) ЛАТ-М; =
k — о
= 0. Поэтому Р (ЛАВ) = 0.
Лемма 2. Преобразование Т эргодично тогда и только тогда,
когда каждое почти инвариантное множество имеет меру нуль
или единица.
Доказательство. Пусть Л ее7*; тогда по лемме 1 най-
дется инвариантное множество В такое, что Р (ЛАВ) = 0. Но Т
эргодично и, значит, Р(В)=0 или 1. Поэтому Р(Л) = 0 или 1.
Обратное очевидно, поскольку <г7 <=<г7*.
Лемма доказана.
Теорема 1. Пусть Т — сохраняющее меру преобразование.
Следующие условия эквивалентны:
(1)	Т эргодично-,
(2)	каждая почти инвариантная случайная величина есть
(Р-п. н.) константа-,
(3)	каждая инвариантная случайная величина есть (Р-п. н.)
константа.
Доказательство. (!)<=> (2). Пусть Т эргодично и g почти
инвариантна, т. е. (Р-п. н.) g (со) = £ (Тео). Тогда для любого с е R
множество Лс = {со: g (со) sgc} е <&* и по лемме 2 Р (Ас) — 0 или
1. Пусть С = вир {с: Р(ЛС) = О}. Поскольку Лс|й при cfoo и
ЛД ф при с| —сю, то |С|<.оо. Тогда
Р {со: £(co)<C} = pl Q {|(®)^С--Ц| = 0
и аналогично Р{со: g (со) > с} = 0. Тем самым Р {со: £(со) = С} = 1.
(2) => (3). Очевидно.
§ 2. ЭРГОДИЧНОСТЬ И ПЕРЕМЕШИВАНИЕ
395
(3) => (1). Пусть Лег?, тогда 1А — инвариантная случайная
величина и, значит, (Р-п. н.) /д = 0 или IA = 1, откуда Р(А) = 0
или 1.
Замечание. Утверждение теоремы остается в силе и в том
случае, когда рассматриваемые случайные величины ограничены.
В качестве иллюстрации применения этой теоремы рассмотрим
следующий
Пример. Пусть Q =[0, 1),	= &В ([0, 1)), Р —мера Лебега
и Та = (®4-Х) mod 1. Покажем, что Т эргодично в том и только
том случае, когда X иррационально.
Пусть t = £(®) — случайная величина с Mg2(®)<оо. Тогда
СО
известно, что ряд Фурье 2 спе2я‘п® функции £ (со) сходится в
п = — оо
среднеквадратическом смысле, £ | сп )2 < оо и
g (<о)= 2 cne2nina> (Р-п. н.).
п =— со
Отсюда
I (Та) = У, cne2ninae2nin\
п~ — оо
и, если £ инвариантна, то сп (1 — e2ninK) = 0. По предположению
X иррационально и, значит, для всех п=£1 е2пМ =/= 1. Поэтому
сл = 0, п=#1, g(co) = co .(Р-п. н.) и по теореме 1 преобразование
Т эргодично.
С другой стороны, пусть X рационально, т. е., K-k/m, где
k и т — целые. Рассмотрим множество A = {w: 0sga><l/m,
2/m -< со < 3/m, ... —Ясно, что это множество
является инвариантным, но Р(А)=1/2. Следовательно, Т не
эргодично.
2; Определение 4. Сохраняющее меру преобразование Т
называется перемешиванием (обладающим свойством перемешива-
ния), если для любых A, 5eaF
lim Р (А П Т~пВ) = Р (А) Р (В).	(1)
п-»со
Следующая теорема устанавливает связь между эргодичностью
и перемешиванием.
Теорема 2. Всякое преобразование Т, обладающее свойством
перемешивания, является эргодическим.
Доказательство. Пусть А<=аГ, В ^@7. Тогда В = Т~пВ,
ft 1> и, значит, Р (A f] Т~пВ) — Р (A Q В) для всех n 2s 1. В силу
396
ГЛ V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
(1)	Р (А П В) = Р (Л) Р (В). Поэтому при А =В находим, что
Р(В) = Р2(В) и, следовательно, Р(В) = 0или 1. Теорема доказана.
3. Задачи.
1.	Показать, что случайная величина £ является инвариант-
ной тогда и только тогда, когда она ^-измерима.
2.	Показать, что множество А является почти инвариантным
тогда и только тогда, когда или Р (Т-1Л\Л) = 0 или Р (Л\Т-1Л) =
= 0.
3.	Показать, что преобразование, рассмотренное в примере
п. 1, не обладает свойством перемешивания.
4.	Показать, что преобразование Т есть перемешивание в том
и только том случае, когда для любых двух случайных величин
£ и T] с М^<оо, Мт]2 < со
М$ (Тпы) т] (со) Mg (со) Мт] (со),	п->-эо.
§ 3. Эргодические теоремы
I. Теорема 1 (Биркгоф и Хинчин). Пусть Т — сохраняющее
меру преобразование и | £ (со) — случайная величина с М । £ | < оо.
Тогда (Р-л. н.)
п — 1
Пт| У g(T*co) = MQ|^).	Н)
Если к тому же Т эргодично, то (Р-п. н.)
п — 1
Приводимое ниже доказательство существенно опирается на
следующее предложение, простое доказательство которого было
найдено_А. Гарсиа (1965).
Лемма (максимальная эргодическая теорема). Пусть Т —
сохраняющее меру преобразование, g — случайная величина с М | £ | <
<оэ «
(со) = £ (СО) -н (Тео) + ... + £ (Т^со),
Mk (со) = max {О,	(со), .... Sft(co)}.
Тогда для любого п Ss 1
М [5 (м) I {мп > 0} (со)]	0.
Доказательство. Если п^/г, то Мп(Т(о) ^Sk (Тео) и,
значит, | (со) ф- Мп (Тео) 5s £ (со) ф- Sft (Тео) = Sft+1 (со). Так как.
§ 3. ЭРГОДИЧЕСКИЕ ТЕОРЕМЫ
397
очевидно, что g (со) St (св) — Мп (Ты), то
£ (со) 5= max {Sj (со), ... , S„ (со)} — Мп (Тсо).
Поэтому
М[^(со)/рИп>о}(«)}-ЭгМ(тах(51(со), ... , S„ (со)) - Мл (Тео)).
Но на множестве {Л4л>0} max (S1( ..., S„) = Mn. Следовательно,
М [5 (со) 1{Мп >0} (<о)] Л М ](Л4„ (со) — Мп (Ты)) 1{мп «о> >о}|
5= М {Л1„ (со) — Мп (Тео)} = О,
так как, если Т — сохраняющее меру преобразование, то МЛ4Л (со) —
=-- МЛД (Тео) (задача 1 из § 1).
Лемма доказана.
Доказательство теоремы. Будем предполагать
М (£ j е7) = 0 (в противном случае от Н надо перейти к | — М (| I <&)).
__ С
Пусть Tj = lim—" и r] = lim-^-. Для доказательства достаточно
установить, что (Р-п. н.)
О гс г| -5 тр-г: 0.
Рассмотрим случайную величину i| = т] (со). Поскольку rj (со) = f) (Тсо),
то т] инвариантна и, следовательно, для каждого е > 0 множество
Ае = {f] (со) > е} также является инвариантным. Введем новую
случайную величину
1	.* (со) = (£(“) - е) 1А& (со),
и пусть
S£(co) (со) + ...+ £* (T^ico), ЛН (со) = max (0, 5?,..., S*).
Тогда, согласно лемме для любого п2э1,
Но при п -> со
f Sb 1
Ш*>0} = 1 max >0И (sup SI > 01 = ]sup ---> 0} =
11	< k < n	J ч > i я
= / sup ~ > el fl Ae = АЁ,
U>i K )
где последнее равенство следует из того, что sup	а /1г--=
1 й
= {со: т) > е}.
Далее, М |	| ==С М | £ | + е. Поэтому по теореме о мажорируе-
мой сходимости
О^М[£*/{Л1*>О}]->МН*/Л].
398
ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Итак,
о < м [g*/xe] = м [(I - 8) /де] = М [^де] - 8Р (ЛЕ) =
=м [М (g И) /де] - 8Р (Ле) = - 8Р (Л8),
откуда Р(ЛЕ) = 0 и, значит, Р (rj ==^ 0) = 1.
Аналогично, рассматривая вместо g(co) величины —g (со), най-
дем, что
lim f = — lim — = — т]
\ п 1	----п -!
и Р(—т)	0) = 1, т. е. Р(т]5=0) = 1. Тем самым 0 < т) С rf-C 0
(Р-п. н.), что и доказывает первое утверждение теоремы.
Для доказательства второго утверждения достаточно заметить,
что поскольку М (g | <=/) — инвариантная случайная величина, то
в эргодическом случае M(g|e/) = Mg (Р-п. н.).
Теорема доказана.
Следствие. Сохраняющее меру преобразование Т эргодично
в том и только том случае, когда для любых Л,
п
г 1
lim —
п
k = 0
Р (Л П T-kB) = Р (Л) Р (В).
(3)
Для доказательства эргодичности Т положим в (3) Л = В е <&.
Тогда А\\Т~кВ = В и, значит, Р(В) = Р2(В), т. е. Р (В) — 0 или 1.
Обратно, пусть Т эргодично. Тогда, применяя (2) к случайной
величине g = /в (со), где Ве/, найдем, что (Р-п. н.)
п- 1
ИтД 2 7г-*в(ю) = Р(5).
" А = 0
откуда, интегрируя обе части по множеству Ле/ и используя
теорему о мажорируемой сходимости, получаем требуемое соотно-
шение (3).
2.	Покажем теперь, что в условиях теоремы 1 в (1) и (2)
имеет место не только сходимость почти наверное, но и в сред-
нем. (Этот результат будет использован далее в доказательстве
теоремы 3.)
Теорема 2. Пусть Т — сохраняющее меру преобразование и
g = g (со) — случайная величина с М | g | < оо. Тогда
п— 1
М|4	(4)
£ = 0
§ 3. ЭРГОДИЧЕСКИЕ ТЕОРЕМЫ	399
Если к тому же Т эргодично, то
П—1
м|тг 2 ^(Р®)-М~Н0, n->co- (5)
4 = 0
Доказательство. Для всякого е>0 можно найти такую
ограниченную случайную величину т] (IЛ (®) I Af), что М | £ — т] |
=sSe. Тогда
п — 1	п—1
МИ 21(т,м-маи)|^м|1 2 (Н7,м-'пгм)|+
6=0	k=0
п- 1
+ м|-±- 2 h-м(пИ)| + м; мю-м(пИ)(6)
4 = 0
Поскольку | г] | М, то по теореме о мажорируемой сходимости
и в силу (1) находим, что второй член в правой части (6) стремится
к нулю при п -> оо. Что же касается первого и третьего членов,
то каждый из них меньше или равен е. Поэтому для достаточно
больших п левая часть в (6) меньше 2е, что и доказывает (4).
Наконец, если Т эргодично, то (5) следует из (4) и того замеча-
ния, что М(£|<^) = М£ (Р-п. н.).
Теорема доказана.
3.	Перейдем теперь к вопрос}' о справедливости эргодической
теоремы для стационарных (в узком смысле) случайных последо-
вательностей Е = (ЕП	заданных на некотором вероятностном
пространстве (й, eF, Р). Вообще говоря, на (й, аГ, Р) может и
не существовать сохраняющее меру преобразование, так что
непосредственное применение теоремы 1 невозможно. Однако в § 1
уже отмечалось, что можно построить (координатное) вероятност-
ное пространство (й, aF, Р), случайную последовательность £ =
= (gj, Е2, ...) и сохраняющее меру преобразование f такие, что
L(&) = |1(T-1со) и по распределению | и ( совпадают. Поскольку
такие свойства, как сходимость почти наверное и в среднем,
определяются лишь распределениями вероятностей, то из сходи-
п
мости ~ fi (Т4-1®) (Р-п. н. и в среднем) к некоторой случай-
4=1
п
ной величине г) следует, что ~ (со) также сходятся (Р-п. н.
4=1	d
и в среднем) к некоторой случайной величине т) такой, что т) = г).
Из теоремы 1 следует, что если l9l||1|<oo, то rj = М (^г ] <=SQ,
4 00
ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где ^ — совокупность инвариантных множеств (М — усреднение
но мере Р). Опишем теперь структуру величины т).
Определение 1. Множество <4е/ будем называть инва-
риантным по отношению к последовательности g, если найдется
такое множество В ^33 (R°°), что для любого nc=sl
А — {со: (£„, Ёл+ц
Совокупность таких инвариантных множеств образует ст-алгебру,
которую обозначим
Определение 2. Стационарная последовательность S назы-
вается эргодической, если мера любого инвариантного множества
принимает лишь два значения 0 или 1.
Покажем теперь, что исследуемая случайная величина г] мс жет
быть взята равной	В самом деле, пусть А Тогда
п — 1
поскольку М | ~ 2 ck — Л I -> 0, то
k= 1
п
~ 2 JndP-	(7)
6 = 1 А	А
Пусть	таково, что Л = {со: (|*, £*+|, ...)еВ} для
любого 1. Тогда в силу стационарности |
h*dp= s ^dp= $ ^dP = Uirfp-
А	{<о:(^ЛА+1.	{«: rg„ ...leBJ	A
Поэтому из (7) следует, что для любого А е г7=
= $ т] с/Р,
А	А
что означает (см. § 7 гл. II), что ц = М (g, I э76). При этом
М (gx | <^) = М£1( если последовательность g является эргодической.
Итак, доказана следующая
Теорема 3 (эргодическая теорема). Пусть g = (£i, |2, ...) —
стационарная (в узком смысле) случайная последовательность
с М | | < оо. Тогда (Р-п. н. и в среднем)
п
J ^(®) = М(^И0.
*=i
Если к тому же g — эргодическая последовательность, то
(Р-п. н. и в среднем)
п
liml ^) = M^.
*=i
§ 3. ЭРГОДИЧЕСКИЕ ТЕОРЕМЫ
401
4.	Задачи.
1.	Пусть £ = (£,, ?2,	—гауссовская стационарная последо-
вательность с М£„ = 0 и ковариационной функцией R (п) =
Показать, что условие /?(«)-> О является достаточным для эрго-
дичности
2.	Показать, что всякая последовательность £ = (gj, ?2, ...),
состоящая из независимых одинаково распределенных случайных
величин, является эргодической.
3.	Показать, что стационарная последовательность £ эр годична
в том и только том случае, когда для любого В	k —
= 1, 2, ...,
п
V Mb, .... W -> Р ((ёь	(Р-п. н.).
Г Л А В A VI
СТАЦИОНАРНЫЕ (В ШИРОКОМ СМЫСЛЕ) СЛУЧАЙНЫЕ
ПОСЛЕДОВАТЕЛЬНОСТИ. /АТЕОРИЯ
§ 1. Спектральное представление ковариационной функции
1. Согласно определению, данному в предшествующей главе,
случайная последовательность t =	=2, •••) называется стацио-
нарной в узком смысле, если для любого множества Вей (7?°°)
и любого п 1
Р {(U U ...) В} = Р {(Un U2, • • ) е В}.	(1)
Отсюда, в частности, вытекает, что если М^Ссхэ, то не за-
висит от п:
Mg„ = MU	(2)
а ковариация cov (UmU = М (Um - MUm) (£я-MU зависит
лишь от т:
COV (Um, U = cov (Um, U	(3)
В настоящей главе будут исследоваться так называемые ста-
ционарные в широком смысле последовательности (с конечным
вторым моментом), для которых условие (1) заменяется (более
слабыми) условиями (2) и (3).
Рассматриваемые случайные величины будут предполагаться
определенными для raeZ = {0, ±1, и к тому же комплексно-
значными. Последнее предположение не только не усложняет тео-
рию, но и наоборот — делает ее более изящной. При этом, разу-
меется, результаты для действительных случайных величин легко
могут быть получены в качестве частного случая из соответствую-
щих результатов для комплексных величин.
Пусть № = Я2(Й, оГ, Р) — пространство (комплекснозначных)
случайных величин 5 = а + Ф, а, ₽ е R, с М | £ |2 < оо, где lU^4
= а2 + Р2. Если £, т] е Н2, то положим
(£, t]) = MU,
(4)
§ 1. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
403
где fj = a —i0-комплексно-сопряженная величина к r]=a4-ip и
Ш1 = (£. £)1/2-	(5)
Как и для действительных случайных величин, пространство
№ (точнее, пространство классов эквивалентных случайных вели-
чин; ср. с §§ 10 и 11 из гл. II) со скалярным произведением
(£, г]) и нормой || £|| является полным. В соответствии с термино-
логией функционального анализа пространство Я2 называется
унитарным (иначе — комплексным) гильбертовым пространством
(случайных величин, рассматриваемых на вероятностном прост-
ранстве (Q, аТ", Р)).
Если £, г] е Н2, то их ковариацией назовем величину
cov (£, г|) = М (£ — М£) (т| — Мт]).	(6)
Из (4) и (6) следует, что если М£ = Mr) = 0, то
cov (£, Т]) = (В, п).	(7)
Определение 1. Последовательность комплексных случай-
ных величин £ = (£„)„e2 с М|£„|2<те, п е Z, называется ста-
ционарной (в широком смысле), если для всех nsZ
М£„ = М£0,
COV (£ft+„, £*) = cov(£n, £0), k (= Z.
Для простоты изложения в дальнейшем будем предполагать
М£о = 0. Это предположение не умаляет общности, но в то же
самое время дает возможность (согласно (7)), отождествляя кова
риацию со скалярным произведением, применять методы и резуль-
таты теории гильбертовых пространств.
Обозначим
R (п) = cov (£„, £0), neZ,	(9)
и (в предположении R (0) = М | £012 ¥= 0)
P(") = W’	(10)
Функцию R (п) будем называть ковариационной функцией, а р (п) —
корреляционной функцией (стационарной в широком смысле) по-
следовательности £.
Непосредственно из определения (9) следует, что ковариацион-
ная функция 7?(п) является неотрицательно-определенной, т. е.
для любых комплексных чисел ах, ..., ат и i,, ..., ^eZ, m^l
£ afljRiti-tj)^.	(11)
i.	i=i
404
ГЛ VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
В свою очередь отсюда (или непосредственно из (9)) нетрудно
вывести (задача 1) следующие свойства ковариационной функции:
R(0)=a0, /?(-n) = RW, | R (п) | R (0),	(12)
\R(ri) — R (m) |2 2R (0) [/? (0) - Re R (n - m)].
2.	Приведем некоторые примеры стационарных последователь-
ностей | =	(В дальнейшем слова «в широком смысле»,
а также указание на то, что п е Z, часто будут опускаться.)
Пример 1. Пусть =	g(n), где Mgo = O, М^=1 и§ =
~ g\n) — некоторая функция. Последовательность g = (|п) будет
стационарной в том и только том случае, когда функция
g^k^njg^k) зависит лишь от п. Отсюда нетрудно вывести, что
найдется такое Z, что
g(n) = g (0)егЧ
Таким образом, последовательность случайных величин
является стационарной с
R (п) = | g (0) |2 ei7ri.
В частности, случайная «константа» = с0 образует стационар-
ную последовательность.
Пример 2. Почти периодическая последовательность. Пусть
?„= 2 г^п,	(13)
* = 1
где гх, ..., ?№ортогональные (Mz,?/ = 0, i^j) случайные вели-
чины с нулевыми средними и М j zk |2 = а* > 0; — л < л, & =
= 1.....(V;	i =£= j. Последовательность | = (Ej„) является
стационарной с
N
R(n) =	(14>
k= 1
В обобщение (13) предположим теперь, что
ОО
Ел= 2	(15)
k—— со
где величины zk, k<=^, обладают теми же свойствами, что и
СО
в (13). Если предположить, что У, о*<;оо, то ряд в правой
k =—ОО
§ 1 СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
405
части формулы (15) сходится в среднеквадратическом смысле и
СО
R(n) =	О0)
k —— оо
Введем функцию
F&) = at	(17)
{*:
Тогда ковариационная функция (16) может быть записана в виде
интеграла Лебега — Стилтьеса
Я(п) = $ e'^dF(X).	(18)
— Л
Стационарные последовательности (15) образованы как суммы
«гармоник» с «частотой» Xft и случайными «амплитудами» г*
«интенсивности» a| = Mlz*j2. Таким образом, знание функции F (X)
дает исчерпывающую информацию о структуре «спектра» после-
довательности £, т. е. о величине интенсивностей, с которыми те
или иные частоты входят в представление (15). Согласно (18) зна-
ние функции F (X) полностью определяет также и структуру ко-
вариационной функции R (п).
С точностью до постоянного множителя (невырожденная) функ-
ция F (X) является, очевидно, функцией распределения, причем
в рассматриваемом примере эта функция кусочно-постоянна.
Весьма примечательно, что ковариационная функция любой ста-
ционарной в широком смысле случайной последовательности может
быть представлена (см. теорему в п. 3) в виде (18), где F (X) —
некоторая (с точностью до нормировки) функция распределения,
носитель которой сосредоточен на множестве [— л, л), т. е.
F (X) = 0 для X < — л и F (X) = F (л) для X > л.
Результат об интегральном представлении ковариационной
функции, сопоставленный с (15) и (16), наводит на мысль, что
произвольная стационарная последовательность также допускает
«интегральное» представление. Так оно на самом деле и есть, что
будет показано в § 3 с помощью так называемых стохастических
интегралов по ортогональным стохастическим мерам (§ 2).
Пр и м е р 3. Белый шум. Пусть е = (е„) — последовательность
ортонормированных случайных величин, Ме„ = 0, Ме,ё; = 6гу, где
— символ Кронекера. Понятно, что такая последовательность
является стационарной и
(1, п = 0,
406
ГЛ VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Отметим, что функция R(n) может быть представлена в виде
7?(п)=	(19)
— л
где
л
F(X)= j f(v)dv, f(ty = ~, -л^Х<л.	(20)
— Л
Сравнение «спектральных» функций (17) и (20) показывает,
что если в примере 2 «спектр» был дискретным, то в настоящем
примере он оказался абсолютно непрерывным с постоянной «спект-
ральной» плотностью /(Л)=1/2л, В этом смысле можно сказать,
что последовательность е = (е„) «составлена из гармоник, интен-
сивность которых одна и та же». Именно это обстоятельство и
послужило поводом называть последовательность е = (е„) «белым
шумом» по аналогии с белым цветом, составленным из различных
цветов одной и той же интенсивности.
Пример 4. Последовательности скользящего среднего. Отправ-
ляясь от белого шума е = (еп), введенного в примере 3, образуем
новую последовательность
СО
Ел= £ aken-k,	(21)
&=—СО
со
где ак — комплексные числа такие, что У, |аА|2<со. В силу
£=—-со
равенства Парсеваля
COV	“ COV £q) =
£ = —co
так что | ==(£*) является стационарной последовательностью, ко-
торую принято называть последовательностью, образованной
с помощью (двустороннего) скользящего среднего из последователь-
ности e = (eft).
В том частном случае, когда вс - ak с отрицательными индек-
сами равны нулю, т. е.
СО
%>п — У Gk&n-k)
k——00
последовательность £ = (%п) называют последовательностью одно-
стороннего скользящего среднего. Если к тому же все ah = 0 при
kz>p, т. е. если
^Л == ~Ь	~Ь  • • ~Ь &р&п-р>	(22)
§ 1 СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
407
то 5 = (In) называется последовательностью скользящего среднего по-
рядка р.
Можно показать (задача 5), что для последовательности (22)
Я
ковариационная функция R(ri) имеет вид R(n) — J eiKnf (л) dK,
— Л
где спектральная плотность равна
f(A) = ^|P(^)P	(23)
с
Р (г) = а0 ф- arz ф-... 4- apzp.
Пример 5. Авторегрессионная схема. Пусть снова е = (ея) —
белый шум. Будем говорить, что случайная последовательность
| = (£я) подчиняется авторегрессивной схеме порядка q, если
In + &11п-1 + • • • + bq^n-q = еп-	(24)
При каких условиях на коэффициенты blt bq можно ут-
верждать, что уравнение (24) имеет стационарное решение? Чтобы
ответить на этот вопрос, рассмотрим сначала случай 7=1:
In = aln-i ф- 8«>	(25)
где а =— bi- Если | а | < 1, то нетрудно проверить, что стацио-
нарная последовательность |= (|я) с
ОО
L = 2	(26)
/=о
является решением уравнения (25). (Ряд в правой части (26) .схо-
дится в среднеквадратическом смысле.) Покажем теперь, что
в классе стационарных последовательностей g = (|я) (с конечным
вторым моментом) это решение является единственным. В самом
деле, из (25) прследовательными итерациями находим, что
k-\
In = ag„-i + 8Я = а [а£„_2 ф- ф- ея =... = а^я_* ф- У, alzn-j.
_ -/=0
Отсюда следует, что
[ь—х
In- У cxJen-j
i=o
2
= M[aM = a2‘M&_t =
= а2"МУ->0,
k -> co.
Таким образом, при | а | < 1 стационарное решение уравнения (25)
существует и представляется в виде одностороннего скользящего
среднего (26).
408 ГЛ VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Аналогичный результат имеет место и в случае произвольного
если все нули полинома
Q(a) = 14-^4-... + ^	(27)
лежат вне единичного круга, то уравнение авторегрессии (24)
имеет, и притом единственное, стационарное решение, представи-
мое в виде одностороннего скользящего среднего (задача 2). При
этом ковариационная функция R(n) представима (задача 5) в виде
л	Л
/?(«) = J еЛп dF (к), F(k} —	(28)
— л	—л
где
= <29)
В частном случае д=1 из (25) легко находим, что МЕо = О,
и
7? (п) = -j—-—-,	n >-Q
'	1 — । а /
(для п < 0 R (п) = R (— п)). При этом
1 1
f ) 2л | 1 — ае~‘'- |2
Пример 6. Этот пример иллюстрирует возникновение авто-
регрессионных схем при построении вероятностных моделей в гидро-
логии. Рассмотрим некоторый водный бассейн.(например, Каспийское
море) и постараемся построить вероятностную модель, описываю-
щую отклонения уровня в этом бассейне от среднего значения,
вызванные колебаниями в стоке и испарением с водной поверх-
ности.
Если за единицу измерения взять один год и через Нп обозна-
чить уровень в бассейне в n-й год, то получим следующее уравне-
ние баланса:
Hn+l = H„-KS(H„) + ^n+l,	(39)
где через £п+1 обозначена величина стока в(п4-1)-й год, S (Н) —
величина поверхности водного бассейна на уровне Н, а К — коэф-
фициент испарения.	_	_
Обозначим через = Нп — Н отклонение от среднего уровня Н
(который находится по результатам многолетних наблюдений) и
предположим, что S (Н) = S (Н)+с(Н — Н). Тогда из уравнения
§ 1 спектральное представление
409
баланса следует, что величины £„ подчиняются уравнениям
^л+1 =	"4~ £д+1	(3d )
с а = 1 — сК, еп = Хл — KS (Н). Случайные величины е„ естественно
считать имеющими нулевые средние и в первом приближении
некоррелированными и одинаково распределенными. Тогда, как
это было показано в примере 5, уравнение (31) (при |а| < 1) имеет
единственное стационарное решение, которое следует считать ре-
шением, описывающим установившийся (с годами) режим колеба-
ний уровня в рассматриваемом бассейне.
В качестве тех практических выводов, которые можно сделать
из (теоретической) модели (31), укажем на возможность построения
прогноза отклонений уровня на следующий год по результатам
наблюдений за настоящий и предшествующий годы. А именно, ока-
зывается (см. далее пример 2 в § 6), что оптимальной (в средне-
квадратическом смысле) линейной оценкой величины £лц по зна-
чениям ..., £л_1( служит просто величина
Пример 7. Смешанная модель авторегрессии и скользящего
среднего. Если предположить, что в правой части уравнения (24)
вместо ел стоит величина пое„ +	+ ••• +я-рея_р, то получим
так называемую смешанную модель авторегрессии и скользящего
среднего порядка (р, q):
Вл Ч~ Ч~ • • • + bq^n—q ~	"4" • * • “F @р&п-р.	(32)
При тех же предположениях относительно нулей полинома Q (г),
что и в примере 5, далее показывается (следствие 2 к теореме 3
§ 3), что уравнение (32) имеет стационарное решение £ = (£„), для
Л
которого ковариационная функция равна 7?(п) = $ e‘kndF(k)
— л
К
с F(Z)= § f(y)dv, где
— л
fW= ' .|Д<с^г
2л I Q(e л) |
3.	Теорема (Герглотц). Пусть R (п) — ковариационная функ-
ция стационарной (в широком смысле) случайной последователь-
ности с нулевым средним. Тогда на ([—л, л), «£??([—л, л)))
найдется такая конечная мера F = F{B), Be&4([—л, л)), что
для любого п е Z
Я(п) =	e'^F(dA).	(33)
— л
410
ГЛ VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Доказательство. Положим для и ле[—л, я]
N N
2 2.R e~lkKeilK-
Л=1z=i
В силу неотрицательной определенности 7? (л) функция fN (X) неот-
рицательна. Поскольку число тех пар (k, I), для которых k — 1 — т,
есть N — \т\, то
Av(X) = -^ 2	(35)
| т | < N
Пусть
Fn (В) = $ fN (X) dX, BeeFS ([— я, я)).
в
Тогда
J ea”Fjv(dX) = $ W dX = !	\n\<N’ (36)
— Л	— л	I 0,	|n I Л7.
Меры Fn, Nf-\, сосредоточены на интервале [—я, я] и
Fn ([— я, я]) = /? (0) < оо для любого N 1. Следовательно,
семейство мер {Тд,}, M2:sl, плотно, и по теореме Прохорова
(теорема 1 §2 гл. III) существуют подпоследовательность {Nk} =
<= {Л7} и мера F такие, что FNk^BF. (Понятия плотности, отно-
сительной компактности, слабой сходимости и теорема Прохорова
очевидным образом с вероятностных мер переносятся на любые
конечные меры.)
Тогда из (36) следует, что
f eiZ-nF(dX) = lim \ eiKnFN. (dX) = R (ri).
— л	03 — л
Построенная мера F сосредоточена на интервале [— я, я]. Не
изменяя интеграла jj eiXnF (dX), можно переопределить меру F,
перенеся «массу» F({n}), сосредоточенную в точке я, в точку — я.
Так полученная новая мера (обозначим ее снова через F) будет
уже сосредоточенной на интервале [— я, я).
Теорема доказана.
Замечание 1. Меру F = F (В), участвующую в представлении
(33), называют спектральной мерой, а функцию F (%) = F ([—я, X]) —
спектральной функцией стационарной последовательности с кова-
риационной функцией R (п).
§ 1. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
411
В рассмотренном выше примере 2 спектральная мера оказа-
лась дискретной (сосредоточенной в точках Z*, k = 0, ±1,...).
В примерах 3—6 спектральная мера абсолютно непрерывна.
Замечание 2. Спектральная мера F однозначно определяется
по ковариационной функции. В самом деле, пусть Ft и F2 —две
спектральные меры и
§ е‘'-пР} (dh) = J ei7-nF2 (<Д.), п е Z.
— Л	— л
Поскольку любая ограниченная непрерывная функция g (%) может
быть равномерно приближена на [— л, л) тригонометрическими
полиномами, то
$ g(K)F1(dK) = J g(X)F3(d%),
л	“** л
откуда (ср. с доказательством в теореме 2 § 12 гл. II) следует,
что F1(B) = F2 (В) для любых Ве^'('[-л, л)).
Замечание 3.. Если g = (£„) —стационарная последователь-
ность, состоящая из действительных случайных величин то
/?(«)= cosAnF(d%).
— л
4.	Задачи.
1.	Вывести свойства (12) из (11).
2.	Доказать, что уравнение авторегрессии (24) имеет стацио-
нарное решение, если все нули полинома Q(z), определенного
в (27), лежат вне единичного круга.
3.	Доказать, что ковариационная функция (28) допускает пред-
ставление (29) со спектральной плотностью, задаваемой форму-
лой (30).
4.	Показать, что последовательность £ = (£„) случайных величин
£„= У, (aftsinA.ftn + MosM)
k = i
с действительными случайными величинами и pft может быть
представлена в виде
СО
£«= £ zke^n
k= — <X>
С Zft = y (₽й —faft) для ^>0 и zk = 2-k,	= — для k<0.
5.	Показать, что для последовательностей (22) и (24) их
спектральные функции имеют плотности, задаваемые соответственно
формулами (23) и (29).
412
ГЛ VI СТАЦИОНАРНЫЕ- СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
6.	Показать, что если £ | R (п) | < оо, то спектральная функ-
ция F (X) имеет плотность /(X), определяемую формулой
ОО
2 e'iKn^-
П — — СО
§ 2. Ортогональные стохастические меры
и стохастические интегралы
1. Как уже отмечалось в § 1, интегральное представление
ковариационной функции и пример стационарной последователь-
ности
СО
ln= S	(1)
k — -=- 00
с попарно ортогональными случайными величинами г*, k е Z,
наводит на мысль о возможности представления произвольной
стационарной последовательности в виде соответствующего инте-
грального обобщения суммы (1).
Если положить
Z(X) = 2	z*'	(2>
{* Ч<Р)
то (1) запишется в виде
ОО
ln= S ^nAZ(Xj,	(3)
k = — оа
где AZ (X*) s= Z (X*) - Z (kk —) = zh.
Правая часть (3) напоминает интегральную сумму для «инте-
л
грала типа Римана — Стилтьеса» $ еЛп dZ (X). Однако в рассмат-
— л
риваемом нами случае функция Z (X) является случайной (зави-
сящей также и от со). При этом выясняется, что для интегрального
представления произвольной стационарной последовательности при-
ходится привлекать к рассмотрению и такие функции Z (X), кото-
рые при каждом со имеют неограниченную вариацию. Поэтому
л
простое понимание интеграла eiKn dZ (X) как интеграла Римана —
— л
Стилтьеса для каждого со становится неприемлемым.
2. По аналогии с общей концепцией интегралов Лебега, Лебега—
Стилтьеса и Римана—Стилтьеса (§ 6 гл. II) рассмотрение стоха-
стического случая начнем с определения стохастической меры.
Пусть (П, sF, Р) — вероятностное пространство, Е — некоторое
множество с алгеброй ё0 его подмножеств и сг-алгеброй ё.
§ 2 ОРТОГОНАЛЬНЫЕ СТОХАСТИЧЕСКИЕ МЕРЫ
413
Определение 1. Комплекснозначная функция Z (А) =
= Z(со; А), определенная для ае Q и Ае§01 называется конечно-
аддитивной стохастической мерой, если:
1) для любого Ае?о М j Z (А) |2 < оо;
2) для любых двух непересекающихся множеств Дх и Д2 из £0
Z(A1 + A2) = Z(A1) + Z(A2)	(Р-п.н.).	(4)
Определение 2. Конечно-аддитивная стохастическая мера
Z (А) называется элементарной стохастической мерой, если для
любых непересекающихся множеств А1; Д2, ... из <£0 таких, что
д= 2 л„е7с,
1
м
Z(A)- j] Z(A*)
k = 1
2
->о,
(5)

Замечание 1. В данном определении элементарной стоха-
стической меры, заданной на множествах из So, предполагается,
что ее значения принадлежат гильбертову пространству Н2 =
= //2(Q, е7, Р), а счетная аддитивность выполнена в средне-
квадратическом смысле (5). Существуют и другие определения
стохастических мер, в которых отсутствует требование существо-
вания второго момента, а счетная аддитивность понимается, напри-
мер, в смысле сходимости по вероятности или с вероятностью
единица.
Замечание 2. По аналогии с неслучайными мерами можно
показать, что для конечно-аддитивных стохастических мер условие
(5) счетной 'аддитивности (в среднеквадратическом смысле) экви-
валентно непрерывности (в среднеквадратическом смысле) в «нуле»:
M)Z(A)|2->0, А„|0, Але^0.
(6)
В классе элементарных стохастических мер особо важны меры,
являющиеся ортогональными в смысле следующего определения.
Определение 3. Элементарная стохастическая мера Z (А),
А е й’о, называется ортогональной (или мерой с ортогональными
значениями), если для любых двух непересекающихся множеств
Aj и Д2 из
MZ(AJZ(A^ = 0,	(7)
или, что эквивалентно, если для любых At и А2 из (f0
MZ(A1)Z(A2) = M|Z(A1nA2)|2.	(8)
Обозначим
т (А) = М | Z (А) |2, А е £0.	(9)
414
ГЛ, VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Для элементарных ортогональных стохастических мер функция
множеств m = m(A), Ае^0, является, как легко видеть, конечной
мерой и, следовательно, по теореме Каратеодори (§ 3 гл. II) она
может быть продолжена на (Е, %). Так полученную меру будем
снова обозначать через т = т(Д) и называть структурной функ-
цией (элементарной ортогональной стохастической меры Z = Z(A),
А е= £0)-
Теперь естественным образом возникает следующий вопрос:
раз функция множеств т = т(Д), определенная на (Е, So), допу-
скает продолжение на (Е, S), где $ = а(£0), то нельзя ли эле-
ментарную ортогональную стохастическую меру Z = Z(A), Ле§0,
продолжить на множества А из S, причем так, чтобы М | Z (А) |2-=
= т (А), Де?.
Ответ на этот вопрос утвердительный, что вытекает из ниже-
следующих конструкций, приводящих в то же самое время и
к построению стохастического интеграла, необходимого для инте-
грального представления стационарных последовательностей.
' 3. Итак, пусть Z = Z (Д) — элементарная ортогональная стоха-
стическая мера, Д е £0, со структурной функцией т = т (Д), Де?.
Для каждой функции
=	(Ю)
принимающей лишь конечное число различных (комплексных) зна-
чений, определим случайную величину
^(7) = 2/^(Д,).
Пусть L2 = Л2 (Е,	т) — гильбертово пространство комплексно-
значных функций со скалярным произведением
<А g} = \f&)g&)rn(dK)
Е
и нормой = (/, /)1/2, а Я2 = Я2(Й, eF, Р)—гильбертово про-
странство комплекснозначных случайных величин со скалярным
произведением
(g, т]) = М£п
и нормой Ш! = (1, ?)1/2-
Тогда очевидным образом для любых двух функций / и g
вида (10)
И(/), ^ (£)) = </. g)
и
И (Ж2 = 1ЛЧ IW)
§ 2 ОРТОГОНАЛЬНЫЕ СТОХАСТИЧЕСКИЕ МЕРЫ
415
Пусть теперь /е£2 и {/„} —функции типа (10) такие, что
И — fn II 0, п->со (существование таких функций следует из
задачи 1). Поэтому
IH(/n)-^(/m)!l = li/n-/m’ + 0, п, т-^-со.
Следовательно, последовательность {е7 (/„)} фундаментальна в сред-
неквадратическом смысле, и в силу теоремы 7 из § 10 гл. II
найдется случайная величина (обозначим ее <& (f)) такая, что
#(f)-=H2 и |И(/„)-^(/)|К0, п->оо.
Так построенная случайная величина sZ (/) определяется одно-
значно (с точностью до стохастической эквивалентности) и не
зависит от выбора аппроксимирующей последовательности {/„}•
Назовем ее стохастическим интегралом от функции f^L2 по
элементарной ортогональной стохастической мере Z и будем запи-
сывать
^(f) = $f(X)Z(dl).
Е
Отметим следующие основные свойства стохастического инте-
грала s7(/), непосредственно вытекающие из его конструкции
(задача 1). Пусть функции g, f, fn^L2. Тогда
H(f), ^ &)) = </, g>;	(И)
И(/)М1Л;	(12)
^(п/ + ад = «^(/) + ^(£)	(Р-п.н.),	(13)
где а и b — константы;
И (fn) ~^(f) 11 + 0,	(14)
если ||/л —Д + 0, п->оо.
4. Используем определенный выше стохастический интеграл
для продолжения элементарной ортогональной стохастической меры
Z(A), Д е So, на множества из % = (у(£0).
Поскольку мера т предполагается конечной, то функция
/д — 7д (Z) e= L2 для всякого А е Обозначим Z (Д) = s7 (/д). Ясно,
что для Д е й’о Z (Д) = Z (Д). Из (13) следует, что если Дх П Д2 = Ф,
Дх, Д2 е %, то
2(Д1 + Д2) = 2(Д1) + г(Д2) (Р-п.н.),
а из (12) вытекает, что
М|2(Д)|’ = /п(Д), Де§.
Покажем, что случайная функция множеств Z (Д), Д е
является счетно-аддитивной в среднеквадратическом смысле.
416
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
со
В самом деле, пусть Д|.е£ и Д = У, А*. Тогда
Ь = 1
п
2(Д)- 2 Z(A.) = ^fe),
/г = 1
п
где g«(Z) = /a(Z)- У /д (Z) = Z от (X).
k = 1	v; ьк
k = П 4- 1
Ho
/ ет \
M i^(g«)|2==!l£«li2 = m( У Д*1|0,	n->CX5,
k=n^\	'
n
T. e.	M|Z(A) — У Z (Д*) 12->0, n->oo.
k =i
Из (11) следует также, что для Aj П Да = Ф, Дх, Д2 е rS,
М2(Д1)2(Д2) = 0.
Итак, построенная случайная функция Z (Д), определенная
на множествах Д е является счетно-аддитивной в среднеква-
дратическом смысле и на множествах Де£0 совпадает с Z(A).
Будем называть Z(Д), Де^, ортогональной стохастической мерой
(являющейся продолжением элементарной ортогональной стоха-
стической меры Z (Д)) со структурной функцией т(Д), Де^',
а определенный выше интеграл 3 (/) = J f (Z) Z (dZ) — стохастиче-
Е
ским интегралом по этой мере.
5. Обратимся теперь к наиболее важному для наших целей
случаю (Е, &) = (R, <33 (R)). Как известно (§ 3 гл. II), всякая
конечная мера т = т(Д) на (R, <33 (R)) находится во взаимно-
однозначном соответствии с некоторой (обобщенной) функцией
распределения G = G (х), причем т (a, b] = G (b)—G (а).
Оказывается, нечто подобное справедливо и для ортогональных
стохастических мер. Введем
Определение 4. Совокупность (комплекснозначных) слу-
чайных величин {ZK}, ZeR, заданных на (Q,	, Р), назовем
случайным процессом с ортогональными приращениями, если
1)	M|Zx|2<oo, Ze«;
2)	для каждого Z е R
М [ ~	-*• О, Z„ | Z, Z„ е R;
3)	для любых ZJ<Z2<X3<Z4
М (Zx,* — Zi,) (Zxa — Z^J = 0.
§ 2 ОРТОГОНАЛЬНЫЕ СТОХАСТИЧЕСКИЕ МЕРЫ
417
Условие (3) является условием ортогональности приращений.
Условие 1) означает, что Zt^H2. Наконец, условие 2) носит тех-
нический характер и является требованием непрерывности справа
(в средчеквадратическом смысле) в каждой точке /. е/?,
Пусть Z = Z(A) — ортогональная стохастическая мера со струк-
турной функцией т = т (А), являющейся конечной мерой с (обоб-
щенной) функцией распределения G (X). Положим
ZX = Z (—оо, X].
Тогда М | Z? !2 = т (—оо, X] = G(X)<oo, М [Z^ — Z^ j2 = /n(X,, X] | О,
X, j X, и, очевидно, выполнено также условие 3). Таким образом,
пгстроенный процесс {Z?.} является процессом с ортогональными
приращениями.
С другой стороны, если {ZJ — такой процессе MiZ;J2 = G(X),
G(— оо) = 0, G(+oo)<oo, то положим для А = (п, Ь]
Z(\) = Z (b) - Z (а).
п	п
Пусть — алгебра множеств А = У, (ak, bk] и Z (А) = W М
4 = 1	4=1
Ясно, что
М | Z (А) |2 = т(А),
п
где т(А) = У [G (Ьк) — G («*)], и для непересекающихся интерва-
4=1
лов Aj = («х, и Д2 = (а2, &2]
MZ (Ai)Z(A2) = 0.
Таким образом, Z = Z(A), Ле(з0, является элементарной сто-
хастической мерой с ортогональными значениями. Функция мно-
жеств т = /п(Д), Ае()), однозначно продолжается до меры на
£ = o%)(R), и из предшествующих конструкций следует, что тогда
Z = Z (А), A е So, также можно продолжить на множестве А е S,
где $ = &(R), при этом М | Z (А) |2 = т (А), Де^(/?).
Тем самым между процессами {ZK}, leR, с ортогональными
приращениями и М j Z}_\2 = G (X), G(—oo) = 0, G(4-oo)<oo, и
ортогональными стохастическими мерами Z = Z(A), Ае^(/?), со
структурной функцией m = m(A) существует взаимно однозначное
соответствие, при котором
ZK = Z (—- оо, X], G (X) — т (— оо, X]
и
Z(a, b] = Zb — Za, т(а, b] = Gb — Ga.
.По аналогии с обозначениями, принятыми в теории интеграла
Римана—Стилтьеса, под стохастическим интегралом $f(X)dZx,
R
418
ГЛ. VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где {Zx} — некоторый процесс с ортогональными приращениями,
понимается стохастический интеграл § f (X) Z (<Д) по соответствую-
R
щей этому процессу ортогональной стохастической мере.
6.	Задачи.
1.	Доказать эквивалентность условий (5) и (6).
2.	Пусть функция / е L2. Используя результаты гл. 11 (тео-
рема 1 в § 4, следствие к теореме 3 § 6 и задачу 9 в § 3), дока-
зать, что найдется последовательность функций/л вида (10) таких,
что J/— /л||^-0, /г->оо.
3.	Установить справедливость следующих свойств ортогональ-
ной стохастической меры Z (А) со структурной функцией т (А):
М | Z (AJ - Z (Д2) |2 = т (Aj д Д2),
Z(A1\A2) = ^(A1)-Z(A1nA2) (Р-п. н.),
Z (Аа д А2) = Z (AJ + Z (А2) - 2Z (Aj 0 А2) (Р-п. н.).
§ 3.	Спектральное представление стационарных
(в широком смысле) последовательностей
1.	Если g = (In) —стационарная последовательность с М£л = 0,
neZ, то, согласно теореме из §1, найдется такая конечная
мера Е = Е(А) на ([—л, л), <^Э([—л, л))), что ковариационная
функция R (п) — cov (gft+n, Ik) допускает спектральное представление
R (п) = eAnF(dZ).	(1)
— Л
Следующий результат дает соответствующее спектральное пред-
ставление самой последовательности | = (E„), « eZ.
Теорема 1. Существует такая ортогональная стохастиче-
ская мера Z = Z(\), А<=.Д?([—л, л)), что для каждого «eZ
(Р-п. н.)
|л = $ e^Z(dK).	(2)
— Л
При этом М | Z (А) |2 = F (А).
Доказательство проще всего провести, опираясь на неко-
торые факты теории гильбертовых пространств.
Пусть L2(F) = L2(£, S, F) — гильбертово пространство комп-
лекснозначных функций, £ = [—л, л), £ — е%)([—л, л)), со ска-
лярным произведением
</,£> = I f&)g(K)F(dX)t	(3)
—Л
§ 3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 419
и Ц (F) — линейное многообразие (Ц (F) = L2 (F)), порожденное
функциями еп — еп(К), n^Z, где епСк) = еЛп.
Заметим, что поскольку £ = [—л, л) и мера F конечна, то
замыкание Ц(Р) совпадает (задача 1) с L2 (F):
LUF) = L2(F).
Пусть, далее, Ц (£) — линейное многообразие, порожденное слу-
чайными величинами %п, п е Z, и U(l) — его замыкание в сред-
неквадратическом смысле (по мере Р).
Установим между элементами Ц (F) и Ц (£) взаимнооднознач-
ное соответствие «*->», полагая
еп re Z,	(4)
и доопределяя для произвольных элементов (точнее — классов
эквивалентных элементов) по линейности:
.S	(о)
(здесь предполагается, что только конечное число комплексных
чисел ал отлично от нуля).
Отметим, что соответствие (5) корректно определено в том
смысле, что £апе„ = 0 почти всюду по мере F тогда и только
тогда, когда £алсл = 0 (Р-п. н.).
Так определенное соответствие ««->» является изометрическим,
т. е. сохраняющим скалярные произведения. В самом деле,
в силу (3)
<ел, ет>= e„(K)e~(X)F(dX) =
— л
= $ ^"-'n’F(d%)==/?(n-/n) = MUm = (gn, U
— Л
и аналогично
<2ал^л» £ $пеп) ~ (S S Рл?п)-	(6)
Пусть теперь г|ЕР©. Поскольку L2 (Е,) = Ц(£), то найдется
такая последовательность {г]л}, что т]„ е Ц (I) и |[т]л — т] || -> О,
п->оо. Следовательно, последовательность {т]л} фундаментальна
и, значит, таковой же является и последовательность функций
{/„}, где fn^Ua(F) и fn++T\n. Пространство L2(F) полно и, сле-
довательно, найдется такая функция f^L2(F), что ||/n —Л->-0.
Очевидным образом верно и обратное: если f е L2 (F) и Ц/ —/л||-*
->0, (ле LJ (F), то найдется такой элемент г] е L2 (£), что |т] —
->0, г]п<=Ц(1) и T}„*+fn.
До сих пор (изометрическое) соответствие ««->» было опреде-
лено лишь между элементами из Ц (£) и LJ (F). Доопределим его
420
ГЛ VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
по непрерывности, полагая f ц, где f и ц — рассмотренные выше
элементы Нетрудно проверить, что так установленное соответ-
ствие является взаимнооднозначным (между классами эквивалент-
ных случайных величин и функций), линейным и сохраняющим
скалярное произведение
Рассмотрим функцию /(Х) = /д(Х), где АЕа5([—л, л)), и
пусть Z (А) — элемент из L2 (£) такой, что /д (Л)Z (А). Ясно,
что ||/д (к) j2 = F (А) и, значит, М | Z (А) |2 = F (А). Далее, если A, Q
п	2
ПАг=0, то
-> 0, п ->
СО
-> оо, где А = У, А*
।
Тем самым совокупность элементов Z (А), ЛеТ;([—л, л)),
образу ei ортогональную стохастическую меру, по которой (со-
гласно § 2) можно определить стохастический интеграл
^(/)= $ f(Z)Z(dX), f^L2(F).
— л
Пусть f<=L2(F) и	Обозначим элемент г] через
(точнее говоря, выберем по одному представителю из соответствую-
щих классов эквивалентных случайных величин и функции).
Покажем, что (Р-п. н.)
^(/) = Ф(/).	(7)
Действительно, если
/(X) = l|aft/Afe(Z)	(8)
есть конечная линейная комбинация функций /дА(Х), Лк = (а/1, £>*],
то по самому определению стохастического интеграла (/) —
= S<ZfeZ(Aft), что, очевидно, равно ф(/). Таким образом, (7) спра-
ведливо для функций вида (8). Но если f^L2(F) и ||/„ — /||->С,
где f„ — функции вида (8), то|Ф(/„) — Ф (/) Н-0 иЦ^(/л) — g7(/)|H0
(согласно (2.14)). Значит, Ф(/) = е7(/) (Р-п. н.).
Возьмем функцию f(X) — eiKn. Тогда в силу (4) Ф (е1Хл) = £„ и,
Л
с другой стороны, & (е,Хл) е= $ e^Z (dF). Поэтому в силу (7)
(Р-п. н.)
5 e,KnZ(dX), n<=z.
— л
Теорема доказана.
Следствие 1. Пусть £ = (£„)—стационарная последователь-
ность, состоящая из действительных случайных величин g„, «eZ.
§ 3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 421
Тогда стохастическая мера Z = Z(A), участвующая в спектраль-
ном представлении (2), такова, что для любого Де^9([—л, л))
Z (А) = Z?= А),	(9)
где множество —А = {Х: —). еА1.
В самом деле, пусть f (X) = ^аке'к,г и	(суммы конеч-
ные). Тогда f «-* г) и, значит,
Л = 2а^-2а^=7(^Т).	(Ю)
Поскольку /д (X) Z (А), то из (10) вытекает, что /д (—/)<->/(А)
или /_Д(Х) «-> Z (А). Но, с другой стороны, /_д (/.)<-» Z(—А). Поэтому
Z(A) = Z(—А) (Р-п. н.).
Следствие 2. Пусть снова £ = (£„) —стационарная последо-
вательность, где ^„ — действительные случайные величины, и
Z (А) = Z, (А) 4-/Z.2 (А). Тогда для любых Aj и Д2
MZ1(A1)Z2(A2) = 0,	(11)
и если А, П А2 = ф, то
MZ1(A1)Zl(A2)=0, MZ8(A1)Z2(A2) = 0.	(12)
Действительно, поскольку Z (А) = Z (— А), то
Zj ( A) = Zj(A), Z2( А) = Z2 (А).	(13)
Далее, так как MZ (AJ Z (Д2) = М Z (Aj f| Д2) |2, то ItnMZ(A1)X
х Z (Д2) = 0, т. е.
MZ, (A J Z2 (А2) + MZ2 (AJ Z2 (А2) = 0.	(14)
Взяв вместо А2 интервал — Av находим отсюда
MZj (- А,) Z2 (Д2) + MZ2 (- AJ Zx (Д2) = 0,
что в силу (13) преобразуется к виду
MZX (AJ Z2 (Д2) - MZ2 (A,) Zx (А2) = 0.	(15)
Из (14) и (15) получаем равенство (11).
Если же Д2 П Аг = Ф> то MZ (A,) Z (Д2) = 0, откуда Re MZ (AJ X
xZ(A2)=0 и ReMZ(-—A,)Z(Д2) =0, что вместе с (13) очевид-
ным образом доказывает равенства (12).
Следствие 3. Пусть £ — (§„) — гауссовская последователь-
ность. Тогда для любого набора А,, .... Afe вектор (Zl(A1), ...
..., Zx(Afe), Z2(AJ, ..., Z3(Aft)) имеет нормальное распределение.
В самом деле, линейное многообразие Ц (£) состоит из (комп-
лекснозначных) гауссовских случайных величин т), ,т. е. вектор
(Ret], Imij) имеет гауссовское распределение. Тогда в соответ-
ствии с п. 5 § 13 гл., И замыкание £|(£) также состоит из гаус-
422
ГЛ VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
совских величин. Отсюда и из следствия 2 вытекает, что в слу-
чае гауссовской последовательности g = (g„) действительные и мни-
мые части ZL и Z2 независимы в том смысле, что любые наборы
случайных величин (Z1(A1), .... Zt (Aft)) и	..., Z2(Aft))
независимы между собой. Из (12) следует также, что для непе-
ресекающихся множеств Дь ..., А* случайные величины Z^AJ, ...
..., Z,-(Aft) независимы в совокупности, i=l, 2.
Следствие 4. Еслй g = (g„) — стационарная последователь-
ность действительных случайных величин, то (Р-п. н.)
g„ = J cosZ«Zi(dZ)+ J sinAnZ2(dX).	(16)
— л	—л
Замечание. Если {Zx}, ?.е[—л, л), —процесс с ортого-
нальными приращениями, соответствующий ортогональной стоха-
стической мере Z = Z (А), то спектральное представление (2) можно
(в соответствии с § 2) записать также в следующем виде:
g„= $ eiKndZK, neZ.	(17)
— Л
Пусть g = (g«) — стационарная последовательность со спектраль-
ным разложением (2), и пусть г] е L2 (g). Следующая теорема опи-
сывает структуру таких случайных величин.
Теорема 2. Если ц е L2 (g), то найдется такая функция
фе£2(Г|, что (Р-п. н.)
г] = § <р (X) Z (dK),	(18)
— л
Доказательство. Если
т)» = У, a£k,	(19)
(Л|
то в силу (2)
Т|.= U S	(2°)
— л \| А |	/
т. е. (18) выполнено с функцией
Ф„(Л)= 2	(21)
В общем случае, если т] е L2 (g), то найдутся такие величины т]д
типа (19), что |т] —'ПпК-»-О, п->со. Но тогда |фп — <рот| =»
:= Цт)я —т]т|-^-0, п, т-^-оо и, следовательно, последовательность
{ф„} фундаментальна в L2(F) и, значит, найдется такая функция
феЕ2(Е), что ||ф —фпЦ-^0, ц->оо.
§ 3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 423
В соответствии со свойством (2.14)	(<р„) — (<р) || -> 0, и так
как т]„ =	(ф„), то т] = <^(ф) (Р-п. н.).
Теорема доказана.
Замечание. Пусть //0 (£) и Но (F) — замкнутые линейные
многообразия, порожденные величинами и функциями еп соот-
ветственно для Тогда, если	то найдется такая
Л
функция	что (Р-п. н.) т)= § ф (X) Z (dn).
— л
3.	Формула (18) описывает структуру тех случайных величин,
которые получаются из |n, п е Z, с помощью линейных преобра-
зований, т. е. в виде конечных сумм (19) и их пределов в сред-
неквадратическом смысле.
Частный, но важный класс таких линейных преобразований
задается с помощью так называемых (линейных) фильпгроз.
Предположим, что в момент времени т на вход некоторой системы
(фильтр) подается сигнал хт, при этом реакция системы на этот
сигнал такова, что на ее выходе в момент времени п получается
сигнал h(n — пг)хт, где h = h(s), s е Z, — некоторая комплексно-
значная функция, называемая импульсной переходной функцией
(фильтра).
Таким образом, суммарный сигнал уп на выходе системы пред-
ставляется в виде
t/„= § h(n-rn)xm.	(22)
со
Для физически осуществимых систем значение выходного сиг-
нала в момент времени п определяется лишь «прошлыми» значе-
ниями входного сигнала, т. е. значениями хт при т^п. Есте-
ственно поэтому фильтр с импульсной переходной функцией h =
= h (s) назвать физически осуществимым, если h (s) = 0 для всех
s<0, иначе говоря, если
п	оо
Уп= 2] h(n ttij хт = h (ш) Хп-fn*	(23)
m~ — co	m=0
Важной спектральной характеристикой фильтра с импульс-
ной переходной функцией h является ее преобразование Фурье
Ф (X) = У (т),	(24)
оо
называемое частотной характеристикой фильтра.
Остановимся теперь на условиях сходимости рядов в (22) и
(24), о которых до сих пор ничего не говорилось. Предположим,
что на вход фильтра подается стационарная случайная последо-
424
ГЛ VI СТАЦИОНАРНЫЙ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
вательность £ = (£„), neZ, с ковариационной функцией R(n) и
спектральным разложением (2). Тогда, если
J1, h (k) R (k — Г) h (I) < oo,	(25)
k, I—— co
oo
то ряд h (n — m) Im сходится в среднеквадратическом смысле
k =— оо
и, следовательно, определена стационарная последовательность
Т] = Ы с
Ли ~ 2 h(tt = h (ш) ^п~т.
т= — оо	т — — со
В спектральных терминах условие (25), очевидно, эквивалентно
тому, что <р (A) е L2 (F), т. е.
§ | ф (X) |а F(dh) <z со.	(27)
— Л
При условии (25) или (27) из (26) и (2) находим спектраль-
ное разложение последовательности ту
Л
Т]„= 5 е,КлЧ> (F) Z (dZ).	(28)
— Л
Следовательно, ковариационная функция /?п(п) последовательно-
сти т] определяется формулой
Rn(n) = $ е‘^|ф (Z)|2F(dX).	(29)
— Л
В частности, если на вход фильтра с частотной характеристикой
Ф = ф (X) подается белый шум е = (е„), то на его выходе будет
получаться стационарная последовательность (скользящего сред-
него)
т)п = У, h(m)en~m	(30)
т ——со
со спектральной плотностью
/ч(*)=2^|ф(*) I2-
Следующая теорема показывает, что в определенном смысле
всякая стационарная последовательность со спектральной плот-
ностью есть последовательность, полученная с помощью скользя-
щего среднего.
§ 3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 425
Теорема 3. Пусть ц = (т]„) — стационарная последователь-
ность со спектральной плотностью f^(K). Тогда (быть может, за
счет расширения исходного вероятностного пространства) можно
найти такую последовательность е = (еп), являющуюся белым
шумом, и такой фильтр, что справедливо представление (30).
Доказательство. По заданной (неотрицательной) функции
/г, (Л) найдем такую функцию ср (X), что /П(А) = 2~ IФ W I2- Поскольку
Я
§ /Т| (Л) dK < со, то ср (X) е L2 (ц), где ц —мера Лебега на [—л, л).
— л
Поэтому ее можно представить в виде ряда Фурье (24) с h (т) =
Л
= 2л” е,пЛ(р (X) dK, причем сходимость понимается в том смысле,
— п
ЧТО
2
ср (1) — J1, e,kmh (т) dK -> 0,
п -> со.
Пусть
\т
т1„ = $ eAnZ (dK),
— Л
п е Z.
Наряду с мерой Z = Z (А) введем в рассмотрение не зависящую от нее
новую ортогональную стохастическую меру Z = Z(A) с M|Z(ft, b]|2 -
=	. (Возможность построения такой меры предполагает,
вообще говоря, что исходное вероятностное пространство является
дсстаточно «богатым».) Положим
Z (А) = <р® (К) Z (dK) + J [ 1 - <р® (%) <р (%)] Z (dK),
д	д
где
( а"1, если ft#=0,
а® = (
( 0, если « = 0.
Стохастическая мера Z = Z(A) является мерой с ортогональными
значениями, при этом для всякого А = (а, 6]
М | Z (А) |2 =
= 2Ц )ф®(Х)Уф(Х)ММ-^ J[1-(p®(%)<p(X)|2dX=-^l,
д	д
где | А | = b — а. Поэтому стационарная последовательность е ==
= (е„), я е Z, с
е„= $ etKnZ(dK)
— л
является белым шумом.
426 ГЛ. VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Заметим теперь, что
§ е'^Ф (X) Z (dX) = § (dX) = т]л	(31)
— Л	— л
и, с другой стороны, по свойству (2.14) (Р-п. н.)
£inK(f (%; Z (d%) = § eiKn( У, e~iKmh (m) j Z (dX) =
— л	— л \m = — co
co	Л	co
= У h(m) \ ^-^z (dZ) = У ft(m)en_m,
m— — oo	—л	m~ — oo
что вместе с (31) доказывает представление (30).
Теорема доказана.
Замечание. Если /л(^)>0 (почти всюду по мере Лебега),
то введение вспомогательной меры Z — Z (А) становится излишним
(поскольку тогда 1 — ф© (X) ф (%) — 0 почти всюду по мере Лебега)
и оговорка относительно необходимости расширения исходного
вероятностного пространства может быть опущена.
Следствие 1. Пусть спектральная плотность /п(Х)>0
(почти всюду по мере Лебега) и
/У\)=2^1<Р(М I2,
где
Ф (X) = У (k), У | h (k) |2< оо.
k=o	*=о
Тогда последовательность г] допускает представление в виде одно-
стороннего' скользящего среднего
Пл = У h (т) гп-т.
т = 0
В частности, пусть Р (г) = аа + агг +... + аргр — полином, не
имеющий нулей на множестве {г: |г| = 1}. Тогда последователь-
ность т] = (т]я) со спектральной плотностью
представима в виде
П« = йое» +	+ • • • + ареп_р.
§ 3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 427
Следствие 2. Пусть £ = (£п) — стационарная последователь-
ность с рациональной спектральной плотностью
XJv (v I
где Р (г) = а0 -ф -ф... -ф apzP, Q (г) = 1 -ф Ьгг +... -ф bqzT
Покажем, что если полиномы Р (г) и Q (г) не имеют нулей на
множестве {г: |г| = 1}, то найдется такой белый шум е = (е„),
что (Р-п. н.)
“1“	"4” * • • Ф" bq^n-q ~ fyftn "Ф ффл-1 Н~ ••• Н~ ар&п-р’	(33)
Обратно, всякая стационарная последовательность | —(|п),
удовлетворяющая такому уравнению с некоторым белым шумом
е = (е„) и полиномом Q (г), не имеющим нулей на множестве
{г: |г|= 1}, имеет спектральную плотность (32).
Действительно, пусть т]„ = -ф -ф . • • + Ь£п_3. Тогда
/п (М = 2~ \Р (^-,л) I2 и требуемое представление вытекает из след-
ствия 1.
С другой стороны, если имеет место представление (33) и F^(X)
и Frt (Л.) — спектральные функции последовательностей £ и т|, то
х	х
Fn(l)= J |<?(e--v)|2^(v) = ^- J
— л	— л
Поскольку | Q (e~'v) j2. > 0, то отсюда следует, что (А.) имеет плот-
ность, определяемую формулой (32).
4. Следующая эргодическая теорема (в среднеквадратическом
смысле) может рассматриваться как аналог закона больших чисел
для стационарных (в широком смысле) случайных последователь-
ностей.
Теорема 4. Пусть £ = (£„), п еZ, — стационарная последо-
вательность с Мсл = 0, ковариационной функцией (1) и спектраль-
ном разложением (2). Тогда
п— 1
lJb-Z({0)}	(34)
k=0
и
л-1
42 /?(£)-> F({0}).	(35)
k^O
Доказательство. В силу (2)
л—1	я л—1	я
42 s*= J 42	j Фя(1)2(А),
4=0 —л 4 = 0	— л
428
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где
п — 1	(	1,
фл (А) = -п- 2 eikK = I 1.
k=o I n eiK — l ’
a = o,
Л =7^ 0.
(36)
Поскольку | sin A |	| A | для | A |	~2-, to
<Рп (А) | =	. пк s,n~r	л	. пХ sin -2-	
	. X п sin	2	пк	2
Далее, <p„ (A) — 7{0) (А), поэтому по свойству (2.14)
что и доказывает (34).
Аналогичным образом доказывается и утверждение (35).
Теорема доказана.
Следствие. Е£ли спектральная функция непрерывна в нуле,
т. е. F({0)}=0, то Z({0}) = 0 (Р-п. н.) и в силу (34), (35)
п—1	п—1
1 ^ад-о^Т^5*’0-
k = 0	* = 0
Поскольку
то верна и обратная импликация:
1	2 ад-о.
п— I
Таким образом, условие -Ь 7? (&)->() является необходимым
*=о
и достаточным для сходимости (в среднеквадратическом смысле)
п — I
средних арифметических 5* к нулю.
k=0
§ 3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 429
Отсюда следует, что если исходная последовательность g = (gn)
такова, что ее математическое ожидание есть т (М£о —т)> то
п—1	п—1
(37)
где Я(п) = М(|я-МЫ(?0-М£0).
Отметим также, что если Z({0})^=0 (Р-п. н.), а т = 0, то это
означает, что последовательность содержит «случайную кон-
станту а»:
£„ = а + т]л,
Л
где a = Z({Q}), а в спектральном представлении т]„= e‘KnZri (dk)
— л
мера Z1} = Zri(A) уже такова, что Zn ({0}) = 0 (Р-п. н.). Утверж-
дение (34) означает, что средние арифметические сходятся в сред-
неквадратическом смысле именно к этой случайной константе а.
5. Задачи.
1.	Показать, что Ll(F) = L2(F) (обозначения см. в доказатель-
стве теоремы 1).
2.	Пусть g = (g„) — стационарная последовательность, обладаю-
щая тем свойством, что для некоторого N и всех п =
Показать, что спектральное представление такой последователь-
ности сводится к представлению (1.13).
3.	Пусть £= (gn)—стационарная последовательность такая,
что М£„ = 0 и
N N
4=0/—О	I4KJV-1
при некоторых С>0, а>0. Используя лемму Бореля —Кан-
телли показать, что тогда
N
>	Ь~->° (Р'П- Н-)>
4=0
4.	Пусть спектральная плотность Д(Х) последовательности
£ = (£„) является рациональной
где Р„_1 (г) = а0 + «iz +... + ал-1гп-1 и Qn (г) = 1 + bxz +... + bnzn,
причем все корни полинома лежат вне единичного круга.
Показать, что найдется такой белый шум 8 = (ет), meZ, что
последовательность (gm) будет компонентой «-мерной последова-
430 ГЛ. VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
тельности (gm, gm, ...» 5m), 5m = 5m, удовлетворяющей системе
уравнений
5m + l = 5m*~ "FPiSm+l, l=l, •••, n 1,
n — 1
g" +! = - S bn^ +1 + ₽„8m+1,	(39)
f—o
I—I
где Pi = a0, Рг = РЛ-й-
k=i
§ 4. Статистическое оценивание ковариационной функции
и спектральной плотности
1.	Задачи статистического оценивания тех или иных характе-
ристик распределений вероятностей стационарных случайных
последовательностей возникают в самых разнообразных областях
науки (геофизика, медицина, экономика и др.). Материал, изла-
гаемый в настоящем параграфе, дает представление о понятиях
и методах оценивания и о тех трудностях, которые здесь возникают.
Итак, пусть g = (g„), neZ, стационарная в широком смысле
(действительная — для простоты) случайная последовательность
с математическим ожиданием Mg„ = т и ковариацией R (п) =
_ j ei}-nF (d/.).
— Л
Пусть х0, хъ ...,	— полученные в ходе наблюдений зна-
чения случайных величин g0, gi, ..., g^v-i. Как по ним построить
«хорошую» оценку (неизвестного) среднего значения т?
Положим
АГ —1
W(x) = -^i2^.	(1)
*=0
Тогда из элементарных свойств математического ожидания сле-
дует, что эта оценка является «хорошей» оценкой величины т
в том смысле, что «в среднем по всем реализациям х0, ..., x^-i»
она является несмещенной, т. е
(N—1 \
4- 2 =т-	(2)
k=0	'
Более того, из теоремы 4 § 3 вытекает, что при условии
N
•у 2 fl(fc)->0, N -► оо, рассматриваемая оценка является также
§ 4. СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
431
и состоятельной (в среднеквадратическом смысле), т. е.
М | mN (I) — т |2 -> О, N ->оо.	(3)
Займемся теперь вопросом оценивания ковариационной функ-
ции 7?(п), спектральной функции F(Z)=F([—л, X]) и спектраль-
ной плотности /(X), предполагая, что т = 0.
Поскольку R (п) — М|л+*|л» то в качестве оценки этой вели-
чины по результатам У наблюдений х0, xlt Xn-i естественно
взять (для 0 sg n < jV) величину
А—л-1
Ял(«;	=	2 Xn+k%k'
k=0
Ясно, что эта оценка является несмещенной в том смысле, что
M^(n; ® = R(n),	0^n<N.
Рассмотрим теперь вопрос о ее состоятельности. Подставляя
в (3.37) вместо 5* величины ln+klk и предполагая у рассматривае-
мой последовательности £ = (£„) существование четвертого момента
(М^<оо), находим, что условие
N-1
± 2	Л?->оо,	(4)
k = 0
является необходимым и достаточным для того, чтобы
М | Rn (гг, I) — 7? (п) |2 -> 0,	7V->oo.	(5)
Предположим, что исходная последовательность £ = (|л) является
гауссовской (с нулевым средним и ковариацией R(n)). Тогда
в силу (11.12.51)
М - R («)]	- R («)] = М£п+*Ыл1о - R2 («) =
=	• MUo+МЫ» • МЫо + MUftlo • МЫ» - R2 (П) =
= 7?2 (k) + R(n + k)R(n-k).
Поэтому в гауссовском случае условие (4) эквивалентно условию
ДГ-1
^[R2(k) + R(n + k)R(n-k)]^0, N-+co. (6)
А = 0
Поскольку \R(n + k) R(n — k) |	17? (« + &) |2 + |7?(« — A)|2, то из
условия
JV-1
Л=0
432
ГЛ VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
вытекает и условие (6). В свою очередь, если (6) верно для и = 0,
то выполняется условие (7).
Таким образом доказана следующая
Теорема. Пусть % = (1„) — гауссовская стационарная после-
довательность с Mgn = O и ковариационной функцией R(ri). Тогда
выполнение условия (7) является необходимым и достаточным для
того, чтобы при любом оценка (п; х) была состоятель-
ной в среднеквадратическом смысле (т. е. чтобы было выполнено
условие (5)).
Замечание. Если воспользоваться спектральным представ-
лением ковариационной функции, то получим
N — 1	л л N — 1
А 2 S J i 2 e‘<^*F(dk)F(dv)=--
k=Q	—Л —л k=0
= J 5 v) F (dk) F (dv),
— Л — Л
где (ср. с (3.35»
Но при п->оо
1,
1	V) /V
ДГ[1—’
fn(k, V)-^f(k,
Л = 0,
А #= v.
X = v,
A =ji= v.
Поэтому
N — 1	л л
J_ 2 R*(k)-+ j j f(k, v) F (dk) F (dv) =
k=Q	— л — л
= f F({A})F(dA) = £F*(W).
— л	К
где сумма по 1 не более чем счетна, поскольку мера F конечна.
Тем самым условие (7) эквивалентно условию
£F({M) = 0.	(8)
А
означающему, что спектральная функция F (А) = F ([—л-, А,]) явля-
ется непрерывной.
2. Перейдем теперь к вопросу построения оценок для спек-
тральной функции F(k) и спектральной плотности f (к) (в пред-
положении, что она существует).
§ 4 СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
433
Естественно напрашивающийся путь построения оценок спек-
тральной плотности следует из проведенного выше доказательства
теоремы Герглотца. Напомним, что введенная в § 1 функция
2 ('-тИ	<9’
|п <W
обладала тем свойством, что построенная по ней функция
FN W	5 In (v) dv
— п
сходилась в основном к спектральной функции F (А) Поэтому,
если F (А) имеет плотность / (А), то для каждого А е[—л, л)
х	к
fN (у) dv—> \f(y)dv.	(10)
— л	— л
Исходя из этих фактов и вспоминая, что в качестве оценки
R (п) (по наблюдениям х0, хх,... , x^.J брались величины RN (п, х),
возьмем в качестве оценки / (А) функцию
/л(А, х) = ^ 2 (1-^)#лг(п; х),	(11)
in <.N К
полагая RN(n\ х) = RN (| п х) для всех | п | <
Функцию fN (А; х) принято называть периодограммой, и нетрудно
проверить, что ее можно представить также в следующем несколько
более удобном виде:
N-i
2 xne-lKn
n = o
9
/лг (А, х)- 2nN
(12)
Поскольку MRu(n; g) = /?(n), \n[<ZN, to
M/^(A; |) = ^(A).
Если спектральная функция F (А) имеет плотность /ЧА), то, учи-
тывая, что /дг(А) может быть записана также в виде (1 34), найдем,
что
N — 1 N — 1 л
2 2 J ^(ft-OeIv(Z-A)^v)dv==
k=0I—о —Л
gi (v-Х) Л
9
f (v) dv.
434
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Функция
V-1
2 е‘Кк
k =0
9
~ 2п.Л/
sfn N
sin А./2

называется ядром Фейера. Из свойств этой функции известно, что
для почти всех X (по мере Лебега)
$ O\v(X-v)/(v)dv->/(X).
(13)
— л
Поэтому для почти всех X е [— л, л)
М^(Х; ^)->/(Х),
(И)
иначе говоря, оценка /дг(Х; х) спектральной плотности / (Л) по наб-
людениям Л'о, хь ..., является асимптотически несмещенной.
В этом смысле оценку ^у(Х; х) можно было бы считать доста-
точно «хорошей». Однако на индивидуальных наблюдениях х0, ...
..., Хлг-1 значения периодограммы /дг(Х; х) оказываются, как
правило, далекими от истинных значений /(X). В самом деле,
пусть В = (£„) — стационарная последовательность независимых гаус-
совских случайных величин,	1). Тогда f (Х)=1/2л, а
In (^;
N-1	2
k = Q

Поэтому при Х = 0 fN (0; |) по распределению совпадает с квадра-
том гауссовской случайной величины ц&-Д" (0, !)• Отсюда при
любом IV
М|^(0; £)-/(0)|2 = ^М|т)2-112>°.
Более того, несложный подсчет показывает, что если / (X) — спек-
тральная плотность стационарной последовательности | — (g„),
образованной по схеме скользящего среднего:
£» = S	(15)
k =о
С У | йц | < оо, у, I ak I2 < оо, где е - - (ел) — белый шум с MeJ <
k=0	k = 0
< ОО, TO
г м I f /1 t\ f/1'112 / 2f2 (0), X = 0, zt л,
J™ 5>-НЧ1’=(	Л^01 ±„.	<14
§ 4. СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
435
Отсюда становится понятным, что периодограмма не может слу-
жить удовлетворительной оценкой спектральной плотности. Чтобы
исправить это положение, в качестве оценок для / (Л) часто исполь-
зуют оценки вида
№ (к х) = f (Л - v) (v; х) dv,	(17)
— л
которые строятся по периодограмме х) и некоторым «сгла-
живающим» функциям 1Г^(Х), называемым спектральными окнами.
Естественные требования, предъявляемые к функциям U7iV(X),
состоят в том, чтобы:
a)	WN(k) имели резко выраженный максимум в окрестности
точки Х = 0;
b)	f^(X)dA=l;
— л
С) М \)n (А; £)-/(Л)|2->0, ДГ->оо, ле[-п, п).
В силу (14) и требования Ь) оценки (X; g) являются асимпто-
тически несмещенными. Требование с) является условием асимпто-
тической состоятельности в среднеквадратическом смысле, что, как
было показано выше, нарушается для периодограммы. Наконец,
требование а) обеспечивает «вырезание» из периодограммы требуемой
частоты Л.
Приведем некоторые примеры оценок вида (17).
Оценка Бартлета основана на выборе спектрального
окна
Ц7n (Л) = aNB
где aN | оо, aN/N -> О, IV -> оо и
. X ’
sm2
SW = R
X/2
Оценка Парзена использует в качестве спектрального
окна функцию
U7аг (Л) — O-nP (йдД),
где aN такие же, что и выше, а
Оценки Журбенко строятся с помощью спектральных
окон вида
IFN (^) = aN% (ЯлА)
436
ГЛ. VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
С
[ ___ а + 1 I Д let I а+ 1
Z(A) = { 2а | Г 2а
‘	О,
1,
|А|> 1,
где 0<а^2, а величины aN подбираются специальным образом-
Не останавливаясь подробнее на вопросах оценивания спек-
тральных плотностей, укажем лишь, что имеется обширная стати-
стическая литература, посвйщенная построению спектральных окон
и сравнению свойств соответствующих им оценок (А; х).
3. Рассмотрим теперь вопрос оценивания спектральной функции
F(A) = F([—л, А])я. С этой целью положим
Л	к
Fiv(k) = $ Zjv (v) dv, (Л; x) = $ fN(v, x)dv,
— Л	— Л
где /jv(v; x) — периодограмма, построенная no (x0, хг, ... , хлм).
Из доказательства теоремы Герглотца (§ 1) следует, что для
любого ме Z
j el'-n dFN (л) j е‘и dF (к).
— Л	— Л
Отсюда (ср. со следствием к теореме 1 § 3 гл. III) следует, что
Fjv=>F, т. е. Fлг (к) сходятся к F (к) в каждой точке непрерывно-
сти функции F (к).
Заметим, что для всех | п | < N
л
еЛп dFN (к; 1-) = RN(n;
— л
Поэтому, если предположить, что RN (п; |) сходятся с вероятно-
стью единица к R (и) при Af->co, то тогда
jj eA*dFN(k-, jj eAndF(k) (Р-п. н.)
— л	— л
и, значит, (Р-п. н.) Fx (A; Jj)=>F(A).
Отсюда нетрудно вывести (переходя в случае необходимости от
последовательностей к подпоследовательностям), что если
Ялг(«; £)->#(») по вероятности, то тогда и FN(k\ %)=}F(k) по
вероятности.
4. Задачи.
1..Пусть в схеме (1,5) величины £„^©^(0, 1). Показать, что
для любого п и N со
(N - п) V)Rn (п; £) 2л (1 + е2,лХ) /2 (к) dk.
— л
§ 5 РАЗЛОЖЕНИЕ ВОЛЬДА
437
2. Установить справедливость формулы (16) и следующего ее
обобщения
lim cov(/v(A; g), ^(v; £)) =
N -*• oo
2^(0),
№
0,
A = v = O, ± л,
A = v 0, ± л,
A 7^ it V.
§ 5. Разложение Вольда
1. В отличие от представления (3 2) дающего разложение ста-
ционарной последовательности в частотной области, рассматрива-
емое ниже разложение Вольда действует во временной области.
Суть этого разложения сводится к тому, что стационарная после-
довательность | = (|„), я eZ, представляется в виде суммы двух
стационарных последовательностей, одна из которых полностью
предсказуема (в том смысле, что ее значения полностью восстав
навливаются по «прошлому»), а вторая этим свойством не обладает.
Введем прежде всего некоторые обозначения. Пусть Нп (£) =
= L2(^") и Н (g) = L2 (£) — замкнутые линейные многообразия,
порожденные величинами = (• . •, U и £ = (••• £«-i.	• • )
соответственно. Пусть также
п
Очевидно, что
Нп (I) f //(?), п + оэ
и
н->-оо.
Для любого элемента т] е Н (|) обозначим через
(п) = ГИ (т| | Нп (£))
проекцию элемента г) на подпространство Hn(g) (см. § 11 гл. II).
Будем обозначать также
Л-.00 (1]) = 1Й (П !<$(£))•
Каждый элемент г] е Н (£) можно представить следующим обра-
зом:
Т] = Л—оо (п) 4- (Т| - «-00 (п)).
где г, — л_оо (л) I л-оо (л)- Поэтому пространство Н (£) представ-
ляется в виде ортогональной суммы
438
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где S (?) состоит из элементов л_со (л) с т] е Н (?), а /?(?) — из эле-
ментов вида г] — л_оо(л)-
Всюду в дальнейшем будем предполагать, что М?„ = 0 и D?„>
>0. Тем самым пространство Н (?) заведомо является нетривиаль-
ным (содержит элементы, отличные от нулевого).
Определение 1. Стационарная последовательность ? = (?„)
называется регулярной, если
Н (?)-/?(?),
и сингулярной, если
Я(?) = 5(?).
3 а м е.ч а н и е. Сингулярные последовательности называют
также детерминированными, регулярные —чисто или вполне неде-
терминированными. Если S (?) есть собственное подпространство
пространства Н (?), то последовательность ? называют недетерми-
нированной.
Теорема 1. Всякая стационарная в широком смысле случай-
ная последовательность ? допускает и притом единственное раз-
ложение
+ (1)
где ?г = (?„) — регулярная, a ?s = (?„) — сингулярная последователь-
ности. При этом ?г и ?s ортогональны (?„ I ?^ для всех п и т).
Доказательство. По определению положим
?’ - in (?n/s (?)), ?;=?„-?l
Поскольку In I S (?) для любого п, то S (?r) I S (?). С другой
стороны, S (?r) s S (?), и, значит, S (?г) тривиально (содержит лишь
случайные величины, совпадающие почти наверное с нулем). Сле-
довательно, процесс ?г является регулярным.
Далее, Я„ (?) £= Я„ (?') ф Я„ (?') и Нп (?‘) = Нп (?), Яя(?0е
S Нп (?). Поэтому Нп (?) = Нп (?5) ф Нп (?г), и, значит, для любого п
S (?) Е Я„ (?^) ф Я„ (?г).	(2)
Поскольку ?£j_S(?), то из (2) следует, что
S (?) <= На (?'),
и, значит, 5 (?) = S (?s) = Н (?s). Но ?s„ е$ (?), поэтому Н (?s) s
s S (?) и, следовательно,
S (?) = S (?*) = Я (?*),
что означает сингулярность последовательности ?•’.
Ортогональность последовательностей ?* и ?г следует очевид-
ным образом из того, что eS (?), а ?« 1 S (?).
§ 5. РАЗЛОЖЕНИЕ ВОЛЬДА
439
Докажем теперь единственность разложения (1). Пусть =
=	+ где т/ и регулярные и сингулярные ортогональные
последовательности. Тогда, поскольку Нп(п*) = Н (tf), то
(?) = Нп (rf) ® Нп (пО = Нп (т)9 © Н
и поэтому S (?) = S (т]г)®Д От5)- Но S (т]г) тривиально и, значит,
S (?) = Н (rf).
Поскольку т]® е Н (ip5) = S (?), а т)' I Н (т]'г) = S (?), то
М (?„ | S (?)) = IVI (п; + т]“ | S (?)) = т]’, т. е. совпадает с ?’, что
и доказывает единственность разложения (1).
Теорема доказана.
2.	Определение 2. Пусть ? = (?„) — невырожденная стацио-
нарная последовательность. Случайную последовательность е = (е„)
назовем обновляющей последовательностью (для £), если:
а)	е = (8Я) состоит из попарно ортогональных случайных вели-
чин с Ме„ = 0, М | е„ |2 = 1;
Ь)	(?) = //„ (е) для любого п е Z-
Замечание. Смысл термина «обновление» обусловлен ассо-
циацией с тем, что ел+1 как бы привносит новую «информацию»,
не содержащуюся в Нп (?) (иначе — «обновляет информацию» в Ял(?),
которая необходима для образования Ял+1 (?).
Следующая важная теорема устанавливает связь между введен-
ными выше (пример 4 в § 1) последовательностями одностороннего
скользящего среднего и регулярными последовательностями.
Теорема 2. Для того чтобы невырожденная последователь-
ность ? была регулярной, необходимо и достаточно, чтобы нашлась
такая обновляющая последовательность 8 = (ел) и последователь-
ОО
ность комплексных чисел (ап), п^О, с 21ал|2<°°, чт0 (Р-п. н.)
п=0
?я=2а*8п-*-	(3)
*=0
Доказательство. Необходимость. Представим Дл(?)
в виде
(?)=//„-! (?)®B„(U,
где Вп (?„) есть пространство случайных величин вида р • где
Р — комплексные числа. Пространство Дл(?) не может совпадать
с (?) ни при одном п. В самом деле, если при каком-то п
Вп(£,п) тривиально, то в силу стационарности тривиальными будут
пространства ВА(?*) при всех k, а, значит, тогда //(?) = S(g), что
противоречит предположению о регулярности последовательности ?.
Итак, пространство Д„(?л) содержит заведомо хотя оы один
440
ГЛ. VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
ненулевой элемент, скажем, г]л. Положим
где || т)„ ||2 = М | т)л |2 > 0.
Для фиксированных п и &©=0 рассмотрим разложения
Нп (?) = Hn4i (?) © Вл_йн (?„_ft+1) © ... © Вп (?л).
Тогда ..., е„ образуют ортонормированный базис в
^л-А+1 (ёл-ft+l) © • • • © Вп (8Я) И
4-1
= У a,Zn_j “Ь	(4)
7=0
где а7 = М?лЕл_л
В силу неравенства Еесселя (11.11.6)
У, | а, I2 sg||?„||2 < оо.
/=0
Отсюда следует, что ряд У aftn4 сходится в среднеквадратическом
7=о
смысле, и в силу (4) для доказательства (3) осталось лишь дока-
зать, что лл^(?л)~0, &->оо.
Достаточно рассмотреть случай п — 0. Поскольку
*
= л0 © У |л_i — л_;+1],
1=0
а слагаемые, участвующие в сумме, ортогональны, то для любого
4 А	А	| k	„	2
У II Л-j Л-;+11]2= У (л_,- Л_;+1) =
>=0	I 1=0
= II Л-й — л0||2 sg 4 || ?01|2 < оо.
Поэтому существует (в среднеквадратическом смысле) предел
lim л-*- Для каждого k л_л е Hk (?), и, значит, рассматриваемый
fe^co
предел должен принадлежать подпространству Q H_k (?) = S (?).
*^0А
Но по предположению S (?) тривиально, и поэтому л_* -^»0, &->оо.
Достаточность. Пусть невырожденная последовательность ?
допускает представление в виде (3), где е = (ел) — некоторая орто-
нормированная система (не обязательно удовлетворяющая условию
//„(?) = Дл (е), neZ). Тогда Дл(?)Е/7л(е) и, значит, 3 (?) =
§ 5. РАЗЛОЖЕНИЕ ВОЛЬДА
441
= (}Нь®^Нп (е) для любого п. Но ел+1 | Нп (е), поэтому
k
ел+1 I S (£) и в то же самое время е = (вл) является базисом в Н (£).
Отсюда следует, что подпространство S (£) является тривиальным,
и, следовательно, последовательность £ регулярна.
Теорема доказана.
Замечание. Из проведенного доказательства следует, что
невырожденная последовательность g является регулярной тогда
и только тогда, когда она допускает представление в виде одно-
стороннего скользящего среднего
СО
=	(5)
4=0
где ё = (ёл) — некоторая ортонормированная система, которая (это
важно подчеркнуть!) не обязательно удовлетворяет условию
Нп (В) = Нп (ё), neZ. В этом смысле утверждение теоремы 2 гово-
рит о большем, а именно о том, что для регулярной последова-
тельности g найдутся такие а = (ал) и ортонормированная система
е = (ел), что наряду с (5) будет справедливо представление (3), для
которого Нп (?) = Нп (е), п е Z.
Из теорем 1 и 2 непосредственно вытекает
Теорема 3 (разложение Вольда). Если g = (£л) — невырожден-
ная стационарная последовательность, то
ОО
1л = У а*ел-4>	(6)
4=0
где у1, | ak |2 < оо и е— (ел) — некоторая обновляющая последова-
ло
тельность (для £г).
3. Смысл введенных выше понятий регулярной и сингулярной
последовательностей становится особенно ясным при рассмотрении
следующей задачи (линейной) экстраполяции, для общего решения
которой оказывается весьма Полезным использование разложения
Вольда (5).
Пусть Но (g) = Z2 (£°) — замкнутое линейное многообразие, поро-
жденное величинами Н° = (..., £_j, g0). Рассмотрим задачу построе-
ния оптимальной (в среднеквадратическом смысле) линейной
оценки Ел величины по «прошлым» наблюдениям £° = (..., H-j, |0).
Из § 11 гл. II следует, что

(7)
442
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
(В обозначениях п. 1 £„ = л0 (£„).) Поскольку и ортого-
нальны и Но (g) = Но (£г) ф Н0(Л°), то с учетом (6) находим
Ъ=м &+& I н0	= м (& | Но (£))+м (лгп \ Но а)) =
= м (Лп I я0(Г) ф Но (Г)) + м	! Но (Г) ® Но (Г)) -
== 1Ш К О+М &! МГ)) =
= ^ + М^аАе„_й|Я0(^)).
\*=о
В (6) последовательность е = (е„) является обновляющей для —
= (£') и, значит, Н Лг) = Н (е). Поэтому
+ М । 2 ak^n-k | Н0 (e)'j =	У ak^n-k	(8)
\А=0	/	k=n
и среднеквадратическая ошибка предсказания по |° = (..., £_1( £0)
равна
^=m;^-li2=s ы2-	(9)
А = 0
Отсюда вытекают следующие два важных вывода.
а)	Если последовательность £ сингулярна, то для любого п 1
ошибка (экстраполяции) <у„ равна нулю, иначе говоря, возможно
безошибочное предсказание по «прошлому» £° = (.... |_1( g0).
b)	Если последовательность g регулярна, то On'^o'n + i и
lim (?п= У, KI2-	(1°)
И--СО	ft=0
Поскольку
Х\ак |2 = М|£„|2,
k=0
то из (10) и (9) следует, что
п->оо,
т. е. с ростом п прогноз величины по = (..., g_x, g0) стано-
вится тривиальным (совпадающим просто с М£я = 0).
4. Будем предполагать, что g — невырожденная регулярная
стационарная последовательность. Согласно теореме 2 всякая
такая последовательность допускает представление в виде одно-
стороннего скользящего среднего
£л = .У	(И)
§ 5. РАЗЛОЖЕНИЕ ВОЛЬДА
443
оо
где У, | ak |2 < со и ортонормированная последовательность е = (е„)
4=0
обладает тем важным свойством, что
Нп(1-) = Нп(е), n^Z.	(12)
Представление (11) означает (см. п. 3 § 3), что можно рас-
сматривать как сигнал на выходе физически осуществимого фильтра
с импульсной переходной функцией а = (аА), k^Q, когда на вход
подается последовательность и = (s„).
Как и всякая последовательность двустороннего скользящего
среднего, регулярная последовательность имеет спектральную
плотность f (Z). Но то обстоятельство, что регулярная последова-
тельность допускает представление в виде одностороннего сколь-
зящего среднего, позволяет получить дополнительную информацию
о свойствах спектральной плотности.
Прежде всего ясно, что
/(^=2^1фМ|2,
где
оо	со
(13)
4=0	4=0
Положим
00
Ф (г) = У, <ikzk.	(14)
4=0
Эта функция является аналитической в открытой области | г | < 1
и в силу условия У |as)2<;oo принадлежит так называемому
4=0
классу Харди Н2, т. е. классу аналитических в области | г | < 1
функций g = g(z), для которых
Л
sup i ? \g(reie)\2 М<оо.	(15)
0<г< 1 J
—л
Действительно,
Л	СО
i j IФ (re'0) I2 d0 =2 \ak\2r2k
—л	4=0
И
sup У I ak \2r2k У I ak I2 < co.
0<r<l
В теории функций комплексного переменного доказывается,
что граничное значение Ф(е'л), —тождественно не
444
ГЛ VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
равной нулю функции Ф Е № обладает тем свойством, что
J In | Ф (е_,х) | dX > — оо.	(16)
—Л
В рассматриваемом нами случае
где Ф е №. Поэтому
In f (1) = — In 2л + 2 In | Ф (e~tK) I,
и, следовательно, спектральная плотность /(А) регулярного про-
цесса удовлетворяет условию
§ ln/(A)dA> —оо.	(17)
—Л
С другой стороны, пусть спектральная плотность f (X) такова,
что выполнено условие (17). Опять-таки из теории функций
комплексного переменного следует, что тогда найдется такая
ОО
функция Ф (г) = У, akzk, принадлежащая классу Харди №, что
*=о
(почти всюду по мере Лебега)
Н^) = ^|Ф(^) I2-
Поэтому, полагая <р (1) = Ф (е‘к), получаем
/(А)=^|ф(А) р,
где ф(А) задается формулой (13). Тогда из следствия к теореме 3
§ 3 вытекает, что последовательность £ допускает представление
в виде одностороннего скользящего среднего (11); где е = (ега) —
некоторая ортонормированная последовательность. Отсюда и из
замечания к теореме 2 следует, что последовательность £ регулярна.
Итак, имеет место
Теорема 4 (Колмогоров). Пусть Е- — невырожденная регуляр-
ная стационарная последовательность. Тогда существует спек-
тральная плотность /(А) такая, что
J lnf(A)dA>> — оо.	(18)
—Л
В частности, /(А)>0 (почти всюду по мере Лебега).
§ 6 ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ	4 45
Обратно, если £ — некоторая стационарная последовательность,
имеющая спектральную плотность, удовлетворяющую условию (18),
то эта последовательность является регулярной.
5. Задачи.
1.	Показать, что стационарная последовательность с дискретным
спектром (спектральная функция F (%) — кусочно-постоянна) явля-
ется сингулярной.
2.	Пусть On = М I in —]2, In — М (|« I Но (£)). Показать, что если
для некоторого о;г = 0, то последовательность | является
сингулярной; если же при п->-со On-+R(0), то — регулярной.
3.	Показать, что стационарная последовательность £ = (£„),
ln = etn4>, где ср —равномерная случайная величина на [G, 2л],
является регулярной. Найти оценку величину On и показать,
что нелинейная оценка
дает безошибочный прогноз по «прошлому» g° = (.5-г, £0), т. е.
М IL-H„i2 = 0, n=sl.
§ 6. Экстраполяция, интерполяция и фильтрация
1.	Экстраполяция. В соответствии с результатами предыдущего
параграфа сингулярные последовательности допускают безошибоч-
ный прогноз (экстраполяцию) величин п^1, по «прошлому»
Е° = (.|0). Естественно поэтому при рассмотрении задач
экстраполяции для произвольных стационарных последовательно-
стей изучить сначала случай регулярных последовательностей.
Согласно теореме 2 из § 5 всякая регулярная последователь-
ность g = (£„) допускает представление в виде одностороннего
скользящего среднего,
ОО
^Л = У	1)
fc=0
оо
с | ak ? < со и некоторой обновляющей последовательностью
«•=0
е = (е„). Представление (1), как следует из § 5, решает задачу
нахождения оптимальной (Линейной) оценки | —!У1(£Л| Но(%)),
поскольку, согласно (5.8),
tn = 2 ^*®п-а	(2)
k—n
и
^ = M|L-LI2 = s'l«d2.	(3)
«=о
446
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Однако это решение можно считать лишь принципиальным реше-
нием в силу следующего обстоятельства.
Обычно рассматриваемые последовательности задаются не
представлением (1), а с помощью задания их ковариационной
функции R(n) или спектральной плотности /(%) (которая сущест-
вует для регулярных последовательностей). Поэтому решение (2)
можно признать удовлетворительным, если коэффициенты ak будут
выражены через значения R (п) или f (А), а величины eft —через
значения
Не затрагивая эту проблему в ее общем виде, ограничимся
рассмотрением одного частного (но интересного для приложений)
случая, когда спектральная плотность представляется в виде
/(%) = ±.|ф(е-й)|2,	(4)
СО
где функция Ф(г)=2^*г* имеет радиус сходимости г>1 и не
*=о
имеет нулей в области | z |	1.
Пусть
E„=$e'4Z(dX)	(5)
—Л
— спектральное представление последовательности | = (£„), п е Z.
Теорема 1. Если спектральная плотность последовательно-
сти £ представима в виде (4), то оптимальная (линейная) оценка
|л величины %п по £° = (..., £_!, |0) задается формулой
1п= \ inWZ(dk),	(6)
—Л
где
<7>
и
Ф«(г)=
k—n
Доказательство. Согласно замечанию к теореме 2 § 3
всякая величина |ле#0(£) допускает представление в виде
L=$ M)Z(dK), <pn<=H0(F),	(8)
—Л
где Но (F) — замкнутое линейное многообразие, порожденное функ-
(X) = J f (v) dv\.
—Л	/
циями en = eiKn с n^Q(F
§ 6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ и ФИЛЬТРАЦИЯ	447
Поскольку
М I 1„Г-М | ? (e^-$„(X))Z(dX)P =
—Л
= $ Ия-ф„(Х)|2/(Х^Х,
— л
то доказательство оптимальности оценки (6) сводится к доказа-
тельству того, что
. inf. pe^-$„(X)l2/(X)dX= J |^-^„(X)|2/(X)dX.	(9)
Фле/70(Л) -л	—л
Из теории гильбертовых пространств (§ 11 гл. II) следует, что
оптимальная (в смысле (9)) функция ф„ (X) определяется двумя
условиями:
1) фя(л)еЯ0(Т),	(10)
2) е^-ф„(Х)±Я0(Г).
Поскольку
еЛяФ„ (e~iK) = eiKn [Ь„е~Лп -J- bn+ie~iK(-n+r> +...] Но (F)
и аналогичным образом	H0(F), то функция фл(Х), опре-
деленная в (7), принадлежит классу /70 (F). Поэтому для доказа-
тельства оптимальности функции фл (X) достаточно лишь проверить,
что для любого
ei}-n - Фл (Я) _1_ еЛт,
т. е.
7Л1/Лэ=$ [е,7л — фл (л)] e-Amf (X) dX = 0,	mSs=0.
— Л
Следующая цепочка равенств показывает, что это действительно так:
Л
J	== —L f eiK(n-m) Г1
1п>т 2л '
—л	и
?я(е ^11Ф (е-'х) |2 dX
Ф (е-»А) J '
Л
= ~ J eiK(n-m) [ф (e-i^ _ фл (e-A)j ф(е-/7)	—
—Л
448
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где последнее равенство следует из того, что для т^О и г>1
$ e-AmgiKr fa = 0.
—л
Теорема доказана.
Замечание 1. Разлагая функцию ф„(%) в ряд Фурье
Фл (А.) = Со СДе'1'1' ф- С ф-...,
находим, что прогноз величины ns=l, по прошлому =
= (..., £-1, £(,) определяется формулой
1л — Cfl^o + С-11-1 ф~ С-2S 2 + • • •
Замечание 2. Типичным примером спектральной плотности,
представимой в виде (4), является рациональная функция
2л j Q (е~Л) |
где полиномы Р (z) = а0 ф- tiiZ ф-... ф- apzp и Q (z) = I ф- Ь^г ф-... ф-
не имеют нулей в области {г: ]г\^ 1}.
Действительно, в этом случае достаточно положить Ф (г) =
— Р (z)/Q (г). Тогда Ф (г) — У, Ckzk, причем радиус сходимости этого
k=0
ряда больше единицы.
Приведем два примера, иллюстрирующих теорему 1.
Пример 1. Пусть спектральная плотность
fd) = <5 + 4 cos
Соответствующая ковариационная функция R(ri) имеет «треуголь-
ный» вид:
/?(0) = 5,	/?(±1)==2,	Р(«)=0 при	(11)
Поскольку рассматриваемая спектральная плотность может быть
представлена в виде
f (1) = ± | 2 + е-А |2,
та возможно применение теоремы 1. Легко находим, что
=	Фп(Ь) = 0 при ns==2.	(12)
Поэтому для всех п^2 |„ = О, т. е, (линейный) прогноз значения
по £° = (.|-1, 5о) является тривиальным, что совсем неуди-
вительно, если заметить, что, согласно (11), корреляция между
и любой из величин 50, 5-1» • • • равна нулю для п 2.
§ 6 ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ	449
Для п — 1 из (6) и (12) находим, что
—Л
Л	СО	л
-4 J	2 тга1 J е-'“2(Л)-
—л (	Н—2“ )	k-Q	~л
в V (~1Ж	1 t 1 ? ,
Z 2*+1	“ у So-4- 6-1-+-••
*=о
Пример 2. Пусть ковариационная функция
7? (п) = ап, | а | < 1.
Тогда (см. пример 5 в § 1)
f п) _ _2_ 1 ~~1а _
' ' ' 2л | 1 — аг1'- |2 *
Т. е.
Ш=^|ф(НХ)|2.
где
СО
ф - о -1 л \2)х'2 2(М'г<
k = 0
откуда ф„(X) = ап и, значит,
= $ anZ (б/л) = ап10.
—л
Иначе говоря, для прогнозирования величины по наблю-
дениям £э = (..., g_1( g0) достаточно знания лишь последнего наб-
людения £0.
Замечание 3. Из разложения Вольда регулярной последо-
вательности g = (^я) с
(13>
6 = 0
следует, что спектральная плотность f(K) допускает представление
т=^|ф(М)|2,	(И)
где
Ф(г) = fljz4.	(15)
^-0
450 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Очевидно, что и обратно, если f (?.) допускает представление (14)
с функцией Ф(г) вида (15), то разложение Вольда для имеет
вид (13). Таким образом, задача представления спектральной
плотности f(Z) в виде (14) и задача отыскания коэффициентов ak
в разложении Вольда эквивалентны.
Сделанные в теореме I предположения относительно функции
Ф(г) (отсутствие нулей в области |г|==с 1 и г>1) на самом деле
не нужны для ее справедливости. Иначе говоря, если спектраль-
ная плотность регулярной последовательности представлена в виде
(14), то оптимальная в среднеквадратическом смысле оценка |,г
Величины по £° = (...,	|0) определяется формулами (6) и (7).
Замечание 4. Теорема 1 (вместе с предшествующим заме-
чанием) дает решение задачи прогноза для регулярной последо-
вательности. Покажем, что на самом деле тот же ответ остается
в силе и для произвольной стационарной последовательности.
Точнее, пусть L =	= $ eiKnZ{dZ), F (А) = М | Z (Д)|2 и
—Л
Л(А) — лгу)Ф(е-Л)|2 — спектральная плотность регулярной после-
довательности = (£„). Тогда оценка £„ определяется формулами
(6) и (7).
В самом деле (см. п. 3 § 5), пусть
L = $ W Z (dk),	= J & (7) Zr {dK),
—л	—л
где Zr (А) — ортогональная стохастическая мера в представлении
регулярной последовательности (Г. Тогда
М {112 = $ |	- ф„ (7) р F {dK)
—Л
$ I	- ф„ (К) РГ (A) dK	| еап - <р'{К) j2 f {К) dK =
—Л	——Л
= М|&- %гп\\	(16)
Но ^п-^п=1п— V, поэтому М 1^—	= Inj2, И из
(16) следует, что в качестве ф« (X) можно взять функцию фя(7).
2. Интерполяция. Будем предполагать, что = (5„) — регуляр-
ная последовательность со спектральной плотностью / (X). Про-
стейшей задачей интерполяции является задача построения опти-
мальной (в среднеквадратическом смысле) линейной оценки по
результатам наблюдений {£„, п = ± 1, ±2, ...} «пропущенного»
значения |0.
§ 6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ и ФИЛЬТРАЦИЯ	451
Обозначим через /7° (g) — замкнутое линейное многообразие,
порожденное величинами %п, п^=0. Тогда в соответствии с теоре-
мой 2 § 3 всякая случайная величина iq е На (£) представима
в виде
т| = ф (л) Z (dk),
—л
где ф принадлежит Я° (F)— замкнутому линейному многообразию,
порожденному функциями е'}-п, п=£0, и оценка
$ $(F)Z(dX)	(17)
—Л
будет оптимальной тогда и только тогда, когда
inf М|Е0 — ij,2 — inf 11 — ф (X) |2 F (dF) —
“	<рен»(Г)_„
= $ |l-$(F)|2F(dF) = MU0-S0|2.
Из свойств «перпендикуляров» в гильбертовом пространстве
Н° (F) вытекает, что функция ф (F) полностью определяется (ср.
с (16)) двумя условиями
1) ф(Х)^77«(Г),	П8
2) l-q?(F)_L/7°(F).	V 1
Теорема 2 (Колмогоров). Пусть g = (g„) — регулярная после-
довательность о
jw<--	(19)
Тогда
=	(20>
где
С
' ((F)
—Л
и ошибка интерполяции 62 = М ( с(| — (0 j2 задается формулой 62 —
— 2л - а.
Доказательство проведем лишь при весьма строгих пред-
положениях относительно спектральной плотности, считая, что
О < с «£ / (F) С < оо.	(22)
452
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Из условия 2) в (18) следует, что для любого п^=0
п
J [l-$(A)]e^/(A)dA = O.
—Л
(23)
В силу предположения (22) функция [1 — <p(X)]f(A) принадлежит
гильбертову пространству L2([ —л, л],	—л, л], р) с мерой
/ gihn.
Лебега р. В этом пространстве система функций |	> п
± 1, образует ортонормированный базис (задача 7 § 11 гл.
II). Поэтому из (23) следует, что функция [1 — ф (7)]/р.) есть
константа, которую обозначим а.
Итак, второе условие в (18) приводит к тому, что

(24)
Исходя из первого условия в (18), определим теперь константу а.
В силу (22) (J е L2 и условие ф е Н° (F) равносильно условию,
что ф принадлежит замкнутому (в смысле нормы в L2) линей-
ному многообразию, порожденному функциями eiKn, п^О. Отсюда
ясно, что нулевой коэффициент в разложении функции ф (X) дол-
жен быть равен нулю. Поэтому
О = f ф (A) dA = 2л — а (
—л	—я
и, значит, константа а определяется формулой (21).
Наконец,
62 = mUo-LI2= $|1-ф(ХШ(А)<а=
—л
J /(А)"
—л
Теорема (при дополнительном предположении (22)) доказана.
Следствие. Если
Ф (А) = У, cheiKh,
то
1о=	£ Cft $^4Z(dA) = У Chlh.
0<\k\^N —Я
§ 6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ 453
Пример 3. Пусть /(X)— спектральная плотность из рассмот-
ренного выше примера 2. Тогда нетрудно подсчитать, что
—Л
а ошибка интерполяции равна
Х2 _ 1 I а I2
~ 1+1 а К
3. Фильтрация. Пусть (9, g) = ((6„), (£„)), п е Z, — частично
наблюдаемая последовательность, где 8 — (9Л) — ненаблюдаемая,
a t == (£л) — наблюдаемая компонента. Каждая из последователь-
ностей 0 и £ будет предполагаться стационарной (в широком
смысле) с нулевыми средними и спектральными представлениями
6Л = § e!! "Z0 (dX), £л = eiKnZt (dk)
—я	—я
соответственно. Обозначим
Fe (А) = М j Z0 (А) Р, (А) = М j Zs (А)
и
Fe-S(A) = MZ9(A)Z6(A).
Кроме того, будем сцитать также, что 9 и § стационарно связаны,
т. е. их функция ковариации cov (0„, £m) = M0JU зависит лишь
от разности п — т. Обозначим Rd$ (п) = M9„g0; тогда
Z?-Se(n)= $ e^nFei(dZ).
—л:
Рассматриваемая задача фильтрации состоит в построении
оптимальной (в среднеквадратическом смысле) линейной оценки
0Л величины 0Л по тем или иным наблюдениям последователь-
ности
Совсем просто эта задача решается в предположении, что
оценка 9„ строится по всем значениям т е Z, Действительно,
поскольку 0„ = lQl (9Л| И (I)), то найдется такая функция фл (X),
что
9«= $ cp„(Z)Zs(dX).
—л
(25;
454
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Как и в пп. 1 и 2, условия, которым должна удовлетворять
«оптимальная» функция фл(А), состоят в том, что:
1) ф„(Л)еЯ(Г0,
2) 0Л-0л_1_я(£).
Из последнего условия находим, что для любого meZ
$	(dA) — J e~‘f-m(pn (X)Ft (dty = 0.	(26)
—л	— Л
Поэтому, если предположить, что функции Fe^(Z) и F*. (7) имеют
плотности ferity и Д(7), то из (26) получим
$ е^п-т) (Х) _ е-^фп (7) (X)] d). = 0.
—Л
Если (X) > 0 (почти всюду по мере Лебега), то отсюда сразу
находим, что
фл(А)=е^ф(Х),	(27)
где
ф(Л)=^(*)-/|М
и /® (7) —«псевдообращение» f%(K), т. е.
It ( f to, /5(Х) = 0.
При этом ошибка фильтрации
М 10Л - 0Л j2 - $ [Ze (X) - Д (%) Z? (A)] dk	(28)
— Л
Как нетрудно проверить, ф„ е Н (F^) и, следовательно, оценка
(25) с функцией (27) является оптимальной.
Пример 4. Выделение сигнала из смеси с шумом. Пусть
?я = 6« + Лл> гДе сигнал 0 = (0„) и шум ц = (т]„) являются некор-
релированными последовательностями со спектральными плотно-
стями /а(Х) и /П(Х). Тогда
0Л = $ e;?^(Z)Z5(dZ),
—Л
где
Ф(1)=мш)+аж
а ошибка фильтрации
М / 0„ - 0Л \2 = $ [Ze (А) (А)] [/е (А) + (Л)]® dK
§ 6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ
455
Полученное решение (25) можно теперь использовать для
построения оптимальной оценки 0„+т величины вп+т по резуль-
татам наблюдений %к, k^n, где т — некоторое заданное число
из Z. Предположим, что последовательность £=(£„) регулярна
со спектральной плотностью
Ш = ±|Ф(^) I2,
где Ф(г)= akZh- Согласно разложению Вольда
*=о
СО
k = 0
где е — (8А) —белый шум со спектральным разложением
8Л= $ e^Z8(dX).
—Л
Поскольку
= М [9| Нп О = М [М [9л+т | Н О | Нп ©] = М [в^т | На (£)]
и
ёл4т= 5е'М«^)ф(Х)Ф(е-А)78(б/1)= dn+m^k,
—л
где
4 = 2^ ?^ф(А)Ф(^)А	(29)
—Л
то
9«+т — М Г ^n+m-k^k | Нп (^) .
|/г п + т
Но Ял (g) = Я„ (е), и, значит,
л
®л+т = УI dn+m-lfih ~	2е (dK) =
k - С п	—л кЛ п	J
где Ф® —псевдообращение Ф.
Итак, доказана следующая
Теорема 3. Если наблюдаемая последовательность £ — (^л)
является регулярной, то~ оптимальная (в среднеквадратиьеском
смысле) линейная оценка Ъп±т величины 8n+rn по k^n, задается
456
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
формулой
где
л
—Л
(30)
со
нт = z Ф^Ф® (е~‘к)	(31)
z=o
и коэффициенты dk определяются в (29).
4.	Задачи.
1.	Пусть £ —невырожденная регулярная последовательность
со спектральной плотностью (4). Показать, что Ф(г) не имеет
нулей при j г j < 1.
2.	Доказать, что утверждение теоремы 1 сохраняет свою силу
и без предположений, что Ф(г) имеет радиус сходимости г>1,
а нули Ф (г) лежат только в области | г | > 1.
3.	Показать, что для регулярного процесса функция Ф (г),
входящая в (4), может быть представлена в виде
(СО
2 со + У ckZh
k=-1
\z\< 1,
где
Л
—Л
Вывести отсюда и из (5.9), что ошибка прогноза на один шаг
О1 = М| £i|2 задается формулой Сеге — Колмогорова
of = 2nexp-!ij ln/(X)dJ.
I —л	'
4.	Дать доказательство теоремы 2 без предположения (22).
5.	Пусть некоррелированные сигнал 6 и шум q имеют спе-
ктральные плотности
2л ’ | 1+^-» р ’ ^^=2л ‘	’
Опираясь на теорему 3, найти оценку 6„+т величины 0„1т по
значениям k^n, где ^ = 0/г + 'Пл- Рассмотреть ту же задачу
для спектральных плотностей
ш4|2+«-‘г,
§ 7. ФИЛЬТР КАЛМАНА —БЬЮСИ И ЕГО ОБОБЩЕНИЯ
457
§ 7.	Фильтр Калмана — Бьюси и его обобщения
1.	С вычислительной точки зрения данное выше решение
задачи фильтрации ненаблюдаемой компоненты 9 по наблюдениям
£ не является удобным, поскольку, будучи выраженным в спект-
ральных терминах, оно для своей реализации требует обращения
к аналоговым устройствам. В схеме, предложенной Калманом и
Бьюси, синтезирование оптимального фильтра осуществляется
рекуррентным способом, что дает возможность реализации с по-
мощью цифровых вычислительных устройств. Есть и другие при-
чины, обусловившие широкое применение фильтра Калмана —
Бьюси. Одна из них состоит в том, что он «работает» и без
предположения стационарности последовательностей (0, £).
Ниже будет рассматриваться не только традиционная схема
Калмана — Бьюси, но также и ее обобщения, состоящие в том,
что в рекуррентных уравнениях, определяющих (0, £), коэффи-
циенты могут зависеть от всех прошлых наблюдаемых данных.
Итак, будем предполагать, что (0, g) = ((0„), (£„)) есть частично
наблюдаемая последовательность, причем
9„ = (01(/г), ..., 0А(«)),	=	....?/(«))
управляются рекуррентными уравнениями
0/г+1 = й0 (п, fy + a^n, £)е« + М«, Юе1(я+1) +
+ Ь2(п, Юе2(«+1),
Е„+1 = Л0(п, £) + 4x(n,	+	£)е1(п+1)+	>
+ Въ(гц I) 82(п+1).
Здесь eL (п) = (еи (/г), ..., elft («)), е2 (/г) = (е21 (п), .... е2/ (ц)) - неза-
висимые гауссовские векторы с независимыми компонентами, каж-
дая из которых имеет нормальное распределение с параметрами
О и 1; а0 (п, |) = (аР1 (п, £),..., аок (п, £)) и Ао (п, |) = (А01 (п, В), 
Aoi (п, £)) — вектор-функции, где зависимость от g = (Ео, ...)
входит неупреждающим образом, т. е. для фиксированного п
аП1(п, S), ..., Aci (и, £) зависят лишь от S0,	матричные
функции
ьлп, ю нт», ш, ь.2(п,	(«> ш,
В, (п, Е) = I! В$ (п, Ю |1, В, (п, I) = || В'$ (П, I) II,
«1 («, I) = II (п, Е) ||, А, (п, В) = || Л}}’ (п, |) |
имеют порядок kxk, kxl, Ixk, Ixl, kxk, Ixk, соответственно, и
также неупреждающим образом зависят от g. Предполагается
также, что вектор начальных данных (90, |0) не зависит от после-
довательностей 6] = (£х («)) и е2 = (е2 («)).
Для простоты изложения указание на зависимость коэффициен-
тов от £ в дальнейшем часто будет опускаться.
458 ГЛ. VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Чтобы система (1) имела решение с конечным вторым моментом,
/ k
будем предполагать, что М (] 0о f + j; с0 |i2) < оо	р||2 =	х},
л = (хг, ..., xt)j, I a'i'-' (п, I) j < С, I л;)’ (п, £) I ' С, и если g (п, £) —
любая из функций %, Лоу, b'ff, В1^, Ву, то М\g (п, £)|2<со,
га=0, 1, ... В этих допущениях последовательность (8, £) тако-
ва , что и М (j 6„ J2 4~ j] Sn |р) <z oo, п 0.
Пусть, далее, вГ| = а{й>: |0, .	— наименьшая ст-алгебра,
порожденная величинами Ео, ..., и
тп = М (0„) ^1), уп = М [(8„ - тл) (8Я - тп)* | J2!].
Согласно теореме 1 §8 гл. II тп = (тх (га), ..., mk (га)) является
оптимальной в среднеквадратическом смысле оценкой вектора
8„ = (8j (га), ..., 8/г (га)), а Му„ = М [(8„ — тп) (0„ - mn)*] есть матрица
ошибок оценивания. Отыскание этих величин для произвольных
последовательностей (9, £), управляемых уравнениями (1), является
весьма трудной задачей. Однако при одном дополнительном пред-
положении относительно (80, Ео), состоящем в том, что условное
распределение Р (90-ga110) является гауссовским,
Р(80<й|50)=-^=- \ е dx	(2)
V 2пу,
с параметрами m0 —т0(£0), у0==Уо(?о)> для rai„ и у„ можно вывести
систему рекуррентных уравнений, включающих в себя и так назы-
ваемые уравнения фильтра Калмана — Бьюси. -
Прежде всего установим один важный вспомогательный
результат.
Лемма 1. При сделанных выше предположениях относительно
коэффициентов системы (1) и условии (2) последовательность (9, £)
является условно-гауссовской, т. е. условная функция распределения
Р {Эо я0> • •  ,	|
есть (Р-п. н.) функция распределения п-мерного гауссовского век-
тора, среднее значение и матрица ковариаций которого зависят
от (g0, .... у.
Доказательство. Ограничимся доказательством гауссо-
вости лишь распределения Р (бл sg a j что достаточно для
вывода уравнений для тп и у„.
Прежде всего заметим, что из (1) следует, что условное рас-
пределение
Р (®л+1 : -2 alt	х | е/1, 8Л = b)
§ 7. ФИЛЬТР КАЛМАНА—БЬЮСИ И ЕГО ОБОБЩЕНИЯ
459
является гауссовским с вектором средних значений
и матрицей ковариаций
го _ f ° & b « В\
в. в/’
где Ь-Ь = ЬкЫ + ЬгЬ1 Ь-В = ЬгВ1 + ЬйВ1, • = B-JBiA-ВгВ*г.
Обозначим £л = (ел, Ы и / = (+ .... W- Тогда
М [ехр ({7*£л+1) |	0„] =
= exp|t7* (Д (и, ?)+Д(п, I) 6п) — у /*В(п, Ш}- (3)
Допустим теперь, что утверждение леммы справедливо для
некоторого п^О. Тогда
М [ехр («*Д(п, ?)6л)Ип]-
= ехр (17*Д (п, £) тп — у t* (Д (п, |)улЖ(п, |)) t. (4)
Докажем, что формула (4) останется верной и при замене п на
п+1.
Из (3) и (4) имеем
М[ехр (t7*^+1)|erl] = exp{i7* (Д(п, £)+Д(п, 1)тп) —
|)Z—у/* (Д(п, ?)?«<(«> W}-
Поэтому условные распределения
Р(9й+1<«, ++1' " х |+~п)	(5)
являются гауссовскими.
Как и при доказательстве теоремы о нормальной корреляции
(теорема 2 в § 13 гл. II), проверяется, что существует такая
матрица С, что вектор
т] = [9л+1 - М (бл+11 ^)] - С [£л+1 - М (|л+11 аГ1)]
обладает тем свойством, что (Р-п. н.)
м h (Ui - м (Ui I Л)Г ИИ = о.
Отсюда следует, что условно-гауссовские векторы ц и |л+1, рас-
сматриваемые при условии г+|, являются независимыми, т. е.
Р(п е А, |п+1еВИ1) = Р(цеДИп)-Р(и1еВ[^)
для любых А е (КА), В е (R1).
400
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Поэтому, если s = (sL, ..., sA), то
М [exp (fs*9„+1) | </"1, £„+1] =
= M {exp(is* [m (en+11^) + n + C[Ui - M (Ui!Л)]])|«?1, Uj «
= exp {ts* [M(9 n+1 I ^n) 4" C [^n+1 --- M (?n+l I ®^л)]} X
X M [exp (/s*Ti) I «rL сл+1] = exp [is* [M (0„+1 {efty] +
+ C [U - M (L+i! ^)]} M (exp (ts*q) |	(6)
В силу (5) условное распределение Р (rj • у [ в?1) является
гауссовским. Вместе с (6) это доказывает, что условное распре-
деление Р (9л+] «с а | a^n+i) также является гауссовским.
Лемма доказана.
Теорема 1. Пусть (9, 1-) —частично наблюдаемая последова-
тельность, удовлетворяющая системе (1). Тогда (тп, уа) подчи-
няются следующим рекуррентным уравнениям:
mn+i == [а0 + Aim™] + [Ь ’ В + И1улЛ?] [В • В + Л^А?]© х
х [s»+i — Ло Л1/пл],	(7)
?п+1 = [агупаХ А-Ь°Ь] — [Ь°В + (hynA Г] х
Х[В.В + Л1ТчЛ?]®.[&.В + а1Т„Л!]*. (8)
Доказательство. Из (1)
М (бга+1 |	— а0 4~ aimn, М (gn+1 I Я^п) =“ Ло -р ЛхШл (9)
И
9л+1 — М (9л+1 [	= Щ [9Л — m„] -|- biPi (и -j- 1) +	(п 4“ 1)> цо)
fen+i — М (?n+i | а^1) =	[9„ — тп]4- B16i (п 4-1) 4- Вае2 (п 4" !)•
Обозначим
du = cov (9n+i, 9л+11 а^п) ~
= М {[9,,ы - М (9л+11 ^)] [9я+1 - М (9„+11 ^1)]*/^!},
dia = COV (9л+1, 5л+1 | е?~п) =
= м {[9л+1 - М [9л+11 ^)] [Ux - м (U11
<^22 — COV (?л+1, ?я+1 | <г?~п) —
= м {[Ui - м (ел+1 ! ^1)] [1п+1 - м (Ui I
Тогда из (10)
du = а1уяаГ4- b'b, du^ap^At^-b’B, d22 = Л^Л? 4- В  В. (11)
§ 7. ФИЛЬТР КАЛМАНА - ВНОСИ И ЕГО ОБОБЩЕНИЯ	461
В силу теоремы о нормальной корреляции (см. теорему 2
задачу 4 в § 13 гл. II)
тп+1 = М (8я+1 I еК„, Ел+1) — М (бл+1 ' е^л) +	(?л+1 М (^л+1 | аЯ'л))
И
Ул+1 = cov (б,(+],	?л+1) —du— diztQdi*.
Подставляя сюда выражения для М (0n+i | <г71), М (£n+i j °Кп) из (9)
и для du, d12, d22 из (11) получаем искомые рекуррентные урав-
нения (7) и (8).
Теорема доказана.
Следствие 1. Если все коэффициенты а0(п, |), ..., B2(n, Е)
в системе (1) не зависят от Е, то соответствующая схема назы-
вается схемой Калмана — Бьюси, а уравнения (7) и (8) для тп и
Чп —фильтром Калмана — Бьюси. Важно подчеркнуть, что в этом
случае условная матрица ошибок у„ совпадает с безусловной, т. е.
Мул = М [(9л — тп) (9„ — т„)*].
Следствие 2. Предположим, что частично наблюдаемая
последовательность (0Я, Ея) такова, что для 0Я справедливо первое
из уравнений в (1), а для ^„ — уравнение
5„ = Л0(п-1, D + A^n-l, £)0яф-
ф-В1(«-1, Е)81(и)ф-В2(/г-1, Е)е2(л). (12)
Тогда, очевидно,
^л+1 = Л0(п, £) + 4j(rt, Е)[а0(я, B) + ai(«, Е)0л +
ф- К (п, Е) щ (п ф-1) ф- (п, Е) е2 (п ф- 1)] ф- Bi (п, £) 8j (пф-1) ф-.
ф-В2(п, £;) е2 (/г ф- 1),
и, обозначая
Ло — Ао ф- Л1«о, Ах — А1Д1,
B^Aibr + Bi, В% — ФрС ф- В2,
получаем, что рассматриваемый случай также укладывается в схе-
му (1), а тп и уя удовлетворяют уравнениям (7) и (8).
2.	Обратимся к линейной схеме (ср. с (1))
0л+1 — Ио Ф' аФп ф- о2Ея ф- bi&i (п ф-1) ф- Ь2е2 (п ф- 1),
t„+i — Ао ф- Л20я ф- A2S,n ф- BiSi (п ф- 1) ф- S2ea (и ф-1),
где все коэффициенты с0, ..., В2 могут зависеть от п (но не от Е),
а 8у(п) — независимые гауссовские случайные величины с Me;/ (и) = О
И Me?/ (n) = 1.
Пусть система (13) решается при начальных значениях (60, g0)
таких, что условное распределение Р (0О -С а | £0) является гаус-
совским с параметрами m0 = М (0О j £0) и у0 = cov (0О, 9о|£о) = Муо.
462
ГЛ. VI СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Тогда в силу теоремы о нормальной корреляции и (7), (8) опти-
мальная оценка т„ = М(9„| еТ'п) является линейной функцией от
|о> В1> • •  >
Это замечание позволяет доказать следующее важное утверж-
дение о структуре оптимального линейного фильтра при отказе
от предположений гауссовости.
Теорема 2. Пусть (в, g) = (9„, £я)л>о — частично наблю-
даемая последовательность, удовлетворяющая системе (13),
где e.ij (п)—некоррелированные (случайные величины с Ме,у(п)=0,
Ms^(n) = l, а компоненты вектора начальных значений (90, g0)
имеют конечный второй момент. Тогда оптимальная линейная
сценка тл= l91(6rt|g0, ...» g„) удовлетворяет уравнениям (7) с
а0(п, В) = a0(n) + a2(n)ln,^ А(«, J) = А («) + А («) U « мат-
рица ошибок = 1VI [(б„ — /и„) (9„ — тл)*] — уравнениям (8) с началь-
ными данными
m0 = cov(90, g0)cov®(g0, g0)-g0,	и
То = cov (90, 90) - cov (90, g0) cov® (go, go) cov* (90, g0).
Для доказательства этой теоремы понадобится следующая лемма,
раскрывающая роль гауссовского случая при отыскании оптималь-
ных линейных оценок.
Лемма 2. Пусть (а, Р) — двумерный случайный вектор
М (а2 + Р2) < оо, а (а, р) — двумерный гауссовский вектор с теми же
первыми и вторыми моментами, что и у (а, Р), т, в.
Ма' = Маг, Мр1 = Мр', i = l, 2, Мар = Мар.
Пусть ‘к (Ь) — линейная функция от b такая, что
X (/?) = М (а | р = &).
Тогда Х(р) является оптимальной (в среднеквадратическом смысле)
линейной оценкой а по р, т. е.
l9l (а | Р) = Х(Р).
При этом MX (Р) = Ма.
Доказательство. Прежде всего отметим, что существование
линейной функции Х(Ь), совпадающей с Ма( | р = 0, вытекает из
теоремы о нормальной корреляции. Далее, пусть \ (Ь) — какая-то
другая линейная оценка. Тогда
М[а-Х®]аЭ=М[а-Х®р
и в силу линейности оценок 1(b) и 1(b) и условий леммы
М [а -1 (Р)]2 = М [а -1 (р)]2	М [а -1 (Р)Г = М [а -1 (р)]\
§ ? Фильтр калмана-бьюси и его обобщения	463
что и доказывает оптимальность Хф) в классе линейных оценок.
Наконец,
MZ(₽) = MA(p) = M[M(a|₽)] = Ma = Ma.
Лемма доказана.
Доказательство теоремы 2. Наряду с (13) рассмотрим
систему
®n-ri —	+	+ а2?л + (п + 1) + ^283 (и + 1)>	/15)
In+i — ^0 + "419л 4~ "42fn + ^iei (п + 1) + Л2е2 (п 4- 1),
где ёу- (п) — независимые гауссовские случайные величины
с МЁгу(п) = 0 и М8//(п) = 1. Пусть также (б0, £0) — гауссовский
вектор, имеющий те же первые моменты и ковариации, что и
у Фо, ?о), и не зависящий от ёц (п). Тогда в силу линейности
системы (13) вектор (во,.... Ол, Во, .... |л) является гауссовским,
и, значит, утверждение теоремы следует из леммы 2 (точнее, из
ее очевидного многомерного аналога) и теоремы о нормальной
корреляции.
Теорема доказана.
3.	Рассмотрим несколько примеров, иллюстрирующих теоремы
1 и 2.
Пример 1. Пусть 0 = (О„) и г] —(ц„)—две стационарные
(в широком смысле) некоррелированные случайные последователь-
ности с М9„ = Мт]л = 0 и спектральными плотностями
fe W 2л | 1	12 ’	2л | 1 4-£>ае'г?" |2 ’
где |М< 1, 1Ы< 1«
В дальнейшем будем интерпретировать 9 как полезный сигнал,
а г] - как шум и предполагать, что наблюдению подлежит после-
довательность £ = (|„) с
^ = 6п4-т]л.
Согласно следствию 2 к теореме 3 из § 3 найдутся (некоррели-
рованные между собой) белые шумы ех = (ех (ц)) и е2 == (е2 (ft))
такие, что
®л+1 + ^19/г = 81 (fl)> Ля+1 + ^2Ля = е2 (tl)-
Тогда
£я+1 = Эл+1 + Ля+1 — — &Фя — ^гЛя + ei (fl) + е2 (п) =
= — b2 (0„ 4- л„) - 0 я (Ь1 — Ь2) 4- ех (п) 4- е2 (П) =-
" — ^2^« — (bi — Ь2) 6„ 4- ех (п) 4- 82 (и)-
464
ГЛ, VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Тем самым для 8 и | справедливы рекуррентные уравнения
6л+1 = — &10/г 4* 81 (/г),
?л+1 = — (bi — b2) 9„ — b£n -J- 8i (п) -J- е2 (п)
и, согласно теореме 2, тл = М(9„|Е0, .... £„) и у„ = М (9„ — т„)г
удовлетворяют следующей системе рекуррентных уравнений опти-
мальной линейной фильтрации:
тп+1 = —bimn -
?П+1 — ЬЪ]п + I
+ <*. - w т, + M.J,
[1+&! (VW
— Ъ^уц
(И)
Найдем начальные значения т0 и у9, при которых должна
решаться эта система. Обозначим dn — di2 —	d22 = М’?л.
Тогда из (16) находим, что
dn — bidn 4* 1,
dn — bL (bi — b2) du + bib.2di2 4-1,
^22 — (bi — b2)2 du 4* b2d2J 4- 2b2 (bt — b2) dl2 4- 2,
откуда
л _ 1 л _ 1 л
aH l-bf	-	Jap
что в силу (14) приводит к следующим значениям начальных
данных:
0 d22*> 2-b^b^’
v	________1-Я________1	’
Yo	d^-i-65	(i-b‘4(2-6i-b'4~ 2-bi-bf
Итак, оптимальная (в среднеквадратическом смысле) линейная
оценка тп сигнала 9„ по Ео, ..., с„ и среднеквадратическая ошибка
уп определяются из системы рекуррентных уравнений (17), решае-
мых при начальных условиях (18). Отметим, что уравнение для
у„ не содержит случайных составляющих, и, следовательно, вели-
чины у„, необходимые для отыскания значений тп, могут быть
рассчитаны заранее —до решения самой задачи фильтрации.
Пример 2. Этот пример поучителен с той точки зрения, что
показывает, как результат теоремы 2 может быть применен для
отыскания оптимального линейного фильтра в задаче, где после-
довательности (0, Е) подчиняются (нелинейной) системе, не сов-
падающей с системой (13).
Пусть е1 = (в1(и)) и 83 = (е2 (/г)) — две независимые гауссовские
последовательности, состоящие из независимых случайных вели-
чин с Msj(ri) = O, Me4(n)=l, n^al. Рассмотрим пару последова-
§ 7 ФИЛЬТР КАЛМАНА—БЬЮСИ И ЕГО ОБОБЩЕНИЯ
465
тельностей (0, |) = (0„, £я), я 3=0, с
9»+1=	4~ G 4- ®л) е1 (я 4- 1)>	(191
£л+1 = 40„ + е2 (/г + 1).
Будем считать, что 0О не зависит от (е1( е2) и В0^^(т0, у0).
Система (19) является нелинейной, и непосредственное приме-
нение теоремы 2 невозможно. Однако если положить
ё’1 (п + 1) = —ej (п + 4),
1V 7 Ум(1 + 0„)2
то замечаем, что Мех(я) = 0, Met (я) 81 (/л) = О, я=4ш, Мё1(«)= I.
Поэтому наряду с (19) исходная последовательность (0, £) подчи-
няется также линейной системе
®п+1	-j- bi\ (я 1),
£л+1=	4~ е2 (° 4" О,
(20)
где bv = У"М (1 + 0„)2, а (л)} — некоторая последовательность
некоррелированных случайных величин.
Система (20) является линейной системой типа (13) и, следо-
вательно, оптимальная линейная оценка т:1 = М (0„|?0,	£«) и
ее ошибка у„ могут быть определены в соответствии с теоремой 2
из системы (7), (8), принимающей в рассматриваемом случае сле-
дующий вид:
/ип+1 = ахтп 4- 'птйт" [B»+i - 4 itnn},
1 "1“ А хУп
(MlVrc)2
14-Л1ул ’
Тп+1 = («21Тп4-^1)
где Ь1 = К М(1~г0,;)2 должно быть найдено из первого уравнения
системы (19).
Пример 3. Оценка параметров. Пусть 9 = (01, ..., 9*)—гаус-
совский вектор с М0 = яг и cov (8, 0)=у. Предположим, что (при
известных т и у) ищется оптимальная оценка 6 по результатам
наблюдений за /-мерной последовательностью £ = (£„), я5=0, с
U! = 40(n, £)4-А(я, ^)0 4-В1 (я, а)61(я+1), t()--=0, (21)
где fij —те же, что и в системе (1).
Тогда из (7), (8) для яг„ = М (0 | <^1) и уп находим, что
т/г+1 = т„ + у„АЦп, £) [(В^В?) (и, ^) + Д, (я,	Ю]®х
х|Ът—40(я, Q-Ar(ti, 1)тп],	(22)
Тп+1 = Уя-ь4Г(я, Ш(ад*)(«> В) 4-Л (я, ?)у«4Г(я, g)]®X
хЛ^я, |)ул.
466
ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Если матрицы Bj_B* являются невырожденными, то решения
системы (22) задаются формулами
тп+1
Е + У 5 АЦт; ЩВ^-Цт, £) АЦт, I)
т=0
X т + у^АЦт, ^(В^-Цт, 1)^т+1-А0(т, £)) ,	(23)
?я+1= Е + у 2 АЦт, ЩВ.ВГГ^т, $ А^т, £)
т=0
где Е — единичная матрица.
4.	Задачи.
1.	Показать, что для схемы (1) векторы тп и 6„ — тп не кор
релированы:
М [т'п (8 — тп)] = 0.
2.	Пусть в схеме (1) у0 и все коэффициенты, за исключением,
быть может, коэффициентов а0(п,	А0(п, £), не зависят от
«случая» (т. е. от |). Показать, что тогда условная ковариация
уп также не зависит от «случая»: ул = Мул.
3.	Показать, что решения системы (22) задаются форму-
лами (23).
4.	Пусть (0, |) = (0Л, ^„) — гауссовская последовательность,
удовлетворяющая следующему частному виду схемы (1):
6«+1 = aQn ber (п + 1),	£л+1 = А9п -{-Вг2 (п + !)•
Показать, что если А =/= 0, Ь Ф 0, В 0, то предельная ошибка
фильтрации у = lim уп существует и определяется как положи-
п->со
тельный корень уравнения
ГЛАВА VII
ПОСЛЕДОВАТЕЛЬНОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН,
ОБРАЗУЮЩИЕ МАРТИНГАЛ
§ 1.	Определения мартингалов и родственных понятий
1.	Исследование зависимости между случайными величинами
осуществляется в теории вероятностей разными способами. В тео-
рии стационарных (в широком смысле) случайных последователь-
ностей основным показателем зависимости является ковариацион-
ная функция и все выводы этой теории полностью определяются
свойствами этой функции. В теории марковских цепей (§ 12 гЛ. I
и гл. VIII) основной Характеристикой зависимости служит пере-
ходная функция, которая полностью определяет эволюцию слу-
чайных величин, связанных марковской зависимостью.
В настоящей главе (см. также § 11 гл. I) выделяется доста-
точно обширный класс последовательностей случайных величин
(мартингалы и их обобщения), для которых изучение зависимости
проводится методами, основанными на исследовании свойств ус-
ловных математических ожиданий.
2.	Будем предполагать заданным вероятностное пространство
(Q,	, Р) с выделенным на нем семейством (аГ„) о-алгебр
«ЭгО, Таких, ЧТО S aFj S . . . S aF.
Пусть Xo, X1( ... — последовательность случайных величин,
заданных на (Q,	, Р). Если для каждого п^О величины Хп
являются „-измеримыми, то будем говорить, что набор X =
=• (Хя, aFn), «^=0, или просто Х = (ХЛ, аТ'л) образует стохасти-
ческую последовательность.
Если стохастическая последовательность X = (X„, aFn) к тому
же такова, что для каждого «^1 величины Х„ являются J~n-r
измеримыми, то будем это записывать в виде Х = (Х„, eF„_j),
считая еГ_! = вГо, и называть X предсказуемой последователь-
ностью. Такая последовательность будет называться возрастаю-
щей, если Х9 = 0 и Хлй£:Х„+1 (Р-п. н.).
Определение 1. Стохастическая последовательность Х =
•-= (Хп, aF„) называется мартингалом (субмартингалам), если для
468
ГЛ. VII. МАРТИНГАЛЫ
всех п^О
M|X„j<oo,	(1)
М (Хя+11 вГя) = Х„ (Р-п. н.).	(2)
О)
Стохастическая последовательность X = (Хя, sF„) называется
супермартингалом, если последовательность — Х = (—Х„, efn)
есть субмартингал.
В том частном случае, когда ^п — где = о{<о: Хо,...
..., Хп\, и стохастическая последовательность Х = (Х„, -JCf) об-
разует мартингал (субмартингал), будем говорить, что сама по-
следовательность (Хл)п>о образует мартингал (субмартингал).
Из свойств условных математических ожиданий легко выво-
дится, что условие (2) эквивалентно тому, что для любого /г 2s О
И Ле
5 Xn+LdP =Л XndP.	(3)
А	<»А
Пример 1. Если (£„)«>о — последовательность независимых
случайных величин с М?я = 0 и Х„ = £о-|~.. . + еУп =
— а {со: Но, ..., Вя}, то стохастическая последовательность
X = (Хп, е^п) образует мартингал.
Пример 2. Если (£я)п> о —последовательность независимых
случайных величин с М£л=1, то стохастическая последователь-
ность Х = (Х„, еУя) с = eF'„ = o{co: g0, ..., £„} также
k = 0
образует мартингал.
Пример 3. Пусть с — случайная величина с М1^|<оо и
еТ'о —	- Тогда последовательность X = (Х„, <^п)
с Хп = М (£ | аТ'д) является мартингалом.
Пример 4. Если (g„)n>о —последовательность неотрицатель-
ных интегрируемых случайных величин, то последовательность
(Х„) с Хп — £0Ч-Вя образует субмартипгал.
Пример 5. Если X = (X„, aF„) — мартингал и g(x) — выпук-
лая книзу функция с М | g (Х„) | < оо, n^sO, то стохастическая
последовательность (g(Xn), ^п) является субмартингалом (что
следует из неравенства Йенсена).
Если Х = (Х„, еГя) —субмартингал, a g (%) — выпуклая книзу
неубывающая функция с М [ g (Хя) | < оо для всех п т- 0, то
(g(Xn), еУя) также является субмартингалом.
Сделанное в определении 1 предположение (1) гарантирует суще-
ствование условных математических ожиданий М (Хл+11 </"„),
n^sO. Однако эти условные математические ожидания могут
существовать и без предположения M|Xn+i|<;co. Напомним,
§ 1. ОПРЕДЕЛЕНИЕ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИЙ 459
что, согласно § 7 гл. II, М (XJ-j-i | <^п) и М (X„4-i |aF„) определены
всегда, и если (мы пишем А—В (Р-п.н.), когда Р(ДДВ)=0)
{®: M(XJ+i |aF„)<oo}U{co: М (Хя | aF„) < 00} = Q (Р-п.н.),
то говорят, что М (Хя+11 аГ„) также определено и по определению
полагают
м (Хя+11 ^п) = М (Х£+1 и„) - М (Хя+! I сГя).
Исходя из этого, становится естественным следующее
Определение 2. Стохастическая последовательность Х =
е= (Хя, аУ,,) называется обобщенным мартингалом (субмартинга-
лом), если для каждого njsO определены условные математиче-
ские ожидания М(Хя+1|е?'я) и выполнено условие (2).
Заметим, что из этого определения вытекает, что для обобщен-
ного субмартингала М (X„+) | aF„) < 00, а для обобщенного мар-
тингала М (| Хя+11 И„) < ею (Р-п. н.).
3.	Вводимое в нижеследующем определении понятие марков-
ского момента играет исключительно важную роль во всей рас-
сматриваемой далее теории.
Определение 3. Случайная величина т = т(со), принимаю-
щая значения во множестве {0, 1, ..., 4-сю}, называется марков-
ским моментом (относительно системы (гГ„)) или случайной вели-
чиной, не зависящей от будущего, если для каждого
{т = tl} ё= aFre.
(4)
В случае Р (т < сю) = 1 марковский момент т будем называть
моментом остановки.
Пусть X = (Хп, <fn) — некоторая стохастическая последователь-
ность и т — марковский момент (относительно системы (а^я)).
Обозначим
СО
Xt = У, Хп1 {Т=я} (со)
п— О
(тем самым Xt —О на множестве {со: т = оо}).
Тогда для каждого В е е® (R)
{со: Хх ge В} = 2 {Хя е= В, т = п} е
п = 0
и, следовательно, Хх является случайной величиной.
Пример 6. Пусть Х = (ХЯ, aF„) — некоторая стохастическая
последовательность и В е <33 (R). Тогда момент (первого попада-
ния в множество В)
тд = inf {ne==0: X„efl}
470
ГЛ. VII. МАРТИНГАЛЫ
(с Тв= + со, если {-} = ф) является марковским, поскольку для
любого
{Тв = п} = {Хо В, ..., Хп^ ф В, Хп е В} е sFп.
Пример 7. Пусть X — (Хп, sF„) — мартингал (субмартингал)
и т —марковский момент (относительно системы (sF„)). Тогда
«остановленная» последовательность Xх — (ХпЛх, <^п) также обра-
зует мартингал (субмартингал).
В самом деле, из соотношения
п — 1
Xn/\x" 2 %-т1 т} + Х-пЦх^п}
т =0
следует, что величины ХпЛх ^„-измеримы, интегрируемы и
Х(п 4- 1>дт Xn^x = 1 {Х>П} (Ая+1 А„),
откуда
М [Х(Л_|_ 1)дт — Хп^х | sFп] = / {т>п] М [Хя+1 — Хп | sFи] — 0.
С каждой системой (sF„) и марковским моментом т относи-
тельно ее можно связать совокупность множеств
<fx = {A^e7': Л {т = л} е sFn для всех nssO}.
Ясно, что QeeFt и аГц замкнуто относительно взятия счетных
объединений. Кроме того, если	то А(]{т = я} =
= {т = я}\ (Л П {т = n}) е aF„ и, значит, А <= aFt. Отсюда сле-
дует, что sFt является о-алгеброй.
Если трактовать aF„ как совокупность событий, наблюдаемых
до момента времени п (включительно), то тогда <УХ можно пред-
ставлять как совокупность событий, наблюдаемых за «случайное»
время т.
Нетрудно показать (задача 3), что случайные величины т и
Хх являются ^-измеримыми.
4.	Определение 4. Стохастическая последовательность
X = (Хп, „) называется локальным мартингалом (субмартинга-
лом), если найдется такая (локализующая) последовательность
марковских моментов, что t*^ta+i (Р-п. н.), t^oo
(Р-п. н.), £->оо, и каждая «остановленная» последовательность
= (XTftA„  /{rft>o}> ®F„) является мартингалом (субмартин-
галом).
Ниже в теореме 1 показывается, что на самом деле класс
локальных мартингалов совпадает с классом обобщенных мартин-
галов. Более того, каждый локальный мартингал может быть
получен с помощью так называемого мартингального преобразо-
§ 1. ОПРЕДЕЛЕНИЕ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИИ
471
вания из некоторого мартингала и некоторой предсказуемой
последовательности.
О п р ед е л ен и е 5. Пусть П=(КЛ, гГл),г>о —стохастическая
последовательность и V = (Vn,	— предсказуемая последова-
тельность (3Я'_1 = аЯ'о). Стохастическая последовательность V -Y =
*=((V-Y)n, ^п) с
(У.Г)Л=УОУО+ SK-АП,-,	(5)
<= 1
где hYi— Yi— Yi-i, называется преобразованием Y с помощью V,
Если к тому же Y — мартингал, то говорят, что V-Y есть мар-
тингальное преобразование.
Теорема 1. Пусть X = (Хл, й — стохастическая после-
довательность с Хо = 0 (Р-п. н.). Следующие условия являются
эквивалентным и:
а)	X — локальный мартингал-,
b)	X — обобщенный мартингал-,
с)	X — есть мартингальное преобразование, т. е. существуют
предсказуемая последовательность V = (Vn, <^”«-1) с Vo = 0 и мар-
тингал Y = (УЛ, </"„) с Yo — Q такие, что X=V -Y.
Доказательство, а) => Ъ). Пусть X —локальный мартин-
гал и (тА) — его локализующая последовательность марковских
моментов. Тогда для любого т^О
М [| Xm^T/J/{тА>о)] < °0,	(6)
и тем самым
М [j Х(п+ I /{ТА>Л} ] = м [| Хл+111{Tft>л) ] < со. (7)
Случайная величина /{тл>«} является <ЛЛ-измеримой. Поэтому из
(7) следует, что
М [| Хл+1 | I {тА>п) I == 7{Т/;>Я)М [; Хл+1 71 aF;J <7 ОО (Р-П. H.).
Здесь 7{т/г>»г}-* 1 (Р-п. н.), &->-оо, и значит,
М[|Хл+1|Ил]<оо (Р-п. н.).	(8)
В силу этого условия М [Хл+11 аУп] определено и осталось лишь
показать, что М [Хл+11 оХл] = Хп (Р-п. н.).
Поскольку Хт*—мартингалы, то для любого множества Де
е^л из (6) находим, что величины ХпЛ1\rki>n} и	ин-
тегрируемы и
Хл+1^Р= Хп dP,
ЛП(тА>п)	ЛП{тА>п}
472
ГЛ. VII, МАРТИНГАЛЫ
Но {т* > п} f Q, k оо, поэтому
5 -^л+l	~	^«^"/1!
А	А
что и доказывает требуемое равенство М [Хл+11aF„] = Х„ (Р-п. н.).
Ь) => с). Пусть ДХ^Х^Х^, Хо = О и Уо = О, Vn -
— М [| ДХп 11 eFn-i], п 2г 1. Положим Wn = V®, Yo = 0 и
Ул = 2 W^Xi, п^\.
i = i
Ясно, что
М [| АУЛ11	1, М [АУЛ |	= О,
и, следовательно, Y = (Yn, есть мартингал. Далее, Хо —
= Уо-Уо = 0 и А(V • Y)n = ДХп. Поэтому
X = V • Y.
с) => а). Пусть X = V • Y, где V — предсказуемая последова-
тельность, У —мартингал и Уо=Уо = О. Положим
тА = inf {n^s0: | Ул+1|>/г},
считая т* = оо, если множество {-}=Ф. Поскольку Vn+1 являются
^„-измеримыми, то для каждого /г2И величины т* являются
марковскими моментами.
Рассмотрим «остановленные» последовательности Х'Г* = ((У-
•	^п)- На множестве {т*>0} действует неравен-
ство: | У«лт/; | Отсюда следует, что для любого п2г!
М|(У-У)лдт/{тА,>0}|<оо. Далее, для /г 2^1
М {[(У • У)(« + 1) Ktk — (V • Y)n д Tft] | eYn] =
= ЛТА>0} ’	+ M {У(п + 1)Д rh — Yn/\xk | «}= 0.
поскольку (см. пример 7) M {У(„+1)дтА —УпдтА |«^л}= 0.
Итак, для каждого /г 2=1 стохастические последовательности
являются мартингалами, т* f оо (Р-п. н.), и, следовательно,
X — локальный мартингал.
Теорема доказана.
5. Пример 8. Пусть (т)л)п>1 — последовательность независи-
мых одинаково распределенных бернуллиевских случайных вели-
чин с Р (т)„ = 1) = р, Р(г)л = —1) = <7, p-t-q — O. Будем интерпре-
тировать событие (т)л—1} как успех (выигрыш), а событие
{т]/г =—1} как неуспех (проигрыш) некоего игрока в n-й партии.
5 1. ОПРЕДЕЛЕНИЕ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИИ 473
Предположим, что его ставка в n-й партии есть Vn- Тогда сум-
марный выигрыш игрока за п партий равен
Хп = 2	= Х^ + УвЯя, Хо = 0.
Г=1
Вполне естественно, что величина ставки V„ в n-й партии может
зависеть от результатов предшествующих партий, т. е. от У1, ...
.... Vn-i «%,..., !]„_!. Иначе говоря, если положить е7’()=={ф, Q}
и «7"л = о{®: r)lt ..., т]л}, то Уп будет aF,,-!-измеримой случайной
величиной, т. е. последовательность V = (V„, определяю-
щая «стратегию» игрока, является предсказуемой. Полагая У„ =
= Л1 + - • • + находим, что
хл=£№
1=1
т. е. последовательность X = (Хп, еУп) с Хо = 0 есть преобразо-
вание Y с помощью V.
С точки зрения игрока, рассматриваемая игра является спра-
ведливой (благоприятной или неблагоприятной), если на каждом
шаге величина ожидаемого выигрыша М (Хл+1 — Хп | aF„) — 0 (5s 0
или =с0). Поэтому ясно, что игра
справедлива, если р = д=1/2,
благоприятна, если p>q,
неблагоприятна, если p<.q.
Поскольку последовательность X = (Хп, еУп) образует
мартингал, если p = q= 1/2,
субмартингал, если p>q,
супермартингал, если p<.q,
то можно сказать, что предположение о справедливости (благо-
приятности или неблагоприятности) игры соответствует предполо-
жению о мартингальности (субмартингальности или супермартин-
гальности) последовательности X.
Рассмотрим сейчас специальный класс «стратегий» V = (У„,
<^Гл-1)л>1 с Уг=1 и для п>1 с
( 2п~1, если п. = — 1, .... гы . = — 1,
У„={ л	(9)
( 0,	в остальных случаях,	' '
смысл которых сводится к тому, что игрок, начиная со ставки
Vi=l, каждый раз увеличивает ставку вдвое при проигрыше и
прекращает игру вовсе после первого выигрыша.
Если гц =— 1, ..., т]л = — 1, то суммарные потери игрока за п
партий будут равны
^2Z-1 = 2" — 1.
£=1
474
ГЛ. VII МАРТИНГАЛЫ
Поэтому, если к тому же т]л+1 = 1, то
Хл+1 = Хп + У„+1 = —(2я — 1) 4- 2" = 1.
Обозначим т — inf{n^l: Хп=1}. Если p = q= 1/2, т. е. рас-
сматриваемая игра является справедливой, то Р (т = п) = (1/2)п,
Р(т<оо) = 1, P(Xt=l) = l и МХТ=1. Таким образом, даже
в справедливой игре, придерживаясь «стратегии» (9), игрок за
конечное (с вероятностью единица) время может вполне успешно
закончить игру, добавив к своему капиталу еще одну единицу
(MXt=l>Xo = 0).
В игровой практике описанная система игры, заключающаяся
в удвоении ставки при проигрыше и прекращении игры при пер-
вом выигрыше, называется мартингалом. Именно отсюда ведет
свое происхождение математическое понятие «мартингал».
Замечание. В случае p = q—1/2 последовательность Х =
— (Хп, Jrtl')n^o с X0 = Q является мартингалом и, значит, для
любого п 1
мхп = мх0 = 0.
Можно поэтому ожидать, что это соотношение сохранится, если
вместо моментов п рассматривать случайные моменты т. Как станет
ясно из дальнейшего (теорема 1 в § 2), в «типичных» ситуациях
MXt = MX0. Нарушение же этого равенства (как в рассмотренной
выше игре) происходит в тех, так сказать, физически нереализуе-
мых ситуациях, когда или т, или | Хп | принимают слишком боль-
шие значения. (Заметим, что рассмотренная выше игра физически
нереализуема, поскольку она предполагает неограниченность вре-
мени игры и неограниченность начального капитала игрока).
6.	Определение 6. Стохастическая последовательность
£ = (£„, а^п)п^о называется мартингал-разностью, если М|£„|<оо
для всех « и
M(UI^) = 0(P-n.H.).	(10)
Из определений 1 и 6 ясна связь между мартингалами и мар-
тингал-разностями. А именно, если Х = (Хп, ^п) — мартингал, то
£ = (£„, оГл) с ?о = А^о и ^Л = ДА’Л, является мартингал-раз-
ностью. В свою очередь, если £ = (£„, есть мартингал-разность,
то Х — (Хп, с = + ... + £« является мартингалом.
В соответствии с этой терминологией всякая последовательность
? = (Вл)л>о независимых интегрируемых случайных величин обра-
зует мартингал-разность (с а7г"л = сг{(о: g0, glt ..., g„}).
7.	Следующая теорема проясняет структуру субмартингалов
(супермартингалов).
Теорема 2 (Дуб). Пусть X = (Хп, п) — суб мартингал. Тогда
найдутся мартингал т = (тп, п) и предсказуемая возрастающая
последовательность А = (Ап, такие, что для каждого п^О
§ 1. ОПРЕДЕЛЕНИЕ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИИ 475
имеет место разложение Дуба:
Хп = тп + Ап (Р-п. н.).	(11)
Разложение подобного типа является единственным.
Доказательство. Положим т0 = Х0, Л,=0и
тп = т0 +	[Ху+1 - М (Ху+1 | ^у)],	(12)
/=о
Л=2[М(Ху+1Иу)-Ху].	(13)
/=о
Очевидно, что так определенные т и А обладают требуемыми
свойствами. Далее, пусть также Хп = т'п + Ай, где т' = (тй, ^п)—
мартингал, а А' —(Ай, <ЛЛ) — предсказуемая возрастающая после-
довательность. Тогда
Ай+i - Ай = (Лл+1 - Д„)4-(тя+1 - тл)—(тл+1 - т'Д,
и, беря от обеих частей условные математические ожидания,
получаем, что (Р-п. н.) Дл+) — А'п = Ап+1 — Ап. Но Ло = Ло = О, и,
значит, Ап — А’п и тп = т'п (Р-п. н.) для всех
Теорема доказана.
Из разложения (11) вытекает, что последовательность А —
—(Ап, е^л-i) компенсирует Х — (Хп, еДп) до мартингала. Это
замечание оправдывает такое
Определение 7. Предсказуемая возрастающая последова-
тельность А = (Ап, <^п-1)> входящая в разложение Дуба (11),
называется компенсатором (субмартингала X).
Разложение Дуба играет ключевую роль при исследовании
квадратично интегрируемых мартингалов М — (Мп, <Д~п)п^о, т. е.
мартингалов, для которых М/ИДСоо, п^О, что основано на том
замечании, что стохастическая последовательность М2 = (М%, аД„)
является субмартингалом. Согласно теореме 2 найдутся такой
мартингал т = (тп, Д7 Д и предсказуемая возрастающая последо-
вательность (А4) = ((М)Л, eFn-i), что
< = тл + <М>л.	(14)
Последовательность (М) называется квадратической характе-
ристикой  мартингала М и во многом определяет его структуру
и свойства.
Из (12) следует, что
<М)л=£М[(АЛ1у)*И/-1]	(15)
/=1
и для всех l^k
М [(Мд - W2 И/] = м [Ж - Mj I cFJ = М	I (16)
476
ГЛ. VII. МАРТИНГАЛЫ
В частности, если Мо — О (Р-п. н.), то
МЛД = М(Л1)й.	(17)
Полезно заметить, что если Мо = 0 и Мя = ?1 + ... + |я, где
(£я)—последовательность независимых случайных величин с М^ = 0
и M£i<oo, то квадратическая характеристика
<M)„ = MAn = D£i + ... + DU	(18)
является неслучайной и совпадает с дисперсией.
Если X — (Хп, <^п) и Y — (Yn, </"„) —квадратично интегрируемые
мартингалы, то положим
(X, Y)n^[(X + Y)n-(X-Y)n].	(19)
Нетрудно проверить, что (XnYn — {X, Y)n, efn) есть мартингал
и, значит, для l^6k
М [(X, - Хг) (У* - У,) I = М [<Х, Y)k - {X, Y)t I (20)
В случае, когда Хя = Sr + ...-Ня, Yn = t]i +... + г]я, где (g„) и
(т]„) — последовательности независимых случайных величин с МЕг =
= Мтр=0 и МЦСоо, Мт]? < оо, величина {X, Y)n равна
(X, У>„ = j] cov &, тр).
1 = 1
Последовательность (X, У) = ((Х, У)я, гУя-1) часто называют
взаимной характеристикой (квадратично интегрируемых) мартин-
галов X и У.
8.	Задачи.
1.	Показать эквивалентность условий (2) и ^3).
2.	Пусть о и т —марковские моменты. Показать, что г + о,
т Д ст, т V ст также являются марковскими моментами, и если
Р (ст т) = 1, то вУо Е
3.	Показать, что т и Хт являются еУт-измеримыми.
4.	Пусть У = (Ул, аУл) — мартингал (субмартингал), V — (Vn,
аУ„_1) — предсказуемая последовательность и (V  У)я — интегрируе-
мые случайные величины, п5=0. Показать, что тогда V-Y есть
мартингал (субмартингал).
5.	Пусть eFi е еУ2 s ... — неубывающее семейство ст-алгебр и
g — интегрируемая случайная величина. Показать, что последова-
тельность (Хя)п>1 с Хя = М (| | аУл) образует мартингал.
6.	Пусть	э... — невозрастающее семейство о-алгебр и
5 —интегрируемая случайная величина. Показать, что последова-
тельность (Хя)«>1 с Хл = М (£ | ^я) образует обращенный мартин-
5 г. Сохранение свойства мартингальности
477
гал, т. е.
М(Хл|Хл+1, Хл+2, ...) = Хл+1 (Р-п. н.)
для любого п 1.
7.	Пусть £1( |2, 5з, ... — независимые случайные величины,
Р (^ = 0) = Р (£, =2)= и Хп =	I-,-. Показать, что не суще-
i= 1
ствует такой интегрируемой случайной величины g и неубываю-
щего семейства о-алгебр (дЕп), что Хп = М (g | вГл). (Этот пример
показывает, что не каждый мартингал (Хп)п-^\ представим в виде
(М (g|eF'„))ra>i; ср. с примером 3 § 11 гл. I.)
§ 2. О сохранении свойства мартингальности
при замене времени на случайный момент
1. Если Х = (Хп, ^>о — мартингал, то для всякого n^sl
МХЛ = МХО.	(1)
Сохранится ли это свойство, если вместо момента п взять мар-
ковский момент т? Приведенный в предыдущем параграфе при-
мер 8 показывает, что, вообще говоря, это не так: существует
такой мартингал X и марковский момент т (конечный с вероят-
ностью единица), что
МХТ МХ0.	(2)
Следующая важная теорема описывает те «типичные» ситуа-
ции, для которых, в частности, МХх = МХ0.
Теорема 1 (Дуб). Пусть Х — (Хп, &л) — мартингал (суб-
мартингал), Г1 и т2 — моменты остановки, для которых
М|Хх. |<оо, i=l, 2,	(3)
lim |X„|dP = 0, i=l, 2.	(4)
п—> 00 |т. >/zJ
Т огда
М (XTJ eFTl) (J) ХТ1 ({T.jSsT!}; Р-п. н.).	(5)
Если к тому же Р (tj “С т2) = 1, то
МХТа <>) МХТ1.	(6)
Доказательство. Достаточно показать, что для всякого
Л £=Е х,
XXadP § XT,dP.	(7)
ЛГНТг^Т!}	ЛГЦТ^Т,}
473
ГЛ. VII МАРТИНГАЛЫ
В свою очередь для этого достаточно установить, что для любого
?МР(5) J XXldP,
А П {*! > П} П {Ti“ п)	Л р {т2 > т,} П {ц= п}
или, что то же,
$ Xr,dP(>) $ XndP,	(8)
ВП{т2>п}	ВЛ{т2>п}
где В ~ А П {гх = п} е вГд,
Имеем
5 XndP- J XndP+ $ XndP(^ XndP +
•Bfl{T2>n}	BflU^n}	Bf){T2>«}	BQ{Ta=n)
4* J M (Xn+i | aFn) dP = XXidP$ Xn±idP(^)
ВП{Х1>п}	Bp{r2==n}	ВП{т2>л+1}
(5)	xTidP+ $	x^dP^...^
ВЛ{т2>/14-2}
(<>	§ At2 dP + J Xm dP,
Bfl {nsgTa <m}	Bfl(r2>m}
откуда
J XT2dP(>) 5 XndP- $ XmdP
ВП {n<T2<m}	Вр{л<т2}
и в силу (4)
5 Х^Р^ПтГ $ XndP- $ XmdP'^
Bp{T2>n}	m-*°° Lb П {«<t2)	BP{m<T2}
$ X„dP-L™ 5 XmdP =	$ XndP,
ВП{«<т2}	т-*юВЛ{т<т2}	BQ{T2^n)
что и доказывает (8), а значит, и (5). Наконец, соотношение (6)
следует из (5).
Теорема доказана.
Следствие 1. Если существует константа N такая, что
Р(тх< N)—l, P(rasgA0 = l, то выполнены условия (3), (4). По-
этому, если к тому же P(ti^t2)=1 и X — мартингал, то
МХ0 = МХТ1 = МХг2 = МХ^	(9)
Следствие 2. Если семейство случайных величин {Хп} рав-
номерно интегрируемо (в частности, если с вероятностью единица
\Хп | sgCc сю, п^О), то выполнены условия (3) и (4).
Действительно, Р(тг>п)->0, п->сю, поэтому условие (4)
следует из леммы 2 § 6 гл. II. Далее, поскольку семейство {Х„}
равномерно интегрируемо, то (см. II.6.16))
sup М | XN | < сю.
N
(Ю)
§ 2. СОХРАНЕНИЕ СВОЙСТВА МАРТИНГАЛЬНОСТИ
479
Если т —некоторый момент остановки и X — субмартингал, то,
согласно следствию 1, примененному к ограниченному моменту
Т№Т Д N,
МХ0^МХХу.
Поэтому
M|Xtv| = 2MXt„-MXT„<2MXt„-MX0. (Н)
Последовательность Х+ = (Х£, dFn) является субмартингалом (при-
мер 5 из § 1) и, значит,
N	N
мхт\ = £ $ xfdP+ $ хмр<£ х^р +
/=0 {rW = /}	(т>А'}	/=°{TW = /}
+	? Х^ dP = МХЙ < М | X-N | =g:sup M | XN [,
{т>А}	N
что вместе с (11) дает неравенство
М (XrN [ < 3 sup М IXN I,
откуда по лемме Фату
М I Хх I 3 sup М IXN
N
Поэтому, выбирая т = тг, 1 = 1, 2, и учитывая (10), получаем,
что М | Хх. | < оо, г = 1, 2.
Замечание. В примере 8, рассмотренном в предыдущем
параграфе,
$ | Хл | dP = (2П — 1) Р {т > я} = (2я — 1) • 2-л-> 1, zi->oo,
{т>п}
и, следовательно, нарушается условие (4) (для т2 = т).
2.	Для приложений часто оказывается полезным следующее
предложение, выводимое из теоремы 1.
Теорема 2. Пусть X = (Хл) — мартингал (субмартингал) и
т — момент остановки (относительно (aF„), Тг *=а{®:Х0,...,Хл}).
Предположим, что
Мт < оо,
и для любого п^О и некоторой константы С
М{|Хл+1-Хл||^лх}<С (Р-п. и.).'}
Тогда
М | Хт | < оо
и
MXt^MX0.	(12)
480
ГЛ. VII МАРТИНГАЛЫ
Доказательство. Проверим для т2 = т выполнение усло-
вий (3) и (4) в теореме 1.
Пусть Уо = |ХоI,	Тогда |Xt|^ YJ 11
/ = о
(Т \	/ Т \	ОО	п
2 Г/Н 2 r'dp“ 2 S 2Г/<1Р=
/ = 0	/ Q \/ = 0	> п— 0 {т = п} /= О
со п	со со	со
-2 2 S Мр-2 2 ! ^-2 S г>"р.
п=0/ = 0{т = п}	j = On — j{x = n}	/ = 0{т>/}
Множество {т j} = Q\{T < /} е 1 • Поэтому
5 У^Р = 5 М[Уу|Хс, ..., XA1]dP< СР {?>=/}
{т>/)	{г>/}
и в силу (8)
M|XT|^Mf 2 Yf}^C 2 Р{т^/} = СМт<оэ. (13)
'/ = о 1	i-u
Далее, если т > п, то
п	т
2г/<2г„
,- = 0	/ = 0
и поэтому
5 | Хп I dP 5 2 У, dP.
(r>n)	{T>n) / = О
т
Отсюда, учитывая, что (согласно (13)) М	и что
/ — О
(т > п} ] ф, п-+оо, по теореме о мажорируемой сходимости получаем
п	<•	/ Т	\
lim |Хп | dP lim j ( У, YfjdP = Q.
я->со{т>д}	п -» со {т>и}	— 0	''
Тем самым выполнены условия теоремы 1, из которой следует
требуемое соотношение (12).
Теорема доказана.
3.	Остановимся на некоторых применениях доказанных теорем.
Теорема 3 (тождества Вальда). Пусть £г, t2, ... — независи-
мые одинаково распределенные случайные величины с М | Ъ | < оо и
х —момент остановки (относительно (аУй), аУ^ = о{со: ...,ЕЛ},
т ;s- l; с Мт < со. Тогда
+ +	(14)
§ 2 СОХРАНЕНИЕ СВОЙСТВА МЛРТИНГАЛЬНОСТИ
481
Если к тому же < оо, то
М {+ • • • + St) -	= D|x • Мт.	(15)
Доказательство. Ясно, что Х = (Х„,	с Хп =
— (S1 + - • • + £») —	есть мартингал с
........X„] = M[|U1-M?1|^1, ..., Ь] =
= М!^+1-М^1К2М^1,<схэ.
Поэтому по теореме 2 МХТ = МХ0 = Д что и доказывает (14).
Аналогичные рассмотрения, примененные к мартингалу У —
= (Yn, оЕп) с У„ = Х„ —nDEj, приводят к доказательству соотно-
шения (15).
Следствие. Пусть £2, ... — независимые одинаково рас-
пределенные случайные величины с Р (£(-= 1) = Р (Е,-=—1) = 1/2,
‘S« = Si + --- + S« и T = inf{nS==l: S„=l}. Тогда Р{т<оэ} = 1
(см., например, (1.9.20)) и, значит, Р (ST = 1) = 1, MSt — 1. Отсюда
и из (14) вытекает, что Мт = оо.
Теорема 4 (фундаментальное тождество Вальда). Пусть
g2,	— последовательность независимых одинаково распределенных:
случайных величин, S„ = g14-... + g„, п^1. Пусть <р (7) = Мс'-1,
t -сД R, причем для некоторого /0	0 <р (/0) существует и <р (t0)	1.
Если т — момент остановки (относительно (гЯ”|), sF„=a {<о: £,,...
..., S«}, т2=1) такой, что |3П|^С ({т^=п}; Р-п. н.)иМт<оо,
то
Г t.s, з
рот
“Ы"1'	<16>
Доказательство. Положим
=	(<р (Q)-\
Тогда У = (У„, аг1)я>1 есть мартингал с МУ„=1 и на множе-
стве {т^п}
М{|Уп+1-^ПЛ, .... ^} = Глм{^-1
4 Ф V 0)
|«}=
= Yn  М {|е^.ф-i (/с) _ 11} в < оо,
где В — некоторая константа. Поэтому применима теорема 2, из
которой следует (16), поскольку МУ1 = 1.
Теорема доказана.
Пример 1. Этот пример служит иллюстрацией применения
вышеизложенных результатов к задачам нахождения вероятностей
разорения и средней продолжительности игры (см. § 9 в гл. I).
Пусть gj, |2,... —последовательность независимых бернуллиев-
ских случайных величин с Р = 1) = р, Р (£, = — 1) — q, Р + <7= 1,
482
ГЛ. VII. МАРТИНГАЛЫ
Sn —	+  • • + £п И
т = inf {«2s 1: Sn — B или Л},
(17)
где (—Л) и В — положительные целые числа.
Из (1.9.20) следует, что Р(т<со) = 1 и Мт<оо. Тогда, если
а = Р(£т = Л), p = P(St = B), то и + ₽ = 1, и при p = q — 1/2
из (14) находим
0 = MSt = аА 4- рв,
откуда
в+|Л|’ Р~в+|Л|’
Применяя (15), получаем
Мт = М5^=аЛ2 + рВ2 = | АВ
Если же py^q, то, рассматривая мартингал II-у) / >1’ нахо"
дим, что
мМг=мт5‘=1,
\р 1 \р /
и, значит,
Вместе с равенством сс-J-Р = 1 это дает
(18)
Наконец, учитывая, что MSt = (р — q) Мт, находим
Мт = м5т =	+
р—q p—q ’
где а и р определяются из (18).
Пример 2. Пусть в рассмотренном выше примере р = q= 1/2.
Покажем, что для всякого 0 < А. < уу" и момента т, опреде-
ленного в (17),
c»sl.?±A
M(cosX)-T=	
cos Л--1
(19)
С этой целью рассмотрим мартингал Х = {Хп, е/1)п>о с
Хп — (cos Л)-л cos Л (Sn — 5 j?
§ 2. СОХРАНЕНИЕ СВОЙСТВА МА.РТИНГАЛЬНОСТИ
483
и So = 0. Ясно, что
MX„==MX0 = cosX^±A.	(20)
Покажем, что семейство {Хгедх} является равномерно интегрируе-
мым. Для этого заметим, что в силу следствия 1 к теореме 1
при ОСХС-В^
МХ0 = МХ„Лх = М (cos X)- <"Лт) cos X (s„Ax -	>=
М (cos Л)- (nAt) cos х
Поэтому из (20)
, В + А
COS Л—i—
М (cos X)- <п Ат) -~~г
, В+ Л
COS л !-А—
и, значит, по лемме Фату
cos%^
M(cosX)-^	g + Hi-
COS %------
Следовательно, согласно (19),
I ХпДт I (cos Л)-т,
что вместе с (21) доказывает равномерную интегрируемость семей-
ства {Х„Лх}. Тогда в силу следствия 2 к теореме 1
cos X = МХ0 = МХх = М (cos Л)-т cos Л
£	л
(21)
откуда следует требуемое равенство (18).
4.	Задачи.
1.	Показать, что в случае субмартингалов теорема 1 остается
справедливой, если условие (4) заменить условием
lim X£dP = Q, г— 1, 2,
ZZ —> со {^>л}
2.	Пусть Х — (Хп, aF„)n> о —квадратично интегрируемый мар-
тингал, т —момент остановки и
lim X2ndP = 0,
п -» 00 {т> п}
lim § |X„|t/P = O,
Я-.О0 {г> п)
484
ГЛ. VII. МАРТИНГАЛЫ
Показать, что тогда
MX? = M(X>J = M jj (AX/Д
\	/ = о 1
где АХ0 = Х0, AXz = Xz —Х/_1( /^1.
3.	Показать, что для каждого мартингала или неотрицатель-
ного субмартингала Х = (Х„, аГл)л>о и момента остановки т
MIXt|==s lim М | Хп |.
/I—* СО
4.	Пусть X = (Х„, еГ„)„ > о — супермартингал такой, что X„t?s
(Р-п. н.), azSsO, где М | £ | < оо. Показать, что если ту
и т2 —моменты остановки с Р(т1^т2) = 1, то
ХТ1^ М (Хт.|еГТ1) (Р-п.н.).
5.	Пусть tj, Е2, ... — последовательность независимых случай-
ных величин с Р (£, = 1) — Р (|, =—1) = 1/2, а и b — положитель-
ные числа, Ь>а,
хп — а jp /(|/; = + i)_b у /(^ = -1)
k- I	4 = 1
и
т= inf X„=sg —г},	/->0.
Показать, что МеХт<оо при Z==ga0 и Ме?л = со при Л>а0, где
b , 2Ь . а . 2а
а0 = —i—г m —;—т~ "4" —:—г- m —;—т“-
° a-i-b а-\-Ь	а-]-Ь	а-\-Ь
6.	Пусть £1( £2, ... — последовательность независимых случай-
ных величин сМ£;=0, Dt; = о/,	= gt+ • •- + ёг., == о {ш: ^, ...
..., £л}. Доказать справедливость следующих утверждений, обоб-
I
щающих тождества Вальда (14) и (15): если М У М|^|<оо,
i= 1
т
то МЗХ = 0; если М У, М£/ •< оо, то
/= 1
т	т
MS? = M У ^ = М У о}.	(22)
/ = 1	/=1
§	3. Основные неравенства
1. Пусть X—(Х„, а^,,),, —стохастическая последовательность,
Х*= max | Х7 |, fX/»ll/> = (M|X„|₽)1/₽, р>0.
§ 3. ОСНОВНЫЕ НЕРАВЕНСТВА
485
Теорема 1 (Дуб). Пусть Х = (Х„, eF п) — неотрицательный
субмартингал, Тогда для всякого е > 0 и любого п^О
Р{Х*^8}<± (	Xnd?^^;	(1)
О	J	С
{**>4
если р>1;	(2)
«Хл|!р^||Хл|1р^-^гу{1+l|X«ln+X„!|p}, если р = 1.	(3)
Доказательство. Обозначим
T„ = min{/sC п: Х/З&е},
полагая тп = п, если шах Х7<е. Тогда, согласно (2.6),
О с п
мхи^мхТл =
= X?„dP + J XTndP^e J dP+ $ XndP.
{X*>e} П {x*<e}	"	{X*>e}	{x*<e}
Поэтому
eP{XS^e}^MX„- J X„dP = J X„dP^MX„,
{X*<s}	{X*>e}
что и доказывает (1).
Первые неравенства в (2) и (3) очевидны.
Для доказательства второго неравенства в (2) предположим
сначала, что
и: Коо,	(4)
и воспользуемся тем фактом, что для любой неотрицательной
случайной величины g и г >О
МГ = г^ t^P^^dt.	(5)
О
Тогда из (1) и теоремы Фубини получаем, что для р>1
М(х^=ррмэ{х^О^ррр’У J 0 0 \{**> =р Г tp-2 Г J хп1 {Х*> 01 dt=p^Xn о La	J	a = ^rM[Xn(XSr1].	XndP'\dt== 4	/ уЧ» Xft J tP-^dt dP = 0 (6)
486
ГЛ. VII МАРТИНГАЛЫ
Отсюда по неравенству Гёльдера
М (Х*)р < q || Хп ||р • ЦДОХ-11|9 = <71 Х„ 1|р [М (Х*)р]’/?,	(7)
р
где 9=^т-
Если выполнено (4), то из (7) сразу получаем второе нера-
венство в (2).
Если же условие (4) не выполнено, то следует поступить таким
образом. Рассмотрим в (6) вместо Х„ величину (Х*ДЕ), где L —
некоторая константа. Тогда получим
М (X* ДЕ)р ==£ qM [Хп (Х*п Д^р-1] < q I Хп ||р [М (X* ДТ)Р]1/Р,
откуда в силу неравенства М (Х*ДТ)Р ==£//< оо следует, что
М (Х*ДЕ)Р qP^Xpn ^qP'Xn ll£
и, значит,
М(Х;)Р== lim М(Х^ДЛ)р<7Р,|ХлЕ.
L —» со	р
Докажем теперь второе неравенство в (3).
Снова применяя (1), находим, что
МХ*-1££М(Х,1-1)+ = ^
о
P{X^-15sO^<
XndP dt = MXn
_^_=мхя1пх,г
Поскольку для любых а^О и Ь>0
a In b «£ а 1п+п + be-1,
(8)
то
МХ^ - 1 MX„ In X* < МХ„ 1п+ Хп + e-wx*.
Если МХ„<схэ, то отсюда сразу получаем второе неравенство (3).
Если же МХл = оо, то следует поступить, как и выше, перейдя
от величин Хп к Х*ДЕ.
Теорема доказана.
Следствие 1. Пусть Х = (Х„, </"„) —квадратично интегри-
руемый мартингал. Тогда Х2 = (Х„, еГл) — субмартингал и из (1)
следует, что
В частности, если Х/ = £о+	где (|Д — последователь-
ность независимых случайных величин с Mt, = 0 и < оо,
§ 3. ОСНОВНЫЕ НЕРАВЕНСТВА
487
то неравенство (9) превращается в неравенство Колмогорова
(§ 2 гл. IV).
Следствие 2. Если X = (Х„, аГ„) — квадратично интегрируе-
мый мартингал, то из (2) получаем, что
M[rnaxX)j^4MX^	(10)
2. Пусть Х = (Х„, sF„) — субмартингал и
Х„ = .Л4Л4-Дл
— его разложение Дуба. Тогда, поскольку МЛ4„ = 0, то из (1)
следует, что
Нижеследующая теорема 2 показывает, что это неравенство
справедливо не только для субмартингалов, но и для более
широкого класса последовательностей, обладающих свойством
доминируемости в следующем смысле.
Определение. Пусть Х = (Х„, sF„) — некоторая неотрица-
тельная стохастическая последовательность и Л = (Ап, еР~п-1) —
возрастающая предсказуемая последовательность. Будем говорить,
что X доминируется последовательностью А, если
MXt==£MXt	(11)
для всякого момента остановки т.
Теорема 2. Если X = (Хл, еЕп) — неотрицательная стохасти-
ческая последовательность, доминируемая возрастающей предсказуе-
мой последовательностью А = (А„, то для е>0, а>-0 и
любого момента остановки х
Р{Х?^8}^-^,	(12)
Р{Х?^е}^1м(ЛАа) + Р(Лг^а),	(13)
0<р<1.	(14)
Доказательство. Положим
o„ = min {/^тДп: Х/Э^е},
считая о„ = тДп, если {.} = ф. Тогда
МЛт^МАа„^МХал> J Xa„dP^eP(X?M>e},
{х*М>е}
488
ГЛ. VII МАРТИНГАЛЫ
откуда
Р{А7л„>е}<1мЛ,
что в силу леммы Фату доказывает неравенство (12).
Для доказательства (13) введем момент
7 = inf {/: А1+1^а},
полагая у = оо, если {•} = 0. Тогда
Р{Х?^е} = Р{Х?^8, Лт<й} + Р{Х?^8, Лт>о}^
'•У Р j/j л*< а} Х( -У~ е} 4* Р {4t У'~ й} *'У
'У Р {-^tav =э= е} Р {Лт у.- а} -;У —- МЛтл?4* Р {4г Ут~ о} у
о
- У М (ЛтЛ «) + Р (Лт > а),
где использовано неравенство (12) и то, что /pt<ajX? Х*Л7.
Наконец, из (13)
«X? Ip = М (*?)р = Г Р {(*?)р S* i} dt = f Р {X? >	dt У
о	о
-у f [лхЛtl/p] dt 4- f Р {л₽	t} dt =
о	с
ЛГ1
= mJ d/4-М J (Лт/-1/р)^ + МЛг₽ = ~^-МЛтр.
0 АРХ
Теорема доказана.
Следствие. Пусть при каждом последовательности X*
и Ак удовлетворяют условиям теоремы 2 и для некоторого момента
остановки т
Л|-^-0, k->co.
Тогда
(Xft)? X о, k-+oo,
что сразу следует из неравенства
Р{т^}^~ + р{А^а},
вытекающего из (13).
3. В этом пункте будет приведен (без доказательства, но
с применениями) ряд замечательных неравенств для мартингалов,
§ 3. ОСНОВНЫЕ НЕРАВЕНСТВА
489
являющихся обобщениями неравенств Хинчина и неравенств Мар-
цинкевича и Зигмунда для сумм независимых случайных величин.
Неравенства Хинчина. Пусть К, ... —-независимые
одинаково распределенные бернуллиееские случайные величины
с Р (& — 1) = Р (S, = —1)—1/2 и {сп)п^\—некоторая последова-
тельность чисел.
Тогда для любого 0 < р < со существуют такие универсальные
константы АР и ВР (не зависящие от (сп)), что для любого п 1
У
(15)
Обобщением этих неравенств (для р^1) являются.
Неравенства а р ц н н к е в и ч а и Зигмунда. Если
t2, ... — последовательность независимых интегрируемых случайных
величин с М£г- — 0, то для р 1 найдутся такие универсальные
константы Ар и Вр (не зависящие от (£„)), что для любого
В неравенствах (15) и (16) последовательности X = (Хл) с Хп -=
П	II
= V cfy и Хп= 5] S/ образуют мартингалы. Естественно
/ - 1 ~ / = 1
задаться вопросом о том, нельзя ли обобщить эти неравенства
на случай произвольных мартингалов.
Первый результат в этом направлении был получен Буркхоль-
дером.
Неравенства Буркхольдера. Если Х — (Хп, аЕп) —
мартингал, то для всякого р > 1 существуют такие универсальные
константы Ар и Вр (не зависящие от X), что для любого п 1
ар S /йь L ?.Р пр 1| гйь L (17)
где [Х]„ — квадратическая вариация Хп,
[%]„= У (АХ,-)2, Хо = О.	(18)
/ = 1
В качестве констант Ар и Вр можно взять
Ар = [18р^Кр - I)]-1, Вр = 1 Зр^Кр - 1)>/2.
С учетом (2) из (17) следует, что
(19)
где
А^ = [18р3/2/(р — 1)]А	18р^/(р- 1)3/2.
490
ГЛ. VII МАРТИНГАЛЫ
Неравенства Буркхольдера (17) справедливы для р>1, в то
время как неравенства Марцинкевича — Зигмунда (16) верны и
для р — 1. Что можно сказать о справедливости неравенств (17)
для р = 1? Оказывается их обобщение на случай р = 1 в форме
(17) уже несправедливо, что показывает следующий
Пример. Пусть gi, ^.... — независимые бернуллиевские слу-
чайные величины с Р (£,• = 1) = Р (£,• = — 1) = 1/2 и
лДт
I = 1
где T = infbiSs 1:
I «= 1	)
Последовательность X = (Хп, является мартингалом о
=	=	п->оо.
Но
/ тДп \ 1/2
||1ЛШ=М]/И=М 2 1 = М]АДп^оо.
\/ = 1 /
Следовательно, первое неравенство в (17) несправедливо.
Оказалось, что на случай р = 1 обобщаются не неравенства (17),
а неравенства (19) (эквивалентные, если р>1).
Неравенства Дэвиса. Если Х = (Хп, п) —мартингал,
то существуют такие универсальные константы А и В, 0 < А <
< В < ею, что
А )| V[X]n Hi < ? X* |\ В || ИЖ L	(20)
т. е.
ЛМ |/ 2 (ДХ7)2^ Маглах | Хп |] < ВМ j/ £ (АХ/)2.
Следствие 1. Пусть £х, £2, ... — независимые одинаково
распределенные случайные величины, =	Если
МИК оо и М£1 = 0, то, согласно тождеству Вальда (2.14), для
всякого момента остановки т (относительно (аН)) с Мт<со
MST = 0.	(21)
Оказывается, что для справедливости (21) предположение
Мт < оо можно ослабить, если усилить требования на сами слу-
чайные величины. Именно, если
М | Bi < оо,
где 1 < г о 2, то условие Мт|/г < со достаточно для справедливости
равенства MS-t = 0.
§ 3. ОСНОВНЫЕ НЕРАВЕНСТВА
491
Для доказательства обозначим = тДп, Y = sup | ST и пусть
для t > 0 т = [/г] — целая часть числа tr. В силу следствия 1
к теореме 1 § 1 М5Т/г = 0. Поэтому для справедливости соотноше-
ния MST = 0 достаточно (согласно теореме о мажорируемой схо-
димости) проверить, что М sup I St I < оо.
п 1 п 1
Пользуясь неравенствами (I) и (17), находим
Р (/:>/) =P(TS>^; Y: /) + Р (т<tr, Y^t)^
Р (т Ss/') ~г Р ( max IST
) 1 sg / < m	' ' j
<£Р(т^И + М¥1 1 Stm
/ xm V'2
<Р(т^И + ^М 2?) <
V = i /
xm
i = i
Заметим, что (^1 = {ф, И})
м S IVГ = м 2 /(/^тт);?7г =
/=1 / = 1
i = i
О=	хт
= 2 /(/^TOT)M[UKH/--11 = M S М|Н7Г = ^Мтт,
/• = 1 1 = 1
где jv = М j Д Поэтому
Р(Г
tr) -р i 'ВЛр.ДЛт,„ =
т dP
и, значит,
о
о
J т dP dt —
s= (1 -f-5rpr) Мт1/Г -j-Br^r Jt J t~r dt ^Р =
U [xl/r
492
ГЛ. VII МАРТИНГАЛЫ
Следствие 2. Пусть М = (Мп) — мартингал с М|/И„|2г<со
для некоторого и такой, что (Л10 = 0)
у М!АМЯ|^
Z п&~г
п = 1
(22)
тогда (ср. с теоремой 2 § 3
больших чисел:
гл. IV) имеет место усиленный закон
—-->-0 (Р-п. н.), л->-оо.
(23)
В случае г = 1 доказательство проводится по той же схеме
что и доказательство теоремы 2 § 3 гл. IV. А именно, пусть
Т огда
Мп
п
и, согласно лемме Кронекера (§ 3 гл. IV) для сходимости (Р-п. н.)
п
~	М/Па^-0,
* = 1
п->оо,
достаточно, чтобы (Р-п. н.) существовал конечный предел Iimm„,
п
что в свою очередь (теоремы 1 и 4 из § 10 гл. II) имеет место
в том и только том случае, когда
Р I sup 1 mn+b — тп I el -> 0, п -+ оо.	' (24)
U>i	I
В силу неравенства (1)
у М (А Л1А)2
п
k=1
п
k - 1
п
k
=2
k=I
Поэтому требуемый результат следует из (22) и (24).
Пусть теперь г>1. Утверждение (23) эквивалентно тому
(теорема 1 § 10 гл. II), что для всякого е>0
( I Л1,-1	)
e2rP s sup —— 2sег->0, и ->• оо.	(25)
V > п 1	}
§ 3. ОСНОВНЫЕ НЕРАВЕНСТВА
493
В силу неравенства (29) из задачи 1
„ (	| М; I	1	(	\М, f	•)
e2rP < sup—г—52S/ = e2r lim Р< max —
I.______r ]	I	I	/ЛГ
ч/ и »	т —* со т tn •	J
<^М|ЛМ2'+ 2 ±М(|м/|2'-;м/-1|гг)-
/ п -Ь 1
Из леммы Кропекера и условия (22) вытекает, что
lim-TrM |Л4л|2г = 0.
Z2 —> СО'
Поэтому для доказательства (25) достаточно лишь показать, что
2 М (! М, i2' -1	i20 < оо.	(26)
/>2
Имеем
В силу неравенства Буркхольдера (17) и неравенства Гёльдера
Поэтому
Е (дм,)2
/=1
/
2 м I kAh Р'-
I =--1
M|M7|2'<M
РСз
(С, — некоторые константы), что в силу (22) доказывает оцен-
ку (26).
Последовательность случайных величин	имеет с веро-
ятностью единица предел limX„ (конечный или бесконечный)
тогда и только тогда, когда число «осцилляций между двумя лю-
быми (рациональными) числами а и b, а<С.Ь», конечно с вероят-
ностью единица. Приводимая ниже теорема 3 дает оценку сверху
среднего числа «осцилляций» для субмартингалов, которая в сле-
дующем параграфе будет использована для доказательства фун-
даментального результата о их сходимости.
494
ГЛ. VII. МАРТИНГАЛЫ
Зафиксируем два числа а и b, a<tb, и для стохастической
последовательности X = (Хп, <£~п) определим моменты:
то = О,
Ti= min{n>0: Хп^а},
T2 = min{n:>T1: Xn^b},
r2m-i = min {/г >т2т_2! хп^а},
T2m = min{n>T2OT_i: Хп'^Ь\,
полагая т* = 0, если соответствующее множество {•} пусто.
Далее, для каждого п s? 1 определим случайные величины
| 0,	если т2 > п,
(max{/n: т2от^п}, если т2^п.
По своему смыслу р„ (а, Ь) есть число пересечений (снизу вверх)
интервала [а, 6] последовательностью Хъ .... Хп.
Теорема 3 (Дуб). Пусть X = (Хп, <Уп)п^1 — субмартингал.
Тогда для любого п 1
МР„(а,
(27)
Доказательство. Число пересечений субмартингалом X =*
>= (Хп, е^п) интервала [а, 6] совпадает с числом пересечений
интервала [О, b — а] неотрицательным субмартингалом Х+ =
,— ((Хп — а)+, ^п). Поэтому, считая рассматриваемый субмартин-
гал X неотрицательным и а=0, надо доказать, что
м₽л(0,
(28)
Положим Хо = О, е^О = {0, П}, и пусть ДЛЯ 1=1, 2,
( 1, если тт <; г sC Tm+i для некоторого нечетного mt
<р, = { п	.	'
( 0, если	для некоторого четного т,
Нетрудно видеть, что
&М0, &)<2; Ф.^-Х,-:]
{ф( = 1}= U (К < 0 \ К+1 < 4]
т — нечетно
§ 3. ОСНОВНЫЕ НЕРАВЕНСТВА
495
Поэтому
(0, й) СМ У Ф, [Xt - Хн] = 2 J (Xt - X^) dP =
i=i	i = i{<p.=i}
= S $ M(X/-X,-_1|eFi_1)dP«
‘ = 4Ti=i}
= £ 5 [ицх^^-х^р^
i; ПM <x‘ i -i) - dp=мх"’
i = 1 0
что и доказывает неравенство (28).
4. Задачи.
1.	Пусть Х — (Хп, гГл) — неотрицательный субмартингал и
V — (Vn, eFn-j) — предсказуемая последовательность такая, что
О-С Vn+1 ==с Vn -ф С (Р-п. н.), где С —некоторая константа. Пока-
зать, что имеет место следующее обобщение неравенства. (1):
cP I max V/X/1 + j V^dP^'g MV/АХ/. (29)
1К/<П I f max VX,<el	/=1
U</<, ’ 1 f
2.	Пусть X = (Xn, eXn) —супермартингал. Показать, что
PI max |X7 JSsel=sS —• max M|X/|,
J e i
где C sS 3 (константа С может быть взята равной единице в слу-
чае, когда X — мартингал или когда X не меняет знака).
3.	Доказать справедливость разложения Крикеберга.: всякий
мартингал X = (Хя, <^п) с sup М X,, < с; может быть представ-
лен как разность двух неотрицательных мартингалов.
4.	Пусть Х — (Хп, вГ„) — субмартингал. Показать, что для
всякого е >» 0 и п 2s 1
ePImin X/<-el^M(X„-Xi)- J XndP^
[	f min X,<-81
^MXJ-MXl
5.	Пусть gi, E2, ... — последовательность независимых слу-
п
чайных величин, =	+ и Sm,n= У, Доказать
496
ГЛ, VII. МАРТИНГАЛЫ
справедливость следующего неравенства Оттавиани:
Р {1 “/X J S/ 1 > 2е} .min {IP Ue}
1 п
и вывести из него, что
f Р I max |5У|>2Л d^2M| S„| + 2 f Р {! Sn I > t} dt. (30)
0	J	2M j Sn [
6,	Пусть |i, {j2, ... — последовательность независимых случай-
ных величин с М£г = 0. Используя неравенство (30), установить,
что для рассматриваемого случая имеет место следующее усиле-
ние неравенства (3):
MS? 8М | Sn |.
7.	Доказать справедливость формулы (5).
8.	Доказать неравенство (8).
9.	Пусть о-алгебры аГ0, ..., таковы, что вГп s s...
...SaT„ и события Ак^Д\, k — \, .... п. Используя (13), до-
казать справедливость следующего неравенства Дворецкого: для
всякого е>0
U о ^8-}-Р
.4=1
Р
- п
Р (^й (aF*-i);>	0
.4=1
(Р-п. н.)
§ 4.	Основные теоремы о сходимости субмартингалов
и мартингалов
1.	Следующий результат, являющийся основным во всей про-
блематике сходимости субмартингалов, можно рассматривать как
вероятностный аналог того известного факта из анализа, что
ограниченная монотонная числовая последовательность имеет (ко-
нечный) предел.
Теорема 1 (Дуб). Пусть X = (Хп, efn)n>i — субмартингал о
sup М j Хп | < со.	(1)
п
Тогда с вероятностью единица существует предел limXn = Xca и
М | Хоо | < сю.
Доказательство. Предположим, что
Р (lim Хп > lim Хп) > 0.
(2)
Тогда поскольку
!ПгпХл> lim Хп} — [J {lim Хл > fr > а > lim Хп}
а<Ь	'
§ 4. ОСНОВНЫЕ ТЕОРЕМЫ О СХОДИМОСТИ	497
(а, b — рациональные числа), то найдутся такие а и Ь, что
Р {lim Хп > b > а > limX„} >0.	(3)
Пусть (а, Ь) — число пересечений снизу вверх последователь-
ностью Xi, Хп интервала (а, Ь) и Рда(о, Ь) = Етря(а, Ь).
Согласно (3.27)
и, значит,
supMX+ + |a|
MPOT(a, &) = ИтМря(а, Ь)^——г---------<со,
п	о а
что следует из (1) и того замечания, что для субмартингалов
sup М j Хп [ < со <=> sup МХЯ < со
п	п
(поскольку МХ£<М|Х„| = 2МХ£-МХП^2МХ+-МХ1). Но
условие Мр,о(а, &)<со противоречит допущению (3). Следова-
тельно, с вероятностью единица существует НтХя — Хоо, для ко-
торого из леммы Фату
М j ХЛI sup М ' Х„; < оо.
п
Теорема доказана.
Следствие 1. Если X — неположительный субмартингал, то
с вероятностью единица существует конечный предел НтХя.
Следствие 2. Если Х = (ХЯ, aF„)n>i — неположительный
субмартингал, то последовательность X = (Х„, п) с 1 сД п < оо,
Хоэ —limX„ и arа, — a (JХ7я) образует (неположительный) суб-
мартингал.
Действительно, по лемме Фату
МХЮ = М lim Хя Sc lim МХЯ MXi > — со
и (Р-п. н.)
М (Хга I <Fm) = М (lim X„ I aFm) s=s Пт М (Х„ | Хт.
Следствие 3. Если Х = (Х„,	— неотрицательный мар-
тингал, то с вероятностью единица существует IimX„.
В самом деле, тогда
sup М | Хп | = sup МХЯ = МХх < со
п	п
и применима теорема 1.
498
ГЛ. VII, МАРТИНГАЛЫ
2.	Пусть gi, £2, ... — последовательность независимых случай-
ных величин с Р(£; = 0) = Р(£г = 2) = 1/2. Тогда Х=(ХЯ, еГ|)
п
с Хп = £7?,- и о^п — о{®: ?i, .... £„} есть мартингал с МХ„=1
1= 1
и Хп-+ Хт == 0 (Р-п. н.). В то же время ясно, что М | Хп — Хсо | = 1
L1
и, значит, Х„-/»ХК. Таким образом, условие (1) не обеспечивает,
вообще говоря, сходимость Хп к Хт в смысле L1.
Приводимая далее теорема 2 показывает, что если предполо-
жение (1) усилить до предположения равномерной интегрируемо-
сти семейства {Хп} (из которой условие (1) следует согласно п. 4
§ 6 гл. II), то тогда наряду со сходимостью почти наверное
будет выполняться и сходимость в смысле L1.
Теорема 2. Пусть X — (Х„, aF„) — субмартингал, для кото-
рого семейство случайных величин {Х„} равномерно интегрируемо.
Тогда существует такая [случайная величина Х№ с М | Xaj (< со,
что при п-><х>
Хп-^Х^ (Р-п. н),	(4)
Хп Хет.	(5)
При этом последовательность X = (Хл, aF„), 1 'С п  ' со, с =
= о (U п) также образует субмартингал.
Доказательство. Утверждение (4) следует из теоремы 1,
а утверждение (5) —из (4) и теоремы 4 § 6 гл. II.
Далее, если А и т^п, то
М7д|Хте —Хсо|->0, т->оо,
и поэтому
lim \XmdP =\X^dP.
т~’хА	А
значит,
Последовательность
является неубывающей и,
\XndP^ \XmdP^ [X^dP,
AAA
откуда Хл M (Xco lаД„) (Р-п. Н.) для всех nSsl.
Теорема доказана.
Следствие. Если Х — (Хп, еТД) — субмартингал и для неко-
торого р > 1
sup М | Хп |р < оо,	(6)
п
то существует интегрируемая случайная величина Х<», для кото-
рой выполнены (4) и (5).
§ 4. ОСНОВНЫЕ ТЕОРЕМЫ О СХОДИМОСТИ
499
Для доказательства достаточно заметить, что, согласно лемме 3
§ 6 гл. II, условие (6) обеспечивает равномерную интегрируемость
семейства {Хп}-
3.	Приведем теперь теорему о свойствах непрерывности услов-
ных математических ожиданий, которая была одним из самых
первых результатов относительно сходимости мартингалов.
Теорема 3 (П. Леви). Пусть (Q, sF, Р) — вероятностное
пространство,”— неубывающее семейство о-алгебр, aFiS
Е aF2 s... s eF. Пусть g — некоторая случайная величина
с M|g|<oo и eF00 = G^|JeF„y Тогда Р-п. н. и в смысле L1
M^aF^MaiaFJ, П^ОО.	(7)
Доказательство. Пусть Хп = М (g | eF„), п > 1. Поскольку
5 |XjdP^ 5	M(|g|H/)dP=	5 R|dP
и
sup P {| Xi j ga a} eC sup - ' X- - << M0, a->oo,
i	i a	a
то (лемма 2 § 6 гл. II) семейство {Xn} равномерно интегрируемо
и, значит, по теореме 2 существует случайная величина Хга
такая, что = М (% | aF„)->	(Р-п.н. и в смысле!1). Поэтому
надо лишь показать, что
Хсо = М (g I aFoo) (Р-П. H.).
Пусть и Ле/п. Тогда
[XmdP = $X„dP= $M(£|sFn)dP = $£dP.
AAA	A
В силу равномерной интегрируемости семейства {Хп} и теоремы 5
§ 6 гл. II М/д|Хот — Хоо К 0, т->оо, и, следовательно,
$ Я» dP = $ ( dP.	(8)
А	А
Это равенство выполнено для любого А е eF„ и, значит, для
любого Л s [J aF„. Поскольку М | Хоо | < оо, М I g |< сю, то левая
п— 1
и правая части в (8) представляют о-аддитивные меры, возможно,
принимающие и отрицательные значения, но конечные и совпа-
СО
дающие на алгебре [J aF„. В силу единственности продолжения
п= 1
о-аддитивной меры с алгебры на наименьшую о-алгебру ее содер-
500
ГЛ. VII МАРТИНГАЛЫ
жащую (теорема Каратеодори, § 3 гл. II) равенство (9) остается
справедливым и для множеств А е XX = о( (J </”„). Итак,
$	dP = $ М (£ Исс)с?Р, ЛеДю. (9)
А	А	А
Величины Хоо И М (S I еТ'сс) ЯВЛЯЮТСЯ а^оо-измеримыми, поэтому
в силу свойства 1 п. 2 § 6 гл. II из (9) следует, что Хю ==
— М (£ | еГет) (Р-П. н.).
Теорема доказана.
Следствие. Стохастическая последовательность Х = (ХЯ, <Хп)
является равномерно интегрируемым мартингалом тогда и только
тогда, когда существует случайная величина Н с М|£|<оо такая,
что Хл = М(^а7'„) для всех п^1. При этом Хп->М (S [XX)
(Р-п. н. и в смысле L1) при п->оо.
Действительно, если Х = (Х„, ^„( — равномерно интегрируе-
мый мартингал, то по теореме 2 найдется такая интегрируемая
случайная величина Хх, что Х„->Хсо (Р-п. н. и в смысле IX) и
к тому же Х„ = М (Хет! </"„). Так что в качестве случайной вели-
чины g можно взять (вГоо-измеримую величину) Хсо.
Обратное утверждение следует из теоремы 3.
4.	Остановимся на некоторых применениях доказанных теорем.
Пример 1. Закон «нуля или единицы-». Пусть Е2, ...—
последовательность независимых случайных величин, Х\ =
= о (о:	..., Н„} и .Ж'— а-алгебра «хвостовых» событий. Из тео-
ремы 3 М (/л	-> М (/л I cTl) = 1А (Р-п. н.). Но /л И (^, ...,£„)
независимы. Поэтому М(/д|^) = М/л и, значит, (Р-п. н.) 1А =
= ЪМА, откуда Р(Л) = 0 или Р(Л) = 1.
Следующие два примера иллюстрируют возможности примене-
ния приведенных выше теорем о сходимости в математическом
анализе.
Пример 2. Если f — f (х) — функция на [0, 1), удовлетворяю-
щая условию Липшица, то она абсолютно непрерывна и, как
известно из анализа, найдется такая интегрируемая (по Лебегу)
функция g — g(x), что
f (x)-f(0) = $g(«/)d«/.	(10)
о
(В этом смысле g(x) есть «производная» /(%).)
Покажем как этот результат может быть получен из теоремы 1.
Пусть й=[0, 1), X = <Д?([0, 1)) и Р — лебеговская мера. Положим
2Л
? /.л	V k — \ г ( k—1	А }
tn W	yn * | 2п	2Л ) *
k^\
§ 4. ОСНОВНЫЕ ТЕОРЕМЫ О СХОДИМОСТИ	501
aF„ = <j{x:	..., |л} = о{х: £„}, и пусть
v _/(Ел +2~«)-/(?„)
—“	2~л	•
Поскольку при заданном значении Ел случайная величина £л+1
принимает лишь два значения и £л4-2_<л+1> с условными вероят-
ностями, равными 1/2, то
м [Хя+1 |/„] = М [Хл+11 Ы = 2Л+1М [/ (U1 + 2-	-
- f (Ui) i L] = 2”+1 {j [/ (|„ + 2-^) - f (|п)} +
+ 4 [/ (L + 2-") - f (£л -н 2-(«+1))]} = 2я {/ + 2-л) - f О = Х„.
Отсюда следует, что X = (Хл, <^п) есть мартингал, причем рав-
номерно интегрируемый в силу того, что |X„|sgL, где Л —кон-
станта в условии Липшица: \f (x)—f(y)\^L\x — y\. Заметим,
что /" = ^([0, 1)) — о (U /"„). Поэтому, согласно следствию к
теореме 3, найдется такая ./'-измеримая функция g^g(x), что
X„-+g (Р-П. н.) и
х„ = м^И4	(11)
Возьмем множество В = [0, k/2n]. Тогда из (11)
k/2n	k/2n
f(-^-)-f(O) = j Xndx = J g(x)dx
0	0
и в силу произвольности п и k отсюда получаем требуемое ра-
венство (10).
Пример 3. Пусть Q=[0, 1),	=	([0, 1)) и Р — мера
Лебега. Рассмотрим систему функций Хаара {//„(%)}„> i, опреде-
ленных в примере 3 § 11 гл. II. Положим г^„ = о{х: Hi, ..., Нп}
и заметим, что а (J /"„) = JF, Из свойств условных математических
ожиданий и структуры функций Хаара нетрудно вывести, что для
любой борелевской функции f <^L
М[/ (х) !/„]= £ аьНк{х) (Р-п. н.),	(12)
k= 1
где
1
«а = (A Hh) = \f (х) Нк (х) dx.
о
Иначе говоря, условное математическое ожидание М [/ (х) | /"„]
есть частичная сумма Фурье при разложении функции f (х) по
системе Хаара. Тогда, применяя теорему 3 к мартингалу
502
ГЛ. VII. МАРТИНГАЛЫ
(М (/1 <ЛП), аЯ'п), находим, что при л-^со
£ (f, Hk)Hk(x)-^f(x) (Р-п. н.)
k= 1
и
1
о
п
£
k = 1
(A Hk)Hk(x)-f(x) dx->0.
5.	Задачи.
1.	Пусть {&п} — невозрастающее семейство о-алгебр
э^2э..., <^оо= и г] —некоторая интегрируемая случайная
величина. Доказать справедливость следующего аналога теоремы 3:
при и—>сю
М (г] | М (т] |	(Р-п. н. и в смысле L1).
2.	Пусть Si, |2, ... — последовательность независимых одина-
ково распределенных случайных величин с М j tj. | < оо и Mgi = т,
Sn =	. + Показав (см. задачу 2 § 7 гл. II), что
М&|$л, Sn+1, ...) = M(^|S„)=^- (Р-п. н.),
вывести из результата задачи 1 усиленный закон больших чисел:
при /г->оо
5
~->т (Р-п. н. и в смысле L1)-
3.	Доказать справедливость следующего результата, соединяю-
щего в себе теорему Лебега о мажорируемой сходимости и тео-
рему П. Леви. Пусть {£„}„>! —последовательность случайных
величин таких, что (Р-п. н.), | сп |«£т], Мг]<оо и (aF~m)m>i —
неубывающее семейство о-алгебр,	Тогда (Р-п. н.)
lim М (£„ | eTm) = М (| | -/"оо).
-»со
ft-* со
4.	Доказать справедливость формулы (12).
5.	Пусть П = [0, 1), еГ = <$?([0, 1)), Р —мера Лебега и f —
= f (х) е L1. Положим
(* + 1)2~п
fn(x) = 2n f(y)dy, k2-n^x<(k+l)2-\
k2~n
Показать, что fn(x)^f(x) (Р-п. н.).
6.	Пусть й = [0, 1), <F = e%i([b, 1)), Р —мера Лебега и f =
₽ f (х) е L1. Продолжим эту функцию периодически на [0, 2) и
§ 5. О МНОЖЕСТВАХ СХОДИМОСТИ
503
ПОЛОЖИМ
2"
/„(%)= 2 2-«/(х + г2-).
I = 1
Показать, что/л(х)->/(х) (Р-п. н.).
7.	Доказать, что теорема 1 сохраняет свою силу для обоб-
щенных субмартингалов.
§ 5. О множествах сходимости субмартингалов
и мартингалов
1. Пусть Х — (Хп, <^п) — стохастическая последовательность.
Будем обозначать через {Х„->}, или {—oo<limXn<oo}, мно-
жество тех элементарных исходов, для которых lim Хп существует
и конечен. Будем говорить также, что А = В (Р-п. н.), если
Р(7д^7в) = 1.
Если X — субмартингал и supM|X„|<oo (или, что эквива-
лентно, sup МХ^Соо), то в соответствии с теоремой 1 § 4 (Р-п. н.)
{X„+} = Q.
Рассмотрим вопрос о структуре множеств сходимости {Х„->}
для субмартингалов в случае нарушения условия sup М | Хп | < оо.
Пусть а>0и та —inf {п^? 1: Хп>а} с та = оо, если {• } = ф.
Определение. Стохастическая последовательность X =
== (Х„, aF„) принадлежит классу С+ (X е С+), если для любого
а > 0
М (ДЛЧ)+1	< °°»	(О
где AX„ = X„-X„_1( Хо = 0.
Очевидно, что X е С+, если
М sup | ДХ„ | < оо	(2)
п
или, тем более, если (Р-п. н.) для всех
|ДХл|^С<оэ.	(3)
Теорема 1. Если субмартингал X е С+, то (Р-п. н.)
{sup Хя < со} = {Х„ —>-}.	(4)
Доказательство. Включение {Х„->} £= {supХп<оо} оче-
видно. Для доказательства обратного включения рассмотрим
т
«остановленный» субмартингал X <г = (ХГд /л,ъ гГ„). Тогда в силу (1)
sup МХ^дп^а4-М[Х^-2 {та<оо}]==£
2a-j-M'[(XXTJ+' / {та < оо}] < оо, (5)
504
ГЛ. VII МАРТИНГАЛЫ
и, значит, по теореме 1 из § 4 (Р-п. н.)
{т„ == оо} s {Хл->}.
Но {J {та = оо} = {sup < оо}, поэтому (Р-п. н.) {sup'X„ < оо} е
а>0
s={x„-4.
Теорема доказана.
Следствие. Пусть X —мартингал с М sup |АХЛ}< со. Тогда
(Р-п. н.)
{X„->}U{HmA’„ = —оо, lim Хл= 4-оо} = й. (6)
В самом деле, применяя теорему 1 к X и —X, находим, что
(Р-п. н.)	__
{lim Хп < со} = {sup Хп < со} = {Хп ->},
{Нт Хп > — со} = {inf Х„> — оо} = {Хп ->}.
Поэтому (Р-п. н.)
{limX„<co, lim Хп <сс} — {%„->},
что и доказывает (6).
Утверждение (6) означает, что почти все траектории мартин-
гала X, удовлетворяющего условию М sup | АХЛ | < со, таковы,
что или для них существует конечный предел, или же они устроены
«плохо» в том смысле, что для них limX„ = 4- со, a ИтХл==— оо.
2. Если ?1; |2, ... — последовательность независимых случай-
ных величин с МУ = О и | {-J оо, то, согласно теореме 1 § 2
гл. IV, ряд сходится (Р-п. н.) тогда и только тогда, когда
£МУ< со. Последовательность X = (Хп, п) с Х„ — 4~ • •  4~ Sn,
е?'л = о{(о: у, ..., £л}л есть квадратично интегрируемый мартип-
п
гал с (Х)п = У, МУ, и сформулированному утверждению можно
(= 1
придать такую форму: (Р-п. н.)
{<Х>о=<оо} = {Хл->} = Й,
где <Х>оо= lim<X>„.
п
Приводимые далее утверждения обобщают этот результат на
случай более общих мартингалов и субмартингалов.
Теорема 2. Пусть Х = (Хп, п) — субмартингал и
Хп~ тп 4- Л л
— его разложение Дуба.
а)	Если X — неотрицательный субмартингал, то (Р-п. н.)
{Aro<oo}s{X„->-}s{supX„<oo}.	(7)
§ 5. О МНОЖЕСТВАХ сходимости	505
Ь)	Если X s С+, то (Р-п. н.)
{X„->} = {supX„<oo} S {Ает<оо}.	(8)
с)	Если X — неотрицательный субмартингал и X е С+, то
(Р-п. н.)
{X„->} = {supX„<oo} = {AOT<oo}.	(9)
Доказательство, а) Второе включение в (7) очевидно.
Для доказательства первого включения введем моменты
oa = inf{n^l: Ал+1>«},	п>0,
полагая оЛ = 4-оо, если {• }= ф. Тогда ЛС/1~^а и в силу след-
ствия 1 к теореме 1 § 2
МА п д = М А„ д	а.
Пусть Yan = Xn^a , тогда Ya </"„) —субмартингал с
sup a < со и в силу его неотрицательности из теоремы 1
§ 4 следует, что (Р-п. н.)
{Аю с a} = {oa = со} s {Х„->}.
Поэтому (Р-п. н.)
{Лм <оо}= U {ЛссОС «} со
а>0
Ь)	Первое равенство следует из теоремы 1. Чтобы доказать
второе, заметим, что, согласно (5),
МАдг д п — д п	MXt^ д п =gc2a-T М }(AX^J+ I {та < co}j
и, значит,
МЛТ = MlimAT д„<;со>.
а п а
Поэтому {та = со} е {Аоэ<сю} и требуемое утверждение следует
из того, что (J {Ta = co} = {supX„<:co}.
a>0
с)	Это утверждение есть непосредственное следствие утвержде-
ний а) и Ь).
Теорема доказана.
Замечание. Условие неотрицательности X можно заменить
условием supMX7<oo.
Следствие 1. Пусть Хл = ^-р... + |„, где ^2а0, М£(<оо,
Ъ — ^-измеримы и ^ = {0, й}. Тогда (Р-п. н.)
Е оэ	А
SMfei/^Xoo £{Х„->},	(10)
In = 1	J
506
ГЛ. VII. МАРТИНГАЛЫ
и если к тому же М sup < оо, то (Р-п. н.)
п
Е	(П)
п = 1	'
Следствие 2 (лемма Бореля — Кантелли — Леви). Если собы-
тия Вп^-^п, то, полагая, в (11) £п = /вл, получаем, что (Р-п. н.)
§ Р(Вя|/м)<оо =Ц;/Вя<4	(12)
n=l	) Vi=l	'
3.	Теорема 3. Пусть М = (Мп,	квадратично
интегрируемый мартингал. Тогда (Р-п. н.)
{ШдоСоо} = {<>->}•	(13)
Если к тому же М sup | ДМ„ |2 < оо, то (Р-п. н.)
{<Л1Хо<оо} = {Л'1я->},	(14)
где
<М>со = 2 М ((ДЛ4„)2 И«-1)	(15)
п~ 1
с Мо = 0, aF0 = {ф, Q}.
Доказательство. Рассмотрим два субмартингала М2—
== (Мп, Уп) и (М+ 1)2 = ((ЛД+ I)2. Тогда в их разложениях
Дуба
М1 = т'пфА'п, (МпА-\у = тп + А"п
величины А'п и Л," совпадают, поскольку
Д'= i; М(ДЛД|^_х) = М ((ДЛД)21 ^_х)
k=i	k=i
и
An = 2 М (Л (Mk + I)21 оГл-х) = 2 M (ДЛД I ^ft-x) =
4=1	fc=l
= 2 м ((длд)2Ий-1).
4=1
Поэтому из (7) (Р-п. н.)
{(М>о= < сю} = {А'т < оо} Е {ЛД X п {«+ I)2 ->} = {Мп -Я-
В силу (9) для доказательства (15) достаточно проверить, что
условие М sup | ДЛ4„ |2 < оо обеспечивает принадлежность субмар-
тингала М2 классу С+.
§ 5. О МНОЖЕСТВАХ СХОДИМОСТИ
507
Пусть ro = inf{n2sl:	«>0. Тогда на множестве
{то<оо}
+2	’ I	- м'а-> i	+W!2 j ллч\,
откуда
М | АЛ1та 11 {та <7 оо} -.о
,7 м (ЛЛ1то)21 К < со} 4- 2а1/2 VМ (ДМга)2I {та < оо} С
С М sup | ДЛ4П |2 4- 2а1/2 УМ sup | АЛД |2 < оо.
Теорема доказана.
В качестве иллюстрации этой теоремы приведем следующий
результат, который можно рассматривать как своеобразную форму
усиленного закона больших чисел для квадратично интегрируе-
мых мартингалов (ср. с теоремой 2 в § 3 гл. IV и со следствием 2
в п. 3 § 3).
Теорема 4. Пусть М = (М.п, J"n) — квадратично интегри-
руемый мартингал и А — (А„, dF n-i) — предсказуемая возрастаю-
щая последовательность с	Аса = ос> (Р-п. н.).
Если (Р-п. н.)
СО
(1б)
то с вероятностью единица

(17)
Доказательство. Рассмотрим квадратично интегрируемый
мартингал т = (тп, eFn) с
Тогда
п
v дм
'п ~ 2 At
i = l
<т>.~ 2
(18)
Поскольку
У! Ak^mk
Мп _ k=i
Ад
Ап
(19)
508
ГЛ. VII МАРТИНГАЛЫ
л/
то, согласно лемме Кронекера ($ 3 гл. IV),	(Р-п. и.),
Ап
если с вероятностью единица существует конечный предел lim тп.
В силу (13)
Km)=o <°°} — НЧ	(20)
поэтому из (18) следует, что условие (16) достаточно для выпол-
нения (17).
Теорема доказана.
Пример. Рассмотрим последовательность независимых слу-
чайных величин gi, ^2> ••• с М£г = О, D£(=Di>0, и пусть после-
довательность X = {Хп}п^0 определяется из рекуррентных урав-
нений
X„+l = 9X„ + Ui.	(2!)
где Хо не зависит от gx, £2, ..., а 9 ~ неизвестный параметр,
— оо < 9 < оо.
Будем интерпретировать Хп как результат наблюдения в момент
времени п и поставим задачу оценки неизвестного параметра 9.
Возьмем в качестве оценки 6 по результатам Хо, Xlt .Хп вели-
чину
п—1
Dfe+i
.	(22)
2x1
ok+1
k = 0
полагая ее равной нулю, если знаменатель обращается в нуль.
(Величина 6Л есть оценка, полученная по методу наименьших
квадратов.)
Из (21) и (22) ясно, что
Sin.
где
4=0	4 = 0
Поэтому, если истинное значение неизвестного параметра есть 9, то
Р(0л->9) = 1.	(23)
когда (Р-п.н.)
-ф-->0, п-^оо.	(24)
Ап
§ 5. О МНОЖЕСТВАХ СХОДИМОСТИ
509
Покажем, что условия
sup ^±ь-< ОО,
п
(25)
достаточны для (24) и, следовательно, достаточны для (23). Имеем
Dn
п=\
со
= 2
(Хп-вХп^
^2
sup -77^ + 62
ДИ}со-
Тем самым
По теореме о трех рядах (теорема 3 в § 2 гл. IV) расходимость
СО
ряда М Д lj обеспечивает расходимость (Р-п.н.) ряда
/1=1
\jy~/\4' Поэтому Р{(М^оо —оо} — 1. Далее, если
п=1 ' п
п
i=1
дм,-
(М),- ’
ТО
п
(т\ = V А М
< )п £ (М)?
и, ПОСКОЛЬКУ р «ЛДсо = оо) = 1, то Р((т>со<оо) = 1. Поэтому
требуемое соотношение (24) следует напосредственно из теоремы 4.
Теорема 5. Пусть X = (Ха, 2En) — субмартингал,
Xn = mn -j- Ап
— его разложение Дуба. Если \ХХП\^.С, то (Р-п.н.)
{<т>со +	< со} = {Хп ->},
(26)
Р7)
или, что то же,
M^ + tAX^I^Koo

510
ГЛ. VII. МАРТИНГАЛЫ
Доказательство. Поскольку
Ля=2М(АХ4|^-1),	(28)
* = i
тп = 2 [АХ, - М (АХ, j аГл_1)],	(29)
k = 1
то в силу предположения | АХ, | С мартингал т = (тп,
является квадратично интегрируемым с | Атл| 2С. Тогда из (13)
{(т>0э + Д00<со} £= {Хл->}	(30)
и согласно (8)
{Хл —> } £= {Лоо со}.
Поэтому из (14) и (20)
{Хл —> } = {Хл —} fl {z4co <С оо} = {Хл —> } f] {Яот < Со} f| {/т?га —> } =
=?= {Хл ->} П {Дсо < оо} П {(гп)^ < со} =
= {Хл-> } П {^оэ+<т)оо < оо} = {Доо +(т)оо < со}.
Наконец, эквивалентность утверждений (26) и (27) следует из
того, что в силу (29)
<m)„ = S {М [№)* | JVi] - [М (АХ, | cF,-О]2},
СО
и из сходимости ряда У, М (АХ, | состоящего из неотри-
k = \
цательных членов, следует сходимость ряда У [М (АХ, | аГ,_1)]2.
* = j
Теорема доказана.
4. Задачи.
1.	Показать, что если субмартингал Х = (ХЛ, ^п) удовлетво-
ряет условию sup М | Хл | < со, то он принадлежит классу С+.
п
2.	Доказать, что теоремы 1 и 2 остаются справедливыми для
обобщенных субмартингалов.
3.	Показать, что для обобщенных субмартингалов (Р-п. н.)
имеет место включение
{inf sup М (XJ| sT'm) < со} s {Х„-> }.
tn tn
4.	Показать, что следствие к теореме 1 остается верным и для
обобщенных мартингалов.
5.	Показать, что всякий обобщенный субмартингал класса С+
является локальным субмартингалом.
§ 6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ	511
§	6. Абсолютная непрерывность и сингулярность
вероятностных распределений
1. Пусть (й, <Л) — некоторое измеримое пространство с выде-
ленным на нем семейством о-алгебр (аГл)л>1 таких, что
£=	— •  • — И
(1)
Будем предполагать, что на (й, а7) заданы две вероятностные
меры Р и Р. Обозначим
РЛ = Р)Л, =
— сужения этих мер на <Уп, т. е. пусть Р„ и Р„ —меры на (Й, <^п),
причем для В е
Р„(В) = Р(В), Р„(В) = Р(В).
Определение 1. Вероятностная мера Р называется абсо-
лютно непрерывной относительно Р (обозначение: Р<^Р), если
Р (Л) = О всякий раз, когда Р(Л) = 0, Ле/.
В случае Р >С Р и Р Р меры Р и Р называются эквивалент-
ными (обозначение: Р ~ Р).
Меры Р и Р называются сингулярными или ортогональными,
если существует такое множество Ле/, что Р (Л) = 1 и Р (А) = 1
(обозначение: Р I Р).
Определение 2. Будем говорить, что мера Р локально
абсолютно непрерывна относительно меры Р (обозначение: Р<^р),
если для любого п/  1
РЛ<РЛ.	(2)
Основные вопросы, рассматриваемые в настоящем параграфе,
состоят в выяснении условий, при которых из локальной абсо-
в 1ос п
лютиои непрерывности Р « Р следует выполнение свойств
Р <Р, Р~Р, Р_]_Р. Как станет ясно из дальнейшего, теория
мартингалов является тем математическим аппаратом, который
позволяет исчерпывающим образом ответить на эти вопросы.
Итак, будем предполагать, что Р « Р. Обозначим
512
ГЛ. VII. МАРТИНГАЛЫ
производную Радиона — Никодима меры Р„ относительно Р„. Ясно,
что гп являются ^„-измеримыми, и если А<яя~Лп, то
1	i dPп+1	~
\ *^р =) йр = рп+1 (X) = р„ (Л) =
= S 7&^p = Jz„dP.
А п А
Отсюда следует, что относительно меры. P стохастическая после-
довательность Z~{zn, aZ~n)n^i является мартингалом.
Обозначим
гх = lim zn.
Поскольку Мг„ = 1, то из теоремы I § 4 следует, что Р-п. н.
существует limz„ и, значит, Р (гет = Ктг„) = 1. (В ходе доказа-
тельства теоремы 1 будет установлено, что предел Итг„ сущест-
вует и по мере Р, так что Р (zOT = lim гп) = 1.)
Ключевым моментом во всей проблематике «абсолютная не-
прерывность и сингулярность» является
Теорема 1 (разложение Лебега). Пусть Р < Р. Тогда для
всякого Ле/
Р (Л) = $ zmdP + Р {А П (zOT = «>)},	(3)
А
причем меры р(Л) = Р{Др (гю = оо)} и Р (Л), Ле/, сингу-
лярны.
Доказательство. Прежде всего отметим, что классичес-
кое разложение Лебега устанавливает, что если Р и Р —две
меры, то найдутся и притом единственные меры Лир такие, что
Р = Л4-ц, где Л<^Р и р,_]_Р. Доказываемое утверждение (3)
можно рассматривать как конкретизацию этого разложения, свя-
занную с предположением о том, что Рп<^Рг., п^1.
Введем в рассмотрение вероятностные меры
Q = 1(P + P), О.ге= 2 (Р« + Р«),
и обозначим
; _ dP .dP __dPn dPn
5 dCC 5 dQ’ dQ„’ in dQa'
Поскольку P (j = 0) = P (з = 0) = 0, to Q (~j = 0, j = 0) = 0 и, зна-
чит, на множестве Q \ {j = 0, j = О) корректно определена вели-
§ 6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ	513
чина f• г1. На множестве {} = О, J = 0} будем полагать ее рав-
ной нулю.
Так как РЛ<РЛ<ОЛ, то (см. (II.7.36))
=	(Q-n. н.),	(4)
dan dPn dan	1 >
т. е.
Зл = гл$л (Q-n. н.),	(5)
откуда
гл = 1лАа‘ (Q-n. н.),
где, как и раньше, на множестве {?л = 0, j« = 0}, имеющем Q-
меру нуль, полагаем j„.j„l = O.
Каждая из последовательностей (j„, aF„) и (j„, sF„) образует
(относительно меры Q) равномерно интегрируемый мартингал и,
следовательно, существуют пределы lim?„ и lim$n. При этом
(Q-n. н.)
lim in — j, Iim8n = ?-	(6)
Отсюда и из соотношений zn =	(Q-n. н.) и Q ($ = 0, ? — 0) =
= 0 вытекает, что Q-n. н. существует Нтг„ = ги, равный j • j-1.
Ясно, что P<Q, P«CQ. Тем самым Гнпгл существует как
по мере Р, так и по мере Р.
Пусть теперь
X (4) = гдас!Р,	р (4) = Р {А П (гот = оо)}.
А
Для доказательства (3) надо показать, что
Р(А) = Х(А)+р(А), Х<Р, р_1_Р,
Имеем
Р(4)= $$dQ = dQ+ JjLl-jHdQ =
A A A	(7)
= H«dP+ni-iiJdP= $*OTdP + P{4n(3 = 0)},
A	A	A
где последнее равенство следует из того, что
р{®=г1} = 1, Р{г«=а гх} = 1.
514
ГЛ. VII. МАРТИНГАЛЫ
Далее,
Р{ЛП(5 = 0)} = Р{ЛЛ(3 = 0)П(з>0)} =
= р М Л (Г Г1 = со)} = Р {Л л (*и) = оо},
что вместе с (7) доказывает разложение (3).
Из конструкции меры X ясно, что Х<^Р, причем Р(гот<
<оо)=1. И в то же время р. (zOT<: оо) = Р {(гот < со) Л =>
= оо)} = 0. Тем самым теорема доказана.
Из разложения Лебега (3) вытекают следующие полезные
критерии абсолютной непрерывности и сингулярности для локально
абсолютно непрерывных вероятностных мер.
~ 1ос
Теорема 2. Пусть Р^Р, т. е. РЛ<^РЯ, aiSsI. Тогда
Р Р <=> Мгм = 1 о Р !г;, < -! = 1,	(8)
Р J_ Р о Мгот = 0 о Р (гм = оо),= 1,	(9)
где М — усреднение по мере Р.
Доказательство. Полагая в (3) Л = £2, находим, что
Мгет = 1 о Р (гда = оо) = 0,	(10)
Мгю = 0 <=> Р (гот = оо) = 1.	(11)
Если Р (2Ю = оо) — 0, то снова из (3) следует, что Р Р.
Обратно, пусть Р<^Р. Тогда поскольку Р (гот = со) = 0, то
Р (2оо = °°) = 0.
Далее, если Р I Р, то существует множество В е aF с
Р (В) = 1 и Р(В)=0. Тогда из (3) Р (В Q (гт = оо)) = 1 и, значит,
Р(гсо = оо) = 1. Если же Р(г® = оо) = 1, то свойство Р _1_Р
очевидно, поскольку Р (гда = со) = 0.
Теорема доказана.
2. Из теоремы 2 ясно, что критерии абсолютной непрерыв-
ности и сингулярности можно выражать или в терминах меры Р
(и проверять равенства Мг^—1 или Мгот = 0) или же в терминах
меры Р (и тогда проверять, что Р (гот < оо) = 1 или Р (гот = оо) = 1).
В силу теоремы 5 § 6 гл. II условие Мг^—1 равносильно
условию равномерной интегрируемости (по мере Р) семейства
{2Я}Л>1. Это обстоятельство позволяет давать простые достаточ-
ные условия для абсолютной непрерывности Р<^Р. Например,
если
sup М [гп 1 п+гл] < оо	(12)
§ 6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ
515
или если
supMzn+®<oo, е>0,	(13)
п
то, согласно лемме 3 § 6 гл. II, семейство случайных величин
будет равномерно интегрируемым и, значит, Р<^Р.
Во многих же случаях при проверке свойств абсолютной
непрерывности или сингулярности предпочтительнее использовать
критерии, выраженные в терминах меры Р, поскольку тогда
дело сводится к исследованию P-вероятности «хвостового»
события {гот < оо}, а для этого можно использовать утверждения
типа закона «нуля или единицы».
В качестве иллюстрации покажем, как из теоремы 2 выводится
альтернатива Какутани.
Пусть (Q, еТ”, Р) — некоторое вероятностное пространство,
(/?°°, ^goo) — измеримое пространство числовых последовательностей
х = (х1( х2, ...) с ^§0О = <=®(R“), и пусть <^„ = о{х: (xlt ..., %„)}.
Предположим, что ^ = (^, g2, ...)Hg = (g1( |2, ...)—две последова-
тельности, состоящие из независимых случайных величин.
Обозначим через Р и Р распределения вероятностей на
(7?°°, для £ и 1 соответственно, т. е.
Р(В) = Р{^В}, P(B) = P{Ub},
Пусть также
Рп = Р |&п, Рп = Р\'Шг1
— сужения мер Р и Р на S3n и
Ри(Л) = Р(|яеЛ),
РГл(Л) = Р(|„еЛ),
Теорема 3 (альтернатива Какутани). Пусть ^ = (^, |2, ...)
и | = (1Х, |2, • • •)—последовательности из независимых случайных вели-
чин, для которых |
р1,<р1.-	(14)
Тогда или Р <^Р, или Р ±_Р.
Доказательство. Условие (14), очевидно, равносильно
условию, что Рп<Рп, п^1, т. е. Р < Р. Ясно, что
— 7i (^i) • • • 7» (л-л)>
516
ГЛ. VII МАРТИНГАЛЫ
где
dpii
Я1(хд = -аРгМ-	(15)
Следовательно,
{х: г00<со} = {х: Inгот<оо} = lx: In?,- (х,-) < оок
I (=1	)
г	°°	1
Событие }х: У In ?i (х,-) <оо? является «хвостовым». Поэтому
' 1=1	'
в силу закона «нуля или единицы» Колмогорова (теорема 1 § 1
гл. IV) вероятность Р {х: гот < оо} принимает только два значе-
ния (0 или 1) и, значит, по теореме 2 или Р ±.Р, или Р <^Р.
Теорема доказана.
3. Следующая теорема дает критерий абсолютной непрерыв-
ности и сингулярности, выраженный в «предсказуемых» терминах.
~ 1ос
Теорема 4. Пусть РР,
ал = глг®_1,	п^1,
с г0=1. Тогда (</’0 = {ф, П})
( 0°	\
Р<р<=>рГу [1-M(r^l^-1)]<«D =1,	(16)
U = i	f
{00	1
У [1-М(/ал|аГ„_1)] = оо = 1.	(17)
Доказательство. Поскольку
Рл{гл = О}= $ z„dP = O,
pn=0}
то (Р-п. н.)
гл = П а* = ехР) У 1п“*(•	(18)
*=1	U=i J
Полагая в (3) Л = {гоо = 0}, находим, что P{Zco = 0} = 0. Поэтому
из (18) (Р-п.н.)
{гю<;сю} = {0 CZccCoo} ={0 <limz„ < оо} =
{п	1
— со < lim У Ina* <оо(.	(19)
л= 1	'
§ 6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ
517
Введем функцию
( х, |х|< 1,
“W= .	,
( Sign X, | X I > 1.
Тогда
{п	\	/	п	1
— oo<lim У lnaft<oo> = < — сю < lim У и(1пай)<оо). (20)
* = i	'I	*=i	J
Пусть М означает усреднение по мере Ри ij — af „-измеримая
интегрируемая случайная величина. Из свойств условных мате-
матических ожиданий следует (задача 4), что
гя_хМ (т) | eFn-i) = М (т)г„ | eF„_i) (Р- и Р-п.н.),	(21)
М (Т) | ^п-1) = zf- 1М (т)г„ I (Р-п. н.).	(22)
Вспоминая, что а„ = г®_ \zn, из (22) получаем следующую полезную
формулу:
м (Т) | еГл-1) = М (a„T] I (Р-п. н.),	(23)
из которой, в частности, вытекает, что
M(a„|eF„_1) = l (Р-п. н.).	(24(
Из (23)
М [и (In ал) |	= М [апи (In ал) |	(Р-п.н.).
Поскольку хн(1пх)^х—1 для всех хэ=0, то в силу (24)
M[u(lna„)|a7’„_1]^0 (Р-п.н.).
Отсюда следует, что стохастическая последовательность X =s
*= (-^я, а^Л) С
X «(lnafc)
k = i
относительно меры Р является субмартингалом, причем | ДХЛ | =з
= | и (lna„) | sC 1.
Тогда по теореме 5 из § 5 (Р-п. н.)
{п	Ъ
— со < lim У, ы(1пай) <оо> =
fe = 1	J
= ! S Й Iй On aft) + иг (In aft) | ^*-1] < col. (25)
ч-i	/
518
ГЛ. VII. МАРТИНГАЛЫ
Тем самым из (19), (20), (22) и (25) находим, что (Р-п. н.)
{гет<оо}=< У, М[ы (lna*) + u2(lna*)|aF*_i]<oo} =
U= i	>
= ! У М [aku (Ina*) + a*w2 (In a*) | Jr*-i]< co)
U=i	'
и, следовательно, в силу теоремы 2
Р<;Р<=>Р<2 M[a*w(lna*) + a*n2(lna*)|<^*_i]<oo?== 1,	(26)
4=1	'
Р J_P<=>P) У М [а*м (Ina*) + a*tz2 (Ina*) | ^*-1] = co)= 1.	(27)
U=i	’
Заметим теперь, что в силу (24)
М [(1 - /aj1	= 2М [ 1 - Van |	(Р-п. н.)
и для всех х 5^0 найдутся такие константы А и В (0 < А <В<;оо),
что
А (1 — У~хУ^ха (1плг) 4-хи2(1плг) + 1 — х^В (1 —	(28)
Поэтому утверждения (16) и (17) следуют из (26), (27) и (24),
(28).
Теорема доказана.
Следствие 1. Если для любого п^1 о-алгебры о(ап) и
,	~ 1ОС
<^„-1 независимы по мере Р (или Р) и Р^Р, то имеет место
альтернатива: либо Р<^Р, либо Р_]_Р. При этом
Р<Р» j} [l-M/a„]<co,
П= 1
00
Р±Р<=> 2 [1-М]/^] = оо.
п = 1
В частности, в ситуации Какутани (см. теорему 3) <xn — qn и
Р<Р<=> J] [1-МУ^Г)]<оо,
я=1
р_1_р<=> 2 [1-МК£ЙК)] = оо.
о= 1
§ е. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ	519
Следствие 2. Пусть Р<^Р. Тогда
РI У М (а„ In ап | ^„-i) < оо| = 1 => Р Р.
U = 1	)
Для доказательства достаточно заметить, что для любого х^О
xlnx + y(l — х) 1 — х’/%	(29)
и воспользоваться (16) и (24).
СО
Следствие 3. Поскольку ряд У [1 — М (К“л I ^л-х)], состоя -
л = 1
щий из неотрицательных (Р-п. н.) членов, сходится или расхо-
дится одновременное рядом S | In М (К«л |	|, то утвержде-
ниям (16) и (17) теоремы 4 можно придать следующую форму:
Р<ЫРIlnMOMcF^lcoo =1,	(30)
1л= 1	/
Р±Р<=>р|5 IlnM^I^OhooLl. (31)
1л =1	)
Следствие 4. Пусть существуют константы А и В такие,
что О =С А < 1, В 0 и
Р {1 — А 1 +-6} = 1,	п^1.
Тогда, если Р<СР, то
Р<Р«р! 2 M[(l-a„)2|^„-i]<ooLl,
1л= 1	'
РДР»?! £ М[(1 — ал)а| аГл_1] = оо| = 1.
1л = 1	'
Для доказательства достаточно заметить, что для хе[1- А,
1 -ф В], 0=сЛ<1, В^=0, найдутся такие константы с и С
(0<с<С<оо), что
с(1-х)2<(1-/х)2^С(1-х)3.	(32)
4. В обозначениях п. 2 предположим, что g = (gi, |2, ...) и
I = (Ii, Ъ • • •)— Две гауссовские последовательности, Рп^Ра, 1.
Покажем, как для таких последовательностей из полученных выше
«предсказуемых» критериев следует альтернатива Гаека —Фельд-
мана: либо Р~Р, либо Р ДР
520
ГЛ. VII. МАРТИНГАЛЫ
По теореме о нормальной корреляции (теорема 2 § 13 гл. II)
условные математические ожидания М (хп | s$n-i) и М (хп | где
М и М — усреднения по мерам Р и Р соответственно, являются
линейными функциями от Xi.......x„_i. Обозначим эти (линейные)
функции через an-i (х) и an-i (х) соответственно и положим
bn-i = (М [х„ - a„-i (х)]2)*/«,
&л_1=(М[х„-ая_1(х)р),/’.
По той же самой теореме о нормальной корреляции найдутся
последовательности е = (еъ е2, ... ) и е = (ёъ е2, ••• ), состоящие
из независимых гауссовских случайных величин с нулевым сред-
ним и единичной дисперсией такие, что
л-л = ал-1(х) + ^„_1ея Р-п.н.),
Ха = йл-1 (х) 4-Ьл_18л (р-п. н.).
Заметим, что в случае Ьп^ = 0 (b„-i = 0) для построения вели-
чин 8Л (8Л) приходится, вообще говоря, расширять вероятностное
пространство. Однако если Ьп-1 = 0, то распределение вектора
(хъ ..., хя) сосредоточено (Р-п.н.) на линейном многообразии
хя = ал-1(х), и поскольку по предположению Рп ~ Pat то Ьп^ = 0,
ал_1 (х) = йя-1 (х) и ал(х) = 1 (Р- и Р-п. н.). Поэтому без огра-
ничения общности можно считать, что йл>0, йя>0 при всех
п^1, поскольку в противном случае вклад соответствующих чле-
ОО
нов в сумму У, [1 — М Уа„1^п-1] (см. (16) и (17)) равен нулю.
п= 1
Используя предположения о гауссовости, из (33) находим, что
для п 1
ал =	! ехр	+ {Хп~"Г1{ХЩ.	(34)
I	2bn —-1	2рд — 1 J
где 4 =	и
а0 (х) = M^i, а0 (х) = Mft,
№.
Из (34)
1пМ(а^В-1)=|1п-^
Z 1 ил-
$ = Dfi.
dn-i / ая-1 (х)—Зя-1(х)\а
1\ Ьл-1 J
Поскольку In --dn~i 0, то утверждение (30) принимает следую-
1 + da-i
§ 6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ
521
щую форму:
dn-1 ! an-i(x) — an-Ax)
1 4- dn-i \ ^л-i
(35)
Ряды
одновременно, поэтому
00
и У (dn-i — 1) сходятся или расходятся
п — 1
из (35) следует, что
•п=0
2 , А»(х)
I +	,2
Ъп
(36)
У
I = 1
где Д„ (х) = я„ (х) - а„ (х).
В силу линейности ап(х) и ап(х) последовательность случай-
ных величин |	>0 образует гауссовскую систему (как по
мере Р, так и по мере Р). Как следует из приводимой далее
леммы, для таких последовательностей имеет место следующий
аналог закона «нуля или единицы»:
< оо| - I <=> У М ^2< со.
(37)
Поэтому из (36) следует, что
00	_
р<р« 2 И1
n=0L
и аналогичным образом
Отсюда ясно, что если меры Р и Р не сингулярны, то Р -^Р.
Но по предположению Рп^Рп, п^Л; поэтому в силу симметрии
Р-^Р. Тем самым имеет место следующая
Теорема 5 (альтернатива Гаека — Фельдмана). Пусть £ —
₽= (51, 5а, • • •) ы t = (ti, 5а, • • • ) — две гауссовские последователь-
ности, конечномерные распределения которых эквивалентны'. Рп^Рп,
622
ГЛ. VII. МАРТИНГАЛЫ
n^l. Тогда либо Р^Р, либо Р J_P. При этом
Докажем теперь закон «нуля или единицы» для гауссовских
последовательностей, использованный при доказательстве теоремы 5.
Лемма. Пусть р = (P„)n > i — гауссовская последовательность,
заданная на (Q, <У; Р). Тогда
Р<£ Рп<°° =!<=> И Мря<оо.
(39)
Доказательство. Импликация <= следует из теоремы
Фубини. Установим обратное утверждение, предположив сначала,
что Mpn = O, и>1. С этой целью достаточно показать, что
М 2 Мехр - 2 р:
(40)

поскольку тогда из условия P{SPi<oo} = l будет следовать,
что правая часть в (40) меньше бесконечности.
Зафиксируем некоторое п^1. Тогда из §§ И и 13 гл. II
следует, что можно найти такие независимые гауссовские слу-
чайные величины рА,„, А=1, ..., г<_п, с Мр^.л = 0, что
j]PI= 2 PU
А= 1 k=1
Если обозначить Мр*, „ = то легко найдем, что
М U РЬ = S Кп
k= 1	k=i
(41)
Мехр - 2 Pi,„ = П (1 + 2Ч«)-’/й-
(42)
\ k=l / i=l
Сравнивая правые части в (41) и (42), получаем
м X Р1 = м ХР1,„
A=1	A=1
- S Р1.Я
Me *=1
- S
Me *=>
§ 6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ
523
откуда предельным переходом (при п->со) получаем требуемое
неравенство (40).
Предположим теперь, что Мрл^О.
Рассмотрим новую последовательность ф = (Рл)п>1 с тем же
распределением, что и у последовательности р = (рл)л>ь и не
зависящую от нее (в случае необходимости расширяя исходное
вероятностное пространство). Тогда, если Ps 2 рл<оо/=1, то
1п= 1	/
Р ) 2 (₽» — Рп)2 <оо?= 1, и по доказанному
U= 1	'
СО	со
2 2 М(Р„-мр„)2= 2 М(р„-р„)2<оо.
Л=1	П=1
Так как
(Мр„)2^2р^ + 2(₽л-Мр„)2,
СО
то S (МРл)2<со и, значит,
п= 1
СО	СО	СО
2 Мр„= 2 (МР„)2+ 2 М(Рп-Мрл)2<со.
п=1	П=1	Л=1
Лемма доказана.
5. Задачи.
1.	Доказать справедливость утверждений (6).
2.	Пусть РЛ~РЛ, п^1. Показать, что
Р~Р<=>Р{гм<оэ} = Р{2аз>0}=1,
Р±Р<=>Р{г00 = со} = 1 или Р{гсо = 0} = 1.
3.	Пусть Р„<РЛ, nSs 1, т — момент остановки (относительно
(^п)),	и Рх = Р |	— сужения мер Р и Р на о-ал-
гебру aFT. Показать, что РТ^РГ, если и только если {т=оо} =
= {гет<с>о} (Р-п. н.). (В частности, если Р{т<со} = 1, то
Р Г Рц-)
4.	Доказать формулы (21) и (22).
5.	Проверить справедливость неравенств (28), (29), (32).
6.	Доказать формулу (34).
7.	Пусть в п. 2 последовательности g = (gj, g2, ...) и f =
— (fi, • • ) состоят из независимых одинаково распределенных
случайных величин. Показать, что если P^<^P^t, то Р^Р в том
и только том случае, когда меры Р% и Р^ совпадают, Если же
Р1± <2% и Р^ =^РЕ1, то Р JLP.
524
ГЛ. VII. МАРТИНГАЛЫ
§ 7.	Об асимптотике вероятности выхода
случайного блуждания за криволинейную границу
1.	Пусть gi, £2, ... — последовательность независимых одина-
ково распределенных случайных [величин, Sn = gi + ••• + ?«, g —
= gf (л) — некоторая «граница»,	и
r = inf{nSs 1: S„<g(n)!
— тот первый момент, когда случайное блуждание (Sn)n^i ока-
жется ниже границы g = g(n). (Как обычно, т = оо, если {• }= ф.)
Отыскание точного вида распределения для момента т явля-
ется весьма трудной задачей. В настоящем параграфе находится
асимптотика вероятности Р(т>п) при п->оо для широкого
класса границ g = g(n) и в предположении, что величины нор-
мально распределены. Применяемый метод доказательства основан
на идее «абсолютно непрерывной замены меры» с использованием
ряда изложенных выше свойств мартингалов и марковских мо-
ментов.
Теорема 1. Пусть g1( |2, ... — независимые одинаково рас-
пределенные,	(0, 1), случайные величины. Предположим, что
граница g — g(n) такова, что g(1)<;0 и для п'^2
Q^&g(n+ V)^&g(n),	(1)
где &g(n) = g(n)-g(n-l) и
Inп = о( У, [Ag(&)]2\ п->оо.
\k=2	/
Тогда
(2)
(п	А
~Т Z	га~>о°- (3)
4=2	J
Прежде чем переходить к доказательству, отметим, что усло-
вия (1) и (2) выполнены, если, скажем,
g (п) = anv 4- b, I/2<vs^l, а-\-Ь<.0,
или (при достаточно больших п)
g(n) = nvL(n), l/2=^vsgl,
где L (п) — некоторая медленно меняющаяся функция (например,
L(n) = C (In п)р с любым 0 при 1/2 < v < 1 и с 0 > О при v = 1/2).
2.	Следующие два вспомогательных предложения будут исполь-
зоваться при доказательстве теоремы 1.
Будем предполагать, что gi, |2, ... — последовательность неза-
висимых одинаково распределенных случайных величин,
1), Обозначим &0 = {ф, И}, <Ля = а{«>:	..., £„}, и
$ 7. ОБ АСИМПТОТИКЕ ВЕРОЯТНОСТИ ВЫХОДА
525
пусть a = (a„,	— некоторая предсказуемая последователь-
ность с Р (| ал | sC С) = 1, п^1, где С —некоторая константа.
Образуем последовательность г = (2Л, ^п) с
(п	п
4=1	4=1
П^
1.
(4)
Нетрудно проверить, что (относительно меры Р) последователь-
ность z — (zn, е^п) образует мартингал с Мгл=1, п>=1.
Зафиксируем некоторое n Ss 1 и на измеримом пространстве
(Q, введем вероятностную меру Рл, полагая
Рл(Л) = М7(Л)гл, Ле/„.
(5)
Лемма 1. Относительно меры Рл случайные величины Z,k =
— Zk — aky 1 ^Zk-^n, являются независимыми и нормально распре-
деленными,	(0. !)•
Доказательство. Пусть символ Мл означает усреднение
по мере Рл. Тогда для Z* е/?,
Z п	Ч	( П	А
Млехр Jt 2 14*} = .MexpJi У =
(. 4=1	)	( 4 = 1	J
= м
{л-1	д
i У, hlk [ гл-1 • М {ехр {&„ (£„ - ал) +
4= 1	J
Теперь требуемое утверждение вытекает из теоремы 4 § 12 гл. II.
Лемма 2. Пусть Х — (Хп, eF„)nS=i —квадратично интегри-
руемый мартингал с нулевым средним и
<T=inf{n2sl: Хп^. — Ь},
где константа Ь>0, Предположим, что
Р(Х!<-11)>0.
Тогда существует константа С>0 такая, что для всех п1
с
мх«-
(6)
526
ГЛ. VII. МАРТИНГАЛЫ
Доказательство. По следствию 1 к теореме VII.2.1
МХад„ = 0, откуда
-МЦа^п)Хв = МЦа>п)Х„.	(7)
На множестве {стг^п}
— Хо 5s 6 > 0.
Поэтому при п 1
-MZ(o<n)Xas^P(ffs£n)5=6P(a = l) = 6P(Xi<-&)>0. (8)
С другой стороны, в силу неравенства Коши — Буняковского
М/ (о > п) Хп -< [Р (о > п)  MX2]1/®,	(9)
что вместе с (7) и (8) приводит к требуемому неравенству.
Доказательство теоремы 1. Достаточно показать, что
lim In Р (т > п) / У[А^(^)]2^-у	(Ю)
п-*™	I
И
Пт 1пР(т>п) / У [Ag(£)]2=s£-у-	(и)
С этой целью рассмотрим (неслучайную) последовательность
(О-л)п^ 1 О
ах = 0, ara = Ag(n), «5=2,
и вероятностные меры (Рп)п>ь определенные формулой (5).
Тогда в силу неравенства Гёльдера
(Т > п) = М/ (т > п) zn С (Р (т > n))V? (M?P)VP,	(12)
где р> 1 и <7=^rj-
Последний сомножитель легко вычисляется в явном виде:
(MzD1/₽ = exp fe 2	(13)
I	ft =2	'
Оценим теперь вероятность Р„(т>п), входящую в левую
часть (12). Имеем
£я(т>п) =Pn(Sll^g(k),
= Pn(Sk^g^t
§ 7. ОБ АСИМПТОТИКЕ ВЕРОЯТНОСТИ ВЫХОДА
527
ft
Где Sfc = 2	= £г — аг. Согласно лемме 1 величины |ъ ...,
<=1
по мере Р„ являются независимыми и нормально распределенными,
|г~©7^(0, 1). Тогда по лемме 2 (примененной к Ь — —g(l),
Р = Рл, Хп = §п) находим, что
(\т>п)=>=|,	(14)
где С — некоторая константа.
Тогда из (12) —(14) следует, что для любого р>1
fn	1
-у 2 [д£^)]2--^и1п/г
ft =2	• ,
(15)
где Ср —некоторая константа. Из условий теоремы и в силу
произвольности р>1 из (15) получаем оценку снизу (10).
Для получения оценки сверху (11) прежде всего заметим, что,
поскольку г„>0 (Р- и Рл-п. н.), то в силу (5)
Р (т > п) = N\nI (т > п) zn\
(16)
где Мл — усреднение по мере Р„.
В рассматриваемом нами случае «1 = 0, а„ = Ag (п), п 2,
поэтому для n^s2
{п	п
ft=2	ft—2
По формуле суммирования по частям (см. доказательство
леммы 2 в § 3 гл. IV)
п	п
2 Agr(^).^ = Ag(n).S„- 2 S^M*)),
ft=2	ft=2
откуда с учетом того, что по условиям теоремы Ag(&)SsO,
A(Ag(A))=C0, находим, что на множестве {т>п} = {Sk^g (k),
1
S bg(k)-^bg(n)-g(n)- ££(£_1)Д(Д£(*))_^Д£(2)в
i=2	A==3
n
- S [W)]2+S(l) Afir(2)- М2}.
ft=2
528
ГЛ. VII. МАРТИНГАЛЫ
Итак, из (16)
Р (т > п)
{п	\
-1 2 [д£М12-£<1)А£(2) 1Йп7(т>/г)^‘4г<2’
*=2	I
где
М„/ (т> п)е ^‘А?(2> ^Мг„е °‘4й(2, = Ме S14g(2)<oo.
Поэтому
(п	\
-42 [д£^)Н>
А=2	J
где С —некоторая положительная константа, что и доказывает
оценку сверху (11).
Теорема доказана.
3.	Идеи абсолютно непрерывной замены меры позволяют
исследовать аналогичную задачу и для случая двусторонних гра-
ниц. Приведем (без доказательства) один из результатов в этом
направлении.
Теорема 2. Пусть Ед, g2, •  • — независимые одинаково
распределенные, gz<~©^*(0, 1), случайные величины. Предположим,
что f — f (п) — положительная функция такая, что
f{n)—f<x>,	п-*-со,
и
t[^(k)Y=o[Xf-4k)\ п-+оо.
А—2	\А = 1 j
Тогда, если
<j = inf{nSsl:	(n)},
то
(n	\
-jJfW+oO)). «-*-00’ <17)
*=1	J
4. Задачи.
1.	Показать, что последовательность, определенная в (4), яв-
ляется мартингалом.
2.	Установить справедливость формулы (13).
3.	Доказать формулу (17).
ГЛАВА VIII
ПОСЛЕДОВАТЕЛЬНОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН,
ОБРАЗУЮЩИЕ МАРКОВСКУЮ ЦЕПЬ
§ 1.	Определения и основные свойства
1.	В главе I (§ 12) для случая конечных вероятностных про-
странств были изложены основные принципы, положенные в основу
понятия марковской зависимости между случайными величинами.
Там же были приведены разнообразные примеры и рассмотрены
простейшие закономерности, которыми обладают случайные вели-
чины, связанные в цепь Маркова.
В настоящей главе дается общее определение стохастической
последовательности случайных величин, связанных марковской
зависимостью, и основное внимание уделяется изучению асимпто-
тических свойств марковских цепей со счетным множеством
состояний.
2.	Пусть (Q, aF, Р) — вероятностное пространство с выделен-
ным на нем неубывающим семейством о-алгебр (aF'n), s <з?\ s
S ... £= &'•
Определение. Стохастическая последовательность X — (Хп,
г^п) называется марковской цепью или цепью Маркова (по отношению
к мере Р), если для любых п т 0 и любого В е (R)
Р {Хп е В = р {Хп <= В! Хт} (Р-п. н.).	(1)
Свойство (1), называемое марковским свойством, допускает
различные эквивалентные формулировки.
Так, (1) равносильно тому, что для любой ограниченной боре-
левской функции g=g(x)
м [g (Х„) | aTm] = М [g (Х„) I Хт] (Р-п. н.).	(2)
Свойство (1) эквивалентно также тому, что при фиксированном
«настоящем» Хт «будущее» Б и «прошлое» П независимы, т. е.
Р(БП|Хт) = Р(Б|Хт)Р(П|Хт),	(3)
где событие Бео{а: Xit i^m}, а событие Пе/Я, т^п.
530
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
В том частном случае, когда
е?” л = е?” п = О {(О! Хд, ..., Хл}
и стохастическая последовательность X = (Хл, eF*) образует
марковскую цепь, принято говорить, что сама последовательность
(Хл) является марковской цепью. В этой связи полезно отметить,
что если X = (Х„, <fn) — цепь Маркова, то (Хп) также есть
марковская цепь.
Замечание. В данном выше определении предполагалось, что
величины Хп принимают действительные значения. Аналогичным
образом дается определение марковской цепи и в том случае,
когда величины Хп принимают значения в некотором измеримом
пространстве (Е, S). При этом, если все одноточечные множества
измеримы, то это пространство называют фазовым и говорят, что
X = (Х„, е^п) — марковская цепь со значениями в фазовом про-
странстве (Е, S). В том случае, когда Е — конечное или счетное
множество (и ё — о-алгебра всех его подмножеств), марковские
цепи называют дискретными. В свою очередь дискретные цепи
с конечным фазовым пространством называют конечными це-
пями.
Изложение теории конечных марковских цепей, данное в § 12
гл. I, показывает, что в их исследовании особо важную роль
играют переходные вероятности Р (Хл+1 е В | Хл) за один шаг.
В силу теоремы 3 из § 7 гл. 11 существуют функции Рл+1 (х\ В) —
регулярные условные вероятности, являющиеся при фиксирован-
ном х мерами на (Р,	(Р)) и при фиксированном В измеримыми
функциями по х, такие, что
Р (Хл+1 е= В | Хп) = Рп+1 (Хп, В) (Р-п. н.).	(4),
Функции -Рп = Рп (х\ В), п5э0, называют переходными функ~
циями и в том случае, когда они совпадают (Р1 — Р2 — ...), соот-
ветствующую марковскую цепь X принято называть однородной.
(по времени).
Все дальнейшие рассмотрения будут вестись лишь для однород-
ных марковских цепей, а переходная функция Рг Рх (х\ В)<
будет обозначаться просто Р = Р(х\ В).
Наряду с переходной функцией важной вероятностной харак-
теристикой марковской цепи является начальное распределение
л = л(В), т. е. распределение вероятностей, определяемое равен-
ством л(В) = Р{ХоеВ}.
Набор объектов ^л, Р), где л —начальное распределение, а
Р —переходная функция, полностью определяет вероятностные
свойства последовательности X, поскольку все конечномерные
§ 1 ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
531
распределения выражаются (задача 2) через л и Р: для любого
n 5s О и Ле»®(Rn+V)
Р{(Х0, Х„)еЛ} =
= л (dxg) Р (х0;	Iд (xq, ..., х/;) Р (хл_j, tix^). (5)
R	R	R
Отсюда стандартным предельным переходом выводится, что для
любой <=й? (Rn+1)-измеримой функции (одного знака или ограничен-
ной) g (х0, ..., х„)
МЯ(ХО, .... Х„) =
= $ л (dx0) $ Р (х0; dxt) ...\g (х0, ..., х„) Р (x„_i; dxn). (6)
R	R	R
3.	Обозначим через Р^п} = Р(п) (х; В) — регулярный вариант
переходной вероятности за п шагов'.
Р(Х„еВ|Х0) = Р«(Х0; В) (Р-п. н.).	~	(7)
Из марковского свойства непосредственно выводится, что для
любых k, /5=1 (Р-п. н.)
РЧ*Ч (Хо; В) = J Р<« (Хо; dy) pw (у- В).	(8)
R
Отсюда не следует, конечно, что тогда для всех хе R
Р^ (х; В) = Pw (х; dy) Р^ {у, В).	(9)
R
Оказывается, однако, что регулярные варианты переходных
вероятностей можно выбрать так (см. по этому поводу соответст-
вующее место в историко-библиографической справке), что свой-
ство (9) будет выполнено для всех хе R.
Уравнение (9) носит название уравнения Колмогорова —Чэпмена
(ср. с (1.12.13)) и служит отправным моментом при исследовании
вероятностных свойств марковских цепей.
4.	Как следует из вышеизложенного, каждой марковской цепи
X = (Хп, еКп), заданной на (Q, «F, Р), сопоставляется набор (л, Р).
Естественно поставить вопрос о том, каким условиям должен
удовлетворять набор (л, Р), где л = л(В) есть распределение
вероятностей на (R, &B(R)), а Р = Р(х; В) — функция, являющаяся
измеримой по х при фиксированном В и вероятностной мерой по В
при каждом х, чтобы л было начальным распределением, а Р —
переходной функцией некоторой марковской цепи. Как сейчас
будет показано, для этого никаких дополнительных условий
налагать не требуется.
В самом деле, возьмем в качестве (Q, аК) измеримое простран-
ство (R00,	(R20)) и определим на множествах А е (R"+1)
532
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
вероятностную меру с помощью выражения, стоящего в правой
части формулы (5). Как следует из § 9 гл. II, на (/?“, Si (R°°))
существует вероятностная мера Р такая, что
Р {со: (х0, хл)еЛ} =
=\a(dx0)\P(x0; dx1)...\lA{x0, .... хп)Р(хп^', dxn). (10)
R	R	R
Покажем, что если для со = (х0, xlt ...) положить Хп (со) = хп, то
последовательность X = (Хл)л>о будет образовывать (по отношению
к построенной мере Р) марковскую цепь.
Действительно, если B^Si(R), С е<Д?(Дл+1), то
Р {Хл+1 <= В, (Хо..Хп) е С} = л (dx0) Р (х0; dxj .,.
R R
• • • $ h (хп+1) 1С (х0, ..., хп)Р (хп; dxn+1) =
я
= л (dx0) Р (*о'> dXi) .. .$ Р (х„; В) /с (х0, ..., хп) Р (x„-i, dxn) =
R R	R
$ P{Xn- B)dP,
...Xn)^C}
откуда (Р-п. н.)
Р(Хл+1еВ|Х0, ..., ХЛ} = Р(ХЛ; В).	(11)
Аналогичным образом проверяется, что (Р-п. н.)
Р{Хл+1еВ|Хл} = Р(Хл; В).	(12)
Из (11) и (12) вытекает требуемое равенство (1). Точно также
доказывается, что (Р-п. н.) для любого k^\ и
Р{Хл+ае5|Х0, ..., Хл} = Р{Хл+ае5;Хл}.
Отсюда следует однородность марковской цепи.
Построенная марковская цепь Х = (ХЛ) называется марковской
цепью, порожденной парой (л, Р). При этом, чтобы подчеркнуть,
что построенная на (Я°°, S1 (7?°°)) мера Р отвечает именно началь-
ному распределению л, ее часто обозначают через Ря.
Если мера л сосредоточена в одной точке {%}, то вместо Prt
пишут Рл и соответствующую марковскую цепь называют цепью,
выходящей из точки х (поскольку Рл.{Х0 = х} = 1).
Таким образом, с каждой переходной функцией Р = Р(х; В)
связывается на самом деле целое семейство вероятностных мер
{Рл, х R}, а, значит, и целое семейство марковских цепей,
возникающих, когда последовательность (Хл)л>0 рассматривается
относительно мер F\, х е R. В дальнейшем под словами «марков-
кая цепь с заданной переходной функцией» будем понимать именно
семейство марковских цепей в указанном смысле.
J 1 ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
533
Заметим, что построенные по переходной функции Р — Р (х; В)
меры Ря и Рх согласованы в том смысле, что для А е (R00)
Рл{(Х0,Х1,...)е=Д|Х0=х} = РИ(Хо. Хъ ...)е=Д} (л-п. н.) (13)
и
Рл {(Хо, Xi,...) е Д} = $ Рх {(Хо, Хъ ...) е Д} л (dx).	(14)
R
5.	Будем предполагать, что (Q, оГ) = (RCO, (R00)) и что рас-
сматриваемые последовательности X = (Х„) заданы координатным
образом, т. е. Хл(со)==хл для (о —(х0, х1; ...). Пусть также
= о{о): Хо....Хл}, П2аб.
Определим на й операторы сдвига вп, п^О, с помощью
равенства
9Л (Хо, ^1» • • •) ==	^л+1, • • •),
и для каждой случайной величины г] = т] (®) определим случайные
величины 0/гГ], полагая
(0„т]) (со) = п (0лсо).
Используя эти обозначения, марковскому свойству однородных
цепей можно придать (задача 1) следующую форму: для любой
е^-измеримой случайной величины т] = т](о)), любого п^О и
В е= (R)
P{0nri^B|aFa} = PXrt{rieB} (Р-п. н.).	(15)
Именно эта форма марковского свойства допускает важное
обобщение, состоящее в том, что соотношение (15) останется спра-
ведливым, если вместо п рассмотреть моменты остановки т.
Теорема. Пусть X = (Хл) — однородная марковская цепь,
заданная на (R°°, ^(R00), Р) и х — момент остановки. Тогда
справедливо следующее строго марковское свойство:
Р{МеВИг! = М’1еВ1 (Р-п. н.).	(16)
Доказательство. Если	то
Р {0тт] е В, Д} = 2] Р {0тп е В, А, т = /г} =
/1=0
= P{SnT]^B- А, т = п}.	(17)
п=0
Событие Д f] {т = л} е	и, значит,
Р{0лг] ей, ДГ){т = д}} = Р{9лпе£[^«ИР =
Af){T=n}
= Px„{r|eB}dP= J PXthsB}dP,
АП{т=/г)	Af){T=n}
что вместе с (17) доказывает (16).
534
ГЛ. VIII МАРКОВСКИЕ ЦЕПИ
Следствие. Если а — момент остановки такой, что Р(о
^st) = 1 и а —а^т-измерим, то
Р{ХоеВ, о<оо|аГт} = РХт(В) ({о<оо}; Р-п. н.).	(18)
6.	Как уже отмечалось, в дальнейшем будут рассматриваться
лишь дискретные цепи Маркова (с фазовым пространством состоя-
ний Е = {..., I, j, k, ...}). Для простоты записи будем в этом
случае обозначать переходные функции Р (i; {/}) через р,у и назы-
вать их переходными вероятностями, а вероятности перехода из I
в j за п шагов обозначать через pff.
Основные вопросы, которые будут изучаться в §§2 — 4, связаны
с выяснением условий, при которых (£ = {1, 2, ...}):
А) Существуют пределы лу = Нтр(?>, не зависящие от z;
п 11
В)	Пределы (nt, л2, ...) образуют распределение вероятностей,
т. е. л,- О, л,- = 1;
i=i
С)	Цепь является эргодической, т. е. пределы (ль л2, ...)
таковы, что Л; > О, У, л; = 1;
i=i
D)	Существует и притом единственное стационарное распреде-
ление вероятностей (Q = (ср., q%, ...), т. е. такое, что О,
У <?; = 1 и <?у = У qiPtj, j е= Е.
z=i	i
Для получения ответа на эти вопросы проведем классификацию
состояний марковской цепи в зависимости от арифметических
и асимптотических свойств вероятностей pff и
7. Задачи.
1.	Доказать эквивалентность определений марковости (1), (2),
(3) и (15).
2.	Доказать справедливость формулы (5).
3.	Доказать соотношение (18).
4.	Пусть (Хл)л>о — марковская цепь. Показать, что обращенная
последовательность (...Хп, Xn-lt ..., Хо) также образует цепь
Маркова.
§ 2. Классификация состояний марковской цепи
по арифметическим свойствам переходных вероятностей pff
1. Будем называть состояние (е£ = {1, 2, ...} несуществен-
ным, если из него с положительной вероятностью можно за
конечное число шагов выйти, но нельзя в него вернуться, т. е.
существуют такие пг и /, что pffl > 0, но для всех п и j p(ff = 0.
j 2 КЛАССИФИКАЦИЯ СОСТОЯНИИ
535
Выделим из множества Е все несущественные состояния.
Тогда оставшееся множество существенных состояний обладает
тем свойством, что, попав в него, блуждающая «частица» никогда
из него не выйдет (рис. 36). Как станет ясно из дальнейше-
го, основной интерес представляют именно существенные со-
стояния.
I	I
L---------------------------------J
Существенные
состояния
।________________j
Несущественные
состояния
Рис. .36.
Рассмотрим сейчас множество существенных состояний. Назо-
вем состояние / достижимым из точки i (1-+j), если существует
такое т^О, что > 0	= 1, если i — j, и 0, если i =#= /).
Состояния I и / назовем сообщающимися (i *->]), если / дости-
жимо из i и i достижимо из j.
По самому определению отношение «^» является симметрич-
ным и рефлексивным. Нетрудно убедиться, что оно транзитивно
(i«-> /, j «-> k => i«-* k). Следовательно, множество существенных
состояний разбивается на конечное или счетное число непересе-
кающихся множеств Еъ Ег, ..., состоящих из сообщающихся
состояний и характеризующихся тем, что переходы между различ-
ными множествами невозможны.
Для краткости множества Ei, Е2, ... будем называть классами
или неразложимыми классами (существенных сообщающихся состо-
яний), а марковскую цепь, состояния которой образуют один
неразложимый класс, назовем неразложимой.
Для иллюстрации введенных понятий рассмотрим цепь с мат-
рицей
Va 2/з
>/4 »/4
ООО
ООО
О О
о о
о о
О	1	о
Va	0	1/а
О-	1	о
'Р1 0\
.0 Р2Д
536
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Граф этой цепи с множеством состояний £ = {1, 2, 3, 4, 5}
имеет следующий вид:
Ясно, что у рассматриваемой цепи есть два неразложимых класса
£1 = {1, 2}, £2 = {3, 4, 5}, и исследование ее свойств сводится
к исследованию свойств каждой из двух цепей, состояниями
которых являются множества Ei и Е2, а матрицы переходных
вероятностей равны соответственно Рх и Р2.
Рассмотрим теперь какой-нибудь неразложимый класс Е. Для
примера пусть им будет класс, изображенный на рис. 37.
Заметим, что здесь возвращение в каждое состояние возможно
лишь за четное число шагов, переход в соседнее состояние —за
Рис. 37. Пример марковский
цепи с периодом d = 2.
нечетное число шагов, а матрица пере-
ходных вероятностей имеет блочную
структуру:
/О 0 ; Va 1/2\
/о 0 : 1/2 1/2 \
Р= ................. .
I Va Уз : 0 0 /
\Уз Уз : О О/
Отсюда видно, что класс £ = {1, 2,
3, 4} разбивается на два подкласса
Со = {1, 2} и Ci = {3, 4}, обладающих
следующим свойством цикличности-, за
один шаг из Со частица непременно пе-
реходит в Ci, а из Ci — в Со.
Этот пример подсказывает классификацию неразложимых клас-
сов на циклические подклассы.
2. Будем говорить, что состояние / имеет период d — d (/),
если выполнены следующие два условия:
1) р(.У>0 только для тех п, которые имеют вид n = dm\
2) d есть наибольшее из чисел, обладающих свойством 1).
Иначе говоря, d есть общий наибольший делитель чисел п таких,
что > 0. (Если р<"> = 0 для всех nSs 1, то полагаем d (/) = 0.)
Покажем, что все состояния одного неразложимого класса £
имеют один и тот же период d, который поэтому естественно
назвать периодом этого класса, d = d(£).
Пусть I, / е £. Тогда найдутся такие k и I, что pW > 0,
р<'»>0. Поэтому р^+б^р<*>р<б>0 и, значит, k + l делится на
d(t). Предположим, что п>0 и п не делится на d(i). Тогда
n+k + l также не делится на d(i) и, следовательно, p|«+*+O = 0.
§ 2. КЛАССИФИКАЦИЯ СОСТОЯНИИ
537
Но
р<»+4+0^р(*)р(п)р(П
Рис. 38. Движение по цикли-
ческим подклассам.
и, значит, = 0. Отсюда вытекает, что если >0, то п
должно делиться на d(i), а поэтому d(i)^d(j). В силу симмет-
рии d (/) d (i). Следовательно, d (i) =
= d(/).
Если d(j) = 1 (d (E) = 1), то состоя-
ние / (класс E) будем называть апери-
одическим.
Пусть d = d (Е) — период неразложи-
мого класса Е. Переходы внутри такого
класса могут осуществляться весьма при-
чудливым образом, однако (как и в
рассмотренном выше примере) имеет
место некоторая цикличность в переходах
из одной группы состояний в другую.
Чтобы это показать, зафиксируем неко-
торое состояние г0 и введем (для dSsl)
следующие подклассы:
С0 = р’еЕ : p("’>0=>« = 0(modd)|;
Ci = е Е :	> 0 п == 1 (mod d) j;
Gm = {/gE :	> 0 => n ss d — 1 (mod d)}.
Ясно, что E = C04-C1 + .. .4-Crf-p Покажем, что движение из
подкласса в подкласс осуществляется так, как это изображено
на рис. 38.
В самом деле, пусть состояние i е Ср и pi} > 0. Покажем, что
тогда непременно j е Ср+1 (mod ay. Пусть п таково, что р<$ > 0.
Тогда n — ad-\-p, а значит, n = p(modd)n п-\-1 =р+ 1 (modd).
ОтСЮДа р<" + ° > 0 И j G Cp+i (mod </>.
Заметим, что из приведенных рассуждений следует, что мат-
рица Р переходных вероятностей неразложимой цепи имеет блоч-
ную структуру:
538
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Рассмотрим некоторый подкласс Ср. Если считать, что в началь-
ный момент частица находится во множестве Со, то в моменты
s=p-\-dt, t = 0, 1, она будет находиться в подклассе Ср.
Следовательно, с каждым подклассом С„ можно связать новую
марковскую цепь с матрицей переходных вероятностей (р^);г/ес ,
которая будет неразложимой и апериодической. Тем самым, при-
нимая во внимание проведенную классификацию (см. сводный
Циклические подклассы
Рис. 39. Классификация состояний марковской цепи по арифметическим свой-
ствам вероятностей р^.
рис. 39), заключаем, что при исследовании вопросов о предель-
ных свойствах вероятностей р&> можно ограничиваться рассмот-
рением лишь апериодических неразложимых цепей.
3. Задачи.
1.	Показать, что отношение «<->» является транзитивным.
2.	Для примера 1, рассмотренного в § 5, показать, что для
О < р < 1 все состояния образуют один класс с периодом d = 2.
3.	Показать, что марковские цепи, рассмотренные в приме-
рах 4 и 5 в § 5, являются апериодическими.
§ 3. Классификация состояний марковской цепи
по асимптотическим свойствам вероятностей pff
1.	Пусть Р = || ру || — матрица переходных вероятностей мар-
ковской цепи (Хп)п>0,
fu} = Pi{Xk = h Xt^i, \	(1)
и ДЛЯ IФj
X'^j,	(2)
— вероятность первого возвращения в состояние i и вероятность
первого попадания в состояние j в момент времени k, когда Xu = i.
§ 3. КЛАССИФИКАЦИЯ состоянии
539
Используя строго марковское свойство (1.16), аналогично
(1.12.38) показывается, что
4=i
Введем для каждого i е Е величину
со
(4)
/2=1
по своему смыслу являющуюся вероятностью того, что частица,
выходящая из состояния I, рано или поздно вернется в это состоя-
ние. Иначе говоря, = Р/{ф < °°}, где о, = inf {п 1: Xn = i}
с о; = оо, когда (•} = Ф-
Рис. 40. Классификация состояний марковской цепи по асимптотическим свой-
ствам вероятностей
Назовем состояние i возвратным, если
/н = 1,
и невозвратным, если
Каждое возвратное состояние можно в свою очередь отнести
к одному из двух типов в зависимости от конечности или беско-
нечности среднего времени возвращения.
А именно, будем называть возвратное состояние i положитель-
ным, если
и нулевым, если
/ оо	\— 1
=0.
\л = 1	/
Итак, в зависимости от свойств вероятностей получаем
классификацию состояний цепи, изображенную на рис. 40,
540
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
2.	Поскольку отыскание функций довольно-таки сложно,
то для определения того, является состояние i возвратным или
невозвратным, полезен следующий критерий.
Лемма 1. а) Состояние i возвратно тогда и только тогда,
когда
ОО
У, Р\? =	(5)
п = 1
Ь) Если состояние j возвратно и i j, то состояние i также
возвратно.
Доказательство, а) В силу (3)
Р\? = 2 f^P^~k\
k = \
и, значит, (p'ft = 1)
со	со п	со	со
2 р^= 2 2	2 W 2 рГ*’ =
п — 1	п=1k=1	# — 1 n—k
со	/	СО	\
-ь2₽“-М> + 2р“ 
n=Q	'	п~1	'
co
Поэтому, если	то	и» значит, состояние I
п = 1
со
невозвратно. Далее, пусть У pj.p’^oo. Тогда
2 р“'= 2 2	2 Л® 2 Р\Г1'Ч 2 Л?’ 2 ₽.<?.
,1=1	n=14=l	k=\ п= 1	k=l 1 = 0
и поэтому
СО	а	У Р{?
fa= 2	2	—>i-	^->оо.
*=* ft = i	р!-?
1 = 0
Итак, если У р^? = оо, то /,< = 1, т. е. состояние i возвратно.
п — 1
Ь) Пусть рц><д, р(р>^- Тогда
(п 4- s 4- 0	(S) (и) (О
Ра	Pii Ра Pit >
и если У р?? = оо, то и У рц} = оо, т. е. состояние i возвратно.
i	I
§ 3 КЛАССИФИКАЦИЯ СОСТОЯНИЙ
541
3.	Из критерия (5) легко выводится следующий первый резуль-
тат об асимптотическом поведении вероятностей
Лемма 2. Если состояние j невозвратно, то для любого i
< оо	(6)
и, значит,
р,? -> оо, п -> со.	(7)
Доказательство. Из (3) и леммы 1
со	со п	оо	со
2 *>!,"’= 2 2	21'ff 2 ₽!? =
п=\	п=0
со	оо
= А/ S Р‘и^ Л р^<оо,
п~0	п = 0
оо
где мы воспользовались тем, что Д7 = У	поскольку это
* = 1
есть вероятность того, что частица, вышедшая из i, рано или
поздно попадет в /. Итак, (6), а значит, и (7) доказаны.
Перейдем теперь к случаю возвратных состояний.
Лемма 3. Пусть j является возвратным состоянием с d(j) — 1.
а) Если i сообщается с j, то
(8)
Если к тому же j является положительным состоянием, то
р№ > 0, п -> оо.	(9)
Если же j является нулевым, то
п->оо.	(10)
Ь) Если i и j принадлежат разным классам сообщающихся
состояний, то
п~^со- (И)
Доказательство леммы будет опираться на следующий
результат из анализа.
Пусть fi, f2, ... — последовательность неотрицательных чисел
СО
с ^^“l такая, что общий наибольший делитель тех чисел /,
i=l-
542
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
для которых fj>0, равен единице. Пусть «0=1, ип= '^lfkun-k,
k=i
ОО
п = 1, 2,..., и ц = У nfn. Тогда ип~^—, п-*-со (доказательство
П =: 1
см., например, в [69] § 10 гл. XIII).
Учитывая соотношения (3), применим этот результат к ип —
= р//’, /* = ///’• Тогда сразу получаем, что
nW -> —,
СО
где Ц; = 2 п№-
п — I
Перепишем теперь соотношение (3) в виде (рФ = 0, s <Z 0)
СО
р^ = S WA)-	<12)
k = 1
Согласно доказанному для каждого фиксированного k
ptn-*>	pji(	Поэтому, если предположить, что
СО	оо
lim 5 S ^’limp<r^ (13)
п k=i	‘	k=\	п
то тогда сразу получим
<14>
W — 1	'
что и доказывает (11).
По своему смыслу [ц есть вероятность того, что частица,
вышедшая из состояния i, рано или поздно попадет в состояние j.
Состояние / возвратно, и если i сообщается с /, то естественно
ожидать, что тогда Ду = 1. Покажем, что это действительно так.
Пусть fij — вероятность того, что частица, вышедшая из состоя-
ния i, бесконечно много раз побывает в состоянии /. Понятно,
что /Поэтому, если показать, что для возвратного состоя-
ния j и сообщающегося с ним состояния i вероятность /7/ = 1,
то требуемое равенство Ду = 1 будет установлено.
Согласно утверждению Ь) леммы 1 состояние I также воз-
вратно и, значит,
= = (15>
Пусть
о, = inf {п 1: Хп — 1}
§ 3. КЛАССИФИКАЦИЯ СОСТОЯНИЙ
543
— момент первого (в моменты п^1) попадания частицы в состоя-
ние I; полагаем ст, = со, если такого момента не существует.
Тогда
СО	00
=	= S P»(ai = n) = Pi(o1<oo), (16)
п = 1	п = Г
и, следовательно, возвратность состояния i означает, что частица,
вышедшая из I, рано или поздно снова вернется в это состояние
(в случайный момент ст,). Но после возвращения в это состояние
«жизнь» частицы как бы начинается сначала (в силу справедли-
вости строго марковского свойства). Отсюда напрашивается вывод,
что если состояние i возвратно, то частица будет попадать в него
бесконечно часто:
Pi{Xn = i для бесконечно многих п} = 1.	(17)
Дадим теперь формальное доказательство этого утверждения.
Пусть i — какое-то состояние (возвратное или невозвратное).
Покажем, что вероятность возвращения в него по крайней мере г
раз равна (Д,-)г.
Для г = 1 это следует из определения /;г. Пусть утверждение
доказано для r = m—1. Тогда, используя строго марковское
свойство и (16), находим, что
Р, (число возвращений в i больше или равно т) =*
СО
= JSJ Pifoi = k, число возвращений в i после момента =
k=i \ больше или равно т— 1	)
СО
= S Рг^ = ^Р,7по крайней мере (т— 1) значение
*=1	\из Ха.+ х, Ха.-1-2, ... равно i
ст, = k\ =
= 5 P,to=*)P//по крайней мере (tn— 1) значение''=
a = i	\из Xi, Х2, ... равно i	)
00
4= 1
Отсюда, в частности, следует, что для возвратного состояния i
справедлива формула (17). Если же состояние невозвратно, то
Pi{Xn=i для бесконечно многих п} = 0.	(18)
Перейдем теперь к доказательству того, что Д/ = 1. Поскольку
состояние I возвратно, то в силу (17) и строго марковского
544
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
свойства
1 = 2 Pi (°7 = ^) + Р< (°7 = оо) =
*=1
”	fo/ = k,	число возвращений в А
— A	Р<	I	после момента k равно j + Pt (°/	~ °°) =
&=1	\	бесконечности	/
ОО
= У',	бесконечно много значений/4-Р/ (о/ = оо) =
\ из Х0/+ь Ха.+2, ... равно i)
”	/бесконечно много зна- <т7-=&\
= A Pt (О/ = k)  Р{ чений из Xoy+i, Ха/+2,... Ха = \+Р<(°/ = °°) =
*=1	\... равно i	=j
-	А^’-Р/ /бесконечно много значений/+ (1—/)7) =
*	=1 \из Xi, Х2, ... равно i )
= №+(Н//)=Ш(НУ)-
*	=1
Итак,
1=/0-А7 + 1-А7
и, значит,
fi/ = fij  ftp
Поскольку i++j, то а следовательно, Д/=1 и А/ = 1.
Таким образом, в предположении (13) из (14) и равенства
fij = 1 следует, что для сообщающихся состояний i и /
—, п->со.
Р-7
Что же касается равенства (13), то его справедливость сле-
дует из теоремы о мажорируемой сходимости и того замечания,
что	п-^со, 2 /‘7 =fu
Лемма доказана.
Перейдем теперь к рассмотрению случая периодических состоя-
ний.
Лемма 4. Пусть j —возвратное состояние и ct(/)>-l.
§ 3. КЛАССИФИКАЦИЯ СОСТОЯНИЙ
54S
в) Если состояния i и j принадлежат одному классу состоя-
г.ийу nfiu этом I принадлежит циклическому подклассу Cr, a j s
t=Cr+a, то
Piid+a)~^~-	(19)
b) Если же i произвольно, то
ptfa+a)
 со
2 ftr/+a
-r = 0
. А
и/’
а = 0, 1,..., d — 1.	(20)
Доказательство, а) Пусть сначала а = 0. Относительно
матрицы переходных вероятностей Pd состояние / возвратно и
^периодично. Следовательно, согласно (8)
р{па>	_------------
“ц	со	со
2	2 kdi^
k— 1	k — 1
Предположим, что (19) доказано для а = г. Тогда
со	со
(nrf+r+1)_ у («</ + '•) . У п d _ d
Рч - £, PikPk! -> 2, Pib  Ц . -
k=l	k=l
Ь) Ясно, что
nd Ц-а
д) г—	а —
а = 0, 1..d-1.
Период состояния / равен d, поэтому р^.а+а-ь) = 0, за исключе-
нием лишь случаев, когда k — a имеет вид r-d. Значит,
п
p(ndа) у prd + а)р(<п — г) d)
4	г=0 4 П
и требуемый результат (20) следует из (19).
Лемма доказана.
Из лемм 2—4 вытекает, в частности, следующий результат
о предельном поведении вероятностей pff\
Теорема 1. Пусть марковская цепь неразложима (т. е. ее
состояния образуют один класс существенных сообщающихся
состояний) и апериодична.
Т огда:
а) если все состояния нулевые или невозвратные, то для всех i и j
п-+оо\	(21)
546
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Ь) если все состояния j положительны, то для всех I
р(?>— >0, п->оо;
гу н/
(22)
4. Обсудим результат этой теоремы для случая марковской
цепи с конечным числом состояний £=={1, 2, ..., г}. Будем
предполагать, что рассматриваемая цепь неразложима и аперио-
дична. Оказывается, что тогда она автоматически возвратна и
положительна".
неразложимость
d=l
’ неразложимость ’
возвратность
положительность
с/=1
(23)
Для доказательства предположим, что все состояния невозв-
ратны. Тогда в силу (21) и конечности множества состояний цепи
1 = lim £ pW =» £ lim p<f = 0.	(24)
« /=1	/=i "
Полученное противоречие показывает, что все состояния не могут
быть невозвратными. Пусть i0 — возвратное состояние, а' / —
произвольное состояние. Поскольку г0 «-> /, то по лемме 1 состоя-
ние / также возвратно.
Итак, все состояния у апериодической неразложимой цепи
возвратны.
Теперь установим, что все возвратные состояния положительны.
Если предположить, что все они нулевые, то тогда снова при-
дем к противоречивому равенству (24). Следовательно, существует
по крайней мере одно положительное состояние, скажем i0. Пусть
i — какое-то другое состояние. Поскольку i «-> г0, то найдутся s и
t такие, что р$>0, р</’>0 и, значит,
р(.? + s + о pwpw р<р _> p<s> Д_ . pin > о.	(25)
Поэтому найдется e > 0 такое, что для всех достаточно больших п
p'.^S^s^O. Но р(;/п)->-^7. а значит, р,г>0. Тем самым имплика-
ция (23) доказана.
Обозначим л/ = 1/р,/. Тогда в силу (22) nt > 0 и, поскольку
г	г
1 =lim 2 р<Л>= 2 Л/, то (апериодическая неразложимая) цепь
« /=1	/=i
является эргодической. Понятно, что для всякой эргодической
§ 3 КЛАССИФИКАЦИЯ состоянии
547
конечной цепи
найдется па такое, что для всех п^п0
min pW > 0.
1	1	*
(26)
В § 12 гл. I было показано, что верно и обратное: из (26)
следует эргодичность.
Таким образом, имеют место следующие импликации:
неразложимость
1
неразложимость \
возвратность ’
положительность ,
d=l /
эргодич-
ность
Можно доказать, однако, больше.
Теорема 2. В случае конечной марковской цепи
' неразложимостьх
1
/ неразложимость'
I возвратность
\ положительность
\	d—1
(26)
Доказательство. Достаточно доказать импликацию
(эргодичность) =>
неразложимость
возвратность
положительность
d=l
Неразложимость следует из (26). Что же касается апериодич-
ности, возвратности и положительности, то они справедливы
в более общей ситуации (достаточно лишь существования предель-
ного распределения), что доказывается в теореме 2 § 4.
5. Задачи.
1.	Рассмотрим неразложимую цепь с множеством состояний
0, 1, 2, ... Для того чтобы она была невозвратной, необходимо
и достаточно, чтобы система уравнений Ц — £ щру, j = 0, 1, ...,
i
имела ограниченное решение такое, что Щ^с, i = Q, 1, ...
2.	Для того чтобы неразложимая цепь со множеством состоя-
ний 0, 1, ... была возвратной, достаточно существования такой
последовательности («0, ult ...) с «/->оо, г-э-оо, чтобы для всех
/ =7^ 0	У и,р„.
i
3.	Для того чтобы неразложимая цепь с состояниями 0, 1, ..,
была возвратной и положительной, необходимо и достаточно,
548
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
чтобы система уравнений и, — У щрц, / = 0,- 1,... имела не тожде-
I
ственно равное нулю решение, для которого У | и( j < со.
4.	Рассматривается марковская цепь с состояниями 0, 1, ...
и переходными вероятностями
Роо = Го, Рт = Ро > О,
Pi > о,
ri5S0,
> О,
О
Р>7 =
/ = х +1,
/ = г‘>
/ = i- 1,
в остальных случаях.
Пусть р0=1, рт — ^~—Доказать справедливость следующих
Р1 — Рт
утверждений:
цепь возвратна У рт = оо,
цепь невозвратна У рт < оо,
цепь положительная <=> У —!— < оо,
4-1 РтРт
цепь нулевая <=> 2рт==со’ 2у;Ь = с>0,
5.	Показать, что
supp^^fi^ Хр^‘
"	п = I
6.	Показать, что для любой марковской цепи со счетным мно-
жеством состояний всегда существуют пределы для pff в смысле
Чезаро:
lim— У Ри} = ~~
„ п 'ч и/
k = 1
7.	Рассматривается марковская цепь |0,	... с ?А+1 = (Е*)++
+т)А+1, k^O, где т]!, ц2, ... — последовательность независимых
одинаково распределенных случайных величин с Р(ц* = /) — Pj,
j = 0, 1, ... Выпишите матрицу переходных вероятностей и пока-
жите, что если р0>0, Po + Pi<1> то цепь возвратна тогда и
только тогда, когда ^kpk^l.
k
§ 4. ПРЕДЕЛЬНЫЕ И СТАЦИОНАРНЫЕ РАСПРЕДЕЛЕНИЯ
549
§ 4.	О существовании предельных
и стационарных распределений
1.	Начнем с некоторых необходимых условий существования
стационарных распределений.
Теорема 1. Пусть марковская цепь со счетным множеством
состояний Е = {1, 2, ...} и матрицей переходных вероятностей
р = !| рц || такова, что для всех i и j существуют пределы
limp'.'11 = Л/,
п 4
не зависящие от i.
Тогда
а)	1 > X ^iPii —
I	‘
Ь)	или все П/ = 0, или же л/ = 1;
с)	если все nj—Q, то стационарного распределения не сущест-
вует-, если же X — 1, то Д] —(лн ла> ...) образует единствен-
/
ное стационарное распределение.
Доказательство. По лемме Фату
2 щ = 2 lim р<'9 lim 2 ро» = 1.
/	/	"	п 1
Далее,
У пТц = S (’\т РЩ Рп lim S Ры'Рй = lim Pkj+ ° = ЛД
т.	е. для любого /
X ^iPii === nh
I
Предположим, что для некоторого /а
X ^РЦ'. < •
I
Тогда
X	2 2 ftiPij\ — Xi Л, X Pif ~ X
i	I \ i /	i	i	i
Полученное противоречие доказывает, что
^щри = п,	(1)
для любых j.
550
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Из (1) следует, что
2	= Л/.
i
Поэтому
Л/ = Игл 2 KipW = 2 л,- lim pW = I £ лА лл
п i	t п	\ i J
т. е. для всех /
откуда следует утверждение Ь).
Пусть теперь (Q = (qlt q2, ...) — какое-то стационарное распре-
деление. Тогда, поскольку 2	= ?/ и, значит, У q^-q^ т. е.
I	i
Л/ — 7/ДЛЯ всех /, то это стационарное распределение должно
совпадать с J] — (яи я2. Поэтому, если все Л/ = 0, то стацио-
нарного распределения нет. Если же 2я/ = 1, то 1П = (я1> я2> ••)
/
будет единственным стационарным распределением.
Теорема доказана.
Сформулируем и докажем основной результат о существовании
единственного стационарного распределения.
Теорема 2. Для марковских цепей со счетным множеством
состояний единственное стационарное распределение существует
тогда и только тогда, когда во множестве состояний существует
в точности один положительный возвратный класс (существенных
сообщающихся состояний).
Доказательство. Обозначим через N число положитель-
ных возвратных классов.
Пусть N— Q. Тогда все состояния невозвратные или возврат-
ные нулевые и в силу (3.10) и (3.20) Ишр^^Одля любых in j.
п 1
Следовательно, по теореме 1 стационарного распределения не
существует.
Пусть У=1 и С — единственный положительный возвратный
класс. Если d(C) — l, то, согласно (3.8),
-> — > 0, I, / е С.
Если j&C, то j невозвратно и в силу (3.7) для всех i pt/’-^O,
оо.
Положим
0, j&C.
§ 4. ПРЕДЕЛЬНЫЕ И СТАЦИОНАРНЫЕ РАСПРЕДЕЛЕНИЯ
551
Тогда по теореме 1 набор (Q = (<?], q2, образует единственное
стационарное распределение.
Пусть теперь d = d(C}>i. Обозначим Со........цикличе-
ские подклассы. Каждый из этих подклассов Ck относительно
матрицы рй образует возвратный апериодический класс. Тогда,
если i, j^Ck, то согласно (3.19),
— >0.
Поэтому на каждом из множеств С* набор	образует
И/
(относительно матрицы prf) единственное стационарное распределе-
ние. Отсюда, в
частности, следует, что У =1,т. е. 2
Положим
I — > j С — Со + • • • + Cd-lt
I 0, j&C,
и покажем, что для исходной цепи набор Q = (qlt q2, ,,.) обра-
зует единственное стационарное распределение.
В самом деле, для tеС
Ра = 2а P‘i РР‘
i^c
Тогда по лемме Фату
=	J	j-Рц
п
и, значит,
Так же, как и в теореме 1, отсюда показывается, что на самом
деле
Это доказывает, что набор (Q = (<71, q2, ...) образует стационарное
распределение, которое единственно в силу теоремы 1.
Пусть теперь число положительных возвратных классов N 2.
Обозначим их С1,	С", и пусть Q = (qi, q‘i, —стационар-
552
ГЛ. VIII МАРКОВСКИЕ ЦЕПИ
ное распределение, соответствующее классу С1 и построенное по
формуле
, ( —>0,	j^C1,
qli = \
lo,	/ С‘.
Тогда для любых неотрицательных чисел аъ ..., aN таких, что
аг 4- • • • + aN = 1. набор GjCQ1 + • • • + ал'1}Л' будет также образовывать
стационарное распределение, поскольку («itQ1+ • • • +Р =
= П1(5Ф4-... + йл'ЩлР = й1(Ц1 + ...4-МЕ)л/- Отсюда следует, что
для N 2- 2 существует континуум стационарных распределений.
Таким образом, единственное стационарное распределение сущест-
вует лишь в случае 7У = 1.
Теорема доказана.
2.	Следующая теорема дает ответ на вопрос об условиях, при
которых существует предельное распределение для марковских
цепей со счетным множеством состояний Е.
Теорема 3. Для пого чтобы существовало предельное рас-
пределение, необходимо и достаточно, чтобы во множестве Е всех
состояний цепи нашелся в точности один апериодический поло-
жительный возвратный класс С такой, что — 1 для всех j е С
и i е Е.
Доказательство. Необходимость. Пусть = limp'/’
п
и набор (Q = ((/j, q2, ...) образует распределение /<7/Ss0,
\ ‘ /
Тогда по теореме 1 это предельное распределение будет единст-
венным стационарным распределением, а значит, по теореме 2
существует один и только один возвратный положительный класс С.
Покажем, что период этого класса d= 1. Предположим противное,
т. е. пусть d>l. Обозначим Сп, Си ...,	— циклические под-
классы. Если i е Со и jeCj, то, согласно (19),	и
p<yd)=O для всех н0 — 2>о, поэтому не имеет предела
при п->оо, что противоречит исходному предположению о суще-
ствовании limр{'д. Пусть теперь j^Cи i^E. Тогда, согласно (3.11),
п
£	f .
. Следовательно, лу= —. Но не зависит от i. Значит,
fu—f у =
Достаточность. В силу (3.11), (3.10) и (3.7)

—, j е С, i^E,
0, / фС, i е Е.
§ 4 ПРЕДЕЛЬНЫЕ И СТАЦИОНАРНЫЕ РАСПРЕДЕЛЕНИЯ
553
Поэтому, если /,7 = 1 для всех j^C и ie£, то ^==limp<'" не
П *
зависит от i. Класс С положительный, значит, <?/>0 для j^ C.
Тогда по теореме 1 У qj = I и набор (Q = (<?!, </,, ••) образует
1
-предельное распределение.
3.	Резюмируем полученные выше результаты о существовании
предельного распределения, единственного стационарного распре-
деления и эргодичности для случая конечных цепей.
Теорема 4. Для конечных марковских цепей имеют место
следующие импликации:
{1} [цепь неразложима воз-\
(эргодичность) <=> (вратна, положительна]
\ с d = 1	/
и	и
/существует пре-\ {2) (существует в точности\
дельное распреде-] <=> один возвратный поло-
\ ление / хжительный класс с d — \/
и	и
существует един-\ . (существует в точности\
ственное стацио- \ Р?, loduw возвратный поло-)
нарног распр^деле- /	\ жительный класс /
ние /
Доказательство. Все «вертикальные» импликации Ц оче-
видны. Импликации {1} установлены в теореме 2 § 3, имплика-
ции {2} —в теореме 3, импликации {3} —в теореме 2.
4.	Задачи.
1.	Показать, что в примере 1 из § 5 стационарные и предель-
ные распределения отсутствуют.
2.	Рассмотреть вопрос о стационарных и предельных распре-
делениях для марковской цепи с матрицей переходных вероятностей
/1/2 0 1/2 0\
О 0	0	11
1 1/4 1/2 1/4 О I
\ 0 1/2 1/2 О/
3.	Пусть Р = ||р,у || — конечная дважды стохастическая матрица,
т
т. е. =	/ = 1, •••, пг. Показать, что для соответствующей
4—1
марковской цепи стационарным распределением является вектор
=	.... l/ffl).
554
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
§ 5. Примеры
1. Приведем несколько примеров, иллюстрирующих введенные
понятия и полученные выше результаты относительно классифи-
кации и предельного поведения переходных вероятностей.
Пример 1. Будем называть простым случайным блужданием
марковскую цепь, в которой частица с некоторой вероятностью
остается в каждом состоянии и с некоторыми вероятностями пере-
ходит в соседние.
Простое случайное блуждание, соответствующее следующему
графу:
описывает блуждание частицы по состояниям Е = {0, ±1, ...}
с переходом на единицу вправо с вероятностью р и влево с вероят-
ностью q. Понятно, что вероятности перехода равны
Р// =
Р,
7.
. О
/ — t + 1,
/ = 1-1, p + q=\,
в остальных случаях.
Если р — 0, то частица детерминированным образом движется
влево, если же р=1, то вправо. Эти случаи мало интересны,
поскольку тогда все состояния несущественны. Будем поэтому
предполагать, что 0<р<;1.
В этом предположении, состояния цепи образуют один класс
(существенных сообщающихся состояний). В каждое состояние
можно вернуться за 2, 4, 6, ... шагов. Поэтому цепь имеет
период d — 2.
Поскольку для любого i е Е
p^=Cn2n(pqy = ^(pqy,
то по формуле Стирлинга (п!^]/2л/г ппе~п)
р(2п) ~ УРЧУ,
Ра У™
Поэтому, если p — q, то У р(р> = оо, и если р =£= q, то
п
S Piin> Иначе говоря, если p=q, то цепь возвратна, если
а
§ 5. ПРИМЕРЫ
555
же p^q, то невозвратна. В § 10 гл. I было
в случае р == ^ = 1/2	"> ~ 2 ^1—, п^со.
= (2^) Гцп} — со, т. е. все возвратные состояния
показано, что
Значит, ц; —
являются нуле-
п
выми. Поэтому в силу теоремы 1 из § 3 для всех 0<р<<1
п-^-со, для любых i и /.
Стационарные, предельные и эргодические распределения
отсутствуют.
Пример 2. Рассмотрим простое случайное блуждание с Е —
= {0, 1, 2, ... }, где 0 является поглощающим экраном:
Состояние 0 образует единственный положительный возврат-
ный класс с d—1. Все же остальные состояния невозвратны.
Поэтому, согласно теореме 2 из § 4, существует единственное
стационарное распределение
]TI=(^0. Д1, ^2, ••• )
с п0 = 1 и = О, -
Рассмотрим теперь вопрос о предельном распределении. Ясно,
что р<"> = 1,	0, /^1, i^O. Покажем теперь, что для вся»
кого 12^1 величины a (f) = lim определяются формулами
а (г) =
p>q,
1,
(1)
р 1
С этой целью прежде всего заметим, что поскольку состояние
0 является поглощающим, то pffl = и, следовательно, a (i) = fi0,
k^n.
т. е. интересующая нас вероятность a (i) есть вероятность того,
что частица, выходящая из состояния i, рано или поздно достиг-
нет нулевого состояния. Для этих вероятностей тем же методом,
что и в § 12 гл. I (см. также § 2 гл. VII), выводятся рекур-
рентные соотношения
a(t)=/?a (t-i-1)4-7» (х — 1),
(2)
556
ГЛ VIII МАРКОВСКИЕ ЦЕПИ
при этом а(0) = 1. Общее решение этого уравнения имеет вид
а(г)==а4-6(<7/р)г,	(3)
и условие а (0) — 1 дает одно условие на константы а и b: а -|- b = 1.
Если предположить, что q> р, то тогда в силу ограниченности
a(f) сразу получаем, что b — Q, а значит, а(г) = 1. Этот результат
вполне понятен, поскольку в случае q>p частица имеет тенден-
цию двигаться по направлению к нулевому состоянию.
Если же р>(], то ситуация обратная — имеется тенденция
хода вправо, и естественно поэтому ожидать, что тогда
a (z) —> 0, г —> со,
(4)
а, значит, я = 0 и

Чтобы доказать это равенство, мы не будем устанавливать (4),
а поступим иначе.
Наряду с поглощающим экраном в точке 0 введем в рассмот-
рение поглощающий экран в целочисленной точке N. Вероятность
того, что частица, выходящая из точки i, достигнет нулевого
состояния раньше, чем состояния N, обозначим aN(i). Для
вероягнссгей aN(i) справедливы уравнения (2) с граничными ус-
ловиями
аЛг(0) = 1, аЛг^) = 0,
и, как это уже было показано в § 9 гл. I,
ajV (0 =
\ Р /
0 i Л’
'6)
Отсюда
Нтал- (I) =
Л'
и, следовательно, для доказательства требуемого результата (5)
надо лишь показать, что
a (i) = lim (i).	(7)
N
Интуитивно это понятно. Строгое же доказательство можно полу-
чить на следующем пути.
Будем предполагать, что частица выходит из фиксированного
состояния z. Тогда
а (г) = Р, (Д),	(8)
§ 5. ПРИМЕРЫ
557
где А — событие, состоящее в том, что найдется такое Л\ что
частица, выходящая из точки i, достигнет нулевого состояния
раньше, чем состояния N. Если
Ajy = {частица достигнет 0 раньше чем N},
то А = (J ЛЛг. Ясно, что Ал? s Лдг+1 и
/со	\
pj и = ИшРг(Лу).	(9)
\Л’=г + 1	/
Но адг (0 = Р/(Лдг), так что (7) сразу следует из (8) и (9).
Итак, если p>q, то предельные значения limp^1 зависят
п
от i и, следовательно, в этом случае предельного распределения
не существует. Если же pegq, то для любого limp*"* = 1 и limp*"’ = О,
п	п
/2г 1. Таким образом, в этом случае предельное распределение ]П
имеет вид П = (1, 0, 0, ... ).
Пример 3. Рассмотрим простое случайное блуждание с пог-
лощающими экранами в точках 0 и N:
Р Р	Р Р
Здесь существуют два положительных возвратных класса {0}
и {Л/}. Все остальные состояния {1, ... , N — 1} невозвратны. Из
теоремы 1 § 3 следует, что существует бесконечно много ста-
ционарных распределений J] = (jt0, +, ... , лдг) с л0 = «, nN = b,
л1= ... =лЛ-._1 = 0, где а2э0, 6 2&0, « + &=1. Из теоремы 4
§ 4 вытекает также, что предельного распределения не существует.
Это следует и из того, что, согласно результатам п. 2 § 9 гл. I,
lim р<«> =
п—>со
p^=q,
(Ю)
limp<">= 1 -limp<">
п	п
и
558
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Пр имер 4. Рассмотрим простое случайное блуждание с Е —
»= {0, 1, ... } и отражающим экраном в нуле:
Нетрудно понять, что цепь является апериодической. Предпо-
ложим, что p'>q (блуждающая, частица имеет тенденцию ухода
вправо). Пусть i>l; для отыскания вероятностей можно
воспользоваться формулой (1), из которой следует, что
= (>L
Все состояния рассматриваемой цепи сообщаются между собой.
Поэтому, если состояние i было бы возвратным, то тогда бы и
состояние 1 также было бы возвратным. Но (см. доказательство
леммы 3 в § 3) тогда /г1 было бы равно единице. Следовательно,
все состояния рассматриваемой цепи в случае p>q невозвратны,
а значит, *-0, n->oo, i, j е Е, и предельного или стацио-
нарного распределения не существует.
Пусть теперь p^q. Тогда из (1) /г1 = 1 для i>l и fu =
= 7 + pf2i = 1  Поэтому цепь возвратна.
Рассмотрим систему уравнений, определяющую стационарное
распределение ]П:=(ло> л1,
л0 —	>
Л] = л0 4- л2<7,
л2 = пгр + л3у,
т. е.
лх = Лху Ч- ЛгУ,
л2 — л2<7 4- л3<7,
откуда
Л/=(-у) Л;-1,	/ = 2, 3, ...
\ Ч /
Если Р = д, то тогда лх = л2 =... и, следовательно, л0 — лх =»
1=Л2 = ... = 0. Иначе говоря, если p — q, то не существует ста-
ционарного, а значит, и предельного распределения. Отсюда и
из .теоремы 3 § 4, в частности, следует, что в этом случае все
состояния цепи нулевые.
§ 5. ПРИМЕРЫ
559
Осталось рассмотреть случай p<.q. Из условия У, лу = 1
/= о
находим, что
ni [<7 + 1 +	+ •••] = 1 >
т. е.
и
эт -Р~Р
Тем самым это распределение J] является единственным стацио-
нарным распределением. Поэтому в случае p<.q цепь является
апериодической возвратной и положительной (теорема 2 § 4).
Распределение J] является также предельным и эргодическим.
Пример 5. Снова рассматривается простое случайное блуж-
дание с двумя отражающими экранами в точках 0 и N:
Все состояния цепи являются апериодическими, возвратными
и положительными. Согласно теореме 4 § 4 цепь является эрге*
N
дической. Решая систему л7- = У
i=0
N
с условием У л;= 1, находим эргодиче-
1 = 0
ское распределение:
/=1
И
z/* - ,/4
Рис. 41. Блуждание на пло-*
скости.
По = n^ = jTjV-iP'
2. Пример 6. Из примера 1 следует, что рассмотренное в нем
простое случайное блуждание по целочисленным точкам прямой
будет возвратно, если р = q, и невозвратно, если p^=q. Рассмот-
рим теперь с точки зрения возвратности и невозвратности сим-
метричные случайные блуждания на плоскости и в пространстве.
В случае плоскости будем предполагать, что частица из каж-
дого состояния (I, j) с вероятностью 1/4 сдвигается вверх, вниз,
вправо или влево (рис, 41).
560
ГЛ. VIII МАРКОВСКИЕ ЦЕПИ
Рассмотрим для определенности состояние (0, 0). Тогда веро-
ятность Р* = Р(о,)о), (о, о) перехода из состояния (0, 0) за k шагов
в (0, 0) задается формулами
P2„+i = 0,	n = 0, 1, 2, ...
{(И /Г <+/="}
Умножая числитель и знаменатель каждого члена суммы на (и!)2,
получим
поскольку
Применяя
2	(ау-,
i =0
п
х 1	— i
/ j	— Ь2п*
1=0
теперь формулу Стирлинга, найдем, что
р	1
пп
и, значит, ^Р2л = ос. Следовательно, состояние (0, 0) (также как
и любое другое) является возвратным.
Оказывается, однако, что в случае размерности три и больше
симметричное случайное блуждание невозвратно. Покажем это для
блуждания по целочисленным точкам (г, /, k) в пространстве.
Будем предполагать, что из точки (/, /, k) частица с вероят-
ностью 1/6 сдвигается на единицу вдоль одного из направлений
координатных осей:
Тогда, если Pk — вероятность возвращения за k шагов из со-
стояния (0, 0, 0) в (0, 0, 0), то
Pi п+1 — 0,	/1 = 0, 1, ...,
р _	V __________________(2л)!_______(I \2л =
2"'~	L	(|!)2(/!)2((л-/-/)!)2 \ 6/
{(«', /): 0<1' + /<п}
1 пп	V	Г л! 12/1 \2«
“ 2“	Z	[О/! (л —i —/)! J \ 3/
{(/, /): 0<1 + /^п}
r 1 rn X V	л! /_1_\л =
<	С2,13^ Z (! /1 (n-i-j)\ \ 3/
{(/,/): 0<г-Н</1}
/1=1,2............................... (11)
§ 5. ПРИМЕРЫ
561
где
Сл= ШаХ [ ,1 /1 (»-/-/)! Г	(12)
{(I, /): 0<i + /<n) L '• / И1 1 !>' J
Докажем, что при больших п max в (12) достигается при г^л/З,
/<^/г/3. Для этого обозначим через /0 и /0 значения, для кото-
рых достигается max. Тогда, очевидно, будут справедливы сле-
дующие неравенства:
и!.п\
/о'- Go — В' (« —/о —<о + 1)! ~~~ io'- ‘о- (n—io — 'о)! ’
п!	-	п!‘
Д бо + 1)! (n—io — h— 1)! ~~~ — 1)! «о! (п —/о —L+ В! ~~~
(6+ 1)! М (п — io — <о — Д’
откуда
п — io — 1  2/о < п — z’o ~Ь 1,
/г — jo — 1	2z0 ". п — jo -j- 1,
и, значит, для больших п io^n/З, а /0^п/3 и
г п!
По формуле Стирлинга
г 1 гп 1 зКз
п2™ 2П 3" ~ 2л:!2/Д2 ’
и поскольку
у 3 Кз
L 2№	00 ’
п~ 1
ТО	Следовательно, состояние (0, 0, 0), а также любое
п
другое состояние, являются невозвратными. Аналогичный резуль-
тат остается верным и для размерностей, больших трех.
Итак, справедлив следующий результат (Пойа): для про-
странств R1 и R2 симметричное случайное блуждание возвратно,
а для пространств Rn, п 3, является невозвратным.
3. Задачи.
1.	Вывести рекуррентные соотношения (1).
2.	Установить справедливость соотношений (4).
3.	Показать, что в примере 5 все состояния являются апери-
одическими, возвратными и положительными.
4.	Дать классификацию состояний марковской цепи с матри-
цей переходных вероятностей
/р q 0 0\
р_/ 0 0 р q\
Г~ I р q 0 0 ’
\0 0 р q)
где р + 7=1, p^sO, <72s0.
ИСТОРИКО-БИБЛИОГРАФИЧЕСКАЯ СПРАВКА
Введение
История теории вероятностей до Лапласа изложена в монографии Тодхан-
тер [68]. Период от Лапласа до конца XIX в. освещен в статье Б. В. Гнеденко
и О. В. Шейнина, опубликованной в сборнике [45]. В книге Д. Е. Майстрова
[44] история теории вероятностей изложена от ее возникновения до 30-х годов
текущего столетия. Краткий очерк теории вероятностей имеется в учебнике
Б. В. Гнеденко [15]. О происхождении многих вероятностных терминов см.
книгу Н. В. Александровой [2].
По поводу основных понятий теории вероятностей см. книги А. Н. Колмо-
горова [32], Б. В. Гнеденко [15], А. А. Боровкова [7], Б. В. Гнеденко и
А. Я. Хинчина [17], А. М. Яглома и И. М. Яглома [84], справочное пособие
Ю. В. Прохорова и Ю. А. Розанова [56], справочник [65] и книги В. Феллера
[69], [70], Ю. Неймана [51], М. Лоэва [42], Дж. Л. Дуба [20], переведенные
с английского. Укажем также на сборники [46] и [67], содержащие большое
количество задач по теории вероятностей.
При составлении настоящего учебного пособия автор использовал разнооб-
разную литературу. Из учебных руководств на английском языке особо отме-
тим книги Л. Бреймана [8], Р. Эша [81], [82] и Р. Эша и М. Гарднера [83],
являющихся (по мнению автора) образцами удачной подачи материала.
Полезный справочный материал по теории вероятностей и математической
статистике читатель может найти в Большой Советской Энциклопедии, Малой
Советской Энциклопедии и в Математической Энциклопедии (изд. «Советская
Энциклопедия»),
Основным научным журналом по теории вероятностей и математической-
статистике, издаваемым в нашей стране, является журнал «Теория вероятно-
стей и ее применения» (изд-во «Наука»), выходящий с 1956 г.
«Реферативный журнал», выпускаемый ВИНИТИ — Всесоюзным институтом
научной и технической информации (Москва), печатает рефераты на статьи
по теории вероятностей и математической статистике, публикуемые как у нас,
так и за рубежом.
Для большинства вероятностно-статистических приложений, требующих
обращения к таблицам, полезными являются «Таблицы математической стати-
стики» Л. Н. Большева и Н. В. Смирнова [6].
Глава I
§ 1.	О построении вероятностных моделей см. также статью А. Н. Колмо-
горова [31], книгу Б. В. Гнеденко [15]. Большой материал, касающийся во-
просов типа «размещение дробинок по ячейкам», см. в книге В. Ф. Колчина,
Б. А. Севастьянова и В. П. Чистякова ]34].
§ 2.	По поводу различных вероятностных моделей (в частности, одномерной
модели Изинга), возникающих в статистической физике, см., например, книгу
Исихара [25].
ИСТОРИКО-БИБЛИОГРАФИЧЕСКАЯ справка
563
§ 3.	Формула и теорема Байеса лежат в основе так называемого «байесов-
ского подхода» в математической статистике. См., например, книги Де Гроота
[18] и Закса [22].
§ 4.	Различные задачи, касающиеся случайных величин и их вероятност-
ных характеристик, можно найти в сборниках задач [46] и [67].
§ 5.	Комбинаторное доказательство закона больших чисел, восходящее
к Я. Бернулли, можно найти, например, в [69]. По поводу эмпирической
интерпретации закона больших чисел см. статью А. Н. Колмогорова [31].
§ 6.	По поводу уточнений в локальной и интегральной теоремах, а также
в теореме Пуассона см. книгу А. А, Боровкова [7] и статью Ю. В. Прохо-
рова [54].
§ 7.	Излагаемый здесь материал на примере схемы Бернулли иллюстрирует
некоторые основные понятия и методы математической статистики. Подробнее
см., например, монографии Г. Крамера [35] и Ван дер Вардена [10].
§ 8.	Рассмотрение условных вероятностей и условных математических ожи-
даний относительно разбиений поможет лучше освоиться с вводимыми далее
более сложными понятиями условных вероятностей и условных математических
ожиданий относительно с-алгебр.
§ 9.	Задача о разорении рассматривалась в приводимой здесь форме, в сущ-
ности, еще Лапласом. См. по этому поводу статью Б. В. Гнеденко и О. В. Шей-
нина [45]. Обширный материал на эту тему содержится в книге В. Фелле-
ра [69].
§ 10.	Принятое здесь изложение следует в основном книге В Феллера [69],
Метод доказательства соотношений (10) и (11) дан в статье [19].
§ 11.	Теория мартингалов подробно изложена в книге Дж. Дуба [20].
Иное доказательство теоремы о баллотировке можно найти, например, в книге
В. Феллера [69].
§ 12.	Обширный материал по марковским цепям содержится в книгах
В. Феллера [69], Е. Б. Дынкина [21], Дж. Кемени и Дж. Снелла [27],
Т. А. Сарымсакова [61], С. X. Сираждинова [64]. Теории ветвящихся про-
цессор посвящена монография Б. А. Севастьянова [62].
Глава II
§ 1.	Аксиоматика Колмогорова изложена в его книге [32].
§ 2.	Дополнительный материал об алгебрах и сг-алгебрах можно найти,
например, в книгах А. Н. Колмогорова и С. В. Фомина [33], Ж- Нёве [49],
Л. Бреймана [8], Р. Эша [82].
§ 3.	Доказательство теоремы Каратеодори см. в [42], [71].
§§ 4	— 5. Большой материал об измеримых функциях можно найти
в книге П. Халмоша [71].
§ 6.	См. также книги А. Н. Колмогорова и С. В. Фомина [33], П. Хал-
моша [71], Р. Эша [82]. В этих книгах содержится и доказательство теоремы
Радона — Никодима. Иногда неравенством Чебышева называют неравенство
Р(|?М^,
а неравенство
Р(151^е)^Ш1, г>о,
с>
называют неравенством Маркова,
§ 7.	Определение условной вероятности и условного математического
ожидания относительно а-алгебр было дано А. Н. Колмогоровым [32]. Обшир<
ный материал по рассматриваемым вопросам содержится в книгах Л. Бреймана
[8[ и Р. Эша £82].
564
ИСТОРИКО БИБЛИОГРАФИЧЕСКАЯ СПРАВКА
§ 8,	См. также книги А. А. Боровкова [7], Р. Эша [82], Г. Крамера [35J,
Б. В. Гнеденко [15].
§ 9.	Теорема Колмогорова о существовании процесса с заданными конечно-
мерными распределениями содержится в его книге [32]. По поводу теоремы
Ионеску Тулчи см, также книги Ж. Невё [49] и Р. Эша [82]. Приводимое
здесь доказательство следует [82].
§§ Ю-	П. См. также книги А. Н. Колмогорова и С. В. Фомина [33],
Р. Эша [82], Дж. Дуба [20], М. Лоэва [42].
§ 12.	Теория характеристических функций излагается во многих книгах.
См , например, Б. В. Гнеденко [15], Б. В. Гнеденко и А. Н. Колмогоров [16],
Рамачандран [57]. Изложение формул связи моментов и семиинвариантов сле-
дует статье В. П. Леонова и А. Н. Ширяева [40].
§ 13.	См. также книги И. А. Ибрагимова и Ю. А. Розанова [24], Л. Брей-
мана [8], Р. Ш. Липцера и А. Н. Ширяева [41].
Глава III
§ 1.	Подробное изложение вопросов слабой сходимости вероятностных мер
и распределений содержится в книгах Б. В. Гнеденко и А. Н. Колмогорова
[16] и П. Биллингсли [5].
§ 2.	Теорема Ю. В. Прохорова содержится в его статье [55].
§ 3.	Методу характеристических функций в доказательстве предельных
теорем теории вероятностей посвящена монография Б. В. Гнеденко и А. Н. Кол-
могорова [16]. См. также П. Биллингсли [5]. Приводимая задача 2 охватывает
как закон больших чисел Я. Бернулли, так и закон больших чисел Пуассона,
который предполагал, чю g2, ... независимы, принимают два значения (1 и
0), но, вообще говоря, разнораспределенны: Р (g;= 1) = р;, P(g; = O)=l—pit
i Э: 1.
§§ 4	— 5. Изложение рассматриваемых здесь вопросов следует книгам
Б. В. Гнеденко и А. Н. Колмогорова [16] и Р. Эша [82]. Теорема 2 в § 4
носит название теоремы Линдеберга — Феллера См. также В. Феллер [70].
Глава IV
§ 1.	Закон «нуля или единицы» Колмогорова содержится в его книге [32].
По поводу закона «нуля или единицы» Хьюитта и Сэвиджа см. также
А. А. Боровков [7], Л. Брейман [8], Р. Эш [82].
§§2	— 4. Основные результаты здесь получены А. Н. Колмогоровым и
А. Я. Хинчиным (см. [32] и литературу там). См. также книги В. В. Петрова
[53] и Стоута [66]. По поводу вероятностных методов в теории чисел см. книгу
И. Кубилюса [36].
Глава V
§§1—3	. При изложении теории стационарных (в узком смысле) случай-
ных последовательностей использованы книги Л. Бреймана [8], Я. Г. Синая
[63] и Дж. Ламперти [38]. Простое доказательство максимальной эргодической
теоремы дано А. Гарсиа [12].
Глава VI
§ 1.	Теории стационарных (в широком смысле) случайных последователь-
ностей посвящены книги Ю. А. Розанова [60], И. И. Гихмана и А. В. Ско-
рохода [13], [14]. Пример 6 часто приводился в лекциях А. Н. Колмогорова.
§ 2.	По поводу ортогональных стохастических мер и стохастических -интег-
ралов см. также Дж. Дуб [20], И. И. Гихман и А. В. Скороход [14], Ю. А. Ро-
занов [60], Р. Эш и М. Гарднер [83].
ИСТОРИКО БИБЛИОГРАФИЧЕСКАЯ СПРАВКА
565
§ 3.	Спектральное представление (2) получено Г. Крамеоом и М. Лоэвом
(см., например, [42]). В других терминах такое представление содержится
в работе А. Н. Колмогорова [29]. См. также книги Дж. Дуба [20], Ю. А. Ро-
занова [60], Р. Эша и М. Гарднера [83].
§ 4.	Подробное изложение вопросов, статистического оценивания ковариа-
ционной функции и спектральной плотности содержится в книгах Э. Хеннана
[72], [73].
§§ 5—	6. См. также книги Ю. А. Розанова [60], Дж. Ламперти [38],
И. И. Гихмана и А. В. Скорохода [13], [14].
§ 7.	Изложение здесь следует книге Р. Ш. Липцера и А. Н. Ширяева [41].
Глава VII
§ 1.	Большинство основных результатов теории мартингалов получено
Дж. Дубом [20]. Теорема 1 содержится у П. Мейера [47]. См. также книги
П. Мейера [48], Р. Ш. Липцера и А. Н. Ширяева [41], И. И. Гихмана и
А. В. Скорохода [14].
§ 2.	Теорема 1 часто называется теоремой «О преобразовании свободного
выбора», [20]. По поводу тождеств (14), (15) и фундаментального тождества
Вальда см. книгу [9].
§ 3.	Подробное освещение излагаемых здесь результатов, включая дока-
зательство неравенств Хинчина, Марцинкевича и Зигмунда, Буркхольдера,
Дэвиса содержится в книге Чао и Тейчера [74]. Теорема 2 принадлежит Лен-
гляру [39].
§ 4.	См. монографию Дж. Дуба [20].
§ 5.	Излагаемый здесь материал следует статьям Ю. М. Кабанова,
Р. Ш. Липцера и А. Н Ширяева [26], Г. Ю. Энгельберта и А. Н. Ширяева
[80] и книге Ж. Невё [50]. Теорема 4 и пример даны Р. Ш. Липцером.
§ 6.	Приводимый здесь подход к проблематике «абсолютная непрерывность
и сингулярность» и излагаемые результаты содержатся в работе Ю. М.' Каба-
нова, Р. Ш. Липцера и А. Н. Ширяева [26].
§ 7.	Теоремы 1 и 2 принадлежат А. А. Новикову [52]. Лемма 1 является
«дискретным» аналогом известной «леммы Гирсанова» (см [26]).
Глава VIII
§ 1.	По поводу основных определений см. книги Е. Б. Дынкина [21],
А. Д. Вентцеля [11], Дж. Дуба [20], И. И. Гихмана и А. В. Скорохода [14].
Существование регулярных переходных вероятностей, для которых при всех
х <= Р выполнены уравнения Колмогорова — Чэпмена (9), доказано в [49] (след-
ствие к предложению V.2.1) и в [14] (том I, гл. II, § 4). С. ,Е. Кузнецовым
доказана (см. Abstracts of 12 European Meetfrig of Statisticians, Varna, 1979)
справедливость (далеко нетривиального) аналогичного результата для марков-
ских процессов с непрерывным временем и со значениями в универсально изме-
римых пространствах.
§§ 2	— 5. Изложение здесь следует статье А. Н, Колмогорова [28] и кни-
гам А. А. Боровкова [7] и Р. Эша [81],
ЛИТЕРАТУРА
[1]	Александров П. С. Введение в общую теорию множеств и функций. —
М.: Гостехиздат, 1948.
[2]	Александрова Н. В. Математические термины.—М.: Высшая школа,
1978.
[3]	Бернштейн С. Н. О работах П. Л. Чебышева по теории вероятно-
стей.— В кн.: Научное наследие П. Л. Чебышева. Вып. 1, Математика,
1945, с 59-60.
[4]	Бернштейн С. Н. Теория вероятностей. — 4-е изд.—М.: Гостехиздат,
1946.
[5]	Биллингсли П. Сходимость вероятностных мер.—М.: Наука, 1977.
[6]	Больше в Л. Н„ Смирнов Н. В. Таблицы математической статисти-
ки.— М.: Наука, 1965.
[7]	Боровков А. А. Теория вероятностей. —М.: Наука, 1976.
[8]	Б рейман (Brennan L.) Probability: Addison-Wesley, 1968.
[9]	Вальд А. Последовательный анализ.—М.: Физматгиз, 1960.
[10]	Ван дер Варден Б. Л. Математическая статистика.—М.: ИЛ, 1960.
[11]	Вентце ль А. Д. Курс теории случайных процессов.—М.: Наука, 1976.
[12]	Гарсиа (Garsia A.) A simple proof of Eberhard Hopf’s maximal ergodic
theorem.—J. Math, and Meeh. 1965, 14, 381—382.
[13]	Гихман И. И., Скороход А. В. Введение в теорию случайных про-
цессов.— М.: Наука, 1977.
[14]	Гихман И. И., Скороход А. В. Теория, случайных процессов. —М.:
Наука, 1971, 1973, 1975, —Т. 1, II, III.
[15]	Гнеденко Б. В. Курс теории вероятностей —5-е изд.—М.: Наука, 1969.
[16]	Гнеденко Б. В., Колмогоров А. Н. Предельные распределения
для сумм независимых случайных величин.—Л. —М.: Гостехиздат, 1949.
[17]	Гнеденко Б. В., ХинчинА. Я. Элементарное введение в теорию
вероятностей. — М.: Наука, 1976.
[18]	Де Гроот, Оптимальные статистические решения.—М.: Мир, 1974.
[19]	Дохерти (Doherty). An amusing proof in fluctuation theory.— Lecture
Notes in Mathematics, 1975, 452, 101 —104.
[20]	Дуб Дж. Л. Вероятностные процессы. — М.: ИЛ, 1956.
[21]	Дынкин Е. Б. Марковские процессы.—М.: Физматгиз, 1963.
[22]	Закс Ш. Теория статистических выводов.—М.: Мир, 1975.
[23]	Ибрагимов И. А.. Линник Ю. В. Независимые и стационарно свя-
занные величины. —М.: Наука, 1965.
[24]	Ибрагимов И. А., Розанов Ю. А. Гауссовские случайные про*
цессы. М.: Наука, 1970.
[25]	Исихара А. Статистическая физика.—М-: Мир, 1973.
[26]	Кабанов Ю. М., Липцер Р. Ш., Ш и р я е в А. Н. К вопросу об
абсолютной непрерывности и сингулярности вероятностных мер.—Матом,
сб., 1977, 104 (146), 227 — 247.
[27]	Кеме ни Дж., Снелл Дж. Конечные цепи Маркова,—М.; Наука, 1970.
ЛИТЕРАТУРА
567
[28]	Колмогоров А. Н. Цепи Маркова со счетным числом возможных
состояний. — Билл. МГУ, 1937, 1, № 3, 1 — 16.
[29]	Колмогоров А. Н. Стационарные последовательности в гильбертовском
пространстве. — Бюлл. МГУ, 1941, 2, Ns 6, 1—40.
[30]	Колмогоров А. Н. Роль русской науки в развитии теории вероятно-
стей.— Учен. зап. МГУ, 1947, вып. 91, с. 56.
[31]	Колмогоров А. Н. Теория вероятностей. — В сб.: Математика, ее со-
держание, методы и значение. — М.: Изд-во Ан СССР, 1956. — Т. II.
[32]	Колмогоров А. Н. Основные понятия теории вероятностей.—М.:
Наука, 1974.
[33]	Колмогоров А. Н„ Фомин С. В. Элементы теории функций и
функционального анализа.—М.: Наука, 1968.
[34]	Колчин В. Ф., Севастьянов Б. А., Чистяков В. П. Случайные
размещения. — М.: Наука, 1976.
[35]	Крамер Г. Математические методы статистики.—М.: Мир, 1976.
[36]	Кубилюс И. Вероятностные методы в теории чисел.—Вильнюс:
Гос. изд.-во полит, и научн. литер. Лит. ССР, 1959.
[37]	Ламперти Дж. Вероятность. — М.: Наука, 1973.
[38]	Ламперти (Lamperti J). Stochastic Processes. — Lecture Notes Series
Aarhus Univ., 1974, 38.
[39]	Ленг л яр (Lenglart E.) Relation de domination entre deux processus.—
Annales de Pinstitut H. Poincare, 1977, Sect. В. XIII, 2, 171 — 179.
[40]	Леонов В. IL, Ширяев A. H. К технике вычисления семиинвариан-
тов.— Теория вероятн. и ее прим., 1959, IV, 2, 342 — 355.
[41]	Липцер Р. Ш., Ширяев А. Н, Статистика случайных процессов.—
М.: Наука, 1974.
[42]	Лоэв М. Теория вероятностей. — М.: ИЛ, 1962.
[43]	Марков А. А. Исчисление вероятностей. —3-е изд. —СПб, 1913.
[44]	Майстров Д. Е. Теория вероятностей (исторический очерк).—М.:
Наука, 1967.
[45]	Математика XIX века / под ред. А. Н, Колмогорова и А. П, Юшке-
вича.—М.: Наука, 1978.
[46]	Мешалкин Л. Д. Сборник задач по теории вероятностей. — М.: изд-во
. МГУ, 1963.
[47]	Мейер (Meyer Р. A.) Martingales and Stochastic Integrals I,—Lectures
Notes in Mathematics, 284. Heidelberg, New York: Springer-Verlag, 1972.
[48]	Мейер П. А. Вероятность и потенциалы. — M.: Мир, 1973.
[49 Н е в ё Ж- Математические основы теории вероятностей. — М.: Мир, 1969.
[50]	Неве (Neveu J.) Discrete parameter martingales.—Amsterdam: North Hol-
land Publishing Co., 1975.
[51]	Нейман Ю. Вводный курс теории вероятностей и математической ста-
тистики.—М.: Наука, 1968.
[52]	Новиков А. А. Об оценках и асимптотическом поведении вероятно-
стей непересечения подвижных границ суммами независимых случайных
величин.—Изв. АН СССР. Серия математ., 1980, 40, 4,868—885.
[53]	Петров В. В, Суммы независимых случайных величин.—М.: Наука,
1972.
[54]	Прохоров Ю. В. Асимптотическое поведение биномиального распреде-
ления,—УМН, 1953, VIII, 3(55), 135—142.
[55]	Прохоров Ю. В. Сходимость случайных процессов и предельные тео-
ремы теории вероятностей, —Теория вероятн. и ее примен, 1956, I, 2г
177 — 238.
[56]	Прохоров Ю. В., Розанов Ю. А. Теория вероятностей.—Мл
Наука, 1973.
[57]	Рамачандран Б. Теория характеристических функций. — М.: Наука,
1975.
[58]	Реньи (Renyi A), Probability Theory, Budapest; Akademiai Kiado, 1970,
568
ЛИТЕРАТУРА
[59]	Роб'бинс Г., Си мунд Д., Чао И. Теория оптимальных правил
остановки.—М.: Наука, 1977.
[60]	Розанов Ю. А. Стационарные случайные процессы.—М.: Физматгиз,
1963.
[611 Сарымсаков Т. А. Основы теории процессов Маркова.—М.: Гостех-
издат, 1954.
[62]	Севастьянов Б. А. Ветвящиеся процессы.—М.: Наука, 1971.
[63]	Синай Я. Г. Введение в эргодическую теорию. —Ереван: Изд-во Ере-
ванского ун-та, 1973.
[64]	СираждиновС. X. Предельные теоремы для однородных цепей Мар-
кова.—Ташкент: Изд-во Ан УзССР, 1955.
[65]	Справочник по теории вероятностей и математической статистике / под
ред. В. С. Королюка.— Киев: Наукова думка, 1978.
[66]	Стоут (Stout W. F.). Almost Sure Convergence. — New York: Academic
Press, 1974.
[67]	Теор!я ймов i рностей. — Кшв: Вища школа, 1976.
[68]	Тодхантер (Todhunter I.). A History of the Mathematical Theory of
Probability from the Time of Pascal to that of Laplace.— London; Mac
Millan, 1865.
[69]	Феллер В. Введение в теорию вероятностей и ее приложения. — М.:
Мир, 1964. —Т. 1.
[70]	Феллер В. Введение в теорию вероятностей и ее приложения. — М.:
Мир, 1967. —Т; 2.
[71]	Халмош П. Теория меры,—М.: ИЛ, 1953.
[72]	Хенн ан Э. Анализ временных рядов. — М.: Наука, 1964.
[73]	Хенн ан Э. Многомерные временные ряды, —М.: Мир. 1974.-
[74]	Чао, Тейчер (Chow Y. S., Teiher Н.). Probability Theory. — New York;
Springer-Verlag, 1978.
[75]	Чебышев П. Л. Теория вероятностей: Лекции акад. П. Л. Чебышева,
читанные в 1879, 1880 гг. /Издано А. Н. Крыловым по записи А. М. Ля-
пунова/.—М.—Л., 1936.
[76]	Чжун Кай-лай. Однородные цепи Маркова, —М.: Мир, 1964.
[77]	Ширяев А. Н. Случайные процессы. — М.: Изд-во МГУ, 1972.
[78]	Ширяев А. Н. Вероятность, статистика, случайные процессы.—М.:
Изд-во МГУ, 1973, 1974, —Т. I и И.
[79]	Ширяев А. Н. Статистический последовательный анализ. — М.: Наука,
1976.
[80]	Э н г е л ь б е р т, Ширяев (Engelbert H.-J., Shiryaev A. N.). On
the Sets of Convergence of Generalized Submartingales —Stochastics, 1979,
2, 3, 155-166.
[81]	Эш (Ash R.). Basic Probability theory —New York: John Wiley and Sons,
1970.
[82]	Эш (Ash R.). Real Analysis and Probability. — New York: Academic Press,
1972.
[83]	Эш, Гарднер (Ash R., Gardner M. F.). Topics in Stochastic Proces-
ses.— New York: Academic Press, 1975.
[84]	Я г лом A, M., Я г лом И, М, Вероятность и информация, —М,: Наука,
1973,
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Абсолютная непрерывность мер 212, 213,
511
Абсолютно непрерывный тип распределе-
ния 170
Авторетрессионная схема 407
Аксиоматика Колмогорова 144, 149
Аксиомы теории вероятностей 23, 149
Алгебра множеств 21, 145, 152
— тривиальная 21
Альтернатива Гаека — Фельдмана 521
— Какутани 515
Атом разбиения 21
Базис ортонормированный 28
Байеса теорема 37
— формула 37
Банаховское пространство 277
Белый шум 405
Берри — Эсссена неравенство 75, 356
Борелевская алгебра 157
— функция 186
Борелевское множество 157
— пространство 243
Блуждание частицы 28
Вероятностная модель 14, 23, 144, 149
— — в расширенном смысле 146
Вероятностное пространство 23,л 149
— — каноническое 262
— — полное 169
Вероятность 23, 147, 149 у
— апостериорная.37
— априорная 37
— классическая 24
— первого возвращения 538
— — попадания 538
— разорения 94, 99
Винеровская мера 185
Винеровский процесс 326
Взаимная характеристика 476
Вольда разложение 441
Выборки неупорядоченные 15
— упорядоченные 15
Гауссовская система 316, 324
— случайная величина 249, 317
Гауссовский вектор 318
—• процесс 326
Гауссовско-марковский процесс 326
Гильбертово пространство 279
— — сепарабельное 284
Двумерная гауссовская плотность 250
Дисперсия 52, 248
Доверительный интервал 84
5-система 155
Задача о размещении 17
— о разорении 95
—• о совпадениях 24
Закон арксинуса 112
— больших чисел 57, 347
— — — Бернулли 61
— ~ — для марковских цепей. 134
— — — Пуассона 349, 564
— «нуля или единицы» Бореля 368
— — — — для гауссовских последова-
тельностей 522
— — — — Колмогорова 368, 500
— — — — Хьюитта и Сэвиджа 370
— повторного логарифма 385
Игла Бюффона 238
Игра благоприятная 473
— неблагоприятная 473
— справедливая 473
Изинга одномерная модель 33
Изометрическое соответствие 419
Измеримая функция 186
Измеримое пространство 146
-----(7?, еЙ (/?)) 156, 166
-----(«" S3 IR")) 158, 175
_ _ (7?°°' оЙ? (7? со)) ! 5 9, 178
— — (7?Л	(7?г)) 161, 182
- - (С, S3 (С)) 164
-----(D, S3 (£>)) 164
-----(П Qt, U Ft) 165
ЦТ ЦТ
Импульсная переходная функция 423
Инвариантные множества 393, 400
Индикатор множества 44, 54
Интеграл Лебега 197, 199
— Лебега — Стилтьеса 199, 214
—- Римана 222
— Римана — Стилтьеса 221
— стохастический 415
Интегральная теорема Муавра — Лапласа
73
Интегрирование с помощью подстановки
225
Интерполяция 450
Испытание 41
Исход 14, 150
Квадратическая вариация 489
— характеристика 475
Класс, определяющий сходимость 335
Ковариационная матрица 249
— функция 326, 403
Ковариация 52, 249, 312, 403
Компактность 337
Компенсатор 475
Конечномерные функции распределения
261
Корреляционная функция 403
Коэффициент корреляции 52, 249
— — максимальный 259
Кривая регрессии 253
Критерий Карлемана 315
— сходимости Коши 274, 275, 276
Кумулянты 308
570
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Лебеговская мера 169
Лебеговское множество 169
Лемма Бореля — Кантелли 271
—	Сореля — Кантелли — Леви 506
—	Кронекера 378
—	Пратта 226
—	Теплица 377
—	Фату 203
Линейная независимость 282, 283
Линейное многообразие 281, 284
—	— замкнутое 284
Локальная абсолютная непрерывность мер
Локальная предельная теорема 68
Марковская цепь 121, 124, 267, 529
—	— однородная 530
—	— стационарная 132
Марковский момент_469
—	процесс 263
Марковское свойство 124, 529
Мартингал 114, 467
—	квадратично интегрируемый 475
—	локальный 470
— обобщенный 469
— обращенный 476
— равномерно интегрируемый 498, 500
Мартингал-разность 474
Мартингальное преобразование 471
Математическое ожидание 48, 197, 199
Матрица ковариации 249
—	- неотрицательно определенная 305
—	переходных вероятностей 124
—	псевдообратная 327
Мера абсолютно непрерывная 170, 511
— вероятностная 147
—	дискретная 169
—	конечно-аддитивная 146
—	Лебега 168, 169, 176, 178
«— Лебега — Стилтьеса 173
—	полная 169
—	сингулярная 171
—	• счетно-аддитивная 146
—	конечная 146
Метод моментов 342
—	Монте-Карло 239, 383
—	наименьших квадратов 508
— характеристических функций 343
Момент остановки 96, 116, 469
Моменты 199
— абсолютные 199, 210
—	смешанные 308
Монотонный класс 153
Наборы неупорядоченные 15, 17, 183
—	упорядоченные 15, 17, 183
Независимость 34, 39
—	алгебр 39
—	линейная 282, 283
—	случайных величин 46, 195
—	— элементов 195
—	событий 39
—	приращений 326
Некоррелированность 53, 249
Неравенства Бесселя 281
—	Буркхольдера 489
—	Гельдера 210
—	Дворецкого 496
—	Дуба 485
—	Дэвиса 490
—	Йенсена 209
—	Колмогорова 371, 487
—	Коши — Буняковского 49» 209
—	Леви 389
—	Ляпунова 210
Неравенства Маркова 563
—	Марцинкевича — Зигмунда 489
—	Минковского 211
—	Рао — Крамера 83
—	Оттавиаии 496
—	Чебышева 58, 209
—	Хинчина 489
Норма 276
Нормальные числа 382
Обобщенная теорема Байеса 245
—	функция распределения 173
Обновляющая последовательность 439
Обратное уравнение 129
Оператор сдвига 533
Определяющий класс 335
Ортогонализация Грама — Шмидта 283
Ортогональные меры 511
Относительная компактность 338
Отношение правдоподобия 121
Отображение измеримое 391
—	сохраняющее меру 391
Оценивание ковариационной функции 430
—	спектральной плотности 432
Оценка 53, 81, 251, 465
—	несмещенная 81
—	оптимальная 53, 54, 251, 281, 441
—	состоятельная 81
—	- эффективная 81
Оценки спектральной плотности Бартлета
435
—	— — Журбенко 435
—	— — Парзена 435
Перемешивание 395
Пересечение множеств 20, 150
Переходная вероятность 124, 263, 531
Периодограмма 433
Перпендикуляр 281
Плотность 170, 176, 177, 213
Плотность семейств распределений 338
Полиномы Бернштейна 66
—	Пуассона — ‘Шарлье 286, 287
—	Эрмита 285, 286
Полнота 169, 276, 277, 279
Полунорма 276
Последов ательности почти - пер иоди ческие
404
—	регулярные 438
—	сингулярные 438
—	скользящего среднего 406
—	стационарные в узком смысле 390
—	— в широком смысле 402
—	частично-наблюдаемые 453
Почти наверное (почти всюду) 201
Предсказуемая последовательность 467
Представления Леви — Хинчина 360, 364
Принцип отражения 107
—	подходящих множеств 154
Продолжение меры 224
Проекция 281
Производная Радона — Никодима 213
Простое случайное блуждание 554
Пространство исходов 14
—	элементарных событий 14
Процесс броуновского движения 326
—	ветвящийся 126
—	винеровский 326
—	гауссовский 326
—	гауссовско-марковский 326
—	марковский 263
—	с независимыми приращениями 326
— условно винеровский 326
Прямое произведение мер 41
— — пространств 41 j 165
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
571
Прямое произведение G-алгебр 158
— уравнение 129
Пустое множество 21, 150
Равенство Парсеваля 285
Равномерная интегрируемость 204
Разбиение 21, 311
Разложения Вольда 441
—	Дуба 475
—	Крикеберга 495
—	Лебега 512
Размещения 16
Разность множеств 21, 150
Распределение безгранично делимое 357
—	бернуллиевское 45, 170
—	бета 172
— биномиальное 28, 45, 170
—	гамма 172
—	гауссовское 172, 177
—	геометрическое 170
—	гипергеометрическое 32
—	двустороннее экспоненциальное 172
—	дискретное 169
—	— равномерное 170
—	инвариантное 131
—	Коши 172
—	логарифмически нормальное 255
—	многомерное 46, 175
—	— гипергеометрическое 32
—	мультиномиальное 31
—	нормальное 172, 177
—	отрицательно биномиальное 170
—	Пуассона 77, 170
—	равномерное 172
—	сингулярное 171
—	стационарное 131, 132
—	Стьюдента 172, 258
—	устойчивое 357
—	хи 258
—	хи»квадрат 172, 258
—	экспоненциальное 172
Распределение вероятностей процесса 194
—	— случайной величины 45, 186
Расстояние Леви 337
Расширенная случайная величина 188
Регулярные условные вероятности 240
—	— распределения 241
—	функции распределения 241
Свертка распределений 256
Секвенциальная компактность 339
Семиинварианты 308
Симметрическая разность множеств 55,
150
Сингулярные меры 511
Система ортонормированная 280
Скалярное произведение 279
Слабая сходимость 329, 331
Случайная величина 43, 186
—	— абсолютно непрерывная 187
—	— дискретная 186
—	— инвариантная 394
—	— комплексная 194
—	— непрерывная 187
—	— простая 186
Случайное блуждание 94, 105
Случайные векторы 46
— последовательности 194, 326
— процессы с дискретным временем 194
— — с непрерывным временем 194, 326
— — с ортогональными приращениями 416
Случайные элементы 192
Смешанная модель авторегрессии и сколь-
зящего среднего 409
Событие 20
Событие достоверное 21
—	невозможное 21
События перестановочные 370
Согласованности свойство 178
—	условие 261
Состояния цепи апериодические 537
—	— возвратные 539
—	— достижимые 535
—	— невозвратные 539
—	— несущественные 534
—	— нулевые 539
—	• — положительные 539
—	— сообщающиеся 535
—	— существенные 535
Сочетания 16
Спектральная мера 410
—	плотность 411
—	функция 410
Спектральное представление ковариацион-
ной функции 409
—	— стационарной последовательности
418
Спектральные окна 435
Среднее значение 48
Средняя длительность блуждания 94, 101
Стандартное отклонение 248
Статистика Бозе — Эйнштейна 18, 19
—	Максвелла — Больцмана 18, 19
—	Ферми — Дирака 18, 19
Статистическая независимость 34
Стохастическая матрица 124 •
—	— дважды 553
—	мера 412
—	— конечно-аддитивная 413
—	— ортогональная 413
—	—• элементарная 413
—	последовательность 467
Стохастический интеграл 415
Строго марковское свойство 139
Структурная функция 414
Субмартингал 467
Сужение меры 181
Сумма множеств 21, 150
Су пер мартингал 468
Схема Бернулли 57
—	серий 348
Сходимость в основном 331, 336
—	в среднем квадратическом 268
—	— — порядка р 268
—	в смысле ^Р 268
—	с вероятностью единица 268
— по вероятности 268
—	по распределению 268
—	почти всюду 268
—	почти наверное 268
—	рядов 371
о-алгебра 146, 152, 190
—	остаточная 367
—	хвостовая 367
Теоремы Берри — Эссеева 75, 356
—	Биркгофа — Хинчина 396
—	Бохнера — Хинчина 305
—	Вейерштрасса 66
—	Герглотца 409
—	Дуба 477, 485, 494
—	Ионеску Тулчи 264
—	Кантелли 376
—	Каратеодори 167
— Колмогорова 178ц 182, 261, 374, 377f
379, 444, 451
—	Колмогорова — Хинчина 371
—	Лебега о мажорируемой сходимости 204
—	Леви 499
—	- Макмиллана 65
—	Марцинкевича 306
572
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Теоремы Муавра — Лапласа 73
—	непрерывности 343
—	о баллотировке 118
—	о двух рядах 373
— о замене переменных под знаком интег-
рала Лебега 213
—	о монотонной сходимости 202
—	о нормальной корреляции 323
—	о сходимости под знаком условных ма-
тематических ожиданий 232
—	о трех рядах 374
—	Пой а 305
—	Прохорова 338
—	Пуассона 76, 349
—	Радона — Никодима 213
—	Фубини 215
— Хелли 340
— центральная предельная 343, 347, 350
— эргодическая 130, 396, 400
Тождества Вальда 480
Формула связи моментов в семиинвариантов
309
—	Сеге — Колмогорова 456
—	Стирлинга 33
— умножения вероятностей 37
Фундаментальное тождество Вальда 481
Фундаментальность в среднем 269, 276
— по вероятности 269, 275
— с вероятностью единица 269, 274
Функции верхние 384
— нижние 384
— Радемахера 287
— распределения 45, 46, 166, 187, 261
— Хаара 288, 289
Характеристика взаимная 476
— квадратическая 475
Характеристическая функция 292
— — множеств 44
Уравнение Колмогорова — Чэпмена 128,
263, 531
—	обратное 129
прямое 129
Уровень значимости 84
Усиленный закон больших чисел 376, 379
Условие Линдеберга 350
—	Ляпунова 354
Условная вероятность 34
—	— относительно разбиений 87
—	— — случайных величин 87, 88, 229
—	— — с-алгебр 226, 228
—	— регулярная 240
Условное математическое ожидание 86
—	— — в широком смысле 281
—	— — относительно разбиений 89
—	— — — случайных величин 92, 229
—	— — — событий 226, 234
—	— — — о-алгебр 226, 227
Фазовое пространство 124
Фильтр 423
—	Калмана — Бьюси 457
—	физически осуществимый 423
Фильтрация 453
Формула обращения 301
— полной вероятности 36, 87, 90
Центральная предельная теорема 313, 347,
350
Цепь Маркова 529
—	— апериодическая 538
—	— возвратная 546, 547
—	- — дискретная 530
—	— конечная 530
—	— неразложимая 535, 547
—	— однородная 530
—	— положительная 546
—- — стационарная 132
— — эргодическая 534, 547
Циклические подклассы 536
Цилиндрические множества 160, 162
Частота 57
Частотная характеристика фильтра 423
Эквивалентные меры 511
Экран отражающий 558, 559
— поглощающий 555, 557
Экстраполяция 445
Элементарное событие 14, 150
Энтропия распределения 63
Эргодическая теорема 130, 396, 400
Эргодичность 130, 394
УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ
ф 21, 150
а~ = — min (а, 0)
а+ = тах (а, 0)
V, и - V
а Д b = min (а, Ь)
а V b = max (а, b)
А 21, 150
A UB 21, 150
А ПВ 21, 150
А+В 21, 150
А\В 21. 150
А А В 55, 150
U Ап 150
Л=1
ХА, 150
Л—1
П Ап 151
{Ап б. ч.) 151
q/F 21
S3 157
еЙ(/?) 156
ЙНВ1) 157
SB(Rn) 158
еЙ(В°°) 159
^(В7) 161
еЙ(С) 164
ОЙ (В) 164
^([0, 1]) 169
ейо(/?«) 159
S8(R) 158
С 164
сю ззо
(С, SS (С)) 164
Ck 15
COV (g, rtf 52
D 164
(D, S8 (D)) 164
D£ 52
(£, <?) 193
(f, g) 414
(f, g) 414
F * 0 256
Fn => F 330
Fn—'F 329
У 146
У/<? 193
У* 152
У* 152
Ул 153
hn (х) 286
Нп (х) 285
1а, /(А) 44
I *— / 535
jgdP 200 *
А
j I с.'Р 197
Я
(L-S) j g (х) G (dx) 199
(B-S) Jg (x) G (dx) 222
(L) j g (x) dx 199
(B) g (x) dx 222
LP 275
Lk 106
X (Пг......nJ 281
(Пг.....Пл> •••) 284
limx„ 161
limx^ 161
lim A„ = lim sup An 151
lim A„ = lim inf An 151
lim f An 151
lim j An 151
l.i.m. 268
ME 48, 197	
Mg	D) 89 ^7)89
M(g	227
M(g	П) 92, 234
M(g	m> ••• > П») 92
674	УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ
Й (§ 1 Ль • th) 291 (Л4)„ 16 М 153 р 146 р(Л) 146 щХра 215 N (Л) 32 22 К(й) 14 @ 282 F(w) 23 Р 23, 146 Р (Л) 23, 146 Р (Л D) 86 Р(Л J7) 87 Р (Л 3?) 228 Р(Л В) 87, 229 Рх 532 Ря 532 Р 127 Р* 129 р<*> 127 |р//| 124 iPfr У) II 124 ^ = {Ра; аеЯ} 338 Р„ => Р 331 Р„ - Р 331 Р„ ^Р 336 О<Р 511 Q~P 511	Q 1 Р 511 Q = (<7i> ?2, ...) 550 R 156 Ri 157 Rn 158 Rm 159 RT 161 р (g, г]) 52, 249 Х* = max Xj | 484 (X, У>"476 {Хп^} 503 X 258 7? 172, 258 Z 193 Z 402 Z(X) 412 2(Д) 413 6^ 390, 533 =—равно по определению, тождест- венно равно А=}В— импликация, т. е. высказы- вание «если А, то 5», или «Л есть достаточное условие для В», или «В есть необхо- димое условие для А» A	—эквиваленция, т. е. единая запись двух импликаций Л =5 В и В zzj Л 	/„] —неупорядоченный набор (^i, .... Q —упорядоченный набор
ЛАТИНСКИЙ АЛФАВИТ
Аа	a	//	йот	Ss	ЭС
ВЬ	бе	Kk	ка	Tt	ТЭ
Се	це	и	эль	Uu	У
Dd	де	Мт	эм	Vv	ве
Ее	е	Nn	эн	Ww	дубль-ве
Ff	эф	Оо	О	Xx	ИКС
Gg	ге	Рр	ПЭ	Yy	игрек
Hh	аш	Qq	КУ	Zz	зет
li	и	Rr	ЭР		
ГОТИЧЕСКИЙ АЛФАВИТ
9U	а	31	ЙОТ		ЭС
Ж6	бэ		ка	St	ТЭ
(й	ЦЭ	Si	эль	б It	У
®Ь	дэ	Sim	эм	asv	фау
	э	9ln	эн	5ЕВ1»	вэ
8f	эф	®o	О	Ж;	икс
@8	гэ	W	ПЭ	ffip	ипсилон
	ха	Qq	КУ	3j	ЦЭТ
3i	и	gii-	эр		
ГРЕЧЕСКИЙ АЛФАВИТ
Аа	альфа	Ii	йота	рр	Р°
вр	бета	Ки	каппа	2а	сигма
Гу	гамма	ДА	ламбда	Тт	тау
Дб	дельта	МЦ	мю	Ги	ипсилон
Ев	эпсилон	Nv	ню	Ф<р	фи
ZS	дзета		КСИ	Хх	хи
Нп	эта	Оо	омикрон		пси
060	тэта	Пл	пи	Осо	омега
Альберт Николаевич Ширяев
ВЕРОЯТНОСТЬ