Введение в теорию вероятностей и её приложения. Том 2 - Феллер В

Author: Феллер В
Tags: физика математика теория вероятностей
Year: 1963
Similar
Введение в теорию вероятностей и ее приложения Т.2
Введение в теорию вероятностей и ее приложения Т.1
Введение в теорию вероятностей.
Введение в теорию вероятностей
Text
                    В. Феллер
ВВЕДЕНИЕ В ТЕОРИЮ ВЕРОЯТНОСТЕЙ И ЕЕ НРИЛОЖЕНИЯ
Том 2
Это второй том учебника по теории вероятностей — первый вышел' двумя
изданиями на английском языке и тремя изданиями на русском языке и завоевал
заслуженную популярность.
Автор книги — крупный специалист по теории вероятностей. Его учебник
написан на высоком научном и методическом уровне и содержит большое число
примеров применений теории в физике, биологии и экономике. Данный том
посвящен непрерывным распределениям. Вместе с первым томом он составляет
прекрасное учебное руководство, в котором очень удачно сочетаются и
принципиальные основы, и важнейшие приложения теории вероятностей.
Книга рассчитана на читателей различных уровней — от студентов младших
курсов университетов до специалистов-математиков. Она, безусловно,
заинтересует также физиков и инженеров различных специальностей, которые в
своей работе пользуются вероятностными методами.
ОГЛАВЛЕНИЕ
Предисловие к русскому изданию
Предисловие
Глава 1. Показательные и
равномерные плотности
§ 1. Введение
§ 2. Плотности. Свертки
§ 3. Показательная плотность
§ 4. Парадоксы, связанные с
временем ожидания.
Пуассоновский процесс
§ 5. Устойчивость неудач
§ 6. Времена ожидания и
порядковые статистики
§ 7. Равномерное распределение
§ 8. Случайные разбиения
§ 9. Свертки и теоремы о
покрытии
§ 10. Случайные направления
§11. Использование меры Лебега
§ 12. Эмппрические
распределения
§ 13.Задачи
Глава П. Специальные плотности.
Рандомизация
§ 1. Обозначения и определения
5
8
13
13
16
21
24
29
32
36
40
42
46
51
55
58
64
64
§ 2. Гамма-распределения
§ 3. Распределения
математической статистики,
связанные с гамма-
распределениями
§ 4. Пекоторые распространенные
плотности
§ 5. Рандомизация и смеси
§ 6. Дискретные распределения
§ 7. Бесселевы фупкции и
случайные блуждания
§ 8. Распределения на окружности
§ 9. Задачи
Глава Ш. Многомерные
плотности. Пормальные
плотности и процессы
§ 1. Плотности
§ 2. Условные распределения
§ 3. Возвращение к
показательному и
равномерному распределениям
§ 4. Характеризация нормального
распределения
§ 5. Матричные обозначения.
Матрица ковариаций
66
67
69
74
76
79
83
86
89
89
95
98
ю;
10(

§ 6. Нормальные плотности и 108
распределения
§ 7. Стационарные нормальные 114
процессы
§ 8. Марковские нормальные 122
плотности
§ 9.Задачи 128
Глава IV. Вероятностные меры и 132
пространства
§ 1. Бэровские функции 132
§ 2. Функции интервалов и 135
интегралы в R r
§ 3. Вероятностные меры и 142
пространства
§ 4. Случайные величины. 145
Математические ожидания
§ 5. Теорема о продолжении 149
§ 6. Нроизведения пространств. 153
Носледовательности
независимых случайных
величин
§ 7. Нулевые множества. 158
Нополнение
Глава V. Вероятностные 160
распределения в R r
§ 1. Распределения и 161
математические ожидания
§ 2. Предварительные сведения 170
§ 3. Плотности 174
§ За. Сингулярные распределения 177
§ 4. Свертки 179
§ 5. Симметризация 186
§ 6. Интегрирование по частям. 189
Существование моментов
§ 7. Неравенство Чебышева 191
§ 8. Дальнейшие неравенства. 192
Выпуклые функции
§ 9. Простые условные 196
распределения. Смеси
§ 10. Условные распределения 200
§ 10а. Условные математические 203
ожидания
§11. Задачи 206
Глава VI. Некоторые важные 210
распределения и процессы
§ 1. Устойчивые распределения в 210
R1
§ 2. Примеры 216
§ 3. Безгранично делимые 220
распределения в R !
§ 4. Процессы с независимыми 224
прпращениями
§ 5. Обобщенные пуассоновские 228
процессы и задачи о разорении
§ 6. Процессы восстановления 230
§ 7. Примеры и задачи 234
§ 8. Случайные блуждания 240
§ 9. Процессы массового 244
обслуживания
§ 10. Возвратные и невозвратные 252
случайные блуждания
§ 11. Общие марковские цепи 258
§ 12. Мартингалы 265
§ 13.Задачи 272
Глава VII. Законы больших чисел. 275
Применения в анализе
§ 1. Основная лемма. Обозначения 275
§ 2. Нолиномы Бернштейна. 278
Абсолютно монотонные
функции
§ 3. Проблемы моментов 280
§ 4. Применение к симметрично 283
зависимым, случайным
величинам
§ 5. Обобщенная формула Тейлора 286
и полугруппы
§ 6. Формулы обращения для 288
преобразования Лапласа
§ 7. Законы больших чисел для 290
одинаково распределенных
случайных величин
§ 8. Усиленный закон больших 295
чисел для мартингалов
§ 9.Задачи 300

Глава VIII. Основные предельные 302
теоремы
§ 1. Сходимость мер 302
§ 2. Специальные свойства 307
§ 3. Распределения как операторы 311
§ 4. Центральная предельная 315
теорема
§ 5. Бесконечные свертки 324
§ 6. Теоремы о выборе 325
§ 7. Эргодические теоремы для 330
цепей Маркова
§ 8. Правильно меняющиеся 334
функции
§ 9. Асимптотические свойства 339
правильно меняющихся
функций
§ 10. Задачи 344
Глава IX. Безгранично делимые 349
распределения и полугрунпы
§ 1. Общее знакомство с темой 349
§ 2. Полугруппы со сверткой 352
§ 3. Подготовительные леммы 356
§ 4. Случай конечных дисперсий 358
§ 5. Основная теорема 361
§ 6. Пример: устойчивые 366
полугруппы
§ 7. Схемы серий 369
§ 8. Области притяжения 373
§ 9. Различные распределения. 378
Теорема о трех рядах
§ 10. Задачи 381
Глава X. Марковские процессы и 383
полугруппы
§ 1. Псевдопуассоновский тип 384
§ 2. Вариант: линейные 387
прпращения
§ 3. Скачкообразные процессы 389
§ 4. Диффузионные процессы в 394
R1
§ 5. Прямое уравнение. Граничные 400
условия
§ 6. Диффузия в многомерном 407
случае
§ 7. Подчиненные процессы 408
§ 8. Марковские процессы и 413
полугруппы
§ 9. «Показательная формула» в 417
теории полугрупп
§ 10. Производящие операторы. 420
Обратное уравнение
Глава XI Теория восстановления 423
§ 1. Теорема восстановления 423
§ 2. Уравнение С, = F * С, 429
§ 3. Устойчивые процессы 431
восстановления
§ 4. Уточнения 436
§ 5. Центральная предельная 438
теорема
§ 6. Обрывающиеся 440
(невозвратные) процессы
§ 7. Применения 444
§ 8 Существование пределов в 446
случайных процессах
§ 9. Теория восстановления на 448
всей прямой
§ 10. Задачи 453
Глава XII. Случайные блуждания в 456
R1
§ 1. Обозначения и соглашения 457
§ 2 Двойственность 461
§ 3. Распределение лестничных 466
высот Факторизация Винера—
Хопфа
§ 4 Примеры 472
§ 5. Применения 477
§ 6. Одна комбинаторная лемма 480
§ 7. Распределение лестничных 481
моментов
§ 8 Закон арксинуса 484
§ 9. Различные дополнения 489
§ 10 Задачи 491
Глава ХШ. Преобразование 495
Лапласа. Тауберовы теоремы.
Резольвенты

§ 1. Определения. Теорема 495
непрерывности
§ 2. Элементарные свойства 500
§ 3. Примеры 502
§ 4 Вполне монотонные функции. 504
Формулы обращения
§ 5 Тауберовы теоремы 508
§ 6. Устойчивые распределения 514
§ 7. Безгранично-делимые 516
распределения
§ 8 Многомерный случай 519
§ 9. Преобразования Лапласа для 520
полугрунп
§ 10. Теорема Хилле—Иосида 526
§ 11 Задачи 530
Глава XIV. Применение 534
преобразования Лапласа
§ 1. Уравнение восстановления: 534
теория
§ 2. Уравнение типа уравнения 536
восстановления: примеры
§ 3. Предельные теоремы, 539
включающие распределения
арксинуса
§ 4 Периоды занятости и 542
соответствующие ветвящиеся
процессы
§ 5. Диффузионные процессы 544
§ 6. Процессы размножения и 549
гибели. Случайные блуждания
§ 7. Дифференциальные уравнения 553
Колмогорова
§ 8. Пример: чистый процесс 559
размножения
§ 9. Вычисление Р(°°) и времен 569
первого прохождения
§ 10. Задачи 566
Глава XV. Характеристические 569
функции
§ 1. Определение. Основные 569
свойства
§ 2. Специальные плотности. 573
Смеси
§ 3. Единственность. Формулы 579
обращения
§ 4. Свойства регулярности 584
§ 5. Центральная предельная 588
теорема для одинаково
распределенных слагаемых
§ 6. Условие Линдеберга 592
§ 7. Характеристические функции 596
многомерных распределений
§ 8. Две характеризации 600
нормального распределения
§ 9. Задачи 603
Глава XVI. Асимптотические 607
разложения, связанные с
центральной предельной
теоремой
§ 1. Обозначения 608
§ 2. Асимптотические разложения 609
для плотностей
§ 3. Сглаживание 613
§ 4. Асимптотические разложения 616
для распределений
§ 5. Теорема Берри—Эссеена 620
§ 6. Большие отклонения 622
§ 7. Различно распределенные 626
слагаемые
§ 8. Задачи 630
Глава XVII. Безгранично делимые 632
распределения
§ 1. Теорема о сходимости 632
§ 2. Безгранично делимые 638
распределения
§ 3. Примеры. Специальные 644
свойства
§ 4. Устойчивые 648
характеристические функции
§ 5. Области притяжения 652
§ 6. Устойчивые плотности 657
§ 7. Схема серий 659
§ 8. Класс L 663
§ 9. Частичное притяжение. 666

«Универсальные законы»
§ 10. Бесконечные свертки 669
§11. Многомерный случай 670
§ 12.Задачи 671
Глава XVIII. Применение методов 675
Фурье к случайным
блужданиям
§ 1. Основное тождество 675
§ 2 Конечные интервалы. 678
Вальдовская аппроксимация
§ 3 Факторизация Винера—Хопфа 681
§ 4. Обсуждение результатов 684
Применения
§ 5. Уточнения 687
§ 6 Возвращения в нуль 689
§ 7. Критерии возвратности 690
§ 8 Задачи 693
Глава XIX Гармонический анализ 6У5
§ 1 Равенство Парсеваля 695
§ 2 Положительно определенные 697
функции
§ 3 Стационарные процессы 700
§ 4. Ряды Фурье 703
§ 5 Формула суммирования 707
Пуассона
§ 6. Положительно определенные 710
последовательности
Т2
713
719
§ 7. L -теория
§ 8 Случайные процессы и
стохастические интегралы
§ 9.Задачи 726
Предметный указатель 736
Именной указатель 744
ПРЕДМЕТНЫЙ
Абелевы теоремы 511
Абсолютная непрерывность 174, 176
Абсолютно беспристрастная
последовательность 265, 295
— монотонные функции 279, 280,
505
Аварии 78, 228
Автобусы (очереди на автобусы,
ожидание) 37, 76, 88, 236
Аддитивные функции множества 136
Алгебра множеств 143, 144, 150
, порождения 204
Арифметическое распределение 173;
см. также Решетчатое
распределение
Арксинуса распределения 70
в процессах восстановления
539
в случайном блуждании 483
обобщенное 604
Арцела — Асколи теорема 329
Асимптотическая пренебрежимость
УКАЗАТЕЛЕ
223, 594
Асимптотически несмещенная
оценка 277
— плотное (множество) 184
Атомические меры 172
Атомы (мер) 172
— при свертке 183—184
Банаха пространство 313, 414, 557
Башелье процесс; см. Броуновское
движение
Безгранично делимые полугрунпы
524
распределения 220, 351,516,632
в R r 670,674
Бернулли испытания и случайный
выбор 53
Берштейна полиномы (в R 2 300) 278
Бесконечная дифференцпруемость
312,353
Бесконечные свертки 324, 379, 669,
674
Бесселевы функции 79—80, 598

, безграничная делимость 221,
518,646
в стохастических процессах 81,
385
, Лапласа преобразование 503,
504, 550
.распределения, связанные с
ними 80 и ел., 187, 207, 208
, характеристическая функция
573
Бета-интеграл 67
— плотность 70
в задаче восстановления 538
Борелевская алгебра 143,150
Борелевское множество 143
, аппроксимация 145, 156
, измеримое по 146
, соглашения об обозначениях
160
Бохнера интеграл 521—522
Броуновское движение 127, 394, 544
в R r 218,407
, непрерывность траекторий
226, 365, 395
, первое прохождение 217, 403,
545
, подчиненность 411
с упругой силой 397
Бэровские функции 134, 139, 148, 161
Бюффона задача об игле 83
Вальда тождество 469, 492, 679
Вейбула распределение 73
Вейерштрасса теорема об
аппроксимации 278
Вероятность вхождения; см.
Вероятность достижения
Вероятностные меры и пространства
142, 168
Ветвящиеся процессы 298, 507, 542
Взаимные пары функций 575
Видимость в х-направлении 23
Винера процесс; см. Броуновское
движение
Винера—Хопфа интегральное
уравнение 470
факторизация 456, 465, 494,
681, 690
Вложенные процессы
восстановления 241, 446
Водохранилище; см. Хранение
запасов
Возвращение в нуль 490, 689
Возраст; см. Длительность
Вполне монотонные функции
282,504, 517
абстрактные 520
.интерполяция 531
Вращения 103, 113
Время возвращения 231
максимальное 238, 453
— жизни; см. Длительность, Время
возвращения
Выборка, медиана, экстремумы 32
— среднее значение, дисперсия 111
Выпуклые функции 193
и мартингалы 271
Вырожденное распределение 108,
113
Вырожденные процессы 118
Гамеля уравнение 358, 366
Гамма-плотность 24, 66
— распределение 23, 66, 500
, безграничная делимость 220,
355,518,645
как предел порядковых
статистик 39
, подчинение 412
, приближение 276
рандомизпрованное 80
— функция 66, 86
Гармонические функции 298
Гейгера счетчики 238, 240, 439, 453,
536
Гёльдера неравенство 195

Гильбертовы пространства 715, 720
Гиперболические функции и
плотности 87, 574, 603, 645, 670,
710
Гравитационные поля 216, 272
Граничные условия 400, 546
— значения 299
Грина функция 396, 545, 567
Грунппровка данных 17
Гюйгенса принцип 71
Двойные орбиты 51
Двойственность 461
Двустороннее преобразование
Лапласа 499
Двусторонняя показательная
плотность 69
, факторизация 682
, характеристическая
функция 573
Дисперсия 18, 65, 171
— инфинитезимальная 397
— условная 96
Диффузия в генетике 398
-bR1 394,532,544,567
— в R r 407
— с упругой силой 397
Длина случайных цепей 262
Длительность, диффузия 404—405
—, мертвый период 238
—, период занятости 452, 553
—, процесс восстановления 234, 273,
441
—, процесс размножения 561
Дробная доля 186, 327
Дробовый эффект 223, 672
Естественный масштаб в диффузии
395
Жордана разложения 173
Задача о разорении 228, 250, 388, 538
, оценки 444, 479
Задержки в движении 237, 445, 454,
544, 567
Законы больших чисел 274, 290, 346,
502, 586
для мартингалов 299
для серий 378, 674
для стационарных
последовательностей 301
,обратная теорема 292
— нуля или единицы 157
Заражение 79
Значащие цифры 85
Иенсена неравенство 193, 271
Измеримое пространство 144
Измеримость 146
Изометрия 722
Индикатор множества 132
Интегральное уравнение Абеля 51
Интегрпрование по частям 189
Интервал непрерывности 303
Инфинитезимальная скорость и
дисперсия 397
Ионизация 385
Исчезающие на бесконечности
функции 303
«Исчезновение», случайные
блуждания 490
Каноническая мера 633
Кантора тип распределения 54, 177,
670
(свертки) 186
Квазиустойчивость 215
Квазихарактеристические функции
632
Ковариация 91
—, матрица 107
— процесса 116, 700, 725
Колмогорова дифференциальные
уравнения 293, 553
— неравенство 296, 301
— Смпрнова теорема 57, 405
— теорема о трех рядах 379
Компактность в схеме серий 370
Конкордантные (согласованные)

функции 266, 298
Координатные случайные величины
17,91
Корреляция 91
Коши — Леви теорема 595, 600
— распределение 71, 87, 292, 599
в R r 94, 97, 128, 599, 671
и броуновское движение 218,
411
, случайное блуждание 259, 693
, устойчивость 216, 634, 645
Крамера оценка для вероятности
разорения 229, 444, 471, 480
Критерий значимости 201
Кронекера лемма 299
— символ 554
— ядро 260, 554
Круг, распределение на нем 46, 83,
88, 104
равномерное на нем 327, 333
—,теорема покрытия 44
Кэмпбелла теорема 224, 347, 672
Лапласа второй закон распределения
70
— преобразование 288, 495, 534
Лапласа преобразование вЯ1' 519
двустороннее 499
для полугрупп 520
— Стильтьеса преобразование 489
Лебега интеграл 135
— мера 51, 142, 159
— Пикодима теорема 176
— пополнение 159
— Стильтьеса интеграл 136, 139, 166
— теорема о разложении 179
Леви каноническое представление
643
— Крамера теорема 600
— метрика 345
— Парето распределение 219
—,примеры 272, 382, 646
Лежандра формула удвоения 86
Лестничные величины 241, 457, 481
в процессе ожидания 248
Линдеберга условие для диффузии
395
— условия 320, 346, 592
Линейные операций над
стохастическими процессами 702
— прпращения в скачкообразных
процессах 387
Линейный функционал 151
Логарифм комплексных чисел 639
Логарифмическое распределение 86
Логистическое распределение и
развитие 73
Локально компактные пространства
152, 156, 303
Ляпунова условие 346
Мажорированная сходимость 141
Максвелла распределение 49, 68,103
Максимальная оценка 479
— характеристическая функция 685,
694
— частная сумма 242, 250, 383, 470,
477, 487
Максимальное время возвращения
238, 453
Максимальный член 207, 215, 337,
347
— —, влияние на сумму 532; см.
также Порядковые статистики,
Рекордные значения
Марковские процессы с дискретным
временем 122, 129, 258, 274
и мартингалы 298
, спектральная функция
713,728
Марковские процессы с дискретным
временем, эргодические теоремы
330
с непрерывным временем 125,
383, 700
в процессах

восстановления 436
в счетных
пространствах 553
и полугруппы 413, 521
, эргодические теоремы
446, 564
Марковское свойство 22; см. Строго
марковское свойство
Мартингалы 265, 295
— в процессах восстановления 431
— в случайных блужданиях 466
—, неравенства 295, 296, 301
Масштабные параметры 64,171
Медиана 32, 172
Медленно меняющиеся фупкции; см.
Нравильно меняющиеся функции
Мера скорости (speed measure) 395
«Мертвый» период 240
Метод ограничений 403
Метрики 345; см. также Банахово
пространство, Гильбертово
пространство
Минимальное решение, Винера —
Хопфа уравнение 469
, дифференциальное уравнение
Колмогорова 555
, диффузия 402
, полумарковские процессы 568
, скачкообразные процессы 393
, уравнение восстановления 255
Миттаг-Леффлёра функция 519
Момент регенерации 231
Моменты 18, 170, 189
— восстановления 231, 432
— в процессах восстановления 442
—неравенство 195
—, проблема однозначности 283, 290,
532,527
в R r 606
—, производящие функции 499
—, сходимость 306, 328
—, Хаусдорфа проблема 281
Монотонной сходимости принцип
140
свойства 414
Найквиста формула 708
Направляющий процесс 411
Невозвратные случайные блуждания
253
Невозвратные случайные блуждания,
свойства 257, 465, 483, 690, 694
, уравнение восстановления и
теорема для них 252 449, 450, 494
Невозможность систем игры 270, 271
Независимость случайных величин
19,92, 95, 153, 169
, комплексные величины 570
, критерий для нее 170
Независимые прпращения 123, 224,
352, 365, 380, 724
, разрывы 366, 380
Неймана тождество 82
Нелинейное восстановление 454
Непосредственная интегрпруемость
по Риману 426
Непрерывность полугрупп 416; см.
также Фиксированные разрывы
Несмещенная оценка 277
Несобственные (дефектные)
распределения 162, 164, 260
в процессах восстановления
234
Неудачи 29
Норма 313, 413, 714, 720
—, топология, порождаемая 345
Нормальное распределение 65, 87,
574
в R r 108,597
вырожденное 112
двумерное 93, 96, 129
Нормальное распределение
марковское 122
.область притяжения 377, 652
характеристические свойства

частное 128, 206
Нормальные полугруппы 360, 368,
381
Нормальный стохастический процесс
Носитель 64
Нулевая схема серий 222, 659
Нулевое множество 158, 175 714 720
Область притяжения 214
.критерий для нее 373, 382 514
652
нормальная 657
частичная 382, 646, 656
Обобщенный пуассоновский процесс
225, 365, 388
и полугруппы 357, 360
, подчинение в нем 412
, разорение в нем 228, 250,
538
Образование колонн 59, 567
Обратное уравнение для диффузии
396, 398 и ел., 407, 545 и ел.
полугрупп 417, 420 и т. д.
полумарковских процессов
568
, минимальное решение 392, 555
и т. д.
, скачкообразный процесс 390,
554 и т. д.
Обрывающийся (terminating) или
невозвратный (transient) процесс
234, 440 и ел.
Обслуживание больных 229
Обслуживающие устройства; см.
Очереди
Одновершинные [упимодальные]
распределения 197, 603
,свертки 208
Оператор перехода 414
— сдвига 722
Операторы, связанные с
распределениями 311
Операционное время 227, 409
Орбиты двойные 51
Орнстейна—Уленбека процесс 127,
397
Ортогональные матрицы 114
Остаточные события 157
Остающееся время ожидания 236
, предельная теорема 434,
436, 453, 540
Осциллирующие случайные
блуждания 258, 464, 687
Отношение правдоподобия 267
Отражающий экран 402, 406, 532
Оценка 60
Очереди 75, 76, 87, 88, 248
— параллельные 31, 32, 35, 60;
см.также Нериоды занятости
Ошибки округления 37, 84
Нарадокс контроля 235, 436
Нарадоксы 24, 38, 235, 436
Нараметры расположения 64, 171
Нарето распределение 70
Нарсеваля равенство 530, 695, 716,
719
как критерий Хинчина 718
Нервое возвращение 459, 491, 566,
689
Нервые прохождения, диффузия 217,
403, 544
, марковские цепи 562
, процесс размножения и гибели
82, 88, 551, 565
Нериодограмма 101
Нериоды занятости 246, 251, 553
и ветвящийся процесс 542, 517
Нетербургская игра 293
Нпрсона система распределений 67,
70
Планшереля преобразование 715
— теорема 582
Плотность 16, 64, 174
Новторные математические
ожидания 203

Поглощающие экраны 402 и т. д.,
532, 546 и т. д
Поглощение (физическое) 41, 48, 385
Подчиненные процессы 408, 518,
525, 646, 673
и показательная формула 419
Пойа критерий 577, 581
— урновая схема 266, 285, 297
Показательная формула для
полугрупп 287, 409, 417
Показательное распределение 21, 58,
98
двумерное 128
двустороннее 69, 187
и равномерное распределение
62,98
Показательное распределение как
предел 39, 62, 434; см. также
Гамма-распределения
Положительно определенные
матрицы 107
последовательности 710
функции 697
Полугруппы 286, 413, 520
— со сверткой 353
— устойчивые 366
Полумарковский процесс 553, 568
Полумартингалы 271
Полярные координаты 92
Пополнение мер 159
Популяция, рост 399, 401
—,случайное рассеивание 319
Порядковые статистики 32, 36, 129
, предельные теоремы 39, 62, 87
— —, применение к статическому
оцениванию 60
Потенциал 558
Потеря энергии 385, 387; см.
Столкновение частиц
Потерянные вызовы 239, 566
Правильно меняющиеся функции
334, 348
Приложение к астрономии 51, 115
170—171,261,272,388
Принцип инвариантности 400
— отражения 218, 547, 548
Притяжение; см. Область
притяжения
Проекция 90
— случайных векторов 47, 49, 62
Произведение мер и пространств 153
Производящие операторы 354, 420,
522, 545
— фупкции, интерпретация с
помощью «исчезновения» 490
, характеризация 279
Произвольная остановка 270
Пропуски (пробелы) большие 236,
445, 536
— малые 273
Прохождение света через вещество
41,47,62
в звездных системах 261, 388
и принцип Гюйгенса 71
через сферу 47
Процесс авторегрессии 116,123
— восстановления с запаздыванием
234,431
Прочность на разрыв 22
Прошедшее время ожидания 236, 453
, предельные теоремы 436,
540
Прямое уравнение, диффузия 400,
544
Прямое уравнение, диффузия,
минимальное решение 393, 556
,полугруппы 417
, скачкообразный процесс 387,
391
(счетность) 554
Прямоугольная плотность 36, 70
Псевдопуассоновский процесс 409
, показательная формула 417
, полугрунпа 526

— — с линейными приращениями
387
Пуанкаре задача о рулетке 84
Пуассона формула суммирования 85,
405, 707, 727
— ядро 704
Пуассоновские ансамбли 28; см.
также Гравитационные поля
— распределения, аппроксимация с
их помощью 346
как крайние точки 644
, разность 207, 645
, формула Тейлора 286
Пуассоновский процесс 24
как предел в процессах
восстановления 434
, supremum 299
Равномерное распределение 36, 327
Равностепенная непрерывность 307,
329
Радиация звездная 261
Радона—Пикодима производная 174
теорема 176
Развитие логистическое 73
Разложение единицы 722
Размножения и гибели процессы 549,
567
и диффузия 567
, периоды занятости в них
552; см. также Рандомизованные
случайные блуждания
— процесс 60, 325, 559
двусторонний 561
Разности (обозначения) 277
Разрывы фиксированные 227, 380
Рандомизпрованное случайное
блуждание 81, 549, 644
Рандомизация и подчиненные
процессы 409
—, полугруппы 288, 419
—, симметрично зависимые
случайные величины 283
Распределение роста 97
Расслоение 78
Расстояние между распределениями
345
— по вариации 345
Расхождение; см. Эмпприческое
распределение
Регистрация 240, 439
Регрессия 94, 112
Регулярное стохастическое ядро 331
Резольвенты 495, 527, 557
— и полная монотонность 529
Рекордные значения 29, 58, 59;
см.также Порядковые статистики
Решающая функция 269
Решетчатые
Распределения 173, 184
, характеристические функции
572,583
центральная предельная
теорема для 591, 617
Римана — Лебега теорема 586
Рисса теорема о представлении 152
Рулетка 37, 84
Самовосстанавливающиеся
Совокупности 234
Свертка ядер 261
Свертки, бесконечные 324, 379, 669,
674
, поведение F"* 347
— на окружности 86, 333
— плотностей 19, 65, 95
— распределений 179
(сингулярных распределений)
186
Свободный пробег 22, 29
Сглаживание 115, 181, 613
Сдвиг, оператор 287, 313
—, полугруппы 355, 421
— принцип 499
Сепарабельность 328
Сервостохастический процесс 130

Серии 62; См. также Рекордные
значения
Сжатие 414, 521
Сильная непрерывность в нуле 416,
521
— сходимость 314, 416
Симметризация 186
—, неравенства 188
Симметрично зависимые величины
283, 489
, центральная предельная
теорема 346
Симметричные события 157
Сингулярные (вырожденные)
распределения 54, 137, 177
, свертки 186, 670
Скалярное произведение 714
Скачкообразный процесс 389
с бесконечным числом скачков
393,554
Скользящее среднее 115, 723
Скрытая периодичность 101
Слабая сходимость 304
Случайная величина 16, 91, 145, 165
комплексная 569
Случайное рассеивание 319
Случайные блуждания в R 1 240, 252,
456, 575
и эмпприческое
распределение 56, 62
простые (Бернулли) 270,
381,460,462,491,503,680
сопряженные 474
в R r 50,598
, центральная предельная
теорема 319
— импульсы 240
— направления 46, 61, 62
, сложение 48, 71, 186, 262, 598
— разбиения 37, 98, 101; см.
Теоремы о покрытии
(расщепления частиц) 40, 61,
129
— суммы 75, 199,208
, характеристическая функция
576
, центральная предельная
теорема для них 323, 605
— цепи 261
Случайный вектор 48, 50; см. также
Случайные направления
— выбор 14, 36, 32
и бросание монеты 53; см.
также Теоремы о покрытии,
Случайные разбиения
Смеси 74, 98, 196, 208
—, преобразование 503
Снедекора плотность 69, 70
Снос в диффузии 397
— в случайных блужданиях 465, 686
Собственное распределение 164
, сходимость 304, 344, 633
Совместное распределение 91
Совпадения 273
Сопряженные случайные блуждания
474
Спектр мощностей 701
Спектральная мера 701, 726
(заданная 703)
, представление для унитарных
операторов 722
Статистика 32
Стационарность, мера и вероятность
262, 274, 332
—, прпращение 225, 352
—, процесс 114, 129, 700, 710 (закон
больших чисел 301) (Ср.
Эргодическая теорема)
Стационарный режим 27, 263, 388
— — в процессах восстановления
434
Столкновение частиц 261, 385, 387
Стохастическая ограниченность 310,
369

Стохастические интегралы 724
Стохастическое разностное
уравнение 128
— ядро 199, 259, 330
Строго марковское свойство 38
— устойчивые распределения 211
Структура (алгебраическая) 414
Стьюдента плотность 69, 72
Субмартингал 271, 296
Субстохастическое ядро 260
Сумма случайных векторов 48, 186,
262, 598
Суммируемость по Абелю 704, 706,
728
Чезаро 706, 727
Суперпозиция процессов
восстановления 434
Схемы серий 222, 272, 369, 659, 674
Сходимость в среднем квадратичном
714
— мер 304, 326, 344
— операторов 314, 353, 414
— по вероятности, 290, 309
— сильная 314, 416
— слабая 305
Счетно-аддитивные функции (о-
аддитивные) 137, 150—151, 163
Счетчики; см. Гейгера счетчики,
Очереди
Тауберовы теоремы 508
, применение 486, 514, 535, 540,
687
Тейлора формула обобщенная 286
Телефонные вызовы 78, 228
потерянные 239, 266; см. также
Периоды занятости
Теорема непрерывности,
квазихарактеристические
фупкции 634
, Лапласа преобразования 496
,полугрунпы 327
, характеристические функции
580, 582, 604
Теорема об аппроксимации в среднем
141
— о продолжении 149, 156
среднем значении 138
трех рядах 379
Теоремы о выборе 325
покрытии 42, 61, 101, 273, 538
Теория надежности 73
— страхования 229; см. также Задача
о разорении
Типы распределений 64, 171
, сходимость 307
Точка роста 172, 184
Точки первого вхождения в
процессах восстановления 236,
434, 435, 492; см. также
Лестничные величины
— — — в случайных блужданиях
490, 492, 675
Транспортные задачи 59, 237, 445,
454, 544, 567
Треугольная плотность 43, 70, 573
Треугольника неравенство 313
Тэта-функции 405, 406, 710
Универсальные законы Дёблина 568
Унимодальность по Хинчину 603
Унитарные операторы в
гильбертовом пространстве 722
Упругая сила 397
Уравнение восстановления 232, 425,
436, 453
для всей прямой 253, 448, 494
, процесс 25, 230, 272, 431, 453
Уравнения восстановления, теоремы
424, 427, 441
Условные распределения и
математические ожидания 95,
200
Устойчивые полугрунпы 366
— распределения в процессах
восстановления 440

R 2 647,671
, плотности 657
, подчиненность 412, 518
, положительные 514, 673
, произведения 219, 519
с показателем 1/2 72, 87, 216,
381,503
Фату теорема 140
Фиксированные разрывы 380
Фильтр 116,702
Фишера Z-статистика 69
Фоккера — Планка уравнение 356,
386, 391
Формула обращения и проблема
моментов 281
, преобразование Лапласа 288
506, 507, 530
, характеристические функции
581, 584, 599
— удвоения 86
Фубини теорема 141, 155, 181
Функции интервалов 136, 162
Функционал линейный 151
Фурье коэффициенты 705, 708
— обращение 581, 583
— ряд 703, 719, 727
— преобразование 570, 608; см.
также Планшереля
преобразование
— Стильтьеса преобразование 570
Характеристические функции 569
в R r 596
, логарифм 639
периодические 703, 706
, производная в нуле 635
, факторизация 578, 669, 708;
см. также Пуассона формула
суммирования
Хи-квадрат 68
Хилле — Иосида теорема 526, 545
Хинчина критерий 718
— Полячека формула 478, 539, 683,
693
Хольцмарка распределение 215, 217,
272
Хранение и управление запасами 228,
229,247
Центральная предельная теорема 315,
346, 350, 588, 605
, необходимые и
достаточные условия 379, 654,
662
, приложения 257, 264, 319
, процессы восстановления
438
Центрпрование 64, 171, 660
— безгранично делимых
распределений 637
Цепи, прочность 22
— случайные 261
Цифры, распределение 52, 85
Частицы, притяжение 382, 646, 666-
—, расщепление 40, 61, 129
быстрыми частицами 385, 387;
ср. Столкновения частиц
—, упорядочение 107, 167
Частные (маргинальные)
распределения 90,169,196
, заданные 206
Частотная характеристика фильтра
702
Чебышева неравенство 191, 276
обобщение 299
на мартингалы 301
— Эрмита многочлен 609
Чепмена — Колмогорова уравнение,
дискретное время 127
, непрерывное время 384, 556
, полугрунпы 416, 528
Шаг 174
Шварца неравенство 192
Шлемильха формула 82
Шум 346, см также Дробовой эффект
Эджворта разложение 611, 620

Эквивалентные функции 158, 714
Экраны, см Поглощающие экраны,
Граничные условия
Эмпирические распределения 55
Эндоморфизм 414
Эргодические стохастические ядра
332
— теоремы, дискретное время 263,
274, 330
, непрерывное время 446, 562,
ИМЕННОЙ
Амбарцумян В. А. 261, 388
Андре (Andre D.) 2)8
Аннекен (Hennequin P. L.) 131, 729
Ьайес (Bayes Т.) 77
Ьакстер (Baxter G.) 472, 481, 490, 647,
681
Ьартлетт (Bartlett M. S.) 730
Ьаруча-Рид (Barucha-Reid А. Т.) 399,
730
Ьенеш (Benes E. V.) 446, 730
Ьенфорд (Benford F.) 85
Ьергстрем (Bergstrom П.) 657
Ьернштейн С. П. 103, 505
Ьерри (Berry А. С.) 607, 620, 621, 625,
627, 630
Ьикель (Bickel P. J.) 455
Ьиллингслей (Billingsley Р.) 57, 323,
406
Ьлекуэлл (Blackwell D.) 424, 449
Ьлюм (Blum J. R.) 346
Ьоль (ВоЫ) 327
Ьоттс (Botts Т. А.) 131
Ьохнер (Bochner S.) 383, 411, 520,
697, 699, 712, 729
Ьрело (Brelot M.) 299
Ьудро (Boudreau P. E.) 248
Ьурбаки (Bourbaki N.) 131
Ьюльман (Buhlman П.) 285
Вальд (Wald A.) 283, 465, 474
Вебер (Weber П.) 504
Вейль (Weyl П.) 327
см Стационарный режим
Эрлангова плотность 66
Эрмита полиномы 609, 630
— разложение 620
Ядра 199, 259, 330
Якоби тэта-функция 405, 406, 710
— о-аддитивность 137
— алгебра 143
— конечная мера 144
УКАЗАТЕЛЬ
Веисс (Weiss В.) 728
Виленкин П. Я. 699, 729
Винер (Wiener N.) 426, 718
Винтнер (Wintrier A.) 209
Волд^оШП. M97
Вольфовиц (Wolfowitz J.) 252, 153,
447, 449
Гальтон (Gallon F.) 97
Гейтлер (ПеШег W.) 385
Гельфанд И. М. 699, 729
Герглотц (Herglotz G.) 712
Гири (Geary R. С.) 111
Гнеденко Ь. В. 57, 62, 337, 607, 618,
657, 668, 730
Гренандер (Grenander U.) 102, 729,
730
Гринвуд (Greenwood M.) 79
Гриффин (Griffin J. S.) 248
Гуд (Good D. J.) 542
Гумбел (Gumbel E. J.) 206
Дарлинг (Darling D. A.) 533
Дворецкий А. 333
Дерман (Derman С ) 564
Деблин (Doblin W.) 215, 668
Джильберт (Gilbert E.) 273
Донскер (Donsker M.) 57, 406
Дуб (Doob J. L.) 130, 206, 266 297,
299 431,730
Дынкин Е. b. 383, 395, 540, 729
Зигмунд (Zygmund A.) 635
Золотарев В. М. 659

Иахав (Yahav J. A.) 455
Ибрагимов И. А. 209
Ито (Ito К.) 395, 400, 729
Кантор (Cantor G.) 326
Карамата (Karamata J.) 215, 302, 334,
339 512
Карлеман (Carleman Т.) 282, 587
Карлин (Carlin S.) 2S3, 449, 730
Кац(КасМ.) 103, 248, 406
Кельвин (Kelvin) 403
Кемперман (Kemperman J. H. B.) 472,
729
Кендалл (Kendall D. C.) 244, 288, 542
Кенуй (Quenoinlle M. H.) 50
Кимура (Kimura M.) 399
Кингман (Kingman J. F. C.) 231
Кифер (Kiefer J.) 252, 447
Кокс (Cox D. R.) 730
Колмогоров А. Н. 155, 156, 206, 224,
292,299,395,607,618,730
Королюк В. С. 56, 57, 62
Коши (Cauchy A.) 215, 581
Крамер (Cramer H.) 597, 607, 620,
628, 625, 730
Крикеберг (Knckeberg К.) 729
Ламперти (Lamperti A) 238
Ландау Л. Д. 385
Ландау (Landau F.) 405, 513
JIaxa(LahaR. G.O29
Лебег (Lebeque H.) 152
Леви Ноль (Levy Paul) 215, 224, 226,
266, 320, 365, 380, 400, 568, 647,
663, 668, 729, 730
Ле Кам (Le Cam L.) 346
Линдеберг (Lindeberg J. W.) 585
Линдли (Lindley D. V.) 244, 456
Литтл (Little J. D. С ) 544
Литтльвуд (Littlewood J. F.) 195, 512
Лоэв (Loeve M.) 131, 132, 266, 285,
297, 323, 383, 729
Лукач (Lukacs F.) 111 729
Лундберг (Lundberg F.) 229
Маккин (McKean H. P.) 395 400, 729
Макшейн (McShane E. J.) 131
Мандельбройт (Mandelbrot B.) 219,
348
Марков А. 283
Маршалл (Marshall A. W.) 301
Мидлтон (Middleton D.) 709
Миллс (Mills H.D.) 130
Моран (Moran P. A. P.) 730
Мюнц (Muntz С ) 300
Неве (Neveu J.) 131, 297, 729
фон Нейман (Neumann J.) 62
Нейман (Neyman J.) 228
Нелсон (Nelson E.) 128 411
Ньюэл (Newell G. F.) 59
Орей (Orey С ) 449
Орнштейн (Ornstem D.) 257
Найк (Руке R.) 229, 457, 539, 568
Нетерсен (Petersen D. P.) 709
Нетров В. В. 625
Нинкхэм (Pinkham R. S.) 86
Нитман (Pittman E. J.) 635
Нойа (Polya G.) 79, 195, 215, 228
Ноллард (Pollard H.) 424, 449, 520
Ноляк(Ро11акН.О.J73
Нолячек (Pollaczek F.) 250
Норт (Port S. C.) 339
Нрабу (Prabhu H. U.) 730
Нрохоров Ю. B. 57, 406
Райт (Wright S.) 399
Райт (Wright E. M.) 327
Рвачева Е. Л. 57
Реньи (Renyi A.) 406
Риордан (Riordan J.) 730
Рисе (Riesz M.) 288
Рихтер (Richter W.) 625
Роббинс (Robbins H. E.) 128, 323, 423
Розенблат (Rosenblatt M.) 102, 346,
730
Рой (Roy S.) 423
Ройден (Royden H. L.) 283
P3fi(RayD.K95

Рэлей (Rayleigh) 50
Севидж (Savage J. L.) 157, 285
Серпинский (Sierpinski W.) 327
Скеллам (Skellam J. G.) 320
СкитовичВ.Н. 104
Скороход А. В. 57, 730
Смирнов Н. В. 57, 62, 405
Смит (Smith W. L.) 423, 449, 568, 730
Снелл (Snell J. L.L31
Спарре-Андерсен (Sparre-Andersen
Е.) 456, 481, 486, 489
Спицер (SpitzerF.) 197, 374, 386, 395,
569, 575, 580, 615
Стадден (Studden W.) 283, 730
Стейн (Stein С.) 678
Стивене (Stevens W. L.) 44, 102
Стильтьес (Stieltjes) 283
Сьюэлл (Sewall) 399
Такая (Takacs L.) 542, 730
Тамаркин Я. Д. 273, 301
Таннер (Tanner J. С.) 237
Тейчер (Teicher H.) 346
Титчмарш (Titchmarsch E. С.) 688
Тортра (Tortrat A.) 676
Троттер (Trotter H. Р.) 320, 411
Угахери (Ugaheri Т.) 274
Уилкс (Wilks S. S.) 59
Уильямсон (Williamson R. Е.) 431
Уиттекер (Whittaker J. M.) 709
yoKc(WaxN.O30
Уолл(\?о1П. W.L11
Уоллес (Wallace D. L.) 621
Уолш (Walsh J.W.) 71
Фейер (Fejer L.) 706
Филлипс (Phillips R. S.) 288, 354, 520,
525, 730 де
Финетти (Finetti В.) 61, 224, 283
Фишер (Fisher R. A.) 102, 337, 399
Фреше (Frechet H.) 207
Фукс (Puchs W. H. Y.) 690
Халмош (Halmos P. R.) 131, 270
Хант (Hunt G.) 266
Харди (Hardy G. H.) 195, 327, 512
Харрис (Harris
Т. Е.) 298
Хаусдорф (Hausdorff F.) 281
Хелли (Helly E.) 326
Хилле (Hille E.) 286, 288, 354, 476
520, 575, 601, 730
Хинчин А. Я. 215, 224, 291, 474, 643,
664, 668, 730
Хобби (Hobby C.) 457
Xon<J>(HopfE.L71,472
Хьюитт (Hewitt E.) 157, 285
Чандрасекар (Chandrasekhar S.) 50
Чернов (Chernoff H.) 346, 631
Чжоу (Chow S.) 423
Чжун (Chung K. L.) 134, 208, 256, 257,
288, 420, 449, 553, 690, 729
Шапиро (Shapiro J. M.) 647
Шварц (Schwartz L.) 699
Шеллинг (Schelling H.) 264, 285
Шеннон (Shannon C.) 708
Шепп (Shepp L.) 87, 197, 694, 728
Шоке (Choquet G.) 429, 670
Шохат (Shohat J. A.) 283, 301
Эйнштейн A. (Einstein A.) 395
Эйнштейн (Einstein A. Jr.) 228
Эссеен (Esseen G.) 607, 618, 620, 621
Эсшер (Esscher F.) 625
Эрдёш (Erdos P.) 406, 424
Юл (Jule G. U.) 79
Яноши (Janossy L.) 385

ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ
Второй том книги известного американского математика
В. Феллера «Введение в теорию вероятностей и ее приложения»
вышел в США в 1966 г. Напомню, что первый том, посвящен-
посвященный дискретным распределениям, дважды издавался в США в
1950 году и (с изменениями и дополнениями) в 1958 году. Оба
издания были переведены на русский язык (в 1952 и 1904гоцах).
Несмотря на большой промежуток времени между выходом
первого и второго томов, оба тома и^меют общий _з а мысе т и со-
составляют единое целое. Книга дает строгое изложение теории
вероятностей как самостоятельного раздела математики и в то
же "время знакомит читателя с опытными основаниями теории
и различными применениями. Последнее достигается включе-
включением большого числа примеров и задач.
Книга очень богата содержанием (достаточно сказать, на-
например, что гл. XV, XVI и XVII второго тома полностью по-
поглощают известную монографию Б. В. Гнеденко и А. Н. Колмо-
Колмогорова «Предельные распределения для сумм независимых
случайных величин»). Многочисл^ды_е_отст^1ления_дт основного
текста срдержат_сведения, интересные и специалистам. Большая
работа, проведенная автором при подготовке второго тома, по-
позволила существенно упростить изложение целых разделов (на-
(например, вывод асимптотических формул в теории случайных
блужданий и задачах о разорении и многое другое).
Изложение тщательно продумано. Оно часто дополняется
замечаниями, отражающими отношение автора к приводимым
фактам (см., например, замечание в гл. VI, 7 о том, что рассмо-
рассмотрение в теории очередей потоков вызовов с независимыми npoj
меж>тками между вызовами и с законом распределения длины
этих промежутков, отличным от вырожденного или показатель-
показательного, создает лишь иллюзию общности; трудно, говорит автор,
найти примеры таких процессов, кроме разве движения авто-
автобуса по кольцевому маршруту без расписания). Напомню, «то

Предисловие переводчика
в первом томе автор удачно продемонстрировал тот факт, что
сравнительно простые модели позволяют хотя бы в первом при-
приближении правильно описать широкий круг практических задач
(такими моделями в первом томе являются, например, разме-
размещения частиц по ячейкам, урновые схемы и случайные блужда-
блуждания). Во многих случаях, где интуиция не подсказывает пра-
правильного порядка соответствующих вероятностей, автор
приводил численные результаты. Подчеркивался ряд свойств
случайности, идущих в разрез с интуитивными представлениями
(закон арксинуса, пропорциональность времени до «-го возвра-
возвращения величине п2 и т. п.). Эти тенденции сохраняются и во
втором томе (см., в частности, неоднократное обсуждение пара-
парадокса инспекции и сходных тем).
После того, как разобран дискретный случай, элементарная
теория непрерывных распределений требует лишь нескольких
слов дополнительного объяснения. Поэтому до всякой общей
теории, в первых трех главах, автор излагает задачи, связан-
связанные с тремя важнейшими распределениями — равномерным,
показательным и нормальным. При этом автор затрагивает и
ряд глубоких вопросов (случайные разбиения и теоремы о по-
покрытиях, отклонение эмпирического распределения от теорети-
теоретического, характеризация нормального распределения независи-
независимостью статистик, структура некоторых стационарных нормаль-
нормальных последовательностей и т. п.).
Необходимые сведения из теории меры сообщаются в четвер-
четвертой главе. Автор подчеркивает вспомогательный характер этих
сведений (что отличает книгу Феллера от ряда других совре-
современных руководств, где до трети объема уходит на теорию меры
и интеграла).
Важную роль играет гл. VI, являющаяся, как замечает автор,
собранием введений во все последующие главы.
В настоящем томе, по-видимому, впервые излагается так об-
обстоятельно теория преобразований Лапласа в применении к ве-
вероятностным проблемам (гл. VII, XIII, XIV). Много места от-
отведено вопросам теории восстановления и случайным блужда-
блужданиям (гл. VI, XI, XII, XIV и XVIII). Предельные теоремы для
сумм независимых величин излагаются дважды: сначала как
иллюстрация операторных методов (гл. IX), а затем в общей
форме, в гл. XVII.
Можно надеяться, что выход в свет второго тома книги Фел-
Феллера окажет заметное воздействие на многие стороны развития
теории вероятностей, в частности сильно повлияет на характер
преподавания теории вероятностей, позволив, наконец, привести
его в соответствие с современными требованиями.

Предисловие переводчика
Профессор Феллер, узнав о подготовке перевода второго
тома, любезно прислал список ряда необходимых исправлений,
которые были внесены в текст. Я весьма благодарен ему за эту
любезность. В работе над переводом существенную помощь мне
оказали А. В. Прохоров и В. В. Сазонов. Они внимательно про-
прочли рукопись перевода и сделали ряд ценных замечаний, кото-
которыми я воспользовался. Они также указали ряд неточностей в
оригинале. Пользуюсь случаем выразить им свою глубокую бла-
благодарность.
9 мая 1967 г. Ю. Прохоров

ПРЕДИСЛОВИЕ
В то время когда писался первый том этой книги (между
1941 и 1948 гг.), интерес к теории вероятностей еще не был
столь широким. Преподавание велось очень ограниченно, и та-
такие вопросы, как цепи Маркова, которые теперь интенсивно
используются в самых различных дисциплинах, рассматривались
лишь как весьма специальные главы чистой математики. По-
Поэтому первый том можно уподобить годному на все случаи жиз-[
ни путеводителю для человека, отправляющегося в чужую!
страну. Чтобы отразить сущность теории вероятностей, в пер-!
вом томе нужно было подчеркнуть как математическое содер-
содержание этой науки, так и удивительное разнообразие потенциаль-
потенциальных применений. Некоторые предсказывали, что неизбежно
возникающие из этой задачи колебания степени трудности из-
изложения ограничат полезность книги. На самом деле первым
томом книги широко пользуются и сейчас, когда новизна этой
книги пропала, а ее материал (включая способ изложения)
можно почерпнуть из более новых книг, написанных для спе-
специальных целей. Книга, как нам кажется, все еще завоевывает
новых друзей. Тот факт, что неспециалисты не застряли в ме- j
стах, оказавшихся трудными для студентов-математиков, пока-1
зывает невозможность объективного измерения уровня трудно-1
сти; этот уровень зависит от типа информации, которую ищет
читатель, и от тех деталей, которые он готов пропустить. Так
путешественник часто стоит перед выбором: взбираться ли ему
на гору самому или использовать подъемник.
Ввиду сказанного второй том написан в том же самом стиле,
что и первый. Он включает более трудные разделы математики,
но значительная часть текста может восприниматься с различ-
различной степенью трудности. Поясним это на примере способа из-
изложения теории меры. Гл. IV содержит неформальное введение
в основные идеи теории меры, а также дает основные понятия
теории вероятностей. В этой же главе перечисляются некоторые
факты теории меры, применяемые в последующих главах для
того, чтобы сформулировать аналитические теоремы в их про-
простейшей форме и избежать праздной дискуссии об условиях ре-

10 Предисловие
гулярности. Основное назначение теории меры в этой связи со-
состоит в том, чтобы оправдать формальные операции и переходы
к пределу, чего никогда не потребовал бы нематематик. По-
Поэтому читатели, заинтересованные в первую очередь в практи-
практических результатах, никогда не почувствуют какой-либо необхо-
необходимости в теории меры.
Чтобы облегчить доступ к отдельным темам, изложение во
всех главах сделано столь замкнутым, сколь это было возможно.
Иногда частные случаи разбираются отдельно от общей теории.
Некоторые темы (такие, как устойчивые законы или теория вос-
восстановления) обсуждаются в нескольких местах с различных
позиций. Во избежание повторений определения и иллюстратив-
иллюстративные примеры собраны в гл. VI, которую можно описать как
собрание введений к последующим главам. Остов книги обра-
образуют гл. V, VIII и XV. Читатель сам решит, сколько подготови-
подготовительных глав нужно ему прочитать и какие экскурсы произвести.
Специалисты найдут в этом томе новые результаты и доказа-
доказательства, но более важной представляется попытка сделать еди-
единой общую методологию. В самом деле, некоторые части теории
вероятностей страдают от того, что они недостаточно внутренне
согласованы, а также от того, что группировка материала и спо-
способ изложения в большой степени определяются случайностями
исторического развития. В образующейся путанице тесно свя-
связанные между собой проблемы выступают разобщенными, а про-
простые вещи затемняются усложненными методами. Значительные
упрощения были достигнуты за счет систематического примене-
применения и развития наилучших доступных сейчас методов. Это от-
относится, в частности, к такой беспорядочной области, как пре-
предельные теоремы (гл. XVI—XVII). В других местах упрощения
были достигнуты за счет трактовки задач в их естественном
контексте. Например, элементарное исследование специаль-
специального случайного блуждания привело к обобщению асимптоти-
асимптотической оценки, которая ранее была выведена тяжелыми, трудо-
трудоемкими методами в математической теории страхования (и
независимо, при более ограничительных условиях, — в теории
очередей).
Я пытался достичь математической строгости, не впадая в
педантизм. Например, утверждение, что 1/A+|2) является ха-
характеристической функцией для -g-g-l*!, представляется мне
желательным и законным сокращением для логически коррект-
корректного варианта: функция, которая в точке \ принимает значение
1/A +%2), является характеристической функцией для функции,
которая в точке х принимает значение jri^l

Предисловие 11
Боюсь, что краткие исторические замечания и ссылки не от-
отдают должного многим авторам, внесшим свой вклад в теорию
вероятностей. Однако всюду, где было возможно, я старался
сделать это. Первоначальные работы во многих случаях пере-
перекрыты более новыми исследованиями, и, как правило, полные
ссылки даются только на статьи, к которым читатель может об-
обратиться для получения дальнейшей информации. Например,
нет ссылок на мои собственные работы по предельным теоре-
теоремам, в то же время какая-либо статья, описывающая результа-
результаты наблюдений или идеи, лежащие в основе примера, цитирует-
цитируется, даже если она совсем не содержит математики1). В этих об-
обстоятельствах авторский указатель не дает никаких сведений
о важности тех или иных исследований для теории вероятно-
вероятностей. Другая трудность состояла в справедливой оценке работ,
которым мы обязаны новыми направлениями исследований, но-
новыми подходами, новыми методами. Некоторые теоремы, рас-
рассматривавшиеся в свое время как поразительно оригинальные и
глубокие, теперь получили простые доказательства и выступают
в окружении более тонких результатов. Трудно воспринимать
такие теоремы в их исторической перспективе и нелегко понять,
что1 здесь, как и в других случаях, первьш_ шаг значит очень
многое.
Я благодарен Исследовательскому бюро армии США за
поддержку моей работы по теории вероятностей в Принстонском
университете, где мне помогали Дж. Голдман, Л. Пит, М. Сил-
верстейн. Они устранили значительное число неточностей и не-
неясных мест. Все главы переписывались много раз, и первона- ,
чальные варианты предшествующих глав распространялись I
среди моих друзей. Таким образом, благодаря замечаниям Дж. '
Эллиота, Р. С. Пинхема и Л. Дж. Сэвиджа возник ряд улучше-
улучшений. Я особенно благодарен Дж. Л. Дубу и Дж. Волфовицу за
советы и критику. График случайного блуждания Коши подго-
подготовлен Г. Тротером. За печатанием наблюдала г-жа X. Мак-
Дугл, и внешний вид книги многим обязан ей.
Вильям Феллер
Октябрь, 1965
') Эта система была принята и в первом томе, однако она была непра-
неправильно понята некоторыми последующими авторами; они теперь приписывают
методы, использованные в книге, работавшим до этого ученым, которые не
могли знать их.

ОБОЗНАЧЕН ИЯ
Интервалы обозначаются чертой сверху:
'!
п ¦ I!
а, о — открытый, а, о — замкнутый интервал; полу-
полуоткрытые интервалы обозначаются a, b и а, Ь. Эти
обозначения применяются также и в многомер-
многомерном случае Соответствующие соглашения о вектор-
векторных обозначениях и упорядочении см. в гл. V, 1
(а также в гл. IV, 2). Символ (а, 6) резервирован
для пар и для точек.
Ж1, М2, Мг обозначают прямую, плоскость и л-мерное про-
пространство.
1 означает ссылку на первый том; римские цифры
указывают номер главы. Так, Г; гл. XI, C.6) указы-
указывает на отношение к параграфу 3 главы XI первого
тома.
р- указывает конец доказательства или серии приме-
примеров.
п и W обозначают соответственно нррм_альную__плотность,
и нормальное распределение с нулевым математи-
математическим ожиданием и единичной дисперсией.
О, о й ~ Пусть и и v зависят от параметра X, который стре-
стремится, скажем, к а. Предполагая, что v положи-
положительно, мы пишем
u — O(v) | f ограничено
u = o(v) I если ~ I -¦ О
f(x)U[dx) об этом сокращении см. гл. V. 3.
Относительно борелевских множеств и бэровских функций см.1
введение к главе V.

ГЛАВА I
ПОКАЗАТЕЛЬНЫЕ И РАВНОМЕРНЫЕ
ПЛОТНОСТИ
§ 1. Введение
В первом томе мы неоднократно имели дело с вероятностями,
определяемыми суммами многих малых слагаемых, и мы поль-
пользовались приближениями вида
j A.1)
Основным примером служит нормальное приближение к бино-
биномиальному распределению1). Приближение этого типа обыкно-
обыкновенно устанавливается в форме предельной теоремы, включаю-
включающей ряд все более и более «тонких» дискретных вероятностных
моделей. Во многих случаях этот переход к пределу приводит,
вообще говоря, к новому выборочному пространству, и послед-
последнее может быть интуитивно проще, чем первоначальная дискрет-
дискретная модель.
Примеры, а) Показательные времена ожидания. Для того
чтобы "описать времена ожидания дискретной моделью, мы дол-
должны сделать время дискретным и условиться, что изменения
могут осуществляться только в моменты времени б, 26,.. . Про-
Простейшее время ожидания Т есть время ожидания первого успе-
успеха в последовательности испытаний Бернулли с вероятностью
успеха р6. Тогда Р{Т>/гб}=A —р&)п и среднее время ожидания
равно Е(Т)=6/р6. Эту модель можно усовершенствовать, если
предположить б убывающим так, что математическое ожидание
б/рб = а остается фиксированным. При малом б и фиксирован-
фиксированном t мы имеем
DУ'б/«, A.2)
') Другие примеры: распределение арксинуса, гл. III. 5; распределение
числа возвращений в начальное состояние и времен первого прохождения,
гл. III, 6 и гл. III, 8; предельные георемы для случайных блужданий, гл. XIV;
равномерное распределение, задача 20 в гл. XI, 7.

14 Гл. I. Показательные и равномерные плотности
что доказывается переходом к логарифмам. Эта модель описы-
описывает время ожидания как геометрически распределенную дис-
дискретную случайную величину, а A.2) утверждает, что «в пре-
пределе» получается показательное распределение. Интуитивно
представляется более естественным начать с выборочного про-
пространства, точками которого служат вещественные числа, и
ввести показательное распределение непосредственно.
б) Случайный выбор. «Выбор точки наудачу» в интервале1)
О, 1 является воображаемым экспериментом с очевидным интуи-
интуитивным смыслом. Этот эксперимент может быть описан дискрет-
дискретными приближениями, но проще взять в качестве выборочного
пространства весь интервал и приписать каждому подинтервалу
в качестве вероятности его длину. Воображаемый эксперимент,
заключающийся в том, что производятся два независимых вы-
выбора точек в 0, 1, дает пару вещественных чисел, и поэтому есте-
естественным выборочным пространством служит единичный ква-
квадрат. В этом выборочном пространстве «вероятность» почти
инстинктивно приравнивается «площади». Этого вполне доста-
достаточно для некоторых элементарных целей, но рано или поздно
возникает вопрос о том, что же в действительности означает
слово «площадь». ^
Как показывают эти примеры, непрерывное выборочное про-
пространство может быть проще для восприятия, чем дискретная
модель, но определение вероятностей в нем зависит от такого
аппарата, как интегрирование и теория меры. В счетных выбо-
выборочных пространствах можно было приписать вероятности всем
вообще событиям, в то время как в пространствах произвольной
природы эта простая процедура ведет к логическим противоре-
противоречиям, и наша интуиция должна приспосабливаться к крайно-
крайностям формальной логики. Мы вскоре увидим, что наивный под-
ход может привести к затруднениям даже в сравнительно про-
простых задачах. Ради справедливости стоит сказать, что в то же
время многие значительные вероятностные задачи не требуют
четкого определения понятия вероятности. Иногда они имеют ана-
аналитический характер, а вероятностное содержание служит лишь
опорой для нашей интуиции. В таких ситуациях использование
вероятностных терминов безвредно так же, как обращение к
массам и центрам тяжести в абстрактных пространствах. Еще
более существен тот факт, что при изучении сложных стохасти-
') Для обозначения интервалов игпользуется черта. Символ (а, в) сохра-
сохраняется для координатной записи точек на плоскости, см. обозначения в на-
начале книги.

§ I. Введение • 15
ческих процессов (и соответственно усложненных выборочных
пространств) могут возникнуть важные и понятные задачи, не
связанные с теми тонкими средствами, которые используются
при анализе процесса в целом. Типичное рассуждение может
иметь следующий вид: если процесс вообще допускает матема-
математическое описание, то случайная величина Z должна иметь та-
такие-то и такие-то свойства, а ее распределение должно в силу
этого удовлетворять такому-то уравнению. Хотя вероятностные
соображения могут сильно влиять на ход исследования этого
уравнения, последнее в принципе не зависит от аксиом теории
вероятностей. Специалисты различных прикладных областей на-
настолько привыкли иметь дело с подобными проблемами, что
они отрицают необходимость теории меры: они не знакомы с
задачами другого типа и с ситуациями, где нечеткие рассужде-
рассуждения приводили к неверным результатам1).
Эти замечания постепенно разъяснятся на протяжении этой
главы, которая предназначена служить неформальным введе-
введением в теорию. В ней описываются некоторые аналитические
свойства двух важных распределений, которые будут постоянно
использоваться в этой книге. Специальные темы затрагиваются
отчасти по причине важных применений, отчасти для демон-
демонстрации новых задач, требующих привлечения новых методов.
Нет необходимости изучать их систематически или в том поряд-
порядке, как они представлены. Всюду в этой главе вероятности по-
понимаются как элементарные интегралы со всеми вытекающими
отсюда ограничениями. Использование вероятностного «жарго-
«жаргона» и таких терминов, как случайные величины и математиче-
математические ожидания, может быть оправдано с двух точек зрения.
Его можно рассматривать как техническое вспомогательное
средство для нашей интуиции, имеющее в основе формальную
аналогию с изложенным в первом томе. С другой стороны, все
сказанное в этой главе может быть формально безупречно обо-
обосновано предельным переходом от дискретной модели, описан-
описанной в примере B, а). Последняя процедура, хотя и не является
ни необходимой, ни желательной, может быть хорошим упраж-
упражнением для начинающих.
') Роли строгости и интуиции часто понимаются неправильно. Как уже
отмечалось в первом томе, природная интуиция и естественный способ мыш-
мышления дают мало, но они становятся сильнее по мере развития мате-
математической теории. Сегодняшняя интуиция и применения теории опираются
на сложные теории вчерашнего дня. Сверх того, строгая теория не роскошь,
а способ экономии мышления, В самом деле, наблюдения показывают, что
в применениях многие авторы полагаются на длинные вычисления, а не на
простые рассуждения, которые им кажутся рискованными [ближайшая иллю-
иллюстрация — пример E, а)].

16 Гл. I. Показательные и равномерные плотности
§ 2. Плотности. Свертки
Плотностью вероятностей на прямой (или в М1) называется
функция /, такая, что
+ оо
f(x)>0, J f(x)dx=h B.1)
— со
Для начала мы рассмотрим только кусочно-непрерывные плот-
плотности (общий случай см. в гл. V, 3). Каждой плотности f мы
поставим в соответствие функцию распределения1) F, опреде-
определенную равенством
X
= jf(y)dy. B.2)
— оо
Это есть монотонная непрерывная функция, возрастающая от
О до 1. Мы скажем, что f и F сосредоточены на интервале
а^Сх^СЬ, если / равна нулю вне этого интервала. Плотность /
будет рассматриваться как функция, задающая вероятности на
интервалах прямой; интервалу2) a, b = {a<,x<b} соответствует
вероятность
*
F{b)-F{a)=\f(x)dx. B.3)
Иногда эта вероятность будет обозначаться Р{а, Ь}. При таком
распределении отдельной точке соответствует вероятность 0, а
i—I
замкнутому интервалу a, b — та же вероятность, что и а, Ь.
В простейшей ситуации вещественная прямая служит «выбо-
«выборочным пространством», т. е. результат воображаемого экспе-
эксперимента представляется числом. (Точно так же, как и в первом
томе, это лишь первый шаг в построении выборочных про-
пространств, представляющих последовательности экспериментов.)
Случайные величины являются функциями, определенными на
выборочном пространстве. Для простоты мы договоримся на не-
некоторое время считать функцию U случайной величиной, если
') Мы напоминаем, что под «функцией распределения» понимается не-
непрерывная справа неотрицательная функция с пределами 0 и 1 на ±оо.
В первом томе мы преимущественно имели дело со ступенчатыми функциями.
Теперь мы сосредоточим наше внимание на функциях распределения, зада-
задаваемых интегралами. Более подробно мы будем изучать функции распределе-
распределения в гл V.
2) Обозначения см. в списке обозначений в начале книги.

§ 2. Плотности. Свертки 17
для каждого t событие {U^} содержит лишь конечное множе-
множество интервалов. Тогда функция
G(*) = P{U<*} ' B-4)
может быть определена как интеграл от / по объединению этих
интервалов. Функция G, заданная равенством B.4), называется
функцией распределения величины U. Если G является интегра-
лом от некоторой функции g, то g называется плотностью рас-
распределения G, или (что равнозначно) плотностью величины U.
Основная случайная величина — это, конечно, координатная
величина1) X сама по себе, и все другие случайные величины
являются функциями X. Функция распределения X тождествен-
тождественна функции F, посредством которой задаются вероятности. Не-
Необходимо сказать, что любая случайная величина Y=g(X) мо-
может рассматриваться как координатная величина на новой
прямой.
Как сказано выше, употребление этих терминов может быть
оправдано аналогией с рассмотренным в первом томе. Следую-
Следующий пример показывает, что наша модель может быть получена
из дискретных моделей предельным переходом.
Примеры, а) Группировка данных. Пусть F — заданная
функция распределения. Выберем фиксированное 6>0 и рассмо-
рассмотрим дискретную случайную величину Х6, которая в интервале
(п — 1)б<Х<пб принимает постоянное значение пЬ. Здесь
я = 0, ±1, ±2, ... . В первом томе мы использовали совокуп-
совокупность чисел, кратных б, как выборочное пространство, и описы-
описывали распределение вероятностей Хв равенством
— F((n — 1N). B.5)
Теперь Х6 — случайная величина в расширенном выборочном
пространстве, и ее функция распределения — это функция, кото-
которая в интервале (п—1N<х^.п6 равна F(nb). В непрерывной
модели Х6 служит приближением к X, получаемым отождествле-
отождествлением наших интервалов с их концами (процедура, известная
статистикам как группировка данных). В духе первого тома мы
«будем рассматривать Хл как основную случайную величину, и
6 — как свободный параметр. Полагая б-*0, мы получим пре-
предельные теоремы, устанавливающие, например, что F служит
предельным распределением для Х6.
') Всюду, где это возможно, мы будем обозначать случайные величины
(т. е. функции на выборочном пространстве) заглавными полужирными бук-
буквами, оставляя малые буквы для обозначения чисел или масштабных пара-
параметров. Это справедливо, в частности, для координатной величины X, а
именно функции, определенной равенством Х(х)=*х.

18 Гл. I. Показательные и равномерные плотности
б) При х>0 событие {Х2<1л;} равносильно событию {—)Ах:<;
<Х<У"Зс}; случайная величина X2 имеет распределение, сосре-
сосредоточенное на 0, оо с функцией распределения F(Yx) —
— F(—Ух). После дифференцирования видно, чю_плотность g
величины X2 равна g(x) = i/2[f (]Лг) + f(—Y x)MY x при х>0 и
g(x)=0 при л:<0. Аналогично функция распределения X3 равна
х) и имеет плотность 7з/ (Yx)/Yx2. &¦
Математическое ожидание X определяется формулой
+ оо
= J xf(x)dx B.6)
при условии, что интеграл сходится абсолютно. Математические
ожидания аппроксимирующих дискретных величин Х6 из при-
примера (а) совпадают с римановыми суммами этого интеграла, и
поэтому Е(Х6) —>¦ Е(Х). Если и есть ограниченная непрерывная
функция, то те же самые рассуждения применимы к случайной
величине и(Х), и соотношение Е(«(Х6)) —¦ Е(и(Х)) влечет
+ оо
Е(а(Х))= J u(x)f(x)dx. B.7)
— оо
Здесь следует отметить, что математическое ожидание может
быть вычислено без явного использования распределения и(Х)
(см. 1, гл. IX, 2). Те же доводы применимы к неограниченным
величинам, как, например, X2.
Второй момент X определяется равенством
+ оо
Е(Х2)= J x2f{x)dx B.8)
— со
при условии, что интеграл сходится. Обозначим ц.= Е(Х). Тогда
дисперсия X определяется как
Var(X) = E((X —(iJ) = E(X2) —(i2. B.9)
Замечание. Если величина X положительна (т. е. если плот-
плотность / сосредоточена на 0, оо), и если интеграл в выраже-
выражении B.6) расходится, то безвредно и даже удобно говорить, что
X имеет бесконечное математическое ожидание и писать Е(Х) =
= оо. Точно так же говорят, что X имеет бесконечную дисперсию,
когда интеграл в B.8) расходится. Для величин, принимающих
положительные и отрицательные значения, математическое ожи-

§ 2. Плотности. Свертки 19
дание остается неопределенным, когда интеграл B.6) расходится.
Типичный пример доставляет плотность л~'A+х2)~'.
Понятие плотности переносится на размерности более высо-
ких порядков, но обшее обсуждение мы отложим до гл. III.
Пока же мы будем рассматривать только аналог произведения
вероятностей, введенного определением 2 в 1, гл. V, 4 для опи-
описания комбинаций независимых экспериментов. Другими слова-
словами, в этой главе мы будем иметь дело только с плотностями,
представляемыми произведениями вида f(x)g(y), f{x)g(y)h(z)
и т. д., где f, g,... — плотности на прямой. Задание плотности
вида f(x)g(y) на плоскости <$t2 означает отождествление «ве-
«вероятностей» с интегралами
Р{Л} = | \l(x)g(y)dxdy. B.10)
А
Когда мы говорим «две независимые случайные величины X и
Y с плотностями f и g», то это есть сокращение высказывания
о том, что вероятности на (X, Y)-плоскости определяются в
соответствии с формулой B.10). Отсюда следует правило умно-
умножения для интервалов, например Р{Х>а, Y>6} = P{X>a}P{Y>6}.
Аналогия с дискретным случаем настолько очевидна, что даль-
дальнейшие разъяснения не требуются.
Можно ввести много новых случайных величин, рассматри-
рассматривая функции X и Y, но наиболее важную роль играет сумма
S = X + Y. Событие /l={S4^s} изображается полуплоскостью то-
точек (х, у), таких, что x+y^Cs. Обозначим функцию распределе-
распределения Y через G, так что g(y) = G'(y). Чтобы найти функцию рас-
распределения X + Y, мы интегрируем в B.10) по области y-*Cs — х.
В результате получаем
P(X-f-Y<i-}= J G(s — x)f(x)dx. B.11)
—оо
Ввиду симметрии F и G можно поменять ролями без влияния
на результат. После дифференцирования видно, что плотность
X + Y равна любому из двух интегралов
+ 0О +ОО
J f(s-y)g(y)dy= J f(y)g(s-y)dy. B.12)
—оо —оо
Операция, определенная формулой B.12), является част-
частным случаем свертки, которая будет введена в гл. V,4. До этого
времени мы будем использовать термин «свертка» только для
плотностей: свертка двух плотностей fug есть функция, опре-
определенная в B.12). Свертка будет обозначаться f * g.

20 Гл. I. Показательные и равномерные плотности
Повсюду в первом томе мы имели дело со свертками дис-
дискретных распределений. Соответствующие правила справедли-
справедливы и здесь. В соответствии с B.12) мы имеем / * g=g * /. Зада-
Задавая третью плотность h, мы можем составить свертку (/ * g) * h.
Это есть плотность суммы X + Y + Z трех независимых величин
с плотностями [,g,h. Тот факт, что суммирование коммутативно
и ассоциативно, влечет те же свойства для сверток, и поэтому
результат / *g * h не зависит от порядка операций.
Положительные случайные величины играют важнейшую
роль, и потому полезно отметить, что если плотности fag со-
сосредоточены на 0, оо, то свертка f * g равна
=\ f(s-y)g(y)dy= $ f(x)g(s-x)dx. B.13)
Замечание о понятии случайной величины. Использование
прямой линии или евклидовых пространств с$п как выборочных
пространств иногда затемняет различие между случайными ве-
величинами и «обычными» функциями одной или большего числа
переменных. В первом томе случайная величина X могла при-
принимать лишь счетное множество значений, и в этом случае было
ясно, говорили ли мы о функции (например, квадрате или экс-
экспоненте), определенной на прямой, или о случайной величине
X2 или ех, определенной на выборочном пространстве. Даже
по внешнему виду эти функции совершенно различны, поскольку
«обычная» показательная функция принимает все положитель-
положительные значения, тогда как е*, имеет счетную область значений.
Для того чтобы увидеть изменение в этой ситуации, рассмотрим
теперь «две независимые случайные величины X и Y с одинако-
одинаковой плотностью/». Другими словами, выборочным пространством
служит плоскость и вероятности определяются как интегралы
от f(x)f(y). Теперь любая функция двух переменных может быть
определена на выборочном пространстве, и тогда она становится
случайной величиной, однако следует иметь в виду, что функция
двух переменных может быть также определена независимо от
нашего выборочного пространства. Например, некоторые ста-
статистические задачи требуют введения случайной величины
f(X)/(Y) [см. пример A1, г) гл. VI]. С другой стороны, вводя
наше выборочное пространство а%2, мы очевидным образом упо-
упоминали «обычную» функцию f, определенную независимо от вы-
выборочного пространства. Эта «обычная» функция задает множе-
множество случайных величин, например /(X), /(Y), /(X±Y) и т. д.
Таким образом, одна и та же функция / может служить или
случайной величиной, или «обычной» функцией.

§ 3 Показательная плотность 21
Как правило (и в каждом отдельном случае), будет ясно,
имеем ли мы дело со случайной величиной или нет. Тем не менее
в общей теории возникают ситуации, при которых функции (та-
кие, как условные вероятности и условные математические ожи-
ожидания) могут рассматриваться как «свободные» функции или
как случайные величины, и это отчасти приводит к путанице,
если свобода выбора не понимается должным образом.
Замечание о терминологии и обозначениях. Чтобы избежать громоздких
формулировок, условимся называть Е(Х) математическим ожиданием вели-
величины X или плотности f или распределения F Подобные вольности будут
введены и для других терминов Например, «свертка» фактически означает
операцию, но этот термин применяют и к результату операции, и функция
f*g называется «сверткой».
В старой литературе термины «распределение» и «функция частот» при-
применялись к тому, что мы теперь называем плотностями, наши функции рас-
распределения описывались как «кумулятивные», а сокращение с. d f.') употре-
употребительно до сих пор.
§ 3. Показательная плотность
Для произвольного, но фиксированного а>0 положим
f(x) = ав'ах, F(x) = l— e~ax при х>0 C 1 )•
и F(x)=f(x) =0 при х<0. Тогда / — показательная плотность,
F — ее функция распределения. Простые вычисления показы-
показывают, что математическое ожидание равно от1, дисперсия — а.
В примере A,а) показательное распределение было выведе-
но как предел геометрических распределений. Метод приме-
ра B, а) приводит к тому же результату. Напомним, что в сто-
хастических процессах геометрическое распределение часто
имеют времена ожидания или продолжительность существова-
существования и что это обусловлено «отсутствием последействия», опи-
описанным в 1, гл. XIII, 9: каков бы ни был настоящий возраст,'
оставшаяся продолжительность существования не зависит от
прошлого и имеет то же самое распределение, что и сама про-
продолжительность существования. Теперь будет показано, что это
свойство переносится на показательное распределение и только
на показательное распределение.
Пусть Т — произвольная положительная величина, котормо
мы будем интерпретировать как время жизни или как время
ожидания. Удобно заменить функцию распределения Т «хвостом
распределения» -
?/(9=P{T>fl. ' C 2)'
') Cumulative distribution function — кумулятивная функция распределе-
распределения. — Прим.

22 Гл. I. Показательные и равномерные плотности
С наглядной точки зрения U(t) есть «вероятность того, что время
жизни (от момента рождения) превзойдет /». При данном воз-
возрасте s событие, состоящее в том, что оставшееся время жизни
превосходит t, записывается как {T>s + t}, и условная вероят-
вероятность этого события (при данном возрасте s) равна отношению
U(s + t)/U(s). Это есть распределение оставшегося времени
жизни. Оно совпадает с распределением общего времени жизни
тогда и только тогда, когда
U(s + t)=U(s)U(t) s,t>0. C.3)
В 1, гл. XVII, 6 было показано, что положительное решение
этого уравнения должно иметь вид U{t) =eat, и, следовательно,
отсутствие старения, описанное выше курсивом, имеет место
тогда и только тогда, когда распределение времени жизни пока-
показательно.
Мы будем называть это свойство отсутствия последействия
(lack of memory) марковским свойством показательного рас-
распределения. Аналитически марковское свойство сводится к
утверждению, что только для показательного распределения F
хвосты U=\—F удовлетворяют равенству C.3). Этим объяс-
объясняется постоянное присутствие показательного распределения
в марковских процессах. (Усиленный вариант марковского свой-
свойства будет описан в § 6) Наше описание относится к времен-
временным процессам, но наши рассуждения имеют общий характер и
марковское свойство остается осмысленным, когда время заме-
заменяется каким-нибудь другим параметром.
Примеры, а) Прочность на разрыв. Чтобы получить непре-
непрерывный аналог общеизвестной конечной цепи, прочность кото-
которой равна прочности ее самого слабого звена, обозначим U(t)
вероятность того, что нить длины t (данного материала) может
выдержать некоторый фиксированный груз. Нить длины s + t не
разрывается, если два отрезка по отдельности выдерживают
данный груз. В предположении, что взаимодействие отсутствует,
эти два события должны рассматриваться как независимые и
U должно удовлетворять C.3). Здесь длина нити выполняет
роль временного параметра, а длина, при которой нить порвется,
является показательно распределенной случайной величиной.
б) Задача свободного пробега. Будем представлять себе
звезды как шары фиксированного радиуса р>0. Рассмотрим не-
некоторое множество звезд в пространстве и выберем за начало
отсчета точку, не содержащуюся ни в какой звезде. Возьмем
ось х произвольно направленной. Нас интересует длина самого
длинного интервала О, х, не пересекающего никакую звезду.

§ 3. Показательная плотность 23
Она характеризует видимость в х-направлении. То же самое
описание применимо в двумерном случае к видимости в лесу,
когда деревья предполагаются круговыми цилиндрами.
Видимость зависит от строения звездного поля, для которого
мыслимы многие модели. Мы описываем этот ансамбль пуассо-
новскими распределениями, которые служат моделью «чистой
случайности» (perfect randomness) в астрономии, физике и ста-
статистике; более подробно мы поговорим об этом в следующем
параграфе. На данном этапе понятие чистой случайности не опре-
определено, и мы свободны ввести его произвольными постулатами;
при этом возникает сомнение в отношении существования факти-
фактических моделей, подчиняющихся нашим постулатам (другими
словами, являются ли постулаты противоречивыми или нет).
Интуитивно ясно, что первым свойством, характеризующим чи-
чистую случайность, должно быть отсутствие взаимодействия ме-
между различными областями: из того, что происходит внутри
области А, невозможно получить вывод о звездах в области В.
Если ансамбль звезд обладает этим свойством, мы можем по-
повторить аргументы последнего примера: вероятность, что сег-
сегмент длины s + t не пересекает ни одной звезды, должна быть
произведением соответствующих вероятностей для двух сегмен-
сегментов длины s ц t. При этих условиях видимость в данном напра-
направлении должна быть показательно распределенной случайной
величиной. [См. пример D,6)].
Важное «если», на котором построены наши рассуждения,
отнюдь не травиально, так как оно заставляет нас допустить,
что звезды перекрываются (в противном случае взаимные
расстояния между центрами превышали бы 2р; это представляло
бы собой форму взаимодействия). Это обстоятельство практи-
практически несущественно, если радиус р мал в сравнении со сред-
средним расстоянием между ближайшими друг к другу звездами.
Поэтому астрономы принимают эту модель как разумное при-
приближение.
Следующая теорема будет использоваться неоднократно.
Теорема. Если Xt,..., Хп — взаимно независимые случай-
случайные величины с показательным распределением C.1), го суима
Х4+ ... +Х„ имеет плотность gn и функцию распределения 0п,
задаваемые формулами
$^e-«*, x>0, C.4)

24 Гл I. Показательные и равномерные плотности
Доказательство. При я=1 утверждение сводится к
определению C.1). Плотность gn+i определяется сверткой
t
gn{t-x)ga{x)dx, C.6)
о
и в предположении справедливости C.4) это сводится к
an + l I (at)n
gn+\{t)= tn__ 1ч| e~at xndx = a y ' e~at. C.7)
о
Таким образом, C.4) выполняется по индукции для всех п.
Справедливость равенства C.5) доказывается дифференцировав
нием. ^
Плотности gn входят в семейство гамма-плотностей, которое
будет введено в гл. 11,2. Они представляют собой непрерывный
аналог отрицательного биномиального распределения, опреде-
определенного в I, гл. VI,8 как распределение суммы п случайных
величин с одинаковым геометрическим распределением. (См.
задачу 7.)
§ 4. Парадоксы, связанные с временем ожидания.
Пуассоновский процесс
Обозначим Х4, Хг,... взаимно независимые случайные вели-
величины с одинаковым показательным распределением C.1). Пусть
S =0
Sn = X1+..+Xn,n=l, 2, .... D.1)
Мы вводим семейство новых случайных величин N(^) следую-
следующим образом: N(^) есть число индексов k^-l, таких, что Sk-^.t.
Событие {N(t)=n} происходит, когда Sn-^t, но Sn+i>l Так как
Sn имеет распределение Gn, то вероятность этого событий рав-
равна Gn(t) — Gn+i{t) или
D.2)
Иначе говоря, случайная величина N(i) имеет пуассоновское
распределение с математическим ожиданием at.
Эта аргументация выглядит как новый вывод пуассоновского
распределения, но на самом деле это только перефразировка
первоначального вывода из 1, гл. VI, 6 в терминах случайных
величин. Для наглядного описания рассмотрим случайно насту-
наступающие события (такие, как вспышки космических лучей или
телефонные вызовы), которые мы называем «поступлениями».

§ 4 Пуассоновский процесс 25
Допустим, что последействие отсутствует, т. е. что прошлое не
дает возможности заключений в отношении будущего. Как мы
видели, эта условие требует, чтобы время ожидания Х4 первого
поступления было распределено показательно. Но при каждом
поступлении процесс начинается снова, как вероятностная копия
всего процесса: времена ожидания Хй между последовательны-
последовательными поступлениями должны быть независимыми и должны иметь
одно и то же распределение. Сумма Sn изображает момент я-го
поступления, a N(t)—число поступлений в интервале 0, t. В та-
такой форме доводы отличаются от первоначального вывода пуас-
соновского распределения лишь использованием лучших спе-
специальных терминов.
(По терминологии стохастических процессов последователь-
последовательность {Sn} есть процесс восстановления с показательными време-
временами Xfe между поступлениями; общее понятие процесса вос-
восстановления см. в гл. VI, 6.)
Даже эта простая ситуация приводит к кажущимся противо-
противоречиям, которые иллюстрируют необходимость более сложного
подхода. Мы начнем с несколько наивной формулировки.
Пример. Парадокс времени ожидания Автобусы прибывают
в согласии с пуассоновским процессом, причем среднее время
между последовательными автобусами равно а. Я прихожу
в момент t. Каково математическое ожидание E(W,) времени
W(, в течение которого я жду следующий автобус? (Понятно,
что момент t моего прибытия не зависит от автобусов — скажем
я прихожу ровно в полдень.) Очевидно, имеются два противоре-
противоречивых ответа.
а) Отсутствие последействия, свойственное пуассоновскому
процессу, влечет независимость E(W() от t, т. е.
E(Wt) = E(W0)=o-'.
б) Момент моего прибытия «выбран наудачу» в интервале
между двумя последовательными автобусами и по соображе-
соображениям симметрии:
Оба рассуждения кажутся приемлемыми, и оба использова-
использовались на практике. Что же делать с противоречиями? Легчайший
выход у формалиста, который отказывается рассматривать за-
задачу, если она не сформулирована строго. Но задачи не ре-
решаются их игнорированием.
Теперь мы покажем, что оба рассуждения по существу, если
не формально, корректны. Ошибка лежит в непредвиденном
пункте. Она связана с явлением, известным в общей теории

26 Гл. I. Показательные и равномерные плотности
восстановления, где оно вызвало серьезные затруднения, прежде
чем было правильно понято. ^
Мы рассмотрим последовательность времен между прибы-
прибытиями
Xt = Si, Х2 = S2 — Si,... .
По предположению Xft имеют одинаковое показательное распре-
распределение с математическим ожиданием а. Выбирая «любое» от-
отдельное Xft, мы получаем случайную величину, и интуитивно
-ожидается, что ее математическое ожидание будет равно а
при условии, что выбор сделан без знания о последовательности
Х4, Х2,... . Однако это не верно. В нашем примере мы взяли
тот элемент Xfe, для которого Sfc_i<f4^Sft, где t фиксировано.
Этот выбор сделан без учета действительного процесса, но ока-
оказывается, что так выбранное Xft имеет двойное математическое
¦ожидание 2а. С учетом этого факта противоречие исчезает, так
как в пункте (б) нашего примера постулируется, что среднее
время ожидания равно а.
Это разрешение парадокса вызвало шок у опытных работ-
работников, однако оно становится интуитивно ясным, когда долж-
должным образом подбирается способ рассуждения. Грубо говоря,
длинный интервал имеет больше шансов накрыть точку t, не-
нежели короткий. Это приблизительное утверждение подтверждает
следующее
Предложение. Пусть Хь Х2 взаимно независимы а
одинаково показательно распределены с математическим ожи-
ожиданием а. Пусть t>Q фиксировано, но произвольно. Элемент
Xft, удовлетворяющий условию Sfc_i<^Sfc, имеет плотность
аЧе~лх для 0 <.*<*,
аA+а,)е_«, для x>t D-3)
Здесь главное в том, что плотность D.3) не является общей
плотностью для Xft. Явный вид этой плотности представляет вто-
второстепенный интерес.
Доказательство. Пусть k — такой индекс, что Sft_i h,
и пусть L( равно Sft — Sft_t. Мы должны доказать, что L( имеет
плотность D.3). Допустим сначала, что x<t. Событие{L(jCk} про-
происходит, если и только если Sn—y и t — уКХп+1"*Сх при некото-
некоторой комбинации /I, у. Отсюда следует неравенство t — xKy<t.
Суммируя по всем возможным nay, получаем
| gn(y)-[e-a{l-y)-e-ax]dy. D.4)
n-0 t-x

§ 4. Пуассоновский процесс 27
Но g0 (у) + gi (у) +¦ ¦•• =а тождественно, и поэтому
Р {L, < л) = 1 — е~ах — ахе-"*. D.5>
Дифференцируя, мы получим D.3) для x<t. Для х>/ приме-
примей й
нимо это же доказательство с той разницей, что у меняется от
О до х, и мы должны прибавить к правой части равенства D.4)
вероятность e~at — е~ах того, что 0</<Si<x. Этим доказатель-
доказательство завершается. ^
Скачок функции D.3) при x = t обусловлен специальной
ролью начала как исходной точки процесса. Очевидно,
lim vt (х) = сРхе-**, D.6)
/->со
откуда видно, что со временем роль начала исчезает и для
«старого» процесса распределение L( почти не зависит от t.
Удобнее выразить это, сказав, что правая часть D.6) задает
«стационарную» плотность L(.
В обозначениях, принятых в доказательстве, время ожидания*
W(, рассмотренное в примере, есть случайная величина Wt =
— Sh — t. Из доказательства теоремы следует также, что
0
n (У) \е~а {'-у) - e~a {x H~y)\ dy=\- e-**. D.7)
Таким образом, W* имеет то же самое показательное распреде-
распределение, что и Хй, в согласии с доводами пункта (а). (См. за-
задачу 8.)
Наконец несколько слов о пуассоновском процессе. Пуассонов-
ские величины N(/) были введены как функции, определенные
на выборочном пространстве бесконечной последователь-
последовательности случайных величин Хь Х2,... . Эта процедура удовлетво-
удовлетворительна для многих целей, но более естественно другое выбо-
выборочное пространство. Мысленный эксперимент «регистрации
числа поступивших вызовов вплоть до момента t» дает при ка-
каждом положительном / целое число, и результатом поэтому яв-
является ступенчатая функция с единичными скачками. Эти сту-
ступенчатые функции служат точками выборочного пространства»
выборочное пространство является функциональным простран-
пространством — пространством всех возможных «траекторий». В этом
пространстве N(^) определяется как значение ординаты в мо--
мент t, a Sn — как координата п-го скачка и т. д. Теперь могут
быть рассмотрены события, которые не выразимы в терминах
первоначальных случайных величин. Типичный пример, имею*

28 Гл I. Показательные и равномерные плотности
щий практический интерес (см. задачу о разорении в гл. VI, 5),
доставляет событие, заключающееся в том, что N(t)>a + bt при
некотором t. Отдельная траектория (точно так же, как отдель-
отдельная бесконечная последовательность из ±1 в биномиальных ис-
испытаниях) представляет собой естественный и неизбежный
объект вероятностного исследования. Стоит только привыкнуть
к новой терминологии, как пространство всех траекторий ста-
становится наиболее наглядным выборочным пространством.
К сожалению, введение вероятностей в пространстве выбо-
рочных траекторий — дело далеко не простое. Для сравнения
заметим, что переход от дискретных выборочных пространств к
прямой, плоскости и т. д. и даже к бесконечным последователь-
ностям случайных величин ни мысленно, ни технически не тру-
труден. В связи с функциональными пространствами возникают
проблемы нового типа и мы предупреждаем читателя, что не бу-
будем иметь с ними дело в этом томе. Мы удовлетворимся част-
частным рассмотрением выборочных пространств последовательно-
последовательностей (счетного множества координатных величин). Упоминание
о стохастических процессах вообще и о пуассоновском процессе
в частности мы будем делать свободно, но только для того,
чтобы подготовить интуитивную основу или привлечь интерес к
нашим проблемам.
Пуассоновские ансамбли точек
Как показано в 1, гл. VI, 6, пуассоновский закон управляет
не только «точками, распределенными случайно по оси време-
времени», но также ансамблями точек (такими, как дефекты в изде-
лия\ или изюминки в булках), распределенных случайно на пло-
плоскости или в пространстве при условии, что t интерпретируется
как площадь или объем. Основное предположение состоит в
том, что вероятность нахождения k точек в заданной области
зависит только от площади или объема области, но не от ее
формы и что явления в неперекрывающихся областях независи-
независимы. П>тем несложных формальных выкладок можно прийти к
интересным результатам, касающимся таких случайных ансамб-
ансамблей точек, но замечания относительно пуассоновского процесса
одинаково применимы и к пуассоновским ансамблям; полное
вероятностное описание сложно и лежит вне рамок настоящего
тома.
Примеры, а) Ближайшие соседи. Времена между поступле-
поступлениями в пуассоновском процессе могут быть описаны как рас*
стояния между ближайшими соседями. Это понятие переносится
па плоскость. Высказывание, что расстояние ближайшего к О
госеда не превосходит г, сводится к высказыванию, что круг

§ 5. Устойчивость неудач 29
радиуса г содержит по крайней мере одну точку ансамбля. Для
луассоновского ансамбля вероятность не обнаружить точку
внутри любой области с площадью v равна е~ах>, и отсюда вид-
видно, что распределение ближайших соседей в пуассоновском
ансамбле задается в S?2 функцией 1 — e~<w2. в ^з мы ПОЛу.
чим 1 —е-$г\ где р = 4/зяа.
б) Свободная видимость. Мы возвращаемся к задаче сво-
болного пробега (или видимости) из примера C,6). В свете
терминологии этого параграфа предполагается, что центры
звезд представляют собой выборку из пуассоновского ансамбля
и что каждая звезда есть шар радиуса р. (Это влечет возмож-
возможность перекрытий.) Предполагается, что начало не содержится
ни в какой звезде. Мы интересуемся расстоянием L до бли-
ближайшего соседа в х-направлении (т. е. наибольшим сегментом
О, я оси х, не пересекающим ни одну звезду).
Мы уже вывели из априорных соображений, что L должно
иметь показательное распределение. Теперь этот результат бу-
будет выведен из предполагаемых свойств нашей звездной систе-
системы. Событие {L>x} означает, что ни один звездный центр не
содержится внутри сферы радиуса р с центром в точке из 0, х,
и известно заранее, что сфера вокруг начала не содержит цен-
центров звезд. Объединение оставшихся сфер есть область Q, огра-
ограниченная круговым цилиндром и двумя полусферами с центра-
центрами в 0 и в х соответственно. Объем области Q, очевидно, равен
яр2*, и, следовательно, P{L>x} — e-ailP"x. Таким образом, мы не
только показали, что распределение показательно, но и нашли
связь между параметром распределения и ансамблем звезд
(в еЯ2 площадь Q, очевидно, равна 2рх, и поэтому P{L>x} =
2арх)
§ 5. Устойчивость неудач
Общеизвестно, что тот, кто встает в очередь, может быть
вынужден ждать неопределенно долгое время. Подобные не-
неудачи преследуют нас во многих положениях. Как может спо-
способствовать объяснению этого теория вероятностей? Для ответа
на этот вопрос мы рассмотрим три примера, типичных для мно-
множества ситуаций. Они иллюстрируют неожиданные общие свой-
свойства случайных флуктуации.
Примеры, а) Рекордные значения. Обозначим Хо мое время
ожидания (или размер финансовых потерь) некоторого случай-
случайного события. Предположим, что мои друзья подвергли себя
того же самого типа опыту. Обозначим результаты Хь Х2

30 Гл. 1. Показательные а равномерные плотности
Чтобы отразить «беспристрастность», предположим, что Хо, Xi ...
взаимно независимые случайные величины с одним и тем же
распределением. Природа последнего в действительности не
имеет значения, но, так как показательное распределение слу-
служит моделью для случайности появления, мы предположим, что
Xj показательно распределены в соответствии с C.1). Для про-
простоты описания мы предполагаем последовательность {Xj} не-
неограниченной.
Чтобы измерить размер моей неудачи, я спрашиваю, как
много времени должно пройти, прежде чем один из моих друзей
испытает большую неудачу (мы пренебрегаем событием Xft = X0,
вероятность которого равна нулю). Более формально, мы вво-
вводим время ожидания N как значение первого индекса п, такого,
что Х„>Х0. Событие {N>n— 1} происходит, если и только если
максимальный член строки Хо, Хь . . ., Xn_i является началь-
начальным; по соображениям симметрии вероятность этого события
равна П'х. Событие {N = n} — это то же, что {N>n — 1} — {N>n},
и, следовательно, при п=\, 2,...
P{N = n)=l-^-T=,-;r^FTr. E.1)
Этот результат полностью подтверждает, что мне действительно
ужасно не везет: случайная величина N имеет бесконечное мате-
математическое ожидание! Было бы достаточно плохо, если бы нуж-
нужно было провести в среднем 1000 испытаний, чтобы побить «ре-
«рекорд» моих неудач, но действительное время ожидания имеет
бесконечное математическое ожидание.
Отметим, что наше рассуждение не зависит от условия, что
Xft показательно распределены. В действительности всякий раз,
когда величины Х( независимы и имеют одну и ту же непрерыв-
непрерывную функцию распределения, то первое «рекордное» значение
имеет распределение E.1). Тот факт, что это распределение не
зависит от F, используется статистиками для проверки незави-
независимости. (См. также задачи 10 и 11.)
Замечательный и общий характер результата E.1) в соче-
сочетании с простотой доказательства способны внушить подозре-
подозрение. На самом деле доказательство безупречно (за исключением
неформальных рассуждений), но те, кто предпочитает полагать-
полагаться на надежные вычисления, могут легко проверить правиль-
правильность E.1), используя непосредственное определение рассматри-
рассматриваемой вероятности, как (п + 1)-кратного интеграла от
an+ie-<xu,+¦••+*„> п0 области, определенной неравенствами 0<х0<
<хп и 0<jCj<Ar0 при ]=\,. .. ,п — 1.
Дадим другой вывод формулы E.1), представляющий собой поучительное
.упражнение с условными вероятностями; он менее прост, но приводит к до-

§ 5. Устойчивость неудач 31
полнительчым результатам (задача 9). При условии что Х0=х, вероятность
большого значения в более поздних испытаниях равна р=е~ах. и мы имеем
дело с временем ожидания первого «успеха» в испытаниях Бернулли с веро-
вероятностью успеха р. Условная вероятность, что N = n при условии Х0 = х, равна
поэтому р(\—р)п~1. Чтобы получить P{N = /?}, мы должны умножить на
плотность ае~а* и проинтегрировать по х. Подстановка 1—e~ax = t сводит
подинтегральную функцию к функции f"~'(l—t), интеграл от которой равен
/г1 — (гс+1), что соответствует E.1).
б) Отношения. Если X и Y —две независимые случайные ве-
величины с одинаковым показательным распределением, то от-
отношение Y/X является новой случайной величиной. Ее функ-
функция распределения получается интегрированием выражения
а2е-<цх+у) по области 0<y<tx, 0<x<oo. Интегрирование по у
приводит к результату
le-°x(\—e-at*)dx = Tfr-T. E.2)
Соответствующая плотность равна (\+()~2. Заслуживает вни7
мания то, что величина Y/X имеет бесконечное математическое
ожидание.
Мы находим здесь новое подтверждение устойчивости неудач.
Конечно, Петр имеет основание для недовольства, если ему при-
пришлось ждать в три раза больше, чем ждал Павел. Однако рас-
распределение E.2) приписывает этому событию вероятность 'Д-
Отсюда следует, что в среднем в одном из двух случаев или
Павел, или Петр имеют основания для недовольства. Наблю-
Наблюденная частота практически возрастает, так как очень короткие
времена ожидания, естественно, проходят незамеченными.
в) Параллельные очереди. Я приезжаю в своем автомобиле
на автомобильную инспекционную станцию (или ко въезду в
туннель, или на автомобильный паром и т. д.). Имеются на вьь
бор две очереди, но раз уж я встал в одну очередь, я должен
стоять в ней. Мистер Смит, который приехал вслед за мной, за-
занимает место, которое я мог бы выбрать, и я теперь слежу за
тем, продвигается ли он быстрее или медленнее меня. Боль-
шее время мы стоим неподвижно, но время от времени то одна,
то другая очередь передвигается на один автомобиль вперед.
Чтобы увеличить влияние чистого случая, мы предположим две
очереди стохастически независимыми; интервалы времени между
последовательными продвижениями также являются независи-
независимыми величинами с одинаковым показательным распределением.
При данных обстоятельствах последовательные продвижения
представляют собой испытания Бернулли, где «успех» — это то.

32 Гл. I. Показательные и равномерные плотности
что продвинулся вперед я, «неудача» — что продвинулся мистер
Смит. Так как вероятности успеха равны '/2, мы в сущности
имеем дело с симметричным случайным блужданием, и любо-
любопытные свойства флуктуации при случайных блужданиях нахо-
находят неожиданную интерпретацию. (Для простоты описания мы
отвлечемся от того, что имеется только ограниченное число авто-
автомобилей.) Смогу ли я когда-нибудь обогнать мистера Смита?
В переводе на язык случайных блужданий этот вопрос звучит
так: будет ли когда-нибудь иметь место первое прохождение
через +1. Как известно, это событие имеет вероятность, рав-
равную единицу. Однако среднее время ожидания для него беско-
бесконечно. Такое ожидание дает достаточные возможности для опла-
оплакивания моих неудач, причем раздражение мое только возрастает
оттого, что мистер Смит приводит те же самые доводы. >
§ 6. Времена ожидания и порядковые статистики
Пусть дана упорядоченная строка (xi, . .. , хп) из п веще-
вещественных чисел. Переставляя их в порядке возрастания вели-
величины, получим новую строку
(*(D, хB), • ¦ •, х(п)), где хA)<ХB)< . . .<х(Г1).
Эта операция, примененная ко всем точкам пространства Мп,
дает нам п вполне определенных функций, которые будут обо-
обозначаться X(i),. . ., Х(„). Если в Мп определены вероятности, то
эти функции становятся случайными величинами. Мы говорим,
что (X(i),..., Х(И)) получается перестановкой в соответствии с
возрастанием величины из Хь ... , Х„. Величина Х№) называется
k-й порядковой статистикой ') данной выборки Хь ..., Хп, в ча-
частности Х(о и Х(п) — это выборочные экстремумы; если n = 2v+l
нечетно, то X(v+i) есть выборочная медиана.
Мы применим эти понятия к частному случаю независимых
случайных величин Хь ..., Хп с одинаковым показательным рас-
распределением с плотностью ае'ах.
Пример, а) Параллельные очереди. Будем интерпретировать
Хь . . ., Хп как длительности п времен обслуживания, начиная с
') Строго говоря, термин «выборочная статистика» является сиьонимом
термина «функция от выборочных величин», т. е. термина «случайная вели-
величина». Он используется для лингвистического выделения различной роли,
играемой в данном контексте первоначальными величинами (выборкой) и не-
некоторыми полученными из них величинами. Например, «выборочное среднее»
(Xi+ ... +\п)/п называется статистикой. Порядковые статистики часто встре-
встречаются в статистической литературе. Мы придерживаемся стандартной тер-
терминологии, за исключением того, что экстремумы обычно называются экстре-
экстремальными «значениями».

§ 6. Времена ожидйния и порядковые статистики 33
момента 0, в почтовом отделении с п окошками. Порядковые ста-
статистики изображают последовательные моменты окончаний, или,
как говорится, моменты последовательных разгрузок («выход-
(«выходной процесс»). В частности, X(d представляет собой время ожи-
ожидания первой разгрузки. Теперь если предположение об отсут-
отсутствии последействия осмысленно, то время ожидания ХA) должно
обладать марковским свойством, т. е. ХD) должно быть распреде-
распределено показательно. Фактически событие {ХA)>/} есть одновре-
одновременная реализация п событий {Xft>?}, каждое из которых имеет
вероятность e~at; ввиду предположенной независимости вероят-
вероятности перемножаются, и мы имеем
Р{ХA) >/}=*-**. F.1)
Сделаем теперь следующий шаг и рассмотрим положение в
момент ХA). Предположенное отсутствие памяти, по-видимому,
подразумевает, что восстанавливается первоначальное положе-
положение с той разницей, что теперь в операциях участвует я — 1
окошко; продолжение процесса не должно зависеть от ХD) и дол-
должно быть копией всего процесса. В частности, время ожидания
следующей разгрузки, а именно ХB)— Х(ц, должно иметь рас-
распределение
Р{ХB)-ХA) >*}=*-<«-"*, F.2)
аналогичное F.1). Это рассуждение приводит к следующей об-
общей теореме, касающейся порядковых статистик для независи-
независимых величин с одинаковым показательным распределением:
Предложение'). Случайные величины Xw, ХB) — Х(и ...
. .. Х(„) — Х(„_!) являются независимыми, и плотность X(fc+i)— Х(й)
равна (п — k) ae-<-n-hiat.
Прежде чем проверить это утверждение формально, рассмо-
рассмотрим его следствия. Если п = 2, то разность ХB> — X(d означает
«остающееся время ожидания» после истечения более короткого
из двух времен. Теорема утверждает, что это остаточное время
ожидания имеет то же самое показательное распределение, что
и первоначальное время ожидания, и не зависит от ХA). Это есть
расширение марковского свойства, сформулированного для фик-
фиксированных моментов t, на зависящее от случая время останов-
остановки X(i). Это свойство называется строго марковским свойством.
(Так как мы имеем дело лишь с конечным множеством вели-
величин, мы в состоянии вывести строго марковское свойство из
') Эту теорему неоднократно открывали в связи с задачами статистиче-
статистического оценивания, но ее характер остается неясным без обращения к марков-
марковскому свойству. См. также задачу 14.

34 Гл. I. Показательные и равномерные плотности
обычного, но в более сложных стохастических процессах разли-
различие существенно.)
Доказательство теоремы служит примером формальных дей-
действий с интегралами. Для упрощения типографского набора
формул положим п = 3. Мы начинаем с замечания1), что
Р {X(i) > f 1, ХB) — Х(,) > t2, Х(з) — ХB) > *3) =
= 3!Р{Х,>*„ X2-Xl>t2, Х3 — Х,Х3). F.3)
Это следует из того факта, что 3! перестановок из Хь Х2, Х3
имеют одно и то же распределение вероятностей. (Аналитически:
пространство <#3 разбивается на шесть частей, конгруэнтных
области, определенной неравенствами Xi<X2<x3. Каждая из них
вносит одну и ту же величину в соответствующий интеграл.
Границы, где две или более координат равны, имеют вероят-
вероятность нуль и не играют роли.) Чтобы получить вероятность
F.3), мы должны проинтегрировать аъе~а(х'+х'+Хг) по области,
определенной неравенствами
X2~Xj>t2, X3 — X2>ts.
Интегрирование по Л'3 приводит к
СО СО
3! e~at* [ cur0*' dxx f ae-2ax*dx2 =
' dxx = е-в^-2а<г-зо/1# F.4)
Таким образом, совместное распределение трех величин ХA),
ХB) — ХA), Х(з) — ХB) есть произведение трех показательных рас-
распределений, и это доказывает наше утверждение.
Отсюда, в частности, следует, что Е(Х(;1+))—Х(/1)) = 1/(л—k)a.
Суммируя по k = 0, l,...,v — 1, мы получаем
^) F-5)
Отметим, что это математическое ожидание было вычислено без
знания распределения X(v). Итак, мы имеем еще один пример
преимущества представления случайной величины как суммы
других величин. (См. 1, гл. IX, 3.)
б) Использование строго марковского свойства. В качестве
образного примера рассмотрим следующую ситуацию: в мо-
') Подобные вероятности большей частью вычисляются по тому же са-
самому принципу.

§ б Времена ожидания и порядковые статистики 35
мент 0 три лица Л, В и С прибывают в почтовое отделение и
находят два окна свободными. Три времени обслуживания пред-
представляют собой независимые случайные величины X, Y, Z с оди-
одинаковым показательным распределением. Обслуживание Лив
начинается сразу же, а обслуживание С начинается в момент
ХA), когда или Л, или В уходит. Мы покажем, что марковское
свойство приводит к простым ответам на различные вопросы.
(i) Какова вероятность, что С не последним уйдет из почто-
почтового отделения? Ответ: '/г, так как момент Х(П первого ухода
устанавливает симметрию между С и др\гим обслуживаемым
лицом.
(И) Каково распределение времени Т, проведенного лицом
С в почтовом отделении' Ясно, что величина T = XA) + Z есть
сумма двух независимых величин, которые распределены пока-
показательно с параметрами 2а и а. Свертка любых двух показа-
показательных распределений легко находится (задача 6), и мы полу-
получаем, что Т имеет плотность u(t) =2a(e~at — e~2at) и что Е(Т) =
__3_
~ 2а '
(ш) Каково распределение момента последнего ухода?
Обозначим моменты последовательных уходов ХA), ХB), ХC). Раз-
Разность ХC) — Х(!) представляет собой максимум двух показатель-
показательных времен обслуживания, и поэтому
Это распределение снова имеет плотность и. Теперь X(i) не за-
зависит от Х(з) — X(i) и имеет плотность 2ае~2а(. Формула свертки,
использовавшаяся в (И), показывает, что ХC) имеет плотность
4a[e~at — e'2at — ale~2al] и что Е(ХC)) =2/а.
Преимущества этого метода становятся очевидными при
сравнении с непосредственным вычислением, но последнее при-
применимо и в сл>чае других распределений времени обслуживания
(задача 18).
в) Распределение порядковых статистик. В качестве заклю-
заключительного упражнения мы выведем распределение Х№). Собы-
Событие {Х(/,)^/} означает, что по крайней мере k из п величин X, не
превосходят t. Это равносильно наступлению по крайней мере
k «успехов» в п независимых испытаниях, и поэтому
Р {Хщ < t] =
у
После дифференцирования видно, что плотность X(ft) равна
ae-at. F.7)

36 Гл. I. Показательные и равномерные плотности
Этот результат может быть получен непосредственно следую-
следующими нестрогими рассуждениями. Мы разыскиваем (вплоть до
членов пренебрежимо малых в пределе при h-*0) вероятность
события, заключающегося в том, что одна из величин Xj ле-
лежит между t и t + h, a k—1 величин из оставшихся п—1 ве-
величин не превосходят t, в то время как другие п — k величин
строго больше t + h. Перемножая число наборов и соответствую-
соответствующие вероятности, приходим к F.7). Начинающим рекомендует-
рекомендуется формализовать это рассуждение, а также вывести формулу
F.7) из дискретной модели. у
§ 7. Равномерное распределение
Случайная величина X распределена равномерно в интер-
интервале а, Ъ, если ее плотность постоянна — равна (Ь — а) при
а<х<6 и равна 0 вне этого интервала. В этом случае величина
(X — а) (Ь — а) распределена равномерно в 0, 1, и мы будем
обычно использовать этот интервал как стандартный. Из-за
внешнего вида их графиков плотности равномерного распреде»
ления называются «прямоугольными».
При равномерном распределении интервал 0, 1 становится
выборочным пространством, в котором вероятности интервалов
тождественны их длинам. Выборочное пространство, соответ-
ствующее двум независимым величинам X и Y, которые равно-
равномерно распределены на 0, 1, представляет собой единичный
квадрат в Мг, а вероятности в нем совпадают с площадью. Те
же идеи применимы к трем и большему числу величин.
Про равномерно распределенную случайную величину часто
говорят: «точка X, выбранная наудачу». Результат мысленного
эксперимента «п независимых случайных выборов точки в 0, 1»
требует для своего вероятностного описания «-мерного гипер-
гиперкуба, но эксперимент сам по себе дает п точек Хь . . ., Х„ в том
же самом интервале. С вероятностью единица никакие две из
этих точек не совпадают, и, следовательно, они разбивают интер-
интервал 0, 1 на п+\ подинтервалов. Переставляя п точек Хь , . ., Х„
в их естественном порядке слева направо, мы получаем п новых
случайных величин, которые обозначим ХA), . . . , Х(п). Это есть
порядковые статистики, определенные в предыдущем параграфе,
Подинтервалы разбиения теперь имеют вид О, ХA>, X(d, ХB) и т. д.
Понятие течки, выбранной наудачу на окружности, говорит
само за себя. Чтобы отчетливо представить себе исход п неза-
независимых выборов точки на окружности, мы вообразим окруж-
окружность, ориентированную против часовой стрелки,так что интер*

§ 7. Равномерное распределение 37
валы имеют левый и правый концы и могут быть изображены
в форме а, Ь. Две точки Х? и Х2, выбранные независимо и на-
наудачу, делят окружность на два интервала Хь Х2 и Х2, Xi. (Мы
снова пренебрегаем событием Xi = X2, имеющим вероятность 0.)
Примеры, а) Опытные интерпретации. Колесо рулетки обыч-
обычно приводится как средство осуществления «случайного выбора»
на окружности. Ошибка округления при вычислениях с шестью
десятичными знаками обычно рассматривается как случайная
величина, распределенная равномерно в интервале длиной 10~6.
(Для ошибок, совершенных при отбрасывании двух последних
десятичных знаков, дискретная модель со 100 возможными зна-
чениями более уместна, хотя менее практична.) Время ожида-
ния пассажира, прибывшего на автобусную станцию, не зная рас-
расписания, может рассматриваться как случайная величина, рав-
номерно распределенная в интервале между последовательными
отъездами автобусов. Большой теоретический интерес предста-
представляют применения к случайным разбиениям, обсуждаемым в
§ 8. Во многих задачах математической статистики (таких, как
непараметрические критерии) равномерное распределение вхо-
входит косвенным образом: при условии, что произвольная случай-
случайная величина X имеет непрерывную функцию распределения F,
случайная величина ^(Х) распределена равномерно на 0, 1
(см. § 12).
б) Индуцированное разбиение. Мы докажем следующее
утверждение: п независимо и случайно выбранных на 0, 1 точек
Хь .. . , Х„ разбивают 0,1 на п+\ интервалов, длины которых
имеют одно и то же распределение
P{L>/) = A — ty, 0</< 1. G.1)
Отметим, что G.1) относится к хвосту распределения.
Интуитивно можно было бы ожидать, что по крайней мере
два конечных интервала должны иметь другое распределение.
То, что все интервалы будут иметь одинаковое распределение,
становится ясным при рассмотрении эквивалентной ситуации на
(ориентированной) окружности единичной длины. Здесь п+Л
точек X], . . . , Хп+и выбранные независимо и наудачу, разбивают
окружность на п+\ интервалов, и по соображениям симметрии
эти интервалы должны иметь одинаковое распределение. Пред-
Представим теперь, что окружность разрезана в точке Хп+1 для того,
чтобы получить интервал, в котором Хь . .. , Хп выбраны неза-
независимо и наудачу. Длины всех л + 1 интервалов индуцирован-
индуцированного разбиения имеют одно и то же распределение. Рассма*
тривая самый левый инкрвал 0, X(i), можно видеть, что это

38 Гл I. Показательные и равномерные плотности
распределение задается формулой G.1). Длина этого интервала
превосходит t, если все п точек Хь ..., Х„ лежат в t, 1. Вероят-
ность этого равна A —t)n.
Хорошим упражнением является проверка утверждения в
частном случае п — 2 путем рассмотрения трех событий в еди-
ничнрм кяадрете, изображающем выборочное пространство.
[Сделаем замечание, необходимое при численной проверке. Ве-
Вероятность события {X(h+i) — X(fe)>^} равна интегралу от постоян-
постоянной 1 по объединению п\ конгруэнтных областей, определенных
или цепью неравенств Х\< ... <Xi,<xh + t<xh+i< ... <х„, или
аналогичными цепями, полученными перестановкой индексов.
Другой способ вычисления, приводящий к более сильному ре-
результату, содержится в примере C, в) гл. III.]
в) Парадокс1). Пусть две точки Xt и Х2 выбраны незави-
независимо и наудачу на окружности единичной длины. Тогда длины
двух интервалов Xi, X2 и Х2, Х; распределены равномерно, а
длина к интервала, содержащего произвольную точку Р, имеет
другое распределение (с плотностью 2х).
В частности, средняя длина каждого из двух интервалов рав-
равна 7г, а средняя длина интервала, содержащего Р, равна 2/з-
Точки Р берется фиксированной, но произвольной. Поэтому
можно ожидать, что интервал, покрывающий Р, выбран (заим-
(заимствуя фразу у философов вероятности) «без предварительного
знания его свойств». Наивная интуиция не подготовлена, ко-
конечно, воспринять большое различение между покрытием и
непокрытием произвольной точки, но после должного размыш-
размышления это различие становится «интуитивно очевидным». На са-
самом деле, однако, даже довольно опытные авторы попадали в
ловушку.
Для доказательства представим себе, что окружность разъ-
разъединена в точке Р. Нам остаются две точки, выбранные неза-
независимо и наудачу в 0, 1. Используя те же обозначения, что и
раньше, мы находим, что событие {k<t} происходит тогда и
только тогда, когда ХB> — X(i)>l—t. По формуле G.1) вероят-
вероятность этого равна tz. Величина к имеет потому плотность 2t,
как утверждалось. (Начинающим рекомендуется провести непо-
непосредственную вычислительную проверку.)
г) Распределение порядковых статистик. Если Xt, .. ., Хп
независимы и распределены равномерно в интервале 0, 1, то
число величин, удовлетворяющих неравенству 0<Xj^<l, имеет
биномиальное распределение с вероятностью «успеха», рав-
равной t. Теперь событие {Х№)<^} происходит, если и только если
J) Тесно связан с парадоксом времени ожидания § 4.

§ 7. Равномерное распределение 39
по крайней мере k из наших величин не превосходят t, и, следо-
следовательно,
Это дает нам функцию распределения k-h порядковой стати-
статистики. После дифференцирования находим, что плотность Х{Л)
равна
Это можно увидеть непосредственно из следующего: вероятность
того, что одна из величин Xj лежит между / и t + h и что
к—1 из оставшихся величин меньше t, в то время как п — k
величин больше t+h, равна
Деля последнее выражение на h и устремляя h к 0, полу-
получим G.3).
д) Предельные теоремы. Чтобы понять характер распреде-
распределения X(i), когда п велико, лучше ввести Е(ХA)) = (п +1)'1 как
новую единицу измерения. Тогда при п-*оо мы получим для
хвоста функции распределения
(L)n^e-<. G.4)
Словами это соотношение обычно описывают так: в пределе
ХA) показательно распределена с математическим ожиданием п~х.
Аналогично
и в правой части мы узнаем хвост гамма-распределения G2 из
формулы C.5). Подобным способом легко проверить, что при
каждом фиксированном k при п —> оо распределение яХ(Л) стре-
стремится к гамма-распределению Gh (см. задачу 31).
Теперь Gft есть распределение суммы k независимых пока-
показательно распределенных величин, тогда как Х№) есть сумма пер-
первых k интервалов, рассмотренных в примере (б). Мы можем по-
поэтому сказать, что длины последовательных интервалов нашего
разбиения ведут себя в пределе так, как если бы они были вза-
взаимно независимыми показательно распределенными величинами.
Ввиду очевидной связи G.2) с биномиальным распределе-
распределением для получения приближений к распределению Х№), когда

40 Гл. I. Показательные и равномерные плотности
и п и k велики, может быть использована центральная предель-*
ная теорема.
е) Отношения. Пусть X выбрано наудачу в 0, 1. Обозначим
через U длину более короткого из интервалов 0, X и X, 1 и через
V=l — U длину более длинного. Случайная величина U равно*
мерно распределена между 0 и У2, так как событие {U<^<y2}
происходит тогда и только тогда, когда или X<t, или 1 — X<t,
и потому имеет вероятность 2t. По соображениям симметрии ве-
величина V распределена равномерно между Уг и 1, и отсюда
E(U)=y4, E(V)=3/4. Что мы можем сказать об отношении
V/U? Оно необходимо превосходит 1 и лежит между 1 и / тогда
и только тогда, когда или
или
При ^>1 отсюда следует, что
и плотность этого распределения равна2(?+1)~2. Мы видим, что
отношение V/U имеет бесконечное математическое ожидание.
Этот пример показывает, сколь малая информация содержится
в наблюдении E(V)/E(U)=3. >
§ 8. Случайные разбиения
Задача этого параграфа завершает предыдущую цепь при-*
меров и выделена из них отчасти ввиду ее важности в физике,
отчасти ввиду того, что она может служить прототипом обыч-
обычных марковских цепей.
Формально мы будем иметь дело с произведениями вида
Zn = XiX2... Х„, где Xi, ..., Х„ — взаимно независимые величи-
величины, равномерно распределенные в интервале 0, 1.
Примеры для применений. В некоторых процессах столкно*
вения физическая частица расщепляется на две и ее масса m
делится между ними. Различным процессам могут соответство-
соответствовать различные законы разбиения, но чаще всего предполагает'
ся, что часть исходной массы, полученная каждой дочерней
частицей, распределена равномерно в 0, 1. Если одна из двух
частиц выбрана наудачу и подвергается новому столкновению,

§ 8. Случайные разбиения 41
то (в предположении отсутствия взаимодействия, т. е. независи-
независимости столкновений) массы двух частиц второго поколения за-
задаются произведениями тХ4Х2 и т. д. (см. задачу 20). С не-
небольшими терминологическими изменениями эта модель приме-
применима также к разбиениям зерен минералов или галек и т. п.
Вместо масс можно также рассматривать потери энергии при
столкновениях, и описание несколько упрощается, если зани-
заниматься изменениями энергии одной и той же частицы при после-
последовательных столкновениях. В качестве последнего примера
рассмотрим изменения в интенсивности света, проходящего че-
рез вещество. Пример A0, а) показывает, что, когда световой
луч проходит через сферу радиуса R «в случайном направле-
направлении», расстояние, пробегаемое лучом в сфере, распределено
равномерно между 0 и 2R. При наличии равномерного поглоще-
поглощения такое прохождение будет уменьшать интенсивность случай-
случайного луча на величину, которая распределена равномерно в ин-
интервале 0, а (где а<1 зависит от степени поглощения). Мас-
Масштабный параметр не влияет серьезно на нашу модель, и видно,
что п независимых прохождений будут уменьшать интенсивность
света на величину вида Zn. >
Для того чтобы найти распределение Z,,, мы можем действо-
действовать двумя способами.
(i) Редукция к показательным распределениям. Так как сум-
суммы обычно предпочтительнее произведений, мы перейдем к ло-
логарифмам, полагая Yft = —log Xft. Величины Yft взаимно незави-
независимы, и при г!>0
{>}{<:e-<} = e-<. (8.1)
Функция распределения Gn суммы Sn = Yt+ ... + Yn n незави-
независимых показательно распределенных величин была получена в
формуле C.5), и тогда функция распределения величины
Zn = е~ " задается выражением 1 — Gn-i (log /~'), где 0 < t < 1.
Плотность этого распределения равна /~'gn-i(log t'{) или
\ 0<*<1. (8.2)
Подстановка t = e~x показывает, что /„ действительно есть плот-
плотность с математическим ожиданием 2~".
Наша задача решается в явном виде. Этот метод показывает
преимущества вывода с помощью соответствующего преобразо-
преобразования, но успех зависит от случайной эквивалентности нашей
задачи и задачи предварительно решенной.
(ii) Рекуррентная процедура имеет преимущество в том, что
она применима к родственным задачам вообще. Пусть Fn(t) =

42 Гл. I. Показательные и равномерные плотности
= P{Zn<i} и 0</<1. По определению Fi(t)=t. Допустим, что
Fn-i известно, и рассмотрим Z,i = Zn_1Xn как произведение двух
независимых величин. При условии Хп=х событие {Zn^i} про-
происходит тогда и только тогда, когда Zn-i-^-t/x и имеет вероят-
ность Fn-i(t/x). Суммируя по всем возможным х, мы получаем
1
(±)x. (8.3)
Эта формхла в принципе позволяет нам вычислить последова-
последовательно Fit F^, . . . . На практике удобнее иметь дело с соответ-
соответствующими плотностями /„. По предположению /i существует.
Предположим по индукции существование fn-i- Вспоминая, что
fn-i (s) = 0 при s > 1, мы получаем после дифференцирования (8.3)
~, 0<t<h (8.4)
и элементарные вычисления показывают, что fn действительно
задается формулой (8.2).
§ 9. Свертки и теоремы о покрытии
Результаты этого параграфа в какой-то мере занятны и сами
по себе и в связи с некоторыми очевидными приложениями.
Кроме того, они несколько неожиданно возникают в совсем,
казалось бы, удаленных темах, таких, как, например, критерии
значимости в гармоническом анализе [пример C, е), гл. III],
пуассоновские процессы [гл. XIV, B, а)] и случайные сдвиги
[пример A0,д)]. Поэтому не удивительно, что все формулы, так
же как и их варианты, выводились несколько раз различными
способами. Способ, используемый в последующем, выделяется
простотой и применимостью к близким проблемам.
Пусть о>0 фиксировано и пусть X], Х2, . . . взаимно незави-
независимые случайные величины, равномерно распределенные на
0, а. Пусть Sn = Xi+ ... +Х„. Наша первая задача заключается
в нахождении распределения Un суммы Sn и ее плотности
По определению ui(x)=cr1 при 0<х<а и ui(x)=0 в других
точках (прямоугольная плотность). Для я>1 плотности ип опре-
определяются формулой свертки B.13), которая в данном случае
имеет вид
а
ип+1(х) = \[ип{х — у)*у = ±\ип(х)-ия{х-а)\. (9.1)
о

§ 9. Свертки и теоремы о покрытии 43
Легко видеть, что
a~2 0<лг<а
2а (9'2)
и, конечно, и2{х) =0 для всех других х. График представляет
собой треугольник, и и2 называется треугольной плотностью.
Аналогично и3 объединяет три квадратных полинома, опреде-
определенные соответственно в интервалах 0, а, а, 2а и 2а, За. Продол-
Продолжая эти рассуждения, можно вскоре обнаружить общее правило
для вычисления и,,. Чтобы выразить его символически, мы вве-
введем следующее
Обозначение. Мы записываем положительную часть х в виде
х+ = ?±^±. (9.3)
Для удобства набора мы будем писать f+(x) [вместо }{х)+] для
положительной части f(x) и, в частности, х\ для обозначения
положительной части хпХ).
Другими словами, /+ есть такая функция, что /+(л:)=0
всюду, где /(х)^0 (обычно это обозначается f+=f ПО). Заметим,
что (л: — а)т есть нуль при х<Са и линейная функция, когда
jc>a. С помощью этого обозначения равномерное распределение
можно записать в форме
?/4(*) = (*+-(*-а)+) а-'. (9.4)
Теорема 1. Пусть Un(x)—P{Sn^.x}. Обозначим через
11 п = U'n плотность этого распределения. Тогда при п= 1, 2, . . . и
для всех х
ill(;)-4' 0-5)
При2) га=1, 2, 3, ...
Заметим, что если точка х расположена между (k—l)a и /га,
то только k членов в формулах отличны от 0. При л:<0 обе
') Несмотря на это замечание, в последующих теоремах надо считать
Jc^_ равным (¦*+)"•
2) Формула (9.6) остается верной для п=\ при условии, что х_^ равно 0,
если л<0, и 1, если х>0. Естественно, что U\ имеет только односторонние
производные в 0 и а.

44 Гл. I. Показательные и равномерные плотности
суммы равны 0. Справедливо также то, что ип(х) равняется 0
при х>па, хотя из формулы (9.6) это не очевидно.
Доказательство. При п=1 справедливость (9.6) оче-
очевидна, а (9.5) сводится к (9.4). Допустим, что формула (9.5)
верна. Формула (9.1) представляет «n+i в виде разности двух
известных сумм. Заменяя индекс суммирования v в первой
сумме на v—1 и используя тождество
мы получаем для ип+1(х) выражение, совпадающее с правой
частью (9.6), где п заменено на п + 1. Интегрирование доказы-
доказывает справедливость (9.5) для п+1, и этим завершается дока-
зательство.
(Другое доказательство, использующее переход к пределу
в дискретной модели, содержится в 1, гл. XI, 7, задача 20.) >
Теорема 1 применима также к величинам, которые равномер-
но распределены в интервале —Ь, Ь, а не в 0, а. В самом деле,
если о = 26, то величины Х& — b принадлежат к такому типу,и,
чтобы получить распределение 2 (Хй — b), мы должны просто за»
менить х на x+nb в (9.5) и (9.6). Таким образом, плотность
суммы п независимых величин, распределенных равномерно в
—Ь, Ь, задается выражением
\ (9.7)
По счастливому совпадению в (9.6) находит свой ответ за*
дача, на вид не связанная с этой. Мы доказываем это вычис-
лениями, но последующее комбинаторное доказательство лучше
объясняет связь между двумя задачами.
Теорема 21). На окружности длины t заданы п!>2 дуг
длины а, центры которых выбраны независимо и наудачу. Ве-
Вероятность фп@ того, что эти п дуг покрывают всю окружность,
равна
Фя (*) = «"(«-!)! МО т^г- (9.8)
') Красивое геометрическое доказательство см. в работе Stevens W. L.,
Solution to a geometrical problem in probability, Ann. Eugenics, 2 A939),
315—320. Стивене также получил вероятность того, что имеется ровно k про-
пробелов длины !>-х. С соглашением, содержащимся в предыдущей сноске, фор-
формула (9.9) также верна для п—\.

§ 9. Свертки и теоремы о покрытии 45
или, что то же самое,
(—l)v(")(l — vj)", (9.9)
v-0 +
Прежде чем доказывать это, придадим теореме форму, в ко-
которой она будет использована позже. Выберем один из п цен-
центров в качестве начала и развернем окружность в интервал
длины t. Оставшиеся п — 1 центров случайно распределятся в
интервале 0, t, и теорема 2 выражает то же самое, что и
Теорема 3. Пусть интервал 0, t разбит на п подынтервалов
посредством независимого и случайного выбора п — 1 точек
Хь ..., Хп_! деления. Вероятность q>n@ того, что ни один из
этих интервалов не превосходит а, равна (9.9).
Отметим, что фп@> рассматриваемая при фиксированном t
как функция а, представляет собой функцию распределения мак-
максимальной длины среди длин п интервалов, на которые разбит
интервал 0,^. В связи с этим см. задачи 21—24.
Доказательство. Достаточно доказать теорему 3. Мы
докажем рекуррентную формулу
Ее справедливость прямо следует из определения <р„ как
(п—1)-кратного интеграла, но предпочтительнее толковать
(9.10) вероятностно следующим образом. Наименьшее значение
среди Хь . . ., Хп_! должно быть меньше, чем а, причем суще-
существует п — 1 возможностей выбрать это значение. При условии,
что Xi = x, вероятность того, что точка Xj самая левая, равна
г^ х -\П~2
—-,— ; тогда Х2,.. . , Хц_! распределены равномерно в ин-
интервале х, t и (условная) вероятность того, что они удовлетво-
удовлетворяют условиям теоремы, равна (pn^it — х). Суммируя все воз-
возможности, мы получаем (9.10). (Недоверчивые читатели могут
повторить доказательство, заменяя предположение Xi=x на
X — fl<\i<X.)
Для упрощения выражения (9.10) мы введем новые функции,
задаваемые формулой

46 Гл. I. Показательные и равномерные плотности
Легко проверить, что w2 — u2 и
n_l(t-x)dx. (9.12)
Это есть в точности рекуррентная формула (9.1), с которой мы
начинали, и поэтому wn — un для всех п. &¦
Хотя это утверждение доказывает теорему, оно плохо объяс-
объясняет таинственную связь между двумя вероятностями, входя-
входящими в формулу (9.8). Чтобы лучше разобраться в этом, рас-
рассмотрим теперь дискретный аналог (9.8). Эта модель интуи-
интуитивно понятна, и новое доказательство двух теорем может быть
получено простым переходом к пределу.
В целях сохранения обозначений допустим, что а и t — поло-
положительные целые числа, и пусть Хь Х2,. . . независимые вели-
величины, принимающие значения 1, 2,..., а с вероятностью а'1
каждое. Обозначим через Nn число представлений t = yi+yi + . . .
. . . + Цп в виде суммы целых чисел у^а. По самому определе-
определению Nn = anP{Sn = t}. С другой стороны, пусть <pn(tf) будет веро-
вероятностью того, что п— 1 целых чисел, выбранных независимо и
наудачу между 1 и t— 1, разбивают интервал 0, / на пподинтер-
валов длины <1а. Так как число возможных выборов равно
t—\\ ., ft — \\,,,
, , мы имеем 1\„ = , Фя(*), и, следовательно,
»(*) = *np{Sn = t}. (9.13)
Это есть дискретный аналог формулы (9.8). При /—>оо бино-
биномиальный коэффициент эквивалентен in~]l{n—1)! и (9.13) при-
принимает вид (9.8) [Чтобы получить (9.8) формальным переходом
к пределу, допустим, что Xj принимают значения /г, 2h....,ah,
и рассмотрим интервал длины х'п; положим затем h—>-0 и
ah —у а, т/г -*¦ t]
§ 10. Случайные направления
Выбор случайного направления на плоскости М2 — это тоже
самое, что выбор наудачу точки на окружности. Если желатель-
желательно задать направление его углом с правой частью х-осп, то на
окружности следует ввести координату G с 0 <С В < 2п. Для слу-
случайных направлений в пространстве М3 в качестве выборочного
пространства служит единичная сфера; каждая область имеет
вероятность, равную ее площади, деленной на 4л. Выбор слу-
случайного направления в М3 эквивалентен выбору наудачу точки
на этой единичной сфере. Так как это включает пару случайных

§ 10. Случайные направления 47
величин (долготу и широту), то следовало бы отложить обсуж-
обсуждение трехмерного случая до гл. III, но в данном контексте он
появляется более естественно.
Предложения, (i) Обозначим через L длину проекции
единичного вектора со случайным направлением в Зг на фикси-
фиксированную прямую, скажем х-ось. Тогда величина L распреде-
распределена равномерно на О, 1 и E(L) = '/2.
(ii) Пусть U — длина проекции того же вектора на фикси-
фиксированную плоскость, скажем х, у-плоскость. Тогда U имеет плот-
плотность t/Vl — t2 при 0<t<l, и E(U)=«/4.
Важно то, что две проекции имеют различные распределения.
То, что первое распределение равномерно, не есть свойство слу-
случайности, но зависит от числа измерений. Аналог теоремы (i)
в ffi доставляет
Предложение (Hi). Пусть L — длина проекции случай-
случайного единичного вектора в с%2 на х-ось. Тогда L имеет плот-
плотность 2,/(il/l^I2), «E(L)=2/n.
Доказательства (iii). Если Э — угол между нашим
случайным направлением и г/-осыо, то L= |sin0| и, следователь-
следовательно, при 0<x<l
P{L <*}=¦! arc sin*. A0.1)
Предложение (iii) теперь доказывается дифференцированием,
(i), (ii). Вспомним элементарную теорему о том, что пло-
площадь сферического пояса между двумя параллельными плоско-
плоскостями пропорциональна высоте пояса. При 0</<1 событие
{L<1/} представляется поясом Ia^K^ высоты 2t, тогда как
событие {U<1/} соответствует поясам |x3|^>Kl—Р общей вы-
высоты 2 — 2]/"l—t2. Этим обе функции распределения опреде-
определяются с точностью до числовых множителей. Их значения прос-
просто находятся из условия, что обе функции распределения рав-
равны 1 при t=\. fc>
Примеры, а) Прохождение через сферу. Пусть 2 —сфера ра-
радиуса г и N — точка на ней. Линия, проведенная через /V в слу-
случайном направлении, пересекает 2 в точке Р. Тогда: Длина сег-
сегмента NP является случайной величиной, равномерно распреде-
распределенной между 0 и 2г.
Чтобы увидеть это, рассмотрим ось NS сферы и треугольник
NPS, который имеет прямой угол в точке Р и угол G в точке N.

48 Гл. I. Показательные и равномерные плотности
Длина NP равна тогда 2г cos в. Но cos© является в то же время
проекцией единичного вектора прямой NP на диаметр NS, и
поэтому величина cos 6 равномерно распределена на 0, 1.
В физике эта модель употребляется для описания прохож-
прохождения света через «случайно распределенные сферы». Возни-
Возникающее при этом поглощение света использовалось в качестве
одного из примеров процессов случайных разбиений в предыду-
предыдущем параграфе (см. задачу 26).
б) Круговые объекты под микроскопом. Через микроскоп на-
наблюдается проекция клетки на Xi, Хг-плоскость, а не ее дей-
действительная форма. В некоторых биологических экспериментах
клетки имеют линзообразную форму и могут рассматриваться
как круговые диски. Один лишь горизонтальный диаметр проек-
проектируется в свою натуральную величину, а весь диск проек-
проектируется в эллипс, малая ось которого является проекцией наи-
наиболее круто наклоненного радиуса. Обычно предполагается, что
ориентация диска случайна; это означает, что направление его
нормали выбрано наудачу. В этом случае проекция единичной
нормали на х3-ось распределена равномерно в 0, 1. Но угол
между этой нормалью и х3-осью равен углу между наиболее
круто наклоненным радиусом и Х\, х2-плоскостью. Следователь-
Следовательно, отношение малой и большой осей распределено равномерно
в 0, 1. Иногда обработка экспериментов основывалась на оши-
ошибочном мнении, что угол между наиболее круто наклоненным
радиусом и хи лг2-плоскостью должен быть распределен равно-
равномерно.
в) Почему две скрипки звучат вдвое громче, чем одна? (Во-
(Вопрос серьезен, так как громкость пропорциональна квадрату
амплитуды колебаний.) Поступающие волны могут быть изо-
изображены случайными единичными векторами, и эффект наложе-
наложения звука двух скрипок соответствует сложению двух независи-
независимых случайных векторов. По теореме косинусов квадрат длины
результирующего вектора равен 2 + 2 cos 9. Здесь в — угол
между двумя случайными векторами, и, следовательно, cos в
распределен равномерно в —1, 1 и имеет нулевое математиче-
математическое ожидание. Математическое ожидание квадрата длины сум-
суммарного вектора поэтому действительно равно 2. ^
Под случайным вектором в <$ь понимается вектор, проведен-
проведенный в случайном направлении, длина которого L является слу-
случайной величиной, не зависящей от его направления. Вероят-
Вероятностные свойства случайного вектора полностью определяются
свойствами его проекции на х-ось, и, используя последнюю, час-

§ 10. Случайные направления 49
то возможно избежать анализа в трех измерениях. Для этого
важно знать связь между функцией распределения V истинной
длины L и распределением F длины Lx проекции нах-ось. Имеем
LX = XL, где X — длина проекции единичного вектора с данным
направлением. Соответственно величина X равномерно распре-
распределена на 0, 1 и не зависит от L. При условии Х = х событие
{Lx^C^} происходит тогда и только тогда, когда L-*Ct/x, и по-
поэтому ')
t>Q, A0.2)
Соответствующие плотности мы получаем дифференцированием
М1г- Aа3)
Повторное дифференцирование приводит к
v(t) = — tf'(t), t>0, A0.4)
Мы нашли таким образом аналитическую связь между плот-
плотностью v длины случайного вектора в о^3 и плотностью f длины
его проекции на фиксированное направление. Соотношение
A0.3) используется для отыскания /, когда v известно, а A0.4)
в противоположном случае. (Асимметрия между двумя фор-
формулами обусловлена тем фактом, что направление не является
независимым от длины проекции.)
Примеры, г) Распределение Максвелла для скоростей.
Рассмотрим случайные векторы в пространстве, проекции кото-
которых на х-осъ имеют нормальную плотность с нулевым математи-
математическим ожиданием и единичной дисперсией. Длина проекции
равна ее абсолютному значению, и поэтому
l|«-Tp. *>0. A0.5)
Тогда из A0.4) выводим
v (t) = -j/1 fe-\ '\ t>0. A0.6)
Это есть плотность Максвелла для скоростей в статистической
механике. Обычный вывод объединяет предыдущее рассуждение
') Это рассуждение повторяет доказательство формулы (8.3).

50 Га I Показательные и равномерные плотности
с доказательством того, что плотность f должна иметь вид A0.5).
(Другой вывод см. в гл. III, 4.)
д) Случайные сдвиги в $Л (Рэлей). Рассмотрим п единич-
единичных векторов, направления которых выбираются независимо
друг от друга и наудачу. Мы разыскиваем распределение дли-
длины Ln их векторной с\ммы. Вместо непосредственного изу-
изучения этой с) ммы мы рассмотрим ее проекцию на х-осъ. Эта
проекция, очевидно, равна сумме п независимых случайных
величин, распределенных равномерно на —1, 1. Функция рас-
распределения этой проекции дается формулой (9.7) при 6=1.
Длина этой проекции равна ее абсолютному значению, и, ис-
используя A0.4), мы получаем после простого дифференцирования
A0.7)
f V(
2 (п 2V -^
при х>0, и v,,(x)=0 при х<0. Таким образом, это есть плот-
плотность ') длины L,,.
Эта задача возникает в физике и химии (векторы изобра-
изображают, например, плоские волны пли молекулярные связи). Све-
Сведение к одному измерению, по-видимому, делает эту известную
задачу тривиальной.
Тот же метод применим к случайным векторам произвольной
длины, и таким образом A0.4) позволяет нам свести задачи
случайного блуждания в З'л к более простым задачам в &х.
Даже если трудно получить точное решение, ценную информа-
информацию дает центральная предельная теорема [см. пример D,б)
гл. VIII]. *
Случайные векторы в ГЛ2 определяются тем же способом, но соотноше-
соотношение, соответствующее A0 4), не так гросто. Аналогом A0 2) счужит соот-
соотношение
1 2
/=¦(.*) = — f v(—%r)dQ, A0.8)
') Обычно ссылаются на статью С. Чандрасекара, который вычислил
v-i, и,„ у6 и преобразование Фурье для vv. Так как он использовал полярные
координаты, его Wn(x) нужно умножить на 4ях2, чтобы получить нашу
плотность а„ Непосредственный вывод формулы A0 7) (другими методами)
принадлежит Кенушо Статья Чандрасекара перепечатана в книге Бокса
A954).

§ 11. Использование меры Лебега
но чтобы выразить V через F, мы должны опираться на относительно глубо-
глубокую теорию интегрального уравнения Абеля '). Мы констатируем здесь без
доказательства, что если F имеет непрерывную плотность f, то
Я/2
\~V(x) = x [ f (—^)—^тт-. (Ю.9)
w J \ sine / sin2 xi v '
о
{См. задачи 27—28.)
е) ДвЬйные орбиты. При наблюдении спектрально двойных орбит
астрономы могут измерить только проекции векторов на плоскость перпенди-
перпендикулярно к линии зрения. Эллипс в пространстве проектируется в эллипс
в этой плоскости. Большая ось исходного эллипса лежит в плоскости, опре-
определяемой лучом зрения и проекцией этой оси, и поэтому разумно предпою-
жнть, что угол между большой осью и ее проекцией равномерно распреде-
распределен. Распределение проекции определяется (в принципе) измерениями. Рас-
Распределение исходной большой оси дается тогда решением A0.9) интеграль-
интегрального уравнения Абеля. ^
§ 11. Использование меры Лебега
Если множество Л в 0, 1 представляет собой объединение ко-
конечного множества непересекающихся интервалов /ь /2, ... с
длинами Xi, Я-2. • • • , то равномерное распределение приписывает
ему вероятность
{A} h + K2+ ... A1.1)
Следующие примеры покажут, что некоторые простые, но важ-
важные задачи приводят к объединениям бесконечного числа непе-
непересекающихся интервалов. Определение A1.1) будет применимо
и отождествляет Р{А} с лебеговой мерой А. Это согласуется
с нашей программой отождествления вероятностей с интегралом
от плотности 1(х) = \, за исключением того, что мы используем
интеграл Лебега, а не интеграл Римана (который может не су-
существовать). Из теории Лебега нам требуется только тот факт,
что если А представляет собой объединение возможно пересе-
пересекающихся интервалов /ь /2, . . . , то мера Р{А} существует и не
превосходит суммы Ki+^2+¦ ¦ ¦ длин. Для непересекающихся
интервалов выполняется равенство A1.1). Использование меры
') Преобразование в интегральное уравнение Абеля достигается посред-
посредством замены переменных
Vx
Тогда A0.8) принимает вид
Vy{t-y)

52 Гл. I. Показательные и равномерные плотности
Лебега соответствует свободной интуиции, и упрощает дело,
так как обосновываются все формальные переходы к пределу.
Множество N называется нулевым множеством, если оно содер-
содержится в множествах произвольно малой меры, т. е. если для
каждого е существует множество ЛгэЛ/, такое, что Р{Л}<е.
В этом случае Р{Л/} = 0.
В дальнейшем X обозначает случайную величину, распреде-
распределенную равномерно в 0, 1.
Примеры, а) Какова вероятность того, что величина X ра-
- „ 112 13 1
циональна? Последовательность -тт. -^, -g-> -j. -j. -§>... содер-
жит все рациональные числа интервала 0, 1 (расположен-
(расположенные в порядке возрастания знаменателей). Выберем е< -к и
обозначим через Jh интервал длины eh+1 с центром в k-n точке
последовательности. Сумма длин интервалов /й равна e2 + e3+j
+ ...<е, и их объединение покрывает рациональные числа. По-
Поэтому по нашему определению множество всех рациональных
чисел имеет вероятность нуль, и, следовательно, X иррациональ-
иррационально с вероятностью единица.
Здесь уместно спросить, зачем такие множества рассматри-
рассматриваются в теории вероятностей. Один из ответов состоит в том,
что их исключением ничего нельзя достичь и что использование
теории Лебега действительно упрощает дело, не требуя новых
методов. Второй ответ может быть более убедителен для начи-
начинающих и для нематематиков; ниже следующие варианты при-
приводят к задачам, несомненно, вероятностной природы.
б) С какой вероятностью цифра 7 встречается в десятичном
разложении величины X? В десятичном разложении каждой
точки х из открытого интервала между 0,7 и 0,8 цифра 7 появ-
появляется на первом месте. Для каждого п существуют 9П~' интер-
интервалов длины 10"п, содержащих только такие числа, что цифра 7
появляется на п-м месте, но не раньше (при п = 2 их концами
служат 0,07 и 0,08, затем 0,17 и 0,18 и т. д.). Эти интервалы не
* 1 /, , 9 . / 9 \2 ,
пересекаются, и их общая длина равна "ПП •" *ПГ ' \~Ж/ ~^~
+ ...) = 1. Таким образом, наше событие имеет вероятность 1.
Заметим, что некоторые числа имеют два представления, на-
например 0,7 = 0,6999.... Чтобы сделать обсуждаемый нами во-
вопрос определенным, мы должны поэтому точно установить,
должна или может цифра 7 появиться в представлении, но наше
рассуждение не зависит от этого различия. Причина в том, что
только рациональные числа могут иметь два представления,
а множество всех рациональных чисел имеет вероятность нуль,

§ П. Использование меры Лебега 53
в) Бросание монеты и случайный выбор. Посмотрим теперь,
как «случайный выбор точки X между 0 и 1» может быть опи-
описан в терминах дискретных случайных величин. Обозначим че*
рез Xft(x) k-н десятичный знак х (чтобы избежать двусмыслен-
двусмысленностей, мы будем использовать, когда это возможно, обрываю-
обрывающиеся разложения ). Случайная величина Xh принимает значе-
значения 0, 1, ..., 9, каждое с вероятностью 'До, и величины Хй
взаимно независимы. Кроме того, мы имеем тождество
Эта формула сводит случайный выбор точки X к последователь-
последовательным выборам ее десятичных знаков.
В последующих рассуждениях мы перейдем от десятичного
разложения к двоичному, т. е. мы заменим основание 10 на ос-
основание 2. Вместо A1.2) мы теперь имеем
к-1
где Xft — взаимно независимые случайные величины, принимаю-
принимающие значения 0 и 1 с вероятностью 1/2- Эти величины определены
на интервале 0, 1, для которого вероятность отождествляется
с мерой Лебега (длиной). Эта постановка задачи напоминает
игру с бросанием монеты из первого тома, в которой выбороч-
выборочное пространство состоит из бесконечных последовательностей
гербов и решеток или нулей и единиц. В этом выборочном про-
пространстве возможно теперь заново интерпретировать A1.3).
В этом пространстве Xft суть координатные величины, а X есть
случайная величина, ими определяемая; ее функция распределе-
распределения, конечно, равномерна. Заметим, чю второе выборочное про-
пространство содержит две различные выборочные точки 0111111...
и 1000000..., хотя соответствующие двоичные разложения изо-
изображают одну и ту же точку '/г. Однако понятие нулевой ве-
вероятности дает нам возможность отождествить два выборочных
пространства. Другими словами, при пренебрежении событием
нулевой вероятности случайный выбор точки X между 0 и 1 мо-
может быть осуществлен последовательностью бросаний монеты,
и наоборот, результат бесконечных бросаний монеты может
быть изображен точкой х из интервала 0, 1. Каждая случайная
величина, связанная с игрой в монету, может быть представ-
представлена функцией на 0, 1 и т. д. Этот удобный и наглядный прием~

54 Гл. I. Показательные и равномерные плотности
использовался в теории вероятностей издавна, но он связан с
пренебрежением событиями, имеющими нулевую вероятность.
г) Распределения канторовского типа. Если мы будем рас-
рассматривать в A1.3) сумму слагаемых с четными номерами, или,
что то же самое, рассматривать случайную величину
оо
Y==3S^XV, A1.4)
то мы придем к распределению с неожиданными свойствами.
(Множитель 3 введен для упрощения рассуждений. Сумма сла-
слагаемых с нечетными номерами распределена так же, как 2/зУ.)
Функция распределения F(x) =P{Y -С*} служит примером так
называемых сингулярных распределений.
При подсчете мы рассматриваем Y как выигрыш игрока, ко-
который получает величину 3-4~й, когда k-e бросание симметрич-
симметричной монеты дает в результате решетку. Полный выигрыш лежит
между 0 и 3D"' + 4+ . . .) = 1. Если первое испытание приводит
к 1, то выигрыш ~^-ъ1\, тогда как в противоположном случае
Y<3 D+4+...) =4"'. Таким образом, неравенство 74<Y<
<3Д не может быть осуществлено ни при каких обстоятель-
обстоятельствах, и поэтому /7(х) = !/г в этом интервале длины '/г. Отсюда
следует, что F не может иметь скачка, превышающего '/г.
Отметим теперь, что с точностью до множителя 1/i испыта-
испытания с номерами 2, 3, ... представляют собой точную копию всей
последовательности, и поэтому график F(x) в интервале 0, V-i
отличается от всего графика только преобразованием подобия
F(x) = ~FDx), 0<x<V4. A1.5)
Отсюда следует, что F{x)=lU всюду в интервале длины Vs
с центром в точке Vs. По соображениям симметрии F(x)=3U
всюду в интервале длины '/в с центром в 7/в- Мы нашли сейчас
три интервала общей длины '/2+2/8 = 3А, на каждом из кото-
которых F принимает постояниое значение, а именно 'Д, '/г или 3U.
Следовательно, F не может иметь скачка, превышающего г/4.
Остаются четыре интервала длиной Vi6 каждый, и в каждом
из них график Г отличается от всего графика только преобразо-
преобразованием подобия. Каждый из четырех интервалов поэтому содер-
содержит подинтервал половины его длины, на котором F принимает
постоянное значение (а именно '/в, 3/в, 5/э, 7/в соответственно).
Продолжая в том же духе, мы найдем за п шагов 1+2+2г + . .
... + 2" интервалов общей длины 2~1+2~2 + 2-3 + .. . + 2~п =
= 1—2"п,в каждом из которых F принимает постоянное значение.

§ 12. Эмпирические распределения 55
Таким образом, F представляет собой непрерывную функ-
функцию, возрастающую от /"@)=0 до F(l) = l так, что сумма длин
интервалов постоянства равна 1. Грубо говоря, все возраста-
возрастание F происходит на множестве меры 0. Мы имеем здесь непре-
непрерывную функцию распределения F без плотности /. >
§ 12. Эмпирические распределения
«Эмпирическая функция распределения» Fn для п точек
аи . . . , ап на прямой есть ступенчатая функция со скачками 1/п
в точках аи ¦¦¦, ап. Другими словами, nFn(x) равно числу то-
чек ah в —сю, х, и Fn — функция распределения. Если даны п
случайных величин Хь . . ., Х„, то их значения в некоторой точ-
точке выборочного пространства образуют строку из п чисел и ее
эмпирическая функция распределения называется эмпирическим
распределением выборки. При каждом х значение Fn (л:) эмпи-
эмпирического распределения выборки определяет новую случайную
величину, а эмпирическое распределение (Хь . . . , Хп) — это все
семейство случайных величин, зависящих от параметра х (фор-
(формально мы имеем дело со случайным процессом, где х—вре-
х—временной параметр). Мы не будем пытаться развить здесь теорию
эмпирических распределений, но это понятие можно использо-
использовать для иллюстрации возникновения сложных случайных вели-
величин в простых приложениях. Сверх того, мы в новом свете уви-
увидим равномерное распределение.
Пусть Хь . . . , Хп обозначают взаимно независимые случай-
случайные величины с одинаковым непрерывным распределением F.
Вероятность того, что любые две величины принимают одно и
то же значение, равна нулю, и поэтому мы можем ограничить
наше внимание выборками из п различных значений. При
фиксированном х число величин Хи, таких, что Xh-*Cx,
имеет биномиальное распределение с вероятностью «успеха»
p = F(x), и поэтому случайная величина Fn(x) имеет биномиаль-
биномиальное распределение с возможными значениями 0, 1/п, . . . , ]. Сле-
Следовательно, при большом п и фиксированном х значение FM(x)
с большой вероятностью будет довольно близким к F(х), и цен-
центральная предельная теорема информирует нас о возможных
отклонениях. Более интересен (зависящий от случая) график Fn
в целом и то, насколько он близок к F. Мерой этой близости
может быть максимум расхождения, т. е.
Dn= sup \Fa(x)-F(x)\. A2.1)
— оо < X < со
Эта новая случайная величина представляет большой интерес
Для статистиков в силу следующего свойства. Распределение

56 Гл. I. Показательные и равномерные плотности
вероятностей случайной величины Dn не зависит от F (конечно,
при условии, что F непрерывна).
Для доказательства этого свойства достаточно проверить, что
распределение Dn остается неизменным, когда F заменяется
равномерным распределением. Мы сначала покажем, что вели-
величины Yfe = F(Xft) распределены равномерно в О, 1. Для этой цели
мы ограничим / интервалом 0, 1, и в этом интервале мы опреде-
определим v как функцию, обратную F. Событие {F(Xft)^C0 равно-
равносильно тогда событию {Xft ¦<! п(/)}, которое имеет вероятность
F(v(t)) =t. Таким образом, P{Yh^/} = /, как и утверждалось.
Величины Yb ... , Yn взаимно независимы, и мы обозначим
их эмпирическое распределение через Gn. Только что приведен-
приведенные рассуждения показывают также, что при фиксированном /
случайная величина Gn(/) тождественна с Fn(v(t)). Так как
i = F(v(t)), то отсюда следует, что в каждой точке выборочного
пространства Мп
sup|Ge (fl-*| = sup \Fa(v(t))-F(v(t))\ = Da.
Этим доказательство завершается.
Тот факт, что распределение Dn не зависит от исходного рас-
распределения F, дает статистикам возможность построить крите-
критерии и процедуры оценивания, применимые в ситуации, когда
исходное распределение неизвестно. В этой связи другие вели-
величины, связанные с Dn, находят даже большее практическое ис-
использование.
Пусть Хь ..., Х„, X?, ..., X* — 2п взаимно независимых
случайных величин с одинаковым непрерывным распределе-
распределением F. Обозначим эмпирические распределения (Хь . . ., Хп)
и (Xf, ..., X,?) через ?„ и F* соответственно. Положим
Dn,n = sup|(F,,(*)-F#W)|. A2.2)
X
Это есть максимальное расхождение между двумя эмпирически-
эмпирическими распределениями. Оно обладает тем же свойством, что и Dn,
а именно не зависит от распределения F. По этой причине Dn> n
используется как статистический критерий проверки «гипотезы
о том, что Xi, ... , Хп и Х|i , .. . , Хл являются случайными вы-
выборками из одной и той же популяции».
Распределение Dn, „ было найдено с помощью громоздких
вычислений и исследований, но в 1951 г. Гнеденко и Королюк
показали, что вся проблема сводится к задаче случайного блуж-
блуждания с хорошо известным решением. Их доказательство отли-
отличается изяществом, и мы приведем его для иллюстрации воз-
возможностей простых комбинаторных методов.

§ 12. Эмпирические распределения 57
Теорема. Вероятность P{Dn, „-^ г/п) равна вероятности
того, что в симметричном случайном блуждании траектория
длины 2п, начинающаяся и заканчивающаяся в нуле, содер-
I 1
жится в замкнутом интервале —г, г.
Доказательство. Достаточно рассмотреть целые г. Рас-
Расположим 2п величин Хь ..., Х„* в порядке возрастания вели-
величины и положим Бй = 1 или 6а =—1 в зависимости то того, какая
величина занимает k-e место, Xj или X*¦ Окончательная запись
Bп\
содержит п плюс единиц и п минус единиц, и все I I распо-
расположений равновероятны. Поэтому возникающие при этом строки
(еь ..., 62?i) находятся во взаимно однозначном соответствии
с траекториями длины 2п, начинающимися и заканчивающи-
заканчивающимися вначале. Если теперь ei+ . . . +е3 = &, то первые / мест за-
заняты (/+_&)/2 неотмеченными и (/ — k) /2 отмеченными величи-
величинами, и поэтому существует точка х, такая, что Fn (x) —
= (/ + Л)/2л и ?f{x)^{j — k)l2n. Но тогда \?n{x)-?f, (х) =
= | А |/л. То же рассуждение, проведенное в обратном порядке,
завершает доказательство. >
Точное выражение для рассматриваемой вероятности содержится в 1,
гл. XIV, (9.1). В самом деле, выражение
есть вероятность того, что частица, выходящая из начала отсчета, вернется
в момент In в начало, не покидая интервал —г, г. Последнее условие можно
реализовать, если установить в точках ±г поглощающие экраны, и поэтому
Wr, n есть вероятность возвращения в начало координат в момент 2п, когда
точки ±г являются поглощающими экранами [В 1, гл. XIV, (9.1) рас-
рассматривается интервал 0, а, а не —г, г. Наша вероятность wr, n тождественна
"г,2п(г).]
В 1, гл. XIV было показано, что предельный переход приводит от слу-
случайных блужданий к диффузионным процессам, и таким образом, легко ви-
видеть, что распределение Уп Dn,n стремится к пределу. Фактически этот пре-
предел был найден Смирновым еще в 1939 г., а аналогичный предел для
ynDn—Колмогоровым в 1933 г. Эти вычисления очень сложны и не объ-
объясняют связи с диффузионными процессами, что, наоборот, свойственно под-
подходу Гнеденко — Королюка. С другой стороны, они стимулировали плодотвор-
плодотворную работу по сходимости стохастических процессов (Биллингслей, Донскер,.
Прохоров, Скороход и другие).
Можно упомянуть, что теоремы Смирнова в равной степени применимы
и к расхождениям Dm, n между эмпирическими распределениями выборок,
имеющих различные объемы тип. Подход, связанный со случайным блуж-
блужданием, применим к этой проблеме, но он во многом теряет свою изящность
и простоту (Гнеденко, Рвачева). Статистиками было исследовано множество-
вариантов Dm, п (см. задачу 32 ).

58 Гл. I. Показательные и равномерные плотности
§ 13. Задачи
Во всех задачах предполагается, что заданные величины взаимно неза-
независимы-
1. Пусть X и Y имеют плотности ае at, сосредоточенные на 0, оо.
Найдите плотности величин
A) X3 (ii) 3 + 2Х
(Ш) X—V (lv) |Х —Y|
(v) Наименьшей из величин (vi) Наибольшей из величин X и Y3
X и Y3
2. Решите ту же задачу, если плотности X и Y равны 1/2 в интервале
—1,1 и 0 вне его.
3. Найдите плотности для X+Y и X—Y, если X имеет плотность ае~ах
<дс>0), а плотность Y равна /г1 при 0<л:<Л.
4. Найдите вероятность того, что Я,2—2аЯ+6 имеет комплексные корни,
если коэффициенты а и b являются одинаково распределенными случайными
величинами, плотность которых
(i) равномерна, т. е. равна Л4 при 0<#</г;
(ii) показательна, т. е. равна ае~ах при х>0.
_ „ „ , X+Y X+Y
5. Найдите функции распределения величин —^— и—=—, если величины
X, Y и Z имеют одинаковое показательное распределение.
6. Если X и Y имеют показательные плотности ae~ajrH ^е~^х, где афE
то X + Y имеет плотность
7. Выведите формулу свертки C.6) для показательного распределения
прямым переходом к пределу из формулы свертки для «отрицательного бино-
биномиального» распределения из 1, гл. VI, (8.1).
8. Для пуассоновского процесса § 4 обозначим через Z время между мо-
моментом t и последним предшествующим прибытием или 0 («возраст» теку-
•щего времени между прибытиями). Найдите распределение Z и покажите, что
оно стремится к показательному распределению при t~> оо.
9. В примере E, а) покажите, что вероятность появления первого рекорд-
рекордного значения на п-и месте и при этом не превосходящего х равна
Докажите, что распределение вероятностей первого рекордного значения есть
1-(\+ах)е-ах.
[Вообще, если величины X,- положительны и подчинены произвольному не-
непрерывному распределению F, то первая вероятность равна [n(n+l)]'1Fn+l(x),
-а распределение первого рекорда равно F— A— F)log(l — Z7).]

§ 13. Задачи
59
10. Образование колонн в транспорте1). Автомобили отправляются друг
за другом из начала координат и двигаются вдоль правой я-оси без обгона.
Каждый автомобиль сохраняет постоянную скорость, но мы рассматриваем
скорости vi, V2,... как выборку из последовательности независимых случайных
величин с одинаковой непрерывной функцией распределения F. Когда один
автомобиль догоняет другой, медленнее едущий автомобиль, ему приходится
тащиться с той же скоростью. Таким образом будет сформировала колонна.
Покажите, что вероятность того, что данный автомобиль тащится ровно
за ('г—1) автомобилями, стремится к [п(п+\)]~х независимо от распределе-
распределения F и времени отъезда. Математическое ожидание числа автомобилей в ко-
колонне бесконечно.
11. Обобщение2) примера E, а) о рекордном значении. Вместо того
чтобы рассматривать одно предварительное наблюдение Хо, мы начинаем
с выборки (Xi, ..., Xm) с порядковыми статистиками (Ха), ..., Х(т)). (Общее
для всех величин распределение F не играет роли, коль скоро оно непре-
непрерывно.)
а) Пусть N—гервый индекс, такой, что Xm + n >• Х<т). Покажите, что
P{N>«}=m/(m+rt). [В примере E, а) мы имели гп=1.]
б) Пусть N — первый индекс п, такой, что Xm + n ^ X(m-r+i)i пока-
покажите, что
С")
При
мы имеем E(N) =т/(г— 1) и
в) Пусть N — первый индекс, такой, что Xm+n находится вне интервала
между ХA) и Х(т). Тогда
р {N > п] = ,>И.('Я~1) ^ и Е (N)< оо.
1 ' (т\п) (т\п \)
(т-\-п) (т-\-п
12. Пусть Xj при У=0, ..., п имеет плотность "k-fi ' для х>0. Здесь
Яу-ф X),, если только / не равно к. Положим
— = (Ко — Хк) ... (Яй_ j — },k) (Xk+i — %k) ,.. (кп — Х1г).
Покажите, что Хо+ ... +ХП имеет плотность
К ¦ ¦ ¦ К face*"V
¦ • • -т- Vn, „е
Указание. Используйте индукцию, симметрию и задачу 6. Вычислений
можно избежать.
Частный случай:
') N е w е 11 G. F., Opns Res, 7 П959), 589—598.
s) Wilks S. S., /. Austr. Mat. Soc, 1 A959), 106—112.

60 Гл. I. Показательные и равномерные плотности
представляет собой свертку /n-i с плотностью пе~пх. Выведите, что fn-i есть
плотность размаха Х(П) —X(i> выборки Хь ..., Х„, где все Xj имеют одинако-
одинаковую плотность е'х.
13. Процессы чистого размножения. В процессе чистого размножения из
1, гл. XVII, 3 система проходит через последовательность состояний
.... J, V
E0->Ei->..., причем время пребывания в состоянии Ен имеет плотность Х^е * •
Таким образом, Sn = X0+ ...+Х„ есть момент перехода Еп->Еп+\. Обозначьте
через Pn(t) вероятность Еп в момент Л Покажите, что Pn(/) = P{Sn><}—
—P{Sn_i>0 и, следовательно (используя последнюю задачу), что
А'в(О = Я.в...Яя.1[ч'в. „«""¦•'+ ... + ?„,„«-*"»']. A)
Дифференциальные уравнения P0(t) ——XoPo(t)
' xPn-i«)' п>1 B)
можно вывести (а) из A) и (б) из свойств сумм Sn.
Указание. По соображениям симметрии достаточно рассмотреть коэффи-
коэффициент при е~ .
Замечание. Дифференциальные уравнения 2 совпадают с уравнениями
1, гл. XVII, C.2), а A) дает общее решение с Я0@) = 1.
14. В примере F, а), где рассматриваются параллельные очереди, мы ска-
скажем, что система находится в состоянии k, если k окошек свободны. Пока-
Покажите, что здесь применима модель процесса чистого размножения (задача 13)
с Хи=(п — k)a. Докажите, что
_a-at\k -{n-k)at
Выведите отсюда распределение X(k).
15. Рассмотрите две независимые очереди из m и п>пг лиц соответствен-1
но, предполагая, что времена обслуживания имеют одно и то же показа-
показательное распределение. Покажите, что вероятность более длинной очереди
окончиться первой равна вероятности получить п гербов раньше, чем m ре-
решеток при бросаниях симметричной монеты. Найдите ту же вероятность,
рассматривая отношение X/Y двух величин, с гамма-распределениями Gm и
G4, заданными формулой C.5).
16. Пример статистического оценивания. Предполагается, что продолжи-
продолжительности существования электрических ламп имеют показательное распреде-
распределение с неизвестным математическим ожиданием а. Чтобы оценить а, бе-
берется выборка из п ламп и наблюдаются продолжительности существования
первых г портящихся ламп. «Наилучшая несмещенная оценка» а дается
линейной комбинацией U = XiX(d+ — +ХГХ(Г), такой, что Е(и)=а~' и Var(U)
имеет наименьшее возможное значение. Покажите, что
и тогда Var(U) = — а~г.
Указание. Проделайте вычисления в терминах независимых величин

§ 13. Задачи 61
17. Пусть величины Xi,..., Хп распределены равномерно на 0, 1. Пока-
Покажите, что размах Х(„) — X(i) имеет плотность п(п—1)*"-2A — х) и математи-
математическое ожидание (« —1)/(л+1). Какова вероятность, что все п точек лежат
внутри некоторого интервала длины t?
18. Ответьте на вопросы примера F,6), когда три времени ожидания
равномерно распределены в интервале 0, 1.
19. На окружности независимо и наудачу выбраны четыре точки. Най-
Найдите вероятность того, что хорды Х[Хг и Х3Х4 пересекаются а) без вы-
вычислений, используя лишь соображения симметрии; б) из определения через
интеграл.
20. В процессе случайного разбиения из § 8 обозначьте через Хп, Xi2,
Х21, Х22 массы четырех осколков второго поколения, индекс 1 относится
к наименьшей, а 2 к наибольшей части. Найдите плотности и математические
ожидания этих величин.
21. Пусть Xi, ..., Хп распределены наудачу в 0, t. Обозначим через р„@)
вероятность того, что все га+1 подинтервалов разбиения больше, чем h. До-
Докажите, что
=-^? J
откуда pnV) = t-n(t
[Функция распределения наиболее короткого подынтервала равна 1—Рп(Л>
где t фиксировано, и ft>0 является независимой переменной.]
Указание1). Рассмотрите событие {Х(П)=х}.
22. Продолжение. Найдите аналогичные выражения для вероятности
gn(t) того, что все расстояния между Xj, превышают /г>0 (при отсутствии
условий в отношении концов).
23. Продолжение. Не используя решение предыдущих задач, найдите, что
Pn(t) = (t-2h)"t-ngn(t-2h).
24. Сформулируйте аналог задачи 22 для окружности и покажите, что
задача 21 дает ее решение.
25. Равнобедренный треугольник образован единичным вектором в лг-на-
правлении и единичным вектором в случайном направлении. Найдите распре-
распределение длины третьей стороны (i) в Ш2 и (и) в S?3.
') Добавление при корректуре. То же самое простое рассуждение не-
непосредственно приводит к следующему изящному общему утверждению, по-
полученному недавно Б. де Финетти из геометрических соображений. Обозна-
Обозначим длины последовательных подинтервалов нашего разбиения через Lb...,
Ln+ь Тогда для произвольных xt ^г- 0, ..., хп+\~^-0
Р {L, >х„ ..., Ln + 1 >xn + i}=t-n(t — xx— ... — хп + х)%. (*)
Задача 21 соответствует частному случаю, когда все Xj равны h, тогда как
в примере G, б) только одна из величин Xj положительна. Теорема о покры-
покрытиях 9.3 может быть получена из (*) с использованием формулы 1, гл. IV,
A-5) появления по крайней мере одного из событий.
[Статья де Финетти появилась в Giornale 1st. Hal. degli Attuari, 27
A964), 151—173.]

62 Гл. I. Показательные и равномерные плотности
26. Единичная окружность (сфера) с центром в 0 имеет на положитель-
положительной л-оси северный полюс. Из полюса выходит луч, и его угол с х-осью рас-
распределен равномерно на — 'А>я, 7гЯ. Найдите распределение длины хорды
внутри окружности (сферы).
Замечание. В Я2 луч имеет случайное направление, и мы имеем дело
с аналогом примера A0, а). В Я3 же задача другая.
27. Отношение средних длин случайного вектора и его проекции на я-ось
равно 2 в Я3 и я/2 в Я2.
Указание. Используйте A0.4) и A09).
28. Длина случайного вектора распределена равномерно на 0, 1. Най-
Найдите плотность длины его проекции на х-осъ а) в Я3 и б) в Я2.
Указание. Используйте A0.4) и A0.9).
29. Найдите функцию распределения угла между я-осыо и случайно вы-
выбранным направлением в Яг4.
30. Найдите в Я4 аналог соотношения A0.2) между распределением
длин случайного вектора и распределением длины его проекции на дг-ось
Проверьте результат задачи 29, ограничившись единичным вектором.
31. Предельная теорема для порядковых статистик, а) Пусть Хь ..., Х„
распределены равномерно в 0, 1. Докажите, что при фиксированном k и л->оо
> Cft n (х), х>0,
где Gh+\ есть гамма-распределение C.5) [см. пример G, д)].
б) Если Xft имеют произвольную непрерывную функцию распределения F,
то тот же предел существует и для P{X(ft) -< Ф(х/п)}, где Ф есть функция,
обратная к F (Смирнов).
32. Докажите следующий вариант теоремы Гнедеико — Королюка в § 12:
где г=1, 2, ..., п. [В отличие от первоначальной формулировки знаки абсо-
абсолютных величин слева опущены и поэтому в соответствующем случайном
блуждании появляется только один поглощающий барьер в точке г.]
33. Нисходящие серии. Случайная величина N определяется как един-
единственный индекс, такой, чтоХ^Хг^ ... *^- XN-1 < XN. Если величины Ху
имеют одинаковое непрерывное распределение F, докажите, что P{N = rc}
()/ и E(N)
34. Образование показательно распределенных случайных величин из рав-
равномерно распределенных величин1), а) Пусть в предыдущей задаче F будет
') von Neumann J., National Bureau of Standarts, Appl. Math. Series,
12 A951), 36—38.

§ 13. Задачи 63
равномерным распределением в 0, 1. Докажите, что
откуда P{Xt < х, N четно}=1 — е~х.
б) Определим Y следующим образом: «Испытанием» служит последова-
последовательность Xi, ..., Xn; мы говорим о «неудаче», если N нечетно. Мы повторяем
независимые испытания до появления первого «успеха». Пусть Y равно числу
неудач плюс первая величина в успешном испытании. Докажите, что

ГЛАВА П
СПЕЦИАЛЬНЫЕ ПЛОТНОСТИ.
РАНДОМИЗАЦИЯ
Основная задача этой главы состоит в том, чтобы перечис-
перечислить для облегчения ссылок те плотности, которые чаще всего
будут появляться в дальнейшем. Рандомизация, описанная во
второй части, полезна для многих целей. В качестве иллюстра-
иллюстрации дается вывод формул для некоторых распределений, свя-
связанных с функциями Бесселя и встречающихся в различных
применениях. Мы увидим, что этот простой вероятностный прием
заменяет сложные вычисления и трудоемкий анализ.
§ 1. Обозначения и определения
Мы говорим, что плотность / и соответствующее ей распре-
распределение F сосредоточены (или сконцентрированы) *) на интер-
интервале I = a, b, если f(x) = 0 для всех х, не принадлежащих/. Тогда
F(x)=0 для х<а и F(x) = \ для х>6. Говорят, что два распре-
распределения F и G, а также их плотности / и g принадлежат одному
и тому же типу или отличаются только «параметрами располо-
расположения», если они связаны соотношениями
G(x)=F(ax + b), g(x)=af(ax+b), A.1)
где а>0. Мы будем часто называть Ь центрирующим парамет-
параметром и а — масштабным параметром. Эти термины становятся
хорошо понятными после следующего разъяснения: если F слу-
служит функцией распределения случайной величины X, то G есть
функция распределения величины
Y = 2^=±. A-2)
В действительности важен только тип распределения и мы, как
правило, будем приводить только один образец каждого типа.
') В соответствии с обычной терминологией наименьший замкнутый ин-
интервал / с таким свойством следовало бы называть носителем /. Новый тер-
термин введен в связи с тем, что мы будем употреблять его в более общем
смысле: так, распределение может быть сосредоточено на множестве всех
целых или всех рациональных чисел,

§ 1. Обозначения и определения 65
С помощью соответствующего выбора параметров расположе-
расположения любой конечный интервал сводится к 0, 1, и мы будем рас-
рассматривать только плотности, сосредоточенные либо на всей
прямой, либо на правой полупрямой, либо на 0, 1. Указывая
в формулах для плотностей 0<х<1 или .v>0, мы подразуме-
подразумеваем, что f(x)=O для всех других х.
Математическое ожидание m и дисперсия ст2, соответствую-
соответствующие плотности / (или F), определяются равенствами
m
= J xf (х) dx, о2 = J (х — mf f (x) dx = J x2f (x) dx-m2, A.3)
если только интегралы сходятся абсолютно. Из формул A.2)
следует, что плотности g в этом случае соответствует математи-
математическое ожидание (in — b) la и дисперсия о2/а2. Отсюда ясно,
что для каждого типа существует самое большее одна плот-
плотность с нулевым математическим ожиданием и единичной дис-
дисперсией.
Вспомним [см. гл. I, B.12)], что свертка f = ft*f2 двух плот-
плотностей /i и /2 есть плотность вероятности, определяемая фор-
формулой
j A.4)
Если fi и /г сосредоточены на 0, оо, эта формула сводится к
y)dy, x>0, A.5)
Функция f представляет собой плотность суммы двух независи-
независимых случайных величин с плотностями /4 и f2. Заметим, что для
g, (x) =fi(x + b{) свертка g — g\* g-г дается равенством g(x) —
= f(x + bi + b2), как это видно из A.2).
Мы заканчиваем этот параграф введением обозначений1)
X
m(x)^yL- je-h'dy. A.6)
— оо
Давно знакомая нам нормальная плотность с математическим
ожиданием m и дисперсией а2 определяется как
о>0
') В первом томе нормальная плотность Н обозначалась через ф, а функ-
функция распределения 4Jt — через Ф.

66 Гл. II. Специальные плотности. Рандомизация
В центральной предельной теореме неявно содержится суще-
существенный факт, что семейство нормальных плотностей замкнуто
относительно операции свертки; другими словами свертка двух
нормальных плотностей с математическими ожиданиями ти тг
и дисперсиями о\, а2 есть нормальная плотность с математиче-
математическим ожиданием mi + mz и дисперсией 02-|-а2. Ввиду ранее ска-
сказанного достаточно доказать это для mi = ni2 = 0. Утверждается,
что
+ СО
1 Г X1  1 Г Г (X— уJ W2 1 , ,, _ч
-7=—ехр — —5- = ехр —-i f1 —?\dy. A.7)
V2na K I 2a2 J 2яа,а2 J [ Щ 2a2 J a K '
Справедливость этого утверждения становится очевидной, если
о а,
произвести замену переменных z=y—— х—±—, где х фикси-
ровано. (См. задачу 1.)
§ 2. Гамма-распределения
Гамма-функция Г определяется как
со
T(t)= j х*-1е-хс1х, t>0. B.1)
[См. 1, гл. II, A2.23).] Гамма-функция интерполирует факто-
факториалы в том смысле, что
Г(«+1)=п! для п = 0, 1, ....
Интегрирование по частям показывает, что T(t) = (/ — 1)Г(^ — 1)
при всех />0.
Гамма-плотности, сосредоточенные на 0, оо, определяются
формулой
Здесь а>0 — тривиальный масштабный параметр, но v>0—
существенный параметр. В частном случае fa, i мы имеем дело
с показательной плотностью, а плотности fa< n+1 (п = 0, 1,...) со-
совпадают с плотностями gn из гл. I, C.4). Простые вычисления
показывают, что математическое ожидание /a> v равно via, а дис-
дисперсия равна v/a2.
Семейство гамма-плотностей замкнуто относительно опера-
операции свертки
/a,|l*/a,v = L,!v> |l>0, V>0. B.3)

§ 3. Распределения, связанные с гамма-распределениями 67
Это важное свойство обобщает теорему из гл. 1,3 и будет по-
постоянно использоваться; доказательство чрезвычайно просто.
Согласно A.5), левая часть равна
,_.,ГУ-'«Л B-4)
После подстановки y=xt это выражение будет отличаться от
fa, ц+v только численным множителем, а он равен единице, так
как и /а> д+ч, и B.4) являются плотностями вероятности.
Последний интеграл при х=1—это так называемый бета-
интеграл В(\\, v), и как побочный результат доказательства мы
получаем, что
ВО*. v)= j A -г/ГУ dy-Ш*®. B.5)
о
для всех |ii>0, v>0. [С целыми ц и v эта формула используется
в 1, гл. VI, A0.8) и A0.9). См. также задачу 3 этой главы.]
Что касается графика fif v, то он, очевидно, монотонен, если
v-^1, и неограничен вблизи нуля, когда v<l. При v>l график
fiiV колоколообразен, Д, v достигает при x — v—1 максимума,
равного (v — \У'~1 е-Р-^/Г (х), что близко к [2n(v—1)]~)/2
[формула Стирлинга, 1, гл. II, задача 12.22]. Из центральной
предельной теоремы следует, что —— fOi v I —+ г/ -J—-) -> и (х),
когда v —> оо.
§ 3 *. Распределения математической статистики,
связанные с гамма-распределениями
Гамма-плотности играют значительную, хотя не всегда яв-
явную роль в математической статистике. Прежде всего они фигу-
фигурируют как «тип III» в классической (теперь до некоторой сте-
степени устаревшей) системе плотностей, введенной К- Пирсоном
A894 г.). Более часто они встречаются благодаря тому, что для
случайной величины X с нормальной плотностью н квадрат X2
имеет плотность х~>/г п (x>ls)=f,, v,(x)- Ввиду свойства свертки
B.3) отсюда следует, что
Если Хь .. . , Хп —- взаимно независимые нормально распре-
распределенные величины с математическим ожиданием 0 и диспер-
дисперсией о2, то величина Xi-f- ... -}-Х„ имеет плотность f\p<s\ л/2-
*) Этот параграф затрагивает специальные вопросы и не используется
в дальнейшем.

68 Гл. II. Специальные плотности. Рандомизация
Для статистиков величина х =Xi-f- ... -f-Xn совпадает
с «выборочной дисперсией для нормальной популяции», и ее
распределение постоянно используется. В этой связи ?ч„чгп по
традиции (восходящей к К- Пирсону) называется хи-квадрат
плотностью с п степенями свободы.
В статистической механике величина Xi-f-X2 + X3 появ-
появляется как квадрат скорости частиц. Сама скорость поэтому
имеет плотность
Это не что иное, как плотность Максвелла, найденная другим
способом в гл. I, A0.6). (См. также пример в гл. 111,4.)
В теории очередей гамма-распределение иногда называют
распределением Эрланга.
Некоторые случайные величины (или «статистики»), важ-
важные для статистиков, имеют форму T = X/Y, где X и Y — незави-
независимые случайные величины, Y>0. Обозначим их функции рас-
распределения через F и G, а их плотности через fag соответ-
ственно. Так как величина Y предполагается положительной,
то g сосредоточено на 0, оо, и поэтому
= j F(ty)g(y)dy. C.1)
о
Дифференцируя, находим, что отношение T = X/Y обладает плот-
ностью
со
w{t)=\f{ty)yg{y)dy. C.2)
о
Примеры, а) Если X и Y имеют плотности fi/,, у,т и />/2, у2П, то
X/Y имеет плотность
w(iH ним—^r '>0< C'3)
Действительно, интеграл C.2) равен
а подстановкой -^{\-\-t)y — s он сводится к C.3). В дисперсной-
ном анализе рассматривают частный случай X = Xj+ ...+

§ 4. Некоторые распространенные плотности 69
и Y = Yi + ... -г- Уя, где Xi, ... ,Xm, Yb ..., Yn — взаимно
независимые нормально распределенные величины с плот-
плотностью п. Случайная величина F= v- называется статисти-
J /га *
кой Снедекора, а ее плотность -^w\-^x) — плотностью Снеде-
кора или /""-плотностью. Величина Z^ogyF есть Z-статистика
Фишера, а ее плотность в свою очередь Z-плотность Фишера.
Обе статистики являются, конечно, вариантами записи одной и
той же величины.
б) Если X имеет плотность n, a Y2 — плотность 1ч2,чгп, то
величина X/Y имеет плотность
J
C.5)
Действительно, Y имеет плотность 2лф/„ v2n(^2), и выражение
C.2) принимает вид
2I
— л
2
Г A
Подстановка s=-^ (l+t2)y2 сводит C.6) к C.5).
В статистике выражение C.5) называется плотностью Стьюден-
та. Это плотность распределения величины x/V"y?+ ... -\-У„,
где X, Yb ..., Yn — независимые одинаково нормально распре-
распределенные величины с нулевым математическим ожиданием.
(Дисперсия не играет роли ввиду однородности.) >
§ 4. Некоторые распространенные плотности
а) Двусторонняя показательная плотность определяется вы-
выражением -2-ae~a|jr|> где a — масштабный параметр. Ей соответ-
соответствует нулевое математическое ожидание и дисперсия 2ог2. Эта
плотность представляет собой свертку показательной плотности
а.е~ах (л:>0) со своим зеркальным отображением аеах (х<0).
Иными словами, двусторонняя показательная плотность являет-
является плотностью величины Х( — Х2, где Xi и Х2 независимы и об-
обладают одной и той же показательной плотностью ае~ах (х>0),
Во французской литературе это распределение обычно называют

70 Гл. II. Специальные плотности. Рандомизация
«вторым законом распределения Лапласа» (первым считается
нормальное распределение).
б) Равномерная (или прямоугольная) плотность рA и тре-
треугольная плотность та, сосредоточенные на —а, а, определяются
соответственно выражениями
Легко видеть, что рп*ра = Т2а, или словами: сумма двух равно-
равномерно распределенных на •—а, а величин имеет треугольную
плотность распределения на —2а, 2а. [Повторные свертки
I (97)]
*
рр
Р« были описаны в гл. I, (9.7).]
в) Бета-плотности на 0, 1 определяются как
P(*)= ЩШ{Х -КГ1** 0
D.2)
где [х>0 и v>0 — свободные параметры. То, что D.2) действи-
действительно определяет плотность вероятностей, следует из B.5). Из
той же самой формулы видно, что рм. v имеет математическое
ожидание v/(n + v) и дисперсию [iv/[(n, + vJ((i + v+l)]. Если
ц<1, v<l, то график Рц, v является U-образным, уходящим в
бесконечность при х, стремящемся к 0 или 1. При (х>1, v>l
график колоколообразен.
Простой вариант бета-плотности определяется формулой
Если случайная величина X имеет плотность D.2), то величина
Y = X-' — 1 имеет плотность D.3).
В системе плотностей Пирсона плотности D.2) и D 3) именуются плот-
плотностями типа I и VI соответственно. Плотность Снедекора C.3) есть не что
иное, как частный случай плотности D.3). Плотности D.3) иногда называются
плотностями Парето (в честь экономиста Парето). Считалось (несколько
наивно с современной статистической точки зрения), что распределения до-
дохода должны иметь хвост с плотностью ~Ах~а при я'->оо, а D.3) удовле-
удовлетворяет этому требованию.
г) Так называемая «арксинус-плотность»
ЛГ \ —. 0<х<\ D.4)
я У х{\ — х)
фактически то же самое, что и бета-плотность (Ц, у2, однако эта
плотность заслуживает специального упоминания вследствие ее
частого появления в теории флуктуации. (Мы ввели ее в 1,
гл. III, 5 в связи с неожиданным поведением времени пребыва-
пребывания.) Вводящее в заблуждение название, к сожалению, обще-

§ 4. Некоторые распространенные плотности 71
употребительно; фактически функция распределения равна
2я"' arc sinj^x. (Бета-плотности с jj, + v=1 иногда называются
«обобщенными арксинус-плотностями».)
д) Плотность Коши с центром в начале координат опреде-
определяется как
yt М ^ 7Г ' Р + х* ' ~ °° < Х < °°' D>5)
где ^>0 — масштабный параметр. Соответствующая функция
распределения равна лг1 arc tg(x/t). График yt напоминает гра-
график нормальной плотности, но приближается к оси х столь мед-
медленно, что математическое ожидание не существует.
Важность плотностей Коши обусловлена формулой свертки
для них ,. _.
ys*yt = ys+t- D.6)
Этим утверждается, что семейство плотностей Коши D.5) замк-
замкнуто относительно свертки. Формула D.6) может быть доказана
элементарным (но скучным) способом с помощью обычного раз-
разложения подинтегральной функции на элементарные дроби. Бо-
Более простое доказательство опирается на анализ Фурье.
Формула свертки D.6) имеет весьма интересное следствие,
а именно: для независимых случайных величин Хь . . . , Х„,
имеющих одинаковую плотность распределения D.5), среднее
значение (Х(-К.. . + Хп)/п распределено с той же самой плот-
плотностью, что и Xj.
Пример. Рассмотрим лабораторный опыт, заключающийся в
том, что вертикальное зеркало проецирует горизонтальный
световой луч на стену. Зеркало может свободно вращаться от-
относительно вертикальной оси, проходящей через А. Мы предпо-
предполагаем, что направление отраженного луча выбирается «случай-
«случайно», т. е. угол ф между этим лучом и перпендикуляром АО к
стене распределен равномерно между —1/2п и 1/гп. Световой луч
пересекает стену в точке, которая лежит от точки О на рас-
расстоянии
(t равно расстоянию АО центра зеркала А от стены). Теперь
очевидно, что случайная величина X имеет плотность D.5) ').
') Простая переформулировка этого эксперимента приводит к физической
интерпретации формулы свертки D.6). Наше рассуждение показывает, что
если единичный источник света находится в начале отсчета, то у< представ-
представляет распределение интенсивности света вдоль линии y—t на х, (/-плоскости.
Тогда D.6) выражает принцип Гюйгенса, согласно которому интенсивность
света вдоль направления y = s+t такая же, как если бы источник был рас-
распределен вдоль линии y — t с плотностью y<- (Я обязан этим замечанием
Дж. В. Уолшу.)

72 Гл. 11. Специальные плотности. Рандомизация
Если эксперимент повторен п раз, то среднее (Xi + . . . + Х„)/п
имеет ту же самую плотность распределения и таким образом
средние не накапливаются вокруг нуля, как можно было бы
предположить по аналогии с законом больших чисел. ^
Плотность распределения Коши обладает любопытным свой-
свойством: если X имеет плотность yt, то 2Х имеет плотность уы =
~Yt * Yf- Таким образом, величина 2Х = Х + Х является суммой
двух зависимых величин, однако ее плотность задается форму-
формулой свертки. Более того, если U и V — две независимые вели-
величины с одинаковой плотностью \t и X — aV + bV, Y = cU+rfV, то
величина X+Y имеет плотность \{a+b+c+d)t, что представляет со-
собой свертку плотностей \(a+b)t величины X и у(с+<о« величины Y;
однако X и Y не являются независимыми. (Схожий пример см.
в задаче 1 в гл. III, 9).
[Плотность Коши соответствует частному случаю п=\ семей-
семейства C.5) /-плотностей Стьюдента. Иными словами, если X и
Y— независимые случайные величины с нормальной плот-
плотностью н, то величина X/|Y| имеет плотность распределения
Коши D.5) с /=1. Некоторые другие родственные плотности см.
в задачах 5, 6.]
Свойство свертки гамма-плотностей, выраженное формулой
B.3), выглядит точным подобием свойства D.6), однако суще-
существует важное различие, состоящее в том, что для гамма-плот-
гамма-плотностей параметр а является существенным, в то время как фор-
формула D.6) содержит только масштабный параметр. Тип распре-
распределений Коши является устойчивым типом. Эта устойчивость
относительно операции свертки свойственна плотностям Коши
и нормальным плотностям; различие заключается в том, что
масштабные параметры определяются согласно правилам
а2 = о^ -\- а'^а a = ai + cc2 соответственно. Имеются другие устой-
устойчивые плотности с подобными свойствами, и после систематиза*
ции терминологии мы будем называть нормальные плотности и
плотности Коши «симметричными, устойчивыми с показате-
показателями 2 и 1» (см. гл. VI, 1).
е) Одностороннее устойчивое распределение с показателем
'/2. Если 9f — нормальное распределение, заданное формулой
A.6), то равенство
Fa (х) = 2 [l - Я f~=jj , x > 0 D.7)
определяет функцию распределения с плотностью

§ 4 Некоторые распространенные плотности 73
Очевидно, что математическое ожидание не существует. Это
распределение было найдено в 1, гл. III, (8, в) и снова в 1,
гл. X, 1 как предел распределения времен возвращения. Отсюда
легко вывести правило композиции
fa^p^/v г«е /Y=/« + V% D-9)
(Возможна проверка элементарным, но несколько громоздким
способом интегрирования. Доказательство, основанное на ана-
анализе Фурье, проще.) Если Хь . .., Х„ — независимые случайные
величины с распределением D.7), то из равенства D.9) следует,
что величина (Xi + .. . + \n)n~2 имеет то же самое распределе-
распределение, и поэтому средние |Х±-f-... +Хп\п~1 вероятно должны быть
порядка п; вместо того чтобы сходиться, они безгранично воз-
возрастают (см. задачи 7 и 8).
ж) Распределения вида е~х~а(х>0, a>0) появляются в связи с порядко-
порядковыми статистиками (см. задачу 8). Вместе с разновидностью 1— е~*а они по-
появляются (несколько таинственно) под именем распределений Вейбула в ста-
статистической теории надежности.
з) Логистическая функция распределения
1+!.n,_3, °>0 D.10)
может служить предостережением. Существует невероятно большая литера-
литература, где делаются попытки доказать трансцендентный «закон логистического
развития». Предполагалось возможным представить практически все про-
процессы развития (измеренные в соответствующих единицах) функцией типа
D.10) с t, изображающим время. Весьма длинные таблицы с хи-квадрат кри-
критериями подтверждали это положение для человеческих популяций, бакте-
бактериальных колоний, развития железных дорог и т. д. Было обнаружено, что
как высота, так и вес растений и животных подчиняются логистическому за-
закону, хотя из теоретических соображений ясно, что эти две величины не мо-
могут подчиняться одному и тому же распределению. Лабораторные экспери-
эксперименты на бактериях показали, что даже систематические нарушения не могут
привести к другим результатам. Теория популяций была основана на логисти-
логистических экстраполяциях (даже если они оказывались очевидным образом не-
ненадежными). Единственное затруднение «логистической-» теории заключается
в том, что не только логистическое распределение, но также нормальное,
Коши и другие распределения могут быть подогнаны под тот же самый ма-
материал с тем же или лучшим согласием1). В этой конкуренции логистическое
распределение не играет никакой выдающейся рани: самые противоречивые
теоретические модели могут быть подтверждены на том же наблюдательном
материале.
Теории этого рода недолговечны, так как они не открывают новые пути,
а новые подтверждения одних и тех же старых вещей очень скоро стано-
становятся надоедливыми. Однако наивное рассуждение само по себе не было за*
') Feller W., On the logistic law of growth and its empirical verifica-
verifications in biology, Ada Biotheoretica, 5 A940), 51—66,

74 Гл. II. Специальные плотности. Рандомизация
менено здравым смыслом, и поэтому может быть полезно иметь очевидное-
доказательство того, как могут вводить в заблуждение взятые сами по себе
критерии согласия.
§ 5. Рандомизация и смеси
Пусть F — функция распределения, зависящая от пара-
параметра 0, и и — некоторая плотность вероятности. Тогда
+ ОО
W (х) = J F (х, 6) и (9) dO E.1)
— со
есть монотонная функция х, возрастающая от 0 до 1, и, сле-
следовательно, функция распределения. Если F имеет непрерывную
плотность f, то и IF имеет плотность w, равную
w(x) = j f{x, Q)u(Q)dQ. E.2)
— с»
Вместо интегрирования относительно плотности и мы можем
суммировать по отношению к дискретному распределению ве-
вероятностей: если 0i, 02,... выбраны произвольно и если р^О,
2/?ft=l, то равенство
то(*)=2/(*. О*)А E-3)
к
определяет новую плотность вероятностей. Процесс может быть
описан вероятностно как рандомизация; параметр 0 рассматри-
рассматривается как случайная величина, и новое распределение вероятно-
вероятностей определяется в х, 0-плоскости, которая служит выбороч-
выборочным пространством. Плотности вида E.3) называются смесями,
и это выражение здесь используется вообще для распределений,
полученных рандомизацией (даже когда интегрирование прово-
проводится относительно общего распределения для 0).
Мы не предполагаем на этом этапе развивать общую тео-
теорию. Наша цель скорее в том, чтобы проиллюстрировать на не-
нескольких примерах возможности этого метода и его вероятно-
вероятностное содержание. Примеры служат также подготовительным
материалом к понятию условных вероятностей. Следующий пара-
параграф содержит примеры дискретных распределений, полученных
посредством рандомизации непрерывного параметра. Наконец,
§ 7 иллюстрирует построение непрерывных процессов на основе
случайных блужданий; попутно мы получим распределения,
встречающиеся во многих приложениях и требующие при дру-
другом подходе затруднительных вычислений.
Примеры, а) Отношения. Если X — случайная величина с
плотностью /, то при фиксированном у>0 величина Х/у имеет

§ 5. Рандомизация и смеси 75
плотность f{xy)y. Рассматривая параметр у как случайную ве-
личину с плотностью g, мы получаем новую плотность
Ч сю
™ (х) = j f {xy) yg (у) dy. E.4)
— со
{Это то же самое, что и формула C.2), которая была основой
для обсуждений в § 3. Если f = f\tlx и g = fi,v, то результирующая
плотность w дается формулой D.3).]
На вероятностном языке рандомизация знаменателя у в Х/у
означает рассмотрение случайной величины X/Y, и мы можем
просто повторить вывод формулы C.2) для плотности величины
X/Y. В этом частном случае терминология есть дело вкуса.
б) Суммы случайного числа слагаемых. Пусть Хь Х2, ...
взаимно независимые случайные величины с одинаковой плот-
ностью /. Сумма Sn = Xi+ ... +Х„ имеет плотность /п*, а имен-
именно «-кратную свертку / с собой (см. гл. 1,2). Число слагаемых
п является параметром, который мы теперь рандомизируем с
помощью распределения вероятностей P{N = n} = pn- Плотность
результирующей суммы Sn со случайным числом слагаемых N
равна
со
™=2/>яГ- E-5)
Возьмем, например, в качестве {р„} геометрическое распределе-
распределение Pn = QPn~l, а в качестве / — показательную плотность. Тогда
/"* =gn-\ дается формулой B.2) и
со
S(ax\n
Iя (я-1I =Яае-^'. E.6)
Таким образом, w — снова показательная плотность.
в) Применение к теории очередей. Рассмотрим один обслу-
обслуживающий прибор с показательным распределением времени
обслуживания (плотность f(t) =\ie~^t) и предположим, что по-
поступающая нагрузка — это нагрузка пуассоновского типа, т. е.
что интервалы времени между вызовами независимы и имеют
плотность распределения Хе~и, Кц. Данная модель описана в
1, гл. XVII, G, в). Поступающие вызовы становятся в (воз-
(возможно, пустую) «очередь» и обслуживаются в порядке поступ-
поступления без перерывов. Было показано, что система стремится к
стационарному состоянию, в котором вероятность наличия около
прибора п абонентов (ожидающих или обслуживаемых) стре-
стремится к qpn, где p = kl\x, [см. 1, XVII, G.10) с а=1]. Здесь

76 Гл. II. Специальные плотности. Рандомизация
п = 0, 1,... . Рассмотрим теперь вызов, прибывающий в момент
времени t. Общее время Т, которое он проводит в системе об-
обслуживания, равно сумме времени обслуживания его самого и
времен обслуживания п абонентов, ставших в очередь до него;
плотность Т равна поэтому /<п+1)*=/ц, n+i- Если предположить,
что для очереди имеет место стационарное распределение, то
последний пример показывает, что полное время, проведенное
вызовом в системе обслуживания, имеет плотность
(\i — X)e~(v-W и математическое ожидание 1/(ц — X). (См. за-
задачу 10.)
г) Очереди на автобус. Предполагается, что автобус появ-
появляется каждый час (в час, в два часа ... и т. д.), но может за*
паздывать. Мы рассмотрим последовательные запаздывания Xft
как независимые случайные величины с одним и тем же распре-
распределением F и плотностью /. Для простоты мы предполагаем,
что О-^Ха-^1. Обозначим через Тж время ожидания для чело-
человека, прибывшего в момент х<1 после полудня. Вероятность,
что автобус, назначенный на полдень, уже ушел, равна F(x).
Ясно видно, что
при 0<t<l—x,
==[l—F(x)-\-F(x)F(t-\-x — l) при 1— x<t<2 — х, E'7*
и, конечно, Р{Тж^/} = 1 для всех больших t. Соответствующая
плотность равна
f(t-\-x) при 0<t<\—x,
— l) при 1— x<t<2 — x.
Здесь момент х прибытия является свободным параметром, и
его естественно рандомизировать. Например, для человека, при-
прибывающего «наугад», момент прибытия представляет собой слу-
случайную величину, распределенную равномерно на 0, 1. Среднее
время ожидания равно в данном случае 1/о + о2, где а2 есть дис«
Персия времени запаздывания. Другими словами, среднее время
ожидания является наименьшим тогда, когда автобусы идут
точно по расписанию, и возрастает вместе с дисперсией запаз-
запаздывания. (См. задачи 11,12.) !>
§ 6. Дискретные распределения
Этот параграф посвящен беглому обзору некоторых резуль-
результатов применения рандомизации к биномиальному и пуассонов*
скому распределениям.

§ 6. Дискретные распределения 77
Число Sn успехов в испытаниях Бернулли подчиняется рас-
распределению, зависящему от вероятности успеха р. Рассматривая
р как случайную величину с плотностью и, мы придем к новому
распределению
()j Л = 0, .... я. F.1)
Примеры, а) Если и(р) = \, то интегрированием по частям
можно показать, что распределение, заданное формулой F.1),
не зависит от k и сводится к дискретному равномерному распре-
распределению вероятностей P{Sn — k}=(n + \)~i. Более разъясняющей
является аргументация Байеса. Рассмотрим п+\ независимых
величин Хо, . . . , Х„, распределенных равномерно между 0 и 1.
Интеграл в выражении F.1) (при м=1) равен вероятности того,
что ровно k величин из Хь .. ., Хп будут меньше Хо, или, дру-
другими словами, что при перечислении точек Хо, . . . , Х„ в порядке
возрастания величина Хо появляется на (к+1)-м месте. Но
ввиду симметрии все положения равновероятны, и поэтому ин-
интеграл равен (я+1)-1. >
На языке азартных игр F,1) соответствует ситуации, когда
несимметричная монета выбирается посредством случайного ме-
механизма, после чего испытания производятся с этой монетой (не-
(неизвестной структуры). Игроку испытания не кажутся независим
мыми; действительно, если наблюдается длинная последователь-
последовательность гербов, то правдоподобно, что для нашей монеты р близко
к 1, и поэтому безопасно делать ставку на дальнейшее появле-
появление гербов. Два формальных примера иллюстрируют оценивание
и предсказание в задачах такого рода.
б) Дано, что п испытаний закончились, k успехами (гипоте-
(гипотеза Я). Какова вероятность того, что р<а? По определению ус-
условных вероятностей
а
j pk(\-p)*-ku(p)dp
. F.2)
P{tf} - 1
j pk(\-p)n-ku{p)dp
0
Этот способ оценок использовался Байесом [при и(р) = 1]. В рам-
рамках нашей модели (т. е. если мы действительно занимаемся
смешанной популяцией монет с известной плотностью и) не воз-
возникнет возражений против этого способа. Опасность в том, что
этот способ постоянно использовался без оснований примени^

78 Гл. 11. Специальные плотности. Рандомизация
тельно к суждениям о «вероятностях причин», когда о рандоми-
рандомизации не было и речи; эта точка зрения широко обсуждалась в
примере B,д) в 1, гл. V в связи с вычислением пресловутой
вероятности того, что завтра солнце взойдет.
в) Вариант предыдущей задачи можно сформулировать сле-
следующим образом. Дано, что п испытаний закончились k успе-
успехами; какова вероятность того, что следующие m испытаний за-
закончатся / успехами? То же самое рассуждение приводит к
ответу
—-% . F.3)
[ PkQ.-P)n-*HP)dp
>
Обращаясь к пуассоновскому распределению, мы будем ин-
интерпретировать его как распределение числа «прибытий» за ин-
интервал времени длительностью t. Математическое ожидание
числа прибытий равно at. Мы проиллюстрируем две существен-
существенно различные процедуры рандомизации.
г) Рандомизированное время. Если длительность интервала
времени является случайной величиной с плотностью и, то ве-
вероятность ph ровно k прибытий равна
оо
Г I(IT I
= e~at ^r-u(t)dt. F.4)
о
Например, если интервал времени распределен показательно,
то вероятность й = 0, 1,... новых прибытий равна
что представляет собой геометрическое распределение.
д) Расслоение. Допустим, что имеется несколько независи-
независимых источников для случайных прибытий, каждый источник
имеет пуассоновский вы-ход, но параметры различны. Напри-
Например, аварии в какой-либо установке в продолжение фиксиро-
фиксированного промежутка времени t могут быть представлены
пуассоновскими величинами, но параметр будет меняться от
установки к установке. Аналогично телефонные вызовы от от-
отдельных абонентов могут быть пуассоновскими с математиче-
математическим ожиданием числа вызовов, меняющимся от абонента к або-

#' 7. Бесселевы функции 79
ненту. В таких процессах параметр а появляется как случайная
величина с плотностью и, а вероятность ровно п вызовов за
время / равна
со
О
В частном случае гамма-плотности u = f„v+1 мы получим
что является предельной формой распределения Пойа, дан-
данного в 1, гл. V, (8.3) и 1, гл. XVII, A1.2) (если |3 = а-', v =
= а-»— 1). >
Замечание о ложном заражении. Курьезная и поучительная история при-
приписывается распределению F.7) и его двойственной природе.
Урновая модель Пойа и процесс Пойа, которые приводят к F.7), яв-
являются моделями истинного заражения, где каждый случай эффективно уве-
увеличивает вероятность будущих случаев. Эта модель пользовалась большой
популярностью. Для множества явлений эмпирически проверялось согласие с
F.7). При этом хороший результат воспринимался как признак истинного за-
заражения.
По случайному совпадению то же самое распределение F.7) было полу-
получено еще ранее A920) М. Гринвудом и Дж. Юлом с тем замыслом, что хо-
хорошее согласие с ним опровергает наличие заражения. Их вывод приблизи-
приблизительно соответствует нашей модели расслоения, для которой начальным яв-
является предположение о том, что в основе лежит пуассоновский процесс, т. е.
что полностью отсутствует последействие. Таким образом, мы имеем курьез-
курьезный факт, что хорошее согласие наблюдений с одним и тем же распределе-
распределением может быть истолковано двумя различными способами, диаметрально
противоположными как по своей природе, так и по своим практическим
последствиям. Эго послужит предостережением против слишком поспешной
интерпретации статистических данных.
Объяснение этому лежит в явлении ложного заражения, описанного
в 1, гл. V, B, г) и выше в связи с F.1). В данной ситуации, получив за
интервал времени длиной s in прибытий, можно оценить вероятность п при-
прибытий за следующий интервал времени t по формуле, аналогичной F.3).
Результат будет зависеть от т, но эта зависимость обусловлена способом
выбора, а не природой данных; информация, относящаяся к прошлому, дает
нам возможность делать лучшие предсказания относительно будущего пове-
поведения нашей выборки, но это не следует смешивать с будущим всей попу-
популяции.
§ 7. Бесселевы функции и случайные блуждания
Удивительно мпогие явные решения задач теории диффузии,
теории очередей и других приложений содержат бесселевы функ-
функции. Обычно далеко не очевидно, что решения представляют
собой распределения вероятностей, а аналитическая теория, тре-
требующаяся для получения их преобразований Лапласа и других

80 Гл. II. Специальные плотности. Рандомизация
характеристик, довольно сложна. К счастью, рассматриваемые
распределения (и многие другие) могут быть получены простой
процедурой рандомизации. На этом пути многие соотношения
теряют свой случайный характер, и можно избежать весьма
трудного анализа.
Под бесселевой функцией порядка р^—1 мы будем пони*
мать функцию /р:
к-0
Ы
2k+P
определенную для всех вещественных х1).
Мы приступаем к описанию трех процедур, ведущих к трем
различным типам распределений, содержащих бесселевы функ-
функции.
а) Рандомизированные гамма-плотности
Пусть мы имеем при фиксированном р>—1 гамма-плотность
fup+k+u заданную формулой B.2). Рассматривая параметр k
как целочисленную случайную величину, подчиненную пуассо-
новскому распределению, мы получаем в соответствии с E.3)
новую плотность
OJ ОО
Сравнив выражения G.1) и G.2), мы можем записать
Если р>—1, то wp является плотностью вероятностей, сосре-
сосредоточенной на 0, оо (при р = — 1 правая часть не интегрируема
по х). Заметим, что t — не масштабный параметр, так что эти
плотности принадлежат различным типам.
Между прочим, из этого построения и формулы свертки B.3)
для гамма-плотностей следует, что
') Согласно обычному словоупотреблению, /р — это «модифицированная»
бесселева функция или бесселева функция «с мнимым аргументом». «Обыкно-
«Обыкновенная» бесселева функция, всегда обозначаемая /р, определяется добавле-
добавлением множителя (-1)* в пряную часть G.1). Наше использование названия
бесселевой функции должно рассматриваться как сокращение, а не как ново-
нововведение.

§ 7. Бесселевы функции 81
б) Рандомизированные случайные блуждания
При анализе случайных блужданий обычно считают, что
последовательные переходы совершаются в моменты вре-
времени 1,2,... . Должно быть, однако, ясно, что соглашение про-
просто придает гармоничность описанию и что модель полностью
независима от времени. Настоящие стохастические процессы с
непрерывным временем получаются из обычных случайных блу-
блужданий при предположении, что интервалы времени между по-
последовательными скачками являются независимыми случайными
величинами с одной и той же плотностью еч. Другими словами,
моменты скачков регулируются пуассоновским процессом, а
скачки сами по себе являются случайными величинами, прини-
принимающими значения +1 и —1 с вероятностями р и q, независимо
друг от друга и от пуассоновского процесса.
Каждому распределению, связанному со случайным блу-
блужданием, соответствует некоторое распределение для процесса
с непрерывным временем, которое формально получается рандо--
мизацией числа скачков. Чтобы увидеть процедуру в деталях,
рассмотрим состояние процесса в заданный момент t. В исход-
исходном случайном блуждании n-й шаг приводит к состоянию г^-0
тогда и только тогда, когда среди первых п скачков '/г (п + г)
положительны и 7г(« —г) отрицательны. Это возможно, если
только п — r = 2v четно. В этом случае вероятность состояния г
точно после п-ro скачка равна
, 1 \(п+г) ^(п-г
)Р2 2
Для нашего пуассоновского процесса вероятность того, что
вплоть до момента t произойдет ровно п скачков, равна е~Чп/п\,
и поэтому для нашего процесса с непрерывным временем ве-
вероятность состояния г^О в момент t равна
и мы приходим к двум заключениям.
(i) Если мы определим /_г = /г при г=1, 2, 3, ... , тогда при
фиксированных t>0, p, q выражение
r = 0, ±1, ±2, ... G.7)
представляет распределение вероятностей (т. е. а^О, 2аг=1).
(п) В нашем случайном блуждании с непрерывным време-
временем а, (/) равно вероятности состояния г в момент t.

62 Гл. II. Специальные плотности. Рандомизация
Две известные формулы для бесселевых функций являются непосред-
непосредственными следствиями этого результата. Во-первых, если изменить обозначе-
обозначения, полагая 2ypgt = x и p/q = u2, то тождество Xar(t) = l превращается в
^^""'Lf//,,,). G.8)
— со
Это так называемая производящая функция для бесселевых функций (фор-
(формула Шлемильха, которая иногда служит в качестве определения для 1Г).
Во-вторых, из природы нашего процесса ясно, что вероятности a, (t),
должны удовлетворять уравнению Колмогорова — Чепмена
со
ar(t + x)= ^ в* <0 в,-* СО. G-9)
k = — со
которое отражает тот факт, что в момент t частица должна быть в некото-
некотором состоянии k и что переход из k в г эквивалентен переходу из 0 в г — k.
Мы возвратимся к этому соотношению в гл. XVII, 3. [Его легко проверить
непосредственно, используя представление G.6) и аналогичную формулу для
вероятностей в случайном блуждании.] Уравнение Колмогорова — Чепмена
G.9) эквивалентно формуле
со
М* + '0= S h(t)lr-k(i), G.10)
? = -со
которая известна как тождество К- Неймана.
в) Первые прохождения
Для простоты сосредоточим наше внимание на симметричных
случайных блужданиях p = q = xk. Согласно 1, гл. III, D.11), ве-
вероятность того, что первое прохождение через точку г>0 про-
произойдет во время скачка с номером 2п — г, равна
"'. .>г. G.11)
Случайное блуждание возвратно. Поэтому первое прохождение
происходит с вероятностью единица, т. е. при фиксирован-
фиксированном г величины G.11) дают в сумме единицу. В нашем процес-
процессе момент k-то скачка имеет гамма-плотность fuh, заданную
формулой B.2). Отсюда следует, что момент первого прохо-
прохождения через г>0 распределен с плотностью
2п-г @ =
Bп-Г)\_2-2п,Г==е-!Г
2п — г\ п Г 1ьг
n\(n-r)\
Таким образом, (i) при фиксированном г=\, 2, ... выражение
VrV) = e-'-j/r(t) G.13)

§ 8. Распределения на окружности 83
определяет плотность вероятности, сосредоточенную на О, оо.
(И) Момент первого прохождения через г>0 имеет плотность
vr. (См. задачу 14.)
Этот результат позволяет сделать другие интересные за-
заключения. Первое прохождение через г + р в момент t предпола-
предполагает предварительное первое прохождение через г в некоторый
момент s<t. Вследствие независимости скачков в интервалах
времени 0, s и s, t и свойства отсутствия последействия у пока-
показательного времени ожидания мы должны иметь
•or*vp = vr+(t. G.14)
[Проверка этого соотношения по формуле G.12) будет легкой,
если использовать соответствующее свойство свертки для ве-
вероятностей G.11).]
Фактически утверждение (i) и соотношение G.14) справед-
справедливы для всех положительных значений параметров г и р1).
§ 8. Распределения на окружности
I—
Полуоткрытый интервал 0, 1 можно рассматривать как изо-
изображение окружности единичной длины, но предпочтительнее
обернуть всю прямую вокруг окружности. Окружность тогда
приобретает ориентацию, а длина дуги изменяется от —оо до
оо, но х, х±1, х±2, . . . интерпретируются как одна и та же
точка. Сложение происходит по модулю 1 (так же как слеже-
слежение углов по модулю 2л). Плотность распределения вероятно-
вероятностей на окружности есть периодическая функция ср^О, такая,
что —
<p(jc)rf;c=l. (8.1)
Примеры, а) Задача Бюффона об игле A777 г.). Традицион-
Традиционная формулировка такова: плоскость разбивается на параллель-
параллельные полосы единичной ширины. Произвольным" образом бро-
бросается на плоскость игла единичной длины. Какова вероятность,
что игла ляжет на плоскости так, что заденет две полосы?
Чтобы поставить задачу формально, рассмотрим сначала центр
иглы. Его положение определяется двумя координатами, но у
Мы пренебрегаем, а х приводим по модулю 1. Таким образом,
«центр иглы» превращается в случайную" величину X, равномерно
') Feller W,, Infinitely divisible distributions and Bessel functions asso-
associated with random walks. /. Soc. Indusi. Appl Math. A966)

84 Гл. II. Специальные плотности. Рандомизация
распределенную на окружности. Направление иглы может
быть описано углом (измеренным по часовой стрелке) между
иглой и х-осью. Поворот на угол я возвращает иглу в то же
самое положение. Так как мы имеем дело с окружностью еди-
единичной длины, обозначим рассматриваемый угол через Хя.
В задаче Бюффона подразумевается, что X и Z — независимые
равномерно распределенные на окружности единичной длины
величины ').
Если мы выбираем значения X между 0 и 1, а значения Z
между —'/г и '/г, то игла пересекает границу тогда и только
тогда, когда yCOsZn>X или -H-cosZn>l—X. По сообра-
соображениям симметрии два события равновероятны, и поэтому иско-
мая вероятность равна
1/2
J coszn-dz==~. (8.2)>
-1/2
Случайная величина X на прямой может быть преобразована
по модулю 1 в величину Х° на окружности. Случайными величи-
величинами такого рода являются ошибки округления при численных
подсчетах. Если X имеет нлотность /, то плотность величины Х°
равна 2)
ф(*)= 2/(•* + «)• (8.3)
— со
Любая плотность на прямой, таким образом, индуцирует плот-
плотность вероятностей на окружности. [В гл. XIX, 5 мы увидим, что
та же самая функция ф допускает совершенно иное предста-
представление в виде рядов Фурье. Частный случай нормальных плот-
плотностей см. в примере E, д) гл. XIX.]
б) Задача Пуанкаре о рулетке. Рассмотрим число поворо-
поворотов колеса рулетки как случайную величину X с плотностью /,
сосредоточенной на положительной полуоси. Наблюденный ре«
зультат, а именно точка Х°, против которой колесо останавли-
останавливается, является величиной X, приведенной по модулю 1. Ее
плотность дается формулой (8.3).
') Выборочное пространство пары (X, Z) есть юр.
2) Читателям, которых беспокоит вопрос сходимости, следует рассматри-
рассматривать только плотности f, сосредоточенные на конечном интервале. Если /
монотонна при достаточно больших х и —х, то, очевидно, имеет место равно-
равномерная сходимость. Если не накладывать на f никаких ограничений, то ряд
может расходиться в некоторых точках, но ср всегда представляет собой плот-
плотность, так как частные суммы в (8.3) образуют монотонную последователь-
последовательность функций, интегралы которых стремятся к 1 ( см. гл. IV, 2).

§ 8. Распределения на окружности 85'
Естественно ожидать, что «при обычных обстоятельствах»
плотность Х° должна быть приблизительно равномерной.
В 1912 г. Пуанкаре придал этой расплывчатой мысли форму
предельной теоремы. Мы не будем повторять здесь его анализ,
так как подобный результат легко следует из (8.3). Подразуме-
Подразумевается, конечно, что данная плотность по существу «расплы-
«расплывается» на длинный интервал, так что ее максимум m мал.
Предположим для простоты, что / возрастает вплоть до точки а,
где она достигает своего максимума m=f(a), и что / убывает
при х~>а. Хотя /(s)=0 при s<0, мы пишем
При фиксированном х обозначим xh единственную точку вида
х + п, такую, что a+k^Cxk < a + k+ 1. Тогда формула (8.4) может
быть переписана в виде
со xk+\
J [f(xk)-f(s)}ds. (8.5)
*—со н
При k< —1 подинтегральная функция ^СО, и поэтому
со
<р (х) - 1 < f (а) + 2 [/ (х„) - f (xk+l)] < 2/ (а) = 2m.
Аналогичные аргументы доказывают, что <р(л;) — 1 ^—т. Та-
Таким образом, |<р(я) — 11 < 2т, и, следовательно, ф действи-
действительно приближенно постоянна.
Условия монотонности были наложены на плотность только
ради простоты изложения и могут быть ослаблены многими спо-
способами. [Хорошие достаточные условия могут быть получены при-
применением формулы суммирования Пуассона, гл. XIX, E.2).]'
в) Распределение первых значащих цифр. Известный уче-
ученый, прикладной математик, имел громадный успех в заключае-
заключаемых пари на то, что число, выбранное наугад в Farmer's Alma-
Almanac или Census Report или в подобном компендиуме, будет
иметь первую значащую цифру меньше 5. Наивно предпола-
предполагается, что все девять цифр равновероятны, в этом случае ве-
вероятность того, что цифра не превосходит 4, будет равна 4/э-
Практически ') она близка к 0,7.
•) Эмпирические данные см. в статье В е п f о г d F., The law of anoma-
anomalous numbers, Proc. Atner. Philos. Soc, 78 A938), 551—572.

86 Гл. II. Специальные плотности. Рандомизация
Рассмотрим дискретное распределение вероятностей, припи-
приписывающее цифре k вероятность /?ft = Log (?+, 1) — Log k (где Log
обозначает логарифм по основанию 10 и k=\, . . . , 9). Так как
/?i~0,3, то наше распределение заметно отличается от равно-
равномерного распределения с весами 1/9 = 0,111... . Мы теперь пока-
покажем [следуя Р. С. Пинкхэму], что распределение {ph} правдопо-
правдоподобно как эмпирическое распределение первой значащей цифры
чисел, выбранных наугад из большой совокупности физических
или наблюденных данных. Действительно, такое число может
быть рассмотрено как случайная величина Y>0 с некоторым
неизвестным распределением. Первая значащая цифра Y рав-
равна 1 тогда и только тогда, когда 10ft-^ Y<2 • 10fe, т. е. когда
k ^ Log Y < Log 2 + k. Обозначим через Х° величину Log Y, при-
приведенную по модулю 1. Если размах Y очень велик, то правдо-
правдоподобно, что распределение величины Х° близко к равномерному
распределению. Но 1 является первой значащей цифрой Y то-
тогда и только тогда, когда Х° лежит между 0 и Log 2, и вероят-
вероятность этого события тогда близка к Log 2. Подобное рассужде-
рассуждение применимо и к другим цифрам. >
Формула свертки A.5) и умозаключения, приводящие к ней,
остаются справедливыми в случае, когда сложение производится
по модулю 1. Таким образом, свертка двух плотностей на
¦окружности длины 1 есть плотность, определяемая формулой
1
w(x)=jfl(x-y)f2{y)dy. (8.6)
о
Если X, и Хг — независимые величины с плотностями /ч и f2, то
Х4 + Х2 имеет плотность w. Так как эти плотности — периодиче-
периодические функции, свертка равномерной плотности с любой другой
плотностью является равномерной. (См. задачу 15.)
§ 9. Задачи
1. Покажите, что нормальное приближение для биномиального распреде-
распределения, выведенное в 1, гл VII, позволяет обосновать формулу свертки A.7)
для нормальных плотностей.
2, Используя подстановку х='/2</21 докажите, что
3. Формула удвоения Лежандра. Из формулы B.5) при [t = v вывести, что

§ 9. Задачи 87
Указание. Используйте подстановку 4(г/—y2)=s в интервале 0<у<1/2-
4. Пусть g (x) =~2 ?"'¦*'. Найдите свертки g*g и g*g*g.
5. Пусть X и Y — одинаково распределенные независимые случайные ве-
величины с плотностью Коши у](х), определенной по D.5). Докажите, что про-
произведение XY имеет плотность 2л~2 —j—=- .
Указание. Для вычисления не требуется ничего, кроме соотношения
а—1 1 1
(l+s)(a + s) 1+s
6. Пусть
... 2 1
/(-*) = ¦
л ех -f- e~x '
Докажите тогда, что
двумя способами: а) рассматривая величины log X и logY в обстановке пре-
предыдущей задачи; б) непосредственно при помощи подстановки e-IJ = t и раз-
разложения на элементарные дроби. (См. задачу 7 в гл. XV, 9.)
7. Если X имеет нормальную плотность П, то очевидно, что Х~2 имеет
устойчивую плотность D.8). Используя это, покажите, что, если X и Y — не-
независимые нормально распределенные величины с нулевым математическим
ожиданием и дисперсиями Oj и о|, то величина Z = XY/ }^Х2 -(- Y2 нормаль-
нормально распределена с дисперсией а\, такой, что \ja\ = \ja\-[-\ja\ (Л. Шепп).
8. Пусть величины Хь ..., Х„ независимы и Х(„) — наибольшая среди них.
Покажите, что, если Xj имеют
а) плотность Коши D.5), то
б) устойчивую плотность D.8), то
;/2*Г) х>0.
9. Пусть величины X и Y независимы с плотностями t n g, сосредоточен-
сосредоточенными на 0,со. Если Е(Х)<со, то отношение X/Y имеет конечное математиче-
математическое ожидание тогда и только тогда, когда
1
f — g (У) dy < со.
О У
10. Пусть в примере E, в) t произвольно. Обозначим через /+Т момент
первой разгрузки после t. Найдите плотность распределения времени ожида-
ожидания Т (имейте в виду возможность отсутствия вызовов в момент t).

Гл. П. Специальные плотности. Рандомизация
11. В условиях примера E, г) покажите, что
1-х
-X)+ J tf(t+x)dt,
о
где ц есть математическое ожидание F. Используя это, проверьте утвержде-
утверждение относительно Е(Т), когда х распределено равномерно.
12. В примере E, г) найдите распределение времени ожидания, когда
/@ = 1 Для 0<«1.
13. Пусть X и Y независимы и подчинены распределению Пуассона с од-
одним и тем же параметром Р{Х = гг}=е~'^"/п!. Покажите, что
Р{Х —Y = r}=e-2'/|r| B0- г = 0, ±1, ±2
14. Результаты § 7 (в) остаются справедливыми для несимметричных слу-
случайных блужданий при условии, что вероятность первого прохождения че-
через г>0 равна единице, т. е. при условии p^q. Покажите, что единствен-
единственное изменение в G.11) состоит тогда в том, что 2~2п+г заменяется на pnqn~r,
а вывод таков: при p^-q и г=1, 2, ...
определяет плотность вероятностей, сосредоточенную на 0,оо*
15. Пусть X и Y — независимые случайные величины, а Х° и V0 те же
величины, приведенные по модулю 1. Покажите, что величина X + Y приво-
приводится по модулю 1 в X° + Y°. Непосредственным вычислением проверьте соот-
соответствующую формулу для сверток.

ГЛАВА III
МНОГОМЕРНЫЕ ПЛОТНОСТИ
НОРМАЛЬНЫЕ ПЛОТНОСТИ И ПРОЦЕССЫ
По понятным причинам многомерные распределения встре-
встречаются реже, чем одномерные распределения, и материал этой
главы почти не будет играть роли в последующих главах.
С другой стороны, глава содержит важный материал, например
известную характеризацию нормального распределения и ме-
методы, применяемые в теории случайных процессов. Истинная
природа этих методов становится более понятной, если отделить
их от усложненных задач, с которыми они иногда связываются.
§ 1. Плотности
В ходе дальнейшего изложения будет очевидным, что число
измерений несущественно И лишь ради типографских удобств
мы будем иметь дело с декартовой плоскостью М'г. Мы связы-
связываем с плоскостью фиксированную систему координат с коор-
координатными величинами Хь Х> (более удобное однобуквенное
обозначение будет введено в § 5).
Неотрицательная интегрируемая функция f, заданная в <№2
и такая, что ее интеграл равен единице, называется плотностью
вероятности или просто плотностью. (Все плотности, встречаю-
встречающиеся в этой главе, — кусочно-непрерывны, и поэтому их интег-
интегрируемость не требует разъяснений.) Плотность / приписывает
области Q вероятность
P(Q) = J J f(xu x2)dx,dx2, A.1)
G
при условии, конечно, что область Q достаточно регулярна для
того, чтобы интеграл существовал. Все такие вероятности одно-
однозначно определяются через вероятности, соответствующие пря-
прямоугольникам, параллельным осям, т. е.
Р \ах < Xj < bi, a2 < Х2 < b2) = J \\{xx, x2) dxx dx2 A.2)

90 Гл III. Многомерные плотности
при всех комбинациях at<6j. Полагая а^ = а2 =—оо, мы получим
функцию распределения F, а именно
F(xu x2) = P{Xl<Cxl, X2<x2}. A.3)
Очевидно, что F(bit х2) —F(alt х2) представляет собой вероят-
вероятность, соответствующую полубесконечной полосе шириной
Ь\ — аи и так как прямоугольник в A.2) выражается раз-
разностью двух таких полос, то вероятность A.2) равна
F(bit Ьг) —F(au Ьг) —F(bi, a2)+F(au a2)
(так называемая смешанная разность). Отсюда следует, что по
функции распределения F однозначно определяются все вероят-
вероятности A.1). Несмотря на формальную аналогию с прямой ли-
линией, понятие функции распределения на плоскости гораздо ме-
менее полезно, поэтому лучше сосредоточиться на задании вероят-
вероятностей A.1) в терминах плотности. Это задание отличается от
совместного распределения вероятностей двух дискретных слу-
случайных величин A, гл. IX, 1) в двух отношениях. Во-первых,
суммирование заменено интегрированием, и, во-вторых, вероят-
вероятности теперь приписываются лишь «достаточно регулярным об-
областям», тогда как в дискретных выборочных пространствах
всем множествам соответствовали вероятности. Так как в на-
настоящей главе рассматриваются простые примеры, в которых
это различие едва уловимо, понятия и термины дискретной тео-
теории переносятся на новый случай в понятной форме. Так же как
и в предыдущих главах, мы используем поэтому вероятностный
язык без всякой попытки привлечения общей теории (которая
будет изложена в гл. V).
Из A.3) очевидно, что1)
PiX^x^^FiXu оо). A.4)
Таким образом, Fi(x) =F(x, оо) определяет функцию распреде-
распределения величины Хь а ее плотность fi равна
+ ОО
h(x)= jf(x,y)dy. A.5)
—со
Если желательно подчеркнуть связь между Xt и парой (Xi, X2),
мы говорим об Fi как о частном (или маргинальном) распре-
распределении2) и об /i как о частной (маргинальной) плотности.
') Здесь и в дальнейшем ?/(co) = Iim U(x) при лг->оо, и использование
символа U(co) подразумевает существование предела.
2) Другой принятый термин: проекция на ось.

§ 1. Плотности 91
Математическое ожидание ц4 и дисперсия о] величины Х(,
если они существуют, даются следующими формулами:
-t СО +СО
M] = E(X,)=J J *,/(*„ x2)dx,dx2 A.6)
— оо —сю
-f-co 4-со
о\ = Var (X,) = J J (хг ~ и-,J / (*„ х2) dxx dx2. A.7)
-со —оо
По симметрии эти определения применимы также и к Х2. Нако-
Наконец, ковариация Хх и Х2 равна
-f со Ч- со
Cov(Xj, X2)=J J (x, — hh)(x2 — \h)f{*u x2)dxxdx2. A.8)
— CO —CO
Нормированные величины Х(а"' безразмерны, и их ковариация,
а именно p = Cov (Хь Х2)я, 'а/],есть коэффициент корреляции
Xi и Х2 (см. 1, гл. IX, 8).
Случайная величина U — это функция координатных вели-
величин Xt и Х2; здесь мы снова рассматриваем только такие функ-
функции, что вероятности P{U^/} могут быть выражены интегралами
вида A.1). Таким образом, каждая случайная величина будет
иметь единственную функцию распределения, каждая пара бу-1
дет иметь совместное распределение и т. д.
Во многих ситуациях выгодно переменить координатные ве-
величины, т. е. приписать величинам Yb Y2 роль, ранее исполняв-
шуюся Xj, Xo. В простейшем случае величины Yj определяются
линейным преобразованием
A.9)
с детерминантом A = an«22 — a12«2i > 0. Обычно преобразование
вида A.9) можно описать или как отображение одной плоскости
на другую, или как изменение координат в той же самой пло-
скости. Производя замену переменных A.9) в интеграле A.1),
мы получаем
j J A.10)
где область Q* содержит все точки (уь у2), образ которых
(хи х2) принадлежит Q. Так как события (Хь Х2) ? Q и
(Yi, Y2) d Q* идентичны, ясно, что совместная плотность
(Yi Y2) равна

92 Гл. III. Многомерные плотности
Все это в равной степени справедливо и при более высоком чис-1
ле измерений.
Подобные аргументы применимы к более общим преобразо-
преобразованиям с той лишь разницей, что детерминант Д заменяется яко-
якобианом. Мы будем использовать явно только переход к поляр-
полярным координатам
, X2 = Rsin0, A.12)
где пара величин (R, 0) ограничена условиями RX), —
<0^Ся. Плотность пары (R, в) равна
g(r, 0) = f(rcos9, rsin9)r. A.13)
В пространстве трех измерений используются географические
долгота ф и широта 0 (—я<<р-«Ся и —У2л^-вК1/2п). Тогда коор-
координатные величины выражаются в полярной системе следующим
образом:
, X2 = Rsin<Dcos0, X3 = Rsin0. A.14)
Их совместная плотность записывается как
g(r, ф, 0) = f (rcoscpcos 0, rsir^cos0, rsin0)r2cos0. A.15)
[При преобразовании A.14) «плоскости» 0 =—1/2п и в = !/гя со-
соответствуют полуосям оси х3, но эта вырожденность не играет
роли, так как эти полуоси имеют нулевую вероятность. Анало-
гичное замечание можно сделать и в отношении начала коорди-
координат для полярной системы на плоскости.]
Примеры, а) Независимые случайные величины. В предыду-
предыдущих главах мы рассматривали независимые случайные величи-
величины Х4 и Х2 с плотностями /i и f2. Это равносильно определению
двумерной плотности равенством f(x\, x2) =fi(x\)f2(x2), где /<—¦
частные плотности.
б) «Случайный выбор». Пусть Г — ограниченная область;
предположим для простоты, что Г — выпуклая область. Обозна-
Обозначим площадь Г через у. Пусть теперь функция f равна у1 вну-
внутри Г и 0 вне Г. Тогда / является плотностью, и вероятность,
соответствующая любой области QczF, равна отношению пло-
площадей Q и Г. По очевидной аналогии с одномерным случаем мы
будем говорить, что пара (Xi, X2) распределена равномерно в
Г. Частная плотность Х4 в точке с абсциссой х^ равна ширине
области Г в этой точке в очевидном смысле этого слова. (См.
задачу 1.)
в) Равномерное распределение на сфере. Единичная сфера Е
в пространстве трех измерений может быть описана при помощи

§ 1. Плотности 93
географических долготы <р и широты 0 равенствами
x-i = cos ф cos 0, х2 = sin qp cos 0, лг3 = sin в. A.16)
Каждой паре (ср, Э), такой, что —л<ф-<п, —Угп<д<{/2п, соот-
ретствует здесь ровно одна точка на сфере, и каждую точку 2,
исключая полюса, можно получить таким путем. Исключитель-
Исключительность полюсов не должна нас беспокоить, так как им соответ-
соответствует нулевая вероятность. Область Q на сфере определяется
своим образом на (ф, 0)-плоскости, и, следовательно, пло-
площадь Q равна интегралу от cosQd^dQ по этому образу [см.
A.15)]. Для описания мысленного эксперимента, заключающе-
заключающегося в «случайном выборе точки на 2», мы должны положить
4яР(?2) = площадь Q. Это эквивалентно определению в (ф, Q)-
рлоскости плотности
I -г— cos0 при —л<ф<я, |8|<-7Гя,
г(ф, 0) = j 4я 2 A-17)
( 0 при других ф и 6.
При таком определении координатные величины независимы и
долгота распределена равномерно на —л, я.
Идея перехода от сферы 2 к (ф, 0)-плоскости хорошо знако-
знакома нам по географическим картам и полезна для теории вероят-
вероятностей. Заметим, однако, что координатные величины в значи-
значительной степени произвольны и их математические ожидания и
дисперсии ничего не значат для первоначального мысленного
эксперимента.
г) Двумерная нормальная плотность. Многомерные нормаль-
нормальные плотности будут введены более систематично в § 6. Оправ-
Оправдание преждевременному появлению двумерного случая в том,
что тем самым обеспечивается более легкий подход к нему в
дальнейшем. По очевидной аналогии с нормальной плотностью
и из II, A.6) можно записать плотность вида ce~q(x^x^, где
q (xv х^ = ахх\-\-2Ьхххг-\-а2х\. Нетрудно видеть, что функция
e~i будет интегрируемой тогда и только тогда, когда aia2 — 62>0
и аь а2>0. В этом случае дисперсии и ковариация легко вычис-
вычисляются. Для целей теории вероятностей предпочтительнее выра-
выразить коэффициенты а,- и b в терминах дисперсий и определить
двумерную нормальную плотность, центрированную в начале
координат, как
1 Г 1 (х\ х,х9 Л
( ) 4 2J+
Г 1 (х\
[ 2(l-p2)Ui
A.18)

9t Гл. III. Многомерные плотности
где Gi>0, 02>О и —1<р<1. Интегрирование по х2 легко выпол-
выполняется с помощью подстановки t = — р — (дополнение до
полного квадрата). Видно, что <р действительно представляет
плотность в S$2. Кроме того, становится очевидным то, что ча-
частные распределения Xj и Х2 снова нормальны1) и что
Е(ХЛ = 0, Var(X/) = o?, Cov(X,, Х2) = рсг1а2. Иными словами, р
есть коэффициент корреляции Х4 и Х2. Заменяя Xi на х{ — С\
в A.18), мы приходим к нормальной плотности, центрированной
в точке {си сг).
Важно то, что линейное преобразование A.9) переводит нор-
нормальное распределение в другое нормальное распределение. Это
очевидно из определения и формулы A.11). [Продолжение см.
в примере B, а).]
д) Симметричное распределение Коши в Мг. Положим
^W (Ы9)
Чтобы удостовериться, что это есть плотность, заметим2), что
-} со
1 1
f и to, y)dy =
. A.20)
Отсюда следует, что и является плотностью и что частная плот-
плотность X! не что иное, как плотность Коши yi из гл. II, D.5).
Очевидно, что величина Xi не имеет математического ожидания.
При переходе к полярным координатам [как в A.12)] видим,
что плотность R не зависит от 8, и поэтому величины R и 0 сто-
стохастически независимы. Следуя терминологии гл. I, 10, мы мо-
можем тогда сказать, что имеющая симметричное распределение
Коши пара (Хь Х2) изображает вектор со случайно выбранным
направлением с длиной R, плотность которой равна rV(\ -\-r'2)~~3'
откуда P{R<>} = 1 — V(\-\-r2)~ . [Продолжение в примере
B,6).]
¦) Вопреки широко распространенному мнению, существуют не являю-
являющиеся нормальными двумерные плотности с нормальными частными плотно-
плотностями (два типа описаны в задачах 2, 3; еще два в задачах 4 и 6 из гл. V,
11). Для того чтобы иметь дело с нормальными плотностями, статистики
иногда вводят новые координатные величины Yi = g"i(Xi), Y2 = g2(X2), ко-
которые распределены нормально. При этом, увы, совместное распределение
(Yj, Y2) не делается нормальным.
2) Подстановка У = у 1 -\-х\ igt облегчает вычисление.

§ 2. Условные распределения 95
е) Симметричное распределение Коши в <$}. Положим
v(xlt x»*J—J-{l + A + 4 + 4f A-21)
Легко видеть1), что частная плотность (Хь Х2) является сим-
симметричной плотностью Коши и из A.19). Частная плотность Х\
есть поэтому плотность Коши yi- (Продолжение в задаче 5.)
Хотя это и не используется явно в последующем, но мы дол-
должны отметить, что свертки можно определить так же, как и в
одномерном случае. Рассмотрим две пары (Хь Х2) и (Y4, Y2) с
совместными плотностями fug соответственно. Утверждение о
том, что две пары независимы, означает, что мы берем четырех-
четырехмерное пространство с четырьмя координатными величинами
Xi, X2, Yb Y2 в качестве выборочного пространства и определяем
в нем плотность произведением f(xit X2)g{yi, Уг). Так же как в
<$*, тогда легко видеть, что совместная плотность v суммы
, X2 + Y2) задается формулой свертки
+ со +со
v(zlt z2)= J J f(zl — xl, z2 — x2)g(xl, x2)dxxdx2, A.22)
— CO —CO
которая является очевидным аналогом формулы гл. I, B.12).
(См. задачи 14—16.)
§ 2. Условные распределения
Предположим, что пара (Хь Х2) имеет непрерывную плот-
плотность / и что частная плотность /4 величины Xi строго положи-
положительна. Рассмотрим условную вероятность события Х2^т] при
условии, что g<Xi^g+/z, а именно
l + h n
J dx J / {х, у) dy
<X1<& + A)= l |+Г • B.1)
Деля числитель и знаменатель на h, устанавливаем, что при
h~*0 правая часть стремится к
\ B.2)
') Используя подстановку г = \ 1 -\- хх -j- x2 tg t.

96 Гл. III. Многомерные плотности
При фиксированном | это функция распределения по ц с плот-
ностыо
T]wf(l,n). B.3)
Мы называем и% условной плотностью величины Х2 при усло-
условии, что Xi = |. Условное математическое ожидание Х2 при усло-
условии, что Xi = |, определяется как
+ ОО
Е (Х21X! = I) = j-L. J yf (|, у) dy B.4)
— со
в предположении, что интеграл сходится абсолютно. Если рас-
рассматривать | как переменную величину, то правая часть есть
функция от |. В частности, отождествляя | с координатной ве-
величиной Хь получим случайную величину, называемую регрес-
регрессией Х2 на Xj и обозначаемую Е(Х2|Х1). Присутствие Х2 не
должно затемнять тот факт, что эта случайная величина яв-
является функцией одной переменной Xt [ее значения даются фор-
формулой B.4)].
До сих пор мы предполагали, что Д(|)>0 для всех ?. Вы-
Выражение B.4) не имеет смысла при Д(?) =0, но множество таких
точек имеет вероятность нуль, и мы условимся интерпретировать
B.4) как нуль во всех точках, где ft обращается в нуль. Тогда
E(X2|Xi) определено всякий раз, когда плотность непрерывна.
(В гл. V, 9—10 условные вероятности будут введены для произ-
произвольных распределений.)
Излишне говорить, что регрессия E(Xi|X2) величины X, на
Х2 определяется подобным же образом. Кроме того, условная
дисперсия Var(X<>|Xi) определяется по очевидной аналогии
с B.4).
Эти определения переносятся на случаи большего числа из-
измерений, за исключением того, что плотность в ^"Л порождает
три двумерные и три одномерные условные плотности [см. при-
пример (в)].
Примеры, а) Нормальная плотность. Для плотности A.18),
очевидно, имеем
1/яA-р2)а2
О,
B.5)
что представляет собой нормальную плотность с математиче-
математическим ожиданием р —- | и дисперсией A —Р2)о}. Таким образом,
^ 2|X1) = (l~p2)aj. B.6)

§ 2. Условные распределения 97
Одним из приятных свойств нормального распределения являет-
является то, что регрессии — линейные функции.
Возможно, самым ранним применением этих соотношений
мы обязаны Гальтону, и одним из его примеров можно проил-
проиллюстрировать их эмпирическое значение. Предположим, что Х4
и Х2 характеризуют рост (измеренный по отклонению в дюймах
от среднего) отцов и сыновей в некоторой популяции. Рост слу-
случайно выбранного сына есть тогда нормальная случайная вели-
величина с математическим ожиданием 0 и дисперсией а\- Однако в
подпопуляции сыновей, отцы которых имеют фиксированный
рост |, рост сыновей представляется нормальной величиной с
математическим ожиданием р—-? и дисперсией а\(\—р2)<о^.
Таким образом, регрессия Х2 на Xi показывает, как много ста-
статистической информации относительно Х2 содержится в наблю-
наблюдении над Х4.
б) Распределение Коши в М2. Для двумерной плотности
A.19) частная плотность Xt задается формулой A.20), и по-
поэтому условная плотность Х2 при данном Xt равна
-. B.7)
Заметим, что щ отличается от плотности щ(у) только масштаб-
масштабным множителем V^l+E,2, и поэтому все плотности щ принад-
принадлежат одному и тому же типу. Условных математических ожида-
ожиданий в этом примере не существует.
в) Распределение Коши в Мъ. Нетрудно видеть, что [см.
пример A,е)] условная плотность Х3 при данных Хь Х2 равна
а двумерная условная плотность (Х2, Х3) при данном Xj = |
равна
4 ^- B-9)
В терминах условных плотностей B.3) функция распреде-
распределения величины Х2 принимает вид
У +оо
=J J 4{y\).U(l)dld4. B.10)
— оо —оо
Иными словами, распределение Х2 получается посредством
рандомизации параметра % в условных плотностях щ, и

98 Г л III. Многомерные плотности
поэтому каждое ') распределение может быть представлено в виде
смеси. Несмотря на эту теоретическую универсальность, имеется
большое различие в положении «ударения». В некоторых ситуа-
ситуациях, таких, как в примере (а), начальным является двумерное
распределение для (Хь Х2), а затем выводятся условные распре-
распределения, тогда как при истинной рандомизации условные ве-
вероятности «v являются исходным понятием и плотность /(*, у)
фактически определяется как u^(y)ft(x). (Эта процедура опре-
определения вероятностей в терминах условных вероятностен объяс-
объяснялась элементарным путем в 1, гл. V. 2.) ?«-
§ 3. Возвращение к показательному и равномерному
распределениям
Задача этого параграфа в том, чтобы дать примеры-иллю-
примеры-иллюстрации к предыдущим параграфам и в то же время дополнить
теорию первой главы.
Примеры, а) Характеристическое свойство показательного
распределения. Пусть Xt и Х2 — две независимые случайные ве-
величины с плотностями /i и f2. Обозначим плотность их суммы
S = Xi + X2 через g. Пары (Хь S) и (Xi, Х2) связаны линейным
преобразованием Xi = Xb X2 = S — Xj с детерминантом 1, и со-
совместная плотность пары (Х!( S) по формуле A.11) равна
fi (лг)/о(s — х). Интегрируя по всем х. мы получаем частную
плотность g слммы S. Условная плотность и% величины Х4 при
условии, что S = s, удовлетворяет соотношению
¦¦ /чл— I,(x)t2(s-x) „
BiW- Y(f) ' { '
Для частного случая показательных плотностей fi(x)~
=f2{x) =ае~ах (х>0) мы получаем h,(x)=s" при 0<x<s. Ины-
Иными словами, при условии, что Xi + X2 = s, случайная величина Х(
распределена равномерно на интервале 0, s. Образно говоря,
знание того, что S = s, не дает нам никакой информации о воз-
возможном положении случайной точки Xi внутри интервала 0, я.
Этот результат согласуется с представлением о полной случай-
случайности, свойственной показательному распределению. (Более
сильный вариант содержится в примере (в). См. также за-
задачу 11.)
б) Случайные разбиения интервала. Пусть Хь . . . , Х„ —
п точек, выбранных независимо и наудачу в (одномерном) чин-
') Мы рассматривали до сих пор непрерывные плотности. Общ.й случай
будет разобран в гл. V, 9. Понятие рандомизации обсуждалось в гл. II, 5.

§ 3. Показательное и равномерное распределения 99
тервале 0,1. Как и прежде, мы обозначим через ХA), ХB), . ..
..., Х(„) случайные точки Xi, ..., Х„, расположенные в возра-
возрастающем порядке. Эти точки делят интервал 0,1 на п+1 под-
интервалов, которые мы обозначим /ь /2,. . . , 1п+и пронумеровав
их слева направо, так что Х()) является правым концом интер-
интервала Ij. В первую очередь мы вычислим совместную плотность
((ц())
Выборочное пространство, соответствующее (Хь ... , Х„),
представляет /г-мерный гиперкуб Г: 0<х/г<1, а вероятности рав-
равны (/г-мерному) объему. Естественное выборочное пространство,
где X^) — координатные величины, есть подмножество QcF, со-
состоящее из всех точек, таких, что 0<Xi^C . . . 4^хп< 1. Объем Q
равен \\п\. Очевидно, что гиперкуб Г содержит п\ конгруэнтных
«копий» множества Q, и в каждой из них упорядоченная строка
(X(i), . . . , Х(П)) совпадает с фиксированной перестановкой вели-
величии Хь . . . , Х„. (Внутри Г, в частности, X(ft) = Xft.) Вероятность
того, что Xj = X/j для некоторой пары /=?& равна нулю, и только
это событие вызывает перекрытия между различными «копия-
«копиями». Отсюда следует, что для любого подмножества AaQ ве-
вероятность того, что (ХA), .,., Х(п)) принадлежит Л, равна вероят-
вероятности того, что (Хь . . . , Х,г) принадлежит одной из п\ «копий» Л,
а эта вероятность в свою очередь равна умноженному на п\
объему А. Таким образом, вероятность Р{(ХA), ..., Х(Г1)) € Л} рав-
равна отношению объемов А и Q, а это означает, что строка
(ХA), ..., Х0))) распределена равномерно на множестве Q таких
точек, что
Совместная плотность величин этой строки равна 1//г! внутри Q и
нулю вне Q.
Из совместной плотности (Х(и, . . , , X(n)), предполагая xh фик-
фиксированным и интегрируя по всем оставшимся переменным, мо-
можно вычислить плотность Х№). Легко видеть, что этот результат
согласуется с формулой для плотности, вычисленной другими ме-
методами в гл. I, G.2).
Этот пример был рассмотрен детально в качестве упражне-
упражнения в обращении с многомерными плотностями.
в) Распределение длин. В обстановке предыдущего примера
обозначим длину k-vo интервала Ih через Uft. Тогда
Ui = Xn), U/; = X(?)—X(ft_!) k = 2, 3, ..., п. C.2)
Это не что иное, как линейное преобразование типа A.9) с де-
детерминантом 1. Множество Q точек 0 < Х\*С.. ,<>Схп<.\ отобра-
отображается в множестве й*таких точек, что и/^-0, щ+ ,., +«„<!,

100 Гл. III. Многомерные плотности
и, следовательно, строка (U1; ..., Un) распределена равномерно
в этой области. Этот результат сильнее ранее установленного
факта, что величины Uft одинаково распределены [пример
гл. I, G,6)].
г) Еще раз о случайности показательного распределения.
Пусть Хь .. . , Х„+1 независимы и одинаково распределены с
плотностью ае~ах при л:>0. Положим Si = X1+ ... +Xj. Тогда
строка (Si, S2, . .. , Sft+i) получается из (Хь .. ., Xn+i) линейным
преобразованием типа A.9) с детерминантом 1. Обозначим че-
через Q «октант», состоящий из точек Xj>0 (/=1, ..., п+\).
Плотность (Хь .. . , Х„+1) сосредоточена на Q и равна
если Xj>0. Величины Sb . . . , Sn+l отображают Q на область Q*,
определяемую неравенствами 0<5^52^ . . . ^Csn+i<°°, и [см.
A.11)] внутри Q* плотность (Si, ..., Sn+1) равна <x"+V"«+'.
Частная плотность Sn+i есть не что иное, как гамма-плотность
an+]sne-as/nl, и, следовательно, условная плотность строки
(Si, ..., Sn) при условии, что Sn+] = s, равна п\ s~n при 0<Si<
< . . . <sn<s (и нулю в других случаях). Иными словами, при
условии, что Sn+i = s величины (Si, ..., Sn) равномерно распре-
распределены в области их возможных значений. Сравнивая это с при-
примером (б), мы можем сказать, что при условии Sn+l = s величи-
величины (Si, . . . , Sn) изображают п точек, выбранных независимо и
наудачу в интервале 0, s, занумерованных в их естественном
порядке слева направо.
д) Другое распределение, связанное с показательным. Имея
в виду последующее неожиданное применение, мы дадим еще
один пример преобразования. Пусть снова Хь . . ., Х„ — незави-
независимые величины, имеющие одинаковое показательное распреде-
распределение и Sr) = X4+ . .. +Х„. Определим величины Ub . . ., Un сле-
следующим образом:
U* = -^ при k = \, ..., n-l, Un = Sn, C.3)
или, что равносильно,
Xk = UkUn при k = \, ..., п— 1,
Якобиан преобразования C.4) равен Щ~ . Совместная плот-
плотность (Хь ..., Х„) сосредоточена в области Q,, определяемой
неравенствами Х/,>0, и внутри нее эта плотность равна
a.,g-a(jr1+... +•«¦„)_ Отсюда следует, что совместная плотность

§ 3. Показательное и равномерное распределения 101
(Ui, ... , Un) равна апипп~ е~а"п в области й*, определенной не-
неравенствами
и равна нулю вне Q*. Интегрирование относительно ип показы-
показывает, что совместная плотность (Ub . . . , Un_i) равна (п— 1)! в
Q* и нулю в других случаях. Сравнивая с примером (в), мы
видим, что (Ult . . . , Un_i) имеет такое же распределение, как
если бы величина Uh была длиной k-го интервала при случай-
случайном разбиении интервала 0, 1 набором п — 1 точек.
е) Критерий значимости в анализе периодограмм и теорема
о покрытии. Практически любая непрерывная функция време-
времени t может быть приближена тригонометрическим полиномом.
Если эта функция представляет собой выборочную функцию
стохастического процесса, то коэффициенты становятся слу-
случайными величинами и аппроксимирующий полином может быть
записан в виде
п п
2 (Xv cos cov^ -f- Yv sin avt) = 2 Rv cos (avt — Ov), C.5)
v=l v=l
где Rv = Xv-t-Yv и tgOv = Yv/Xv. Обратно, разумные предпо-
предположения относительно случайных величин Xv, Yv приводят к сто-
стохастическому процессу с выборочной функцией, задаваемой
C.5). В свое время было модным вводить модели такого рода
и открывать «скрытую периодичность» для солнечных пятен,
цен на пшеницу, поэтического творчества и т. д. Подобные скры-
скрытые периодичности отыскивали с такой же легкостью, как ведьм
в средневековое время. Но даже сильная вера должна быть под-
подкреплена статистическим критерием. Грубо говоря, метод за-
заключается в следующем. Тригонометрический полином вида C.5)
с как-то выбранными частотами coi, . . . , соп сравнивается с неко-
некоторыми результатами наблюдений. Допустим, что при этом обна-
обнаруживается особенно большая амплитуда Rv. Желательно дока-
доказать, что это не может быть случайным и, следовательно, что
«v — истинный период. Для проверки этого предположения вы-
выясним, сколь правдоподобно совместимо большое наблюденное
значение Rv с гипотезой, что все п компонент играют одинако-
одинаковую роль. В соответствии с этим предполагается, что коэффи-
коэффициенты Хь.. . , Yn взаимно независимы и имеют одинаковое нор-
нормальное распределение с нулевым математическим ожиданием и
дисперсией а2. В этом случае (см. гл. II, 3) величины Rv взаим-
взаимно независимы и имеют одно и то же показательное распреде-
распределение с математическим ожиданием 2а2. Если наблюденное

102 Гл. III. Многомерные плотности
значение Rv «значимо» отклонилось от ожидаемого, то мы при-
приходим к заключению, что гипотеза равенства весов была не-
несостоятельна и Rv изображает «скрытую периодичность».
Ошибочность этих соображений была раскрыта Р. А. Фише-
Фишером A929 г.). Он отметил, что максимальный из результатов п
независимых наблюдений не подчиняется тому же самому рас-
распределению вероятностей, которое имеет каждый из них в от-
отдельности. Ошибка в статистической трактовке худшего случая
так, как будто он выбирался случайно, до сих пор распростра-
распространена в медицинской статистике, но причиной обсуждения этого
вопроса здесь является неожиданная и занятная связь критерия
значимости Фишера с теоремами о покрытии.
Так как важны только отношения компонент, то мы норми-
нормируем коэффициенты, полагая
Поскольку R/ имеют одно и то же показательное распределе-
распределение, мы можем использовать предыдущий пример с Х; = Ry~
ТогдаУ1 = иь ..., Vri_1 = Un_i, но Vn=l — Ui—. . .—Un_!. Соот-
Соответственно строка (V,, ..., V,,) распределена так, как если бы\ j
были длинами п интервалов, на которые разбивается интервал
0, 1 при случайном расположении в нем п — 1 точек. Вероятность
того, что все Vj будут меньше а, задается поэтому формулой
гл. I, (9.9) теоремы о покрытии. Этот результат иллюстрирует
факт неожиданных отношений между на вид не связанными за-
задачами '). >
§ 4*. Характеризация нормального распределения
Рассмотрим невырожденное линейное преобразование коор-
координатных величин
D.1)
и допустим (не ограничивая общности), что детерминант Д=1.
Если Xi и Х2 независимые нормально распределенные величины
') Фишер получил распределение максимальной из величин V, в 1929 г.
без знания теоремы о покрытии, а в 1940 г. объяснил связь с теоремой о по-
покрытии, после того как Стивене доказал последнюю. [См. Fisher, Contribu-
Contributions to Mathematical Statistics, John Wiley, N. Y. A950), статьи 16 и 37.]
Другой вывод, использующий анализ Фурье, см. Grenander U., Rosen-
Rosenblatt M. A957).
*) Этот параграф затрагивает специальную тему и не используется а
й

§ 4. Характеризация нормального распределения 103
с дисперсиями о\ и а\, то распределение пары (Yb Y2) нормаль-
нормально с ковариацией апа2о[ -\-al2a22a'l [см. пример A,г)]. В этом
случае существуют нетривиальные наборы коэффициентов a,7i,
такие, что Y! и Y2 независимы. Следующая теорема показывает,
что это свойство одномерного нормального распределения не
разделяется никаким другим распределением. Мы докажем это
только для распределений с непрерывными плотностями, в слу-
случае которых наше утверждение сводится к лемме относительно
функционального уравнения D.3). Более общий случай сводится
(с использованием характеристических функций) к тому же
самому уравнению. Поэтому наше доказательство фактически
устанавливает теорему в ее наибольшей общности (см.
гл. XV, 8). Элементарное рассмотрение плотностей лучше рас-
раскрывает основную суть теоремы.
Теорема. Допустим, что Х4 и Х2 независимы и что вели*
чины Yi и Y2 из D.1) также не зависят одна от другой. Тогда все
четыре величины являются нормальными, исключая случай, ко-
когда преобразование тривиально, т. е. или (Yb Y2) = (aXb b\2),
или (Yt, Y2) = (aX2, bXi).
Наиболее интересный чистый случай D.1) доставляется вра-
вращениями, т. е. преобразованиями вида
Yi = X, cos со Ч- Х9 sin со,
D 2)
Y2 =— X, sinco + X2cosco,
где со не кратно '/г я. Применяя теорему к подобным вращениям,
мы получаем
Следствие. Если Х4 и Х2— независимые случайные вели-
величины и существует вращение D.2), такое, что Y4 и Y2 также не-
независимы, то Xi и Х2 имеют нормальные распределения с одина-
одинаковой дисперсией. В этом случае Yt и Y2 независимы при ка-
каждом со.
Пример. Максвелловское распределение скоростей. При изу-
изучении распределений скоростей молекул в <$z Максвелл предпо-
предполагал, что в любой декартовой системе координат три компо-
компоненты скорости являются независимыми случайными величинами
с нулевым математическим ожиданием. Примененное к враще-
вращениям, оставляющим одну ось фиксированной, наше следствие
непосредственно показывает, что три компоненты нормально
распределены с одинаковой дисперсией. Как мы видели в
гл. II, 3, это влечет распределение Максвелла для скоростей. >
Эта теорема имеет длинную историю, восходящую к исследованиям Мак-
Максвелла. Чисто вероятностное изучение было предпринято М. Кацем A940 г.) и
С. Бернштейном A941 г.), который доказал наше следствие в предположении.

104 Гл. Ш. Многомерные плотности
конечности дисперсий. Многие авторы вносили улучшения и исследовали
варианты, иногда при помощи более сильных методов. Кульминации это раз-
развитие достигло в результате, доказанном В. П. Скитовичем ').
Перейдем к доказательству для случая непрерывных плот-
плотностей. Обозначим плотности Xj через Wj, а плотности У, че-
через /j. В предположениях теоремы имеем [см. A.11)]
fl (ЙПХ1 + «12Х2) h («21*1 + «22-^2) = Щ (*\) ™2 (Х2). D.3)
Отсюда мы выведем, что
f j {х) = ± е^ «, D.4)
где ф1 — полином не выше второй степени. Отсюда следует наша
теорема, так как лишь нормальные плотности имеют такой вид.
Для распределений с непрерывными плотностями теорема
содержится поэтому в следующей лемме.
Лемм а. Пусть функции /i и /2 непрерывны и отличны от
постоянных. Допустим, что выполняется функциональное урав-
уравнение вида D.3) и
А = #па22 — апа2\ ^ 0-
Если никакой из коэффициентов а.ц не равен нулю, то D.4)
выполняется, причем ф4 является квадратным полиномом.
Если anai24=0, но а1Хаг2 = §, то D.4) выполняется, причем ср4
является линейной функцией.
(Излишне говорить, что те же самые выводы применимы к f2.)
Правдоподобное рассуждение. Предположим, что функции в
D.3) являются строго положительными и дважды дифференци-
дифференцируемыми. Записывая сокращенно
<Pft = log/ft) yk = aklxl + ak2x2, D.5)
получаем в таком случае
<Pi Ы 4- Фа Ы = log Щ (xi) + log w2 (х2) D.6)
и отсюда посредством последовательного дифференцирования по
Х\ И Х2
ц) = 0- D-7)
Меняя Xi и х2 так, чтобы сохранить у2 постоянным, мы видим,
что Ф]' (г/j) = const, и поэтому на самом деле ф4 представляет со-
собой полином первой или второй степени. Следующее ниже дока-
доказательство основано на этих аргументах, за исключением того,
что производные заменены разностями...
') Изв. АН СССР, т. 18 A954), стр. 185—200. Теорема. Пусть X Х„
взаимно независимы, Yi = 2a,Xj и Y2 = 26iX;, где ни один коэффициент не ра-
равен нулю. Если Y! и Y2 независимы, то величины X,- распределены нормально.

§ 4. Характеризация нормального распределения 105
Доказательство леммы. Предположим вначале, что
ни один из коэффициентов а^ не равен нулю. Мы начинаем с
доказательства того, что функции fh не имеют ну лей. Предполо-
Предположим противное. Тогда существует открытая область Q, внутри
которой обе части равенства D.3) не имеют нулей и на границе
которой они обращаются в нуль. Но правая часть D.3) равна
нулю в точке (хи х2) тогда и только тогда, когда либо Wi(xi) = 0,
либо w2{x2)=0. Поэтому граница состоит из отрезков прямых,
параллельных осям. Аналогичные рассуждения, примененные к
левой части, показывают, что граница состоит из отрезков пря-
прямых, на которых либо r/i = const, либо уг—const. Это противо-
противоречие показывает, что граница не существует.
Мы теперь можем предположить, что fh строго положитель^
ны, и исходить из D.6). Определим разностный оператор А (за-
(зависящий от двух произвольных констант) как
Аи {ххх2) = а {хх -4- hi, x2-4- h2) — а {хх -4- hx, х2 — h2) —
— и (хг — hu x2 4- /z2) 4- и (Xi — hu x2 — h2). D.8)
Если и зависит только от одной переменной х,-, мы имеем Дм = 0,
и из D.6) поэтому получаем Дф1 + Дф2 = 0 [вместо D.7)]. Теперь
легко проверить, что Аф^ есть функция исключительно уи, и,
следовательно, соотношение Аф1 + Дф2 = 0 влечет, что Аф1 есть
постоянная, зависящая, конечно, от /zt и h2. При подходящем
выборе hi и h2 мы заключаем, что при произвольном t выра^
жение
Ф1 (Ух + 0 + Ф1 (Ух - 0 — 2Ф1 (tJi) = К @ D.9)
не зависит от у\.
Это равенство заменяет результат ц>'[ (г/j) = const, полученный
правдоподобными рассуждениями. Мы покажем, что каждое не'
прерывное решение уравнения D.9) приводит к квадратному
полиному.
Функция
ух2 D.10)
удовлетворяет тождеству
Ф{х -М) + Ф(* — 0 — 2Ф(х) = Ц0. D-11)
где X(t) = Хг (t)-4- 2y^2. Мы выбираем а, р, у так, что
Ф@) = Ф(—1)
и докажем, что каждая непрерывная функция Ф, удовлетворяю-
удовлетворяющая этим условиям, тождественно равна нулю. Предполагая,
что Ф имеет положительный максимум, мы выводим из D.11),

106 Гл. III. Многомерные плотности
что %(t) -СО в некоторой окрестности начала координат и k(t) < 0
при некотором /. Отсюда следует, что Ф не может иметь мини-
минимальное значение, и поскольку ф равна нулю в трех точках
—1,0, 1, то она должна быть равна нулю тождественно в интер-
интервале — 1,1. Из D.11) тогда ясно, что Ф(х)=0 при всех х и,
следовательно, cpi(x)=—а—рх — ух2. Этим завершается дока-
доказательство в случае, когда ни один из коэффициентов a,h не
равен нулю.
Случай, когда какой-либо коэффициент равен нулю, тривиа-
тривиален. Предположим, например, что a2i = 0, но ацф0 и а-^ФО-
Тогда Ji(auXi + ai2X2) является произведением функции от х, и
функции от #2, и потому fi(s + t) —ji(s)fi(t). Это функциональ-
функциональное уравнение появлялось неоднократно, и мы знаем, что оно
влечет fi(s) = еи. &
§ 5. Матричные обозначения. Матрица ковариаций
Обозначения, использованные в § 1, громоздки и становятся
еще более громоздкими в случае большего числа измерений.
Изящества и экономии мысли можно достичь при использовании
матричной системы обозначений.
Чтобы облегчить ссылки, мы кратко изложим немногие факты из теории
матриц и матричных обозначений, нужные в дальнейшем. Основное правило
таково: сначала строки, затем столбцы. Таким образом, (аХ Р)-матрица А
имеет а строк и C столбцов; ее элементы обозначаются a}k, при этом пер-
первый индекс указывает строку. Если В есть (рху)-матрица с элементами Ь,к,
то произведение АВ представляет собой (аХуЬматРиЦУ с элементами
aJibih+aJ2b2k+ ... + ajp,bp,k- Если число столбцов м; трицы А не совпадает
с числом строк матрицы В, то произведение не определено. Выполняется ас-
ассоциативный закон, (АВ)С = А(ВС), хотя, вообще говоря, АВ—ВА. Транспо-
Транспонированная матрица Ат есть (fixа)-матрица с элементами вуА = ah ¦. Оче-
Очевидно, что (ЛВ)Г=ВМГ.
(lXa)-матрица с единственной строкой называется вектор-строкой; я
матрица с единственным столбцом — вектор-столбцом1). Вектор-строка г =
= (/¦[, ..., га) легко изображается при печати, и вектор-столбец лучше опре-
определять результатом его транспонирования ст = (с,, ..., са). Заметим, что сг
есть (аХа)-матрица (типа «-таблицы умножения»), в то время как -с есть
(\Х\)-матрица или скаляр. В случае а = 2
,/i С2Г2
Нулевой вектор имеет нулевые компоненты.
Под единичной матрицей подразумевается квадратная матрица с едини-
единицами по главной диагонали и с нулями на всех остальных местах. Если / —
') На самом деле это — плохое обращение с языком. В конкретном слу-
случае х\ может означать количество фунтов, а ^ — число коров; тогда (Х\, х2)
не является «вектором» в строгом смысле.

§ 5. Матричные обозначения. Матрица ковариаций 107
единичная матрица с г строками и г столбцами и А—любая (гхг)-матрица,
то очевидно, что 1А=А1 = А. Матрицей, обратной для А, называется матрица
А~1, такая, что АА~* = А~[А = 1. [Только квадратные матрицы могут иметь об-
обратные. Обратная матрица единственна: так, если В— любая обратная мат-
матрица для А, то АВ = 1 и по ассоциативному закону А~х — (А'1А)В = В.] Квад-
Квадратная матрица, не имеющая обратной, называется вырожденной. Имеет
место следующий элементарный критерий. Матрица А является вырожденном
тогда и только тогда, когда существует ненулевая вектор-строка х, такая, что
жА = 0. Если А — вырожденная матрица, то такова же и транспонированная
матрица Аг.
Квадратная матрица А симметрична, если а,к = ан„ т. е. если АТ=А.
Квадратичная форма, соответствующая симметричной (гу,г)-матрице А, опре-
определяется как
г
хАхт = ^
где Х\, ..., Хг являются переменными. Матрица называется положительно опре-
определенной, если хАхт>0 для всех ненулевых векторов х. Из последнего кри-
критерия следует, что положительно определенная матрица не вырождена. (Об
ортогональных матрицах или вращениях см. в § 6а.)
Отныне мы будем обозначать точки «-мерного пространства
¦$п одной буквой, интерпретируя ее как вектор-строку. Таким
образом, х= (хи . . . , хг) и f(x) = f(xit . . ., хг) и т. д. Неравенства
должны интерпретироваться покоординатно: х<(/ тогда и только
тогда, когда xh<yk для k= 1,. . . , г; аналогично и для других не-
неравенств. На плоскости cf2 соотношение х<у может быть про-
прочитано как «х лежит юго-западнее у». Новая особенность этого
¦обозначения в том, что две точки не обязаны состоять в одном
из двух соотношений: либо х^.у, либо у<х, т. е. в многомерном
случае неравенство х<у определяет только частичное упорядо-
упорядочение.
Мы вводим обозначение Х= (Хь . . . , Хг) для вектора-строки
из координатных величин и будем использовать это обозначен
ние для случайных величин вообще (в основном для нормально
распределенных величин).
Если величины Хь . . ., Хг имеют математические ожидания
Е(Х;), то мы обозначаем через Е(Х) вектор-строку с компонен-
компонентами E(Xj). Вектор X—Е(Х) имеет нулевое математическое
ожидание. Вообще, если М — матрица, элементы которой МуЛ
являются случайными величинами, мы обозначаем через Е(М)
матрицу элементов E(Mj7i) в предположении, что она суще-
существует.
Определение. Если Е(Х) =0, то ковариационная матрица
Var (XX) для X есть симметричная (гХг) -матрица с элементами
E(XjXfe) (при условии, что все они существуют). Иными сло-
словами,
Var (Х) = Е(ХГХ). E.1)

108 Гл. 111. Многомерные плотности
В случае произвольного X мы определим Var X, как и
Var(X— E(X)).
Использование векторов-строк приводит к необходимости
записывать линейное преобразование Мт в Sim в виде
У = ХД E.2)
т. е.
т
У и = 2 ajkXj, k = \, ..., m, E.3)
где А—{rXm)-матрица. Очевидно, что Е(?) = Е(Х)Л всякий
раз, когда Е(Х) существует. Для того чтобы найти дисперсии,
мы положим, не ограничивая общности, Е(Х)=0. Тогда E(Y)=0
= Е(ЛТХГХЛ) =ЛТЕ(ХГХ)Л. E.4)
Мы получаем, таким образом, важный результат
Var (\)=ATVar (Х)Л. E.5)
Особый интерес представляет частный случай т—\, когда
+ ... +агХг E.6)
есть обыкновенная случайная величина. Здесь Var(Y)—¦ (ска*
лярная) квадратичная форма
E.7)
Линейная форма E.6) равна нулю с вероятностью единица, если
Var(Y)=0, и в этом случае любая область за пределами гипер-
гиперплоскости ^акхк = 0 имеет вероятность нуль. Распределение
вероятностей сосредоточено тогда на (г—1)-мерном многообра-
многообразии и вырождено, если его рассматривать в г измерениях. Мы
доказали, что ковариационная матрица любого невырожденного
распределения вероятностей положительно определена. Обратно,
каждая такая матрица может служить ковариационной матрицей
нормальной плотности (см. теорему 3 следующего параграфа),
§ 6. Нормальные плотности и распределения
Всюду в этом параграфе Q обозначает симметричную {гХг)*
матрицу, a q(x) —соответствующую ей квадратичную форму
г
q{x)= 2 q^XjXu^xQx1, F.1)
у, * = i

§ 6. Нормальные плотности и распределения 109
где х= (xi, . . . , хг) есть вектор-сгро/са. Плотности в Мг, опреде-
определенные как показательные с квадратичной формой в экспоненте,
являются естественным обобщением нормальной плотности на
прямой, и мы начнем поэтому с того, что введем следующее
Определение. Плотность ф в пространстве г измерений
называется нормальной1) (с центром в начале координат), если
она представляется в виде
Y->.<?-7?w, F.2)
где у — некоторая постоянная. Нормальная плотность с центром
в точке а= (а{, а2, . . . , аг) определяется как <р(х — а).
Специальный случай двух измерений обсуждался в примерах
A,г) и B,а).
Рассмотрим результат невырожденного линейного преобра-
преобразования Х= (Х4, . . . , Хг) в Y= (Yi,. . . , Yr). Для этого запишем
преобразование в форме Y = X/1, где А—(гХг)-матрица с об-
обратной матрицей В = А~1. Как было показано в § 1, плотность
Y получается из F.2) при помощи подстановки х=уВ и умно-
умножения на детерминант матрицы В. Теперь
r. F.3)
Отсюда следует, что плотность Y снова имеет вид F.2) и нами
доказана таким образом следующая важная
Лемма. Если X имеет плотность F.2) и матрица А невы-
невырождена, то У=ХЛ имеет нормальную плотность, порождаемую
матрицей BQBT=A^Q(A^)T.
Рассмотрим, в частности, подстановку
у1 = х1, ..., г/г_, = *,_!, у, = qXTxx 4- . . . ¦+ qnxT. F.4)
Чтобы показать, что она невырождена, мы должны проверить,
что <7гг=?0. Однако если бы мы имели qrr = Q, то при фиксирован-
фиксированных значениях хи . . ., хг_( плотность F.2) должна была бы при-
принять форму у~хе~аХг+ь и интеграл относительно л;г должен был бы
расходиться. Таким образом, gr).=?0, и стандартный метод допол-
дополнения до квадрата дает нам, что q(x) сводится к сумме y2rjqrr
и квадратичной форме q' от оставшихся г — 1 величин
Это порождает соответствующее разложение на множители плот-
плотности Y, а отсюда видно, что частные плотности Yr и (Yb . . .
') «Вырожденные» нормальные распределения будут введены в конце
этого параграфа.

110 Гл. III. Многомерные плотности
..., Yr_i) = (Xi Xr_i) снова нормальны. Продолжая по ин-
индукции, получаем следующую теорему.
Теорема 1. Все частные плотности нормальной плотности
снова нормальны.
Линейное преобразование, приводящее к F.5), дает нор-
нормальный вектор (Хь . . . , Xr_i, Y,.), такой, что Yr не зависит от
(Хь . . . , Х,._.). Применяя ту же самую редукцию к (Хь ..., X,_i),
мы получим вектор
(Хь .. . , Xr_2, Zr_i, Yr),
такой, что Yr и Z,._t не зависят друг от друга и от (Хь . . . , Хг_2).
Продолжая подобным же образом и вспоминая, что последовав
гельное осуществление линейных преобразований эквивалентно
однократному линейному преобразованию, мы заключаем, что
существует невырожденное линейное преобразование X = Y,4-',
такое, что Y= (Yt, . . . , Yr) имеет взаимно независимые нормаль-
нормальные компоненты YA. Ввиду симметрии E(Yft)=0. Полагая
Var(YA) = o^, мы видим, что Y= (Yb . . ., Yr) имеет нормальную
плотность вида F.2), порожденною диагональной матрицей D
с элементами от2. [Нормирующая константа у определяется ра-
равенством y2= Bя)г det D~K] Из леммы следует, что Q = ADAT.
С другой стороны, из E.5) следует, что ковариационная матри-
матрица Var (X) = E(XX7') существует и что D~l = AT Var (Х)Л. Таким
образом, Var(X)=Q"', и после перемножения детерминантов
мы имеем следующую теорему.
Теорема 2. Если X = (Х4, . . ., Хг) имеет нормальную плот-
плотность F.2), то Q-'=Var(X) и
42 = Bn)rdetQ-\ F.6)
Следствие. Если (Хь Х2) имеет нормальное распределе-
распределение, то Xi и Х2 независимы в том и только том случае, когда
Cov (Xj, Хг)=0, т. е. когда Х4 и Х2 некоррелированы.
Вообще, если (Хь . . . , Хг) имеет нормальную плотность, то
(Хь . . . , Х„) и (Хп+Ь . . . , X,-) независимы тогда и только тогда,
когда Cov (X;, Хй)=0, при j^Cn k>n.
Предостережение. Для справедливости следствия су-
существенно то, что совместная плотность пары (Х1; Х2) нор-
нормальна. Следствие неприменимо, если известно только, что ча-
частные плотности X, и Х2 являются нормальными. В последнем
случае плотность (Хь Х2) не обязана быть нормальной и в дей-
действительности даже не обязана существовать. Этот факт часто
понимается неправильно (см. задачи 2,3).

§ Ь. Нормальные плотности и распределения 111
Теорема 3. Матрица М представляет собой ковариацион-
ковариационную матрицу нормальной плотности тогда и только тогда, когда
она положительно определена.
Поскольку плотность порождается матрицей Q = M~\ можно
сформулировать эквивалентное утверждение: матрица Q поро-
порождает нормальную плотность F.2) тогда и только тогда, когда
ойа положительно определена.
Доказательство. Мы видели в конце § 5, что всякая ко*
вариационная матрица плотности положительно определена.
Обратное тривиально в случае г=1. К большим г мы перейдем
по индукции. Предположим, что матрица Q положительно опре-
определенная. При Х\ = 0 лГг-!=О мы получаем q(x) = qr. гх2Г и,
следовательно, <7,т>0. При этом предположении, как мы видели,
q можно привести к виду F.5). Выбирая х,- так, что уг = 0, мы
видим, что положительная определенность Q влечет q'(x)>0
при всех наборах хи ¦ • • , *г-ь Поэтому по предположению ин-
индукции q' соответствует нормальной плотности в пространстве
г—1 измерений. Из F.5) теперь очевидным образом следует,
что q соответствует нормальной плотности в пространстве г
измерений, и этим завершается доказательство. |v
Пример. Выборочные среднее значение и дисперсия. В ста^
тистике случайные величины
г
Х=|(Х1+ ..- +ХГ), аэ = !2(Х/г-ХJ F-7)
называются выборочным средним значением и выборочной дис-
дисперсией для Х= (Xi, .... X,). Весьма любопытен тот факт, что
если величины Хь ..., X,. независимы и нормальны' с Е(Х,О =
= 0, E(xl) = a\ то случайные величины X и о2 являются незави-
независимыми1). Доказательство демонстрирует применимость пре-
предыдущих результатов. Мы положим Y\. = Х-, — X при k=\,...
. . . , г — 1, но Y, = X. Преобразование X в Y= (Yb . . . , Y,,) линейно
и невырождено. Поэтому Y имеет нормальную плотность. Далее
E(Y;4Y,.)=0 при /г=1,...,г—1, и поэтому Y,. не зависит от
(Yb . ..,\,-i). Однако
re2 = Vi + . . . ¦+ Yr_i + (Yi + . . . + Yr-if F.8)
зависит только от Yi, . . . , Yr_i, и, таким образом, о2 действи-
действительно не зависит от Yr = X. >•
') То, что этот факт характеризует нормальное распределение в SH1, было
показано Гири и Лукачем.

112 Гл. III. Многомерные плотности
Мы закончим эту общую теорию интерпретацией F.5) в
терминах условных плотностей, которая приводит к общим фор-
формулировкам теории регрессии, разобранной для двумерного слу-
случая в примере B, а).
Чтобы найти условную плотность Хг для данных Xi = Xi,...
.. ., Хг_!=л;г_1, мы должны разделить плотность (Хь . . . , Хг) на
частную плотность для Хь . . . , Xr_t. Ввиду F.5) в результате
получим одномерную нормальную плотность с математическим
ожиданием
— (Яых\+ ¦¦¦ +qr-i,rxr-i)/<lrr = aiXi+ ••• +a,-i*,.-i F.9)
и дисперсией Я„ • (Здесь мы полагаем для сокращения ah =
= —Qhr/Qrr-) Соответственно
Е(ХГ|Х1) ..., Хг_,) = а,Х,+ ... + aT^Xr_x. F.10)
Мы видели также, что
Т = Х,-а1Х1- ... -а^Х,., F.11)
не зависит от (Хь . . . , Xr_i), и это свойство однозначно характе-
характеризует коэффициенты aft =—qurlqrr- Нами получена таким об-
образом
Теорема 4. Если (Хь . . . , Хг) имеет нормальную плотность,
то условная плотность Хг при данных (Xi, ... , Xr_i) снова нор-
нормальна. Кроме того, условное математическое ожидание F.10)
есть единственная линейная функция от Хь . . . , Xr_i, делающая
величину Т не зависящей от (Хь . .. , X,._i). Условная дисперсия
равна Var (T) =
-1
тт
Нормальные распределения общего вида
Из леммы следует, что если Х= (Хь . . . , Хг) имеет нормаль-
нормальную плотность, то каждая ненулевая линейная комбинация
Yi = aiXi+ . . . +arXr также имеет нормальную плотность. То же
самое верно для каждой пары (Yb Y2) при условии, что не вы-
выполняется линейное соотношение типа c1Y1 + c2Y2 = 0. В этом ис-
исключительном случае распределение вероятностей пары (Yb Y2)
сосредоточено на прямой с уравнением С\У1 + с%у2 = 0 и, следова-
следовательно, оно вырождено, если его рассматривать как двумерное
распределение. Для многих целей желательно сохранить тер-
термин нормального распределения также и для вырожденных
распределений, сосредоточенных на многообразиях низшей раз-
размерности, скажем на какой-либо прямой. Простейшее общее
определение выглядит следующим образом: распределение
Y= (Yj,..,, Yp) является нормальным, если существует вектор

§ 6. Нормальные плотности и распределения 113
Х=(ХЬ ..., Хг) с нормальной r-мерной плотностью, такой, что
Ч = а + ХА, где А—(постоянная) (гХр)-матрица и а= (аи .. .
...,ар). Если р>г, то распределение Y вырождено в р изме-
измерениях. При р^г это распределение невырождено тогда и толь-
только тогда, когда р форм, определяющих Yh, линейно независимы.
6а. Дополнение. Вращения
Построения в доказательствах теорем 1 и 2 показывают, что
существует (гХг)-матрица А, такая, что ? = ХЛ имеет взаимно
независимые компоненты Y^, причем Yft зависят только от
Xj, . . . , Xft. (Матрица А имеет ниже диагонали только нули.)
Должно быть понятно, что подобные линейные преобразования
иногда с вероятностной точки зрения лишены смысла. Так, если
Xi означает размер популяции, а Х2 — температуру, то имеется
по существу только одна естественная система координатных ве-
величин. С другой стороны, если выборочное пространство пред-
ставляет собой «подлинную» евклидову плоскость (а не комби-
комбинаторное произведение двух осей), то координатная система
может быть выбрана многими эквивалентными способами. В та-
таких ситуациях желательно выбирать систему координат так,
чтобы получить для заданной нормальной плотности наиболее
простую форму. В этой связи мы не будем более касаться общих
линейных преобразований, а рассмотрим лишь вращения коор*
динатных осей.
Следующая теорема является непосредственным следствием
хорошо известной задачи о приведении квадратичных форм (или
симметричных матриц) к нормальному виду. Теорема не будет
использоваться в этой книге и указывается только для ссылок.
Доказательство легче, чем могло бы появиться в общей теории
матриц (где в то же время доказывается более сильное утвер-
утверждение). Мы приводим здесь необходимые определения и от-
отдельные этапы доказательства в надежде, что некоторые чита-
читатели найдут это интересным и завершат доказательство. Это
будет неплохим упражнением в матричном анализе. Обозначе-
Обозначения и центрирование из § 6 сохраняются. В частности, М =
= {nijh) есть ковариационная матрица в данной координатной
системе.
Теорема. Пусть дана нормальная плотность в <ШГ-. Тогда
оси координат могут быть повернуты таким образом, что новые
координатные величины будут взаимно независимыми нормаль-
нормальными величинами.
Примем следующие определения. Вектор-строка х называет-
называется единичным вектором, если хх =2x^ = 1. Угол со между

114 Г л III Многомерные плотности
двумя единичными векторами х и х определяется равенством
cos (x) = xxT = HxiiXh- Матрица А порядка гХг ортогональна, если
преобразование у=хА переводит единичные векторы в единич-
единичные. Детерминант ортогональной матрицы равен ±1. Враще-
Вращениями называются преобразования, порождаемые ортогональ-
ортогональными матрицами с детерминантом 1.
Нам необходимы следующие факты, касающиеся вращений.
1) Матрица А ортогональна тогда и только тогда, когда
ААТ=АТА=1.
2) Вращение сохраняет углы между единичными векторами.
3) Существует ортогональная матрица А, последней строкой
которой служит произвольно заданный единичный вектор.
Для доказательства теоремы необходимо последовательно
проверить следующие факты.
1) Существует единичный вектор |, такой, что 2ш,/;?^>>-
^¦Hm^x^Xp для всех единичных векторов х
2) Если |= @, 0, . . . , 0, 1) является таким максимизирую-
максимизирующим вектором, то m,k = 0 при k= {,..., г—1.
3) Существует вращение, переводящее максимизирующий
вектор | в @, . . . , 0, 1). В повернутой системе координат послед-
последняя координатная величина не зависит от первых г— 1 коорди-
координатных величин. Поэтому задача сводится от г к г—1 измере-
измерениям, и мы продолжаем в том же духе, используя вращения,
которые оставляют последнюю ось фиксированной. Тот факт,
что \ = ХА имеет независимые компоненты, означает, что ма-
матрица АТМА диагональна.
§ 7 *). Стационарные нормальные процессы
Цель этого параграфа состоит отчасти в том, чтобы ,пгь
примеры нормальных распределений, отчасти в том, чтобы уста-
установить некоторые соотношения, имеющие важное применение в
теории дискретных стохастических процессов и временных ря-
рядов. Они носят аналитический характер и легко отделимы от
более глубокого стохастического анализа. Фактически мы будем
иметь дело только с конечномерными нормальными плотностя-
плотностями, или, что равносильно, с их ковариационными матрицами.
Ссылки на случайные величины существенны для вероятностной
интуиции и как подготовка к применениям, но на данном этапе
мы касаемся только их совместных распределений; случайные
величины сами используются единственно как удобный способ
*) Нр используется в послед>юш.ем В частност, § 8 может быть прочи-
прочитан независимо (см также гл. XIX, 8).

§ 7. Стационарные нормальные процессы 115
описания всех частных плотностей посредством указания соот-
соответствующих совокупностей (Ха[, ..., Ха<>). Кроме того, ссылка
на бесконечную последовательность {X,,} влечет лишь то, что
число элементов в (Хь ...,Х„) может быть взято сколь угодно
большим.
Мы будем фактически рассматривать бесконечную в обе
стороны последовательность {. . . , Х_2, Х_ь . . .}. Под этим мы
просто подразумеваем, что для каждой конечной совокупности
(Х« , . . ., Х„г) задана нормальная плотность с очевидными усло-
условиями согласованности. Последовательность называется стацио-
стационарной, если эти распределения инвариантны относительно сдви-
сдвигов во времени, т. е. если все строки вида (Xn)fv. •••, Х„ , v)
с фиксированными (пь . . . , пг) имеют одно и то же распределение,
не зависящее от v. При г= 1 отсюда следует, что математические
ожидания и дисперсии постоянны и, следовательно, можно пред-
предположить, не ограничивая общности, что Е(Х„)=0. Совместные
распределения полностью определяются через ковариации pju =
= Е(Х,ХЙ), а свойство стационарности требует, чтобы р№ зави-
зависели только от разности \k — /|. Поэтому мы положим pjrj-+ri =
= г„. Таким образом,
гп = Е(Хд,Х^4 „) = Е(Хк_п, Хк), G.1)
откуда гп = г-п. Мы будем иметь дело только с последователь-
последовательностями чисел гп, которые могут служить ковариациями стоха-
стохастического процесса.
Всюду в этом параграфе {Zn} изображает бесконечную в обе
стороны последовательность взаимно независимых нормально
распределенных случайных величин, нормированных так, что
E(ZB) = 0, E(Z2n) = l. G.2)
Будут описаны три метода построения стационарных последова-
последовательностей в терминах данной последовательности {Zn}. Эти ме-
методы постоянно используются в анализе временных рядов и мо-
могут служить упражнением в стандартных рассуждениях.
Примеры, а) Обобщенные процессы скользящего среднего.
При произвольных константах Ьо, Ь\,. . . , Ь^ положим
Xn = *0Z/I + *1ZB_1+ ••• +bNZn_N. G.3)
В частном случае равных коэффициентов bk=\l{N +\) случай-
случайная величина Х„ является средним арифметическим типа, при-
применяемого в анализе временных рядов к «сглаживанию данных»
(т. е. к устранению локальных иррегулярностей). В общем слу-
случае G.3) представляет собой линейный оператор, переводящий

116 Гл III. Многочерные плотности
стационарную последовательность {Zn} в новую стационарную
последовательность {Х„}. Такие операции модно называть
фильтрами». Последовательность {Хп} имеет ковариации
rk = r_k = E (XnXn+k) = S bvbv+k (k > 0), G.4)
«
где сумма справа содержит ряды, имеющие лишь конечное
число членов.
Так как 21 bvbv+k |< b\-\-b\+k, то выражение G.4) имеет
смысл также и для бесконечных последовательностей, для koj
торых 2#v <C оо. Легко видеть, что предел последовательности
ковариационных матриц есть снова ковариационная матрица.
Полагая N-+oo, мы заключаем, что для любой последователь-
последовательности Ьо, bu b2, ..., такой, что I-b,, < °°> числа rh, определенные
в G.4), могут служить ковариациями стационарного процесса
{Хп}. Формально мы получаем для нового процесса
t со
Х„=2№-*- G-5)
k = Q
Можно без затруднений показать, что любой стационарный про-
процесс с ковариациями G.4) представим в такой форме, но выра-
выражение G.5) включает бесконечно много членов, и мы не можем
сделать это в настоящий момент (см. гл. XIX, 8).
б) Процесс авторегрессии. С тех пор как родился анализ
временных рядов, предлагались многие теоретические модели
для объяснения эмпирических явлений, например, таких, как
поведение экономических временных рядов, солнечных пятен и
наблюденные (или воображаемые) периодичности. Наиболее
распространенная модель предполагает, что величины Хп иссле-
исследуемого процесса связаны с нашей последовательностью Ъ„ не-
независимых нормальных величин посредством уравнения авто-
авторегрессии вида
воХл-М1Хв_1+ ... +амХп_м = 1п. G.6)
Эта модель основывается на эмпирическом предположении,
что значение величины Хп в момент п (цена, содержание или
интенсивность) зависит от ее прошлого развития и наложенного
на него «случайного возмущения» Zn, которое не связано с прош-
прошлым. Как часто бывает, предположение о линейной зависи-
зависимости упрощает (или делает возможным) теоретический ана-
анализ. Более общие модели получаются, если положить N—* оо
или выбрать в качестве Zn величины другого стационарного
процесса.

§ 7. Стационарные нормальные процессы 117
Если а0ф0, то можно произвольным образом выбрать
(Хо, .. . , Xjv-i) и затем последовательно вычислить Xjv, XjV+1, . . .
и X-i, Х_2, ... В этом смысле G.6) определяет некоторый про-
процесс, но нас интересует, существует ли стационарное решение.
Для ответа на этот вопрос мы перепишем G.6) в форме, не
включающей элементов, непосредственно предшествующих Хп.
Рассмотрим G.6), заменяя п последовательно на п — 1, л — 2, ...
.. . , п -— v. Умножим эти равенства на b\, bo,. . . , bv соответствен-
соответственно и прибавим к G.6). Величины Х„_ь . . . , Xn_v не появятся в
новом уравнении в том и только в том случае, если Ь3 таковы,
что
афх -f аД = 0, ..., aobv~\~a1bv_1 + ... 4 avb0 = 0, G.7)
где &о=1- В конце концов приходим к выражению вида
aJLa = buln + blln-x+ ... +ftvZn_v + YB>v, G.8)
где Yn, v представляет собой линейную комбинацию Xn_v_b . . .
. . . , Xn_j\r_v (с коэффициентами, которые нас не интересуют).
В G.8) мы представим величину Х„ как сумму случайных воз-
возмущений в моменты п, п—1, ..., п — v и величины Yn>v, изо-
изображающей влияние «прошлого» до момента п — v. При v—юо
это время становится «бесконечно далеким прошлым», и в боль-
большинстве ситуаций оно не будет иметь влияния. При переходе
к пределу мы (по крайней мере временно) предположим имен-
именно этот случай, т. е. мы разыскиваем процесс, удовлетворяющий
предельному соотношению вида
со
ЯоХя=2б»гя_*. G.9)
,"(=0
(Грубо говоря, мы предполагаем, что остаточные величины Yn,v
стремятся к нулю. Другие возможные пределы будут изучены в
следующем примере.)
Процессы вида G.9) рассматривались в примере (а), и мы
видели, что всякий раз, когда 2?>! < со, существует стационар-
стационарное решение (если ряд расходится, то даже выражение для ко-
вариаций теряет смысл). Для решения уравнений G.7) относи-
относительно Ьь. мы используем формальные производящие функции
A (s) = 2a*sfc, В (s) = ^bksk. G.10)
Уравнения G.7) выполняются тогда и только тогда, когда
Л (s)B(s) =а0Ь0. Так как Л полином, то В — рациональная функ-
функция. Поэтому мы можем использовать теорию разложения на
простые дроби, развитую в 1, гл. XI, 4. Если полином A(s)

118 Гл. III. Многодетные плотности
имеет различные корни Sy, . . . ,sN, мы получаем
А, А.
4
..
... Ч=v G-П)
и, следовательно,
Очевидно, что ^Ь"п < оо тогда и только тогда, когда все корни
удовлетворяют неравенству |s,|>l. Легко проверить, что это
остается справедливым также в случае кратных корней. Мы та-
таким образом сейчас показали, что стационарное решение авто-
авторегрессионной модели G.6) существует всегда, когда все корни
полинома A(s) лежат вне единичного круга. Ковариации нашего
процесса задаются формулой G.4), и «бесконечно далекое про-
прошлое» не играет в нем никакой роли. (Другие решения см. в
следующем примере.)
в) Вырожденные процессы. Обратимся к стационарным по-
последовательностям {Y,,}, удовлетворяющим «стохастическому
разностному уравнению»
* ¦fl0YB + a1YB_,+ ••• +аЛ-л, = 0. G.13)
Типичными являются частные случаи
Y,, — MZi cos nw + Z-i sin mo), G.14)
l)"a2Z_,, G.15)
где коэффициенты и величина со постоянны, а Zi и Z_i являются
независимыми нормальными случайными величинами, нормиро-
нормированными условиями G.2). Эти процессы удовлетворяют уравне-
уравнению G.13), первый с йо = #2=1 и а{ = —2cosco, второй с ао =
= —а2=\ и ai = 0. Эти процессы вырождены в том смысле, что
весь процесс полностью определяется двумя наблюдениями, ска-
скажем Y/._i и Y/,. Эти два наблюдения можно взять так далеко в
прошлом, как нам угодно, и в этом смысле процесс полностью
определяется своим «бесконечно далеким прошлым». Аналогич-
Аналогичные рассуждения применимы к любому процессу, удовлетворяю-
удовлетворяющему разностному уравнению вида G.13), и, следовательно, эти
процессы составляют противоположность примеру (б), где бес-
бесконечно далекое прошлое совсем не имеет влияния. >
Теория разностного уравнения G.13) дает также наиболее
общее решение задачи в примере (б). Действительно, мы на-
нашли одно решение G.6), и разность двух решений удовлетворяет
G.13). Отсюда следует, что мы можем добавить к решению в
примере (б) произвольную стационарную последовательность,

§ 7. Стационарные нормальные процессы 119
удовлетворяющую G.13), причем последняя будет описывать
вклад бесконечно далекого прошлого.
Сделаем одно замечание, касающееся природы разностного
уравнения G.13). Если {Yft} удовлетворяет этому уравнению, то
существует линейная зависимость между N+1 величинами
Yo, Yb . . . , Yj-v и, следовательно, их распределение должно быть
вырождено (т. е. оно не можег иметь плотность в Л/+1 измере-
измерениях). Без ограничения общности мы можем предположить, что
распределение (Yo, . . . , YA--i) невырождено, в противном случае
некоторая линейная комбинация этих величин была бы равна
нулю л вследствие предположенной стационарности это привело
бы к тому, что процесс {Yft} удовлетворял бы разностному урав-
уравнению порядка N— 1 или ниже. Иными словами, G.13) должно
представлять собой разностное уравнение наинизшего порядка,
которому удовлетворяет {Yn} Тогда строка (Yi, .. . , Yjv) имеет
плотность.
Теперь можно показать, что теория стационарных решений
разностного уравнения G.13) тесно связана с «характеристиче-
«характеристическим уравнением»
liV + a,rV~1+ ¦•¦ -j-aN = O. G.16)
Каждому квадратному множителю полинома, стоящего слева
здесь соответствует стохастическое разностное уравнение вто-
второго порядка и вследствие этого процесс вида G.14) или G.15).
В соответствии с разложением на множителч характеристиче
ского полинома мы представим, таким образом, общее решение
уравнения G.13) как сумму компонент вида G.14) и G.15).
Как и раньше, мы предполагаем E(Yn)=0. Вся теория
строится на следующей лемме.
Лемма 1. Стационарная последовательность с Е(\пУп+к) =
= rh удовлетворяет стохастическому разностному уравнению
G.13) в том и только том случае, когда
rn + airn_, -Н . . . + aNrn_N = Q. G.17)
Доказательство. Умножив G.13) на Yo и взяв матема-
математические ожидания, придем к G.17). Возводя в квадрат левую
часть равенства G.13) и вновь вычисляя математические ожида-
ожидания, получаем в результате I>aj(Zahrk-j), и поэтому из G.17)
следует, что левая часть в G.13) имеет нулевую дисперсию. Это
доказывает лемму. Ь-
Мы приступаем к выводу канонической формы G.22) для
г„. Эти величины, конечно, вещественны, но, так как в формулу
входят корни характеристического уравнения G.16), мы долж-
должны прибегнуть к временному использованию комплексных чисел..

120 Гл III. Многомерные плотности
Лемма 2. Если {?„} удовлетворяет уравнению G.13), но не
удовлетворяет никакому разностному уравнению низшего поряд-
порядка, то характеристическое уравнение G.16) обладает N различ-
различными корнями |i, . . . , |jv, no модулю равными единице. В этом
случае
rn = cxi1± ... +cNinN, G.18)
где с,>0 при j=l,. . . ,N.
Доказательство. Предположим вначале, что характе-
характеристическое уравнение G.16) имеет N различных корней
gi, ..., 1к. Определим г„ формулой G.18) с произвольными по-
постоянными cit . . . , Cn- Очевидно тогда, что эти гп удовлетворяют
разностному уравнению G.17) и что свободные параметры
Ci,. . . , cN могут быть подобраны так, чтобы привести к предпи-
предписанным значениям Г\, . . ., rN. Отсюда следует, что (в случае
различных корней) каждое решение {гп} разностного уравнения
G.17) имеет вид G.18). Теперь ковариации г„ стационарной по-
последовательности остаются ограниченными при п —*¦ <х> и
п -*—оо, что возможно, только если или ||;| = 1, или Cj = O. Те
же самые рассуждения применимы в случае, когда g4 = g2 есть
двойной корень, за исключением того, что первый член в правой
части G.18) заменяется на (с-[П + с2I,1. Из ограниченности гп
снова с необходимостью следует, что Ci = 0. Мы видим, таким
образом, что даже в случае кратных корней гп должны иметь
вид
Гп^с^^ ... -f CpgJ. G.19)
где p^.N и |i, . . . , |р — различные корни характеристического
уравнения G.16), причем все они по модулю равны единице.
Нам остается доказать, что фактически число членов, присут-
присутствующих в G.19), не может быть меньше N. Для этой цели мы
отметим, что |ь . . ., |р удовлетворяют уравнению степени р с
(возможно комплексными) коэффициентами аи- Отсюда следует,
что гп удовлетворяет разностному уравнению
^» + ?»-1+ ¦•• +<Wp = 0' G-20)
являющемуся аналогом G.17). Теперь ковариации гп являются
вещественными числами, и, следовательно, они удовлетворяют
также разностному уравнению, полученному отделением веще-
вещественной части уравнения G.20). Но по предположению г„ не
удовлетворяют никакому вещественному разностному уравнению
порядка, меньшего N, и поэтому должно быть p = N и с3ф0 при
_/=!,..., N. Этим завершается доказательство.

§ 7. Стационарные нормальные процессы 121
Для определенности мы сформулируем окончательный ре-
результат для случая, когда N — нечетное целое число.
Теорема. Предположим, что стационарная последователь-
последовательность {Уп} удовлетворяет разностному уравнению G.13) с /V =
= 2v+l, но не удовлетворяет никакому разностному уравнению
низшего порядка. Тогда характеристическое уравнение G.16)
обладает v парами комплексных корней gj = cos coj±i sin со,- (где
(Oj вещественны) и одним вещественным корнем too = ± 1. После-
Последовательность {Уп} имеет вид
V
уп = Xozo • шо + 2 bj [Z • cos «со • -j- Z_j sin /ш;], G.21)
где Zj — взаимно независимые нормальные величины, нормиро-
нормированные условиями G.2), a Xj — постоянные. Для этой последо-
последовательности
v
гп = Яо«" + 2 ^ cos «со., G.22)
Обратно, выберем произвольно вещественные ХЧФО и шо =
= ±1. Пусть coi, ..., av — различные вещественные числа, такие,
что 0<coj<Jt. Тогда G.21) определяет стационарный процесс с
ковариациями G.22), удовлетворяющий разностному урав-
уравнению порядка 2v+l (но не удовлетворяющий никакому разно-
разностному уравнению низшего порядка).
Доказательство. Так как гп вещественны, то из леммы 2
следует, что гп необходимо имеют вид G.22). Простейшие вы-
вычисления показывают, что ковариации последовательности {Y,,},
определенной в G.21), удовлетворяют G.22) и, следовательно,
G.17). Поэтому по лемме 1 {Yn} удовлетворяет заданному раз-
разностному уравнению G.13). По построению гп они не удовле-
удовлетворяют никакому разностному уравнению порядка меньше чем
N — 2v+l. Следовательно, {Yn} не может удовлетворять никакому
разностному уравнению порядка меньше N. Таким образом,
{Yn} удовлетворяет сформулированным условиям, но мы дол-
должны еще показать, что каждая последовательность {Yn}, удовле-
удовлетворяющая данному разностному уравнению, имеет вид G.21).
Для этой цели рассмотрим G.21) при n = 0, ...,2v как линейное
преобразование (Z_V) ..., Zv) в (Yo, .. ., Y2v). Легко видеть, что
это преобразование невырождено, и поэтому ковариационные
матрицы для (Z_v Zv) и (Yo, . . . , Y2v) определяют одна
другую единственным образом. Мы предположили, что ковариа-
ковариации величин Zj задаются единичной матрицей, и доказали, что
ковариации величин Yn задаются формулой G.22). Ввиду не-
невырожденного характера преобразования в равной степени

122 Г л III Многомерные плотности
справедливо, что ковариации G.22) для {Yn} определяют кова-
риации G.2) для {Zn}
Это доказывает прямую часть теоремы. Обратная часть сво-
сводится к ней рассмотрением характеристического уравнения с
2v+l корнями coo и cos (a,±i sin <й}.
§ 8. Марковские нормальные плотности
Мы перейдем к обсуждению одного класса нормальных плот-
плотностей, встречающихся в марковских процессах. Не ограничи-
ограничивая общности, мы рассмотрим только плотности, центрирован-
центрированные в начале координат. Тогда E(Xft) =0 и мы используем обыч-
обычные сокращения
ЕОФ = 0?(, E(XJXk)^=aJakPjk. (8.1)
Величины pJk суть коэффициенты корреляции, и pkh = l-
Определение. Нормальная r-мерная плотность (Хь . . .
. . . , X,) является марковской, если при k^Cr условная плотность
X,, при данных Хь . . . , Xft_i тождественна с условной плот-
плотностью Xft при данном Х;;_(.
Грубо говоря, если мы знаем Х^_1 («настоящее»), то допол-
дополнительное знание «-прошлого» Хь . . ., Xft_2 не привносит никакой
полезной информации относительно «будущего», т. е. относи-
относительно любой из величин X, с / ^ k.
Теорема 1. Для того чтобы конечная последовательность
(Хь ..., Хг) была марковской1), каждое из следующих двух
условий является необходимым и достаточным:
(i) для k < г
Е(Х/г|Х„ ..., Xft_1) = E(Xft|Xft_1); (8.2)
(ii) для /< v < &<г
Pjk = PjvPvk- (8-3)
Доказательство. Ввиду того что совпадение плотностей
влечет равенство математических ожиданий, необходимость
(8.2) тривиальна. Положим
Т = Х,--^-р,_1,Л_1. (8.4)
Тогда E(TXft_i)=0 и Т — единственная величина вида X/t—AXft_i,
некоррелированная с Х;;_ь По теореме 6.4 мы имеем T = Xft —
') Как обычно в подобных случаях, мы применяем термин «марковский»
и к последовательности (Хь ..., Хг) и к ее плотности.

§ 8. Марковские нормальные плотности 123
— E(Xft|Xft_i). Следовательно, (8.2) выполняется тогда и только
тогда, когда величина Т некоррелирована с Хь . . ., Х/;_ь т. е.
тогда и только тогда, когда
Pjk = 9j, ft-i • Pft-i, *. j < k- (8-5)
В этом случае выполняется не только (8.2), но также и соотно-
соотношение
Var (X* | X, . . . Х»_,) = Var (X, | Хл_,) = Var (T). (8.6)
Следовательно, соответствующие условные плотности совпадают.
Таким образом, (8.2) выполняется при всех k^Cr тогда и только
тогда, когда справедливо (8.5), и в этом случае последователь-
последовательность (Хь ..., X,) —марковская. Поскольку (8.5) есть частный
случай (8.3), то последнее условие является достаточным. Оно-
также и необходимо, так как повторное применение (8.5) пока-
показывает, что при j<v<k ^Сг
Pvft Pv, ft-l Pv, ft-2 '¦' Pw ;V '
Поэтому (8.5) влечет (8.3). Л»,
Следствие. Если последовательность (Х(, ..., X,.) мар-
марковская, то каждая подпоследовательность (Хг<1, . . . , Ха ) с
ai<a2<- • .<av^Cr является марковской.
Это очевидно, так как (8.3) автоматически распространяется
на все подпоследовательности. &
Примеры, а) Независимые приращения. Говорят, что под-
подпоследовательность (конечная или бесконечная) {Xh} нормаль-
нормальных случайных величин с E(X/t)=0 образует процесс с незави-
независимыми приращениями, если при j<k приращение Xk — Xj не
зависит от (Xi, ..., X,-). Отсюда следует, в частности, что
E(Xj(Xft — Xj))=0 или
Р;*=^> j<k. (8.8)
Сравнивая это с (8.3), видим, что нормальный процесс с неза-
независимыми приращениями автоматически оказывается марков-
марковским. Его структура чрезвычайно проста: Xh есть сумма А взаим-
взаимно независимых нормальных величин
Xi, X2 — X), . . . , Xjj — Xfe_j.
б) Модели авторегрессии. Рассмотрим нормальную марков-
марковскую последовательность Хь Х2, . . с E(Xft)=0. Существует
единственная константа ah, такая^ что Хл — а/гХ&_1 не зависит

124 Гл. III. Многомерные плотности
от Xh-i и, следовательно, от Хь ..., Xft_1# Положим
и последовательно
Xj = A-jZi,
Xft = akXk_x -f- A,fcZj k — 2, 3, ....
Легко видеть, что определенные таким образом величины Zft
независимы и
E(Zft) = 0, E(Z*) = 1. (8.10)
Верно и обратное. Если Zh нормальны и удовлетворяют (8.10),
то (8.9) определяет последовательность {Х„} и сама по себе
структура (8.9) показывает, что последовательность {X,,} — мар-
марковская. В качестве упражнения мы проверим это утверждение
вычислением. Умножим (8.9) на Xj и возьмем математические
ожидания. Так как Z^ не зависит от Xi, .. . , Х&_1, мы получаем
при j<k
^l»Л (8.Ц)
k
" °k-x 9j, ft-i
Теперь (8.5) есть простое следствие (8.11), а мы знаем, что вы-
выполнение (8.5) влечет марковский характер Xft. Таким образом,
(Хь . . . , Хг) является марковской тогда и только тогда, когда
выполняются соотношения вида (8.9), где Zj — независимые нор-
нормальные величины, удовлетворяющие (8.10). [Это есть частный
случай примера G,6).] >
До сих пор мы рассматривали только конечные последова-
последовательности (Xi, ..., Хг), но число г не играет никакой роли, и
мы можем также говорить о бесконечных последовательностях
{Х„}. Это не затрагивает пространств бесконечных последова-
последовательностей или какую-либо новую теорию, это просто указание
на то, что распределение для (Хь . . . , Хг) определяется при
всех г. Аналогично мы говорим о марковском семействе {Х(/)},
когда любая конечная совокупность Xi = X(/i), ..., Х,=Х(/Г)
является марковской. Ее описание зависит от функций
E(X*(t))=--0*(t), E(X(s)X(t)) = a(s)a(t)p(s, t). (8.12)
В силу критерия (8.3) очевидно, что семейство является марков-
марковским тогда и только тогда, когда при s<t<x
p(s, t)p(t, T) = p(s, т). (8.13)
Вопреки порождаемым терминологией образам, мы фактически
будем иметь дело только с семействами конечномерных нор-

§ 8. Марковские нормальные плотности 125
мальных распределений с ковариациями, которые удовлетво-
удовлетворяют (8.13).
Как обстоятельно объяснялось в начале § 7, последователь-
последовательность {Х„} называют стационарной, если для каждой фиксиро-
фиксированной строки cci, ..., ап распределение (Xai+V> ••., Xa/j+v) не
зависит от v. Конечный отрезок такой последовательности мо-
может быть продолжен в обе стороны, и, следовательно, естествен-
естественно рассматривать только бесконечные в обе стороны последова-
последовательности {. . . , Х_2, Х_ь Хо, Xi. . .}. Эти понятия тривиальным об-
образом переносятся на семейства {Х(^)}.
Для стационарной последовательности {Хп} дисперсия о2п не
зависит от п и в марковском случае (8.3) влечет равенство
P/? = PJ2~y'- Таким образом, для стационарной марковской пос-
последовательности
E(X,Xft) = oV*--", (8.14)
где а2 и р — постоянные, |р|<1. Обратно, последовательность
с нормальными распределениями, удовлетворяющая (8.14), яв-
является марковской и стационарной.
В случае стационарного семейства {Х(^)} корреляция p(s, t)
зависит только от разности \t — s\ и (8.13) приобретает вид
р(/)р(т)=р(г+т) для t, т>0.
Очевидно, из равенства р(т)=0 должно следовать р(/)=0 при
всех t~>% и также p(V2t)=0. Поэтому р не может иметь нулей,
за исключением случая р(/)=0 при всех ^>0. Следовательно,
p(t)=e~u (здесь используется результат из 1, гл. XVII, 6). Соот-
Соответственно для стационарного марковского семейства
E(X(s)XE + /)) = a2e-4 г>0, (8.15)
за исключением случая, когда X(s) и Х(/) некоррелированы
при всех s4=t.
Пример, в) Стационарные последовательности могут быгь
построены по схеме последнего примера. Вследствие (8.11) мы
должны иметь
X4 = pXfc_1 + o/l—P'Z*. (8.16)
При каждом k можно выразить \k как линейную комбинацию
2h, Zfe_b . . . , Z;<_v и Xft_v+i. Формальный переход к пределу при-
приводит к представлению
со
Xft = a(l-p2JV'Z*-;, (8.17)
/ = 0
т. е. к представлению {Xk} через бесконечную в обе стороны
последовательность независимых нормальных величин Zj,

126 Гл. 111. Многомерные плотности
нормированных условием (8.10). Так как |р|<1, то правдопо-
правдоподобно, что ряд сходится, однако формула по существу связана
с пространством бесконечных последовательностей. [См. замеча-
замечания, касающиеся формулы G.5), частным случаем которой яв-
является (8.17).] >
Полезно, быть может, обсудить связь теоремы 1 с непосред-
непосредственным описанием марковских последовательностей в терми-
терминах плотностей. Обозначим через gt плотность Хг и через
gut(x, у) —значение в точке у условной плотности Xft при усло-
условии Xj = x. (В теории стохастических процессов gik называется
переходной плотностью от Хг- к Хй.) Из теории нормальных
марковских последовательностей мы знаем, что gt представляет
собой нормальную плотность с нулевым математическим ожида-
ожиданием и дисперсией о2., в то время как
(8л8)
при фиксированном х есть нормальная плотность с математи-
математическим ожиданием Q~[lQikQkx и дисперсией а\ (\ —р2[ку Как бы
то ни было, мы начнем все заново, не используя теорему I.
По самому определению совместная плотность (X,-, Х;) за-
задается как gi(x)ga {х, у). Совместная плотность (Хг, Xj, Xh)
равна произведению предыдущей плотности на условную плот-
плотность Хй при данных Xj и X,-, но ввиду марковского характера
индекс / может быть опущен, если i<j<k, и плотность (X,-, Xj,
\h) становится равной
()( ), z). (8.19)
В марковском случае плотность каждой строки (^v •••' ^aJ
задается произведением вида (8.19), однако плотности gik не
могут быть выбраны произвольно. В самом деле, интегрирова-
интегрирование (8.19) относительно у дает частную плотность для (X,-, Xft).
Поэтому мы получаем условие согласованности
Л со
g,k(x, z)= J gu(x, y) gik (у, z)dy (8.20)
— oo
при всех i<j<k. Это есть специальный случай уравнения Кол-
Колмогорова— Чепмена для марковских процессов'). Говоря очень
') Другие специальные случаи встречалисьв 1,гл. XV, A0.3) и гл. XVII,
(9.1). Заметим, что формула (8.19) представляет собой аналог определения
[т. I, гл. XV, A.1)] вероятностей для марковских цепей, за исключением того,
что здесь суммирование заменено интегрированием и что были рассмотрены
только стационарные переходные вероятности.

§ 8 Марковские нормальные плотности 127
приблизительно, это уравнение означает, что переход из х в мо-
момент г в г в момент k происходит через все промежуточные со-
состояния у, причем переход от у к z не зависит от прошлого. Оче-
Очевидно, что при любой системе переходных вероятностей ga, удов-
удовлетворяющих уравнению Колмогорова—Чепмена, схема умно-
умножения (8.19) приводит к согласованной системе плотностей для
(Хь Х2, ..., Хг), и эта последовательность является марков-
марковской. Таким образом, мы пришли к следующему аналитическому
дополнению теоремы 1.
Теорема 2. Плотности семейства {glh} тогда и только тогда
могут служить переходными плотностями в нормальном марков-
марковском процессе, когда они удовлетворяют уравнению Колмого-
Колмогорова — Чепмена и когда glh (х, у) при каждом фиксированном х
является нормальной плотностью относительно у.
Обе теоремы содержат необходимые и достаточные усло-
условия, и поэтому они в некотором смысле эквивалентны. Тем не
менее они имеют различную природу. Вторая из них на самом
деле не ограничивается нормальными процессами; примененная
к семействам {Х(/)}, она приводит к дифференциальным и ин-
интегральным уравнениям для переходных вероятностей и на
этом пути способствует введению новых классов марковских
процессов. С другой стороны, из теоремы 2 трудно угадать, что
glh необходимо имеет вид (8.18) —результат, содержащийся в
более специальной теореме 1.
Для последующих ссылок и сравнений мы приводим здесь
два наиболее важных марковских семейства {Х(/)}.
Пример, г) Броуновское движение или процесс Винера — Ба-
шелье. Процесс определяется тем условием, что Х@)=0 и что
при t~>s величина Х(/) —X(s) не зависит от X(s) и имеет дис-
дисперсию, зависящую только от t — s. Иными словами, процесс
имеет независимые приращения [пример (а)] и стационарные
переходные вероятности [но он не стационарный, поскольку
Х@)=0]. Очевидно, что E(X2(t))=a2t и E(X(s)X(/)) =a'-s при
s<7. При x~>t переходные плотности, характеризующие переход
из (/, х) в (т, у), нормальны с математическим ожиданием х
и дисперсией о2(т — /). Они зависят только от {у — х)/(х — /),
и уравнения Колмогорова — Чепмена сводятся к свертке.
д) Процесс Орнстейна — Уленбека. Под этим понимается
наиболее общий нормальный стационарный марковский процесс
с нулевыми математическими ожиданиями. Его ковариации оп-
определяются формулой (8.15). Иными словами, при x>t переход-
переходные плотности, характеризующие переход из (/, х) в (т, у),
нормальны с математическим ожиданием е~1(-х~^х и дисперсией

128 Гл. III. Многомерные плотности
а2A—¦ е~2Л<т-'>). При т —* оо математическое ожидание стре-
стремится к нулю, а дисперсия — к а2. Этот процесс был рассмотрен
Орнстейном и Уленбеком с совершенно другой точки зрения.
Его связь с диффузией будет обсуждена в гл. X, 4. >
§ 9. Задачи
1. Рассмотрим Q — область на плоскости (площадью '/г), ограниченную
четырехугольником с вершинами @,0), A,1), @, '/г), С/г,!) и треугольником
с вершинами ('/г, 0), A,0), A, '/г). (Единичный квадрат представляется объ-
объединением Q и области, симметричной Q относительно биссектрисы.) Пусть
пара (X, Y) распределена равномерно на Q. Докажите, что частные распре-
распределения являются равномерными и что X + Y имеет такую же плотность, как
если бы X и Y были независимыми ').
Указание. Рисунок делает вычисления излишними.
2. Плотности с частными нормальными плотностями. Пусть и — нечетная
непрерывная функция на прямой, равная нулю вне интервала —1, 1. Если
|н|< Bяе)"'/2, то выражение
п (х) п (у) +и(х)и (у)
изображает двумерную плотность, которая не является нормальной, но част-
частные плотности которой нормальны. (Э. Нелсон.)
3. Второй пример. Пусть ср, и ср2 — две двумерные нормальные плот-
плотности с единичными дисперсиями, но с различными коэффициентами корреля-
корреляции. Смесь 7а(ф1 + ф2) н& является нормальной плотностью, но две ее част-
частные плотности совпадают с Н .
Замечание. В последующем все случайные величины рассматриваются
в 5?'. Векторные величины обозначаются парами (Хь Х2) и т. д.
4. Пусть Xi, ..., Х„ — независимые случайные величины с одинаковой
плотностью / и функцией распределения F. Если X и Y являются соответ-
соответственно наименьшей и наибольшей из них, то совместная плотность пары
(X, Y) равна
n{n-\)!(x)f(y)[F(y)-F(x)Y-\
5. Покажите, что распределение Коши в Ш3 [определенное в A.21)] соот-
соответствует случайному вектору, длина которого распределена с плотностью
u(r)=4n-V2(l+r2)-2 при л>0.
Указание. Используйте полярные координаты и либо A.15), либо же
общее соотношение гл. I, A0.4) для проекций.
6. Пусть а>0 и 1(х,у)=[(\+ах){\ + ау) —а]е-х-у-ахУ при х>0, г/>0 и
f(x,y)=O в других случаях.
а) Докажите, что / есть плотность пары (X, Y). Найдите частные плот-
плотности и функцию распределения.
б) Найдите условную плотность их(у) и E(Y|Xj, Var(Y|X). (Э. Гумбел.)
7. Пусть / — плотность, сосредоточенная на 0, со. Положим и(х,у) =
— f(x+y)/(x+y) при х>0, </>0 и и(х, у)=0 в других случаях. Докажите,
что и есть плотность в Ж2 и найдите ее ковариационную матрицу.
') Иными словами, распределение суммы может быть задано сверткой,
даже если величины зависимы. Этот интуитивно понятный пример предло-
предложен Г. Роббинсом. Другой парадокс такого же типа см. в гл. II, D, д).

§ 9. Задачи 129
8. Пусть Xi, X2, Х3 взаимно независимы и равномерно распределены
на 0,1. Пусть X(i), ХB), Х(з>— соответствующие порядковые статистики. Най-
Найдите плотность пары
ХA) Х(
B)
ХB) ХC)
и покажите, что эти два отношения независимы. Обобщите на п измерений.
9. Пусть Xi, Хг, Х3 независимы и одинаково показательно распределены.
Найдите плотность (Х2—Хь Х3—Xi).
10. Частица массы т расщепляется на два осколка с массами Хт и
A—\)т. Здесь X — случайная величина с плотностью f(x)>0 при 0<х<\
и f(x)—O в других случаях; по соображениям симметрии f(x)=f(\—х).
Предположим, что эти два осколка расщепляются независимо таким же об-
образом. Найдите (а) совместную плотность наименьшего и наибольшего из
четырех осколков; (б) частную плотность наименьшего из четырех осколков.
11. Пусть Xi, X2, ... независимы и имеют одну и ту же нормальную
плотность п. Обозначим Sa = Xi + . . , + Хь. При /я<п найдите совместную
плотность (Sm, Sn) и условную плотность для Sm при условии, что Sn = t.
12. В предыдущей задаче найдите условную плотность Xj -(- ... +Х^г
при данном значении X]-|- ... Ч-Х^.
13. Пусть (X, Y) имеет двумерную нормальную плотность, центрирован-
центрированную в начале координат, с Е(Х2) = E(Y2) = 1 и E(XY)=p. При переходе к по-
полярным координатам (X, Y) превращается в (R, Ф), где R2=X2 + Y2. Дока-
Докажите, что Ф имеет плотность, равную
0 < ф < 2я,
2я A — 2р sin ф cos ф)
и распределено равномерно тогда и только тогда, когда р = 0. Выведите, что
Р {XY >0}=~-\-л~[ arc sin р и Р {XY < 0} = я arccos p.
14. Пусть / — равномерная плотность в треугольнике с вершинами @,0),
@,1), A,0) и g — равномерная плотность в симметричном треугольнике в
третьем квадранте. Найдите f * f и f*g.
Предостережение. Требуется утомительное раздельное рассмотрение от-
отдельных интервалов.
15. Пусть f — равномерное распределение в единичном круге. Найдите
/*/ в полярных координатах.
16. Пусть и и v — плотности в 5?2 вида
и (х, у) = f (Yx* + y2), v (х, y) = g (У*2 + </2).
Найдите и * v в полярных координатах.
17. Найдите общий нормальный стационарный процесс, удовлетворяю-
удовлетворяющий соотношениям
а) Хп+2 + Х„ = 0;
б) Хи+2-Х„ = 0;
В) Хп_-з — Л н -j_2 ~f-л п +1 —Хп^=0.

130 Гл. III. Многомерные плотности
18. Сервостохастический процесс. (Г. Д. Миле) Сервомеханизм подвер-
подвергается случайным толчкам, но в любое время могут быть введены поправки.
Таким образом, ошибка Yn в момент п имеет (в подходящих единицах) вид
YnJ-i = Yn + Ci» + Xn+i, гДе С„ — поправка, а Х„— независимые величины
с Е(Х,,)=0, Е(Х^г) = 1. Величины С„ в принципе являются произвольными
функциями прошлых наблюдений, т. е. Y/t и Xft при k «-. я. Желательно вы-
выбрать их так, чтобы минимизировать дисперсию Var(Yn) (которая пред-
стявляет собой меру того, сколь хорошо работает механизм).
а) Рассмотрите ковариационную функцию {Yn} и покажите, что
•Var(Yn)>l.
б) В предположении, что Var(Cn) -> a2, Var(Yn)->a2 (тенденция к ста-
стационарности), покажите, что а>'/г (а+ <*"').
в) Рассмотрите, в частности, линейную схему Сп=а — p(Yn—b),O<p ^1.
Найдите ковариационную функцию и представление вида G.8) для Yn.
19. Продолжание. Если существует запаздывание во времени в поступле-
поступлении информации или корректировке, то модель остается по существу той же
самой, за исключением того, что С„ следует заменить на Cu+n. Обсудите
эту ситуацию.

ГЛАВА IV
ВЕРОЯТНОСТНЫЕ МЕРЫ И ПРОСТРАНСТВА
Как уже говорилось во введении, технический аппарат тео-
теории меры используется в этой книге лишь в небольшой сте-
степени, и для понимания большей ее части настоящая глава не
нужна1). Тем не менее желательно дать краткий обзор важней-
важнейших понятий, образующих теоретический фундамент этой книги,
а также привести основные теоремы для удобства ссылок. Идеи
и факты, имеющиеся в виду, не трудны, однако доказательства
в теории меры включают в себя неприятные технические детали.
Для начинающего и неспециалиста подступ затрудняется много-
многогранностью теории меры, а также разнообразием ее применений.
Существуют превосходно написанные вводные курсы, однако ма-
материал в них в силу необходимости дается в слишком общей
форме и, кроме того, в них излагаются различные аспекты тео-
теории меры, не являющиеся существенными для настоящей книги.
Даваемый ниже обзор содержит, главным образом, лишь то,
что нужно для дальнейшего; многие доказательства и техни-
технические детали опускаются2). (Следует отметить, что простота
теории обманчива: значительно более трудные задачи теории
меры возникают в связи со случайными процессами, зависящими
от непрерывного временного параметра. Изложение условных
математических ожиданий откладывается до гл. V. 10; теорема
Радона — Никоднма содержится в гл. V. 3.)
') Это относится к читателям, знакомым с основами теории меры, а так-
также к тем читателям, которые интересуются главным образом результатами и
фактами. Для удобства последних определение интеграла повторяется
в гл. V. ]. За пределами этого материала они могут полагаться на свою
интуицию, поскольку по существу теория меры дает обоснование простым
формальным действиям.
2) Бэровские функции и интегрирование по Лебегу — Стнльтьесу превос-
превосходно изложены в книге Маклейна и Т. А. Боттса, Real analysis, D. Van Nost-
rand, Princeton, 1959, Результаты общей теории меры широко используются
в изложении Халмоша, Халмош П. Р., Теория меры, ИЛ, М., 1953, Бур-
баки Н., Elements de mathematiques [Livre VI, chapitres 3—5], Herman, Pa-
Paris, 1952, 1956. Общая теория меры, написанная с целью применения в тео-
теории вероятностей, содержится в книгах Дуба, Лоэва, Неве п Аннекнна и
Тортра.

132 Гл. IV. Вероятностные меры и пространства
Формулы, относящиеся к евклидовым пространствам <$г, не
зависят от числа измерений и х в них пужно понимать как со-
сокращенную запись для (хи . . . , х,).
§ 1. Бэровские функции
Нам нужно указать класс множеств, для которых опреде-
определены вероятности, а также класс функций, являющихся слу-
чайпыми величинами. Эти две задачи связаны между собой и,
более того, их изложение объединяется применением современ-
современных обозначений. Введем сначала эти обозначения и напомним
определение сходимости в терминах монотонпых пределов.
Индикатором1) множества А называется функция, равная
единице во всех точках А и равная нулю во всех точках множе-
множества А', дополнительного к А. Индикатор А обозначается 1А,
так что \А(х) = \ при х?А и \а(х)=0 в противном случае. Каж-
Каждому множеству отвечает его индикатор, и каждая функция,
принимающая лишь значения 0 и 1, является индикатором пе-
которого множества. Если f — произвольная функция, то произ-
произведение 1 Af есть функция, равная / на А и нулю в остальных
точках.
Рассмотрим теперь пересечепие С=АГ\В двух множеств.
Его индикатор 1С равен нулю, когда либо 1а, либо 1В обра-
обращается в нуль, так что lc = inf AА, 1д), т. е. значение 1С равно
наименьшему из значений 1л, 1в- Этот параллелизм отражается
в обозначении frig", которое используется вместо inf (f, g) для
функции, равной в каждой точке х наименьшему из значений
f(x) и g(x). Аналогично fUg^sup (f, g) обозначает наиболь-
наибольшее из двух значений2). Операторы Пии применимы к лю-
любому множеству функций. Обычно пользуются сокращенными
обозначениями
По определению в каждой точке х эти функции равны соот-
соответственно минимуму и максимуму среди п значений fi(x), ...
..., fn{x). Если fh есть индикатор множества Ah, то функ-
') Этот термин был введен Лоэвом. Более старый термин «характеристи-
«характеристическая функция» неудачен в теории вероятностей, поскольку его принято от-
относить к другому объекту.
2) Многие авторы предпочитают символы Л и V для функций, оставляя
символы П и U лишь для множеств. В нашем изложении двойные обозна-
обозначения де дают никаких преимуществ.

§ 1. Бэровские функции 133
ции A.1) являются индикаторами соответственно пересечения
Ai П . . . П Ап и объединения Л4 U. .. U Ап.
Рассмотрим теперь бесконечную последовательность {/„}.
функции, определяемые формулой A.1), монотонны по п, так
со со
что пределы \\fk и \J fk вполне определены, хотя, возможно,
и бесконечны. Для фиксированного / функция
со
есть предел монотонной последовательности функций fj Л . . . П fj.' „;
и сама последовательность {га3} тоже монотонна, именно wn =
со
= Ш1 U ... U гап. В наших обозначениях wn ->|J 'ffiV По определе-
нию дога(х) есть нижняя грань (инфимум) числовой последо-
последовательности fn(x), fn+i(x), ¦¦¦¦ Следовательно, предел последо-
последовательности wn совпадает с нижним пределом liminf/n, так что
При таком подходе нижний предел lim inf получается двумя
последовательными переходами к пределу в монотонных после-
последовательное 1ях. Аналогичное справедливо и для верхнего пре-
предела lim sup, равенство A.3) сохранится, если в левой его час-
части lim inf заменить на lim sup, а в правой части знаки П и U
поменять местами.
Все сказанное переносится на множества. Так, например, по
определению A = \imAn тогда и только тогда, когда 1Л= lim 1дП
Это означает, что последовательность множеств {Ап} сходится
к множеству А тогда и только тогда, когда каждая точка А
принадлежит всем А, за исключением не более чем конечного
числа, и каждая точка дополнения А' принадлежит не более чем
конечному числу множеств А,г.
Пример, а) Множество {Ап б. ч.} *). В качестве важного с ве-
вероятностной точки зрения примера предельных операций над
множествами рассмотрим событие А, состоящее в «реализации
бесконечного числа событий из данной последовательности со-
событий Л4, А2, . ¦ .». [Частные случаи были рассмотрены в 1,
гл. VIII (леммы Бореля — Кантелли) и в 1, гл. XIII (рекур-
(рекуррентные события).] На более формальном языке это означает,
Что точка х принадлежит множеству А тогда и только тогда,
') В подлиннике «Ап и о.» (infinitely often). — Прим. перев.

134 Гл. IV. Вероятностные меры и пространства
когда она принадлежит бесконечному числу множеств после-
последовательности {Ah}. Поскольку индикаторы могут принимать
лишь два значения 0 и 1, то данное определение равносильно
следующему: 1л = Ит sup \An. В обычных обозначениях это за-
записывается как Л = lim sup Л;1, однако обозначение {Л„б. ч.} (чи-
(читается А„ «бесконечно часто») более приятно и наглядно. Оно
было введено Чжуном и теперь общепринято в вероятностной
литературе. >•
Наша следующая задача — ограничить класс функций1) на
<#г, с которыми мы предполагаем иметь дело. Понятие произ-
произвольной функции слишком общо, чтобы быть полезным для
наших целей. Более подходящим является модернизированный
вариант эйлерового определения функции. Если считать, что не-
непрерывные функции заданы, то единственный эффективный спо-
способ конструирования новых функций состоит в предельных пе-
переходах. Оказывается, все наши потребности будут удовлетво-
удовлетворены, если мы будем знать, как обращаться с функциями,
являющимися пределами последовательностей непрерывных
функций или пределами последовательностей, в которых каждая
{fn} является таким пределом и т. д. Иными словами, нам инте-
интересен класс 33 функций, обладающий следующими свойствами:
1) каждая непрерывная функция принадлежит 23 и 2) если
функции /j, /2, ••• принадлежат 33, и предел f(x)=\\mfn(x) су-
существует при всех х, то / тоже принадлежит 23. Такой класс
называется замкнутым относительно поточечных пределов. Ясно,
что такие классы существуют, например класс всех функций.
Пересечение всех таких классов является замкнутым семейством
и образует, очевидно, наименьший такой класс. Интуитивно
ясно, что разумно ограничить наши рассмотрения этим наимень-
наименьшим классом.
Наименьший замкнутый класс функций, содержащий все не-
непрерывные функции, называется классом Бэра и будет обозна-
обозначаться 23. Функции из 23 называются бэровскими функциями2).
') В принципе мы интересуемся лишь конечнозначными функциями, од-
однако иногда удобно допустить также в качестве возможных значений ±со
Например, простая теорема, утверждающая сходимость всякой монотонной
последовательности, неверна для конечнозначных функций, а без нее многие
формулировки становятся тяжеловесными По этой причине мы следуем
обычному соглашению, по которому все функции принимают значения из рас-
расширенной вещественной прямой, т. е их значения суть числа или ± о. На
практике значения ±>^ не будут играть роли. Чтобы сумма и произведение
двух функций были определены, вводят следующие соглашения: со-)- «"• = оо,
со — со = 0, со • то = со, 0 • пп = 0 и т. д.
2) Это определение основано лишь на понятии непрерывности и ie зави-
зависит от других свойств евклидовых пространств Его, следовательно, можно
перенести на любое топологическое пространство.

§ 2. Функции интервалов 135
Понятие бэровской функции будет использоваться не только
по отношению к функциям, заданным на всем пространстве, но
и по отношению к функциям, определенным лишь на некотором
подмножестве (например, Yx и l°g# B случае простран-
пространства & >).
Из данного определения ясно, что сумма и произведение
двух бэровских функций тоже являются бэровскими функциями.
Более того, если w — непрерывная функция от /' переменных
и ft, • . . , Д- — бэровские функции, то функция w (ft /г) тоже
бэровская. Заменяя w на wv и переходя к пределу, можно пока-
показать, что вообще всякая бэровская функция от бэровских функ-
функций есть бэровская функция. Фиксация значений одной или не-
нескольких переменных приводит опять к бэровской функции
и т. д. Короче говоря, никакая из обычных операций над бэров-
бэровскими функциями не выводит за пределы класса 23, и, следо-
следовательно, класс 23 представляет собой естественный объект для
изучения. Оказывается, что никакого упрощения не достигается,
если ограничиться меньшими классами.
§ 2. Функции интервалов и интегралы в Мг
Интервалом мы будем называть множество точек, удовлетво-
удовлетворяющих двойному неравенству одного из следующих четырех
типов (попутно вводятся очевидные обозначения):
a, b: a<x <? a, b: а <х
-I
a, b: а<х<6 a, b: а<х<6
В одномерном случае выписанные неравенства исчерпывают все
возможные интервалы, включая вырожденный интервал пуле-
пулевой длины. В двумерном случае эти неравенства понимаются
в покоординатном смысле, и интервалы представляют собой
(возможно, вырожденные) прямоугольники со сторонами, па-
параллельными осям координат. При числе измерений, большем
или равном двум, возможны и другие типы интервалов, однако
мы их исключаем из рассмотрения. Допускается предельный
случай, когда одна или более координат а или b равны ±оо.
В частности, все пространство есть интервал —оо, оо.
Функция точек f сопоставляет значения f(x) отдельным точ-
точкам. Функция множеств F сопоставляет значения отдельным
Множествам или областям пространства. Объем в <#3, площадь
в М2 или длина в Ж1 являются типичными примерами функций
Множеств. Помимо этих есть много других функций множеств,
и среди них-вероятности представляют собой наиболее интересный

136 Гл. IV. Вероятностные меры и пространства
для нас частный случай. Мы будем интересоваться лишь функ-
функциями множеств, обладающими следующим свойством: если
множество А разбито на две части А1 и А2, то F{A} = F{Ai} + F{A2}.
Такие функции называются аддитивными1).
Как мы видели, вероятности F{I} часто определены для всех
интервалов r-мерного пространства Мг, и их желательно доопре-
доопределить на более общих множествах. Та же самая задача возни-
возникает в элементарном анализе, где площадь первоначально опре-
определена только для прямоугольников, и желательно определить
ее для более общей области А. Простейший подход состоит в
том, что сначала определяется интеграл от функции двух пере-
переменных и затем «площадь А» приравнивается к интегралу от
индикатора \А (т. е. к функции, равной 1 на Л и обращающейся
в нуль вне А). Аналогично мы определим интеграл
Е(и)= J u{x)F{dx) B.1)
от функции точек и по отношению к функции интервалов F. Ве-
Вероятность А определяется затем как ЕAА). При построении ин-
интеграла B.1) неважно, как интерпретируется функция F, и мы
по существу дадим общее понятие интеграла Лебега — Стильтье-
са. Приступим теперь к аккуратному выполнению намеченной
программы.
Пусть F — функция, сопоставляющая каждому интервалу /
конечное значение F{I}. Такая функция называется (конечно)
аддитивной, если для каждого разбиения интервала на конечное
число непересекающихся интервалов /ь . . . , /п
F[I) =F {/,}+... +F{In). B.2)
Примеры, а) Распределения в Ж1. В первом томе мы рас-
рассматривали дискретные вероятностные распределения, сопостав-
сопоставляющие вероятности р\, р2, ... точкам ct\, а2, ... . Здесь F{I}
есть сумма весов рп всех точек ап, содержащихся в /, и Е(ы) =
2()
р
Если G — какая-либо непрерывная монотонная функция, воз-
возрастающая от 0 на —оо до 1 на оо, то можно положить
F(a~J}}=G(b) — G{a).
') Вот несколько примеров аддитивных функций из практики: масса и
количество тепла в области, цена земли, площадь под пшеницей и число жи-
жителей в географическом районе, ежегодная добыча угля, расстояние, которое
пролетел пассажир, или число израсходованных киловатт-часов в течение не-
некоторого периода, число телефонных вызовов и т. д.

§ 2. Функции интервалов 137
б) Случайные векторы. Вектор единичной длины выходит из
начала координат в случайном направлении. Вероятность гого,
что его конечная точка лежит в двумерном интервале /, пропор-
пропорциональна длине дуги, по которой / пересекается с единичной
окружностью. Определяемое здесь непрерывное распределение
вероятностей не имеет плотности. Оно сингулярно в том смысле,
что вся вероятность сосредоточена на окружности. Можно ду-
думать, что такие распределения искусственны и что в рассматри-
рассматриваемом случае скорее окружность, а не плоскость должна быть
естественным выборочным пространством. Это возражение не-
неосновательно, поскольку сумма двух таких независимых случай-
случайных векторов может принять любое значение между 0 и 2, и
имеет положительную плотность в круге радиуса 2 (см. V, при-
пример D, д)). Следовательно, в некоторых задачах, связанных с
единичными случайными векторами, плоскость является есте-
естественным выборочным пространством. Во всяком случае нашей
целью было только показать на простом примере, что может
происходить в более сложных ситуациях.
в) В заключение приведем нример, иллюстрирующий одно
обстоятельство, которое будет исключено в дальнейшем. В про-
пространстве ей" положим F{I}=0 для любого интервала / = а, Ь
с 6<оо и F{I}=\, когда / = а, оо. Так определенная функция ин-
интервалов, будучи аддитивной, является патологической в том
смысле, что она не удовлетворяет естественному требованию не-
непрерывности, согласно которому F{a, b} должно стремиться к
F{a, оо} при Ь —* оо. >
Последний пример показывает, что желательно усилить тре-
требование B.2) конечной аддитивности. Мы скажем, что функ-
функция интервалов F счетно- или а-аддитивна, если для каждого
разбиения интервала I на счетное число интервалов /ь /2, . .
F{l}=^F{Ik}. B.3)
[Счетное число обозначает либо конечное число, либо бесконеч-
бесконечное счетное число. Термины «вполне аддитивная» и «счетно-ад-
«счетно-аддитивная» означают одно и то же. Условие B.3) явно нарушено
в последнем примере.]
В дальнейшем мы будем рассматривать только счетно-адди-
счетно-аддитивные функции множеств. Это ограничение, с одной стороны,
позволяет успешно развить теорию, а с другой — может быть
оправдано a priori на эвристической и прагматической основе.
В самом деле, если An = Iu U . . . U 1п есть объединение первых я
интервалов, то Л„—*¦/. Можно считать, что «при п достаточно
большом Ап практически неотличимо от /». Если F{An} может

138 Гл. IV. Вероятностные меры и пространства
быть найдено из экспериментов, то /•'{Лп} должно быть «практи-
«практически неотличимо» от F{I), т. е. /•'{Л,,} должно стремиться к F{I}.
Счетная аддитивность B.3) и есть точное выражение этого тре-
требования.
Поскольку нас интересуют в первую очередь вероятности,
мы ограничимся рассмотрением лишь неотрицательных функ-
функций интервалов F, нормированных условием F{—оо, оо}=1. Тре-
Требование нормированное™ не накладывает никаких серьезных
ограничений, когда F{—оо, оо}<оо, однако исключает такие
функции интервалов, как длина в <#' или площадь в S2. Чтобы
использовать излагаемую ниже теорию в подобных случаях, до-
достаточно разбить прямую или плоскость на единичные интер-
интервалы и рассматривать их по отдельности. Этот прием так очеви-
очевиден и настолько хорошо известен, что не требует никаких даль-
дальнейших пояснений.
Функция на Мг называется ступенчатой функцией, если она
принимает лишь конечное число значений, причем каждое зна-
значение на некотором интервале. Пусть ступенчатая функция и
принимает значения аь . . . , ап на интервалах /ь ...,/„ (с ве-
вероятностями F{I\], ..., F{In}) соответственно. По аналогии с оп-
определением математического ожидания дискретных случайных
величин положим
E(u) = alFl {/,}+... + aaF{In). B.4)
[Конечно, разбиение пространства на интервалы, на которых
функция и постоянна, не единственно, однако, как и в дискрет-
дискретном случае, легко видеть, что определение B.4) не зависит от
разбиения.] Математическое ожидание Е(и) обладает следую-
следующими свойствами:
а) Аддитивностью относительно линейных комбинаций:
Е (ai«! + а2и2) = щЕ {их)-\- <х2Е (и2). B.5)
б) Положительностью:
если ы>0, то Е(и)>0. B.6)
в) Нормированностью: для функции, равной во всех точках 1,
ЕA) = 1. B.7)
Последние два свойства эквивалентны теореме о среднем
значении: если а^ы^р, то а^СЕ(ы)<^р, так что функция

§ 2. Функции интервалов 139
Е(м) представляет собой один из видов среднего зна-
значения ').
Теперь задача состоит в том, чтобы продолжить определение
Е(«) на более широкий класс функций с сохранением свойств
(а) — (в). В классическом интегрировании по Риману исполь-
используется тот факт, что для каждой непрерывной функции и на 0, 1
существует последовательность ступенчатых функций ип, для
I—I
которой ип—*и равномерно на 0,1- По определению полагают
E(u)=lim Е(и„). Оказывается, что требовать равномерность
сходимости необязательно, и то же самое определение Е(м)
можно использовать, когда сходимость ип —*¦ и лишь поточечная.
Таким способом Е(«) можно продолжить на все ограниченные
бэровские функции, и это продолжение единственно. При рас-
распространении Е(ы) на неограниченные функции неизбежно по-
появляются расходящиеся интегралы, однако, по крайней мере
для положительных бэровских функций можно определить Е(м)
либо как число, либо как символ оо (указывающий расходи-
расходимость). Никаких неприятностей в связи с этим не возникает,
поскольку в лебеговской теории интегрирования рассматри-
рассматривается лишь абсолютная интегрируемость. Грубо говоря, исходя
из определения B.4) математического ожидания для простых
•функций, можно доопределить Е(и) для произвольных бэров-
бэровских функций, используя очевидные приближения и переходы
к пределу. Так определенное число Е(ы) есть интеграл Лебе-
Лебега — Стильтьеса от функции и по отношению к F. (Когда функ-
функция F фиксирована, более предпочтителен термин «математиче-
«математическое ожидание» — никаких двусмысленностей при этом не воз-
возникает.) Ниже приводится без доказательства 2) основной факт
') Когда функция F задает вероятности, среднее Е(м) можно интерпре-
интерпретировать как ожидаемый выигрыш игрока, возможные выигрыши которого
суть Яь п2 Чтобы интуитивно осознать смысл среднего в других ситуа-
ситуациях, рассмотрим три примера, в которых и(х) является соответственно
температурой во время х, числом телефонных разговоров во время х, рас-
расстоянием материальной точки от начала координат, a F представляет
собой соответственно длительность временного интервала, цену временного
интервала (цену разговора) и механическую массу. В каждом случае интегри-
интегрирование производится лишь го конечному интервалу и Е(и) есть соответ-
соответственно средняя температура, накопленный доход и статический момент. Эти
примеры показывают, что определенное нами интегрирование по отношению
к произвольной функции множеств проще и нагляднее, чем интегрирование
по Риману, в котором независимая переменная играет несколько ролей и ин-
интерпретация как «площадь под кривой» ничуть не помогает начинающему.
Следует иметь в виду, что понятие среднего (математического ожидания)
встречается не только в теории вероятностей.
2) Метод доказательства намечен в § 5. Как обычно и* и и~ обозначают
положительную и отрицательную части и, т. е. «+ = «|J0 и —«~=мП0. Оче-
Очевидно, и = и+ — и~.

140 Гл. IV. Вероятностные меры и пространства
лебеговской теории; его природа и значение будут проанализи-
проанализированы в следующих параграфах. [Конструктивное определе-
определение Е(и) дается в § 4.]
Основная теорема. Пусть F — счетно-аддитивная
функция интервалов в S2 uF{—оо, оо}=1. Существует един-
единственный интеграл Лебега — Стильтьеса Е(м) на классе бэров-
ских функций, обладающий следующими свойствами:
Если ыХ), то Е(и) равно либо неотрицательному числу,
либо оо. В случае произвольного и Е(«) существует тогда и
только тогда, когда либо Е(и+), либо Е(ы~) конечно: при этом
Е(и)=Е(и+)—Е(и~). Функция и называется интегрируемой,
если Е(и) конечно. Далее
I) если и — ступенчатая функция, то Е(и) дается форму-
формулой B.4);
II) условия B.5) — B.7) выполняются для всех интегрируе-
интегрируемых функций;
III) (принцип монотонной сходимости), если U\^Cu2^C,..
...—>-ы и ип интегрируемы, то Е(ип) —>• Е(и).
Сделав замену переменных vn=un+l—и„, принцип монотон-
монотонной сходимости можно переформулировать в терминах рядов.
Если vn интегрируемы и vn ^> 0, то
2E(i/B) = EBi/n), B-8)
причем обе стороны равенства конечны или бесконечны одно-
одновременно. Отсюда, в частности, следует, что если v^u^-О и
Е(и) =оо, то также E(v) =oo.
Что будет, если в (III) условие монотонности отбросить? От-
Ответ на этот вопрос содержится в следующей важной лемме,
имеющей широкую область применений.
Лемма Фату. Если ин^-0 и и„ интегрируемы, то
E(lim inf un) < lim inf E(un). B.9)
В частности, если ип-*и, то liminfE(«,,) ^>E(w).
Доказательство. Положим vn = ип П ип+1 П .. . . Тогда
vn ^ ип и, следовательно,
E(wn) <Е(и„).
Но (как мы видели в § I) vn монотонно стремится к iiminfu,j,
так что E(vn) стремится к левой части в B.9) и лемма дока-
доказана. [Отметим, что обе стороны неравенства B.9) могут быть
равны оо.] >
Приводимый ниже пример (г) показывает, что условие по-
положительности не может быть отброшено, однако его можно за-

§ 2. Функции интервалов 141
менять на формально более слабое условие, состоящее в том,
что существует интегрируемая функция U, для которой ип^>U
(достаточно заменить ип на ип — U). Заменяя и, на —ип, уста-
, навливаем следующий результат: если un<U и Е(?/)<оо, то
lim sup Е(и,г) < E(lim sup «„). B.10)
Для сходящихся последовательностей левая часть неравенства
B.9) совпадает с правой частью неравенства B.10), и мы полу-
получаем следующий важный
Принцип мажорированной сходимости. Пусть
ин интегрируемы и ип-~*и поточечно. Если существует интегри-
интегрируемая функция U, такая, что \un\^U при всех п, "о и интегри-
интегрируема и Е(ы„) —> Е(и).
Эта теорема относится к единственному месту в лебеговской
теории интегрирования, где наивные формальные действия мо-
могут привести к неверному результату. Необходимость условия
\ип\ ^.U иллюстрируется нижеследующим примером.
Пример, г) Рассмотрим гамма-плотности и„(х) = п2хе~пх
(х>0), отличающиеся друг от друга лишь масштабным пара-
параметром. Здесь 1 = Е(«„) —> 1, в то время как ип(х) —* 0 при всех
х>0. Заменяя ип на —ип, видим, что неравенство Фату B 9)
может не выполняться для неположительных функций. ?>
Отметим без доказательства одно правило обычного интег-
интегрального исчисления, применимое и в более общей ситуации.
Теорема Фубини о повторных интегралах. Если и ^ 0 —
бэровская функция и F, G — вероятностные распредгления, то
с очевидной интерпретацией в случае расходящихся интегралов
имеет место равенство
СО СО СО СО
JF{dx] J u(x, y)G{dy}= J Q [dy] J u(x, y)F{dx). B.11)
— со —со —со —со
Здесь х и у можно понимать как точки в Мт и Мп, и теорема
содержит в себе утверждение о том, что оба внутренних интег-
интеграла суть бэровские функции. (Эта теорема применима к про-
произведению произвольных пространств, и более общий ее вариант
приводится в § 6.) >
Теорема об аппроксимации в среднем. Для
всякой интегрируемой функции и и любого е>0 можно найти
ступенчатую функцию и, такую, что Е(|н — |)<

142 Гл. IV. Вероятностные меры и пространства
Замечание об обозначениях. Обозначение Е(«) подчеркивает
зависимость от и и хорошо применимо в тех случаях, когда
функция интервалов F фиксирована. Если F меняется или нуж-
нужно подчеркнуть зависимость от F, то предпочтительнее интег-
интегральное обозначение B.1). То же самое относится к интегралам
по подмножеству А, поскольку интеграл от и по подмножеству
А есть (по определению) интеграл от произведения \Аи по всему
пространству
J u(x)F{dx} = E(\Au)
А
(при этом предполагается, конечно, что индикатор 1^ есть бэ-
ровская функция). Обе части выписанного равенства означают
в точности одно и то же, причем выражение, стоящее в левой
части, подчеркивает зависимость от F. Когда А=а, Ъ есть ин-
а
тервал, иногда предпочитают -обозначение , однако чтобы
ь
сделать его точным, необходимо указать, включаются ли в ин-
интервал его конечные точки. Это можно сделать, используя за-
запись а+ или а—.
В соответствии с намеченной в начале этого параграфа про-
программой вероятность множества А полагается теперь, по опре-
определению равной ЕAа) для всех множеств, для которых 1А есть
бэровская функция. Для множеств, не обладающих этим свой-
свойством, вероятности не определяются. Теперь мы обсудим след-
следствия из данного определения в более общей ситуации произ-
произвольного выборочного пространства. >
§ 3. Вероятностные меры и пространства
Основные свойства введенных нами в пространстве Мг ве-
вероятностей настолько удовлетворительны, что их можно исполь-
использовать для аксиоматического построения вероятностей в произ-
произвольном выборочном пространстве. Конечно, никакого аналога
интервалов в произвольном выборочном пространстве может не
существовать, и действительное задание вероятностей меняется
от случая к случаю (две типичные ситуации описаны в § 5 и 6).
В общем случае необходимо обратить рассуждения § 2 и опре-
определять математические ожидания в терминах заданной вероят-
вероятностной меры (этот подход описан в § 5). Понятие вероятност-
вероятностной меры (или распределения) является при этом первичным
понятием.

§ 3. Вероятностные меры и пространства 143
Множество А в Мг, индикатор которого 1а есть бэровская
функция, называется борелевским множеством. Для борелев-
ских множеств мы положим
Р{Л}=ЕAА). C.1)
Поскольку интервалы являются борелевскими множествами1),
это определение согласуется с требованием равенства P{I} = F{I}
для всех интервалов /. Далее из B.8) вытекает, что для лю-
любой счетной совокупности непересекающихся борелевских мно-
множеств Ап
Р{1МП} = 2Р{ЛП}. C.2)
Свойство C.2) есть свойство полной аддитивности. Рассужде-
Рассуждения предыдущего параграфа показывают, что C.1) является
единственно возможным способом наделить борелевские мно-
множества вероятностями, если требовать выполнения условия C.2)
и равенств P{f} = F{I} для интервалов.
Мы наделили вероятностями лишь борелевские множества,
однако класс борелевских множеств настолько обширен, что
никакие стандартные операции не выводят за его пределы.
Именно дополнение А' борелевского множества есть борелевское
множество и то же самое относится к объединениям и пересе-
пересечениям счетных совокупностей борелевских множеств. Отсюда
и из § 1 вытекает, что верхний и нижний пределы любой после-
последовательности {Ап} борелевских множеств тоже являются боре-
борелевскими множествами. Семейства, обладающие этими свой-
свойствами, чрезвычайно широко используются, и мы формализуем
понятие такого семейства, дав определение, применимое не
только в $п, но и в любом выборочном пространстве.
Определение 1. о-алгеброй2) называется семейство 91
подмножеств данного множества <?>, обладающее следующими
') Чтобы убедиться, что открытый интервал / есть борелевское множе-
множество, возьмем непрерывную функцию V, строго положительную на / и равную
п
нулю вне /. Тогда / о —>¦ 1 j. Замкнутый или полузамкнутый интервал / есть
предел убывающей последовательности открытых интервалов /„ и, следова-
следовательно, li = liml/ , так что Ь—тоже бэровская функция. (Из того, что
п
всякая непрерывная функция есть предел ступенчатых функций, вытекает, что
класс бэровских функций можно охарактеризовать как наименьший класс,
замкнутый относительно переходов к пределу и содержащий все ступенчатые
функции.)
2) Если в этом определении слово «счетного» заменить на слово «конеч-
«конечного», то получим определение алгебры, ст-алгебру иногда называют борелев-
ской алгеброй, однако этот термин лучше сохранить для наименьшей <т-ал-
гебры, содержащей все открытые множества топологического пространства <2>,
При @ = Я.' эта ст-алгебра совпадает с определенным нами семейством боре-
борелевских множеств.

144 Гл. IV. Вероятностные меры и пространства
свойствами: I) для любого множества А из % его дополнение
Л'= 3—А тоже принадлежит 21, II) объединение \}Ап и пере-
пересечение ПЛ„ любого счетного семейства {Ап} множеств из %
тоже принадлежат %.
Короче говоря, о-алгебра есть система множеств, замкнутая
относительно взятия дополнений и образования счетных объеди-
объединений и пересечений. Все пространство, будучи равным объеди-
объединению А и А', всегда принадлежит ст-алгебре.
Примеры. Наибольшей о-алгеброй в пространстве <5 являет-
является семейство всех его подмножеств. Эта ст-алгебра хороша в слу-
случае дискретного выборочного пространства, однако в общем
случае она слишком обширна, чтобы ее можно было использо-
использовать. Другим крайним случаем является тривиальная а-алгеб-
а-алгебра, состоящая лишь из всего пространства и из пустого множе-
множества. В качестве нетривиального примера рассмотрим совокуп-
совокупность всех подмножеств действительной прямой, обладающих
следующим свойством: если х?А, то все точки х±\, х±2, ...
тоже принадлежат А (периодические множества). Очевидно, се-
семейство таких множеств образует ст-алгебру. >
Мы рассмотрели частный случай евклидова пространства Мт
и показали, как можно определить вероятности на а-алгебре
борелевских множеств. Этот подход служит моделью для следую-
следующей более общей вероятностной конструкции.
Определение 2. Вероятностной мерой Р на а-алгебре 21
в пространстве 3 называется функция, наделяющая каждое
множество А 6 51 числом Р{Л}>-0 так, что Р{3}=1 и для лю-
любого счетного семейства взаимно непересекающихся множеств
Ап из 21 выполняется равенство C.2).
Вероятностным пространством1) называется тройка C, 2{, Р),
состоящая из выборочного пространства 3, а-алгебры Ш его
подмножеств и вероятностной меры Р на %¦
Естественно, введенное определение лишь закладывает ос-
основу общей конструкции, и в отдельных случаях нужно выби-
') Условие Р{©}=1 вводится лишь для нормировки, и никаких суще-
существенных изменений че произойдет, если его заменить на Р{@}<со. В этом
случае мы получаем пространство с конечной мерой. В теории вероятностей
в связи с различными обстоятельствами появляются ситуации, когда Р{©}<1.
В этом случае Р называют несобственной (или) дефектной вероятностной
мерой. Даже условие Р{@}< со может быть ослаблено: можно потребовать
лишь, чтобы @ было объединением счетного числа подмножеств @п, для
которых Р{@„}< о. (Типичными примерами являются длина и площадь.)
Такие меры называются в-конечными.

§ 4. Случайные ветчины 145
рать подходящую а-алгебру и строить на ней вероятностную
меру. Эта процедура будет проиллюстрирована на примере «по-
«последовательности независимых случайных величин» (§ 6). Про-
Произвольное «вероятностное пространство» не всегда представляет
из себя интересный объект, однако данное определение вклю-
включает в себя все, что требуется для формального развития тео-
теории, следуя схеме первого тома, и было бы бесплодным обсуж-
обсуждать заранее типы выборочных пространств, которые могут
встретиться в той или иной вероятностной ситуации.
Аппроксимация борелевских множеств интервалами. Вернемся к важному
частному случаю евклидова пространства Яг и ст-алгебры борелевских мно-
множеств Исходя и-s вполне аддитивной функции интервалов, вероятности опре-
определяются по формуле Р{Л}=ЕA.4) В силу теоремы об аппроксимации в
среднем (§ 21 существует ступенчатая функция v, для которой Е(|1 4 — v\) <e/2.
Рассмотрим функцию ш, такую, что w(x) = \ при v(x)>l/2 и w(x)=Q при
v(x)^'/2 Легко проверить, что |1 а (х) — w(x)\ z^2'\a (x) — v(x)\ при всех х.
и, следовательно, |Р{Л}—Е(ш)|<е. Но w есть ступенчатая функция, прини-
принимающая лишь значения 0 и 1, и поэтому ш = 1л есть индикатор. Тем самым
доказано, что для каждого борелевского множества А можно найти множе-
множество В, образованное конечной совокупностью прямоугольников, для которого
|Р{Л}-Р{В}|<е, C.3)
где е>0 произвольно Значение этой теоремы станет более ясным, если обра-
обратиться к частному случаю площади плоской фигуры (рассматривая, напри-
например, внутренность треугольника или эллипса). Теорема эта свидетельствует
о том, что борелевские множества представляют собой естественный объект,
не слишком удаленный от интервалов.
§ 4. Случайные величины. Математические ожидания
(Теперь мы рассматриваем случай произвольного вероят-
вероятностного пространства, введенного в предыдущем параграфе.
Задача состоит в том, чтобы определить случайные величины по
аналогии с бэровскими функциями в <$т и далее определить их
математические ожидания в терминах соответствующей вероят-
вероятностной меры.)
Случайные величины — обычный объект теории вероят-
вероятностей. В дискретных выборочных пространствах вероят-
вероятности определены на а-алгебре всех подмножеств, и, следова-
следовательно, произвольная действительная функция на таком выбо-
выборочном пространстве будет «случайной величиной». Вообще
минимальное требование, предъявляемое к случайной величине,—•
это существование у нее функции распределения. Иными сло-
словами, если и — функция на вероятностном пространстве, то мы
требуем, чтобы множество точек х, для которых и(х) -^.t, при-
принадлежало бы нашей а-алгебре Ж. Это дает возможность напи-
написать
• F(t)=P{u<t). D.1)

146 Гл. IV. Вероятностные меры и пространства
Довольно неожиданно оказывается, что этого «невинного»
требования достаточно для характеризации столь широкого
класса функций, что никогда не возникает необходимости выхо-
выходить за его пределы. Введем
Определение I1). Случайной величиной называется
функция и на вероятностном пространстве, такая, что при любом
действительном t множество точек х, для которых u(x)^Ct, при-
принадлежит соответствующей о-алгебре 91. Функция F в D.1) на-
называется функцией распределения случайной величины и.
Некоторые свойства случайных величин почти очевидны. На-
Например, множество точек, на котором u(x)<t, есть объединение
множеств, на которых и(х) ^Ct — п~х при п = \, 2, . . . , и, следо-
следовательно, принадлежит 91. Множество, где а<и(х) -*СЬ, есть раз-
разность двух множеств из 91 и поэтому также принадлежит 91
и т. д. Покажем теперь, что вообще, грубо говоря, всякое мно-
множество, которое можно определить с помощью случайной вели-
величины, принадлежит 91 и что все функции от и являются случай-
случайными величинами. Иными словами, никакие операции не выво-
выводят за пределы первоначальных рамок. Чтобы показать это,
приведем одно необходимое и достаточное условие для того,
чтобы функция была случайной величиной.
Определение 2. Функция называется простой, если она
принимает лишь счетное число значений at, a^, . . ., причем каж-
каждое значение — на множестве из о-алгебры % вероятностного
пространства.
В силу самого определения каждая простая функция яв-
является случайной величиной. С другой стороны, пусть заданы
случайная величина и и число е>0. Обозначим Ап множество
всех точек х, для которых (п — \)г<и(х)*Спе. (где я = 0, ±1,
±2, ...). Эти множества, очевидно, не пересекаются, и мы
') Пусть задана произвольная о-алгебра 8Г множеств в произвольном
пространстве. Функция f называется 41 -измеримой, если при любом t мно-
множество точек х, для которых f(x)^.t, принадлежит Ж. (Термин неудачен,
поскольку на 2Г может быть не определено никакой меры.) Определение 1
означает, что функция на вероятностном пространстве является случайной
величиной, если она измерима по отношению к соответствующей сг-алгебре.
Следующее за определением 1 обсуждение без всяких изменений применимо
к классу Й1-измеримых функций для любой ст-алгебры 9[ (этот факт исполь-
используется при рассмотрении условных математических ожиданий в гл. V. 10).
Приведенная в тексте ограниченная формулировка выбрана ради простоты,
а также чтобы не уклоняться от основной цели.

§ 4. Случайные величины 147
можем определить две простые функции а и а, положив
= (п— 1)е и о~=пе при х?Ап. Тогда
п(х)^о(х) и Ъ{х)— о(х)=е. D.2)
Таким образом, каждую случайную величину можно аппрокси-
аппроксимировать простой функцией с ошибкой, не превосходящей е.
Выбирая е=1, 7г. 7з, . . ., получим две последовательности прос-
простых функций оп, для которых оп —* и равномерно. Обратно, рас-
рассмотрим неубывающую последовательность простых функций ап
и положим lim an{x) =v(x). Пусть у(х)<оо при всех х. Обозна-
Обозначим Sn и S множества точек, для которых on(x)>t и v(x)>t
соответственно. Тогда Sn—*S и, следовательно, 5 принадле-
принадлежит Ш, так что v есть случайная величина. Тем самым нами
доказана
Лемма. Функция и является случайной величиной тогда и
только тогда, когда она есть поточечный предел монотонной по-
последовательности простых функций. Для каждой случайной ве-
величины существуют две простые функции, удовлетворяющие
D.2) с любым заданным е>0.
Последнее рассуждение показывает, что вообще, если моно-
монотонная последовательность {vn} случайных величин сходится к
конечному пределу v, то этот предел тоже есть случайная вели-
величина. То же самое верно относительно конечных пределов произ-
произвольных последовательностей {vn} случайных величин, поскольку
они могут быть представлены как пределы монотонных последо-
последовательностей (§ 1). Далее если W(xu ..., х„)—непрерывная
функция действительных переменных Хи ..., хп и ot, ..., оп —
простые функции в выборочном пространстве ®, то W(ou . . .
¦ ¦ ¦, оп) тоже есть простая функция. Простой переход к пре-
пределу показывает, что всякая непрерывная функция от случай-
случайных величин есть случайная величина. Таким образом, класс
случайных величин замкнут относительно непрерывных опера-
операций и относительно переходов к пределу. В частности, суммы
и произведения случайных величин снова будут случайными ве-
величинами. Это утверждение, уже достаточное для наших целей,
может быть следующим образом усилено. Рассмотрим функ-
функцию W от п действительных переменных, обладающую тем свой-
свойством, что W(uu ..., «„) есть случайная величина для любого
набора случайных величин «ь . .., ип на <3. Класс таких функ-
функций W замкнут относительно переходов к пределу и содержит
все непрерывные функции на Sn. Он содержит, таким образом,
все бэровские функции на <$,п, и нами доказана следующая

148 Гл. IV. Вероятностные меры и пространства
Теорема. Класс случайных величин замкнут относитель-
относительно переходов к пределу. Всякая бэровская функция от конеч-
конечного числа случайных величин тоже есть случайная величина.
Пример. Пусть выборочное пространство есть Sir, G-алгеб-
ра 91 совпадает с классом борелевских множеств и пусть
Р{Л} = ЕAА). (Предполагается, что математическое ожидание
определено как в § 2.) В этом случае классы случайных вели-
величин, бэровских функций и измеримых по Борелю функций со-
совпадают. ^
Математические ожидания
В частной ситуации, рассмотренной в только что приведен-
приведенном примере, сначала вводились математические ожидания, а
вероятности определялись затем как математические ожидания
индикаторов. Этот подход удобен для введения различных по-
понятий и методов, однако он неприменим, когда исходным яв-
является произвольное вероятностное пространство. К счастью,
прямое определение математических ожиданий в терминах ве-
вероятностей весьма несложно и единственно. Для простой функ-
функции а, принимающей значения ait а2, ¦ ¦. на множества А, А2,. . .,
в любом случае мы должны иметь
Е(о)=2апР{Ап}, D.3)
если, конечно, ряд сходится абсолютно. [В противном случае
Е(сх) не определяется.] Каждая случайная величина и есть рав-
равномерный предел последовательности простых функций сх„. Это
означает, что \ап(х) —ат(х) |<е при всех достаточно больших
п и т, и поэтому либо Е(а„) существует для всех достаточно
больших п, либо при всех достаточно больших п Е(а„) не суще-
существует. В первом случае \Е(ап) — E(am)j<e и, следовательно,
{E(an)} есть фундаментальная последовательность с конечным
пределом. Поскольку две аппроксимирующие последователь-
последовательности можно объединить в одну, то этот предел не зависит от
аппроксимирующей последовательности и можно положить
Е(и)=НтЕ(а„). D.4)
Иными словами, математическое ожидание и либо не суще-
существует, либо есть общий предел для Е(а„) по всем последова-
последовательностям простых функций, сходящихся равномерно к и.
Определение Е(и) с вычислительной точки зрения может не-
несколько прояснить ситуацию. Пусть е>0 задано. Обозначим,
по-прежнему, через А„, я = 0, ±1, ±2, ... множество точек ху
для которых (п—1)8<м(х)^пе. Рассмотрим опять простые
функции а и а,-принимающие на Ап значения (п — 1)е и пе со-

§ 5. Теорема о продолжении 149
ответственно. Тогда имеет место D.2) и, следовательно, либо
оба математических ожидания
Е(ав) = е2(л-1)Р{А,}, Е(ая) = е2/гР{Д,} D-5)
конечны, либо оба не существуют. Во втором из этих случаев
Е(ы) не определено, в то время как в первом случае
Е(а„)<Е(М)<Е(а„). D.6)
Тем самым мы получаем Е(м) с ошибкой, не превосходящей е.
Случайная величина и отображает выборочное простран-
пространство <» в действительную прямую, и ее функция распределения
D.1) порождает вероятностную меру на действительной прямой.
В соответствии с этим случайную величину и можно рассмат-
рассматривать либо как функцию на выборочном пространстве 3, либо
как координатную переменную на прямой, наделенную вероят-
вероятностным распределением F. Далее если F есть распределение и
и /п — интервал (я — 1)e<t^C пе, то
В{/а}=Р{{п-1)г<и^.пг)=Р{Ап). D-7)
Простые функции а„ и ап отображаются в простые функции на
прямой, и, очевидно, математическое ожидание координатной
переменной (определенное в § 2) удовлетворяет неравенствам-
D.6). Таким образом,
со
Е(и)= jtF{dt}. D.8)
— со
Иными словами, математическое ожидание случайной величины
можно (корректно) определить либо непосредственно в исход-
исходном вероятностном пространстве, либо в терминах ее функции
распределения. (В 1, гл. IX имеется аналогичное замечание
для случая дискретных выборочных пространств.)
§ 5. Теорема о продолжении
При построении вероятностных пространств вероятности
обычно определены a priori на не очень богатом классе множеств
и требуется подходящим образом расширить их область опре-
определения. Например, при рассмотрении в 1 бесконечных после-
последовательностей испытаний и рекуррентных событий были за-
заданы вероятности всех событий, зависящих от конечного числа
испытаний, и эту область определения вероятностей требова-
требовалось расширить так, чтобы включить такие события, как разо-
разорение, возвращение и полное вырождение. Аналогично при по-
построении в § 2 мер ъЖг сначала наделялись вероятностями F{I)

150 Гл. IV. Вероятностные меры и пространства
интервалы, а затем область определения продолжалась до клас-
класса всех борелевских множеств. Такое продолжение возможно
благодаря теореме, имеющей значительно более широкую об-
область применения, и на которой основываются многие конструк-
конструкции вероятностных пространств. Схема рассуждения состоит
в следующем.
Аддитивность F позволяет однозначно определить
F{A) = -LF{Ih) E.1)
для любого множества А, являющегося объединением конечного
числа непересекающихся интервалов Ih. Эти множества обра-
образуют алгебру 210 (т. е. объединения и пересечения конечного
числа множеств из 21о, а также дополнения множеств из 2@ тоже
принадлежат 210). Начиная с этого пункта, природа простран-
пространства Мг не играет никакой роли и можно рассматривать произ-
произвольную алгебру 91 о множеств в произвольном пространстве -5.
Всегда существует наименьшая алгебра 9t множеств, содержа-
содержащая 9t0 и замкнутая относительно счетных объединений и пере-
пересечений. Иными словами, существует наименьшая 0-алгебра 91г
содержащая 9@ (см. определение 3.1). При построении мер в St
ст-алгебра 91 совпадала с а-алгеброй всех борелевских множеств.
Расширение области определения вероятностей 91 о до 91 основы-
основывается на следующей общей теореме.
Теорема о продолжении. Пусть 9(о—произвольная
алгебра множеств в некотором пространстве 3. Пусть F — опре-
определенная на 910 функция множеств, такая, что F{A) >• 0 при всех
Ad 9@, F{3}=1, и, кроме того, соотношение E.1) выполняется
для любого разбиения А на счетное число непересекающихся
множеств /ft 6. 91 о.
Тогда существует единственное продолжение F до счетно-
аддитивной функции множеств (т. е. до вероятностной меры) на
наименьшей о-алгебре %, содержащей 910.
В следующем параграфе будет приведен типичный пример
применения этой теоремы. Теперь мы обратимся к более общему
и гибкому варианту теоремы о продолжении, ближе примыкаю-
примыкающему к рассмотрениям § 2 и 3. Мы исходили из математиче-
математического ожидания B.4) для ступенчатых функций (т. е. функций,
принимающих лишь конечное число значений, причем каждое
из значений — на некотором интервале). Область определения
этого математического ожидания была затем продолжена с до-
довольно бедного класса ступенчатых функций на более широкий
класс, включающий все ограниченные бэровские функции. Ука-
Указанное продолжение непосредственно приводит к интегралу Ле-

§ 5. Теорема о продолжении 151
бега — Стильтьеса, и мера множества А получается как мате-
математическое ожидание его индикатора \А- Наметим соответ-
соответствующую абстрактную схему.
Рассмотрим вместо алгебры множеств 51 о класс функций 33О,
замкнутый относительно линейных комбинаций и операций П
и U. Иными словами, предполагается, что если функции и\ и м2
принадлежат 23О, то функции
cciMi + a2M2, «ifl«2, ii\\iu2 E.2)
тоже принадлежат 2V). Отсюда, в частности, следует, что вся-
всякая функция и из 23О может быть записана как разность двух
неотрицательных функций, именно и = и+ — иг, где «+ = wU0 и
ы- = мП0. Под линейным функционалом на 23О понимается сопо-
сопоставление значений Е(«) всем функциям из 23о с выполнением
условия
E( ) E() +a2E(u2)- E.3)
Функционал называется положительным, если Е(и)^Х) при
и > 0. Нормой Е называется верхняя грань значений Е(|«|) по
всем функциям и f 23О, удовлетворяющим условию |м|^С1. Если
функция, равная всюду 1, принадлежит 23о, то норма Е равна
ЕA). Наконец, скажем, что Е счетно-аддитивен на 23О, если
E.4)
всякий раз, когда 2 ak принадлежит 3302). Условие счетной ад-
аддитивности эквивалентно следующему: если {vn} — последова-
последовательность функций из 23О, сходящаяся монотонно к нулю, то3)
E(i>n)-*0. E.5)
Для каждого заданного класса функций 23о существует наи-
наименьший класс 23, содержащий 23О и замкнутый относительно
переходов к пределу в смысле поточечной сходимости. [Класс 23
автоматически замкнут относительно операций E.2).] Проведем
теперь соответствующую формулировку теоремы о продолже-
') Наши предположения равносильны требованию, чтобы класс ЭЗо был
линейной структурой.
2) З
руур
2) Здесь следует добавить требование Uk^O, иначе последующее утвер-
утверждение неверно. — Прим. перев.
3) Для доказательства эквивалентности E.4) и E 5) достаточно рас-
рассмотреть случай «й>0, иь>0 Тогда E.4) следует из E.5), если положить
vn — un+i + un+2+. ¦ ¦, и E.5) вытекает из E.4), если положить «s = fft —
(при этом 2ufc = i»i).

152 Гл. IV. Вероятностные меры и пространства
нии1). Каждый положительный счетно-аддитивный линейный
функционал нормы 1 на 53О может быть единственным образом
продолжен до положительного счетно-аддитивного линейного
функционала нормы 1 на всех ограниченных (и многих неогра-
неограниченных) функциях из 33.
В качестве примера применения этой теоремы докажем сле-
следующий важный результат.
Теорема Ф. Р и с с а о представлении2). Пусть Е —
положительный линейный функционал нормы 1 на классе всех
непрерывных функций на Мг, обращающихся в нуль на беско-
бесконечности 3). Существует мера Р на а-алгебре борелевских мно-
множеств, для которой Р{(йг}=\ и такая, чтоЕ(и) совпадает с ин-
интегралом от и по Р.
Иными словами, определенные нами интегралы дают пред-
представление наиболее общих положительных линейных функцио-
функционалов.
Доказательство. В основе доказательства лежит тот
факт, что если последовательность обращающихся в нуль на
бесконечности непрерывных функций монотонно сходится к
нулю, то сходимость эта автоматически равномерна. Пусть
t>n >0, и обозначим \\vn\\ = max vn(x). Тогда E(vn) ^C\\vn\\, и по-
поэтому для Е выполнено условие счетной аддитивности E.5).
В силу теоремы о продолжении Е можно продолжить на все
ограниченные бэровские функции. Положив Р{Л} = ЕAд), полу-
') Основная идея доказательства (восходящая к Лебегу) проста и остро-
остроумна. Нетрудно видеть, что если две последовательности [и-п] и |и^| функций
из ЭЗо сходятся монотонно к одному и тому же пределу и, то последователь-
последовательности Е (ил) и Е (и„) тоже сходятся к одному и тому же пределу. Для
таких монотонных пределов и можно, следовательно, определить Е(и) =
= limE(un). Рассмотрим теперь класс 33i функций и, для которых при лю-
любом е>0 существуют две функции и и п либо принадлежащие S3o, либо
являющиеся монотонными пределами последовательностей из 5Во, и такие,
что и<и<й, Е(п)—Е(«)<е. Класс SBi замкнут относительно переходов
к пределам, и для функций из S81 значение Е(и) определяется очевидным
образом, поскольку должно быть Е(«)<; Е(и)<СЕ(й).
Замечательной особенностью этого рассуждения является следующее об-
обстоятельство: обычно класс SBi больше класса 58 и простое доказательство
оказывается возможным благодаря тому, что доказывается больше, чем тре-
требуется. (Относительно сравнения классов S3 и S8r см. § 7.)
2) Эта теорема справедлива для произвольных локально компактных про-
пространств.
3) и обращается в нуль на бесконечности, если для любого е>0 суще-
существует шар (компактное множество), вне которого |()|

§ 6. Произведения пространств 153
чаем меру на а-алгебре борелевских множеств. Как мы видели,
по заданной мере Р{Л} интеграл Лебега — Стильтьеса одно-
однозначно определяется с помощью двойного неравенства D.6).
Следовательно, интеграл Лебега — Стильтьеса по Р от обра-
обращающейся в нуль на бесконечности непрерывной функции и со-
совпадает со значением на и заданного функционала Е(и). %>¦
§ 6. Произведения пространств. Последовательности
независимых случайных величин
Понятие прямого произведения пространств A, гл. V, 4)
является весьма важным в теории вероятностей и используется
всякий раз, когда речь идет о повторных испытаниях. Представ-
Представление точки плоскостиМ2 посредством двух координат означает,
что <$2 рассматривается как прямое произведение двух своих
осей. Обозначим две координатные переменные через X и Y.
Рассматриваемые как функции на плоскости они представляют
собой бэровские функции, и если на а-алгебре борелевских мно-
множеств в of2 определена вероятностная мера Р, то существуют
две функции распределения Р{Х^.х} и P{Y <.(/}. Эти две функ-
функции распределения индуцируют вероятностные меры на обеих
осях, называемые частными (маргинальными) распределениями
(или проекциями). Здесь у нас в качестве первичного понятия
появляется плоскость, однако часто более естественной является
противоположная ситуация. Например, когда говорят о двух
независимых случайных величинах с заданными распределения-
распределениями, два частных распределения являются первичным понятием
и вероятности на плоскости получаются из них с помощью
«правила умножения». Общий случай ничуть не сложнее слу-
случая плоскости.
Рассмотрим теперь два произвольных вероятностных про-
пространства. Иными словами, нам заданы два выборочных про-
пространства ?A) и ®12), две а-алгебры 51A) и 51B) подмножеств
(jd) и (gB) соответственно и определенные на 91A) и 91B* вероят-
вероятностные меры Р0> и Р'2>. Прямое произведение CA), вB)) есть
множество всех упорядоченных пар (х^\ х<2>), где х^ — точка
пространства вк>. Рассмотрим в этом произведении множества,
являющиеся «прямоугольниками», т. е. прямые произведения
(Л'1', ЛB>) множеств AW& W\ Множества такого вида мы на-
наделяем вероятностями, согласно правилу умножения:
Р{Л«, ЛB)} = РA){ЛA)}РB){Л®}. F.1)
Далее множества, представляющие собой конечные объединения
непересекающихся прямоугольников, образуют алгебру ?(о, на

154 Гл. IV. Вероятностные меры и пространства
которой с помощью F.1) единственным образом определяется
счетно-аддитивная1) функция. Применяя теперь теорему о про-
продолжении, можем утверждать, что на наименьшей содержащей
все прямоугольники о-алгебре существует единственная вероят-
вероятностная мера Р, такая, что вероятности прямоугольников за-
задаются правилом о произведении F.1). 5га наименьшая, содер-
содержащая все прямоугольники о-алгебра обозначается "йA) X 21B\
а так определенная мера на ней называется произведением мер.
Конечно, на произведении пространств можно определить
и другие вероятности, например, определить их в терминах ус-
условных вероятностей. Рассматриваемая о-алгебра множеств 21
всегда будет не меньше 21A) X ЭДB). и в то же время за пределы
5((i) у 51<2) приходится выходить весьма редко. Ниже в рассуж-
рассуждении о случайных величинах предполагается, что 51 = 21A)Х 21B).
Понятие случайной величины (измеримой функции) связано
с соответствующей а-алгеброй, и при рассмотрении произведе-
произведений пространств мы должны различать случайные величины на
произведении и на пространствах ®A) и 3B). Весьма приятным
является тот факт, что отношение между этими тремя классами
случайных величин весьма простое. Пусть и и v — случайные
величины на ®A) и SB) и рассмотрим в произведении про-
пространств функцию w, которая в точке (#('>, x<2>) принимает зна-
значение
W (X(l), д<2)) = и (хО) V (х<2>) . F.2)
Покажем, что класс случайных величин на произведении про-
пространств (®A), ®B)) совпадает с минимальным классом конечно-
значных функций, замкнутым относительно поточечных перехо-
') Идея доказательства состоит в следующем. Пусть (Л<'>, ЛB>) есть объ-
объединение непересекающихся прямоугольников {А^К А^. Рассмотрим все-
всевозможные пересечения Ау(]Ау (где г = 1,2). Среди этих пересечений мож-
можно выбрать последовательность В[', В^1\ ... непересекающихся множеств,
такую, что каждое множество Ау есть объединение некоторых В$. Но
тогда (А^ ', А^ ') есть объединение непересекающихся прямоугольников
(Bf, Bf) и
р 1,ь
Последняя двойная сумма равна произведению
= Р {А^} и ^ Р2

§ 6. Произведения пространств 155
дов к пределу и содержащим все линейные комбинации функций
вида F.2).
Ясно, во-первых, что каждый множитель в правой части F.2)
является случайной величиной и в том случае, когда он рас-
рассматривается как функция на произведении пространств. Сле-
Следовательно, w есть случайная величина, и поэтому класс слу-
случайных величин на FA), EB)) не меньше минимального класса,
о котором говорилось выше. С другой стороны, случайные вели-
величины образуют наименьший класс, замкнутый относительно пе-
переходов к пределу и содержащий все линейные комбинации ин-
индикаторов прямоугольников. Эти индикаторы имеют вид F.2),
и, следовательно, класс случайных величин не больше мини-
минимального класса, о котором говорилось выше.
Частный случай произведения двух пространств Мт и <$"
с вероятностными мерами F и G неявно встречался в связи с
теоремой Фубини B.11) о повторных интегралах. Теперь мы мо-
можем утверждать справедливость более общей теоремы, отно-
относящейся не только к Sir.
Теорема Фубини для произведений мер. Ин-
Интеграл от любой неотрицательной бэровской функции и по про-
произведению мер равен повторным интегралам в формуле B.12).
(При этом имеется в виду, что интегралы могут расходиться.
Теорема очевидна для простых функций, а в общем случае по-
получается с помощью повторной аппроксимации.) Обобщение на
случай произведения трех или более пространств вполне оче-
очевидно и не требует специальных пояснений.
Обратимся теперь к проблеме бесконечной последователь-
последовательности случайных величин, с которой мы уже встречались в 1
в связи с бесконечными последовательностями испытаний Бер-
нулли, случайными блужданиями, рекуррентными событиями
и т. д., а также в гл. III в связи с нормальными случайными
процессами. Проблемы не возникает, когда имеется бесконечное
множество случайных величин, определенных на заданном ве-
вероятностном пространстве. Например, действительная прямая
с нормальным распределением есть вероятностное пространство
и {sin пх} есть бесконечная последовательность определенных на
нем случайных величин. Нас интересует только такая ситуация,
когда вероятности должны быть определены в терминах за-
заданных случайных величин. Более точно проблема состоит в
следующем.
Пусть S9°° — пространство, точками которого являются беско-
бесконечные последовательности действительных чисел {хи Хг, ¦ ¦ ¦)
(т. е. <Я°° есть счетное прямое произведение действительных

156 Гл. IV. Вероятностные меры и пространства
прямых). Обозначим л-ю координатную переменную через Х„ (Хте
есть функция на<1°°, принимающая в точке х=(хи х2, . . .) зна-
значение хп). Предположим, что нам заданы вероятностные распре-
распределения для Хь (Хь Х2), (Хь Х2, Х3), ... и требуется опреде-
определить соответствующие вероятности в (Йм. Конечно, заданные ве-
вероятности должны быть взаимно согласованы в том смысле, что
распределения (Хь . . . , Х„) являются частными распределе-
распределениями для (Хь . . . , Xn+i) и т. д.
Формализуем теперь интуитивное понятие «события, опреде-
определяемого исходом конечного множества испытаний». Скажем, что
множество А в М°° зависит лишь от первых г координат, если
существует борелевское множество Аг в &т, такое, что х =
— (а'ь х2, . . .) принадлежит А тогда и только тогда, когда
(хи . . . , хг) принадлежит Аг. В теории вероятностей часто встре-
встречается ситуация, когда вероятности таких множеств заданы, и
задача состоит в расширении этой области определения. Приве-
Приведем без доказательства принадлежащую А. П. Колмогорову
фундаментальную теорему (доказанную им в несколько боль-
большей общности), впервые появившуюся в его ставшем теперь
уже классическим аксиоматическом обосновании теории вероят-
вероятностей A933). Эта работа предвосхитила и стимулировала раз-
развитие современной теории меры.
Теорема 1. Согласованную систему вероятностных распре-
распределений величин Xi, (Хь Х2), (Хь Х2, Х3), . . . можно единствен-
единственным способом продолжить до вероятностной меры на наимень-
наименьшей а-алгебре Ш множеств в М°°, содержащей все множества,
зависящие лишь от конечного числа координат 1).
Весьма важным является то обстоятельство, что все вероят-
вероятности определяются последовательными переходами к пределам,
исходя из конечномерных множеств. Каждое множество А из %
можно аппроксимировать конечномерными множествами в сле-
следующем смысле. Для любого е>0 при некотором п существует
зависящее лишь от первых п координат множество Ап, такое,
что
Р{А — АГ\Ап}<е, Р{Ап—АПАп}<8, F.3)
Иными словами, множество тех точек, которые принадлежат
либо А, либо Ап, но не принадлежат обоим множествам А и Ап,
имеет вероятность, меньшую 2е. Отсюда следует, что можно так
выбрать множества Ап, чтобы
Р{ЛИ}->Р{Л}. F.4)
') Эта теорема справедлива и в более общем случае произведения ло-
локально компактных пространств. Например, она справедлива, когда перемен-
переменные Х„ являются векторными переменными (т. е. значения их — точки в Яг).

§ 6. Произведения пространств 157
Теорема 1 позволяет говорить о бесконечной последователь-
последовательности взаимно независимых случайных величин с произвольны-
произвольными заданными распределениями. Такие последовательности уже
встречались в первом томе, однако нам приходилось определять
интересующие нас вероятности с помощью специальных перехо-
переходов к пределу, в то время как теорема 1 является общим резуль-
результатом, охватывающим все случаи. Это обстоятельство хорошо
иллюстрируется следующими двумя важными теоремами, пер-
первая из которых принадлежит А. Колмогорову A933), а вто-
вторая— Е. Хьюитту и Л. Дж. Сэвиджу A955). Обе они являются
типичными вероятностными предложениями и играют централь-
центральную роль во многих рассуждениях.
Теорема 2. (Закон нуля или единицы для остаточных
событий.) Предположим, что случайные величины Х& взаимно
независимы и что при каждом п событие А не зависит от])
Хь ..., Х„. Тогда или Р{Л} = 0, или Р{Л} = 1.
Доказательство. Вообще говоря, случайные величины
X2) могут быть определены на произвольном вероятностном
пространстве, однако они отображают это пространство в про-
произведение прямых о?°°, в котором они играют роль координатных
переменных. Следовательно, не уменьшая общности, можно
ограничиться рассмотрением ситуации, описанной в настоящем
параграфе. В обозначениях, использованных в F.3), множе-
множества А и Л„ независимы, и поэтому из F.3) вытекает, что
= Р2{Л}. \»
Пример, а) Ряд 2ХП сходится с вероятностью единица или
нуль. Точно так же множество точек, в которых limsupXn = oo,
имеет вероятность либо единица, либо нуль. &•
Теорема 3. (Закон нуля или единицы для симметричных
событий.) Предположим, что случайные величины Xft взаимно
независимы и одинаково распределены. Если множество А ин-
инвариантно относительно конечных перестановок координат*), то
либо Р{Л} = 0, либо Р{Л}=1.
') Более точно А не зависит от любого события, определяемого в тер-
терминах Xi, ..., Х„. Иными словами, индикатор А есть случайная величина, не-
зав(<сиуая от Xi, ..., Х„.
2) Предполагается, конечно, что А определяется последовательностью
Хь Х2, ... . — Прим. перев.
3) Более точно предполагается, что если a-(ai, а% ...) —точка из Л и п\,
Пг — два произвольных натуральных числа, то А содержит также точку, у
которой П]-п координата есть а„2 п2-я координата равна аП[, а остальные
координаты — те же, что и у а. Это условие автоматически распространяется
на перестановки, включающие k координат.

158 Гл. IV. Вероятностные меры и пространства
Доказательство. Как и в доказательстве теоремы 2, мы
рассматриваем Х& как координатные величины и под множест-
множествами Ап понимаем то же, что и в F.3). Пусть Вп — множество,
полученное из Ап обращением порядка первых 2п координат,
в то время как остальные координаты остаются без изменения.
В силу сделанных предположений соотношения F.3) остаются
справедливыми при замене Ап на Вп. Отсюда вытекает, что мно-
множество точек, принадлежащих либо А, либо АпГ\В„, но не при-
принадлежащих обоим множествам А и АпОВ„, имеет вероятность,
меньшую 4е. Следовательно,
Р{АпПВп}-*Р{А}. F.5)
Далее Ап зависит лишь от первых п координат, и поэтому Вп
зависит лишь от координат с номерами п+1, . . . , 2л. Таким об-
образом, Ап и Вп независимы, что вместе с F.5) приводит к ра-
равенству Р{Л} = Р2{Л}. >
Пример, б) Положим Sn = Xj+'. . .+Хп, и пусть A ={Sn (г / б. ч.},
где / — произвольный интервал на прямой. Событие А инва-
инвариантно относительно конечных перестановок. [По поводу обо-
обозначений см. пример A,а).] >
§ 7. Нулевые множества. Пополнение
Множеством вероятности нуль обычно можно пренебрегать,
и две случайные величины, различающиеся лишь на таком нуле-
нулевом множестве, «практически совпадают». Выражаясь более
формально, их называют эквивалентными. Это означает, что
если изменить определение случайной величины на нулевом мно-
множестве, то все вероятностные соотношения сохраняются без из-
изменения и, следовательно, случайную величину можно считать
неопределенной на нулевом множестве. Типичным примером яв-
является время осуществления первого рекуррентного события:
с вероятностью единица оно есть некоторое число, а с вероят-
вероятностью нуль — неопределено (или считается равным оо). Таким
образом, мы чаще имеем дело с классами эквивалентных слу-
случайных величин, а не с самими случайными величинами. Тем
не менее обычно проще выбрать подходящие представители
классов и оперировать с ними, а не с классами.
С нулевыми множествами связано единственное место в тео-
теории вероятностей, которое идет вразрез с нашей интуицией.
Ситуация одна и та же во всех вероятностных пространствах
и достаточно описать ее для случая вероятностной прямой.
В рамках нашей конструкции вероятности определены лишь на
борелевских множествах, но каждое борелевское множество, во-
вообще говоря, содержит много неборелевских подмножеств. Сле-

§ 7. Нулевые множества. Пополнение 159
довательно, нулевое множество может содержать подмножества,
на которых вероятности не определены, в то время как есте-
естественно ожидать, что каждое подмножество нулевого множества
должно быть нулевым множеством. Это несоответствие не яв-
является серьезным и легко может быть устранено. В самом деле,
введем такой постулат: если AczB и Р{В} = 0, то Р{Л} = 0. При
этом мы должны расширить а-алгебру № борелевских множеств
до (по меньшей мере) наименьшей а-алгебры %, содержащей
все множества из М и все подмножества нулевых множеств.
Можно дать прямое описание а-алгебры З^. Именно множе-
множество А принадлежит 2(i тогда и только тогда, когда оно отли-
отличается от некоторого борелевского множества А0 лишь на нуле-
нулевое множество1). Область определения вероятности можно про-
продолжить с 91 на 31ц просто положив Р{Л} = Р{Л0}. Без труда
показывается, что это продолжение единственно и дает вполне
аддитивную меру на $ь Таким образом, мы построили вероят-
вероятностное пространство, которое удовлетворяет введенному посту-
постулату и в котором сохранились вероятности борелевских мно-
множеств.
Описанная конструкция называется лебеговым пополнением
(заданного вероятностного пространства). В действительности
упоминавшаяся в § 5 лебегов-ская конструкция приводит к по-
пополненной а-алгебре 2f), а не к борелевской а-алгебре Ш. Ис-
Использование пополнения естественно в задачах, связанных с един-
единственным основным вероятностным распределением. По этой
причине длину интервалов в Ж1 обычно продолжают до лебего-
лебеговой меры, которая определена не только на борелевских множе-
множествах. Однако, когда рассматриваются семейства распределений
(например, бесконечные последовательности испытаний Бернул-
ли с различными вероятностями р), пополнение обычно приво-
приводит к неприятностям. Именно $i зависит от рассматриваемого
распределения, и поэтому случайная величина по отношению к Шг
может не быть таковой, если перейти к другому распределению.
Пример. Пусть аь а2) — последовательность точек в S1,
имеющих вероятности ри р2, ... соответственно, причем I,pk=l.
Дополнение к {oj} имеет вероятность нуль, и поэтому 9Г4 содер-
содержит все подмножества <$*'. Каждая ограниченная функция и
является при этом случайной величиной с математическим ожи-
ожиданием SpftM(Cft), однако, когда рассматриваемое распределение
не дискретно, оперировать с «произвольными функциями» ста-
становится опасным. N
') Более точно требуется, чтобы оба множества А — А (] А0 и Аа — А{\АЯ
содержались в некотором нулевом множестве.

ГЛАВА V
ВЕРОЯТНОСТНЫЕ РАСПРЕДЕЛЕНИЯ в Мг
В этой главе изучаются вероятностные распределения в
r-мерном пространстве Мг. Идейно понятие вероятностного рас-
распределения основывается на изложенной в предыдущей главе
теории интегрирования, однако по существу никаких сложных
размышлений для понимания настоящей главы не требуется,
поскольку вводимые понятия и формулы интуитивно близки к
понятиям и формулам, уже известным из первого тома и первых
трех глав.
Новая черта рассматриваемой теории состоит в том, что
(в противоположность случаю дискретного выборочного про-
пространства) не каждое множество имеет вероятность и не каж-
каждая функция является случайной величиной. К счастью, эта тео-
теоретическая сложность не очень заметна на практике, поскольку
можно исходить из интервалов и непрерывных функций и огра-
ограничиться соответственно рассмотрением множеств и функций,
которые могут быть получены из них посредством элементарных
операций и (возможно, бесконечно многих) предельных перехо-
переходов. Этим выделяются классы борелевских множеств и бэров-
ских функций. Читатели, которых интересуют больше факты,
нежели логические связи, могут не беспокоиться по поводу точ-
точных определений (приводимых в гл. IV). Им разумнее пола-
полагаться на собственную интуицию и считать, что все рассматри-
рассматриваемые множества и функции являются «хорошими». Приводи-
Приводимые теоремы настолько просты1), что для их понимания
достаточно знакомства с элементарным анализом. Изложение
является строгим, если условиться, что слова «множество» и
•) Следует понимать, что этой простоты нельзя достичь ни в какой тео-
теории, использующей лишь непрерывные функции или какой-либо другой класс
«хороших» функций. Например, в гл. II, (8.3) мы определили плотность ср
бесконечным рядом. Скучно и бессмысленно устанавливать условия, при ко-
которых ф является хорошей функцией, однако в простых случаях формула
очевидна, и она всегда имеет смысл, если ограничиваться бэровскими функ-
функциями, что и можно считать точным смыслом неопределенного выражения
«формула всегда справедлива». Между прочим, будут указаны несколько
случаев, где ограничение бэровскими функциями нетривиально [примером та-
такого рода является теория выпуклых функций см. (8,6)].

§ 1. Распределения и математические ожидания 161
«функция» сокращенно означают «борелевское множество» и
«бэровская функция» соответственно.
При первоначальном чтении можно ограничиться § 1—4 и 9.
Параграфы 5—8 содержат результаты и неравенства, собранные
для удобства ссылок. В последних параграфах, посвященных
теории условных распределений и математических ожиданий,
изложение ведется более полно, чем это необходимо для на-
настоящего тома. В дальнейшем результаты этой теории будут
использоваться лишь от случая к случаю при рассмотрении мар-
мартингалов в гл. VI, 11 и гл. VII, 7.
1. Распределения и математические ожидания
Даже совсем безобидное использование термина «случай-
«случайная величина» может содержать косвенную ссылку на весьма
непростое вероятностное пространство или на сложный умозри-
умозрительный эксперимент. Например, теоретическая модель может
включать в себя положения и скорости 1028 частиц, в то время
как нам интересны лишь температура и энергия. Эти две слу-
случайные величины отображают исходное выборочное простран-
пространство в плоскость S?2, порождая в ней вероятностное распре-
распределение. По существу мы имеем дело с двумерной задачей, и
первоначальное выборочное пространство утрачивает ясные
очертания и превращается в фон. Конечномерные евклидовы про-
пространства с/?г представляют собой, следовательно, наиболее
важные выборочные пространства, и мы переходим к система-
систематическому изучению соответствующих вероятностных распре-
распределений.
Рассмотрим сначала случай прямой сЯ'К Интервалы, опреде-
определяемые неравенствами а<х<_Ь и а^Сх^,Ь, обозначим a, b и
I—I
a, b соответственно. (Мы не исключаем предельный случай
замкнутого интервала, сводящегося к одной точке.) Полуот-
1 |
крытые интервалы обозначаются а, Ъ и а, Ь. В одномерном
случае все случайные величины являются функциями коорди-
координатной переменной X (иными словами, функции, которая в точ-
точке х принимает значение х). Все вероятности можно, следова-
следовательно, выразить в терминах функции распределения
F(x)=P{X<x}, —oo<x<oo. A1)
В частности, интервал I = a, b имеет вероятность
Гибкое стандартное обозначение Р{ } становится неудобным,
когда рассматриваются различные распределения. Примене-
Применение новой буквы было бы неэкономичным, а использование

162 Гл. V. Вероятностные распределения в
обозначения PF { } для указания зависимости от F слишком не-
неуклюже. Намного проще использовать одну и ту же букву F как
для функции точки A.1), так и для функции интервала, и в даль-
дальнейшем вместо Р {/} мы будем писать F {/}. Иными словами, ис-
использование фигурных скобок { } будет означать, что аргумент
в F {А} есть интервал или множество и что F представляет собой
функцию интервалов (или меру). Когда используются круглые
скобки, аргумент в F(а) есть точка. Соотношение между функ-
функцией точки F{) и функцией интервала F{} выражается равен-
равенствами
F(x)=F{— оо, х\, Ffal>} = F(b)—F(a). A.2)
В действительности понятие функции точки F(x) излишне и
служит лишь для удобства обозначения и записи. Основным
и первичным является наделение вероятностями интервалов.
Функция точки F( ) называется функцией распределения функ-
функции интервалов F { }. Символы F( ) и F{ } представляют собой
различное выражение одного и того же, и никакой двусмыслен-
двусмысленности не появляется, когда говорят о «вероятностном распреде-
распределении F». Следует привыкнуть думать в терминах функций ин-
интервалов и мер и использовать функцию распределения только
как обозначение1).
Определение. Определенная на прямой функция точки F
есть функция распределения, если она
i) неубывающая, т. е. F(a) ^.F(b) при а<Ь,
И) непрерывна справа2), т. е. F(a) =F(a + ),
iii) удовлетворяет условиям F(—оо)=0, F(oo)<oo.
Функция распределения F, для которой F(оо) =1, называется
вероятностной функцией распределения. Функция распределе-
распределения называется дефектной (или несобственной), если /7(оо)<1.
Покажем, что каждая функция распределения задает (соот-
(соответствующие ей) вероятности всех множеств на прямой. Первым
шагом является наделение вероятностями интервалов. Посколь-
Поскольку F монотонна, предел слева F (а—) существует в каждой точ-
') Для вводных курсов представляется разумной педантичная тщатель-
тщательность в использовании обозначений, однако автор надеется, что читатели не
будут требовать такого рода «состоятельности» и найдут в себе смелость
писать без различия F{I} и F(x). Это не повлечет никакой двусмысленности.
В лучшей математической литературе стало привычным, к счастью, исполь-
использовать один и тот же символ (в частности, 1 и =) на одной и той же стра-
странице в нескольких смыслах.
2) Как обычно, f{a+) обозначает предел, если он существует, значений
f(x), когда х->а при условии х>а. Под f(°o) понимается предел f(x) при
х->со. Аналогично определяется [(а—) и }(—со). Эти обозначения распро-
распространяются и на многомерный случай.

§ 1. Распределения и математические ожидания 163
ке а. Определим функцию интервалов F {/}, положив
F{a, b) = F(b) — F(a), F [a, b) = F(b—) — F(a),
F[a~Tb}=F{b)-F{a), F^\aTb)
Для интервала а, а, сводящегося к единственной точке а, имеем
F{a7~a}=F(a)-F(a—),
что представляет собой скачок F в точке а. (Вскоре мы увидим,
что F непрерывна «почти всюду».)
Чтобы показать, что определяемые формулами A.3) значе-
значения вероятностей для интервалов удовлетворяют требованиям
теории вероятностей, докажем следующую простую лемму (чи-
(читатели могут принять ее как интуитивно очевидную).
Лемма 1. (Счетная аддитивность.) Если интервал I пред'
ставляет собой объединение счетного числа непересекающихся
интервалов /ь ..., /2, то
F{I) =^F{Ik}- A-4)
1
Доказательство. В частном случае, когда / = а, b u
/i = o, au h=au пг, ..., In = an-i, b, утверждение леммы три-
тривиально. Произвольное конечное разбиение I = a, b получается
из этого разбиения перераспределением конечных точек ah под-
интервалов, так что правило сложения A.4) для конечных раз-
разбиений выполняется.
При рассмотрении случая бесконечного множества интерва-
интервалов /д, не ограничивая общности, можно допустить, что интер-
интервал / замкнут. В силу непрерывности справа функции распре-
распределения F для любого заданного е>0 можно найти содержа-
содержащий //: открытый интервал /*, такой, что 0<^,F[/^}—F \Ik] -^
<^г2~к. Поскольку существует конечная совокупность интерва-
интервалов if, . . ., if, покрывающая /, то
?{1)<РЩ+ .-. +РЩ<Р{^}+ •.. Н-^{/я)+е, A.5)'
откуда
F{I)< l>F{Ik]. A.6)
Обратное неравенство тоже справедливо, так как для каждого
п существует конечное разбиение /, содержащее в качестве
подинтервалов интервалы /j, ,.., In. Тем самым лемма до-
доказана. *>

164 Гл. V. Вероятностные распределения в
Как уже говорилось в гл. IV, 2, теперь можно определить
F{A} = 2F{Ah} ' A.7)
для любого множества А, представляющего собой конечное или
счетное объединение непересекающихся интервалов Ah. Интуи-
Интуитивно можно ожидать, что любое множество допускает аппро-
аппроксимацию такими объединениями интервалов, и теория меры
это подтверждает1). Используя естественные приближения и пе-
переходы к пределу, можно продолжить определение F на все
множества так, чтобы свойство счетной аддитивности A.7) со-
сохранялось. Это продолжение единственно, и получающаяся в
результате функция множеств называется вероятностным рас-
распределением или мерой.
Замечание о терминологии. Термин «распределение» свобод-
свободно используется в литературе в различных смыслах, и поэтому
здесь уместно точно оговорить, что понимается под распределе-
распределением в настоящей книге.
Вероятностное распределение, или вероятностная мера, есть
функция, ставящая в соответствие множествам числа F{A}^?-0
и удовлетворяющая условию счетной аддитивности A.7) и усло-
условию нормировки F{—оо, оо}=1. Отбрасывая условие норми-
нормировки, получаем определение более общей меры (распределе-
(распределения массы). Весьма важным примером такой меры является
мера Лебега (или обычная длина).
Иногда приходится иметь дело с мерами, относительно кото-
которых масса всей прямой p = F{—<х>, оо} меньше 1 (достаточно
вспомнить рассматривавшуюся в первом томе теорию рекур-
рекуррентных событий). Меру с таким свойством мы называем ве-
вероятностной несобственной или дефектной мерой с дефектом,
равным 1 — р. Иногда с целью стилистической ясности или
желая подчеркнуть, что рассматривается не мера вообще и
не дефектная вероятностная мера, а именно вероятностная мера,
мы будем называть ее собственной вероятностной мерой, хотя
прилагательное собственная и излишне.
Аргументом меры m {А} является множество; при письме
буква, обозначающая это множество, заключается в фигурные
скобки- Каждой ограниченной мере пг соответствует функция
распределения — функция точки, определяемая равенством
m(x)=m{—оо, х}. Функция распределения обозначается той же
буквой, что и соответствующая ей мера, только аргумент ее
заключается в круглые скобки. Двоякое использование одной
') Следует иметь в виду принятое нами соглашение, согласно которому
слова «множество» и «функция» сокращенно означают соответственно «боре-
левское множество» и «бэровская функция»*

§ 1 Распределения и математические ожидания 165
и той же буквы не вызывает никаких недоразумений, и, более
того, термин «распределение» может сокращенно обозначать как
вероятностное распределение, так и его функцию распреде-
распределения. >
В 1, гл.4 IX случайная величина была определена как ве-
вещественная функция на выборочном пространстве. Мы сохра-
сохраняем здесь это определение. В случае когда выборочным про-
пространством является прямая, каждая вещественная функция
есть случайная величина. Координатная случайная величина X
является основной, и все остальные случайные величины можно
рассматривать как функции от нее. Функция распределения
случайной величины и, по определению равная Р{м(Х) ^Сх), мо-
может быть выражена в терминах функции распределения коор-
координатной случайной величины X. Например, функция распреде-
распределения величины X3 есть F{y x).
Функция и называется простой, если она принимает лишь
счетное множество значений аи а2, . . . . Пусть и — простая
функция и Ап — то множество, на котором и равна ап. Скажем,
что математическое ожидание функции и существует и равно
Е(в)=2а*/?И»), A.8)
если ряд в правой части A.8) абсолютно сходится. В против-
противном случае и называется неинтегрируемой по отношению к F.
Таким образом, и имеет математическое ожидание тогда и
только тогда, когда существует Е(|ы|). Исходя из A.8), можно
следующим образом определить математическое ожидание про-
произвольной ограниченной функции и. Возьмем е>0 и обозначим
через Ап множество тех точек х, в которых (п—1)е<х^«е.
При любом разумном определении Е(и) должно быть
%(п—1)е.В{Аа)<^Е(и)<? 2/ге/ЧЛЛ- A-9)
(Суммы в A.9) представляют собой математические ожидания
двух аппроксимирующих простых функций а и сг, таких, что
о^.и^Со и сг — ст = е.) Поскольку функция и, согласно пред-
предположению, ограничена, то суммы в A.9) содержат лишь ко-
конечное число отличных от нуля членов. Разность этих сумм рав-
равна eH>F {Ап} = е. При замене е на 1/2е левая сумма, очевидно, уве-
увеличивается, а правая — уменьшается. Отсюда легко вывести, что
при е —>¦ О обе суммы в A.9) стремятся к одному и тому же пре-
пределу, который и полагается равным Е(и). Для неограниченной
функции применимо то же самое рассуждение, если оба ряда
в A.9) абсолютно сходятся; в противном случае Е(«) не опре-
определяется (и не интегрируема по отношению к F).

166 Гл. V. Вероятностные распределения в Л'
Определенное таким простым способом математическое ожи-
ожидание представляет собой интеграл Лебега — Стильтьеса от
функции и по отношению к распределению F. Когда желают
подчеркнуть зависимость математического ожидания от F, пред-
предпочтительно использовать интегральное обозначение
со
Е(и)= J u(x)F{dx). A.10)
— со
За исключением редких случаев, мы будем иметь дело лишь
с монотонными функциями и или с кусочно-непрерывными функ-
функциями, такими, что для них множества Ап сводятся к объеди-
объединению конечного числа интервалов. При этом суммы в A.9)
представляют собой, с точностью до порядка суммирования,
верхние и нижние суммы, используемые при элементарном опре-
определении обычных интегралов. Общий интеграл Лебега — Стиль-
Стильтьеса, обладая основными свойствами обычного интеграла,
имеет дополнительное преимущество — при обращении с ним
меньше приходится заботиться о законности формальных опера-
операций и переходов к пределу. Мы будем использовать матема-
математические ожидания лишь в очень простых ситуациях, и никакой
общей теории не потребуется для возможности проследить за
отдельными этапами рассуждений. Читатель, интересующийся
теоретическим фундаментом и основными фактами, может обра-
обратиться к гл. IV.
Примеры, а) Пусть F — дискретное распределение, наделяю-
наделяющее точки а\, а2, ... массами pi, р2, . . . . Ясно, что в этом слу-
случае математическое ожидание Е(м) функции и, если оно суще-
существует, равно 2 и(#*) Pk< и условием существования Е(ы) яв-
является абсолютная сходимость ряда 2 и (ak) Pk- Это согласуется
с определением, данным в 1, гл. IX.
б) Для распределений, задаваемых непрерывной плотностью,
математическое ожидание и представляет собой интеграл
оо
Е(и)= ju(x)f(x)dx, A.11)
— со
если только этот интеграл сходится абсолютно. По поводу об-
общего понятия плотности смотри § 3. >
Обобщение вышеизложенного на многомерные пространства
можно описать в нескольких словах. Точка в М2 представляет
собой пару действительных чисел x={xh хъ). Неравенства сле-
следует понимать в покоординатном смысле1); так а<Ь означает,
') Это соглашение было введено в гл. III, 5.

§ 1. Распределения и математические ожидания 167
что ai<fci и а2<Ь2 (или, иными словами, «а лежит юго-запад-
юго-западнее ft»). Это отношение порядка является лишь частичным упо-
упорядочением, т. е. две точки а и Ь не обязаны находиться в од-
одном из двух отношений а<&, а~^-Ь. Интервалами мы называем
множества, определяемые четырьмя возможными типами двой-
двойных неравенств а<л:<& и т. д. Интервалы представляют собой
прямоугольники со сторонами, параллельными осям координат,
и могут также вырождаться в отрезки или точки.
Единственно новым является то обстоятельство, что если
1 1
а, с— двумерный интервал и а<Ь<с, то а, с не есть объеди-
1 1
нение a, bub, с. Каждой функции интервала F {/} можно поста-
поставить в соответствие отвечающую ей функцию распределения,
которая, как и в одномерном случае, определяется равенством
I i
F(x)=F{—оо, л;}. Теперь, однако, в выражение F {а, ft} в терми-
терминах функции распределения входят все четыре вершины интер-
интервала. Если a=(ai, а2) —вершина с координатами а\. = аи а2 = Ь2,
то разность —оо, Ь оо, а есть полубесконечная («верти-
(«вертикальная») полоса ширины bi — ai и интервал I = a, b представ-
представляет собой разность двух таких полос. Таким образом, при
F{a, b} = F(bit b2) —F(au b2) —F(bu a2)+F(au a2). A.12)
Для функции распределения F(x)=F(xit x2) «смешанные раз-
разности» типа стоящей в правой части A.12) неотрицательны. От-
Отсюда следует монотонность F(xiy x2) по х4 и х2, однако обрат-
обратное неверно: монотонность F не обеспечивает положитель-
положительности A.12).
Пример, в) Пусть F(x)=0 при х<0 и F(x)=\ во всех ос-
остальных точках. Очевидно, F монотонна по каждой из коорди-
координат, однако при а<0 и 6>0 величина A.12) для такой функции
принимает отрицательное значение, равное —1. >
Ясно, что в многомерном случае функции распределения яв-
являются не очень подходящим аппаратом: если бы не соображе-
соображение аналогии со случаем пространства М1, все рассмотрения,
возможно, велись бы в терминах функций интервалов. Фор-
Формально определение функции распределения в $х распростра-
распространяется на а%2, если условие монотонности A) заменить на усло-
условие неотрицательности смешанных разностей A.12) при а*С.Ь.
Так определенная функция распределения индуцирует функцию
интервалов (соотношения подобны A.3), в случае М1 нужно

168 Г л V. Вероятностные распределения в
лишь обычные разности заменить на смешанные). Лемма 1 со-
сохраняется вместе с доказательством ').
Одно простое, но существенно важное свойство математических ожида-
ожиданий принимается иногда как само собой разумеющееся. Любая функция
и(Х) =и(Хь Хг) от координатных переменных является случайной величиной
и, как таковая", имеет функцию распределения G. Математическое ожидание
Е(и(Х)) можно определить двумя способами — как интеграл от и(х\,хг) по
отношению к заданной вероятностной мере на плоскости, а также в терминах
функции распределения величины и:
со
j A.13)
Оба определения эквивалентны в силу самого определения первого из этих
интегралов с помощью аппроксимирующих сумм гл. IV, D.6) 2). Существен-
Существенным здесь является то обстоятельство, что математическое ожидание случай-
случайной величины Z (если оно существует) имеет внутренний смысл и не зависит
от того, рассматривается ли Z как функция на исходном вероятностном про-
пространстве @ или на пространстве, полученном при соответствующем отобра-
отображении @; в частности, Z сама отображает © на прямую и превращается на
ней в координатную величину.
Начиная с этого места, не будет никакой разницы между
случаями пространства Ж1 и пространства <#2. В частности, опре-
определение математического ожидания не зависит от числа изме-
измерений.
Резюмируя, можно сказать, что любая функция распределе-
распределения индуцирует вероятностную меру на о-алгебре борелевских
множеств в Str и тем самым определяет вероятностное простран-
пространство. Иначе говоря, мы показали, что вероятностная конструк-
конструкция дискретных выборочных пространств, а также пространств
с распределениями, задаваемыми плотностями, распространяется
без формальных изменений на общий случай. Тем самым
оправдана вероятностная терминология, использовавшаяся в
первых трех главах. Когда мы говорим об г случайных величи-
величинах Xj, . . . , X,, мы подразумеваем, что все они определены на
одном и том же вероятностном пространстве, и поэтому суще-
') В доказательстве используется тот факт, что при конечном разбиении
одномерного интервала подинтервалы имеют естественный порядок слева
направо. Столь же хорошее упорядочение имеет место при шахматных раз-
разбиениях двумерного интервала а, Ь, т. е. разбиениях на гпп подинтервалов,
I
получаемых разбиениями отдельно обеих сторон a, b и проведением прямых,
параллельных осям, через все точки подразбиений. Доказательство конечной
аддитивности для таких шахматных разбиений не меняется, и каждому раз-
разбиению соответствует его шахматное подразбиение. Переход от конечных раз-
разбиений к счетным одинаков при любом числе измерений.
2) Специальный случай содержится в теореме 1, гл. IX, 2.1. См. так-
также задачу 1.

§ I. Распределения и математические ожидании 169
ствует их совместное вероятностное распределение. При этом
мы можем, если пожелаем, рассматривать Xh как координатные
величины в выборочном пространстве <9>г.
Вряд ли необходимо объяснять способ распространения та-
таких понятий, как частное (маргинальное) распределение (см.
гл. III, 1, 1, гл. IX, 1) или независимость случайных величин.
Основные утверждения о независимых случайных величинах
переносятся с дискретного на общий случай без изменений.
i) Независимость случайных величин X и Y с (одномерными)
распределениями F и G означает, что функция совместного
распределения (X, Y) задается произведениями F(x\)G(x2).
Это может относиться к двум случайным величинам, опреде-
определенным на заданном вероятностном пространстве, но может
также пониматься и как сокращенное выражение того, что мы
вводим плоскость с X и Y в качестве координатных переменных
и определяем вероятности по правилу произведения. Сказан-
Сказанное в равной степени применимо к парам, тройкам и вообще к
любому числу случайных величин.
и) Если совокупность m случайных величин (Хь .. . , Хт) не
зависит от совокупности п случайных величин (Yb ..., \п), то
случайные величины и(Хи ..., Хт) и y(Yt,...,?„) независимы,
каковы бы ни были функции и и v.
in) Для независимых X и Y справедливо равенство E(XY) =
= E(X)E(Y), если только математические ожидания X и Y су-
существуют (т. е. если соответствующие интегралы сходятся аб-
абсолютно).
В заключение этого параграфа приведем один простой ре-
результат1), который часто приходится использовать.
Лемма 2 Вероятностная мера однозначно определяется
значениями Е(и) для всех непрерывных функций и, обращаю-
обращающихся в нуль вне некоторого конечного интервала.
Доказательство. Пусть / — конечный открытый интер-
интервал п v — непрерывная функция, которая положительна на /
п
и равна нулю вне / Тогда yv(x)->\ при всех х€1 и, следова-
') Этот результат содержится в гл IV, 5 и повторяется здесь потому, что
доказать его можно совсем просто. Для читатетя, интересующегося общей
теорией, заметим, что наши рассуждения в значительной степени основыва-
основывались на использовании интервалов. В более общих ситуациях не существует
таких отличительных множеств и часто предпочтительно начинать с матема-
математических ожидании непрерывных функций и затем с их помощью опредетять
¦меры. При этом используется рассуждение, обратное к содержащемуся в при-
приводимом ниже доказательстве.

170 Гл. V. Вероятностные распределения в
(п \
тельно, Е у v)—>F{f). Таким образом, значения математических
ожиданий непрерывных функций, обращающихся в нуль вне
некоторого интервала, однозначно определяют значения F{/}
для всех открытых интервалов, которые в свою очередь одно-
однозначно определяют F. Ь-
Замечание о независимости и корреляции. Теория статистической корре-
корреляции восходит к тому времени, когда формализация теории быта еще не-
невозможна и понятие стохастической независимости по необходимости носило
мистический характер. Уже тогда понимали, что независимость двух ограни-
ограниченных случайных величин с нулевыми математическими ожиданиями "печет
равенство E(XY)=0, однако сначала думали, что это равенство должно
быть и достаточным для независимости X и Y После того как была обнару-
обнаружена ложность этого заключения, долгое время искали условия, при которых,
обращение в нуль корреляции влечет стохастическую независимость Как
часто случается, история задачи и красота частных результатов затемнили
тот факт, что современные методы позволяют дать чрезвычайно простое ее
решение. Следующая теорема содержит различные результаты, доказанные
ранее трудоемкими методами.
Теорема. Случайные величины X и Y независимы тогда и только
тогда, когда
E(a(X)o(Y)) = E(o(X))E(y(Y)) A.14)
для всех непрерывных функций и и v, обращающихся в нуль вне конечного
интервала.
Доказательство Необходимость условия очевидна. Достаточность
его будет доказана, если показать, что для всякой непрерывной функции
а>(Х, Y), равной нулю вне некоторого конечного интервала, математическое
ожидание Е(о>) совпадает с математическим ожиданием а относительно пары
независимых случайных величин, распределенных как X и Y. Но, согласно
A.14), это верно для функций вида w(X, Y)=«(X)y(Y). Так как каждую
непрерывную функцию w, обращающуюся в нуль вне некоторого конечного
интервала, можно равномерно приблизить]) линейными комбинациями вида
2Ck«)i(X)iift(Y'), то, переходя к пределу, убеждаемся в справедливости нашего
утверждения. >
§ 2. Предварительные сведения
Настоящий параграф посвящен в основном известным или
очевидным понятиям и фактам, связанным с функциями распре-
распределения в гй1.
Как и в дискретном случае, k-й момент случайной вели-
величины X по определению полагается равным E(Xfe). При этом
') См. задачу 10 в гл. VIII, 10.

§ 2. Предварительные сведения 171
предполагается, что интеграл
оо
Е(Х*)= \x*F{dx] B.1)
существует, т. е. сходится абсолютно. Таким образом, E(Xft) су-
существует тогда и только тогда, когда E(|X|ft)<oo. Величина
E(|Xjft) называется k-м абсолютным моментом X. Она опреде-
определена и для нецелых &>0. Так как при 0<а<Ь имеет место не-
неравенство |лг|а^!Я|Ь+Л1, то из существования абсолютного мо-
момента порядка Ъ вытекает существование абсолютных моментов
всех порядков а<Ь.
Второй момент случайной величины X — т, где m — мате-
математическое ожидание X, называется дисперсией X и обозна-
обозначается Var X:
Var (X)=E((X — mJ) = E(X2) — m\ B.2)
В рассматриваемом общем случае дисперсия обладает теми же
свойствами и играет ту же роль, что и в дискретном случае.
В частности, если X и Y независимы и дисперсии Var X и Var Y
существуют, то
Var (X+.Y)=VarX + VarY. B.3)
[Две случайные величины, удовлетворяющие равенству B.3),
называются некоррелированными. В 1, гл. IX, 5 было пока-
показано, что существуют зависимые некоррелированные случайные
величины.]
Вспомним, что часто мы заменяли случайную величину на
«нормированную величину» Х*=(Х — пг)/а, где /и = Е(Х) и
o2 = Var(X). Выражаясь физическим языком, можно сказать,
что X* есть запись X в «безразмерных единицах». Вообще пере-
переход от X к (X — f>)/а при а>0 есть изменение начала отсчета
и единицы измерения. Функция распределения новой случайной
величины равна F(ax+_$), и нередко мы имеем дело по суще-
существу со всем классом функций распределения этого вида, а не
с отдельным представителем класса. Введем для удобства сле-
следующее
Определение 1. Два распределения Fx и F2 в М1 назы-
называются отличающимися лишь параметрами расположения, если
Рг{х) =/ч(са + Р), а>0. Про такие распределения говорят так-
также, что они одного и того же типа. Параметр а называют мас-
масштабным множителем, а параметр E—центрирующей постоянной.
Данное определение позволяет использовать выражения вида
«f центрировано к нулевому математическому ожиданию» или
«центрирование не меняет дисперсии».

172 Гл. V Вероятностные распределения в 5?г
Медианой распределения F называется число |, удовлетво-
удовлетворяющее условиям F{%)'^~2 и f (I—)^-Т" Медиана может
быть определена неоднозначно; если F{x)=-^ при всех х из
некоторого интервала а, Ь, то каждое х из этого интервала есть
медиана. Распределение можно центрировать так, чтобы его ме-
медиана стала равной нулю.
За исключением медианы, все рассмотренные понятия пере-
переносятся на случай любого конечного числа измерений, или,
иными словами, на векторные случайные величины вида Х=
= (Х1? ..., Х„). Соответствующие векгорные обозначения были
введены в гл. III, 5 и не требуют никаких изменений. Матема-
Математическое ожидание X представляет собой в этом случае вектор,
а дисперсия X — матрицу.
Первое, на что обращается внимание при рассмотрении гра-
графика функции распределения, это разрывы и интервалы пос-
постоянства. Нередко приходится оговаривать, что точка не при-
принадлежит интервалу постоянства. Введем следующую удобную
терминологию, относящуюся к любому конечному числу изме-
измерений.
Определение 2. Точка х является атомом, если она имеет
положительную массу1). Точка х, для которой /г{/}>0, каков бы
ни был открытый интервал I, содержащий х, называется точкой
роста.
Распределение F сосредоточено на множестве А, если допол-
дополнение А' имеет вероятность F{A'} = 0.
Распределение F называется атомическим, если оно сосредо-
сосредоточено на множестве своих атомов.
Пример. Расположим рациональные числа из отрезка 0, 1
в последовательность г4, г2, . . . так, чтобы с ростом номера числа
рос и его знаменатель. Определим распределение F, положив ве-
вероятность каждой точки rh равной 2~h. Распределение F атоми-
I—/
ческое, однако все точки замкнутого интервала 0, 1 являются
точками роста F. >
В силу условия счетной аддитивности A.7) сумма масс ато-
атомов не превосходит единицы, так что имеется не больше одного
атома с массой >у. не больше двух атомов с массой >-§-
и т. д. Все атомы, следовательно, можно расположить в прос-
') Это, конечно, есть краткое выражение следующего: «множество, со-
состоящее из одной точки х, имеет положительную вероятность».

§ 2. Предварительные сведения 173
тую последовательность аь а2, ... так, чтобы соответствующие
им массы не возрастали: рх^-р^- .... Иными словами, число
атомов не более чем счетно.
Распределение, не имеющее атомов, называется непрерыв-
непрерывным. Предположим, что распределение имеет атомы с массами
pi, р2, ¦ ¦ ¦ , и обозначим р= 2 Pk- Положим
ak<x
где суммирование распространяется на все атомы из интер-
I
вала —оо, х. Функция Fа(х), представляющая собой, очевидно,
функцию распределения, называется атомической компонен-
компонентой F. Если р = 1, то распределение F является атомическим.
При р<\ положим q—\—р. Легко видеть, что [F — pFa]/q = Fe
есть непрерывная функция распределения. Таким образом,
имеем
F = pFa + qFc, B.5)
т. е. F является линейной комбинацией двух функций распре-
распределения F,, и Fr, из которых Fn — атомическая, a Fc — непре-
непрерывная. Если F есть атомическая функция распределения, то
1,2.5) по-прежнему имеет место с р = \, причем в качестве Fc
можно взять произвольную непрерывную функцию распределе-
распределения. При отсутствии атомов в B.5) будет р = 0. Нами доказана,
таким образом,
Теорема Ж о р д а н а о разложении. Всякое вероят-
вероятностное распределение является смесью атомического и непре-
непрерывного распределений вида B.5) с р^-0, q^O, p + q=\.
Имеется один класс атомических распределений, из-за кото-
которых приходится иногда загромождать простые формулировки
перечислением тривиальных исключений. Распределения этого
класса лишь произвольным масштабным множителем отличают-
отличаются от распределений, сосредоточенных в целочисленных точках,
однако встречаются они весьма часто и поэтому заслуживают
специального названия для удобства ссылок.
Определение 3. Распределение F на гйх называется ариф-
арифметическим 1), если оно сосредоточено на множестве точек вида
') Пожалуй, более общепринятым является термин «решетчатое распре-
распределение», однако его употребляют в разных смыслах: некоторые авторы под
решетчатым распределением понимают распределение, сосредоточенное на
множестве а, а±Х, а±2К, ..., где а—'произвольно. (Биномиальное распреде-
распределение с атомами в точках ±1 в нашей терминологии является арифметиче-
арифметическим распределением с шагом 1, в то время как в упомянутой другой терми-
терминологии оно — решетчатое распределение с шагом 2 )

174 Г л V Вероятностные распределения в Шг
О, ±л, ±2к, ... . Наибольшее число X, обладающее этим свой-
свойством, называется шагом F.
§ 3. Плотности
Первые две главы были посвящены изучению вероятностных
распределений в <Й1, для которых вероятность произвольного
интервала (а, следовательно, и вообще произвольного множе-
множества) задается интегралом
F{A}= \y{x)dx. C.1)
А
Распределения, рассматривавшиеся в гл. III, имеют тот же вид,
с той лишь разницей, что интегрирование происходит по лебе-
лебеговой мере (площади или объему) в Мт. Если плотность ф в
C.1) сосредоточена на интервале 0, 1, то C.1) можно перепи-
переписать в виде
F{A} = U(x)U{dx}, C.2)
где U обозначает равномерное распределение на 0, 1. Послед-
Последняя формула имеет смысл для произвольного вероятностного
распределения U, и, когда F {—оо, оо}=1, она определяет новое
вероятностное распределение F. В этом случае мы говорим,
что ф есть плотность F по отношению к U.
В формуле C.1) мера U бесконечна, в то время как в фор-
формуле C.2) имеем U {—оо, оо} = 1. Это различие несущественно,
поскольку интеграл в C.1) может быть разбит на интегралы
вида C.2), распространенные на конечные интервалы. Хотя мы
будем использовать C.2) лишь в случаях, когда U есть либо
вероятностное распределение, либо мера Лебега, как в C.1),
дадим следующее общее определение.
Определение. Распределение F называется абсолютно
непрерывным по отношению к мере U, если для некоторой функ-
функции ф имеет место соотношение C.2). При этом ф называется
плотностью ') F по отношению к U.
Наиболее зажным частным случаем является, конечно, тот
случай, когда имеет место C.1), т. е. когда U есть мера Лебега.
Функция <р в этом случае называется «обычной» плотностью.
') Это определение является стандартным определением в теории меры,
а функция ф называется производной Радона — Никодима распределения F
по отношению к U.

§ 3. Плотности 175
Введем теперь следующую сокращенную запись:
U{dx}. C.3)
Эта запись имеет лишь ют смысл, что для всех множеств вы-
выполняется равенство C.2), и никакого специального смысла
символу dx придавать не следует. Пользуясь этой сокращенной
записью, C.1) мы будем записывать в виде F {dx} = (p(x)dx, n
если U имеет обычпую плотность и, то C.2) принимает вид
F{d} = (f(x)u(x)dx.
Примеры, а) Пусть U — вероятностное распределение на Мх
со вторым моментом, равпым т2. Тогда
F\dx) =----x2U{dx)
есть новое вероятностное распределение. В частности, если U —
равномерное распределение па 0, 1, то F(x)=x3 при 0<л:<1, а
если U имеет плотность е~х (л:>0), то F есть гамма-распределе-
гамма-распределение с обычной плотностью -к-х2е~х.
б) Пусть U — атомическое распределение, наделяющее ато-
атомы аи а,2,... массами р\, Р2, ¦ ¦ ¦ (здесь 2а=0' Распределе-
Распределение F имеет плотность ср по отношению к U тогда и только
тогда, когда оно атомическое и все его атомы являются также
атомами распределения U. Если F имеет в а, массу qjt то плот-
плотность ф в uj равна ф(йл) =qh/pk. Значение ф в точках, отличных
от точек a.j, не играет никакой роли и лучше всего считать ф
в этих точках неопределенной. ^
Теоретически подинтегральная функция ф в C.2) определена
неоднозначно. В самом деле, если N — такое множество, что
U{N} = 0, то ф можно как угодно изменить на N и при этом C.2)
останется в силе. К этому, однако, и сводится вся неоднознач-
неоднозначность в определении ф: плотность определена однозначно с точ-
точностью до значений на нулевом множестве'). Практически усло-
условиями непрерывности диктуется обычно однозначный выбор
плотности, и поэтому, как правило, говорят о некоторой опреде-
') В самом деле, пусть <р и q>]—две плотности F по отношению к U.
Рассмотрим множество А всех точек х, для которых cp(.v) >(fi(x) +e. Из ра-
венств
F{A}= | ф (х) U {dx} =
следует, что U {А}=0, и поскольку это верно для любого е>0, то ф(*) = <pi (л')
всюду, за исключением множества N, такого, что U {Щ = 0.

176 Гл. V. Вероятностные распределения в Хт
ленной плотности, хотя, конечно, более правильным было бы
говорить о некоторой из плотностей.
Из C.3), очевидно, следует, что для любой ограниченной
функции v ')
} = v(x)(f(x)U{dx}. C.4)
В частности, если все значения функции ф больше (или меньше)
нуля на некоторое число, то, взяв y = qr', получим формулу,
обращающую C.2):
U[dx}=-^F{dx). C.5)
Полезный критерий абсолютной непрерывности содержится
е одной из основных теорем теории меры, которую мы приведем
здесь без доказательства.
Теорема Радона — Никодима2). Распределение F
абсолютно непрерывно по отношению к мере U тогда и только
тогда, когда
U {А} = 0 влечет F {А} = 0. C.6)
Условие C.5) можно перефразировать следующим образом:
U — нулевые множества являются также /•'-нулевыми множе-
множествами. Приведем одно важное следствие теоремы Радона —•
Никодима, которое, однако, нигде в дальнейшем непосредствен-
непосредственно использоваться не будет.
Критерий. Распределение F абсолютно непрерывно по от-
отношению к мере U тогда и только тогда, когда каждому е>0
соответствует б>0, такое, что для любой совокупности непересе-
непересекающихся интервалов Л, ... , /„
2 U [Ik] < 6 влечет 2 F {/„} < е. C.7)
1 1
') Читателям, которых смущает справедливость соотношения C.4), сле-
следует обратить внимание на его тривиальность в случае, когда F и U имеют
непрерывные плотности. Следующее доказательство C.4) в общем случае
использует стандартное рассуждение, применимое и в более общих ситуа-
ситуациях. Формула C.4) тривиальна, когда v есть простая функция, принимаю-
принимающая лишь конечное число различных значений. Для любой ограниченной
функции v существуют две простые функции с конечным числом значений v и
V, такие, что v<v^v и v—и<е, и поэтому из справедливости формулы C 4)
для всех простых функций вытекает ее справедливость в общем случае.
2) Эту теорему нередко называют теоремой Лебега — Никодима. Соот-
Соотношение C.6) может быть принято в качестве определения абсолютной не-
непрерывности, и в этом случае теорема будет утверждать существование плот-
плотности.

§ За. Сингулярные распределения 177
Весьма важным частным случаем выполнения C.7) является
тот случай, когда для всех интервалов
F{I}<aU{I}. C.8)
При этом C.7) выполняется с б = е/а и, как легко видеть, плот-
плотность F по отношению к U не превосходит а.
За1) Сингулярные распределения
Условие C.6) теоремы Радона — Никодима наводит на рас-
рассмотрение случая, прямо противоположного случаю абсолютно
непрерывных распределений.
Определение. Вероятностное распределение F сингу-
сингулярно по отношению к U, если оно сосредоточено на множе-
множестве N, таком, что U{N} = Q.
Особую роль здесь играет мера Лебега U{dx} = dx, и когда
говорят, что распределение «сингулярно», и не делают при этом
дополнительных пояснений, имеют в виду, что оно сингулярно
по отношению к мере Лебега. Каждое атомическое распределе-
распределение сингулярно по отношению к dx, но имеются и непрерывные
распределения в $1, сингулярные относительно dx: таковым
является канторовское распределение, рассмотренное в примере
A1, г) гл. I. Сингулярные распределения не поддаются аналити-
аналитическому изучению, и их явное представление практически не-
невозможно. Чтобы иметь возможность применять аналитические
методы, приходится, следовательно, накладывать ограничения,
которые обеспечивают либо абсолютную непрерывность, либо
атомичность рассматриваемых распределений. Сингулярные рас-
распределения", однако, играют важную принципиальную роль, и
многие статистические тесты основываются на их существова-
существовании. Это обстоятельство затемняется бытующим мнением, что
«в практике» сингулярные распределения не встречаются.
Примеры, а) Испытания Бернулли. В примере A1, в) гл. I
было показано, что выборочное пространство последовательно-
последовательностей SS ¦ ¦ • F ¦ • • можно отобразить на единичный интервал,
пользуясь простым приемом замены символов S и F на 1 и 0 со-
соответственно. Выборочным пространством становится тогда еди-
единичный интервал, и результат бесконечной последовательности
испытаний представляется случайной величиной Y = 2 2" \k,
где Хй — независимые случайные величины, принимающие
') Хотя принципиально сингулярные распределения очень важны, они по-
появляются в этой книге лишь между прочим.

178 Гл. V. Вероятностные распределения в %т
значения 1 и 0 с вероятностями р и q. Обозначим распределение Y
через Fp. Если испытания симметричны, то Fp = F^ есть равно-
мерное распределение, и модель принимает привлекательный
простой вид. По существу эквивалентность симметричных испы-
испытаний Бернулли со «случайным выбором точки из 0,1» использо-
использовалась с самого возникновения теории вероятностей. Далее в
силу закона больших чисел распределение Fp сосредоточено на
множестве Nv, состоящем из тех точек, в двоичном разложении
которых частота цифры 1 стремится к р. При рфа множество Na
имеет вероятность нуль и, следовательно, распределения Fp син-
сингулярны по отношению друг к другу. В частности, при /»^у
распределение Fp сингулярно по отношению к равномерному
распределению dx. Точного представления для Fv практически
не существует, и поэтому описанная конструкция редко исполь-
используется при р ф y¦ Два обстоятельства заслуживают особого
внимания.
Во-первых, рассмотрим, что было бы, если бы частный слу-
случай Р=-о- представлял особый интерес или часто встречался в
приложениях. Мы заменили бы тогда двоичное разложение чи-
чисел троичным и ввели бы новый масштаб так, чтобы F i пред-
ставляло собой равномерное распределение. «В практике» мы
по-прежнему имели бы дело лишь с абсолютно непрерывными
распределениями, однако в основе этого лежит скорее выбор
подхода, чем истинная природа вещей.
Во-вторых, симметричность или несимметричность монеты
можно проверить статистически и практически определенного
решения можно достигнуть после некоторого конечного числа
испытаний. Это оказывается возможным лишь благодаря тому,
что события, являющиеся правдоподобными при гипотезе р = у.
весьма неправдоподобны при гипотезе р—-*- Небольшое раз-
размышление показывает, что возможность принять решение после
конечного числа испытаний основана на сингулярности Fp при
рф Yno отношению к fi. Таким образом, существование син-
~2
гулярных распределений является существенным для статисти-
статистической практики.
б) Случайные направления. В гл. I, 10 было введено понятие
единичного вектора в М2 со случайным направлением. Распреде-

§ 4. Свертки 179
ление такого вектора сосредоточено на единичной окружности
и, следовательно, является сингулярным по отношению к мере
Лебега (площади) в плоскости. Можно было бы думать, что
в этом случае в качестве выборочного пространства следует
взять окружность, однако в некоторых практических задачах
такой вариант выборочного пространства невозможен [см. при-
пример D, д)]. >
Возвращаясь к общей теории, предположим, что F есть ве-
вероятностное распределение, не являющееся абсолютно непрерыв-
непрерывным по отношению к мере U. Множество N, для которого ?/{/V} =
= 0, будем называть для краткости нулевым множеством. Пусть р
есть верхняя грань значений F{N) по всем нулевым множе-
множествам N. Для каждого п существует нулевое множество Nn, та-
такое, что F [Nп) >/> — — . При этом/7{Л}<— для всякого нуле-
нулевого множества Л, лежащего в дополнении Nu. Для множе-
множества N = \]Nn имеем ?/{Л'} = 0и F{N} — p, так что никакое нулевое
множество, лежащее в дополнении N', не может иметь положи-
положительной вероятности. Положим ^=1 —р и определим две новые
меры из равенств
p-Fs{A) = F{AN), q-Fac{A} = F{AN'}. C.9)
Если <7 = 0, то F = FS; в противном случае обе меры Fs и Fac
имеют полную массу, равную 1 и, следовательно, представляют
собой вероятностные распределения. По самому построению
распределение Fs сингулярно относительно U, в то время как
U{B} = 0 влечет Fac{B} — 0. Складывая обе формулы C.9), мы по-
получаем, таким образом, следующий результат.
Теорема Лебега о разложении. Каждое вероят-
вероятностное распределение F является смесью вида
, C.10)
где р^-0, ql>0y p+'q=\ двух вероятностных распределений Fs
и Fac, из которых Fs сингулярно, a Fac абсолютно непрерывно по
отношению к заданной мере U.
Применяя к F, жорданово разложение B.5), получаем, что
F можно представить в виде смеси трех вероятностных распре-
распределений, из которых первое — атомическое, второе — абсолютно
непрерывное по отношению к U{dx}, а третье непрерывно, но
сингулярно.
§ 4. Свертки
Трудно переоценить важность операции свертки во многих
областях математики. Нам придется иметь дело со сверткой
с двух точек зрения: и как с операцией, применяемой к распре-

180 Гл. V. Вероятностные распределения в Яг
делениям, и как с операцией, применяемой к распределению к
непрерывной функции.
Для определенности мы будем рассматривать распределения
в $х, однако при использовании векторных обозначений пара-
параграфа 1 все формулы остаются в силе и для распределений в
пространстве любой размерности. Определение свертки на
окружности следует схеме, описанной в гл. П,8, и не требует
дополнительных пояснений. (Более общие свертки можно опре-
определить на произвольных группах.)
Пусть F — вероятностное распределение и ф — ограниченная
функция точек. (В рассматриваемых нами приложениях ср будет
либо непрерывной функцией, либо функцией распределения.)
Определим новую функцию и, положив
и(х) = \y{x-y)F[dij}. D.1)
— со
Если F имеет плотность / (по отношению к dx), то
со
и(х)= j<p(x — y)f{y)dy. D.2)
Условие ограниченности <р является более жестким, чем это не-
необходимо, однако при плохих подинтегральных функциях инте-
интегралы могут потерять смысл.
Определение 1. Функция ив D.1) называется сверткой
функции ф с вероятностным распределением F. Для свертки бу-
будет использоваться обозначение u — Fxy. Если F имеет плот-
плотность f, то мы будем также писать u = f* ф.
Отметим, что порядок компонент в свертке существен: сим-
символ ф^-F, вообще говоря, смысла не имеет. С другой стороны,
интеграл в формуле D.2) имеет смысл для любых интегрируе-
интегрируемых функций / и ф (даже если f может принимать значения раз-
разных знаков) и символ * используется в этом обобщенном
смысле. Ограниченность функции ф была предположена, ко-
конечно, лишь ради простоты и вовсе не является необходимой.
Примеры, а) Если F— равномерное распределение на 0,а, то
(s)ds. D.3)
a
x-a
Ясно, что в этом случае функция и непрерывна; если предполо-
предположить еще, что функция ф непрерывна, то и будет обладать не-

§ 4. Свертки 181
прерывной производной и т. д. Вообще говоря, и ведет себя
лучше, чем ф, так что свертка является сглаживающим опера-
оператором.
б) Формулы свертки для экспоненциальных и равномерных
распределений [гл. I, C.6) и гл. I, (9.1)] являются частными слу-
случаями общей формулы. Примеры сверток распределений в Si2
имеются в задачах 14—16 гл. III, см. также гл. III, A.22). >
Теорема 1. Если функция ср ограничена и непрерывна, то
свертка u — F*(f тоже ограничена и непрерывна. Если ср — ве-
вероятностное распределение, то и тоже является вероятностным
распределением.
Доказательство. Если ср — ограниченная непрерывная
функция, то ф(х + Л — у)^> (f(x—у) нри Я->0, и поэтому, со-
согласно принципу мажорированной сходимости, u(x + h) -> и(х).
Если ф является функцией распределения, то сказанное выше
остается верным при стремлении h к нулю справа. Таким обра-
образом, функция и в этом случае непрерывна справа и, поскольку
она монотонно меняется от 0 до 1, она действительно является
функцией распределения. >
Следующая теорема дает вероятностную интерпретацию
свертки F-x-y, когда ф есть функция распределения.
Теорема 2. Пусть X и Y — независимые случайные вели-
величины с распределениями F и G. Тогда
оо
\ (t — x)F{dx]. D.4)
Доказательство1). Возьмем е>0 и обозначим через /„
интервал пе<.х^С(п + 1)е, я = 0, ±1,... . Появление при некото-
некотором п события {X€/n-i, Y^/ — tie} влечет появление события
{X + Y<i}. Следовательно, поскольку события {Х€/„_ь Y<i — ne}
взаимно исключают друг друга и случайные величины X, Y не-
независимы, имеем
<^}> 2 G{t-m)F {/„_,}. D.5)
Справа в этой формуле стоит интеграл от ступенчатой функ-
функции Ge, которая на /n-i равна G(t — ne). Поскольку Ge(y)>-
') Формула D.4) представляет собой частный случай теоремы Фубини
[гл. IV, B.11)], и доказательство ее приводится здесь лишь ради иллюстра-
иллюстрации. Утверждение, обратное теореме 2, неверно: мы видели в гл. II, D, д) и
в примере 1 из гл. III, 9, что в исключительных случаях формула D.4) мо-
может иметь место и для пары зависимых случайных величин X и Y.

182 Гл. V. Вероятностные распределения в S$r
>G(t- г- у), то
оо
P{X + Y</)< J G(t — e — x)F{dx). D.6)
— со
Аналогичное рассуждение приводит к противоположному нера-
неравенству с е, замененным на — е. Устремляя е к нулю, полу-
получаем D.4). >
Пример, в) Пусть распределение F и G сосредоточены на
множестве целых неотрицательных чисел 0, 1, 2, ..., причем со-
соответствующие им массы точки k равны рк и qk. В этом случае
интеграл в формуле D.4) сводится к сумме ^G(t — k)ph. Функ-
Функция, представляемая этой суммой, обращается в нуль при ^<0 и
постоянна на каждом интервале n — l<t<n. Скачок ее при ( = п
равен
п
^Яп-ьРк^ЧпРо + Яп-хРхЛ- ••• -т-?оЛп D.7)
что согласуется с формулой свертки [1, гл. XI, B.1)] для не-
неотрицательных целочисленных случайных величин. >¦
Обе предыдущие теоремы показывают, что свертка двух
функций распределения F* G снова приводит к функции рас-
распределения U. Из коммутативности сложения X + Y вытекает,
что F -х- G = G* F. При совершенной системе обозначений воз-
возможно был бы введен новый символ для свертки функций рас-
распределения, однако это вряд ли было бы полезным '). Конечно,
U следует рассматривать как функцию интервалов или меру:
') Иными словами, символ А* В используется, когда интегрирование про-
происходит по мере А. Свертка А-ХВ является функцией точки или мерой в соот-
соответствии с тем, является ли В функцией точки [как в D.1)] или мерой [как
в D.6)]. Звездочка * используется для операции между двумя функциями,
когда интегрирование происходит по лебеговой мере. Мы применяем этот тип
свертки почти исключительно к вероятностным плотностям.
Можно дать более общее определение свертки двух функций, положив
оо
f*g(x)= f f(x—y)g(U)m{dy},
где m — произвольная мера. Суммы вида D.7) представляют собой частный
случай этой формулы, а именно, когда m сосредоточена на множестве неотри-
неотрицательных целых чисел и каждому такому числу сопоставлена единичная
масса. В этом смысле наше теперешнее использование звездочки * согласует-
согласуется с ее использованием для сверток последовательностей в 1, гл. XI, 2.

§ 4. Свертки 183
для любого интервала / = а, Ь имеем, очевидно,
СО
U{/}= JG{/-y)F{dy}, D.8)
где, как обычно, 1 — у обозначает интервал а — у, Ь — у. (Эта фор-
формула автоматически переносится на произвольные множества.)
В силу коммутативности F и G в формуле D 8) можно поменять
местами.
Рассмотрим теперь три распределения Fu F2, F3. Из ассо-
ассоциативности сложения случайных величин следует, что
(Z7, * F2)*F^ = ^1 *(^2 * ^з)- Следовательно, при обозначении
свертки трех распределений можно не пользоваться скобками и
писать просто F1^ F2* Fv Резюмируем сказанное выше в сле-
следующих теоремах.
Теорема 3. В классе распределений операция свертки
коммутативна и ассоциативна.
Теорема 4. Если распределение G непрерывно (т. е. не
имеет атомов), то свертка U = F*G тоже непрерывна. Если G
имеет обычную плотность ф, то U имеет обычную плотность и,
задаваемую формулой D.1).
(В силу симметрии F и G можно поменять ролями.)
Доказательство. Первое утверждение содержится в тео-
теореме 1. Если ф есть плотность распределения G, то, интегрируя
D.1) по интервалу /, справа получим правую часть D.8), так
что и действительно является плотностью распределения U,
определяемого формулой D.8) '). >
Суммы Sn = Xi + ... + Xn взаимно независимых случайных ве-
величин с общей функцией распределения F встречаются очень
часто, и поэтому для их распределения удобно ввести специаль-
специальное обозначение. Распределение суммы Sn есть п-кратная сверт-
свертка распределения F с собой и обозначается Fn*. Имеем, таким
образом
F^==F, FilHl)* = Fn%F. D.9)
Сумму без слагаемых условно считают равной нулю. В соответ-
соответствии с этим мы определим F0* как атомическое распределение,
сосредоточенное в нуле. Тогда D.9) будет выполняться и при
п = 0.
') Из критерия C.7) непосредственно вытекает, что из абсолютной не-
непрерывности G по отношению к мере V следует и абсолютная непрерыв-
непрерывность U по отношению к V. Более того, для U критерий выполняется с тем
Же самым 6.

184 Гл. V. Вероятностные распределения в
Если F имеет плотность /, то Fn* имеет плотность
f*f* ... *f (п раз), которую мы обозначим f"*. Эти обозначе-
обозначения согласуются с обозначениями, введенными в гл. I, 2.
Приведем в заключение две леммы1), которые будут ис-
использоваться главным образом в теории восстановления и тео-
теории случайных блужданий.
Лемма 1. Если а и b — точка роста распределений F и G,
то а + b есть точка роста свертки F*G. Если а и b — атомы F
и G, то а + b есть атом F-x-G и каждый атом F x G может быть
так получек.
Доказательство. Для независимых X и Y имеем
P{|X + Y —а —й|<е}>р||Х —aj<-i
Если а и b суть точки роста, то правая часть этого неравенства
положительна при любом е>0, и поэтому а + b тоже является
точкой роста F * G.
Обозначим F,, и Gn атомические компоненты F и G в жорда-
новом разложении B.5). Очевидно, атомическая компонента
композиции FxG равна Fn*Ga, и поэтому все атомы F*O
имеют вид а + b, где а и b суть атомы F и G соответственно. Ь-
Внутренняя простота следующей леммы немало теряет из-за
той специальной роли, которую играют в ней, с одной стороны,
арифметические распределения, а с другой, — распределения
положительных случайных величин.
Лемма 2. Пусть F — распределение в -W и 2 — множество,
образованное точками роста распределение F, F2*, Z73*, ... .
а) Предположим, что F не сосредоточено на полуоси. Тогда
если F не является арифметическим распределением, то 21 плот-
плотно в —со, сю, а если F — арифметическое распределение с ша-
шагом X, то 2 = {О, ±Х, ±2Х, ...}.
б) Пусть F сосредоточено на 0, со, но не сосредоточено
в нуле. Если F не является арифметическим распределением,
то 2 «асимптотически плотно на оо» в том смысле, что для лю-
любого заданного е>0 при всех достаточно больших х интервал
х, х + е содержит точки из 2. Если F — арифметическое распре-
распределение с шагом X, то 2 содержит все точки вида пХ при доста-
достаточно больших п.
Доказательство. Пусть а и b — две точки множества 2,
такие, что 0<а<й. Из леммы 1 вытекает, что множество 2 со-
') Оставшуюся часть этого параграфа можно пропустить при первом
чтении.

§ 4. Свертки 185
держит все точки вида ma + nb, где гп, п = 0, 1, ... . Точки та,
(т—\)а + Ь, ..., mb (всего их т+\) расположены на одинако-
одинаковом расстоянии друг от друга, равном Ъ— а. Ясно, что если
mb>(m+l)a, то каждый подинтервал интервала та,(т+\)а
длины р>й — а содержит точку множества 2. Иными словами,
если 2 содержит пару точек а>0, Ь>0, отстоящих друг от друга
на расстояние, меньшее р, то при достаточно больших х каждый
интервал х, х + д содержит точку из 2. В соответствии с этим
либо 2 асимптотически плотно на оо, либо точки I, принадле-
принадлежащие 0, оо, образуют простую последовательность а\<,а.2-С ...,
такую, что ап+\ — ап --> 6>0. Но если некоторая точка а принад-
принадлежит 2, то все точки а„ + а принадлежат 2, и поэтому а есть
целое кратное б (положительное или отрицательное). Следова-
Следовательно, 2 содержится в множестве точек 0, ±6, ±26, . . ., так
что F является арифметическим распределением с шагом X = kb,
где k — некоторое целое число. Но тогда 2 автоматически содер-
содержится в множестве точек О, ±Х, ±2Х, ... и поэтому б = л. Из
сказанного вытекает теперь, что 2 содержит все точки пХ при
достаточно больших п. Тем самым пункт (б) теоремы доказан.
Если 2 содержит как положительные, так и отрицательные
точки, то приведенное рассуждение применимо также к левой
полуоси, и поэтому в случае неарифметического распределе-
распределения F множество 2 асимптотически плотно и на —оо и на +оо.
Далее если а и b — точки из 2, лежащие соответственно в
е-окрестностях точек x~\--^t и х к-t, то а + b лежит в 2е
окрестности t, так что каждая окрестность любой точки / содер-
содержит точки из 2. В случае арифметического распределения F
аналогичное рассуждение ноказывает, что все целые кратные X
принадлежат 2 и теорема доказана. >¦
Один частный случай этой теоремы представляет особый
интерес. Каждое число х>0 можно представить единственным
образом в виде x = m + \, где т — целое и 0-^g<l. Число | в
этом представлении называется дробной долей х. Рассмотрим
теперь распределение, сосредоточенное в двух точках —1 и
сс>0. Соответствующее множество 2, включая в себя все точки
вида па — т]), содержит дробные доли всех чисел а, 2а,... .
Если а = р/д, где р и q — взаимно простые натуральные числа, то
F — арифметическое распределение с шагом l/q. Мы приходим,
таким образом, к следующему результату (в гл. VIII, 6 будет
доказана теорема о равномерном распределении, уточняющая
этот результат).
') Множество S здесь в точности совпадает с множеством точек па —т.
т, п=0,1, ... . — Прим перев.

186 Гл. V. Вероятностные распределения в 3?г
Следствие. Для любого иррационального а>0 дробные
доли чисел а, 2а, За, . . . образуют множество, плотное в О, 1.
(Если а=р/д, то множество дробных долей чисел а, 2а, За,...
состоит из чисел 0, l/q, . . . , (q — l)/q.) >
Следующие примеры показывают, что свертка двух сингулярных рас-
распределений может иметь непрерывную плотность. Из этих примеров видно
также, что можно эффективно вычислять свертки, не используя опреде-
определяющею их формулу.
Примеры, г) Равномерное распределение на 0,1 является сверткой двух
сингулярных распределений канторовского типа. В самом деле, пусть
Xi, Хг, ... — взаимно независимые случайные величины, принимающие значе-
значения 0 и 1 с вероятностью у В примере A1, в) гл. I мы видели, что случай-
случайная величина X = 22~ftXft имеет равномерное распределение. Обозначим сумму
членов ряда с четными и нечетными номерами через U и V соответственно.
Очевидно, L и V независимы и X=U + V. Следовательно, равномерное рас-
распределение есть композиция распределений величин U и V. Ясно далее, что
величины L и 2V имеют одинаковые распределения, а величина V лишь
обозначением отличается от величины vV примера A1, г) гл. I. Иными сло-
о
вами, распределения величин U и V лишь масштабными множителями отли-
отличаются от рассмотренного в этом примере канторовского распределения.
д) Случайное блуждание в Ш2. Распределение единичного вектора со
случайным направлением (см. гл. I, 10) сосредоточено на единичной окруж-
окружности и, следовательно, сингулярно относительно лебеговой меры на пло-
плоскости. Тем не менее длина L суммы двух таких независимых векторов
2 1
имеет распределение с плотностью •== , сосредоточенное на 0,2.
я У 4 — г2
2 sin -=¦ (Я
где
В самом деле, по закону косинусов L = У2 — 2 cos га =
Л — ш — угол между двумя векторами. Так как ш имеет равномерное распре-
распределение на 0,2я, то
1
P{L<r} =
2 sin
< г \ = ~ arc sin -i r, 0<r<2, D.10)
что и требовалось доказать. >
§ 5. Симметризация
Пусть X — случайная величина с распределением F. Распре-
деление случайной величины —X мы будем обозначать ~F.
В точках непрерывности имеем
-F{x) = \-F{x), E.1)
и это соотношение однозначно определяет ~F. Распределение F
называется симметричным, если ~F = F. [В случае когда суще-
существует плотность f, симметричность означает, что /(—x)—f(x).]

§ 5. Симметризация 187
Пусть Xi, X2 — независимые случайные величины с одним и
тем же распределением F. Случайная величина Xj — X2 имеет
симметричное распределение °F, равное
op^Fx-F. E.2)
Из свойства симметрии F°(x) = l—°F(x—) непосредственно сле-
следует, что
оо
°F(x)= $F{x + y)F[dy}. E.3)
— со
О распределении °F говорят, что оно получено в результате сим-
симметризации F.
Примеры, а) Симметризация показательного распределения
приводит к двустороннему показательному распределению
[гл. II, 4(а)]; результатом симметризации равномерного на 0, 1
распределения является треугольное распределение т2 (см.
гл. II, D.1).
б) Симметричное распределение, имеющее атомы массы -g-
в точках ±1, не является результатом симметризации никакого
распределения.
в) Пусть F — атомическое распределение, наделяющее точки
О, 1, ... массами р0, ри ... . Тогда симметризованное распреде-
распределение °F тоже является атомическим, имеющим в точках ±и
массу <7„, где
ОО
Я а = ЪРкРк + п> «>0, E.4)
_n = qn. В частности, для пуасооновского распределения F при
^ имеем
*-о
где 1п — функция Бесссля, определенная в гл. II, G.1) (см. за-
задачу 9). >
Применение симметризации позволяет значительно упростить
многие рассуждения. В связи с этим весьма важным является то
обстоятельство, что хвосты распределений F и °F имеют сравни-
сравнимую величину. Более точно это выражено в нижеследующих не-
неравенствах. Смысл этих неравенств представляется более ясным,

188 Гл. V. Вероятностные распределения в Шг
когда они выражены в терминах случайных величин, а не в тер-
терминах самих функций распределения.
Лемма 1. Неравенства симметризации. Если Хь Х2—неза-
Х2—независимые и одинаково распределенные случайные величины, то
при ^>0
|^} E.6)
Если а > 0 таково, что Р {Xt > а] < 1 —р и Р {Х; < —а}<
< 1 — р, то
Р {| X! - Х21 > t) > рР {| Xt | > t + а}. E.7)
В частности, когда медиана X; равна нулю, имеем
Р{|Х1-Х2!>^>^Р(|Х1|>^}. E.8)
Доказательство. Неравенство E.6) является следствием
того очевидного обстоятельства, что событие |Xt — X2| >t осуще-
осуществляется лишь тогда, когда осуществляется хотя бы одно из со-
событий | Xj | > -g-^. |Х2|>к-^. Для доказательства E.7) доста-
достаточно заметить, что каждое из непересекающихся событий Х4>
>^+а, Х2^Са и Xt< — t — а, Х2^—а влечет событие | Xi — Хг!^
>t. ¦ ' >
Симметризация часто используется при оценке сумм незави-
независимых случайных величин. В этой связи особенно полезно сле-
следующее неравенство.
Л е м м а 2. Если Хь . . . , Х„ — независимые случайные величи-
величины с симметрическими распределениями, то сумма Srt = Xi+ ...
... +Х„ тоже имеет симметрическое распределение и
[| ^ y/}. E.9)
Если X,- имеют одинаковое распределение F, то во всех точ-
точках непрерывности
Р (max |Ху К <} =(/=¦(/)-/=¦(—0 )"<е-я|1-/?(')+/'(-')| E.10)
и, следовательно, согласно E.9), при всех ^>0
Р{|Х!+ ... 4-Х„|><}>1A -в-яЦ-^(«+/'(-О1). E.U)
Доказательство. Пусть М—-случайная величина, рав-
иая первой из величин среди случайных величин Хь..., Х„,
имеющих наибольшее значение по абсолютной величине. Поло-

§ 6. Интегрирование по частям 189
жим T = S — М. Двумерная случайная величина (М, Т) имеет
симметричное распределение в том смысле, что все четыре слу-
случайные величины (±М, ±Т) имеют одинаковое распределение.
Имеем, очевидно,
Р{М>/}<Р{М>^, Т>0}+Р{М>^, Т<0}. E.12)
Слагаемые справа в E.12) равны по величине, и поэтому
Р {S > t) = Р {М + Т > t\ > Р {М > t, Т >0} > I Р {М > t].
E.13)
что равносильно E.9). !>
§ 6. Интегрирование по частям. Существование моментов
Известную формулу интегрирования по частям можно при-
применять также к интегралам по распределениям в $х. Если
функция и ограничена и имеет непрерывную производную и', то
*+ ь
J u{x)F{dx} = u(b)F(b) — u(a)F{a) — J и'{x)F{x)dx. F.1)
а а
В самом деле, рассмотрим разность между двумя сторонами
(пока еще не доказанного) равенства F.1) как функцию от
верхнего предела t и обозначим ее ф@- Производя элементар-
элементарную выкладку, получаем, что при /г>0
t-Чг
J u'(x)[F(t) — F(x)]dx. F.2)
Используя F.2), покажем, что ф(/ + А) —ф(/)=о(Л) при h-*0.
Пусть \и'\<пг в окрестности точки t. Тогда \u(t+h) —u(t)\^C
Cm/г и, следовательно, первый интеграл в F.2) есть о(h). Вто-
Второй интеграл в F.2) тоже есть о (А), поскольку F(t) — F(x)—»0
при А—»0. Аналогичное рассуждение применимо при А<0, и по-
поэтому функция ф в точке / имеет производную, равную нулю.
Так как t произвольно, то тем самым доказано, что разность ме-
между левой и правой частями F.1) не зависит от верхнего преде-
предела и, стало быть, равна нулю.
В качестве приложения выведем одну часто используемую
формулу [обобщающую 1, гл. XI, A.8)].

190 Гл. V. Вероятностные распределения в
Лемма 1. Для любого а>0
оо оо
J xaF{dx}=a J Xй'1 [1 — F{x)}dx, F.3)
о о
причем из сходимости одного из этих интегралов следует сходи-
сходимость другого.
Доказательство. Поскольку интегрирование в F.3) про-
происходит по бесконечному интервалу, мы не можем применять
F.1) непосредственно, однако после тривиальных преобразова-
преобразований при 6<оо из F.1) следует, что
Ь\ Ь
J xaF{dx}=~ba\\—F{b)]+a^xa-l\\-F{x)\dx. F.4)
о о
Предположим сначала, что интеграл слева сходится при Ь—*оо.
Вклад в предельный интеграл по бесконечному промежутку
от интегрирования по Ь, оо не меньше ba[l — F{b)], так что пер-
вое слагаемое в правой части F.4) стремится к нулю. Переходя
теперь в F.4) к пределу при Ь~>оо, получаем F.3). С другой
стороны, в F.4) интеграл слева не превосходит интеграла спра-
справа и, следовательно, из сходимости правого интеграла вытекает
сходимость левого, что, как мы видели выше, приводит к F.3). >
Для левой полуоси имеет место соотношение, аналогичное
F.3). Комбинируя обе формулы, получаем следующий результат.
Лемма 2. Распределение F обладает абсолютным моментом
порядка а>0 тогда и только тогда, когда функция |*la-'[l—-
— F(x)+F(—х)] интегрируема на —оо, оо.
В качестве приложения покажем, что имеет место
Лемма 3. Пусть X, Y — независимые случайные величины, и
S = X + Y. Тогда E(|S|a) существует тогда и только тогда, когда
существуют Е((Х|а) и E(|Yja).
Доказательство. Поскольку случайные величины X н
X — с обладают абсолютными моментами одних и тех же по-
порядков, то, не ограничивая общности, можно предположить, что
медианы величин X и Y равны нулю. Но тогда P{|S\>t}^-
> >/2P{|Xj>/}, и поэтому в силу предыдущей леммы E(|S|a)<
<оо влечет Е(|Х|а)<оо. Тем самым доказана необходимость.
Достаточность следует из неравенства |Sla<2a(lX|a+ |Y|a),
справедливость которого вытекает из того очевидного факта, что
во всех точках |S| не превосходит наибольшего из чисел 2|Х|'
2YS

§ 7. Неравенство Чебышева 191
§ 7. Неравенство Чебышева
Неравенство Чебышева является одним из наиболее часто
используемых инструментов теории вероятностей. Как само не-
неравенство, так и его доказательство не отличаются от их ди-
дискретного варианта A, гл. IX, 6) и повторяются здесь глав-
главным образом для удобства ссылок. Интересные приложения не-
неравенства будут даны в гл. VII, 1.
Неравенство Чебышева. Если существует Е(Х2), то
Р{|Х!>0<-^Е(Х2), ^>0. G.1)
В частности, если Е(Х) = /и и Var(X) = a2, то
Р(|Х-/я|>;}<-^о2. G.2)
Доказательство. Обозначим распределение величины X
через F. Тогда
Е(Х2)> J x2F{dx}~>P J F{dx).
\x\>t \x\>t
Поделив эти неравенства на t2, получаем G.1). >
Полезность неравенства Чебышева определяется не его точностью (она
невелика), а простотой, и тем, что оно особенно удобно в применении к сум-
суммам случайных величин. Среди многих возможных обобщений неравенства
Чебышева ни одно не обладает этими ценными его качествами. (Большинство
из обобщений весьма просты и их лучше выводить по мере надобности.
Например, полезная комбинация неравенства Чебышева и урезания распреде-
распределений описана в гл. VII, 7.)
Приведем один довольно общий метод получения нетривиальных нера-
неравенств. Если м!>0 на всей прямой и и(х)>а>0 при всех х из некоторого
интервала /, то
/>{/}< «-'Е (и (X)). G.3)
С другой стороны, если «<^0 вне / и и < 1 на /, то мы получаем обратное
неравенство F{/}!> Е(ы(Х)). Беря в качестве и многочлены, приходим к не-
неравенствам, зависящим лишь от моментов F.
Примеры, а) Пусть и(х) = (х + сJ, где с>0. Тогда и(х) !>0 при всех х
и и(х) > (t + cJ при х > <>0. Следовательно,
P{X>t}< E((X + cJ). G.4)
При Е(Х)=О и Е(Х2)=а2 правая часть в G.4) достигает минимума, когда
c = G%lt, и мы получаем следующее общее неравенство:
P{X>*}<-^7T> *>°. G.5)
которое было обнаружено независимо многими авторами.
б) Пусть X — положительная случайная величина (т. е. F@)=0) и
Е(Х) = 1, Е(Х2)=6. Многочлен u(x\ = h'2(x — a) (a + 2h—x) положителен, лишь

192 Гл. V. Вероятностные распределения в Я '"
когда а<х<а + 2!г и и(х)^.1 при всех л:. Если 0<а<1, то, как легко видеть.
В(и(Х)) > [2/гA — а) — 6]/г2. Беря Л = йA—а)~' и используя замечание, пред-
предшествовавшее примерам, получаем
Р{Х>я}>A — йJ*'1. G.6)
в) Пусть Е(Х2) = 1 и Е(Х4)=Ж Применяя последнее неравенство к X2,
находим, что при 0<?<1
Р { 1 X I >t}^(\-t2f М~\- G.7)
По поводу обобщения, принадлежащего Колмогорову, см,
гл. VII, 8. »>
§ 8. Дальнейшие неравенства. Выпуклые функции
Собранные в этом параграфе неравенства широко исполь-
используются в математике и ни в коей мере не являются специфиче-
специфическими для теории вероятностей. Наиболее общее из них — не-
неравенство Шварца. Другие неравенства приведены по причине
их применений в теории случайных процессов и математической
статистике. (Настоящий параграф предназначается главным
образом не для чтения, а для ссылок.)
Неравенство Шварца
В вероятностной интерпретации это неравенство означает, что
для всяких двух случайных величин ф и ф, определенных на
одном и том же выборочном пространстве,
(Е(Фф)J<Е(ф2)Е (ф*), (8.1)
если только входящие в неравенство математические ожидания
существуют. Равенство в (8.1) осуществляется только тогда,
когда некоторая линейная комбинация aq> + b\p величин ср и г|з
равна нулю с вероятностью единица. Более общим образом, если
F— произвольная мера на множестве А, то
< \q?{x)F{dx) \^{x)F{dx), (8.2)
A A
каковы бы ни были функции ф и -ф, для которых интегралы
справа существуют. Беря в качестве F атомическую меру, наде-
наделяющую единичными массами целочисленные точки, получаем
неравенство Шварца для сумм
Bф*J<2ф^2ф?. (8.3)
Принимая во внимание важность неравенства (8.1), мы да-
дадим два его доказательства, намечающие различные обобщения.
Аналогичные доказательства можно дать для (8.2) и (8.3).

§ 8. Дальнейшие неравенства. Выпуклые функции 193
Первое доказательство. Можно предположить, что
E(i|J)>0. Тогда математическое ожидание
Е (Ф + Wf = Е (ф2) + 2*Е (<рЧ>) + fE (ф2) (8.4)
является квадратным многочленом по t Этот многочлен, будучи
неотрицательным, имеет либо два комплексных корня, либо
двойной действительный корень Я. Из формулы для решения ква-
квадратного уравнения следует, что в первом случае (8.1) выпол-
выполняется как строгое неравенство. Во втором случае (8.1) являет-
является равенством и Е(ф + ЛфJ = 0, так что ф + ?д|) = 0, за исключе-
исключением множества вероятности нуль.
Второе доказательство. Поскольку при замене функ-
функций ф и г]) в (8.1) на их кратные <2ф и Ь\р, где а, Ь — некоторые
числа, получается равносильное неравенство, то достаточно до-
доказать (8.1) в случае, когда Е (ф2) = Е (-ф2) = 1. Для получения
же (8.1) в этом случае достаточно взять математические ожида-
ожидания от обеих частей неравенства 21 флр 1 <1ф2 + ф2. >
Выпуклые функции. Неравенство Иенсена
Пусть и — функция, определенная на открытом интервале /,
и Р—(^, м(?)) —точка ее графика. Проходящая через Р пря-
прямая L называется опорной прямой функцией и в точке |, если
график и целиком лежит над или на L. (Это условие исключает
вертикальные прямые.) На аналитическом языке это означает,
что при всех х из I
и(х)>иA)+Цх — Ъ), (8.5)
где Я — тангенс угла наклона L. Функция и называется выпук-
выпуклой в интервале I, если в каждой точке х из I существует ее
опорная прямая. (Функция и называется вогнутой, если выпук*
ла функция —и.)
Покажем сначала, что из этого определения вытекают раз-
различные свойства выпуклых функций, которые интуитивно ассо-
ассоциируются нами с выпуклостью (исходя из примера выпуклых
ломаных линий).
Пусть X — случайная величина с распределением F, сосредо-
точенным на /, и с математическим ожиданием Е(Х). Положив
|=Е(Х) и взяв математическое ожидание от обеих частей нера-
неравенства (8.5), получим
Е(ы)>ы(Е(Х)), (8.6)
если только математическое ожидание слева существует. Нера-
Неравенство (8.6) известно как неравенство Иенсена.
Наиболее важным является тот случай, когда F сосредото-
сосредоточено в двух точках Xi и х2 и имеет в них массы 1 — t и t. При

194 Гл. V. Вероятностные распределения в
этом (8.6) принимает вид
u{{\ —t)Xl + tx2). (8.7)
Это неравенство допускает простую геометрическую интерпре-
интерпретацию, которую мы сформулируем в виде следующей теоремы.
Теорема 1. Функция и выпукла тогда и только тогда, когда
все хорды ее графика лежат не ниже самого графика.
Доказательство, i) Необходимость. Пусть и — выпуклая
функция, и рассмотрим хорду под произвольным интервалом
х1. х2. Как показано выше, при всех O-^-Cl выполняется нера-
неравенство (8.7). Когда t меняется от 0 до 1 точка A — t)xi + tx2
пробегает интервал Х\, х2, а левая часть (8.7) представляет со-
собой ординату хорды в точке A —t)xl + tx2. Таким образом, (8.7)
означает, что точки хорды лежат не ниже графика и.
и) Достаточность. Пусть и обладает указанным в формули-
формулировке теоремы свойством, и рассмотрим треугольник, образо-
образованный тремя точками Ри Р2-, Рз на графике и с абсциссами
х^<х2<х3. Точка Р2 лежит ниже хорды PiP3> и из трех сторон
треугольника хорда Р\Р2 имеет наименьший наклон, а хорда
Р2Рз — наибольший. Следовательно, вне интервала х2, х$ график
и лежит над прямой Р2Рз- Будем считать теперь, что Хз — пере-
переменная точка и пусть х3 —»х2 + 0. Наклон хорды Р2Р3 при этом
монотонно убывает, оставаясь ограниченным снизу наклоном
хорды PiP2. Таким образом, прямые Р2РЛ стремятся к предель-
предельной прямой L, проходящей через Р2. Поскольку вне х2х3 гра-
график и лежит над прямой Р2Рз, то весь график и лежит не
ниже L. Следовательно, L является опорной прямой для и в точ-
точке х2 и, поскольку точка х2 произвольна, выпуклость и тем са-
самым доказана. V
Как предел хорд, прямая L является правой касательной.
В рассмотренном предельном процессе абсцисса х3 точки Рз
стремится к х2, а сама точка Р3—к некоторой точке на пря-
прямой L. Следовательно, Ря—>-Р2. Аналогичное рассуждение при-
применимо при приближении к х2 слева, и поэтому график и не-
непрерывен и обладает правой и левой касательной в каждой
точке. Далее эти касательные являются опорными прямыми, и
их наклоны меняются монотонно. Поскольку монотонная функ-
функция имеет не более счетного множества точек разрыва, то нами
доказана
Теорема 2. Выпуклая функция имеет правую и левую про-
производные в каждой точке. Эти производные являются монотон-

§ 8. Дальнейшие неравенства. Выпуклые функции 195
но не убывающими функциями, совпадающими друг с другом
всюду, за исключением, быть может, счетного множества точек.
Свойства выпуклых функций, указанные в теореме 2, являют-
являются также и достаточными для выпуклости. В частности, если и
обладает второй производной, то она выпукла тогда и только
тогда, когда «/г>0.
Обычно в качестве определения выпуклости функции берется
(8.7). При t = -o из (8-7) получаем
+Y«(*2). (8-8)
Геометрически (8.8) означает, что середина хорды лежит не
ниже соответствующей точки графика и. Если функция и ненре-
рывна, то отсюда вытекает, что график не может пересечь хорду
и, следовательно, и выпукла. Можно показать, что вообще лю-
любая бэровская функция*), обладающая свойством (8.8), вы-
выпукла.
Неравенства для моментов
Покажем, что для любой случайной величины X функция
«@=logE(jX|*), t>0, (8.9)
выпукла по t в каждом интервале, где она конечна. В самом
деле, согласно неравенству Шварца (8.1),
Е2(|Х,')<Е(|Х|«+Л)Е(!Х!'-Л), 0<h^Ct. (8.10)
если только математические ожидания существуют. Положив в
(8.10) xx = t -— h, x2 = t + h и прологарифмировав, видим, что функ-
функция и удовлетворяет условию (8.8) и поэтому выпукла.
Поскольку и@)^С0, то тангенс угла наклона t~lu(t) прямой,
соединяющей начало координат с точкой (t, u(t)), меняется
монотонно и, следовательно, (Е(\Х\г)I1*является неубывающей
функцией от
Неравенство Гёльдера
Пусть р>1, а~>\ и p~l + q~l = \. Тогда для неотрицательных
функций ф и г|) имеет место неравенство
IЧ (8.11)
если только математические ожидания существуют.
') Каждая функция и, удовлетворяющая условию (8.8), либо выпукла,
либо она колеблется на каждом интервале от —со до со. См. Харди Г. Г.,
Литтльвуд Дж. Е. и Полна Г., Неравенства, ИЛ, М., 1948, особенно
стр. 114.

196 Гл. V. Вероятностные распределения я •%'
(Неравенство (8.1) является частным случаем этого нера-
неравенства, получающимся из него при р = <7='/2- Для неравенств
(8.2) и (8.3) имеются обобщения, аналогичные (8.11).)
Доказательство. При х>0 функция u = \ogx вогнута,
т. е. она удовлетворяет неравенству, обратному (8.7). Потенци-
Потенцируя это неравенство, приходим к соотношению
справедливому при л:ьх2>0. Как при доказательстве неравен-
неравенства Шварца (второе доказательство), чтобы установить (8.11),
достаточно ограничиться случаем, когда Е(фР) = Е(я|з<?) = 1. По-
Положим t = q~l и 1—t = p'x. Подставив в (8.12) Xi = cpP, Х2 = г|з9 и
взяв математические ожидания, получаем Е(<рг|))-^1, что и тре-
требовалось доказать. >
Неравенство Колмогорова
Неравенство Колмогорова рассматривалось в 1, IX, 7, и
данное там его доказательство переносится без изменений на
случай произвольных распределений. Усиленный вариант этого
неравенства (для мартингалов) приводится в гл. VII, 8.
§ 9. Простые условные распределения. Смеси
В гл. 111,2 мы определили «условную плотность случайной
величины Y при фиксированном значении другой случайной ве-
величины X» в том случае, когда совместное распределение X и Y
имеет непрерывную плотность. Не претендуя на общность, мы
введем теперь аналогичное понятие для более широкого класса
распределений. (Систематически теория условных распределе-
распределений и математических ожиданий развивается в § 10 и 10а.)
Для произвольной пары интервалов А, В на прямой поло-
положим
A,\?B}. (9.1)
При этом обозначении для частного распределения X имеем
11{А) = Я(АЛ1). (9.2)
Если ^{Л}>0, то условная вероятность события {Y?B} при усло-
условии {X ? А} равна
^(у. (9.3)
(Если |х{Л} = 0, то эта условная вероятность не определена.)
Воспользуемся формулой (9.3), когда А есть интервал Ah —
= x,x + h. Пусть h-*0 + . При выполнении соответствующих

§ 9 Простые условные распределения. Смеси 197
условий регулярности предел
существует для всех х и В. В этом случае по аналогии с гл. III, 2
мы обозначаем
q{x,B) = P{\?B\X=x} (9.5)
и называем q «условной вероятностью события {Y ? В} при усло-
условии \=х». Рассмотренная конструкция распространяет понятие
условных вероятностей на случаи, когда «гипотезы» имеют нуле-
нулевую вероятность. Никаких дальнейших трудностей не возникает,
если функция q достаточно регулярна, однако мы не будем за-
заниматься изучением соответствующих условий регулярности, по-
поскольку в следующем параграфе рассматривается более общая
схема. В частных случаях обычно оказывается достаточным про-
простой наивный подход, и вид условного распределения нередко
можно найти с помощью интуитивных рассуждений.
Пример, а) Пусть X и Y — независимые случайные величины
с распределениями F и G соответственно. Предположим для про-
простоты, что Х>0 [т. е. F@)=0]. Рассмотрим произведение Z =
= XY. Имеем, очевидно,
Pf ТГ <*^* У Дь v*\ ¦ (т I . I /Q f\\
1 ?j ~^^, ь- | л\. - .Л, t \J I ^~ I • \U*\Ji
Интегрируя (9.6) no F, получим функцию распределения U ве-
величины Z [см. гл. II, C.1). Это утверждение представляет собой
частный случай формулы (9.8), см. ниже]. В частности, когда
величина X распределена равномерно на интервале 0, 1, полу-
получаем
\[) (9.7)
о
Формула (9.7) может быть использована как удобная исходная
точка в теории одновершинных распределений1). >
') Функция распределения U называется одновершинной с модой в нуле,
если на интервале —оо, 0 она выпукла, а на интервале 0, со — вогнута [см.
(8,6)]. Нуль может быть точкой разрыва U, но вне нуля одновершинность
предполагает существование у U плотности и, которая монотонна в обоих
интервалах —оо, 0 и 0, со. (Интервалы постоянства не исключаются.)
Имеется хорошо известная характеризания одновершинных распределе-
распределений, принадлежащая А. Хинчину. Как заметил Л. Шепп, (9.7) представляет
собой упрощенный вариант формулы Хинчина, допускающий простую вероят-
вероятностную интерпретацию.
Теорема. Функция распределения U одновершинна тогда и только
тогда, когда ее можно представить в виде (9.7). Иными словами, U одно-

198 Гл. V. Вероятностные распределения в
Дальнейшие примеры содержатся в задачах 13—14. >
При выполнении соответствующих условий регулярности
функция q(x, В) при фиксированном х является вероятностным
распределением по В и при фиксированном В представляет со-
собой непрерывную функцию по х. При этом
Q(A, B)=jq{x, B)\i{dx]. (9.8)
В самом деле, стоящий справа интеграл задает вероятностное
распределение на плоскости, и, дифференцируя его по типу
(9.4), получаем q(x,B). Формула (9.8) показывает, как задан-
заданное распределение на плоскости можно представить в терминах
условного и частного распределений. Пользуясь терминологией
гл. II, 5, можно сказать, что формула (9.8) дает представле-
представление заданного распределения в виде смеси зависящего от
параметра х семейства распределений q(x,B) и распределе-
распределения ц, играющего роль распределения рандомизированного
параметра.
вершинна тогда и только тогда, когда она является функцией распределения
произведения Z = XY двух независимых случайных величин, из которых одна
величина, скажем X, распределена равномерно на 0, 1.
Доказательство. Возьмем /г>0 и обозначим Uh функцию распре-
распределения, график которой является кусочно-линейной функцией, совпадающей
с У в точках 0, ±h, ... [т. е. Uh(nh) = U(nh) и функция Uh линейна в интер-
интервалах nh, (n+\)h]. Из определения одновершинности непосредственно выте-
вытекает, что функция U одновершинна тогда и только тогда, когда одновер-
одновершинны функции Uh. Далее Uh имеет плотность «/,, являющуюся ступенчатой
функцией, и каждую ступенчатую функцию с разрывами в точках nh можно
записать в виде
где f(x) = l при 0<д:<1 и {(х) = 0 в остальных точках. Функция (*) монотон-
монотонна в интервалах — со, 0 и 0, " тогда и только тогда, когда р„ J>0 при
всех п, и является плотностью, если ?,рГ1 = \. Но когда рп ^>0 и 2р„ = 1 (*)
представляет собой плотность распределения произведения Zh = XYh — двух
независимых случайных величин X и Y/,, из которых X распределена равно-
равномерно на 0, 1, а У;, имеет арифметическое распределение P{Yh = nh} = pn. Мы
доказали, таким образом, что функция Uh одновершинна тогда и только
тогда, когда ее можно представить в виде (9 7) с функцией G, замененной
на функцию Gft, сосредоточенную в точках 0, ±А, ... Устремляя теперь h
к нулю и используя теорему о монотонной сходимости, получаем нужный
результат. (См. задачи 20—21 и задачу 8 из гл. XV, 9.)

§ 9. Простые условные распределения. Смеси 199
В практике описанный процесс нередко обращается. В каче-
качестве исходного берут «вероятностное {стохастическое) ядро» q,
т. е. функцию q(x,B) от точки х и множества В, такую, что при
фиксированном х она является вероятностным распределением,
а при фиксированном В — бэровской функцией. При любом за-
заданном вероятностном распределении ц интеграл в (9.8) опре-
определяет вероятности подмножеств плоскости вида (А, В) и тем
самым определяет некоторое вероятностное распределение на
плоскости. Обычно формулу (9.8) выражают в терминах функ-
функций точек. Рассмотрим семейство функций распределения
G(Q,y), зависящих от параметра 8, и некоторое вероятностное
распределение ц. Определим новую функцию распределения с
помощью следующей формулы:
со
U(y)= (G(x, y)v.{dx}. (9.9)
[Эта формула представляет собой частный случай формулы
(9.8); она получается из нее при А=—оо, оо и q(x,—оо, у) =
= G(x, у).] Смеси подобного рода встречались нам уже в 1,
гл. V и обсуждались в гл. II, 5. В следующем параграфе будет
показано, что q всегда можно интерпретировать как условное
распределение вероятностей.
Примеры, б) Для всяких двух распределений Ft и F2 рас-
распределение pFi+ A—p)F2{0<p<\) является их смесью и пред-
представляется формулой (9.9) с распределением \i, сосредоточен-
сосредоточенным в двух точках.
в) Случайные суммы. Пусть Хь Х2,.. . — независимые слу-
случайные величины с одинаковым распределением F. Пусть далее
N — независимая от Xj случайная величина, принимающая зна-
значения 0, 1,... с положительными вероятностями ро, Ри ¦ ¦ ¦ • Рас-
Рассмотрим случайную величину Sn =Xi+ ¦¦¦ +Xn. Условное рас-
распределение Sn при условии N = n есть Fn*, и поэтому распреде-
распределение Sn дается формулой
t/=L/w. (9.10)
представляющей собой частный случай (9.9). В рассматривае-
рассматриваемом случае каждое условие N = n имеет положительную вероят-
вероятность рп, и поэтому мы имеем здесь дело с условными вероят-
вероятностными распределениями в строгом смысле. Другие примеры
имеются в гл. 11,5—7. (См. задачи 16 и 19.)

200 Гл. V. Вероятностные распределения в
§ 10 *). Условные распределения
Вряд ли было бы разумным исследовать точные условия,
при которых условные вероятности q могут быть получены с по-
мощью процесса дифференцирования типа (9.4). Основные свой-
свойства условных вероятностей выражены в соотношении (9.8),
представляющем вероятности множеств в терминах условных
вероятностей, и проще всего использовать (9.8) в качестве опре-
определения условных вероятностей. Соотношение (9.8) не опреде-
ляет q однозначно, поскольку, если для каждого множества В
имеем q(x, B)—q(x, В) с точностью до множества ji-меры нуль,
то (9.8) по-прежнему остается справедливым при замене q на q.
Однако указанная неопределенность неизбежна. Например,
когда \л сосредоточено на интервале /, невозможно никакое есте-
естественное определение q для х, не лежащих в /. В силу самой
природы вещей мы имеем дело со всем классом эквивалентных
условных вероятностей и должны говорить скорее о каком-то, а
не об определенном условном распределении вероятностей q.
В конкретных же случаях требования регулярности диктуют
обычно некоторый определенный выбор условного распределе-
распределения вероятностей.
Для определенности мы будем рассматривать лишь события,
задаваемые условиями типа ХС А и Y?B, где X и Y — фиксиро-
фиксированные случайные величины и А, В — борелевские множества на
прямой. Посмотрим сначала, как можно понимать фразу «услов-
ная вероятность события {Yf В} относительно X». Значение X
может быть либо фиксированным числом, либо быть неопреде-
неопределенным. При второй из этих интерпретаций мы имеем функцию
от X, т. е. случайную величину, которую будем обозначать
Р{в 1X} или q(X,B) и т. д. Когда имеется в виду фиксированное
значение X, скажем х, будет использоваться обозначение
Р{\(- В\Х=х} или q(x,B).
Определение 1. Пусть В — фиксированное множество.
«Условной вероятностью события { Y ? В\ относительно X»
P{Yf B|X} называется функция q(X,B), такая, что для любого
подмножества А прямой
Р{Х?А Y?B}= jq{x, B)\.i[dx}, A0.1)
А
где (.1 — частное распределение X.
*) Этот параграф можно опустить при первом чтении.

§ 10. Условные распределения 201
Когда х является атомом распределения ц, условие Х = х
имеет положительную вероятность и условная вероятность
P{Y? В\Х=х} была в этом случае определена нами раньше фор-
формулой (9.3), в которой под А следует понимать множество, со-
состоящее из единственной точки х. При этом формула A0.1)
сводится к (9.3), так что наши прежние и настоящие определе-
определения и обозначения согласуются друг с другом.
Из теоремы Радона — Никодима (§ 3) вытекает, что услов-
условная вероятность P{Y?S|X} всегда существует. В самом деле,
рассмотрим вероятность
Р{Х€Л, Y?5}
при фиксированном В как функцию множества А. Эта функция
лишь нормировкой отличается от вероятностного распределения.
Она абсолютно непрерывна по отношению к ц, поскольку при
всех А вероятность Р{Х?Д Y?5} не превосходит ц{А}. Следо-
Следовательно, рассматриваемая функция множеств обладает плот-
плотностью q по отношению к ц, то есть имеет место A0.1).
До сих пор множество В было у нас фиксированным, но обо-
обозначение q(x,B) было выбрано с тем расчетом, чтобы впослед-
впоследствии сделать В переменным. Иными словами, мы хотим теперь
рассматривать q как функцию от двух переменных — точки х и
подмножества В прямой. При этом желательно, чтобы функ-
функция q была вероятностной мерой. Это означает, что q(x, $Л) = \
и что для любой последовательности непересекающихся множеств
Ви В2, . . . , в объединении дающих В, имеет место равенство
q(x, B)=2lq(x, Вк). A0.2)
Если стоящие справа члены представляют собой условные ве-1
роятности Bh, то их сумма является некоторой условной вероят»
ностью множества В, однако у нас имеется дополнительное тре-
бование согласованности, состоящее в том, чтобы A0.2) вы-
выполнялось при нашем выборе q при всех х. [Отметим, что опре-
определение 1 не исключает абсурдных значений функции q(x, В) в
некоторых точках х типа q(x, В) = \7.] Как нетрудно видеть,
функцию q(x,B), действительно можно выбрать так, чтобы
выполнялись все эти требования '). Это означает, что существует
') Проще всего построить такую функцию q, определяя непосредственно
значения q(x,B) лишь для множеств В, являющихся интервалами в диади-
ческом подразбиении З?1. П>сть, например, В, =0, "^, В2 = — со, 0. Возьмем
в качестве q(x,B\) любую условною вероятность В\, подчиненную очевид-
очевидному требованию Q^q(x, В[)<Л. Теперь автоматически следует положить
Я{х, В2) = \—q(x,Bi). Разобьем далее Bi на Вц и Bi3 и выберем q(x, Вп)

202 Гл. V. Вероятностные распределения в %т
условное распределение вероятностей Y относительно X в смыс-
смысле следующего определения.
Определение 2. Условным вероятностным распределе-
распределением Y относительно X называется функция q, зависящая от
двух переменных — точки х и множества В, такая, что
\) при фиксированном множестве В
<7(Х, S)=P{Y6B|X}, A0.3)
т. е. <?(Х, В) является условной вероятностью события {Y? В}
относительно X,
п) при каждом фиксированном х q есть вероятностное рас-
распределение.
В действительности условное вероятностное распределение
представляет собой семейство обычных вероятностных распре-
распределений, и поэтому вся теория переносится на них без измене-
изменений. Так, когда q задано 1), следующее определение вводит ско-
скорее новое обозначение, чем новое понятие.
Определение 3. Условное математическое ожидание
E(Y|X) есть функция от X, принимающая в точке х значение
со
E(Y|x)= \yq(x, dy). A0.4)
— оо
При этом предполагается, что интеграл сходится (за исключен
нием, возможно, х-множества нулевой вероятности).
Условное математическое ожидание E(Y|X) является функ-
функцией от X и, следовательно, представляет собой случайную ве-
величину. Для большей ясности значение его в фиксированной
точке х иногда предпочитают обозначать E(Y|X=x). Из опреде^
ления E(Y|X) непосредственно вытекает, что
со
E(Y)= JE(Y\x)ix{dx]. A0.5)
так, чтобы выполнялись неравенства 0^.q(x, Вц)<; q(x, BX). Положим
q(x, Bn) —Q(x, Bi)—q(x,Bu). Процесс этот продолжается далее аналогично
с бесконечным измельчением подразбиений. Требование аддитивности A0.2)
позволяет затем определить q (x, В) для всех открытых множеств В и, следо-
следовательно, для всех борелевских множеств.
Описанная конструкция основывается лишь на существовании так назы-
называемой сети, т. е. разбиении пространства на конечное число непересекаю-
непересекающихся множеств, каждое из которых в свою очередь разбивается на конеч-
конечное число непересекающихся множеств, причем процесс продолжается таким
образом, что каждая точка пространства является единственным пределом
стягивающейся последовательности мпожеств, входящих в последовательные
разбиения. Рассматриваемое утверждение имеет место, следовательно, в #2
и во многих других пространствах.
') Более гибкое общее определение приводится в § 10 а.

§ 10а. Условные математические ожидания 203
Многомерный случай.
Повторные математические ожидания
Введенное для простоты предположение одномерности слу-
случайной величины X не играло серьезной роли в предыдущих
рассмотрениях, и они сохраняют силу для векторной случайной
величины в <йп. При и = 2 мы получим условное математиче-
математическое ожидание E(Z|X, Y).
Условное математическое ожидание E(ZjX, Y) представляет
собой функцию от двух случайных величин X и Y, и мы можем
образовать ее условное математическое ожидание относительно
X, т. е. E(E(Z| X, Y) |Х). Естественно ожидать, что это повторное
математическое ожидание совпадает с E(Z|X). Из определения
A0.6) (см. ниже) непосредственно вытекает, что совпадение
действительно имеет место. Для частного случая, нормального
распределения эти формулы уже обсуждались в гл. III.
10 * а. Условные математические ожидания
Условные математические ожидания были определены нами
в терминах условных вероятностных распределений. Этот подход
вполпе удовлетворителен, когда имеют дело лишь с одной парой
случайных величин X, Y. В теории случайных процессов, однако,
приходится иметь дело с целыми семействами случайных вели-
величин, и неединственность условных распределений приводит там
к серьезным трудностям. Оказывается, что можно построить бо-
более гибкую теорию, определяя условные математические ожида-
ожидания независимо от условных распределений. Для понимания
этой теории лучше всего начать с более внимательного рассмот-
рассмотрения формулы A0.5).
Пусть А — борелевское множество на прямой и 1а(Х) —
случайная величина, равная 1 при Х?Л и нулю в остальных
случаях. Согласно A0.4),
E(YlA(X))= JE(Y\x)\i{dx}. (Ю.6)
А
Поскольку каждую ограниченную функцию v можно равно-
равномерно приблизить лилейными комбинациями индикаторов, то
применение соответствующего предельного перехода позволяет
вывести из A0.6) более общую формулу
E(Y.»(X)|X)=o(X)E(Y|X). A0.7)
*) Содержание этого пункта будет использоваться лишь в связи с мар-
мартингалами в гл. VI, 12 и гл. VII, 8.

204 Гл. V. Вероятностные распределения в #г
Грубо говоря, эта формула означает, что при известном X мно-
множитель v(X) ведет себя как постоянная и может быть вынесен
за знак интеграла.
Формула A0.6) заключает в себе все основные свойства ус-
условного математического ожидания. Исходя из нее как из опре-
определения, можно совсем отказаться от более сложного понятия
условного распределения. Можно пойти еще дальше и придать
понятию условного математического ожидания еще большую
гибкость, отказавшись даже от задающей условие случайной
величины X. В самом деле, величина X использовалась нами
главным образом для определения событий вида {Х6Л}, где
А—борелевское множество на прямой. Пока мы имеем дело
с парой случайных величин (X, Y), мы не теряем общности,
беря в качестве выборочного пространства плоскость и рассмат-
рассматривая X и Y как координатные переменные. Событие {а<Х<Ь}
представляет собой в этом случае бесконечную полосу, а {Х6 А}
есть множество, состоящее из прямых, параллельных оси игре-
игреков. Класс всех таких множеств в плоскости образует о-алгеб-
ру 23, содержащуюся в о-алгебре всех плоских борелевских мно-
множеств. Эта а-алгебра 23 является наименьшей а-алгеброй, содер-
содержащей все множества вида {Х-^а}, и называется а-алгеброй, по-
порожденной величиной X. (Данное определение применимо ко
всем случайным величинам.) Положим В = {Х?А}. Тогда произ-
произведение Y-1A(X) совпадает, очевидно, с произведением Y-1B.
Формула A0.6) означает теперь, что случайная величина 11 =
= E(Y|X) удовлетворяет соотношению
E(Y.1B)=E(U.1B) A0.8)
для любого множества В из а-алгебры, порожденной X.
До сих пор мы занимались лишь переформулировкой соот-
соотношения A0.6), которое было получено с помощью интегриро-
интегрирования по условному вероятностному распределению. Но соотно-
соотношение A0.8) имеет смысл в более общей ситуации, и мы можем
использовать его в качестве определения условного математи-
математического ожидания произвольной случайной величины Y относи-
относительно произвольной а-алгебры 23 множеств. Так определенное
условное математическое ожидание является случайной величи-
величиной и будет обозначаться E(Y|33). Схема нового подхода со-
состоит в следующем.
Пусть имеется произвольное вероятностное пространство с
а-алгеброй 31 и 23 — произвольная а-алгебра, содержащаяся
е 21. Пусть далее Y — случайная величина, имеющая математи-
математическое ожидание. Случайная величина U называется условным
математическим ожиданием Y относительно 23 и обозначается

§ 10а. Условные математические ожидания 205
U = E(Y|23), если она ^-измерима1) и удовлетворяет соотноше-
соотношению A0.8) при всех В 6 23.
Условие ©-измеримости заменяет собой прежнее требование,
чтобы U было функцией от X. Если 23 есть о-алгебра, порожден-
порожденная X, то новое определение согласуется с A0.6), однако даже
в этом случае у него есть то преимущество, что оно применимо
при любом вероятностном пространстве и нет необходимости
отображать вероятностное пространство в плоскость.
Примеры. Если 23 = 51, то можно взять U = Y. Если 23 содер»
жит лишь все пространство и пустое множество, то U = E(Y),
Когда величина Y 23-измерима, можно положить U = Y. >
Случайную величину U можно менять на любом множестве
23нулевой вероятности, и обозначение E(Y|23) обычно отно-
относится к некоторому произвольному, но фиксированному пред-
представителю класса всех условных математических ожиданий.
Существование условного математического ожидания дока-
доказывается совсем просто. Если Y — неотрицательная случайная
величина, то левая часть A0.8) определяет меру Ф(В) на 23,
для которой, очевидно, Ф(В)=0 всякий раз, когда Р{В} = 0.
Отсюда, согласно абстрактному варианту теоремы Радона — Ни-
кодима, вытекает, что мера Ф имеет плотность U, а соотношение
A0.8) именно это и означает. Случай произвольной случайной
величины Y сводится к только что рассмотренному с помощью
обычного представления Y в виде разности двух неотрицатель-
неотрицательных случайных величин.
Подобно тому как из A0.6) вытекало A0.7), из A0.8) полу-
получается следующая общая формула
E(YZ|23) = ZE(Y|23), A0.9)
для справедливости которой нужно лишь, чтобы величина Z
была 23-измерима и условные математические ожидания суще-
существовали. В частности, если Z 23-измерима, то E(Z|23)=Z.
Другим важным свойством условных математических ожи-
ожиданий является следующее. Если 23О есть а-алгебра, содержа-
содержащаяся в 23, и UO = E(Y|23O), то E(Y • 1В) =E(U • 1В) = E(U0 • 1В)
при всех 5€ 23О. Следовательно, согласно самому определению,
если 230с=23, то Е (Y 123О) = Е (Е (Y 123) 123О). Поскольку величина
Uo 23-измерима, то имеем также Е (Y | 23О) = Е (Е (Y | 23О) |»).
Главные свойства обычных математических ожиданий, такие,
как линейность и справедливость основных неравенств для них,
') Это означает, что множества {U<Co} принадлежат S3; см. гл. IV, 4.

206 Гл. V. Вероятностные распределения в
тривиальным образом распространяются на условные математи-
математические ожидания.
Основы общей теории условных распределений и математи-
математических ожиданий были заложены Колмогоровым. В дальнейшем
эта теория была усовершенствована Дубом, которому принад-
принадлежат последние определения.
§ 11. Задачи
1. Пусть X и Y — независимые случайные величины с функциями распре-
распределения F и G. Найти функции распределения следующих величин 'I
a) XUV, б) ХП Y, в) 2XUY, г) X3LJY.
2. Смеси. Пусть X, Y, Z — независимые случайные величины, X и Y
имеют распределения F и G и P{Z=l} = p, P{Z = Q} = q(p + q — 1). Найти функ-
функции распределения следующих величин: a) ZX+A—Z)Y, б) ZX+A—Z)(X(JY),
в) ZX+(l-Z)(XflY).
3. Показать, что для непрерывной функции распределения F
со 1
F
(x)F{dx] = J ydy = j,
— со
а) используя само определение первого интеграла (разбиение —оо.со на
подинтервалы), и б) интерпретируя первый интеграл, как E(F(X)), и поль-
пользуясь тем, что F(\) имеет равномерное распределение. Показать также, что
имеет место более общая формула
со
J F* (х) G{dx} = -~^ , где О (х) = F"(х).
— со
4. Двумерное распределение с заданными частными распределениями2).
Пусть F и G — функции распределения в*1 н
U(x,y)=F(x)G(y)[l+a(l-F(x))(l-G(y))l
где !а1<1. Доказать, что U есть функция распределения в 5?2 с частными
распределениями F и G и что U имеет плотность тогда и только тогда, когда
F и G имеют плотности.
Указание. Смешанные разности функции w(x,y)=u(x)v(y) [определенные
в A,12I имеют вид ДыДу.
5. Внутри единичного квадрата положим U(x,y)=x при х ^ у и
U(x,y)—y ПРИ *^>У- Показать, что U есть функция распределения и что
соответствующее ей распределение сосредоточено на биссектрисе (и, сле-
следовательно, сингулярно).
') Для двух чисел а и Ь a\Jb = max(a,b) обозначает наибольшее из них,
a a (\b = mm(a,b)—наименьшее. Для функций f\Jg обозначает функцию, ко-
которая в точке х принимает значение f(x)\Jg(x) (см. гл. IV, 1). Таким обра-
образом, X U Y и X П V являются случайными величинами.
2) Эта задача содержит новый пример ненормального распределения
с нормальными частными распределениями (см. задачи 2 и 3 в гл. III, 9),
принадлежащий Е. Дж. Гумбелу.

§ П. Задачи 207
6, Максимальное распределение Фреше с заданными частными распреде-
распределениями. Пусть F и G — функции распределения в St1 и U(x,y)=F(x) ftb(y).
Доказать, что a) U есть функция распределения с маргинальными распреде-
распределениями F и G, б) если V — произвольная функция распределения с марги-
маргинальными распределениями F и G, то V^U, в) распределение, отвечаю-
отвечающее U, сосредоточено на множестве {(х, у) : F(x—) U G(y—) < F(x) П О (у)}
и, следовательно, сингулярно. (Задача 5 является частным случаем этой за-
задачи.)
7. Пусть U — равномерное распределение на —h, 0 и Г — треугольное
распределение на —h,h [см. гл. II, 4 (в)]. Показать, что плотности распреде-
распределений F* U и F •# Т равны соответственно
Л
h~l [F (x + h) — F (х)] и /Г2 Г [F(x-\-y) — F (х — y)]dy.
8. Пусть F — атомическое распределение с массами рь р2, ... в точ-
точках а\, а2, .... Обозначим через р максимальное среди чисел рь р2
Используя лемму 1 § 4, показать, что
а) массы всех атомов распределения F*F строго меньше р, за исклю-
исключением того случая, когда F сосредоточено на конечном числе атомов одина-
одинаковой массы,
б) для симметризованного распределения Fo нуль является атомом с мас-
массой р' = 2 Pv' массы остальных атомов °F строго меньше р'.
9. Если случайные величины X и Y имеют пуассоновские распределения
с математическими ожиданиями а и 6, то
где /й —функция Бесселя, определенная в гл. II, G.1).
10. Каждому распределению F, для которого интеграл
<р (а) = f eaxF {dx}
существует при —а<а<о, сопоставим новое распределение F*' посредством
формулы cp(a)F# {dx] = eaxF{dx]. Пусть F, и F2 — два распределения, обла-
обладающие указанным выше свойством, и F=Fi*F2. Доказать, что (исполь-
(используются очевидные обозначения) ф(а) =cpi(a)cp2(a) и/7* = Ff * F$.
11. Пусть X и Y — случайные величины с плотностями fug, такими,,
что f(x)^g(x) при х<а и f{x)*Cg(x) при х>а. Доказать, что E(X)<E(Y).
Далее если f(x) =g(x) =0 при х<0, то E(X*)<E(V*) для всех k.
12. Пусть Хь Х2, ... — взаимно независимые случайные величины с оди-
одинаковой функцией распределения F. Пусть N — положительная случайная
величина, принимающая целые значения и имеющая производящую функ-
функцию P(s). Если N не зависит от Xj, то случайная величина max[Xi, ,.., XI
имеет распределение P(F).

208 Гл. V. Вероятностные распреде гения в
13. Пусть Х|, . .., Х„ — взаимно независимые случайные величины с не-
непрерывным распределением F. Положим Х = тах[Хь ... , Х„] и Y =
= min[X,, ..., Х„]. Тогда
Р{Х<х, Y>y}=(F(x)—F (у))" при у<х
{\X)[\
14. При каждом фиксированном &<^л(в обозначениях предыдущей за-
задачи)
( п—1 F(x) ,
г{х4<,|х = <> = |—ТёГ при x<t'
{ 1 при х>/.
Доказать это а) с помощью эвристического рассуждения, рассматривая со-
событие {Xft = X}, и б) формально, используя (9.4).
15. Продолжение. Доказать, что
16. Случайные суммы. В примере (9. в) случайную величину Хй положим
равной 1 и —1 с вероятностями р и q=\—p. Если N имеет пуассоновское
распределение с математическим ожиданием а, то
Р {SN = k) = e~* ]/(j-)" /, и | B« YTq\
где h —функция Бесселя, определенная в гл. II, G.1).
17. Смеси. Пусть распределение G в (9.9) имеет математическое ожида-
ожидание т(х) и дисперсию О2(х). Показать, что математическое ожидание и дис-
дисперсия смеси U равны
со со со
а- [ m(x)p,{dx}, 6= J o*(x)]x[dx}+ f (/я2 (х) — a2jyi (dx).
— со —со —со
18. Применяя очевидные обозначения, имеем E(E(Y | X)) = E(Y), но
Var(Y) = E(Var(Y| X))+Var(E(Y| X)).
Задача 17 является частным случаем этой задачи.
19. Случайные суммы. В обозначениях примера (9. в) E(SN) = E(N) E(X)
и Var(SN) = E(N)Var(X) + (E(X)JVar(N). Доказать эти соотношения не-
непосредственно и показать, что они вытекают из результатов двух предыду-
предыдущих задач.
Замечание. Следующие задачи относятся к композициям одновершинных
распределений, определенных в сноске на стр. 197. Была выдвинута гипотеза,
что композиция двух одновершинных распределений одновершинна. Противо-
Противоречащий этой гипотезе пример был построен К. Л. Чжуном. Задача 20 содер-
содержит другой такой пример. Задача 21 показывает, что гипотеза верна для
симметричных1) распределений (этот результат принадлежит А. Винтнеру).
') С трудностями, возникающими в несимметричном случае, можно по-
познакомиться в работе И. А. Ибрагимова, Теория вероятностей и ее примене-
применения, т. I A956), стр. 283—288.

§ 11. Задачи 209
20. Пусть и(х) = \ при 0<х<1 и и(х)=0 в остальных точках. Положим
е (х\ . 1 —е Iх
() \ Н
v(x) = —u\ Н;« г
где 0<а<&. Если е и а малы, a b велико, то плотность а одновершинна, но
плотность w = v * v не одновершинна.
Указание как избежать вычислений. В результате композиции двух
равномерных плотностей получается треугольная плотность. Следовательно,
w(a)>e2a~l, w(b)>e?b~l и интеграл от w в пределах от b до 26 больше
-у A—еJ. Отсюда вытекает, что плотность w должна иметь минимум между
а и Ь.
21. Пусть F — равномерное, a G — одновершинное распределения. С по-
помощью простого дифференцирования показать, что если F и G симметричны,
то композиция F^G одновершинна. Вывести отсюда (без дальнейших вы-
вычислений), что тот же результат получается, когда F есть произвольная смесь
симметричных равномерных распределений и что, следовательно, композиция
симметричных одновершинных распределений одновершинна.

ГЛАВА VI
НЕКОТОРЫЕ ВАЖНЫЕ РАСПРЕДЕЛЕНИЯ
И ПРОЦЕССЫ
Настоящая глава включена в книгу из-за прискорбной не-
необходимости избегать повторений и взаимных ссылок в главах,
предназначенных для независимого чтения. Например, теория
устойчивых распределений будет изложена независимо на ос-
основе полугрупповых методов (гл. IX), анализа Фурье (гл. XVII),
и, по крайней мере частично, на основе преобразований Лапла-
Лапласа (гл. XIII). Вынесение определений и примеров в отдельное
место дает некоторую экономию и делает возможным тщатель-
тщательное исследование некоторых основных соотношений, не стеснен-
стесненное чистотой используемых методов.
Разнообразные темы, которым посвящена настоящая глава,
не всегда логически связаны: теория очередей имеет мало об-
общего с мартингалами или с устойчивыми распределениями. Ма-
Материал главы не предназначен для последовательного чтения;
лучше читать тот или иной параграф по мере появления необхо-
необходимости. Параграфы 6—9 в известной степени связаны между
собой, но не зависят от остальной части главы.
§ 1. Устойчивые распределения в ffl
Устойчивые распределения играют все возрастающую роль
в качестве естественного обобщения нормального распределе-
распределения. Для их описания удобно ввести следующее сокращенное
обозначение: если распределения двух случайных величин U и V
совпадают, то мы будем писать
U=V. A.1)
d
В частности, соотношение U = aV + b означает, что распреде-
распределения величин U и V отличаются лишь параметрами располо-
расположения [см. определение 1 в гл. V, 2]. Всюду в этом параграфе
символы X, Xi, Хг, .. . обозначают взаимно независимые случай-
случайные величины с одним и тем же распределением Я, и Sra = Xi + . ..
... + Х„.
Определение 1. Распределение R называется устойчивым
(в широком смысле), если оно не сосредоточено в нуле и для

§ 1. Устойчивые распределения в #' 211
каждого п существуют постоянные сп > 0 и уп, такие, что1)
Sn=cnX + yn. A.2)
JR устойчиво в узком смысле (строго устойчиво), если оно удов-
удовлетворяет соотношению A.2) с Yn=O.
Примеры будут приведены в § 2. Весьма поучителен элемен-
элементарный вывод некоторых основных свойств устойчивых распре-
распределений, и мы дадим его здесь несмотря на то, что дальше бу-
будут даны другие доказательства этих свойств. Систематическое
изложение теории устойчивых распределений в гл. IX и XVII
не опирается на нижеследующий материал.
Теорема 1. Постоянные cn = nila являются единственно воз-
возможными нормирующими постоянными.
Вскоре мы увидим, что 0<а-^2. Постоянная а называется
характеристическим показателем распределения R.
Доказательство. Доказательство значительно упро-
упрощается при использовании симметризации. Если распределе-
распределение R устойчиво, то распределение °R величины Xi—Хг тоже
устойчиво, причем с теми же самыми нормирующими постоян-
постоянными сп. Достаточно, следовательно, ограничиться случаем сим-
симметричного устойчивого распределения R.
Заметим сначала, что Sm+n есть сумма независимых случай-
случайных величин Sm и Sm+n — Sm, распределения которых совпадают
соответственно с распределениями величин стХ и с„Х. Таким
образом, для симметричных устойчивых распределений имеем
ст+п\ = стХ, + спХ^. A.3)
Сумму Srh можно аналогичным образом разбить на г независи-
независимых частей по k членов в каждой, и поэтому crh = crch при всех г
и k. Отсюда по индукции заключаем, что
если n = rv, то cn = cvr. A-4)
Докажем теперь, что последовательность {с„} монотонна. По-
Поскольку случайные величины в A.3) симметричны, то при х>0
имеем
Р [ст+пХ > стх) >1р КХ, > стх) =4 Р {X, > х). A.5)
') Ниже будет показано, что можно дать следующее (на первый взгляд
более ограничительное) эквивалентное определение. Распределение R устой-
устойчиво тогда и только тогда, когда для любых постоянных С\, с2 существуют
Постоянные с и -у, такие, что с^ -х-СгХг — еХ -\-у.

212 Гл. VI. Некоторые важные распределения и процессы
По крайней мере при некотором фиксированном х правая часть
в A.5) является положительной постоянной, и поэтому отноше-
отношение ст/ст+п должно оставаться ограниченным при т —>¦ оо,
и—> оо. Применим этот результат, когда m — rv и т + п= (r+l)v,
где г фиксированно и v—*-oo. Используя A.4), видим, что отно-
отношение (cr/cr+i)v остается ограниченным при v->oo и, следова-
следовательно, Cr^Cr+t.
Рассмотрим теперь произвольную пару натуральных чисел
У, k. Каждому v отвечает единственное значение К, такое, что
J <k <J ¦ A.6)
Отсюда в силу монотонности последовательности {сг} и A.4)
имеем
с j -^ с\ < Cj . A.7)
Из A.6) и A.7) получаем
Я, log/ logcft Я + 1 log c^
Я, -\-1 log _/ log k Я. log _/ I • /
Так как Я можно сделать произвольно большим, то отношение
(log cft)/(log k) = 1/а не должно зависеть от k, и, следовательно,
Оказывается, что все устойчивые распределения имеют глад-
гладкие плотности, однако этот факт будет доказан лишь в
гл. XVIII, 6. Здесь нам придется довольствоваться следующим
результатом.
Лемма 1. Все устойчивые (в широком смысле) распреде-
распределения непрерывны.
Доказательство. Пусть устойчивое распределение R
имеет один или несколько атомов, и пусть р — максимальная
масса атомов. Атомы распределения R*R отличаются от ато-
атомов распределения R лишь расположением и имеют те же мас-
массы. Следовательно, распределение R*R имеет атом массы р
в противоречие с тем легко устанавливаемым фактом, что при
композиции максимальный вес атомов убывает (см. задачу 8
из гл. V, 11). >
Теорема 2. Если R — устойчивое в узком смысле распре-
распределение с характеристическим показателем а, то для любых
положительных s и t имеем
sl'aXx-\-tllaX2 = {s + t)VaX. A.9)
Доказательство. Для устойчивых в узком смысле рас-
распределений справедливо соотношение A.3). Отсюда следует,

§ 1. Устойчивые распределения в з?1 213'
поскольку с„ = «1/а, что A.9) выполняется при всех рациональ-
рациональных s и /. Переходя к пределу, убеждаемся в справедливости
A.9) и в общем случае. >
Для нормального распределения а = 2 и A.9) сводится прос-
просто к правилу сложения дисперсий. В общем случае из соотно-
соотношения A.9) вытекает, что все линейные комбинации aiXl + a2Xz_
принадлежат к одному и тому же типу.
Покажем теперь, что требование устойчивости в узком смыс-
смысле не так ограничительно, как это может показаться, поскольку
всякое устойчивое распределение с характеристическим показа-
показателем а,ф\ всегда можно сдвинуть так, чтобы оно стало устой-
устойчивым в узком смысле. Случай характеристического показателя
а=1 является весьма исключительным и особенно неприятным
потому, что он не представляет особого интереса 1).
Теорема 3. Для всякого устойчивого распределения R с
характеристическим показателем аф\ существует постоянная Ъ,
такая, что распределение R(x + b) строго устойчиво.
Доказательство/ Случайные величины Х* = Х^ — b
удовлетворяют соотношению A.2) с уп, замененным на
у'п — Ул + (сп — п)У- Следовательно, при аф\ можно выбрать Ь
так, чтобы у'2 = Ь. Отбросим теперь штрихи и предположим, что
Y2 = 0 и аф\, т. е. с2ф2. Заметим, что S2n можно рассматри-
рассматривать как сумму п независимых слагаемых, каждое из которых
распределено одинаково с Xi + X2, и как сумму двух независи-
независимых слагаемых, распределенных одинаково с Sn. Имеем, следо-
следовательно,
S (X+ +Х) Х +
п) + (с„Х2 + YB) =
Поэтому должно быть с2уп = ^Уп, так что Yn = 0- >
Та важная роль, которую играет нормальное распределе-
распределение Ш в теории вероятностей, в значительной мере основана на
центральной предельной теореме. Пусть Хь ..., Хп — взаимно
независимые случайные величины с общим распределением F,
нулевым математическим ожиданием и единичной дисперсией.
') Оказывается, что при а=1 соответствующие центрирующие постоян-
постоянные уп в A.2) имеют вид yn=yn\ogn. Аналогом A.9) является в этом слу-
случае соотношение
s (X,+Y logs)+f(X2 + y log*) =(s+O(X+Y log (s+0).

'214 Гл. VI. Некоторые важные распределения и процессы
Положим Sn = Xi+. . .Н-.ХП. Центральная предельная теорема
утверждает, что распределения случайных величин Snn~'li схо-
сходятся к ЭТ. Если распределения не имеют дисперсий, то чис-
числа я~'/з в качестве нормирующих постоянных неудовлетворитель-
неудовлетворительны, но при ином выборе нормирующих постоянных предел по-
прежнему может существовать. Весьма интересным является тот
факт, что в качестве таких пределов могут быть получены все
устойчивые законы и только устойчивые законы. Введем сле-
следующую терминологию, которая облегчит дальнейшее обсужде-
обсуждение рассматриваемого вопроса.
Определение 2. Скажем, что распределение F независи-
независимых случайных величин Х& принадлежит области притяжения
распределения R, если существуют нормирующие постоянные
а„>0, Ьп, такие, что распределение величины а7, (Sn — bn) схо-
сходится к R.
Приведенное выше утверждение можно теперь переформу-
переформулировать следующим образом: распределение R имеет область
притяжения тогда и только тогда, когда оно устойчиво. Дока-
Докажем это утверждение. Из определения устойчивости непосред-
непосредственно вытекает, что устойчивое распределение R принадлежит
своей области притяжения. Тот факт, что никакое неустойчивое
распределение не выступает в качестве предельного, можно обос-
обосновать с помощью рассуждения, использованного при доказа-
доказательстве теоремы 1. Нормируем суммы Sn с индексами n = rk
двумя способами, положив
Yn = ±(Sn-bn) и Zn=±(Sn-kbr). A.10)
Устремим далее n = rk к бесконечности, оставляя k фиксирован-
фиксированным. Согласно предположению распределения величин Yn схо-
сходятся к R. С другой стороны, Zn есть сумма k независимых слу-
случайных величин, каждая из которых распределена одинаково
с a7l(Sr — br). Распределение величин ajx (Sr — br) сходятся к R,
и поэтому интуитивно ясно, что распределения величин Zn долж-
должны сходиться к Rh*. Так как распределения величин Yn и Zn
отличаются лишь параметрами расположения, то же самое вер-
верно и для предельных распределений R и Rh*, что равносильно
устойчивости R (последние утверждения могут быть строго до-
доказаны на основе гл. VIII, 2 и теоремы 2 из гл. VIII, 3).
Применяя элементарные методы, можно показать (задача 3),
что устойчивое распределение с характеристическим показате-
показателем а имеет абсолютные моменты всех порядков <а. Поскольку
распределение с конечной дисперсией принадлежит области при-

$ 1. Устойчивые распределения в Xх 215
тяжения нормального закона, то отсюда следует, что характери-
характеристический показатель а не превосходит 2. Доказательство суще-
существования устойчивых распределений с характеристическими по-
показателями а<2 довольно сложно.
Полученные результаты имеют важные и неожиданные след-
следствия. Рассмотрим, например, устойчивое распределение, удов-
удовлетворяющее соотношению A.9) с а< 1. Среднее (X, + .. . + Хп)/п
имеет одинаковое распределение с величиной Xirt~I+1/a. Обратим
внимание на то, что множитель n~i+i/a стремится к бесконеч-
бесконечности с ростом п. Выражаясь нестрого, можно сказать, что сред-
среднее п величин \h оказывается значительно больше любого фик-
фиксированного слагаемого Xfi. Это возможно лишь тогда, когда
максимальный член Мп = тах[Хь . . . , Х„] растет исключительно'
быстро и играет основную роль в сумме Sn. Более детальный
анализ подтверждает это заключение. В случае положительных
случайных величин математическое ожидание отношения Sn/Mn
стремится к A —а)" и это верно также для любой последова-
последовательности {Х„} с распределением, принадлежащим области при-
притяжения рассматриваемого устойчивого закона (см. задачу 20
из гл. XIII, 11).
Исторические замечания. Основы общей теории устойчивых распределе-
распределений были заложены П. Леви '), который нашел преобразования Фурье всех
строго устойчивых распределений. (Устойчивые распределения в широком
смысле первоначально назывались квазиустойчивыми. Как мы видели, они
существенно отличаются от строго устойчивых распределений лишь при а=1.
Случай а=1 был исследован совместно Леви и Хинчиным.) Более простой
новый подход к теории устойчивых распределений стал возможным после от-
открытия безгранично делимых распределений. Этот новый подход (тоже осно-
основанный на анализе Фурье) также принадлежит П. Леви A937). Интерес к
теории был стимулирован замечательным исследованием А. Дёблина A939),
посвященным областям притяжения. В его критериях впервые появились пра-
правильно меняющиеся функции. Современная теория по-прежнему носит отпе-
отпечаток этой основополагающей работы, несмотря на то, что некоторыми
авторами были внесены различные усовершенствования и получены новые
результаты. Гл. VIII содержит изложение теории устойчивых распределений
на основе методов Фурье, ставших теперь уже классическими. В гл. IX эта тео-
теория развивается с помощью прямого подхода, более близкого к современным
методам теории марковских процессов. Значительные упрощения и объеди-
объединение многих критериев оказались возможными благодаря систематическому
использованию развитой Карамата теории правильно меняющихся функций.
Усовершенствованный вариант этой теории излагается в гл. VIII, 8—9.
') Преобразования Фурье симметричных устойчивых распределений были
указаны Коши, однако оставалось неясным, действительно ли они отвечают
вероятностным распределениям. При а<1 этот вопрос был решен Пойа.
Распределение Хольцмарка из примера B. в) было известно астрономам, но
не известно математикам. Читатели, интересующиеся историей развития тео-
теории и более старой литературой на эту тему, могут обратиться к книгам.
П. Леви A925) и A937).

216 Гл. VI. Некоторые важные распределения и процессы
§ 2. Примеры
а) Нормальное распределение с нулевым математическим
ожиданием строго устойчиво с с„= Yп-
б) Распределение Коши с произвольными параметрами рас-
расположения, имеющее плотность
J с
устойчиво в строгом смысле с характеристическим показате-
показателем 1. См. гл. II, D, д).
в) Устойчивое распределение с о. = -^. Распределение
/Ч*) = 2[1-Я(:р=г)], х>0, B.1)
имеющее плотность
±~*x. х>0 B.2)
[/(х)=0 при л:<0], строго устойчиво с нормирующими постоян-
постоянными сп = п2.
Проверка этого факта элементарными методами утомитель-
утомительна и неинтересна; здесь проще воспользоваться одной предель-
предельной теоремой. Рассмотрим симметричное случайное блуждание;
пусть Xfe есть число испытаний между (k— 1)-м и k-м возвра-
возвращением в начало координат. Величины \h, как известно, взаим-
взаимно независимы и распределены согласно 1, гл. III D.2). Да-
Далее, величина S/t = Xi+ . . . + Х^ есть момент fe-ro возвращения в
начало координат, и поэтому событие {Sr>k} означает, что
«число возвращений за k шагов меньше г». Отсюда, в силу пре-
дельпой теоремы 1, гл. III, 6.2 имеем
P{Sr<r2t}^F(t), r^oo. B.3)
Таким образом, F имеет область притяжения и потому устой*
чиво (продолжение в примере (д)).
г) Гравитационное поле звезд (распределение Хольцмарка).
На языке астрономии задача формулируется так: вычислить
х-компоненту гравитационной силы, создаваемой звездной си-
системой в случайно выбранной точке О. В основе этой поста-
постановки задачи лежит предположение, что звездная система пред-
представляет собой «случайное скопление» точек со «случайно рас-
распределенными массами». Это предположение можно было бы
выразить строго математически в терминах распределений Пуас-
Пуассона и т. п., однако, к счастью, для рассматриваемой задачи
подобных тонкостей не требуется.

§ 2. Примеры 217
Будем рассматривать плотность звездной системы как сво-
свободный параметр; пусть Х^ обозначает ^-компоненту гравита-
гравитационной силы звездной системы с плотностью А. Нас интересуют
возможные типы распределений ХХ- Интуитивное понятие «слу-
«случайное скопление звезд» предполагает, что два независимых
скопления с плотностями s и / могут быть объединены в одно
скопление с плотностью s + t. С вероятностной точки зрения
это приводит к требованию, чтобы сумма двух независимых слу-
случайных величин, распределенных как Xt и Xs, была распреде-
распределена как Xs+i. Иначе это можно выразить равенством
Xs + Xt = Xs+t. B.4)
Считая, что замена единичной плотности плотностью X приводит
к изменению единичной длины на длину 1/ У К и что гравита-
гравитационная сила обратно пропорциональна квадрату расстояния,
приходим к выводу, что величины X; и fl3Xi, должны иметь оди-
одинаковое распределение. Это означает, что распределения вели-
величин Х( отличаются лишь масштабным множителем и B.4) сво-
q
дится к A.9) с а= -к-- Иными словами, Х^ имеет симметричное
устойчивое распределение с характеристическим показателем
а=-2". В дальнейшем мы увидим, что (с точностью до три-
тривиального масштабного множителя) имеется в точности одно
такое распределение. Таким образом, мы решили нашу задачу,
не прибегая к более глубокой теории. Астроном Хольцмарк по-
получил равносильный ответ, применяя другие методы (см. зада-
задачу 4), причем, что весьма замечательно, до появления работы
П. Леви.
д) Моменты первого прохождения броуновского процесса.
Введем сначала понятие одномерного диффузионного процесса.
Диффузионный процесс — это такой процесс Х(/), приращения
которого X(s + t) —-X(s) за непересекающиеся промежутки вре-
времени независимы и имеют симметричное нормальное распре-
распределение с дисперсией /. Будем предполагать известным, что
траектории одномерного диффузионного процесса непрерывно
зависят от времени. При Х@)=0 существует момент Та, в кото-
который частица впервые достигает уровня а>0. Для нахождения
функции распределения Fa(t) =P(Ta ^ t) заметим, что понятие
аддитивного процесса заключает в себе полное отсутствие пос-
последействия (строго марковское свойство). Это означает, что при-
приращение абсциссы X(t + Ta) —а между моментами времени Та и
Та + ^ не зависит от течения процесса до момента Т„ Далее,.

218 Гл. VI Некоторые важные распределения и процессы
чтобы достигнуть уровня а + Ь>а, частица должна сначала достиг-
достигнуть уровня а, и поэтому время ожидания Та+ь — Та до дости-
достижения уровня а + b после достижения а не зависит от Та и имеет
распределение, одинаковое с распределением TV Иными сло-
словами, Fa* Fb = Fa+b. Так как вероятности перехода зависят лишь
от отношения x2/t, то Та имеет то же распределение, что и а2Ть
Это означает, что распределения Fa отличаются лишь масштаб-
масштабным множителем и, следовательно, устойчивы с характеристиче-
характеристическим показателем а = -к- •
Проведенное рассуждение, основанное на соображениях раз-
размерности, доказывает устойчивость распределения момента пер-
первого прохождения уровня, но не дает его точной формы. Чтобы
доказать совпадение F с распределением примера в), мы вос-
воспользуемся рассуждением, основанным на соображениях сим-
симметрии. В силу непрерывности траекторий событие {Х(/)>а} мо-
может произойти лишь в том случае, когда уровень а был пересе-
пересечен в некоторый момент Та</. Если Та=т<^, то Х(т)=а, и из
симметрии ясно, что вероятность события Х(/) — Х(т)>0 рав-
равна -д-. Следовательно,
Р {Тв < /} = 2Р {X @ > а} = 2 [A - Я [^)], B.5)
что и требовалось доказать. Только что проиллюстрированное
использование соображений симметрии иногда называют мето-
методом Дезире Андре или принципом отражения.
е) Точки достижения при двумерном броуновском движе-
движении. Двумерное броуновское движение образуется парой
(Х(/), Y(/)) независимых одномерных броуновских движений.
Нас интересует точка (a, Za), в которой траектория впервые до-
достигает прямой х = а>0. Отметим, что подобно тому, как это
было в предыдущем примере, траектория может достичь прямой
х = а + Ь>а лишь после пересечения прямой х = а. Если взять
в качестве нового начала координат точку (a, Za), то станет
ясным, что величина 1а+ь также распределена как сумма двух
независимых случайных величин, распределенных одинаково
с величинами Ъа и Z&. Далее, очевидные соображения подобия
приводят к заключению, что величина Ъа распределена так же
как величина аЪи и поэтому Za имеет симметричное устойчи-
устойчивое распределение с характеристическим показателем а = 1.
Единственным таким распределением является распределение
Коши, так что точка достижения Za имеет распределение
Коши,

§ 2. Примеры 219
Приведенное поучительное рассуждение, основанное на сооб-
соображениях размерности, не определяет масштабного множителя.
Для его вычисления заметим, что Za = Y(Ta), где Та — момент
первого достижения прямой х = а. Распределение величины Та
дается формулой B.5), а Y(/) имеет нормальное распределение
с дисперсией i. Следовательно, величина Za имеет плотность,
равную 1)
 aVt
dt
[Здесь мы имеем пример подчиненности процессов, к которому
мы еще вернемся в гл. X, 7.]
ж) Устойчивые распределения в экономике. Примененные в
двух последних примерах рассуждения, основанные на сообра-
соображениях размерности, были использованы,. Б. Мандельбройтом
для доказательства того, что различные экономические процессы
(в частности, распределения дохода) подчинены устойчивым
(или «Леви — Парето») распределениям. До настоящего вре-
времени сила и ценность этой интересной теории, привлекшей вни-
внимание экономистов, проявились скорее в теоретической сфере,
чем в прикладном аспекте. [По поводу кажущегося согласия
хвостов распределения с многими эмпирическими явлениями,
начиная от размера городов до частоты слов, см. гл. II, D.з).]
з) Произведения. Существует много любопытных соотноше-
соотношений между устойчивыми распределениями с различными харак-
характеристическими показателями. Наиболее интересное из них мож-
можно сформулировать в виде следующего предложения. Пусть X
и Y — независимые строго устойчивые случайные величины с ха-
характеристическими показателями аир соответственно. Предпо-
Предположим, что величина Y положительна (при этом Р<1). Тогда
произведение XY1/a имеет устойчивое распределение с характе-
характеристическим показателем ар. В частности, произведение нор-
нормальной случайной величины и квадратного корня из случайной
величины с устойчивым распределением примера (в) имеет рас-
распределение Коши.
Мы не будем здесь доказывать это предложение, поскольку
оно вытекает как простое следствие из теоремы о подчиненных
') Подстановка у = -к- (x2-\-a2)/t сводит подинтегральную функцию к
функции е'у.

220 Гл. VI. Некоторые важные распределения и процессы
процессах1) [пример, гл. X, G. в)]. Кроме того, его легко прове-
проверить с помощью анализа Фурье [задача 8 из гл. XVII, 12] и для
положительных случайных величин с помощью преобразований
Лапласа (гл. XIII, G.д) и задача 13].
§ 3. Безгранично делимые распределения в М1
Определение 1. Распределение F безгранично делимо,
если для каждого п существует распределение Fn такое, что
Иными словами2), F безгранично делимо, если при каж-
каждом п его можно представить как распределение суммы
Sn = X1;n+:. .. + Х„,„ C.1)
п независимых случайных величин с одним и тем же распреде-
распределением Fn.
Это определение относится к распределениям в любом ко-
конечномерном пространстве, однако здесь мы ограничимся рас-
рассмотрением лишь одномерных распределений. Следует отметить,
что безграничная делимость является свойством типа, т. е. вмес-
вместе с F все распределения, отличающиеся от F лишь парамет-
параметрами расположения, безгранично делимы. Устойчивые распре-
деления безгранично делимы и выделяются среди безгранично
делимых тем, что для них Fn отличаются от F лишь парамет-
параметрами расположения.
Примеры, а) Все галша-распределения (включая показатель-
показательные) в силу их свойства гл. II, B.3) безгранично делимы. Без-
Безграничная делимость дискретного варианта гамма-распределе-
гамма-распределений — «отрицательно биномиальных» распределений (включая
.геометрические распределения) была доказана в 1, гл. XII, 2.
•) Для непосредственной проверки с минимальными вычислениями можно
.поступить следующим образом. Найдем распределение величины
а а
Z = X, V^Y] -j-X2"KY2. вычислив сначала условное распределение Z при ус-
условии \\=у\, Y2 = (/2- Это условное распределение есть функция суммы у^ + уз,
и замена переменных и = у\Л-уг, v = yt — уг показывает, что распределение Z
а
•отличается от распределения Xi V\\ лишь масштабным множителем. Анало-
Аналогичные вычисления можно проделать в случае п таких слагаемых.
2) Следует иметь в виду, что случайные величины Х^, „ вводятся только
для простоты и наглядности. При фиксированном п случайные величины
Xi, п, ¦-, Хи, п предполагаются взаимно независимыми, но при пгфп вели-
величины X,-, m и Xft, п не обязаны даже быть определенными на одном и том же
.вероятностном пространстве (иначе говоря, совместное распределение вели-
величин Хь, m и Хл, п может не существовать). Это значение относится к схеме
<серий вообще.

§ 3. Безгранично делимые распределения в З?1 221
б) Пуассоновское и обобщенное пуассоновское распределе-
распределения безгранично делимы. Будет показано, что все безгранично
делимые распределения являются пределами обобщенных пуас-
соновских распределений.
в) Связанное с бесселевыми функциями распределение гл. II,
G.13) безгранично делимо, однако это вовсе не очевидно; см.
пример гл. XIII, G. г).
г) Безгранично делимое распределение не может быть сосре-
сосредоточено на конечном интервале, если оно не сосредоточено в
одной точке. В самом деле, пусть F безгранично делимо. Если
|Snj<a с вероятностью единица, то \Xh:n\<an-i и поэтому
Var (Xfti „) <a2n~2. Следовательно, дисперсия F, будучи меньше
а2п'1, должна быть равна нулю. В*
Возвращаясь к определению 1, посмотрим, что произойдет,
если опустить требование одинаковой распределенное™ вели-
величин Xft, „ и потребовать лишь, чтобы при каждом п существо-
существовало п распределений Fit „,. . . , Fn, n, для которых
F = Fltn* ...*Fn>n. C.2)
Такая общность приводит к новому явлению, которое лучше
всего проиллюстрировать на примерах.
Примеры, д) Если F — безгранично делимое распределение,
а U — произвольное распределение, то распределение G = U*F
можно представить в виде C.2) с Giin = U и Gft>n=Fr,_1 при
п>1. Роль первой компоненты здесь совсем отлична от роли
остальных компонент.
е) Рассмотрим сходящийся ряд Х=^ХЙ взаимно незави-
независимых случайных величин. Распределение F величины X, яв-
являясь сверткой распределений величин Хь Х2, ... , Xn-i и рас-
распределения остаточного члена (Xn + Xn+i+ ...), представлено
в виде C.2). Распределения такого рода называются бесконеч-
бесконечными свертками и будут изучаться в дальнейшем. Пример гл. I,
A1.в) показывает, что равномерное распределение является
бесконечной сверткой. >
Отличительной чертой этих примеров является то обстоятель-
обстоятельство, что в них вклад отдельной компоненты Х(? „ в сумму Sn
существен, в то время как в случае одинаково распределенных
компонент вклад каждой отдельной компоненты стремится к
нулю. Мы хотим теперь связать безгранично делимые распреде-
распределения с типичными предельными теоремами для сумм «боль-
«большого числа малых компонент». Для этого необходимо дополнить
нашу схему требованием, чтобы отдельные компоненты Хи, п

B22 Гл, VI. Некоторые важные распределения и процессы
были асимптотически пренебрегаемыми в том смысле, что для
любого е>0 при достаточно больших п выполнялись бы нера-
неравенства
Р{|Х*,„|>е}<е (k = \, ..., л). C.3)
В терминологии гл. VIII, 2 это означает, что величины ХЙ1 „ стре-
стремятся по вероятности к нулю равномерно по k=l, ..., п. Си-
Системы случайных величин такого типа встречаются довольпо
часто, и поэтому удобно дать им специальное название.
Определение 2. Двойная последовательность случайных
величин Xft; „ (k=l, 2, ..., п; п=\, 2, ...), в которой образую-
образующие п-ю строку (серию) случайные величины Xi: „, . . . , Хп_ „
взаимно независимы, называется схемой серий1).
Если выполняется C.3), то схема серий называется нулевой
(или схемой серий с асимптотически пренебрегаемыми компо-
компонентами).
Более общим образом можно было бы рассматривать схемы
серий с г„ величинами в га-й серии, где гп —> оо, однако в дей-
действительности общность при этом не увеличивается2).
Пример. Пусть {Xj} — последовательность одинаково распре-
распределенных независимых случайных величин и Sri = Xi + . . . + Х„.
Нормированная сумма SnanX есть сумма величин п-н серии в
схеме серий, в которой Xs, „ = X*a« • Эта последовательность
серий является нулевой, если ап —* оо. Иного типа схема серий
была рассмотрена при выводе пуассоновского распределения
в 1, гл. VI, 6. >
В главах IX и XVII будет доказан следующий замечатель-
замечательный факт: предельное распределение для сумм Sn величин, обра-
образующих п-ю серию в нулевой схеме серий (если оно суще-
') В подлиннике triangular array — треугольная схема. — Прим. перев.
2) В том, что увеличение общности является здесь просто иллюзией,
легко убедиться следующим образом. Можно увеличить число величин в каж-
каждой серии, добавив «случайные величины», тождественно равные нулю. Сле-
Следовательно, не ограничивая общности, можно допустить, что число величин
в n-й серии растет вместе с п. Пусть дана такая схема серий Ж. Мы по-
построим теперь новую схему серий Первые Г\ серий возьмем произвольными
с числом величин в серии равным номеру серии. Затем первую серию Ж
повторим Гц — г\ раз, вторую — г3 — г2 раз и т. д. В новой схеме серий
п-я серия содержит не более п величин, и мы опять можем увеличить длину
серий, добавив нули и сделав длину n-й серии равной п. Последовательность
{Snj сумм величин n-серии в новой схеме серий отличается от {S,J при боль-
больших п просто возможными повторениями, так что асимптотическое поведе-
поведение обоих последовательностей {Snj и |$и| одинаково.

§ 3. Безгранично делимые распределения в 5?1 223
ствует), безгранично делимо. Если выполнено условие асимпто-
асимптотической пренебрегаемости C.3), то неважно, одинаково или
неодинаково распределены компоненты Xfti „, и в C.2) знак ра-
равенства можно заменить пределом: класс безгранично делимых
распределений совпадает с классом предельных распределений
для сумм величин, образующих п-ю серию в нулевых схемах
серий.
Примеры прикладного характера, з) Дробовой эффект в ва-
вакуумных трубках. Различные варианты и обобщения рассматри-
рассматриваемого ниже случайного процесса встречаются в физике и
технике связи.
Рассмотрим флуктуации в электрическом токе, возникающие
из-за случайных флуктуации числа попадающих на анод элек-
электронов. Предполагается, что попадание электронов на анод об-
образует пуассоновский процесс и что попавший электрон возбуж-
возбуждает ток, интенсивность которого х единиц времени спустя равна
/ (х). Формально интенсивность тока в момент t можно запи-
записать в виде ряда
со
Х(*)=2/(*-Т*), C.4)
где Тй — прошлые моменты попаданий электронов. (Иными
словами, величины t — Tt, Т2 — Ть Т,3 — Т?, ... взаимно неза-
независимы и имеют одинаковое показательное распределение.)
Нетрудно проанализировать сумму C.4) непосредственно ме-
методами теории случайных процессов, однако простой подход
с помощью схемы серий может помочь лучшему пониманию
сути вещей. Разобьем интервал —оо, t на маленькие подинтер-
валы с концами в точках tk = t — kh (k = 0, 1, ...). В силу са-
самого определения пуассоновского процесса вклад интервала
44-i в сумму C.4) можно приблизительно считать случайной
величиной, принимающей значение 0 с вероятностью 1 — ah и
значение/ (t—th) с вероятностью ah. Математическое ожида-
ожидание и дисперсия этой случайной величины равны соответствен-
соответственно ahl{kh) и a/z(l —ah)P(kh). Положим /z=l/]/Vi и построим
схему серий, в которой Х&, n есть вклад fe-ro интервала. Сумма
величин, образующих отдельную серию, имеет математическое
ожидание ah 2 I {kh) и дисперсию ah(\—ah)^P(kh). Если
ряду C.4) можно придать какой-то смысл, то распределения
сумм по сериям должны будут сходиться к распределению Х(/),
и мы приходим к следующим соотношениям:
оо со
Е(Х@) = о jl(s)ds, Var (X(t)) = a J P(s)ds. C.5)

224 Гл. VI. Некоторые важные распределения и процессы
Эти выводы легко подтвердить с помощью предельных теорем
для схемы серий (см. задачу 5, гл. XVII, 12 и задачу 22,
гл. VIII, 10). Соотношения C.5) хорошо известны как теорема
Кэмпбелла. С современной точки зрения это неглубокий резуль-
результат, однако он был получен в 1909 г. за десятилетия до того,
как была развита систематическая теория. Его справедливо счи-
считали замечательным результатом и передоказывали многими
разными способами.
и) Загруженность линий связи. Приведем еще один сходный
с предыдущим пример, иллюстрирующий характер возможных
обобщений. Рассмотрим телефонную станцию с бесконечным
числом линий. Предположим, что приходящие вызовы образуют
пуассоновский процесс и что каждый приходящий вызов на-
направляется на свободную линию. Времена обслуживания имеют
одинаковое распределение F и как обычно предполагаются неза-
независимыми друг от друга и от процесса поступления вызовов.
Число занятых линий в момент t является случайной величи-
величиной Х(^), распределение которой можно найти, применяя метод
предыдущего примера. В рассматриваемом случае величины
Хй, „, образующие серии, принимают лишь два значения 0 и 1,
причем значение 1 имеет вероятность ah[\—F{kh)\ В резуль-
результате мы получаем, что математическое ожидание числа занятых
линий равно
со
E(X{t)) = a j[l—F(s)]ds. C.6)
о
Отметим, что интеграл в C.6) равен математическому ожида-
ожиданию времени обслуживания. &¦
Исторические замечания. Понятие безграничной делимости восходит к
Б. де Финетти A929). Преобразования Фурье безгранично делимых распре-
распределений с конечными дисперсиями были найдены А. Колмогоровым A932).
В 1934 г. П. Леви нашел преобразования Фурье произвольных безгранично
делимых распределений. Им же безгранично делимые распределения изуча-
изучались с точки зрения случайных процессов. Все последующие исследования
происходили под сильным влиянием фундаментальной работы П. Леви. Пер-
Первые чисто аналитические выводы общей формулы были даны в 1937 г. неза-
независимо Феллером и Хинчиным. Этими авторами было также доказано, что
предельные распределения для нулевых схем серий безгранично делимы.
§ 4. Процессы с независимыми приращениями
Безгранично делимые распределения тесно связаны со случай-
случайными процессами с независимыми приращениями. Под процес-
процессом с независимыми приращениями мы понимаем зависящее от
непрерывного параметра t семейство случайных величин X(t),

§ 4. Процессы с независимыми приращениями 225
такое, что для любого конечного множества значений параметра
ti<t2<- ¦ -<tn приращения X(tk+i) — X(/h) взаимно независимы.
На данном этапе нам не нужна теория случайных процессов; мы
просто считаем, что если некоторое явление допускает вероят-
вероятностное описание, то теория приведет к безгранично делимым
распределениям. В этом смысле мы уже рассматривали некото-
некоторые процессы с независимыми приращениями в 1, гл. XVII, 1
и в примере гл. III, (8.а). Ограничимся для простоты рассмотре-
рассмотрением числовых случайных величин Х(/), хотя теория перено-
переносится и на векторные величины.
Процесс имеет стационарные приращения, если распределе-
распределение величины \(s + t) —X(s) зависит лишь от длины / интер-
интервала и не зависит от s.
Разобьем интервал s, s + t посредством п+\ равноотстоящих
точек s = to<ti<. . .<tn = s + t и положим Хй, n = \(th) — ХD_().
Приращение X(s-H) —X(s) процесса со стационарными незави-
независимыми приращениями равно сумме п независимых одинаково
распределенных случайных величин Xft, n и, следовательно, имеет
безгранично делимое распределение. Мы увидим, что верно и
обратное. Именно, однопараметрическое семейство вероятност-
вероятностных распределений Qt, определенное при />0, может задавать
распределения приращений X(s + t) —X(s) процесса со стацио-
стационарными независимыми приращениями тогда и только тогда,
когда
Qs+t = Qs*Qu s, />0. D.1)
Семейство распределений, удовлетворяющее соотношению D.1),
называется полугруппой распределений (см. гл. VIII, 3). Каждое
безгранично делимое распределение может быть взято в каче-
качестве элемента Qt (t>0 произвольно) такой полугруппы.
Прежде чем переходить к нестационарному случаю, рассмот-
рассмотрим несколько типичных примеров.
Примеры, а) Обобщенный пуассоновскии процесс. Пусть F —
произвольное вероятностное распределение и а>0. Обобщенный
пуассоновскии процесс задается формулой
*=0
Нетрудно убедиться, что соотношение D.1) здесь действительно
выполняется. Пусть Х(/)—-случайный процесс со стационар-
стационарными независимыми приращениями, приращения Х(/)—Х@)
которого имеют распределения Qt. Когда распределение F
сосредоточено в точке 1, этот процесс сводится к обычному

226 Гл. VI. Некоторые важные распределения и процессы
пуассоновскому процессу и D.2) можно записать в виде
Х@) = я) = е-°<-^. D.3)
Общая модель D.2) допускает следующую интерпретацию
в-терминах обычного пуассоновского процесса. Пусть Yb Y2,. . . —
независимые случайные величины с одинаковым распределением
F и пусть N(^)—обычный пуассоновский процесс: P{N (/)=«} =
— e-at(at)n/n\, не зависящий от Yft. Распределение D.2) совпа-
совпадает с распределением случайной суммы Yi + .. . + Yn(o- Иными
словами, с п-м скачком пуассоновского процесса связывается
эффект Y,,, и приращение Х(/) —Х@) представляет собой сум-
сумму эффектов, соответствующих интервалу времени 0, t. Рандо-
Рандомизированное случайное блуждание, изучавшееся в гл. 11,7, яв-
является обобщенным пуассоновским процессом, отвечающим тому
случаю, когда величины Yft принимают лишь значения ±1. Прак-
Практические приложения будут проиллюстрированы в конце пара-
Графа.
б) Броуновское движение или процесс Винера — Башелье.
Так называется исходящий из начала координат процесс (т. е.
Х@)=0), приращения которого X(s + t) —X(s) за непересекаю-
непересекающиеся промежутки времени независимы и имеют нормальное
распределение с нулевым математическим ожиданием и диспер-
дисперсией t. Винером и Леви было показано, что траектории такого
процесса с вероятностью 1 непрерывны') и что это свойство
характеризует нормальное распределение среди всех безгранич-
безгранично делимых распределений.
в) Устойчивые процессы. Соотношение A.9) для строго ус-
устойчивых процессов равносильно соотношению D.1) с Qt(x) =
= R(t~llax). Таким образом, распределение R(t'liax) определяет
переходные вероятности процесса со стационарными независи-
независимыми ириращениями; при а = 2 получаем броуновское дви-
движение. >
Основная теорема теории безгранично делимых распределений
утверждает (см. гл. IX и XVII), что самое общее решение урав-
уравнения (.4.1), и, следовательно, самое общее безгранично делимое
распределение, можно представить как предел соответствующей
последовательности обобщенных пуассоновских распределений.
Результат этот довольно удивителен, если принять во внимание
большую формальную разницу между примерами (а) и (б).
') Как всюду в этом томе, автор отвлекается от ограничений типа сепа-
сепарабельности и т. п. — Прим перев.

§ 4. Процессы с независимыми приращениями 227
Распределение величины X(/+s) —Х(/) в случае процесса
с нестационарными независимыми приращениями тоже предста-
вимо как распределение сумм по строкам в схеме серий Xft, „,
однако теперь для выполнения C.3) нужно потребовать выпол-
выполнения некоторых условий непрерывности. Пример (д) объясняет
необходимость этого требования. Если наложить некоторые сла-
слабые ограничения, то распределения величин X(t+s) —Х(г") бу-
дут необходимо безгранично делимы.
Примеры, г) Операционное время. Простая замена времени
нередко сводит общий процесс к более доступному изучению
процессу со стационарными приращениями. Если ф — произ-
произвольная возрастающая непрерывная функция, то замена /-хр(^)
переводит процесс Х{/) в процесс Х(<р(/))- Свойство независи-
независимости приращений, очевидно, сохраняется, и при подходящем
выборе ф приращения нового процесса могут оказаться ста-
стационарными. В практике выбор функции ф обычно подсказы-
подсказывается природой рассматриваемого процесса. Например, на теле-
телефонной станции вряд ли кто стал бы сравнивать ночной час с
загруженным дневным часом — естественно измерять время в
переменных единицах, таких, что ожидаемое число вызовов за
единицу времени оставалось бы постоянным. Аналогично при
растущем страховом бизнесе претензии будут поступать с воз-
возрастающей частотой, однако это отклонение от стационарности
устраняется просто введением операционного времени для изме-
измерения частоты поступления претензий.
д) Фиксированные точки разрыва. Пусть Хь Х2, ... — взаим-
взаимно независимые случайные величины и Sn = Xt + . . . + Х„. Опре-
Определим процесс с (нестационарными) независимыми прираще-
приращениями, положив Х(/) =Sn при п ^Ct<n+\. Все изменения этого
процесса происходят в моменты времени 1, 2, 3, .... Из этого
примера видно, что для безграничной делимости распределений
приращений необходимы некоторые условия непрерывности.
Кроме того, этот пример наглядно иллюстрирует возможность
разрывов в фиксированные моменты времени. В случае пуассо-
новского процесса траектории разрывны, однако при каждом
фиксированном t вероятность того, что никаких изменений
(скачков) не происходит за интервал времени /, t + h, равна е~аЛ
и стремится к единице при h —* 0. Иными словами, хотя число
телефонных вызовов меняется скачками, вероятность того, что
скачок произойдет в короткий промежуток времени, весьма мала.
В противоположность этому в рассматриваемом примере при
*=1, 2, . . . скачки происходят с положительной вероятностью,^-

228 Гл. VI. Некоторые важные распределения и процессы
Примеры прикладного характера. Огромное количество прак-
практических задач можно свести к обобщенным пуассоновским про-
процессам. Приведем несколько типичных примеров, (i) Накоплен-
Накопленный убыток за счет автомобильных катастроф, пожаров, молний
и т. п. По поводу применений к теории страхования см. пример
Eа). (И) Общий улов рыболовецкого судна при поиске косяков
рыбы (Дж. Нейман), (ш) Количество воды в водохранилище в
зависимости от дождей и потребления воды. Аналогично рас-
рассматриваются другие задачи хранения запасов, (iv) Камень, ле-
лежащий на дне реки, находится без движения в течение столь
долгих промежутков времени, что последовательные смещения
допустимо считать практически мгновенными. Общее смещение
камня за время О, I можно рассматривать как обобщенный
пуассоновский процесс. (Впервые этот вопрос изучался дру-
другими методами Альбертом Эйнштейном младшим и Д. Пойа.)
(v) Телефонные вызовы, или прибытия клиентов на пункт об-
обслуживания. При соответствующих условиях общее время, необ-
необходимое для обслуживания требований, поступивших в интер-
интервале времени 0, t, описывается обобщенным пуассоновским
процессом. Замечательной особенностью этого процесса являет-
является тот факт, что значение Х(/) не наблюдаемо в момент t, по-
поскольку оно определяется временами обслуживания, относящи-
относящимися к будущему, (vi) Изменения энергии физических частиц
при столкновениях рассмотрены в примере X, A.6).
§ 5*). Обобщенные пуассоновские процессы и задачи
о разорении
Пусть Х(/)—обобщенный пуассоновский процесс. Это зна-
значит, что приращение \(t + s) — X(s) за любой интервал вре-
времени длины / имеет распределение Qt, задаваемое формулой
D.2). Пусть с>0 и 2>0 фиксированы. Разорением мы называем
событие
E.1)
В дальнейшем с будет рассматриваться как постоянная, a z>0
как свободный параметр. Обозначим через R(z) вероятность
того, что разорение никогда не произойдет. Предполагая, что
вся задача имеет смысл, мы выведем формально, что вероят-
вероятность R(z) должна быть неубывающим решением функциональ-
*) Этот параграф посвящен специальной теме. Он имеет большой практи-
практический интерес, но материал его нигде не будет использоваться в дальнейшем,
за исключением примеров.

§ 5. Обобщенные пуассоновские процессы 22 Э
ного уравнения E.2). Приведем сначала несколько примеров,
показывающих степень разнообразия практических ситуаций,
приводящих к рассматриваемой задаче.
Примеры, а) Теория страхования1). Значением Х(/) здесь
является накопленное количество претензий за интервал вре-
времени 0, /, предъявленных страховой компании. Предполагается,
что поступление претензий описывается пуассоновским процес-
процессом и что отдельные претензии имеют распределение F. В прин-
принципе «претензии» могут быть как положительными, так и от-
отрицательными (например, смерть клиента может освободить ком-
компанию от обязательства и увеличить ее резервы). В рассматри-
рассматриваемом примере z представляет собой исходный резерв компа-
компании, имеющийся в момент времени 0, а с — скорость возрас-
возрастания резервов2) при отсутствии претензий. Общий резерв
компании в момент t равен z + ct— Х(/), а «разорение» означает
достижение отрицательного резерва, т. е. банкротство.
б) Хранение запасов. Идеальное водохранилище наполняет-
наполняется реками и дождями с постоянной скоростью с. В случайные
моменты времени расходуется часть воды в количестве Хи Х2, ....
Рассматриваемая модель описывается обобщенным пуассонов-
пуассоновским процессом, и если исходное количество воды в момент
времени 0 равно г, то и в момент / теоретически количество
воды будет равно z + ct — Х(^), если только водохранилище не
осушится до этого времени. Функция F сосредоточена здесь на
полупрямой 0, оо. Задачам подобного рода посвящена огромная
литература (см. монографии, указанные в конце книги).
в) Обслуживание больных^). Будем рассматривать проме-
промежутки времени, которые врач тратит на обслуживание пациен-
пациентов, как независимые случайные величины с показательным рас-
распределением и средней длительностью а. Когда обслуживание
происходит без перерывов, уход обслуженных пациентов подчинен
') Этой теории (основанной Ф. Лундбергом) и, в частности, рассматри-
рассматриваемой нами задаче о разорении посвящена огромная литература. Обзор ее
имеется в относительно недавней работе Г. Крамера (см. Cramer H.. On
some questions connected with mathematical risk, Univ. Calif. Publications in
Statistics, vol. 2, № 5 A954), 99—125). Отметим, что асимптотические оценки
Крамера (полученные с помощью глубоких методов Винера — Хопфа) дока-
доказаны элементарными методами в примерах гл. XI, G. а) и гл. XII E. г).
2) На практике растущая компания будет использовать накопленную
сумму полученных поступлений как операционное время [см. пример D. г)].
3) Р у k e R., The supremum and infimum of the Poisson process, Ann.
Math. Statist., 30 A959), 568—576. Пайк рассматривает задачу о разорении
•"ишь для чисто пуассоновского процесса, но зато получает более точные
Результаты (иными методами).

230 Гл. VI. Некоторые важные распределения и процессы
обычному пуассоновскому процессу. Пусть Х(^) —число ухо-
уходов пациентов за время 0, t. Предположим, что в момент 0
(начало работы врача) ожидают г пациентов и что последую-
последующие пациенты приходят в моменты времени с~х, 2с~\ Зс~', ....
Врач не будет без дела, пока X(t)-*Cz+ct. >
Следующее формальное рассуждение приводит к уравнению,
определяющему вероятность разорения 1 — R. Пусть первый
скачок траектории происходит в момент т и имеет величину х.
Чтобы разорение никогда не произошло, необходимо, чтобы
x*Cz + cx и чтобы при всех t>x приращения X(t) —хне превос-
превосходили z — x+ct. Поскольку приращения независимы, послед-
последнее из этих событий имеет вероятность, равную R(z — х+сх).
Интегрируя по всем возможным значениям тих, получаем
оо г + сх
tf(z)= jae~aXdx J R(z + cx — x)F {dx}. E.2)
0 -co
Это и есть нужное нам уравнение, однако его еще можно упрос-
упростить. Производя замену s = z + ct, имеем
— x)F[dx). E.3)
Из E.3) следует, что функция R дифференцируема. Дифферен-
Дифференцируя E.3), получаем окончательное интегро-дифференциальное
уравнение
г
R'(z) = ±R(z) — ± jX(z-x)F[dx}. E.4)
— со
Отметим, что по определению /?(s)=0 при s<0, и поэтому ин-
интеграл справа в E.4) есть свертка F*R. Мы вернемся к урав-
уравнению E.4) в примерах (9.г), гл. XI G.а) и гл. XII E.г).
§ 6. Процессы восстановления
Основные понятия теории восстановления были введены в
1, гл. XIII в связи с рекуррентными событиями. Мы увидим,
что введение непрерывного времени связано скорее с измене-
изменениями в обозначениях, чем с изменениями по существу. Важ-
Важнейшее свойство рекуррентных событий состоит в том, что по-
последовательные времена ожидания Т/, являются взаимно незави-
независимыми случайными величинами с общим распределением F;

§ 6. Процессы восстановления 231
момент л-го осуществления события равен
Sn = T,+ ... +ТЛ. F.1)
Принимается также соглашение, что Sn = 0, и 0 считается осу-
осуществлением номер нуль.
Даже в вероятностных процессах, зависящих от непрерыв-
непрерывного времени, нередко можно обнаружить одну или более после-
последовательностей моментов времени, для которых имеет место F.1).
В таких случаях простыми методами удается получить удиви-
удивительно точные результаты. Аналитически мы имеем дело просто
с суммами независимых положительных случайных величин, и
единственным оправданием введения термина «процесс восста-
восстановления» является его частое использование в связи с другими
процессами, а также то обстоятельство, что при применении это-
этого термина молчаливо подразумевается использование мощного
средства — уравнения восстановления ').
Определение 1. Последовательность случайных величин
{Sn} образует процесс восстановления, если величины Sn имеют
вид F.1), где Тй — взаимно независимые случайные величины
с общим распределением F, удовлетворяющим условию2)
f@)=0.
Поскольку рассматриваемые случайные величины положи-
положительны, то математическое ожидание jx = E(Tft) имеет смысл,,
даже если соответствующий интеграл расходится (в этом слу-
случае ц = оо). Математическое ожидание \х называется средник
временем возвращения. Как обычно в подобных обстоятельствах,
для нашего исследования неважно, появляются ли величины Tft
в некотором вероятностном процессе или последовательность {Т,}
сама определяет вероятностное пространство.
В большинстве (но не во всех) приложений величину Tj
можно интерпретировать как «время ожидания», и суммы Sn яв-
являются тогда моментами восстановления (или регенерации).
Представляется интуитивно очевидным, что для любого ко-
конечного интервала I = a, b число попадающих в / моментов вос-
восстановления Sn конечно с вероятностью единица и, следова-
следовательно, представляет собой вполне определенную величину N.
Если событие {Sn ? /} называть «успехом», то N есть общее
') Более сложное обобщение рекуррентных событий имеется в работе
К i n g m a n J. F. С, The stochastic theory of regenerative events, Zeit. Wahr-
scheinlichkeitstheorie, 2 A964), 180—224. Русский перевод см. сб Математика,
Л: 2 A967), стр. 106—152.
2) Можно было бы допустить существование атома в нуле, однако это
"е привело бы ни к чему новому, и нам пришлось бы исключать случай рас-
пРеделения F, сосредоточенного в нуле.

232 Гл. VI. Некоторые важные распределения и процессы
число успехов в бесконечной последовательности испытаний с
математическим ожиданием, равным
со со
?/{/} = SP{Se6/) = S/7II*{/}. F-2)
л = 0 и = 0
Для случайных величин, принимающих целочисленные зна-
значения, суммы F.2) рассматривались в 1, гл. XIII в связи с ре-
рекуррентными событиями. Для таких случайных величин доста-
достаточно было рассматривать интервалы, состоящие из одной целой
точки, и события {Sn^/} оказывались при этом взаимно исклю-
исключающими. Поэтому было возможным рассматривать не матема-
математическое ожидание числа сумм S, равных k, а вероятность uh
того, что одна из сумм Sn равна k. В рассматриваемой ситуации
вовсе не очевидно, что ряд F.2) сходится. Для доказательства
его сходимости нужно доказать конечность функции
со
x) . F.3)
J
я=0
при всех х. Если функция U конечна, то функция интервала
U{a,b} — U(b)—U(a) определяет сосредоточенную на 0, оо меру,
имеющую единичный атом в начале координат.
Мы покажем конечность U и используем U для построения
решения уравнения восстановления
Z=z+F*Z; F.4)
в этом уравнении Z и г — обращающиеся в нуль на — оо, 0 функ-
функции. Уравнение F.4) является сокращенной записью следую-
следующего уравнения •)
X
J Z(x — y)F{dy}, x>0, F.5)
которое является аналогом уравнения восстановления, изучав-
изучавшегося в 1, гл. XIII, и не раз встретится нам в дальнейшем.
Теорема I2). Функция U(x) конечна при всех х. Если z —
ограниченная функция, обращающаяся в нуль при х<0, то функ-
функция Z=UJfrz, определяемая равенством
X
Z(x)=\z{x~y)U{dy), F.6)
') Пределы интегрирования указаны лишь для удобства; интеграл не
изменится, если интегрирование производить по всей прямой.
2) Более подробная теория развивается в § 10.

§ 6. Процессы восстановления 233
является решением уравнения восстановления F.5). Это реше-
решение единственно в классе функций, обращающихся в нуль на
—оо, 0 и ограниченных на конечных интервалах.
Доказательство. Если {Sn^jc}, то Tj-Сдс при /= 1,. . ., п.
Следовательно, P{Sn^x}^/rn(jc). Отсюда вытекает, что ряд в
F.3) сходится со скоростью геометрической прогрессии при всех
х, для которых F(x)<\. Но для каждого х существует целое
число г, такое, что Fr*(jc)<l, и, так как Fh*(x) монотонно зави-
зависит от k, мы имеем
оо
*л*хг2frk*м < х_}** <°°• с6-7)
Беря свертки обеих частей равенства F.3) с z, убеждаемся
в том, что Z удовлетворяет уравнению восстановления. Разность
двух решений V удовлетворяет уравнению V=F*V и, следо-
следовательно, всем уравнениям V=Fn** V, п=\,2, . . . . Но Fn*(x)—*
—»0 при всех х, и поэтому V(х) = 0. >
Отметим, что если г(х) = 1 при х>0, то функция Z(x) = U(x)
является решением уравнения восстановления F.5). Это можно
показать непосредственно, используя следующее рассуждение.
Ожидаемое число моментов восстановления в замкнутом ин-
I—I
тервале 0, х равно единице плюс ожидаемое число таких мо-
—I —I
ментов в полуоткрытом интервале 0, х. Интервал 0, л: содержит
моменты восстановления лишь когда Ti^Cx; при условии, что
Ti = y-^jc, ожидаемое число моментов восстановления в интер-
—I
вале 0, л: равно U(x — у). Интегрирование по распределению у
приводит теперь к уравнению F.5). Проведенное рассуждение
является типичным при изучении процессов восстановления и
нередко используется для нахождения различных распределе-
распределений и математических ожиданий.
Имеются два полезных обобщения процесса восстановления.
Рассмотрим сначала обрывающиеся процессы. Обрывающийся
процесс может прекратиться в любой момент восстановления,
причем это событие не зависит от прошлого и имеет фиксиро-
фиксированную вероятность q, 0<<7<l (такие процессы являются ана-
аналогом недостоверных рекуррентных событий). Выражаясь абст-
абстрактно, можно сказать, что к выборочному пространству доба-
добавляется одна точка, называемая смертью, и сумма Sn либо равна
Положительному числу, либо «погибает». Распределение F
является теперь условным распределением времени возвраще-
возвращения Т,- при условии, что процесс не обрывается. В качестве

234 Гл. VI. Некоторые важные распределения и процессы
безусловного распределения Tj имеет теперь распределение
A—q)F. Изменим обозначения и будем вместо A—q)F пи-
писать просто F, подразумевая при этом, что /г(оо)<1, т. е. что F
есть несобственное распределение. Все рассмотренные выше
формулы остаются тогда без изменений. Для удобства ссылок
введем теперь следующее неформальное
Определение 21). Процесс, отличающийся от обычного
процесса восстановления лишь тем, что функция распределения
F — несобственная, называется обрывающимся или невозврат-
невозвратным процессом восстановления. Дефект q=\—F(oo) интерпре-
интерпретируется как вероятность обрыва.
Ради согласованности 0 считается моментом восстановления
номер нуль. Вероятность того, что процесс переживет п-к момент
восстановления, равна A—q)n и стремится к 0 при п—> оо.
Таким образом, с вероятностью единица обрывающийся процесс
обрывается за конечное время. Общая масса распределения Fn*
есть A—q)n, и поэтому математическое ожидание числа мо-
моментов возвращения равно U(oo) =q~1<oo. Число U(oo) являет-
является, так сказать, ожидаемым числом поколений, до которого
развивается процесс. Вероятность того что Sn<lx, и процесс об-
обрывается на ге-м моменте восстановления, равна qFn*(x). Нами
доказана, таким образом,
Теорема 2. Для обрывающегося процесса восстановления
функция qU является собственным вероятностным распределе-
распределением длительности жизни процесса (возраста в момент смерти).
Второе обобщение состоит в том, что исходному времени ожи-
ожидания разрешается иметь другое распределение. В этом случае
добавляется величина Tj с / = 0 и So = To=?O.
Определение 3. Процессом восстановления с запазды-
запаздыванием называется последовательность So, S1( ... вида F.1),
где Tft — взаимно независимые строго положительные (собствен-
(собственные или несобственные) случайные величины, причем Ть Т2,. ..
(исключая То) имеют одинаковое распределение.
Например, процесс восстановления становится процессом
восстановления с запаздыванием, если его рассматривать лишь
после некоторого момента т.
§ 7. Примеры и задачи
Такие примеры, как самовосстанавливающиеся совокупности,
счетчики и рост популяций, очевидным образом переносятся с
') В примере 7(е) имеется иллюстрация этого определения, а в зада-
задаче 10 — его обобщение.

§ 7. Примеры и задачи 235
дискретного случая. Однако одна специальная задача приводит
к интересным вопросам, которые будут рассматриваться в даль-
дальнейшем.
Пример, а) Парадокс контроля. В теории самовосстанавли-
самовосстанавливающихся совокупностей рассматривается какой-либо прибор,
например электрическая батарея, который устанавливается и
работает до тех пор, пока не выходит из строя. Как только
он выходит из строя, его сразу же заменяют другим аналогич-
аналогичным прибором, и процесс продолжается без перерыва. Моменты
восстановления образуют процесс восстановления, в котором Т/,
есть срок действия k-\\ батареи.
Предположим теперь, что действительный срок службы уча-
участвующих в процессе батарей должен проверяться посредством
систематического или выборочного контроля. Берется выборка
батарей, участвующих в процессе в момент ^>0, и наблюдается
их полный срок службы. Поскольку срок службы всех батарей
имеет распределение F, то можно ожидать, что срок службы
наблюденных батарей тоже имеет распределение F. Но это не
так. В самом деле, в случае экспоненциального распределения F
рассматриваемая ситуация лишь словесно отличается от ситуа-
ситуации с парадоксом времени ожидания, изучавшейся в гл. 1,4,
где длительность наблюдаемого промежутка имела совсем дру-
другое распределение. Тот факт, что прибор исследуется в момент t,
меняет распределение срока службы и удваивает его ожидае-
ожидаемую длительность. Мы увидим в гл. XI, C.6), что это обстоя-
обстоятельство типично для всех процессов восстановления. Из ска-
сказанного вытекают серьезные для приложений следствия. Бес-
Беспристрастный на первый взгляд план контроля может вести к
ложным заключениям, поскольку то, что в действительности на-
наблюдается, может не быть типичным для всей популяции. Бу-
Будучи замеченным, этот феномен легко получил свое объяснение
(см. гл. 1,4), но он тем не менее указывает на возможные опас-
опасности при выведении следствий из наблюдений и на необхо-
необходимость взаимосвязи теории с практикой. Отметим, что никаких
трудностей не возникает, если наблюдения производить над
первым прибором, который устанавливается после момента t. >
Введем три случайные величины, важные для теории вос-
восстановления. В рассмотренном выше примере все эти три ве-
величины относятся к сроку службы участвующего в процессе при-
прибора в момент ^>0 и могут быть описаны следующими, не ну-
нуждающимися в объяснении терминами: остающееся время служ-
службы, прошедшее время службы и полное время службы. Дадим
теперь формальное определение.

236 Гл. VI. Некоторые важные распределения и процессы
Каждому ^>0 поставим в соответствие однозначно опреде-
определяемый (случайный) индекс N(, такой, что S^^^ < Sn<+i-
Тогда
а) остающееся время ожидания по определению равно
Sn^+i — t, т. е. равно времени, протекающему от / до следующего
за t момента восстановления;
б) прошедшее ¦ время ожидания по определению равно
t— Sn,. т. е. равно времени, протекающему до t с первого пред-
предшествующего t момента восстановления;
в) сумма остаточного и проведенного времени ожидания,
равная Sn+1 — Sn, = Т[«^+ь есть длина интервала возвращения,
накрывающего t.
Введенную терминологию нельзя считать установившейся —
она меняется от контекста к контексту. Например, в теории слу-
случайных блужданий остающееся время ожидания называют
точкой первого достижения интервала t, oo. В рассмотренном
выше примере время ожидания называлось сроком службы. Все
три введенные случайные величины будут изучаться в гл. XI, 3
и гл. XIV, 3.
Пуассоновский процесс был определен как процесс восста-
восстановления с показательным распределением промежутков време-
времени ожидания Tj. Во многих задачах массового обслуживания
естественно считать, что входящий поток образует пуассонов-
пуассоновский процесс. В некоторых других процессах промежутки време-
времени между поступлениями постоянны. Для объединения этих
двух случаев в теории массового обслуживания стало модным
рассматривать общий процесс восстановления с произвольными
промежутками времени между поступлениями1).
Перейдем теперь к некоторым задачам довольно общего ха<
рактера, связанным с процессами восстановления. Соответ-
Соответствующее процессу распределение по-прежнему будем обозна-
обозначать буквой F.
Начнем с того, что грубо можно было бы описать как
«время ожидания W до большого пропуска». Процесс вос-
восстановления с временами ожидания Т,- будем останавливать при
первом появлении интервала времени длины g, в течение кото-
') Общность эта в известной степени обманчива, поскольку трудно найти
соответствующие практические примеры, за исключением примера автобуса,
идущего без расписания по круговому маршруту. Иллюзия общности не-
несколько умаляется тем печальным фактом, что непуассоновский вход обычно
не является также и марковским.

§ 7. Примеры и задачи 237
рого не происходит восстановлений. Можно было бы дать такое
определение обрывающегося процесса восстановления, чтобы
оно включало рассматриваемый процесс (см. задачу 10), однако
мы воспользуемся прямым рассуждением, приводящим к урав-
уравнению восстановления для функции распределения V времени
ожидания W. Так как время ожидания W превышает |, то
V(t)=O при t<?,. При ?>| рассмотрим две взаимно исключаю-
исключающие возможности: либо Ti>|, либо Ti = yjCli>. В первом случае
W = ?. Во втором случае процесс начинается сначала, и условная
вероятность того, что {W<!/} при условии 1\ = у, равна V(t — у).
Суммируя по всем имеющимся возможностям, получаем
1+
V(t)=\-F{\)+\V{t-y)F[dy}, (>l; G.1)
о
при ^<|, как было отмечено выше, V(t)=O. Таким образом,
функция V удовлетворяет обычному уравнению восстановления
V=z+G*V G.2)
с несобственной функцией распределения G и функцией z, опре-
определяемыми равенствами
Цх) при л:<|,
при
при
при
при
X
X
X
X
Наиболее важным частным случаем является случай пропу-
пропусков в пуассоновском процессе, т. е. случай, когда F(t) — \ —e~ct.
Функция V здесь связана с теоремами о покрытии из гл. I, 9 [см.
задачу 12 и пример гл. XIV, B.а)].
Примеры прикладного характера б). Пересечение потока
автомобилей1). Пусть автомобили движутся в один ряд с
постоянной скоростью, причем последовательные пересечения ав-
автомобилями перехода (или переезда) образуют выборку из пуас-
соновского процесса (или из какого-либо другого процесса вос-
восстановления). Пешеход, появившийся на тротуаре (или авто-
автомобиль, подъехавший к перекрестку), начинает переход (переезд)
') С относительно старой литературой и другими вариантами этой за-
задачи (изучаемыми иными методами) можно познакомиться по работе Tan-
пег J. С., The delay to pedestrians crossing a road, Biometrica, 38 A951),
383-392.

538 Гл. VI. Некоторые важные распределения и процессы
после того, как убеждается, что в течение следующих | секунд
времени, необходимых для перехода (переезда), не пройдет ни
одного автомобиля. Обозначим через W время, необходимое для
перехода (переезда), т. е. время ожидания на тротуаре (пере-
(перекрестке) плюс Ц-. Функция распределения V величины W удовле-
удовлетворяет уравнению G.1) с F(t) =1 — e~ct [продолжение см. в при-
примерах гл. XI, G.6) и XIV, B.а)].
в) Счетчики Гейгера типа II. Попадания частиц в счетчик об-
образуют пуассоновский процесс, и каждая попадающая частица
(зарегистрированная или нет) блокирует счетчик на фиксиро-
фиксированное время ?. Если в счетчик поступила частица, то он
остается «мертвым» (блокированным) до появления интервала
длины |, в течение которого нет попаданий новых частиц. Наша
теория применима к распределению V длительности мертвого пе-
периода [см. 1, гл. XIII, 11, задача 10].
г) Максимальное наблюденное время возвращения. Рассмо-
трим процесс восстановления; пусть Zt обозначает максималь-
максимальную длину промежутков времени Tj, наблюденных1) до момен-
момента t. Событие {Z(^C|} происходит тогда и только тогда, когда до
момента t каждый интервал времени длины t содержит момент
восстановления, и поэтому в наших обозначениях P{Z;>|} =
= V(t). >
Значительное число встречающихся в приложениях процес-
процессов восстановления можетбыть охарактеризовано как процессы
с двумя стадиями.
Пользуясь терминологией, принятой для счетчиков частиц,
мы будем описывать процессы такого типа в терминах «свобод-
«свободных» и «мертвых» периодов, хотя в некоторых физических при-
приложениях вместо термина «мертвый» больше подходил бы
«возбужденный». Мертвые и свободные периоды процесса чере-
чередуются, и полный цикл образует время возвращения.
Примеры, д) Поломки с последующими простоями. В каче-
качестве простейшего примера рассмотрим последовательные заме-
замены выходящей из строя детали в предположении, что каждая
поломка сопровождается некоторым простоем (его можно ин-
интерпретировать как время, необходимое для обнаружения по-
поломки или же как время, нужное для ремонта). Последователь-
Последовательные периоды работы Т4, Т2). . . чередуются с последовательными
') Более точно, пусть п—(случайный) индекс, такой, что S,,i^<n
Тогда Z, = max[T,, ..., Tn-i, t). Случайные величины этого типа системати-
систематически изучались А. Ламперти.

§ 7. Примеры и задачи 239
мертвыми периодами Yi, Y2,.. . , и мы получаем собственный
обычный процесс восстановления с временами возвращения
Tj + Yj. Этот процесс можно также рассматривать как процесс
восстановления с запаздыванием с моментом первого восстано-
вления, равным Ть и временами возвращения Yj+Tj+1.
е) Потерянные вызовы. Рассмотрим одну телефонную линию;
пусть поступающие на нее вызовы образуют пуассоновскпй про-
процесс с распределением времен между вызовами, равным F(t) =
= 1 — e'ct. Предположим, что длительности следующих за вызо-
вызовами разговоров являются независимыми случайными величи-
величинами с общим распределением G. Линия может быть свободной
или занятой (мертвой), и вызовы, поступающие в течение мерт-
мертвых периодов, теряются. Мы имеем здесь процесс с двумя ста-
стадиями с распределением времени возвращения, равным F*G.
Найдем распределение V времени ожидания W до первого
потерянного вызова, предполагая, что в момент 0 линия была
свободна. Проще всего здесь применить метод обрывающихся
процессов. Будем останавливать исходный процесс в момент
первого теряющегося вызова. В полученном процессе свободные
и мертвые периоды чередуются, однако мертвый период может
теперь прекратиться по поступлении нового вызова. При этих
условиях длительность мертвого периода равна наименьшей из
двух независимых случайных величин с распределениями F и
G соответственно. Несобственная функция распределения Я дли-
X
гельности мертвого периода равна J [1 —F(y)]G{dy}, и мы имеем
о
обрывающийся процесс с несобственным распределением време-
времени возвращения Р*Н. Время ожидания до первого потерянного
вызова равно длительности жизни построенного обрывающегося
процесса. Соответствующее уравнение восстановления и асим-
асимптотические оценки приводятся в гл. XI, б1).
ж) Прибывший последним обслуживается первым. Пусть
имеется устройство для обработки информации и пусть время,
необходимое для обработки вновь поступающей информации,
является случайной величиной с распределением G. Предпола-
Предполагается, что выполнены обычные условия независимости. Если
устройство свободно, то обработка начинается сразу же по по-
поступлении новой информации. Бывают ситуации, когда интерес-
') Поучительно сравнить использованный метод с обычным. Рассматри-
Рассматривая все имеющиеся возможности, вплоть до момента остановки первого мерт-
мертвого периода, можно вывести уравнение восстановления для V, которое ана-
аналогично уравнению задачи 13, хотя и сложнее его. Дальнейшее хорошее
Упражнение в формальных преобразованиях — доказать эквивалентность
этого уравнения с более простым уравнением, предложенным в тексте.

240 Гл. VI. Некоторые важные распределения и процессы
на лишь последняя поступившая информация. В этих случаях
она сразу же начинает обрабатываться, а эффект предыдущих
поступлений полностью аннулируется. Опять мы получаем про-
процесс восстановления, в котором свободные и мертвые периоды
чередуются, однако распределение мертвых периодов здесь нуж-
нужно вычислять с помощью метода, аналогичного методу примера
(в) (задача 13).
з) Случайные импульсы. Первую модель предыдущего при-
примера можно обобщить, сделав иные допущения относительно
мертвых периодов. Пусть имеется произвольный исходный про-
процесс восстановления с «прибытием» в момент 0 в течение свобод-
свободного периода. После свободного начинается мертвый период. По
истечении мертвого периода мы ждем до следующего прибытия
в исходном процессе и предполагаем, что этот процесс начи-
начинается сначала. Иными словами, второй процесс является под-
подпоследовательностью исходного процесса; время возвращения
в нем состоит из мертвого периода со следующим за ним вре-
временем ожидания до следующего момента возвращения исход-
исходного процесса. Тот факт, что второй процесс является процессом
восстановления, нужно либо предположить, либо доказать. Сле-
Следующее условие является достаточным: длительности Yb Y2,. ..
мертвых периодов образуют последовательность независимых
случайных величин с одинаковым распределением F, не завися-
щую от исходного процесса. Такое предположение независи-
независимости не является, однако, необходимым [пример (и)].
и) Счетчики Гейгера. В счетчиках типа I за каждой реги-
регистрацией следует мертвый период фиксированной длины |. По-
Попадания частиц в этот период никак не отмечаются. Процесс
здесь тот же, что и в примере (д), причем величины Т,- имеют
показательное распределение, а величины Yj равны |. В счет-
счетчиках типа II нерегистрируемые частицы тоже приводят к блоки-
блокировке и ситуация аналогична предыдущей с тем исключением,
что распределения величин Y,- зависят от исходного процесса и
должны вычисляться с учетом этого обстоятельства. Метод на-
нахождения распределений Y,- описан в примере (в).
§ 8. Случайные блуждания
Пусть Хь Х2,. . . — взаимно независимые случайные величи-
величины с одинаковым распределением F. Обозначим, как обычно,
S0 = 0, Sn = X,+ ... +Xn. (8.1)
Будем говорить, что Sn есть положение в момент п частицы, со-
совершающей случайное блуждание общего вида. Никаких новых

§ 8. Случайные блуждания 241
теоретических идей в этом параграфе не появляется1) —просто
будет введена терминология для краткого и наглядного описа-
описания процесса {Sn}. Например, для всякого интервала / (или ка-
какого-либо другого множества) событие {Sn(;/} называется по-
попаданием в /, и изучение последовательных попаданий в задан-
заданный интервал / выявляет важные характеристики флуктуации
последовательности Sb S2, . . . . Индекс п интерпретируется как
временной параметр, и мы будем говорить о «моменте я». В этом
параграфе некоторые удивительные особенности случайных блу-
блужданий описываются в терминах последовательных рекордных
значений. Полезность полученных результатов будет видна из
их применений в параграфе 9. Другой (независимый) подход
будет рассмотрен в параграфе 10.
«Возложенные» процессы восстановления
Скажем, что в момент га>0 достигается рекордное значение,
если
Sn>Sj; / = 0, 1,...,л— 1. (8.2)
Такие индексы п могут существовать не для всех траекторий;
•если же они существуют, то образуют конечную или бесконеч-
бесконечную упорядоченную последовательность. Поэтому можно гово-
говорить о первом, втором и т. д. осуществлении (8.2). Моменты
этих осуществлений являются (возможно, несобственными) слу-
случайными величинами. Теперь мы в состоянии ввести важные
случайные величины, на использовании которых будет основы-
основываться значительная часть исследования случайных блужданий.
Определение. Назовем k-м (верхним) лестничным индек-
индексом момент k-го осуществления неравенств (8.2). Значение S,,
в k-й лестничный момент будем называть k-й лестничной высо-
высотой. (Обе определенные случайные величины возможно являют-
являются несобственными).
Нижние лестничные случайные величины определяются ана-
аналогично с помощью неравенств, обратных неравенствам (8.2) 2).
Термин «верхний» обычно будет излишним и будет исполь-
использоваться лишь при желании особо это подчеркнуть или достиг-
достигнуть большей ясности.
') Выборочные пространства бесконечных случайных блужданий уже рас-
рассматривались в первом томе, однако там нам приходилось определять такие
понятия, как «вероятность разорения»,с помощью очевидных предельных пере-
переходов. Теперь эти очевидные переходы к пределу обоснованы теорией меры
(см. гл. IV, 6).
2) Заменяя в (8.2) строгие неравенства па неравенства > и <, получаем
слабые лестничные индексы. Это вызывающее некоторые осложнения разли-
различие несущественно, когда распределение F непрерывно. На рис. 1 слабые
лестничные точки отмечены буквой w.

242 Гл. VI. Некоторые важные распределения и процессы
На графике траектории (So, Sb .. .) лестничные точки — это
те точки, в которых график доходит до не достигавшейся ранее
высоты (рекордное значение). На рис. 1 (см. стр. 245) изображена
траектория уходящего к минусу бесконечности случайного блу-
блуждания {Sn} с последним положительным положением при
« = 31. Здесь 5 верхних и 18 нижних лестничных точек этой
траектории обозначены • и ° соответственно. Случайное блу-
блуждание с распределением Коши изображено на рис. 2 (см.
стр. 259).
Пример, а) В «обычном» случайном блуждании F имеет
атомы 1 и —1с массами р и q. Верхние лестничные величины
при q>p будут несобственными, причем дефект равен 1—pjq
[см. 1, гл. XI, C.9)]. Здесь k-я лестничная высота равна k и
потому не упоминалась в первом томе; k-й лестничный индекс
равен моменту первого достижения точки k. Распределение k-vo
лестничного индекса было найдено в 1, гл. XI, 3, а для част-
частного случая Р=--к — в 1, гл. 111,4. >
Первый лестничный индекс $х равен моменту первого попа-
попадания в интервал 0, оо, а первая лестничная высота <sf6 равна S^-
Продолжение случайного блуждания после момента rfx яв-
является вероятностной копией всего случайного блуждания, и по-
поэтому число испытаний между первым и вторым лестничными
индексами представляет собой случайную величину J^i не за-
зависящую от J*! и имеющую одинаковое с J'x распределение.
Аналогичное рассуждение приводит к следующему общему ре-
результату: k-й лестничный индекс и k-ю лестничную высоту мож-
можно представить в виде
где J1j и &€j — взаимно независимые одинаково распределен-
распределенные случайные величины. Иными словами, лестничные индексы
и высоты образуют (возможно, обрывающийся) процесс восста-
восстановления.
Интуитивно представляется очевидным, что в случае обры-
обрывающихся процессов суммы Sn уходят к —оо и с вероятностью
единица достигается максимум последовательности {Sn}. В сле:
дующем параграфе будет обнаружено, что лестничные случай-
случайные величины являются мощным аппаратом при исследовании
одного класса процессов, имеющего значительный практический
интерес.

§ 8. Случайные блуждания 243
Пример, б) Точные выражения. Пусть F имеет плотность
_аЬ
еах, X < О,
-—». ,>о. <8'3)
Такое случайное блуждание обладает тем редким свойством,
что все связанные с ним распределения могут быть точно вы-
вычислены. Это блуждание играет большую роль в теории массо-
массового обслуживания, поскольку функция / есть композиция двух
экспоненциальных плотностей, сосредоточенных на 0, со и
—со, 0 соответственно. Иными словами, величины X,- могут быть
представлены в виде разностей Х;-= 3Pj — <Aj двух независи-
независимых положительных показательно распределенных случайных
величин. Не ограничивая общности, можем считать, что а^Ь.
В примере XII, D.в) будет показано, что верхняя лестнич-
лестничная высота &?х имеет плотность ае~Ьх; величина &6Х будет не-
несобственной тогда и только тогда, когда а<6, и если она не-
несобственна, то дефект ее равен (Ь— а) \Ь. В гл. XVIII, 3 будет
показано, что верхний лестничный момент J"x имеет произво-
производящую функцию b~lp(s), где
2р (s) = а + b — V(a + bf — 4abs- (8.4)
Дефект этой случайной величины тоже равен (Ь — a) jb.
Нижняя лестничная высота *Вв\ при л:<0 имеет плотность
аеах, а производящая функция нижнего лестничного момента JT
равна ') a~}p(s).
При a<J) восходящий лестничный процесс является обры-
обрывающимся и величина
M = max[0, Sb S2, . . .]
существует с вероятностью единица. Вероятность события
{М = 0} равна, очевидно, дефекту лестничных величин, т. е. рав-
равна 1—alb. В гл. XII, 5 будет показано, что при х>0 распреде-
распределение величины М имеет плотность—-.— ае~<-ь~а'>х. Производя-
тдая функция положения (индекса) максимума М равна-т——р-.
[Это вытекает из результатов примера гл. XVIII, (З.е).]
') При а = Ь производящая функция сводится к функции 1 — Vl—s,
известной нам из теории обычного случайного блуждания (бросаний монеты).

244 Гл. VI. Некоторые важные распределения и процессы
§ 9. Процессы массового обслуживания
Имеется чрезвычайно обширная литература1), посвященная
различным вопросам, связанным с обслуживанием, управлением
запасами, временем ожидания и т. п. Немало уже сделано для
построения общей теории, однако наличие очень большого чис-
числа мало отличающихся вариантов затемняет ситуацию, так что
трудно разглядеть лес за деревьями. Мощность новых общих
методов до сих пор недооценивается. Начнем с формального
введения случайного процесса, определяемого с помощью рекур-*
рентной схемы, которая представляется на первый взгляд до-
довольно искусственной. Дальнейшие примеры проиллюстрируют
широкую применимость этой схемы; впоследствии мы увидим,
что весьма точные результаты можно получить, используя уди-
удивительно простые методы (см. гл. XII, 5).
Определение 1. Пусть Хь Х2,.. . — взаимно независимые
случайные величины с одинаковым (собственным) распределе-
распределением F. Индуцированным последовательностью {Х^} процессом
ожидания назовем последовательность случайных величин
Wo, Wi ,..., определяемую рскуррентно следующим образом: по-
положим
-vn + x,i+1 при », , _ ..
(п = 0, 1,...). В сокращенной записи (9.1) означает, что
Wn+1=(W» + Xn+1) U0.
') Литературные ссылки можно найти в соответствующих монографиях,
указанных в библиографии. Было бы трудно дать короткий очерк развития
теории массового обслуживания со справедливым указанием авторства. Наи-
Наиболее выдающиеся работы, в которых были заложены новые методы, счи-
считаются теперь устаревшими з силу того прогресса, который они стимулиро-
стимулировали. [Примером может служить интегральное уравнение Д. В. Линдли в тео-
теории массового обслуживания A952)-] Другие работы заслуживают внимания
благодаря исследованным в них (иногда очень сложным) частным задачам,
однако нет возможности включить их в систематический обзор общей тео-
теории. В общем обширная литература в нескольких областях посвящена изуче-
изучению различных вариантов и примеров, в то время как единой общей тео-
теории нет. Установление авторства затруднено также тем, что многие резуль-
результаты были получены независимо разными авторами. [Например, решение
одного простого интегрального уравнения мимоходом указано 1939 г. со
ссылкой на неопубликованные лекции, читанные автором в 1934 г. Это реше-
решение было вновь найдено в различных контекстах многими авторами.] Чита-
Читатели, интересующиеся историей развития теории, отсылаются к следующим
двум обзорным статьям Д. Г. Кендалла, которые сами также оказали влия-
влияние на дальнейшие исследования (см., например, задачу в гл. XIV, 4): Some
problems in the theory of queues; Some problems in the theory of dams, /. Roy.
Statist. Soc, Series B, 13 A951), 151 — 185, 19 A957), 207—233.

§ 9. Процессы массового обслуживания
245.
Рис. 1 иллюстрирует это определение.
60 70 80 90 100 ПО 120 130 140
Рис. 1. Случайное блуждание и связанный с ним процесс ожидания.
Случайные величины Хл в случайном блуждании {S\ имеют математическое ожида-
ожидание— 1 и дисперсию 16. Верхние и нижние лестничные точки обозначены в и о соответ-
соответственно. Пятая лестничная точка, имеющая координаты B6,16), с большой вероятностью
представляет максимум всего случайного блуждания.
[Буква w указывает те точки, где рекордные значения достигаются второй или третшг
раз; эти точки являются слабыми лестничными точками, определяемыми соотношениями (8.2)
с заменой строгих неравенств на нестрогие >.}
Всюду на графике S превосхооит свое математическое ожидание, равное — п.
В действительности первым индексом., для которого $п*С — я, является л —135 (при этом
S135=—137). Отмеченное обстоятельство согласуется с тем фактом, что математическое ожида-
ожидание такого п равно бесконечности.
Случайные величины %п имеют вид ^п — ^п~<^П' гДе $п и ^?n —взаимно независи-
независимые случайные величины, распределенные равномерно па множествах 1, 3, 5, 7, 9 и 2, 4, 6,
8,10 соответственно. В примере (9. а) величины W представляют собой полное время ожидания
я-го клиента, когда время между поступлениями требований принимает с одинаковой вероят-
вероятностью значения 2, 4, 6, 8, 10, а время обслуживания равно каждому из чисел 1, 3, 5, 7 или 9
с вероятностью 1/5. Распределение величины X имеет массы E — &)/25 в точках ±2й — 1, где
* = 0, 1, 2, 3, 4.
Примеры, а) Система с одним прибором. Пусть на «при-
«прибор» поступают «требования», причем поступления требований
образуют собственный процесс восстановления с промежутками
времени между поступлениями1), равными <АХ, и?2, ... "(требо-
') Как правило, мы будем считать, что промежутки времени между по-
поступлениями требований либо постоянны, либо имеют показательное распре-
распределение; см. сноску на стр. 236.

246 Гл. VI. Некоторые важные распределения и процессы
вания нумеруются числами О, 1, 2,... и поступают в моменты
0, Ж\у Ж\,-\-Жч, ¦ ¦ ¦)• Предположим, что на ге-етребование тра-
тратится время обслуживания 38п- Будем считать, что случайные
величины $?'„ не зависят от моментов поступлений требований
и друг от друга и имеют одинаковое распределение. Прибор
может быть либо «свободным», либо «занятым», причем в на-
начальный момент 0 он свободен. Схема обслуживания требова-
требований такова. Если требование поступает в момент, когда прибор
свободен, то оно сразу же начинает обслуживаться. В против-
противном случае оно становится в очередь и прибор непрерывно об-
обслуживает требования в порядке их поступления ') до тех пор,
пока очередь не исчезнет и прибор станет «свободным». Под
длиной очереди мы понимаем число поступивших необслужен-
ных требований (включая требование, которое обслуживается
в данный момент). Временем обслуживания Wn n-го требования
называется промежуток времени от его поступления до начала
его обслуживания. Общее время, затраченное на обслуживание
n-го требования, равно Wn+ <$п (например, если первые време-
времена обслуживания суть 4, 4, 1, 3,. .., а времена между поступле-
поступлениями требований суть 2, 3, 2, 3, то требования с номерами
1, 2,... становятся в очередь длины 1, 1, 2, 1 соответственно и
отвечающие им времена ожидания равны 2, 3, 2, 2,...).
Чтобы избежать тривиальных сложностей типа поступления
одного требования в момент окончания обслуживания другого,
мы предположим, что распределения А и В случайных величин
Лп и <gn непрерывны. В этом случае длина очереди в любой
момент вполне определена.
Построим схему последовательного вычисления времен ожи-
ожидания Wn. По определению нулевое требование поступает в мо-
момент 0 на свободный прибор, и поэтому его время ожидания
Wo равно нулю. Предположим теперь, что п-е требование посту-
поступает в момент t и что время его ожидания Wn известно. Обслу-
Обслуживание n-го требования начинается в момент ^ + Wn и завер-
завершается в момент ^ + Wn+ <%п. Следующее (л+1)-е требование
поступает в момент t+otn+v В этот момент прибор свободен,
если Wn + $п < Jin+i, а в противном случае время ожидания
') Этот «порядок очереди» совершенно несуществен для длины очереди,
длительности периодов занятости и аналогичных характеристик. Тот или иной
порядок очереди имеет значение лишь с точки зрения обслуживания отдель-
отдельных требований. Порядки очереди могут быть различными; «крайними слу-
случаями» являются следующие; требования обслуживаются в порядке их по-
поступления, первым обслуживается последнее поступившее требование, обслу-
обслуживается случайно выбранное из очереди требование. Вся картина меняется,
если допустить возможность отказов.

§ 9. Процессы массового обслуживания 247
(п+1)-го требования равно Wn+ <gn—<Ап+\- Таким образом,
последовательность времен ожидания {Wn} совпадает с процес-
процессом ожидания, индуцированным независимыми случайными ве-
величинами
Х„= jgVi— Лп, п=\, 2,... (9.2)
б) Управление запасами. Для наглядности мы рассмотрим
водохранилище, однако используемая модель применима и в
других ситуациях, связанных с управлением запасами. Коли-
Количество воды в водохранилище зависит от ее притока и от ее
использования. Приток происходит за счет рек и дождей, а ис-
использование определяется поступлением требований (требова-
(требования, конечно, удовлетворяются лишь в том случае, когда водо-
водохранилище не пусто).
Рассмотрим теперь количества воды1) О, W,, W2,... в водо-
водохранилище в моменты 0, п, т2, ¦ • ¦ . Пусть Хп есть разность ме-
между величиной действительного притока и величиной теоретиче-
теоретического (идеального) требования, поступивших в интервал време*
ни Тп-1, т„. Будем считать, что все изменения происходят мгно-
мгновенно и возможны лишь в моменты времени ть тг,. . . . В момент
О имеем Wo = 0. В общем случае изменение Wri+1 — Wn содер-*
жимого бассейна равно Xn+J, если только требование не превы-
превышает возможности. Следовательно, последовательность {Wn}
должна удовлетворять соотношениям (9.1), т. е. последователь-
последовательные количества воды в бассейне образуют процесс ожидания,
индуцированный последовательностью {Х„), при условии, конеч-
конечно, что случайные величины Х„ независимы и одинаково распре-
распределены.
Задача (если не для прикладника, то во всяком случае для
математика) состоит в том, чтобы найти условия, при выполнен
нии которых величины Х/; независимы и имеют одинаковое рас-
распределение F, а также найти возможные формы F. В практике
величины тй либо находятся на одинаковом расстоянии друг от
друга, либо представляют собой моменты последовательных
скачков пуассоновского процесса, но для наших целей достаточно
предположить, что xh образуют процесс восстановления, инду-
индуцированный, скажем, последовательностью <А\, Лъ, ... . Наи-
Наиболее часто используемые модели принадлежат одному из сле-
следующих двух классов.
(i) Приток поступает с постоянной скоростью с, требования
Шп произвольны. При этом Хп = с<А„ — 38п, и мы должны
предположить независимость Хп от «прошлого» Хь . . . , Хп_!
') Для простоты мы начинаем с пустого водохранилища. Переход к про-
произвольным начальным условиям не вызывает затруднений [см. пример (в)]-

48 Гл. VI. Некоторые важные распределения и процессы
(обычное требование независимости Лп и 38 п здесь излишне."
Бет оснований предполагать некоррелированность требования
38п с длительностью Л„).
(и) Использование запаса происходит с постоянной ско-
скоростью, приток произволен. Этот класс схож с предыдущим: от-
личие по существу лишь в том, что Лп и 38п поменялись ро-
-ЛЯМИ.
в) Очереди на пригородные поезда1). Пригородный поезд,
имеющий г пассажирских мест, отправляется от станции ка-
каждый час. Будущие пассажиры появляются на станции и ста-
становятся в очередь. На каждый отходящий поезд садятся пер-
первые г человек, а остальные остаются в очереди. Предположим,
что числа пассажиров, появляющихся на станции между по-
последовательными отходами поездов, являются независимыми
случайными величинами Лх, Л2, ... с одинаковым распределе-
распределением. Пусть число пассажиров, стоящих в очереди сразу же
после n-го отправления, равно Wn и допустим, для простоты, что
W0 = 0. Тогда Wn+1 = Wn+ Лп+1 — г, если Wn+ Лп+1—г>0 и
Wn+1 = 0 в противном случае. Таким образом, последовательность
{Wn} есть процесс ожидания, индуцированный величинами Х„ =
Поставим теперь себе задачу описать процесс ожидания {Wn}
в терминах порожденного величинами Х& случайного блуждания.
Как в параграфе 8, положим So = O, SU = X4 + ... +Х„ и будем
придерживаться введенных там обозначений для лестничных
величин. Для облегчения описания воспользуемся моделью
примера (а).
Пусть v — такой индекс, что Sf>0, S2X),. . . , Sv_jX), но
Sv<0. При этом требования с номерами 1,2,..., v—1 имеют
положительные времена ожидания Wi = Sb ... , Wn_i = Sn_i, a
v-e требование является первым требованием (с положительным
индексом), поступающим на свободный прибор (первое удач-
удачливое требование). С момента прибытия v-ro требования про-
процесс идет как вероятностная копия всего процесса/С другой сто-
стороны, v есть просто индекс первой отрицательной суммы, т. е.
v является первым нижним лестничным индексом. Обозначим
его в соответствии с предыдущим через JT- Мы приходим, та-
таким образом, к первому выводу: нижние лестничные индексы
соответствуют удачливым требованиям, находящим прибор сво-
') Boudreau Р. Е., Griffin J. S., Kac M., On elementary queuing
problem, Amer. Math. Monthly, 69 A962), 713—724. Эта статья имеет дидак-
дидактический характер — она написана для неспециалистов, не знакомых с пред-
предметом. В ней используется другой подход, но приведенные там вычисления
перекрываются вычислениями примера гл. XII, D. в).

§ 9 Процессы массового обслуживания 249-
бодным. Отсюда вытекает, что моменты поступлений удачливых
требований образуют процесс восстановления, у которого вре-
времена возвращений распределены одинаково с JT-
В практических случаях величина JT должна быть соб-
собственной. В самом деле, в противном случае с вероятностью,
равной дефекту JT • требование никогда не застает прибор сво-
свободным (исключая нулевое требование) и с вероятностью еди-
единица будет последнее удачливое требование, за которым будет
следовать неоканчивающаяся очередь. Мы увидим, что JT есть
собственная случайная величина, если E(J?ft) <E(uih)-
Предположим теперь, что (v—1)-е требование поступает в
момент т. Ему приходится ждать время Wv_i = Sv_i, и обслужи-
обслуживание его завершается к моменту t + Wv_4+ JFv-i. Первое удач-
удачливое требование (с номером v) поступает в момент %^\-Лх„
и до этого момента прибор оставался свободным в течение
времени
л w сю « y — S
Согласно определению v, величина Sv есть первая нижняя лест-
лестничная высота <§€\ • Поскольку с момента поступления v-ro тре-
требования процесс начинается сначала, то мы приходим ко вто-
второму выводу: длительности свободных периодов являются неза-
независимыми случайными величинами, распределенными так же,
как —е№\ (т. е. как время возвращения для нижних лестничных
высот). Таким образом, требование с номером JT + ... -f-jT
является r-м требованием, застающим прибор свободным. В мо-
момент его прибытия прибор был свободен в течение времени
— &6Т-
Теперь должно быть ясно, что между последовательными
лестничными моментами сегменты графика траектории процесса
массового обслуживания {Wn} конгруэнтны сегментам графика
траектории случайного блуждания {Sn}, причем они сдвинуты
вертикально так, чтобы начинаться с точки на временной оси
(рис. 1). Для аналитического описания этого факта обозначим
на время через [п] последний нижний лестничный индекс <Сп;
иными словами, [п] есть (случайный) индекс, такой, что [ге]<л и
Sw<Sj, / = 0, 1, .... л. (9.3)
Индекс [п] определен однозначно с вероятностью 1 (напомним,,
что распределение величин Х3 непрерывно). Имеем, очевидно,
Wn-Sn-Sb]. (9.4)
Соотношение (9.4) приводит к очень важному выводу, если
величины Xi, ..., Х„ рассмотреть в обратном порядке. Положим,

250 Гл. VI. Некоторые важные распределения и процессы
для краткости Xi = Xn, •.., XB = Xi. Частные суммы последо-
последовательности {Xft} суть Ss = Xi+ ••• +Xft = Sn — Sn-k- Из
(9.4) вытекает, что максимальный член последовательности
¦О, Si, ..., S^ имеет индекс п — [п] и равен Wn. Поскольку век-
векторы (Хь . . ., Х'п) и (Xj, . . ., Х„) одинаково распределены, нами
доказана важная
Теорема1). Случайные величины Wn и
Mn = max[0, Sb ..., Sn] (9.5)
распределены одинаково.
Следствия из этой теоремы будут обсуждаться в гл. XII.
Здесь мы покажем, что она позволяет сводить некоторые задачи
о разорении к задачам теории массового обслуживания (не-
(несмотря на внешнее несходство этих задач).
Примеры, г) Задачи о разорении. Пусть Х(/) —обобщенный
пуассоновский процесс, распределения приращений которого за-
задаются формулой D.2) с произвольным распределением F. В §5
разорение было определено как осуществление при некотором t
события {X(t)>z + ct}, где z и с — фиксированные положитель-
положительные числа. Обозначим ть Тг, • . . моменты последовательных
скачков процесса Х(/). Если разорение вообще происходит, то
оно происходит также в некоторый момент т^, и поэтому доста-
достаточно рассматривать вероятность осуществления события Sn =
= Х(т„) — cxn>z при некотором п. Но по определению обобщен-
обобщенного пуассоновского процесса величина Х(т„) есть сумма п не-
независимых случайных величин \h с одним и тем же распределе-
распределением F, в то время как т„ есть сумма п независимых показа-
показательно распределенных величин Ль.. Таким образом, по суще-
существу мы имеем дело со случайным блужданием, порожденным
случайными величинами Xft = Yft — с Лн, плотность распределения
которых дается формулой
со
(9.6)
Разорение происходит тогда и только тогда, когда в этом слу-
случайном блуждании при некотором п происходит событие {Sn^> z}.
Нахождение вероятности разорения сводится, следовательно, к
') Впервые этот результат был обнаружен, по-видимому, Ф. Полачеком
в 1952 г. и использован (в ином контексте) Ф. Спицером, The Wiener — Hopf
equation whose kernel is a probability density, Duke Math. /., 24 A947),
327—344. По поводу доказательства Спицера см. задачу 16.

§ 9. Процессы массового обслуживания 251
отысканию распределений величин Wn, образующих индуциро-
индуцированный величинами Xft процесс ожидания.
д) Численная иллюстрация. Наиболее важным процессом
массового обслуживания является процесс, в котором времена
между поступлениями требований и времена обслуживания
имеют показательные распределения с математическими ожида-
ожиданиями \/а и 1/6 соответственно, причем а<Ь. Характеристики
этого процесса описаны в примере (8.6). Время ожидания п-го
требования имеет предельное распределение W с атомом веса
1—а/b в начале координат и плотностью —г— ae~t-b~a')x при х>0.
Математическое ожидание этого распределения равно b (b__ •
Плотность распределения свободных периодов прибора совпа-
совпадает с плотностью первой нижней лестничной высоты и равна
ae~at. В рассматриваемом случае свободные периоды и времена
между поступлениями требований распределены одинаково (это,
однако, не является общим фактом для процессов массового
обслуживания).
Номер N первого требования, застающего прибор свобод-
свободным, имеет производящую функцию p(s)/a, где p(s) —функция,
задаваемая формулой (8.4). Рассмотрим теперь период заня-
занятости, начинающийся в момент 0, т. е. время до первого момен-
момента, когда прибор оказывается свободным. Поскольку этот пе-
период начинается с поступления требования номер 0, то случай-
случайная величина N равна числу требований, поступивших в тече-
течение первого периода занятости. Простой подсчет показывает, что^
случайная величина N имеет математическое ожидание b/(b—а)
и дисперсию ab(a + b)l(b — аK.
Пусть, наконец, Т есть длительность периода занятости. Точ-
Точное выражение плотности Т дается формулой гл. XIV, F.15) с
ср = а и cq = b. Это выражение содержит бесселеву функцию и
не поддается простым вычислениям. Тем не менее моменты ве-
величины Т могут быть найдены с помощью ее преобразования
Лапласа, полученного иными методами в примерах гл. XIV, D.а)
и XIV. F.6). Они равны
В рассматриваемом процессе ожидания периоды занятости
чередуются со свободными периодами, и их математические ожи-
ожидания равны соответственно 1/F — а) и I/a. Следовательно, от-
отношение (Ь — а)/а есть мера доли времени, в течение которого
прибор остается свободным.

.252
Гл. VI Некоторые важные распределения и процессы
Таблица
Время ожидания
(стационарный
режим)
Период занятости
Число требований
в течение пе-
периода занятости
Математическое
ожидание
Дисперсия
Математическое
ожидание
Дисперсия
Математическое
ожидание
Дисперсия
ь = 1
0,6 а = 0,7 а = 0,8 а = 0,9 в = 0,95
1
3
2
12
2
6
1,5
5,3
2,5
25
2,5
15
2,3
10
3,3
63
3,3
44
4
24
5
225
5
180
9
99
10
1900
10
1710
19
399
20
15600
20
14820
В таблице математическое ожидание времени обслуживания
принято за единицу, так что а представляет собой математиче-
математическое ожидание числа требований, поступающих в течение вре-
времени обслуживания одного требования. Как видно из таблицы,
дисперсии периодов занятости очень велики. Следовательно,
нужно ожидать больших флуктуации периодов занятости. Та'
ким образом, обычная доверчивость к математическим ожида-
ожиданиям весьма опасна в практических приложениях. Для перио-
периода занятости с дисперсией 225 тот факт, что математическое
ожидание его равно 5, мало о чем говорит.
Многомерный аналог рассмотренного нами процесса массового обслужи-
обслуживания аналитически гораздо более сложен. Основы его теории были заложены
в фундаментальной работе Дж. Кифера и Дж. Вольфовица [On the theory
of queues with many servers, Trans. Amer. Math. Soc, 78 A955), 1 —18].
§ 10. Возвратные и невозвратные случайные блуждания
В настоящем параграфе дается классификация случайных
блужданий. Эта классификация не зависит от материала § 8
и тесно связана с теорией восстановления, изложенной в пара-
параграфе 6. Каждой функции распределения F на прямой поставим
формально в соответствие функцию интервалов
?/{/}= 2/=**{/}.
ft-0
(ЮЛ)
Ряд в A0.1) тот же, что и в F.2), но, если распределение F не
сосредоточено на полупрямой, он может расходиться даже, ко-

§ 10. Возвратные и невозвратные случайные блуждания 253
гда / есть конечный интервал. Ниже будет показано, что сходи-
сходимость или расходимость ряда A0.1) имеет глубокий смысл. Ос-
Основные результаты настоящего параграфа просты, однако их
формулировки, к сожалению, усложняются необходимостью от-
отдельного рассмотрения арифметических распределений1).
Обозначим, для краткости, 1ъ. и Ih+t интервалы —h<x<.h и
/ — h<x<t + h соответственно.
Теорема 1. (i) Если распределение F неарифметическое,
то либо ?/{/}< оо для всех конечных интервалов, либо ?/{/} = оо
для всех интервалов.
(И) Если F— арифметическое распределение с шагом X, то
либо ?/{/}< оо для всех конечных интервалов, либо ?/{/} = оо для
всякого интервала, содержащего точку вида пХ.
(Hi) Если ?/{/}<оо, то
U{Ih + t}<U{I2h} A0.2)
при всех t и Л>0.
Для облегчения ссылок на два возможных случая введем
следующее определение (в этом определении F наделяется при-
прилагательными, которые в действительности относятся к соответ-
соответствующему случайному блужданию).
Определение. Распределение F называется невозврат-
невозвратным, если ?/{/}< оо для всех конечных интервалов, и возврат-
возвратным в противном случае.
Имея чисто вероятностное значение, теорема 1 связана так-
также с интегральным уравнением
Z = z + F*Z, A0.3)
аналогичным уравнению восстановления F.4). Мы используем
интегральное уравнение A0.3) как исходную точку и докажем
теорему 1 одновременно со следующим предложением.
Теорема 2. Пусть z — непрерывная функция, такая, что
0^z(x) ^ цо при \x\<h и z{x)=0 вне интервала Ih.
Если F — невозвратное распределение, то функция
со
Z(jc)= J z(x — y)U{dy) A0.4)
') Распределение F арифметическое, если все его точки роста принадле-
принадлежат множеству вида 0, ±А, ±2Х, .... Наибольшее число А, обладающее этим
свойством, называется шагом F (см. гл. V, 2).

254 Гл. VI. Некоторые важные распределения и процессы
является равномерно непрерывным решением уравнения A0.3),
удовлетворяющим условию
A0.5)
Максимум функции Z достигается в некоторой точке интерва-
интервала /;,.
Доказательствотеорем 1 и 2. (i) Предположим, что
?/{/а}<оо при некотором а>0. Возьмем h <"а' и ПУСТЬ функ-
функция z равна нулю вне /^ но не обращается в нуль тождествен-
тождественно. Будем решать уравнение A0.3) методом последовательных
приближений, положив Z0 = z и
СО
Zn(x) = z(x) + jZn_l(x-y)F{dy}. A0.6)
— оо
Обозначив
Ua[/)=F**{/}+ ...+Fa*{f], A0.7)
имеем, очевидно,
оо
Zn(x)= J z{x-y)Un{dy) A0.8)
— со
(интегрирование в действительности распространяется на интер-
интервал длины <2/г). Так определенная функция Zn непрерывна. По-
Покажем, пользуясь индукцией, что она достигает своего максиму-
максимума цп в точке %,п, такой, что г(|п)>0. Для функции Zo=2 это
верно тривиальным образом. Для перехода от и — 1 к п доста-
достаточно заметить, что z(x)=0 влечет Zn(x) ^jin_i, в то время
как (х„ > Zn (In-i) > Zn-i (gn-i) = M.n-1-
Следовательно, интервал Ih + ln содержится в интервале hn,
и поэтому в силу A0.8)
A0.9)
Тем самым доказано, что функции Zn равномерно ограничены.
Поскольку Zo <1 Zt -С . . , то отсюда вытекает, что Zn —> Z, при-
причем функция Z удовлетворяет неравенствам A0.5). Выбирая
функцию z так, чтобы z(x)—\iu при |х| <т]</г, имеем
A0.10)
откуда следует, что {/{/}<оо для каждого интервала длины <h.
Разбивая произвольный конечный интервал / на малые интер-
интервалы, находим ?/{/}< оо. Таким образом, распределение F не-
невозвратно, и мы можем отбросить ограничение на h. Из A0.9)

§ 10 Возвратные и невозвратные случайные блуждания 255
и A0.10) вытекает A0.2). Наконец, беря разности значений Z
в форме A0.4), получаем
Z(x)\<U{/2h}- \г(х + 6) -г(х)
Следовательно, функция Z равномерно непрерывна, и, таким
образом, все утверждения, касающиеся невозвратного распреде-
распределения F, доказаны.
(и) Предположим теперь, что U{/a} = oo при всех а>0. Если
щ в интервале /,,, то имеет место A0.10) и, следовательно,
zn(x) —> со при всех х из некоторой окрестности нуля. Отсюда
и из A0.6) вытекает, что если t — точка роста F, то Zn(x)-voo
для всех х из некоторой окрестности t. Пользуясь индукцией,
легко вывести, что то же самое верно для всех точек роста лю-
любой из функций распределения F2*, F3*, .... Предположим, что
распределение F не арифметическое. Оно не может быть сосре-
сосредоточенным на полупрямой, так как тогда мы имели бы ?/{/а}<
<оо (§ 6). В силу леммы 2 из гл. V, 4 точки роста функций
F2*, Fa*, . . . образуют плотное множество на прямой и поэтому
Zn (х) -* со при всех х. Отсюда вытекает, что ?/„{/} -> оо для всех
интервалов. С очевидными изменениями это же рассуждение
применимо к арифметическим распределениям. Теоремы дока-
доказаны. >
Следствие. Пусть Z>-0 — ограниченное решение уравне-
уравнения восстановления A0.3). Если г^0 и z>-|x>0 в некотором
интервале I, то распределение F невозвратно.
Доказательство. В случае, когда / содержит начало
координат, доказательство леммы содержится в доказательстве
теоремы. В общем случае можно воспользоваться заменой х
на х — а, которая не нарушает уравнения восстановления. >
Замечание о единственности. Разность t, двух ограниченных
решений уравнения восстановления A0.3) удовлетворяет урав-
уравнению ? = /¦*? В гл. XI, 2 будет показано, что если F — неариф-
неарифметическое распределение, то ? = const, а если F — арифметиче-
арифметическое распределение с шагом X, то ? — периодическая функция с
периодом К. За исключением этой неопределенности, решение
уравнения A0.3) единственно. Частное решение, определяемое
формулой A0.4), минимально и, следовательно, однозначно ха-
характеризуется тем свойством, что lim inf Z(x) = 0, когда г обра-
l |
щается в нуль на бесконечности.
Мы еще вернемся к уравнению восстановления A0.3) в па-
параграфах гл. XI.2 и гл. XI. 9, а сейчас выведем из теоремы 1

256 Гл. VI. Некоторые важные распределения и процессы
ряд следствий для случайных блужданий. Пусть Хь Х2, • • • —
независимые случайные величины с общим распределением F.
Положим Sn = X[ +... + Х„. Под «попаданием в / в момент п»
мы имеем в виду событие Sn? I.
Теорема З1). Если распределение F невозвратно, то чис-
число попаданий в каждый конечный интервал конечно с вероят-
вероятностью единица, а математическое ожидание числа таких попа-
попаданий равно U{I}.
Если F — возвратное неарифметическое распределение, то
число попаданий в каждый конечный интервал бесконечно с ве-
вероятностью единица. Если F — возвратное арифметическое рас-
распределение с шагом X, то число попаданий в каждую точку вида
пХ бесконечно с вероятностью единица.
Доказательство. Пусть распределение F невозвратно.
Вероятность попадания в / после момента п не превосходит
«-го остаточного члена ряда в A0.1), и поэтому для любого е>0
при достаточно больших п вероятность более чем п попаданий
не превосходит е. Тем самым первое утверждение теоремы до-
доказано.
Предположим теперь, что F — возвратное неарифметическое
распределение. Обозначим через pu{t) вероятность хотя бы од-
одного попадания в //, + /. Достаточно показать, что рЛ(/) = 1 при
всех /г>0 и t, поскольку отсюда с очевидностью следует, что
любое число попаданий в произвольный интервал имеет вероят-
вероятность 1. Рассматривая возможные значения суммы Si, получаем
Ph(t) = F{Ih-tt}+ J ph{t-y)F[dy}. A0.11)
\y-t\>h
Этому соотношению можно придать вид уравнения восстанов-
восстановления рл = г/! + /Г*рл, где
*а@= \ V-9kV-y)]F{dy). A0.12)
\y-t\ </i
') Другое доказательство можно найти в работе Chung К. L.,
F u с h s W. H. J., On the distribution о values of sums of random variables,
Memoirs Amer. Math. Soc, 6 A950), 1 —12. Эта теорема непосредственно
вытекает также из второго закона нуля и единицы (см. гл. IV, 6). Если
(f(I+t) есть вероятность бесконечного числа попаданий в интервал / + /, то
при фиксированном / функция ф может принимать лишь два значения: 0 и 1.
С другой стороны, рассматривая первый шаг случайного блуждания, видим,
что ф = /г*ф, откуда 9 = const (см. гл. XI, 2). Приводимое в тексте доказа-
доказательство мы предпочли из-за его поучительности, а также с целью сделать
содержание этого параграфа замкнутым.

§ 10. Возвратные и невозвратные случайные блуждания 257
Далее, при \х\<а интервал Ih + x содержится в интервале /а+н,
и поэтому Ph{x) <pft+a@). Отсюда следует, что подинтеграль-
ное выражение в A0.12) не меньше 1 —Рзл@), и если бы было
1—Рз/г@)>0, то функция Zh{t) была бы равномерно больше
нуля в некоторой окрестности каждой точки роста функции F.
Так как это в силу следствия к теореме 2 невозможно, то
ра@) = 1 при всех а>0.
Предноложим теперь, что ра(—х) < 1 при некотором хфО.
Если \y-\-x\ < -о-а и А<-д-а, то интервал 1н + у содержится в
интервале 1а — х, и поэтому ph(y)^-pa(—я). Это означает, что при
достаточно малых h функция 1 — ph от у строго положительна
при у, принадлежащих некоторой окрестности точки —х. Рас-
Рассмотрим теперь A0.11) при / = 0. Если бы точка х была точкой
роста F, то правая часть была бы меньше единицы, в то время
как левая часть равна единице. Таким образом, если х есть
точка роста F, то ра(—х) = 1 при всех а>0. Отсюда, опираясь
на лемму 2 из гл. V, 4 и используя рассуждение из пункта (II)
доказательства теоремы 2, выводим, что ра(х) = \ при всех х.
Тем самым вторая часть теоремы доказана для неарифметиче-
неарифметических распределений F. С очевидными изменениями проведенное
доказательство применимо и к арифметическим распределе-
распределениям. $*
При проверке, является ли заданное распределение F воз-
возвратным или невозвратным, иногда бывает трудно установить
непосредственно, что ?/{/„} = оо. Задачу облегчает следующее
свойство невозвратных распределений: если распределение F
невозвратно, то отношение t~lU{It} остается ограниченным при
/—>оо. Свойство это немедленно вытекает из A0.2) (верхняя
граница для t~lU{It} равна U{h}). Проиллюстрируем применение
этого метода.
Теорема 4. Распределение с математическим ожиданием ц
является невозвратным, если усФО, и возвратным, если \х = 0.
Доказательство1). Пусть |я>0. Из усиленного закона
больших чисел вытекает, что с вероятностью единица n~lSn > -я ц
при всех достаточно больших «> и поэтому вероятность бесконеч-
бесконечного числа попаданий в полупрямую —сю, 0 равна нулю.
') Это доказательство принадлежит К. Л. Чжуну и Д. Орнштейну.
Используя вместо усиленного закона больших чисел центральную предельную
теорему, тем же методом можно показать, что двумерное случайное блужда-
блуждание с нулевыми математическими ожиданиями и конечными дисперсиями воз-
возвратно. Иное доказательство содержится в гл. XVIII, 7.

258 Гл. VI. Некоторые важные распределения и процессы
Пусть [л=0. По закону больших чисел имеем Р {| Sn | < е«}>
> у при п>пе. Отсюда следует, что Fk* {—а, а} > -д- при
nE<k<e~1a, и поэтому a~lU {—а, а) > -^(t~l — пга~1). При
а—> оо правая часть последнего неравенства стремится к Ye~l
и, поскольку е произвольно, распределение F не может быть не-
невозвратным. >
При возвратном случайном блуждании последовательность
{Sn} меняет знак бесконечно часто, и поэтому соответствующие
такому блужданию верхние и нижние лестничные процессы воз-
возвратны. Можно считать удивительным, что обратное утвержде-
утверждение неверно. Даже при невозвратном случайном блуждании по-
последовательность {Sn} может менять знак бесконечно часто. Так
как при невозвратном блуждании число попаданий в конечный
интервал —а, а конечно, то это означает (очень грубо говоря),
что перемены знаков происходят из-за отдельных скачков весь-
весьма большой величины: величина |Sn| перерастает все границы,
но поразительное неравенство Xn+i<—Sn — а осуществляется
бесконечно часто, как бы велика ни была постоянная а.
Рис. 2 (см. стр. 259) иллюстрирует, как происходят большие
скачки, однако он не вполне отражает рассматриваемое явление,
поскольку распределение пришлось урезать, чтобы получить ко-
нечный график.
Пример. Симметричные устойчивые распределения. Симмет-
Симметричное устойчивое распределение F удовлетворяет условию
Fn*(nllax) =F(x). Рассмотрим случай ос<1 и будем считать из-
известным, что F имеет плотность /, для которой /@)>0 (см.
гл. XVIII, 6). Имеем, очевидно,
Fn*{—a, а}
и поэтому Щ—а, а}<ао. Таким образом, F — невозвратное рас-
распределение. Нетрудно видеть, что верхний и нижний лестничные
процессы не могут оба быть обрывающимися, и в рассматривае-
рассматриваемом случае из соображений симметрии ясно, что оба эти про-
процесса возвратные.
§ 11. Общие марковские цепи
Дискретные марковские цепи A, гл. XV) довольно очевид*
ным образом обобщаются на случай декартовых (и более об-
общих) пространств состояний. В случае дискретных цепей вероят-
вероятности перехода задавались стохастической матрицей с элемен-

§ П. Общие марковские цепи 259
тами рц, строки которой образовывали вероятностные распреде-
распределения. Теперь нам придется рассматривать переходы из точки х
в некоторый интервал или множество Г в Мп. Вероятность
/•¦•-•
I- I I I I I I I I I I I I I I I I I I i' I I I I I
Рис. 2. Случайное блуждание, порожденное распределением Коим.
(Распределение б.ыло урезано с тем, чтобы устранить скачки, превышающие по вели-
величине размер графика.)
такого перехода мы обозначим К{х, Г). Чтобы обосновать суще-
существование потребующихся нам интегралов, мы должны нало-
наложить на К некоторые неограничительные условия регулярности.
Требования непрерывности хватило бы для большинства прак-
практических целей, однако, накладывая это требование, мы ничего
не выигрываем по сравнению с более общим случаем.
Определение 1. Стохастическим ядром К. называется
Функция от двух переменных, точки и множества, такая, что (i)
при любом фиксированном х К{х, Г) является вероятностным

260
Гл. VI. Некоторые важные распределения и процессы
распределением по Г, и (и) для любого фиксированного интер-
интервала Г К(х, Г) есть бэровская функция по х.
Это определение относится к любому числу измерений (и
даже к более общим пространствам).
Мы не требуем, чтобы ядро К было определено на всем про-
пространстве. Если х и Г являются подмножествами множества Q,
то мы говорим, что К сосредоточено на Q. Иногда необходимо
допустить несобственные (дефектные) распределения, и в этом
случае ядро К называют субстохастическим. Нередко К можно
представить в виде
К(х; Г)= $ k(x, y)dy. (ll.l)
г
Функция k в A1.1) называется плотностью стохастического
ядра. В соответствии с соглашением гл. V, C.3) соотношение
A1.1) кратко записывается в виде
К(х, dy)=k(x, y)dy.
[Строго говоря, k есть плотность по отношению к мере Лебега
или длине; в случае произвольной меры m мы бы использовали
запись К(х, dy)—k(x, y)m{dy}.]
Прежде чем давать формальное определение марковской
цепи, подготовим соответствующий аналитический аппарат по
аналогии со случаем дискретных цепей. Вероятность перехода
из х в Г за два шага положим по определению равной
К™(х, Г)= J K(x, dy)K(y, Г). A1.2)
Q
Множество Q в A1.2) либо есть все пространство, либо совпа-
совпадает с тем множеством, на котором сосредоточено ядро К- Соот-
Соотношение A1.2) выражает, конечно, тот факт, что первый шаг
педет из точки х в некоторую точку у, а второй шаг — из точ-
точки у в множество Г. Основное допущение состоит в том, что при
заданной промежуточной точке у прошлая история не влияет на
дальнейшие переходы. Аналогичное можно сказать о /(<"' — ве-
вероятности перехода за п шагов. Если положить /(('> = /(, то для
произвольных целых положительных m и п должно быть
K{m+n)(x, Y)= \ K"n\x, dy)K{n){y, Г). (Ц.З)
Когда т = п= 1, эта формула сводится к A1.2). При т, п= 1,2,...
формула A1.3) последовательно определяет вероятности пере-
перехода /\(п>. Обозначим для согласованности символом /С@) вероят-
вероятностное распределение, сосредоточенное в точке х (кронекеров-

§ II. Общие марковские цепи 261
ское ядро). Тогда формула A1.3) будет справедлива при всех
т^О, л^-0. Операция над ядрами (П.З), нередко встречаю-
встречающаяся и вне теории вероятностей, называется сверткой ядер.
Она во всех отношениях схожа с перемножением матриц.
Вряд ли стоит специально отмечать, что ядра /С(п) являются
стохастическими. Если К имеет плотность, то все ядра/((Г1) имеют
плотности, причем эти плотности связаны формулами свертки
k(m+n) (x, г)=\ k{m) (x, у) k{n) (у, z) dy. A1.4)
a
Примеры, а) Свертки. Если k(x, у) —f(x — у), где /—вероят-
/—вероятностная плотность, то свертки A1.4) сводятся к обычным сверт-
сверткам. Аналогичное справедливо и в общем случае, если ядро К
однородно в том смысле, что
К(х, T)=K(x + s, T + s),
где T + s обозначает сдвиг множества Г на s. По поводу свер-
сверток на окружности см. теорему 3 в гл. VIII, 7.
б) Потери энергии при столкновениях. В физике последова-
последовательные столкновения частицы обычно рассматриваются как
случайный процесс. Считают, что если энергия (масса) частицы
до столкновения равна х>0, то после столкновения она пред-
представляется случайной величиной Y, для которой P{Y? Т} = К(х,Т),
где К — стохастическое ядро. Обычно предполагается, что воз-
возможны лишь потери и что отношение Y/x имеет функцию рас-
распределения, не зависящую от х. При этом P{Y--Cy)=G(y/x) и
функция G(y/x) определяет стохастическое ядро.
В аналогичной задаче о звездной радиации [пример гл. X,
B.в)] Амбарцумяном был рассмотрен частный случай, когда
6(у)=Ук при 0^г/-^1, где X — положительная постоянная.
Плотность соответствующего ядра сосредоточена на множестве
0<г/<х и равна kyx~[x-K. Нетрудно проверить, что плотность
вероятности перехода за п шагов выражается в рассматривае-
рассматриваемом случае формулой
\
, «/) = —^— ^(log^V \ 0<у<х. A1.5)
(я —1)! х'- \ у)
Значение К=\ соответствует равномерному распределению
(утерянная доля «распределена случайно»), и A1.5) сводится
при этом к гл. I, (8.2) [продолжение в примере гл. X., A.а)].
в) Случайные цепи. Рассмотрим цепь (или ломаную линию)
в Мъ со звеньями длины единица и со случайными углами между
соседними звеньями. Много конструкций подобного рода (часто

262 Гл. VI. Некоторые важные распределения и процессы
довольно сложных) встречается в химии полимеров. Мы ограни-
ограничимся рассмотрением случая, когда последовательные углы яв-
являются независимыми случайными величинами.
Под длиной цепи с концевыми точками А и В мы понимаем
расстояние между А и В. В результате добавления одного звена
к цепи длиной х получается цепь длиной Yх<2 ~*г 1 — 2л; cos 0,
где 9 — случайный угол между новым звеном и прямой, про-
проходящей через точки А в В. Рассмотрим два распределения 0,
особенно интересных в химии.
(i) Пусть 0 принимает значения 60° и 120° с вероятностью
¦j каждое. Тогда cos Э = ± у и длина продолженной цепи опре-
определяется стохастическим ядром К(х, Г), наделяющим каждую
из двух точек Y*2 — х~"Ь 1 вероятностью у. При фиксирован-
фиксированном х распределение /С(и) сосредоточено на 2П точках.
(и) Пусть направление нового звена выбирается «вполнеслу-
«вполнеслучайно», т. е. предположим, что величина cos0 распределена рав-
равномерно на интервале —1, 1 [см. гл. 1,10]. Длина продолжен-
продолженной цепи не превосходит у тогда и только тогда, когда cos 6^
>[х2+1—у2]/2х. Отсюда следует, поскольку величина cos&
распределена равномерно, что длина продолженной цепи опре-
определяется стохастическим ядром с плотностью
Цх,у)=у12х, \х—\\<у<х+\.
Длина Ln+i цепи с п+\ звеньями имеет плотность ?<™>A, у) (см.
задачу 18).
г) Дискретные цепи Маркова. Стохастическую матрицу (p,j)
можно рассматривать как плотность k(i, j)=pa определенного
на множестве Q целых положительных чисел стохастического
ядра по отношению к мере пг, наделяющей каждую точку мно-
множества Q единичной массой. Эту плотность можно продолжить
на всю прямую, положив K(i,dy) =m{dy}, где мера m равна
нулю на дополнении Q'. При х(?п значения К(х, Г) можно
определить произвольно, например с помощью линейной интер-
интерполяции. >
Абсолютные и стационарные вероятности
Последовательность случайных величин Хо, Хь .. . подчинена
вероятностям перехода /С<п), если Kw(x, Г) является условной
вероятностью события {Хт+п 6 Г} при условии \т=х. Вероятно-

§ 11. Общие марковские цепи 263
стное распределение величины Хп при заданном распределении
•уо величины Хо выражается формулой
Уп (П = J Yo [dx\ K^{x, Г). A1.6)
а
Определение 2. Распределение у0 называется стационар-
стационарным распределением ядра К, если Yn = Yo nPu всех п> т- е' если
Yo (И = Jvo {<**}*(*, Г). A1.7)
Основные свойства стационарных распределений те же, что
и в случае дискретных марковских цепей. При выполнении не-
нежестких требований регулярности на К существует единствен-
единственное стационарное распределение; оно является асимптотическим
распределением величин Х„ при любом исходном распределении.
Иными словами, влияние начального состояния исчезает и си-
система стремится к устойчивому состоянию, определяемому ста-
стационарным решением. Этот результат является одной из форм
эргодической теоремы (см. гл. VIII, 7).
Примеры, д) Процесс ожидания {Wn}, определенный в (9.1),
является марковским процессом, сосредоточенным на замкнутой
I
полупрямой 0, оо. Вероятности перехода определены здесь лишь
для х, i/^-Ои при Г=0, у имеем К(х, T)=F(y — х). Существо-
Существование стационарной меры будет доказано в гл. VIII, 7.
е) Пусть Хь Х2, ... — взаимно независимые положительные
случайные величины с непрерывной плотностью /, сосредоточен-
сосредоточенной на 0, оо. Определим случайные величины Y& последователь-
последовательно посредством формул
У^Хь Yn+1=lYn-Xn+i|. (I1.8)
Последовательность {Yn} образует сосредоточенный на 0, оо
марковский процесс с плотностями вероятностей перехода
., , ( f(x y) + f(x + y) при 0<у<х,
k(x, у) — { ,, . . ^ А A1.9)
I f(x-\-y) при у>л;>0. V ;
Стационарная плотность g определяется уравнением
со оо
g{y)=\ g{x + y)f{x)dx+\ g{x)J{x + y)dx. A1.10)
о о
Пусть F — отвечающая f функция распределения и предполо-
предположим, что Х4 имеет математическое ожидание ц. Тогда функция
g(y)=vrl[l-F(y)] A1.11)

264 Гл. VI. Некоторые важные распределения и процессы
является стационарной плотностью вероятности. В самом деле,
с помощью простого интегрирования по частям можно убе-
убедиться, что g удовлетворяет уравнению A0.10) '). С другой сто-
стороны, из гл. V, F.3) следует, что g есть плотность вероятности
(см. задачу 17).
ж) Одно техническое приложение2). Длинная линия пере-
передачи состоит из отдельных кусков кабеля, характеристики ко-
которых подвержены статистическим флуктуациям. Будем считать
отклонения от идеального значения независимыми случайными
величинами Yb Y2, ... и предположим, что эффект их аддити-
аддитивен. Перемена направления кабеля меняет знак его привзноса.
Предположим, что отклонения \h симметричны, и обозначим
Xfc=|Yft|. Эффективную конструкцию длинной линии передачи
можно осуществить по следующему индуктивному правилу:
(«+1)-й кусок кабеля подсоединяется так, что соответствующая
ему ошибка имеет знак, противоположный знаку накопленной
ошибки предыдущих п кусков. Накопленные ошибки подчи-
подчиняются тогда правилу A1.8), и A1.11) является не только ста-
стационарной плотностью, но и предельным распределением: рас-
распределение ошибки линии, состоящей из п кусков кабеля, близко
(при больших п) к распределению с плотностью A1.11). С дру-
другой стороны, если бы отдельные куски кабеля подсоединялись
независимо, то была бы применима центральная предельная тео-
теорема и дисперсия ошибки росла бы линейно по п, т. е. линейно
относительно длины кабеля. Таким образом, простой контроль
знака ошибки не дает ей разрастаться. <*>
В приведенных примерах марковская последовательность
Хо, Xi, . . . определялась в терминах начального распределения yo
и вероятностей перехода К- Совместное распределение величин
(Хо, Хь . . . , Х„) имеет вид
yo{dxo}K(xo, dxi) ... К(хп-и dxn).
Распределения такого вида уже обсуждались в гл. 111,8 и 1,
гл. XV, 1. Мы имеем здесь типичный пример, показывающий
преимущество определения абсолютных вероятностей в терми-
терминах условных вероятностей. Более систематичным был бы дру-
') Как обнаружить такого рода результат? Предположив, что функции
/ и g имеют производные, можно формально продифференцировать A0. 10).
Интегрируя далее по частям, приходим к уравнению g'(y)=-—g(O)f(y), из
которого вытекает, что функция g должна иметь вид A1.11). Непосредствен-
Непосредственная проверка показывает теперь, что A1.11) является решением A1.10) без
предположений о дифференцируемое™ f и g.
2) Обобщение дискретной модели, использовавшейся фон Шеллингом,
Elektrische Nachr.-Technik, 20 A943), pp. 251—259.

§ 12 Мартингалы 265
гой подход, а именно — взять в качестве определения соотно-
соотношение
Р{Х„+1€Г|Хо = л'о> ..., Хп = хп} = К(хп,Т). A1.12)
Марковское свойство выражено здесь тем обстоятельством, что
правая часть не зависит от х0, хи • • • , A'n-i, и поэтому «предыс-
«предыстория» не влияет на будущее. Недостаток этого определения со-
состоит в том, что оно вынудило бы нас заняться бесполезным
рассмотрением вопросов существования условных вероятностей,
их единственности и т. п.
(Марковские процессы с непрерывным параметром изучают-
изучаются в гл. X.)
§ 12*. Мартингалы
Для первой ориентировки можно рассмотреть случайный
процесс {Х„}, обладающий тем свойством, что совместное рас-
распределение величин (Хо, . .., Х„) имеет строго положительную
непрерывную плотность рп (п = 0, 1, ...). При этом элементар-
элементарный метод гл. III, 2 позволяет всюду определить условные плот-
плотности и условные математические ожидания. Предположим
также, что рассматриваемые величины Х„ и Yn имеют матема-
математические ожидания.
Последовательность {Х„} назовем абсолютно беспристраст-
беспристрастной (безобидной), если при и =1,2,...
Е(Х1)=0, E(Xn+1iXi, ..., Хп)=0. A2.1)
Последовательность {Yn} является мартингалом, если
E(Yn+1|Y0, .... Yn)=Yn. A2.2)
(Ниже будет дано более гибкое определение.)
Между этими двумя типами последовательностей имеется
простая связь. Пусть {Х„} — абсолютно беспристрастная после-
последовательность. Положим
+ с, A2.3)
где с — постоянная и и =1,2,... . Тогда
E(Yn+1|X1)...,Xn)=Yn. A2.4)
Задающие условие величины X в A2.4) могут быть заменены
на Yft, и поэтому A2.4) эквивалентно A2.2). С другой стороны,
если последовательность {Yn} — мартингал, то положим Xt =
~Yi — E(Yi) и Xn+i = Yn+i — Yn. Так построенная последова-
*) Мартингалы очень важны, и поэтому им посвящен отдельный пара-
параграф. Однако нигде в этой книге мартингалы не используются в качестве
аппарата.

266 Гл. VI. Некоторые важные распределения и процессы
тельность {Хп} абсолютно беспристрастна и, кроме того, для
рассматриваемых величин Xj, Yft выполняется A2.3) с c = E(Y1).
Таким образом, последовательность {Yn} образует мартингал то-
тогда и только тогда, когда она имеет вид A2.3), где {Х„} — абсо-
абсолютно беспристрастная последовательность.
Понятие мартингала было введено П. Леви. Затем
Дж. Л. Дуб обнаружил неожиданные возможности аппарата
мартингалов и развил их теорию1). В гл. VII, 8 будет показа-
но, что при выполнении нежестких условий ограниченности об-
образующие мартингал величины Yft сходятся к пределу. Этот
факт имеет важное значение в современной теории вероятност-
вероятностных процессов.
Примеры, а) В классических играх случайные величины Хк
независимы и имеют нулевое математическое ожидание:
Е(ХЙ)=О. Такая игра абсолютно безобидна2)» и частные суммы
Sn = X!+...+Xn образуют мартингал. Рассмотрим теперь
обычную игру в орлянку, в которой игрок выбирает ставку по
некоторому правилу, учитывающему его успехи в предыдущих
турах. Последовательные выигрыши не являются уже незави-
независимыми, но игра по-прежнему абсолютно безобидна.
Смысл безобидной игры состоит в том, что знание прошлой
истории игры не должно давать игроку возможности увеличить
его капитал. Наглядно это означает, что абсолютно безобидная
игра должна оставаться таковой при любой системе игры, т. е.
при любых правилах пропуска отдельных туров. Мы увидим, что
это именно так и есть.
б) Урновая схема Пойа [1, гл. V B, в)]. Из урны, содержа-
содержащей b черных и г красных шаров, выбирается наудачу один
шар. Затем этот шар возвращается и, кроме того, в урну доба-
добавляется с шаров того же цвета, что и выбранный шар. Пусть
Уо— , , и пусть Yn есть доля черных шаров, оказавшихся
в урне в результате я-ro извлечения. Последовательность {Yn}
является мартингалом. Теорема о сходимости обеспечивает здесь
существование предельного распределения [см. примеры гл. VII,
D.а) и гл. VII (8.а)].
в) Конкордантные3) функции. Пусть {Хп} — марковский про-
процесс с вероятностями перехода, задаваемыми стохастическим
') Более полно теория мартингалов излагается в книгах Дуба и Лоэва.
2) О практической ограниченности этого понятия говорилось в 1,
гл. X, 3. Напомним, что существуют «безобидные» игры, в которых с вероят-
вероятностью, большей 1 — е, выигрыш игрока в п-й игре превосходит, скажем,
«/log п.
3) Этот термин был введен Дж. Г. Хантом.

§ 12. Мартингалы 267
ядром К. Существование математических ожиданий величин Х„
не предполагается. Функция и называется конкордантной по
отношению к К, если
J(x, dy)u(y). A2.5)
Рассмотрим случайные величины \k = u(Xh) и предположим, что
все моменты \„ существуют (так будет, например, если функ-
функция и ограничена). Соотношение A2.5) означает, что
E(Yft+i|Xft=x)=w(x), откуда E(Yft+1|X7i) =Yft. Следовательно,
поскольку последовательность {Х^} марковская, имеет место
A2.4), а так как величины Yfe являются функциями от Xft, то
A2.4) влечет A2.2) [см. гл. V, 10.а]. Таким образом, последова-
последовательность {Yn} является мартингалом. Этот результат имеет
большое значение в граничной теории марковских процессов,
поскольку существование предела последовательности {Yn} обыч-
обычно влечет существование предела исходной последовательности
{Х„} [см. примеры (е) и гл. VII, (8.в)].
г) Отношения правдоподобия. Пусть Хь Х2,... — последова-
последовательность случайных величин и пусть известно, что совместное
распределение величин (Хь ...,ХП) имеет либо плотность р„,
либо плотность qn, однако неизвестно, какую именно. Чтобы
прийти к какому-то решению, в статистике вводятся новые слу*
чайные величины
Ч( Х)
п
Рп (Ль • • •. Лл)
Ясно, что если выполнены достаточно сильные условия регуляр*
ности и если истинными плотностями являются рп, то наблю-
наблюденные значения величин Xt, . . . , Х„ в среднем будут группиро-
группироваться вокруг тех точек, где рп относительно велико. Когда дело
обстоит именно так, величина Yn, вероятно, будет малой или
большой смотря по тому, является ли истинной плотностью рп или
Qn- Таким образом, асимптотическое поведение величин {Yn}
представляет интерес в теории статистических решений.
Предположим для простоты, что плотности рп строго поло-
положительны и непрерывны. Если истинными плотностями являются
Рп, то условная плотность распределения величины Xn+t при за-
заданных Х4, . .. , Хп равна отношению pn+dPn и, следовательно,
i — Xu . • •» лп— xn) —
со
ssss I ¦ — •

268 Гл. VI. Некоторые важные распределения и процессы
В подинтегральном выражении функции pn+i сокращаются, а
знаменатель второй дроби не зависит от у. Интегрирование
qn+\ дает в результате частную плотность qn. Таким образом,
интеграл в A2.7) равен qjpn и поэтому выполняется A2.4).
Следовательно, при сделанных предположениях отношения пра-
правдоподобия Yn образуют мартингал. >
Условия, относительно которых берутся условные матема-
математические ожидания в A2.2), не являются вполне удачными, по-
поскольку нередко приходится заменять задающие условия вели-
величины Yb . .., Yn некоторыми функциями от них [примером этого
является A2.4)]. Еще больший дефект такого задания условий
обнаруживается в примере (а). Рассматриваемый процесс (ска-
(скажем, игра в орлянку или рулетку) описывается последователь-
последовательностью случайных величин Z,,, и выигрыш игрока в (п+1)-м
туре есть функция от Zi, . . . , Zn+J, а также, возможно, от неко-
некоторых других величин. Наблюдаемое прошлое представляется
величинами (Zb ...,Zn), которые могут содержать в себе боль-
больше информации, чем предыдущие выигрыши. Например, если
игрок не участвует в турах с номерами 1, 3, 5,..., то знание
его выигрышей до момента 2/г в лучшем случае эквивалентно
знанию величин Z2, Z4, . . . , Z2rt. При этом дополнительное зна-
знание величин Zb Z3> . . . в принципе может давать некоторое пре-
преимущество, и абсолютная безобидность в таком случае должна
иметь в качестве условий величины Zb . . . , Zn. Таким образом,
может оказаться необходимым рассматривать условные ожида-
ожидания по отношению к различным множествам случайных вели-
величин, и, чтобы охватить все возможные ситуации, лучше всего ис-
использовать условные ожидания по отношению к произвольным
а-алгебрам событий.
Рассмотрим последовательность {Yn} случайных величин на
произвольном вероятностном пространстве и обозначим %п
о-алгебру событий, порожденную величинами (Yb . . . , Yn) [см.
гл. V, 10.а]. Определяющее мартингалы соотношение A2.2) мо-
можно записать в виде E(Yn+1121„) = \„. Мы хотим дать более
общее определение мартингалов в форме последнего соотно-
соотношения с той разницей, что сг-алгебра %п заменяется более
богатой событиями а-алгеброй 93П. В большинстве случаев с>*
алгебра 23„ будет порождаться величинами Yb . .. , Yn и не-
некоторыми другими величинами, зависящими от прошлого. Идея
состоит в том, чтобы любая зависящая от прошлого случай-
случайная величина была измерима относительно 23П, и в этом смыс-
смысле ст-алгебра Ъп представляет ту информацию, которая содер-
содержится в прошлой истории процесса. Поскольку информация о
прошлом растет со временем, то мы предположим, что а-алгебры

§ 12 Мартингалы 269
S3n возрастают
^cSBjC... A2.8)
Определение. Пусть Yi, Y2, ... — случайные величины,
математические ожидания которых существуют, и пусть 231;
239, ... — суть а-алгебры событий, удовлетворяющие усло-
условию A2.8).
Последовательность {?„} образует мартингал по отношению
к {23„}, если
1|33Л) = УЯ. A2.9)
[В силу неединственности условных математических ожида-
ожиданий равенство A2.9) следует понимать в следующем смысле:
«существует вариант условного математического ожидания, для
которого выполняется A2.9)». Это замечание относится и к
дальнейшему]. Отметим, что из A2.9) вытекает 23„-измери-
мость величины Y,,, и поэтому а-алгебра 93„ содержит поро-
жденнчю величинами Yb ..., Yn cr-алгебру %„. Таким образом,
последовательность {Yn} является также мартингалом по отно-
отношению к последовательности а-алгебр {2(„}, т. е. имеет место
A2.2).
Пример, д) Пусть а-алгебры 33„ удовлетворяют условию
A2.8) и пусть Y — случайная величина, математическое ожи-
ожидание которой существует. Положим Yn = E(Y|93n). Величины
Yn 23„-измеримы и поэтому удовлетворяют соотношению A2 9).
Следовательно, последовательность {?„} есть мартингал отно-
относительно {23„}. !>
Возвратимся теперь к примеру (а) и покажем невозмож-
невозможность систем игры довольно общего типа. Пусть {Yn} — мартин-
мартингал по отношению к {33„}. Для описания свободы игрока про-
пропускать п-й тур введем решающую функцию г„ '¦ ?п есть 93„_1«
измеримая ') случайная величина, принимающая лишь два зна-
значения 0 и 1. Если е„ = 0, то игрок пропускает п-й тур; при е„ = 1
он делает ставку, и в этом случае его выигрыш в п-м туре равен
Yn — Yn_i. Обозначив накопленный выигрыш вплоть до п-ro ту-
тура включительно через Ъп, имеем
ZB = Z/I_1 + e/I [?„-?„_,]. A2.10)
Из индуктивных соображений ясно, что величины Zn имеют ма-
математические ожидания. Кроме того, все величины Ъп-и еп и
YB_i ЗЗя_1-измеримы, и поэтому [см. гл. V, A0.8)]
') Это условие обеспечивает то обстоятельство, что решение принимается
па основе прошлых наблюдений.

270 Гл. VI. Некоторые важные распределения и процессы
Е (Ze | Эя_,) = Za_, Н- ея [Е (Уя | »„_,)- ?„_,]. A2.11)
Так как последовательность {Yn} — мартингал, то выражение в
квадратных скобках обращается в нуль, и, следовательно, по-
последовательность {Zn} тоже является мартингалом. Тем самым
мы доказали теорему Халмоша, утверждающую
Невозможность систем игры. Мартингал {Yn} пе-
переводится всякой последовательностью решающих функций еь
?2, ¦•• снова в мартингал {Zn}.
Наиболее важным частным случаем этого результата яв-
является случай так называемой произвольной остановки. Систе-
Система с произвольной остановкой — это такая система, когда в пер-
первых N турах игрок принимает участие, а от всех последующих
уклоняется; N-й тур является последним. Случайная величина N
"(момент остановки) удовлетворяет условию {N>Щ ? 93ft (в обо-
обозначениях теоремы е&=1 при N>&—1 и es = 0 при H^Sk—1).
Мы имеем стало быть такое
Следствие. Произвольная остановка мартингал переводит
в мартингал.
Примеры, е) Простое случайное блуждание на прямой начи-
начинается в начале координат. Частица переходит вправо на один
шаг с вероятностью р и влево на один шаг с вероятностью
q = \—р. Если Sn — положение частицы в момент п, то, как
легко видеть, величины Yn = (q/p)s» образуют мартингал, при-
причем E(Yn)=l и E(YO) = 1 [частный случай примера (в)].
В задаче о разорении случайное блуждание останавливается
в тот момент, когда оно впервые приводит в одну из точек — а, Ь
(а,Ь — целые положительные числа). В таком модифицирован-
модифицированном процессе —a*CSn^b и с вероятностью единица Sn стано-
становится равным и продолжает оставаться либо Ь, либо —а. Обо-
Обозначим соответствующие вероятности х и 1 — х. Поскольку ве~
личины S,, ограничены,
Но E(Yn) = l, так как математические ожидания образующих
мартингал величин совпадают. Следовательно, x(q/p)b+',
+ A—х) (q/p)~a = 1 и тем самым мы получили линейное урав-
уравнение для определения вероятности х остановки процесса в точ-
точке Ъ, которая иными методами была вычислена в 1, гл. XIV, 2.
Использованный метод не работает при p = q — 1fa, однако в этом
случае последовательность Sn образует мартингал и аналогич-

§ 12. Мартингалы 271
ное рассуждение показывает, что х=а/(а + Ь). Хотя результат,
к которому мы пришли, известен и весьма элементарен, исполь-
использованный метод иллюстрирует возможные применения теории
мартингалов.
ж) О системах игры. Пусть {Х„} — последовательность не-
независимых случайных величин, такая, что Х„ принимает значе-
значения ±2п с вероятностью у каждое. Чтобы решить, участвовать
ли в /г-м туре, игрок бросает монету. Вероятность того, что
впервые он примет участие в игре в n-м туре, равна 2~", и в
этом случае его выигрыш равен ±2П. При этом выигрыш игрока
при его первом вступлении в игру является случайной величиной
без математического ожидания. Теорема о системах игры свя-
связана, следовательно, с тем обстоятельством, что мы не меняем
временного параметра. >
Нередко приходится иметь дело с абсолютными величинами
и неравенствами, и в этих случаях важную роль играет понятие
субмартингала. Последовательность {Yn} называется субмартин-
субмартингалом1), если она удовлетворяет условиям определения мар-
мартингала с заменой знака равенства в A2.9) на >. На языке
теории игр переход от мартингалов к субмартингалам есть пе-
переход от абсолютно безобидных игр к абсолютно благоприят-
благоприятным играм. Если {Yn} — мартингал, то {|Yn|} — субмартингал.
Это вытекает из следующей более общей леммы.
Лемма. Пусть и — выпуклая функция и последователь-
последовательность {Yn} является мартингалом. Тогда если математические
ожидания величин M(Yn) существуют, то последовательность
{"(?„)} является субмартингалом.
Утверждение леммы непосредственно вытекает из неравен-
неравенства Иенсена [гл. V, (8.6)], которое применимо к условным ма-
математическим ожиданиям, так же как и к обычным. Согласно
этому неравенству, имеем
A2.12)
Остается заметить, что правая часть в A2.12) равна u(Yn).
Аналогично устанавливается, что, если {Yn} — субмартингал
и и — выпуклая неубывающая функция, то последовательность
{«(Yn)} тоже является субмартингалом, если только математи-
математические ожидания величин и(\п) существуют.
') Теперь обычно предпочитают этот термин более старому «нижний
полу мартингал».

272 Гл. VI. Некоторые важные распределения и процессы
§ 13. Задачи
1. Для устойчивости распределения F достаточно выполнения A.2) при
л=2 и 3 (П. Леви).
Указание Произведения вида с/с*, где j,k=O, ±1, ±2, .. ., либо плотны
в интервале 0,со, либо представляют собой степени некоторого фиксирован-
фиксированного числа с. Нужно показать, что вторая возможность в рассматриваемом
случае исключена.
Замечание. Весьма любопытно, что выполнение A.2) лишь при га=2 еще
недостаточно для устойчивости F; см. пример гл. XVII, (З.е) и задачу 9 из
гл. IX, 10.
2. Если F и G — устойчивые распределения с одним и тем же характе-
характеристическим показателем а, то F^-G— тоже устойчивое распределение с ха-
характеристическим показателем а. Найти соответствующие нормирующие по-
постоянные Yn-
3. Из неравенства симметризации гл. V, E.9) вытекает, что выражение
п\\—R(cnx)], где R— симметричное устойчивое распределение, ограничено.
Вывести отсюда, что R имеет все моменты порядков меньше а [использовать
гл. V, F.3)]. С помощью симметризации последнее утверждение переносится
на несимметричные R.
4. Иной вывод распределения Хольцмарка. Рассмотрим шар радиуса г
с центром в начале координат и п звезд (точек), расположенных в нем на-
наудачу и независимо друг от друга. Пусть каждая звезда имеет единичную
массу. Обозначим через Xi, .. ., Хп х-компоненты гравитационных сил, соот-
соответствующих отдельным звездам, и положим S,, = Xi + . . . + Х„. Устремим г
4
и л к бесконечности так, чтобы -ц яг3п~1 -> Л. Показать, что при этом рас-
распределение величины Sn стремится к симметричному устойчивому распреде-
распределению с характеристическим показателем ¦„-.
5. Показать, что предыдущая задача по существу не изменится, если
массу каждой звезды считать случайной величиной с единичным математиче-
математическим ожиданием и массы различных звезд предполагать взаимно независи-
независимыми и не зависящими также от их расположения
6. Распределение Хольцмарка в случае четырех измерений. Четырехмер-
Четырехмерным аналогом распределения Хольцмарка является симметричное устойчивое
4
распределение с характеристическим показателем -тг (в четырехмерном про-
пространстве гравитационная сила меняется обратно пропорционально кубу рас-
расстояния).
7. Пусть {Хй, „} — нулевая схема серий, причем величины X,, „ ..., Х„, „
имеют одинаковое распределение Fn. Стремится ли к нулю вероятность
Р{тах(;Х,,„|. .... |Хп,п[)>е}?
8. Найти плотность определяемой формулой F.3) функции восстановле-
восстановления U, когда F имеет плотность a) f(x)=e~x и б) f(x) =xe~x.
9. Рассматривается обрывающийся процесс восстановления с функцией
распределения F, имеющей плотность pce~et. Найти распределения длитель-
длительности жизни процесса и числа моментов восстановления.
10. Обобщенный обрывающийся процесс восстановления. Вместо того
чтобы обрывать процесс мгновенно с вероятностью q, позволим ему (тоже с

§ 13. Задачи 273
вероятностью q) продолжаться в течение случайного времени с собственным
распределением Fa и затем остановим. Иными словами, моменты восстановле-
восстановления имеют вид Ti + ... + Tn + Y, где величина Y имеет отличное от величин Т
распределение. Показать, что распределение V длительности процесса удовле-
удовлетворяет уравнению восстановления
11. Показать, что процесс в задаче о времени ожидания до больших
пропусков сводится к частному случаю процесса, рассмотренного в предыду-
предыдущей задаче. Привести G.1) к виду (*).
12. Процесс Пуассона и теоремы о покрытии. Напомним, что, согласно
примеру гл. Ill, C г), в случае пуассоновского процесса условное распреде-
распределение моментов восстановления на интервале 0, t при условии, что их произо-
произошло ровно п, равномерно. Отсюда в силу теоремы о покрытиях (теорема 3
из гл. I, 9) следует, что вероятность \ — V(t) того, что все пропуски по длине
меньше §, представима в виде
а) Проверить, что формула (**) действительно определяет решение урав-
уравнения G.1) при F(x) = l—e-'x.
б) Вывести теорему о покрытиях, считая известным, что определяемое
формулой (**) решение уравнения (9.1) единственно. [Такое доказательство
является примером доказательства с помощью рандомизации, см. 1, гл. XII,
задача 5]
13. Пусть V — распределение времени ожидания из примера G. ж) («при-
(«прибывший последним обслуживается первым»). Показать, что V удовлетворяет
уравнению восстановления V(t)—A(t)+B^-V(t), где А и В— несобственные
распределения, определяемые формулами A{dx} = e~cxG{dx} и B{dx} =
= [1— G(x)]ce cxdx (показать, что здесь мы имеем дело с обобщенным обры-
обрывающимся процессом в смысле задачи 10: процесс восстановления, порожден-
порожденный распределением S, сопровождается ненарушаемым мертвым периодом,
распределение которого пропорционально распределению А).
14. Малые пропуски в пуассоновском процессе1). Скажем, что происхо-
происходит «совпадение», если два момента восстановления Sn и Sn+\ с я>0 оказы-
оказываются на расстоянии <! ?. Выразить распределение времени ожидания до
первого совпадения в терминах распределения V из предыдущего примера.
15. Обобщение предыдущей задачи о малых пропусках2). Рассматриваете
стандартный процесс восстановления с временами ожидания Т,. Написать
Уравнение восстановления для распределения времени ожидания до первого
осуществления события {T,,<;Y,,}, где величины Yn не зависят от процесса
и друг от друга и имеют общее распределение G.
16. Пусть аи .. ., ап — произвольные числа и' m = max[0, а\,
.. . + ап]. Определим последовательно V\—an\J0, v2= (Vi + an-i)[j 0,
') По поводу других вариантов этой задачи (исследуемых иным мето-
методом) см. Gilbert E. N., Poll a k H. О., Coincidences in Poisson patterns,
Bell System Tech. /., 36 A957), 1005—1033.
2) Аналогично можно обобщить задачу о «больших пропусках». Ответ
Получается тоже аналогичным.

274 Гл. VI. Некоторые важные распределения и процессы
vп= (Уп-i+di) U 0. Пользуясь индукцией, доказать, что vn — m. Вывести от-
отсюда теорему § 9.
17. Положить в примере (П.е) /=1 при 0<дг<1 и доказать, что функ-
функция g(</)=2(l — у) является стационарной плотностью и что k{n)(x,y)=g(y)
при я>2. Если }(х)^ае~ах, то g(x)=f(x).
18. Определим сосредоточенную на 0,1 плотность стохастического ядра,
положив
k (х, у) = -j A — х)~1 при 0 < х < у < 1
и
k(x, у) = -=• х~1 при 0<у<х<1.
Найти стационарную плотность (она удовлетворяет простому дифференциаль-
дифференциальному уравнению). Дать вероятностную интерпретацию.
19. Марковский процесс сосредоточен на 0,1 и при Хп=х величина Хп+1
равномерно распределена на 1 — х, 1. Показать, что функция 2х является ста-
стационарной плотностью (Т. Угахери).

ГЛАВА VII
ЗАКОНЫ БОЛЬШИХ ЧИСЕЛ.
ПРИМЕНЕНИЯ В АНАЛИЗЕ
В первой части этой главы показано, что некоторые извест-
известные глубокие теоремы анализа можно удивительно легко полу-
получить путем вероятностных рассуждений. В § 7 обсуждаются ва-
варианты закона больших чисел, а § 8 содержит частный случай
теоремы о сходимости мартингалов.
§ 1. Основная лемма. Обозначения
Рассмотрим сначала одномерное распределение G с матема-
математическим ожиданием 0 и дисперсией о2. Если Хь .. ., Хп — не~
зависимые случайные величины с распределением G, то их
среднее арифметическое Mn= (Xi+ ... +Хп)п~1 имеет матема-
математическое ожидание 0 и дисперсию о2гг\ При больших п эта
дисперсия мала и М„, как правило, близко к 0. Отсюда следует,
что для любой непрерывной функции и значение м(Мп) будет,
как правило, близко к «@). Это замечание объясняет суть (сла-
(слабого) закона больших чисел. Оно несколько обобщается в при-
приводимой ниже лемме, которая, несмотря на свою простоту, ста-
станет источником ценной информации.
Рассмотрим при п =1,2,... семейство распределений Fn, 9 с
математическими ожиданиями, равными 0, и дисперсиями сг,((Э).
Здесь 0 — параметр, изменяющийся в конечном или бесконечном
интервале. Для математических ожиданий введем обозначение
+оо
Ея,в(и)= J u(x)Fnt0[dx). A.1)
— со
Лемма 1. Если а2п @)->О, то
Ел,в(и)-*и(в) A-2)
для любой непрерывной и ограниченной функции и. Эта сходи-
сходимость равномерна в любом подинтервале, где а2п @) ->0 равно-
равномерно и функция и равномерно непрерывна.

276 Гл. VII. Законы больших чисел. Применения в анализе
Доказательство. Очевидно, что
|Ея,в(и)-и(в)|< J \u{x)-u{Q)FaB\dx). A.3)
— со
Существует окрестность \х— 0|<б точки 0, в которой подинте-
гральнсе выражение меньше е. Вне этой окрестности подинте-
гральное выражение меньше некоторой константы М и по
неравенств} Чебышева [гл. V, неравенство G.2)] вероятное™!-,
попадания в область \х — 0|>б меньше, чем о„@N • Таким
образом, правая часть не превосходит г-\-Мап @N~J, что при
достаточно большом п меньше 2е. fe>
Ниже указаны гри полезных и важных примера. В каждом
из них Fn, g является распределением среднего арифметического
(Х4+ . . . +Хп)п'К В примере (а) величины Xj принимают толь-
только значения 0 и 1, в примере (б) они имеют распределение Пуас-
Пуассона, а в примере (в) — гамма-распределение.
Примеры, а) Если /•"„. @ — биномиальное распределение, то
02@) = 9A — 0)«-]->О и
)*A-0Г*-й(О) A.4)
равномерно при О-<0-^1. Следствия этого соотношения обсу-
обсуждаются в § 2.
б) Если Fn e приписывает вероятность e~nB(nQ)h/k\ точке
kin, то о* @) = ё/л и
ft-О
равномерно в каждом конечном интервале значений 0. Эта фор-
формула верна и для п, отличных от целых чисел (продолжение
см. в § 5 и 6).
в) Взяв в качестве Fn, e гамма-распределение, получаем,
что
со
1 Г , . / пх \" „,в п dx /пч ,, лч
j и(х) ^^^^„(е) Aб)
равномерно в каждом конечном интервале. Эта формула [с за-
заменой (п—1)! на Г(«)] также верна для нецелых значений п.

§ 1 Основная 1рм <ш Обозначения 277
В § 6 будет показано, что формула A.6) представляет собой
формулу обращения для преобразований Лапласа.
г) Статистики часто сталкиваются с положением, описан-
описанным в начале этого параграфа, но рассматривают математиче-
математическое ожидание 8 как неизвестный параметр, который нужно оце-
оценить по результатам наблюдений. На языке статистики A.2)
означает, что и(М\п) является асимптотически несмещенной
оценкой для неизвестного параметра иF) [оценка была бы не-
несмещенной, если бы правая и левая части в A.2) совпадали].
Обозначения для разностей
В последующих применениях мы будем использовать основ-
основные попятия и соотношения исчисления конечных разностей.
Пусть дана последовательность с0, С\ ... . Разностный оператор
Д определяется равенством Acn = cn+i— сп. Применяя опера-
оператор А к последовательности {АсГ1}, мы получаем новую последо-
последовательность {Д2с„} и т. д. Таким образом, разности более высо-
высокого порядка определяются последовательно соотношением
ДГ = Д(ДГ""'), где Д' = Д. Для удобства полагаем А°сп = сп для
всех п. Простая индукция показывает, что
(
А-О
Эта формула допускает обращение: можно выразить с0 через
разности, стоящие слева в A.7). В самом деле, cv = —Acv + cv+i.
Применяя это соотношение к Arv и cv+u получаем cv = A2cv.—
— 2Acv+i + cv+2. Продолжая таким же образом, приходим к то-
тождеству
k-0
Мы будем применять операторы Дг к последовательностям
вида cn=f(x + nh), получаемым с помощью какой-либо функ-
функции / при фиксированных х и шаге /г>0. В этих случаях более
Удобно заменить Д на разностное отношение Д = /г'Д. Таким
h
образом, при фиксированном /г>0
)-nx) . A.9)
Разностные отношения более высокого порядка снова опре-
определяются последовательно формулой Дг =ДД, где Д' = Ди
A h h h h
h h

278 Гл. VII. Законы больших чисел. Применения в анализе
A°f(x) = f(x). Формула A.7) эквивалентна соотношению
h
г
Д7 (*) = а
k=0
§ 2. Полиномы Бернштейна. Абсолютно монотонные функции
Каждая линейная комбинация полиномов вида! ^)9*A — 0)""*
называется полиномом Бернштейна. Для функции и, заданной
на 0-СЭ^Л, мы определим полином Бернштейна степени п фор^
мулой
п
^[1)к 4 B.1)
Следующая теорема является лишь переформулировкой
утверждения A.4).
Теорема 1. Если функция и непрерывна в замкнутом ин-
интервале 0, 1, то полиномы Бернштейна Вп. „@) равномерно схо-
сходятся к иF).
Иными словами, для любого заданного е>0 и всех доста-*
точно больших п
|?л.и@)-м@)|<е, О<0<1. B.2)
Знаменитая теорема Вейерштрасса об аппроксимации утверж-
утверждает возможность равномерной аппроксимации некоторыми по-
полиномами. Приведенная выше теорема сильнее, так как в ней
явно указаны аппроксимирующие полиномы. Доказательство
принадлежит С. Н. Бернштейну.
Чтобы придать полиному B.1) обычную форму записи по
степеням 0, разложим биномы A—Q)n~h по степеням 0 и за-
заметим, что для фиксированного / коэффициент при В} в B.1)
равен
^(n)(nk)k(n)^ B.3)
[равенство вытекает из A.10)]. Таким образом, верна
Теорема 2. Полиномы Бернштейна B.1) допускают пред-
представление
п
Вп, и F) = 2 ( у ) ДО)' А' и @), h = 1. B.4)
(

§ 2. Полиномы Бернштейна 279
Мы используем это представление для того, чтобы просто
обосновать один критерий для производящих функций. Функ-
Функция и, определенная для O^Cxr^l, называется вероятностной
производящей функцией, если
и(х) = но + м,х-(-м2л:2+ ..., B.5)
где Mj^-0 и 2jUj — \. Такая функция обладает неотрицатель-
неотрицательными производными всех порядков. Обратное утверждение во-
вовсе не очевидно, если его рассматривать вне настоящего кон-
контекста.
Лемма. Три следующих утверждения эквивалентны:
(i) и является вероятностной производящей функцией;
(и) при 0<х<1 и всех п существуют производные M<n> и
u<-n'l(x)^-0; кроме того, и(х) —* 1 при х-> 1.
(ш) функция и непрерывна при 0<х-С1 и
Аги@)>0, • А = 1 B.6)
при г*Сп и п = 1, 2,...; кроме того, и A) = 1.
Доказательство. Очевидно, что (i) влечет (И). Из мо-
монотонности производных и<"> вытекает, что Аи имеет неотрица-
h
тельные производные всех порядков. По индукции заключаем,
что B.6) верно при всех п, т. е. (и) влечет (iii). Если выпол-
выполняется B.6), то коэффициенты многочленов ?„,„ в B.4) неотри-
неотрицательны и в сумме дают Вп<и(\). Из B.1) следует, что
В„, „A) =иA) = 1, так что Вп<и— вероятностная производящая
функция. По теореме непрерывности из 1, гл. XI, 6 (или из
гл. VIII, 7 ниже) предел u = limBn,u снова является вероятно-
вероятностной производящей функцией. Доказательство закончено. >
Отбрасывая искусственное ограничение иA) = 1, мы прихо-
приходим к следующему определению, широко используемому вне
теории вероятностей.
Определение. Функция и называется абсолютно моно-
монотонной на а, Ъ, если ы<">(л:)Х) при а<х<Ь.
Пример функции и(х) = (\—х)~1 показывает, что неограни-
неограниченная функция может быть абсолютно монотонной на 0, 1.
Положим v{x)^_u{ax)lu{a), где 0<а<1. Если и абсолютно
монотонна на 0, 1, то у является вероятностной производящей
функцией, так что и можно разложить в степенной ряд, сходя-
сходящийся при 0<x<a; при этом а может быть выбрано сколы
Угодно близким к 1. Таким образом, нами доказана

280 Гл. VII. Законы больших чисел. Применения в анализе
Теорема 3. Функция и абсолютно монотонна на О, 1 тогда
и только тогда, когда ее можно разложить в степенной ряд с
неотрицательными коэффициентами, сходящийся при 0<л:<1.
Эта теорема имеет важные применения в теории преобразо-
преобразований Лапласа. Она была доказана впервые (другим методом)
С. Н. Бернштейном.
§ 3. Проблема моментов
Пусть F—распределение вероятностей, сосредоточенное на
i—I
замкнутом интервале 0, 1. Обозначим через Е(м) интеграл от и
по отношению к F. Момент порядка k распределения F опреде-
определяется равенством
1
Hk = E(Xk)= J x"F{dx]. C.1)
о
Здесь подразумевается, что интервал интегрирования замкнут и
X, как обычно, обозначает координатную случайную величину.
Вычисляя разности, видим, что —А}х^ = Е(ХйA—X)), а по ин-
индукции
/ 1 \г д т. т? /v& /1 Y\'*\ /'Q O\
i __ м us. \х^ LJ (^Л \ 1 — У\. I и ^О. Z/J
Поэтому математическое ожидание для полинома Берн-
штейна B.1) равно
п
Обозначим через /?^л) коэффициенты в правой части равен-
равенства C.3)
—\)п~к Ml~'! [ik, k — 0, ..., п. C.4)
Из C.2) вытекает, что /4"' ^ 0- Для постоянной « = 1 мы имеем
5„,и(8) = 1 при всех 9, и C.3) показывает, что при фиксирован-
фиксированном п сумма коэффициентов /?(,"' равна единице. Поэтому мы
можем определить атомическое распределение Fn, приписываю-
приписывающее вес р'р атому kjn {где k = 0,l,. . . ,п). Обозначим матема-
математическое ожидание по отношению к Fn через Е„. Тогда вели-
величина C.3) равна Еп(п). Из аппроксимационной теоремы пре-
предыдущего параграфа следует, что если и непрерывна в замкни-

§ 3. Проблема моментов 281
I—I
том интервале О, 1, то при п —> оо
Ея(и)-»Е(и). C.5)
Это соотношение, естественно, наводит на мысль, что и само
распределение F можно выразить в терминах распределений F п.
Следующая теорема показывает, что это в самом деле так.
Теорема 1. Формула обращения. В каждой точке непре-
непрерывности распределения F
*V C-6)
Доказательство. Введем ступенчатую функцию tit,
определив ее для фиксированного t формулой
{ 1 при 9<^,
й'<вНо при е>*. <3-7>
Правая и левая части в C.6) равны En(ut) и Е(«;) соответ-
соответственно, так что формально C.6) является частным случаем со-
соотношения C.5), Здесь необходима некоторая осторожность,
так как C.5) опирается на теорему об аппроксимации, которая
была доказана только для непрерывных функций. Однако
прежнее доказательство показывает, что
в любом замкнутом интервале, не содержащем точки, в которой
щ разрывна. Переходя к математическим ожиданиям, видим,
что все возможные предельные значения левой части в C.6)
лежат между F(t—е) и F(t + e), где е>0 может быть выбрано
произвольно малым. Полагая е—> 0, получаем, что C.6) верно в
каждой точке t, где F непрерывна.
По счастливому стечению обстоятельств можно видоизменить
это рассуждение так, чтобы получить простое доказательство
следующей известной и важной теоремы, принадлежащей
Ф. Хаусдорфу.
Теорема 2. Последовательность 'чисел ц0, \i\,. .. является
последовательностью моментов C.1) некоторого распределения
I I
вероятностей F, сосредоточенного на 0, 1, тогда и только тогда,
когда
(-1)'Л^>0, Ц0 = 1. C.8)
Доказательство. Моменты любого распределения на
О, 1 удовлетворяют C.2), и потому условие C.8) необходимо.

282 Гл. VII. Законы больших чисел. Применения в анализе
Допустим, что C.8) выполняется. Определим числа р^ по фор-
формуле C.4). Используя формулу обращения A.8) для разностей
с r = n — v, получаем тождество
ft-0
При v = 0 выводим, что сумма всех ///' дает j.i0 = 1. Поэтому мы
можем снова определить атомическое распределение вероятно-
вероятностей Fn, приписывающее вес ^ атому kjn. Левая часть равен-
равенства C.9) является математическим ожиданием случайной ве-
величины (пХ) по отношению к этому распределению Fn. Умно-
V
жая C.9) на v! n~v, мы видим, что при п-*оо математические
ожидания величин Xv сходятся к [iv. Члены последовательности
{\xv} оказываются, таким образом, пределами соответствующих
членов последовательностей моментов {En(Xv)} и потому сами
являются моментами. Это вытекает из простой теоремы, доказа-
доказательство которой мы отложим до примера 1,г гл. VIII с тем,
чтобы избежать повторений. Этим заканчивается доказатель-
доказательство. В то же время мы видим, что распределение F с момен-
моментами ±iv задается формулой C.6) >
Последовательность {\хп}, для которой (—1)гДг(д,й^0 для всех
пар г и k, называется вполне монотонной. Это название прочно
установилось, хотя оно и нелогично. Мы вернемся к вполне
монотонным последовательностям и функциям в гл. XIII, 4 и 11.
Чтобы избежать неправильных представлений, следует подчеркнуть, что
положение существенно меняется при переходе к распределениям, не сосредо-
сосредоточенным ни на каком конечном интервале. В общем случае распределение
не определяется однозначно своими моментами.
Пример. Элементарное, но утомительное интегрирование по частям
показывает, что при я=0,1, ...
оо 4 _ 4
хп ¦ e~Vx sin Vx dx = 0. C.10)
f
о
При 0<а<1 отсюда следует, что функция ф (x) = D2t)e \ 1—
4 \
—a sin]/ х) есть плотность сосредоточенного на 0, сю распределения. Все эти
распределения имеют одну и ту же последовательность моментов. Полагая
ф(л:) = (l/2)<PaM ПРИ *>0 и ф(*) = (l/2)cpp(—х) при х<0, мы получаем плот-
плотность, которая не является четной, хотя все ее нечетные моменты равны,
нулю. >
Этот отрицательный результат не должен порождать необоснованного
пессимизма, так как источник беспокойства легко устранить соответствую-
соответствующими условиями регулярности. Наилучший результат содержится в теореме

§ 4. Симметрично зависимые случайные величины 283
Карлемана, утверждающей, что распределение F на —оо, оо однозначно
определяется своими моментами, если
2>2-я1/2я = со, C.11)
т. е. если ряд слева расходится. В этой книге мы докажем более слабое
утверждение, а именно, что F однозначно определяется своими моментами,
если степенной ряд H\x,2ntnI Bп)\ сходится в некотором интервале (см. § 6 я
XV.4). Оба критерия ограничивают скорость роста Цгп. Знание конечного
числа моментов цо, щ, . ¦ ¦, Ц» даже в самой общей ситуации приводит
к полезным неравенствам для F, аналогичным выведенным в гл. V, 7 для
я-1').
§ 4*. Применение к симметрично зависимым случайным
величинам
Мы выведем здесь один красивый результат, принадлежа-
принадлежащий Б. де Финетти. Он может служить типичным примером
того, сколь легко теорема 3.2 приводит к удивительным резуль-
результатам.
Определение. Случайные величины Хь ..., Хп назы-
называются симметрично зависимыми, если все п\ перестановок
(Xft ,..., \k ) имеют одно и то же п-мерное распределение.
Случайные величины, образующие бесконечную последователь-
последовательность {Хп}, называются симметрично зависимыми, если Хь ..,
,.., Хп симметрично зависимы при любом п.
Как мы увидим из примеров, конечные и бесконечные после-
последовательности существенно отличаются друг от друга. Мы рас-
рассмотрим здесь специальный случай бесконечной последователь-
последовательности {Хп} симметрично зависимых величин, принимающих
только значения О и 1. В следующей ниже теореме утверждает-
утверждается, что распределение такого процесса {Хп} получается рандо-
рандомизацией биномиального распределения. Как обычно, мы поло-
положим Sn = X4+ .,. +Х„ и будем называть событие {Хй=1}
«успехом».
Теорема. Каждой бесконечной последовательности сим-
симметрично зависимых случайных величин соответствует такое
') Первые сильные результаты были получены Марковым и Стильтьесом
около 1884 г. Современная литература на эту тему неисчерпаема. См., на-
например, Wald A., Trans. Amer. Math. Soc, 46 A939), 280—306; Roy-
den H. L., Ann. Math. Statist., 24 A953), 361—376 [приведены границы для
F(x)—F(—x)]. Общий обзор см в монографии Shohat J. А., Т а га а г-
kin J. D., The problem of moments, New York, 1943 (Math. Surveys № 1).
См. также К а г 1 i n S., S t u d d e n W. A966).
*) Материал не используется в дальнейшем.

284 Гл. VII. Законы больших чисел. Применения в анализе
I—I
сосредоточенное на О, 1 распределение F, что
Р{Х1=1, ..., Xj,= l, Xft4_1 = O, ..., Х„ = О} =
1
= J 6ft(l— e)"-*F{cf9} D.1)
р {s« = А} = (^) J o*(i-erV{cfe}. D.2)
о
Доказательство. Положим цо=1 и при п=\, 2, ...
Р{Х1 = 1, ..., Хя = 1} = ц„. D.3)
Тогда при п^-0
Р{Х, = 1, ..., Хя_1 = 1, Х„ = 0}=ця_1 — ця = — А.ил_1, D.4)
откуда
1. D.5)
Продолжая этот процесс, находим, что левая часть в D.1) рав-
равна (—\)n~hhn~k\ih- Следовательно, эти величины неотрицатель-
неотрицательны. Теорема 3.2 утверждает, что \iu будет /г-м моментом некото-
некоторого распределения вероятностей F. Утверждение D.1) вытекает
теперь из C.2), а D.2) эквивалентно D.1), так как имеется
ровно , способов появления к успехов в п испытаниях. >
Обобщения. Теорема очевидным образом распространяет-
распространяется на случайные величины, принимающие только конечное чис-
число значений. Например, если Х} принимает значения аи а2, а3, то
мы можем определить новые случайные величины Y;, полагая
Yj = O при Xj = ai и Yj = 1 в других случаях. К величинам
Y,- применима доказанная теорема. Ее повторное применение
приводит к аналогу соотношения D.1). Эти рассуждения позво-
позволяют предположить, что в наиболее общем случае последова-
последовательность симметрично зависимых случайных величин получает-
получается из последовательности независимых случайных величин ран-
рандомизацией по некоторому параметру. В специальных случаях
трудностей не возникает, однако общая задача трудна тем, что
«параметры» не определены отчетливо и могут выбираться не-

§ 4. Симметрично зависимые случайные величины 285
постижимым образом. Несмотря на это, были доказаны весьма
общие варианты этой теоремы1).
Эта теорема позволяет получить условие применимости за-
закона больших чисел и центральной предельной теоремы к сим-
симметрично зависимым случайным величинам (см. задачу 21
в гл. VIII, 10). Первый из приводимых ниже примеров пока-
показывает, что в отдельных случаях теорема может приводить к
удивительным результатам. Примеры (б) и (в) показывают,
что теорема неверна для конечных последовательностей.
Примеры, а) В схеме Пойа (см. 1, гл. V, 2) урна содержит
первоначально b черных и г красных шаров. После каждого из-
извлечения выбранный шар возвращается и в урну добавляется
с шаров того же цвета. Таким образом, вероятность получить
черный шар в каждом из п первых испытаний равна
Ь+Г
с
К }
Положим Х„ = 1 или 0 в зависимости от того, появился при
и-м испытании черный или красный шар. Легкие вычисления
(см. 1, гл. V, 2) показывают, что эти случайные величины
симметрично зависимы и потому значение цп равно л-му мо-
моменту некоторого распределения F. По виду формула D.6) на-
напоминает бета-интеграл B.5) из гл. II. Анализ показывает, что F
есть бета-распределение D.2) из гл. II с параметрами ц = Ь/с
и y = rjc. Можно установить, используя снова бета-интеграл,
что D.1) согласуется с B.3) из 1, гл. V,a D.2) с B.4) из
той же главы первого тома.
б) Рассмотрим 6 размещений двух различимых шаров в
трех клетках. Припишем каждому вероятность '/е- Пусть X,-
равно 1 или 0 в зависимости от того, занята 1-я клетка или
пуста. Величины Хг симметрично зависимы, но теорема к ним
неприменима. В самом деле, из D.3) получаем [До=1, Hi = '/2,
И2= '/б, цз = 0|'и на этом последовательность обрывается. Если
бы она была начальным отрезком вполне монотонной последо-
последовательности {цп}, мы должны были бы иметь ^ = ^5 = . . . = 0. Но
тогда было бы Д4(Х1 =—7б<0, что невозможно.
') Hewitt E., Savage L. J., Symmetric measures on Cartesian pro-
products, Trans. Amer. Math Soc, 80 A956), 470—501. Изучение с применением
Мартингалов см. Loeve A963). См. также Biihlmann H., Austauschbare
stochastische Variabeln und ihre Grenzwertsatze, Univ. of California Publica-
Publications in Statistics, 3, № 1 A960), 1—36.

286 Гл. VII. Законы больших чисел. Применения в анализе
в) Пусть случайные величины Хь..., Х„ независимы, имеют
одно и тоже распределение вероятностей и Sn = Xi+ ... +ХП. По-
Положим YA = Xft — rr^Sn для k=l, ..., п — 1. Случайные вели-
величины Yft симметрично зависимы, но их совместное распределе-
распределение нельзя представить в форме, соответствующей теореме де
Финетти. >
§ 5 *. Обобщенная формула Тейлора и полугруппы
Мы видели, что полиномы Бернштейна из примера A,а)
можно записать в форме B.4), содержащей конечные разности.
Производя аналогичное преобразование в примере A,6), мы
приходим к принадлежащему Е. Хилле привлекательному ва-
варианту формулы Тейлора. Он может служить иллюстрацией не-
некоторых основных положений теории полугрупп. Мы отправ-
отправляемся от формулы A.5), устанавливающей, что для всякой
ограниченной и непрерывной на 0, оо функции и при X —> оо
равномерно в каждом конечном интервале. Разлагая e~w в сте-
денной ряд, мы можем представить левую часть в E.1) в виде
двойного ряда
Этот ряд сходится абсолютно, и потому мы вправе переставить
его члены. Положим r = j + k и \~l — h. Сумма членов с одним
и тем же г равна hrAru@) [см. обозначение A.10)]. Таким об-
h
разом, E.1) представляется в виде
E.3)
где h —> 0+. Заменяя u@) на u(t + Q), приходим к соотношению
А->0, E.4)
которое напоминает разложение в ряд Тейлора. Единственное
отличие состоит в том, что производные заменены разностями,
*) Этот параграф при первом чтении можно пропустить,

§ 5. Обобщенная формула Тейлора и полугруппы 287
j рассматривали только случай /г>0, 0>О, но рассуждения
сохраняются и при отрицательных h и Э. Поскольку область оп-
определения любой непрерывной функции и можно расширить до
всей прямой, мы получаем следующую теорему.
Теорема. Пусть функция и ограничена и непрерывна. То-
Тогда, если h и 0 имеют одинаковые знаки, то выполняется E.4).
При фиксированном t сходимость равномерна в каждом конеч-
конечном интервале значений 0.
Для аналитических функций левая часть приближается к
ряду Тейлора, но теорема применима к недифференцируемым
функциям. В этом смысле E.4) представляет собой обобщение
разложения в ряд Тейлора и открывает нам его новые черты.
Существует другое истолкование формулы E.4), приводящее
к так называемой экспоненциальной формуле теории полу-
полугрупп1) (см. теорему 2 в гл. X, 9). Левая часть в E.4) содер-
содержит формальный экспоненциальный ряд, который естественно
использовать для того, чтобы определить оператор exp 0A. Соот-
h
ношение E.4) принимает при этом сокращенную форму
ехр0Ли(О->и(*Ч-9)- E.5)
л
Чтобы записать эту формулу в более удобном виде, введем опе-
оператор сдвига1) T(Q), переводящий функцию и в функцию ив,
"определяемую равенством ue(t) =u(t+Q). Тогда Г@) = 1, т. е.
это единичный оператор и
Д = А~1[Г(Д) —1]. E.6)
h
На операторном языке формула E.4) [или E.5)] принимает вид
е0л-' [г <*)-«_>. 7@). E.7)
Основная информация, доставляемая этой формулой, состоит
в том, что все семейство операторов Г@) определяется поведе-
поведением T(h) при малых h.
Оглядываясь назад, мы видим, что наш вывод формулы
E.7) применим к значительно более широкому классу операто-
операторов. Левая часть в E.1) представляет собой просто линейную
комбинацию значений ии может быть интерпретирована как ин-
интерполяционная формула для и. Аналогичное интерполяционное
') Оставшуюся часть этого параграфа при первом чтении можно про-
пропустить.
2) В стандартных обозначениях исчисления конечных разностей Г(9)=?э,
но мы присоединяемся к обозначению, употребляемому в гл. X, 8 для общих
полугрупп.

288 Гл. VII. Законы больших чисел. Применения в анализе
выражение имеет смысл для любого семейства операторов
{7(8)}, определенных при 0>О. В самом деле, при фиксирован-
фиксированных 6 и А>0 оператор
ft-О
является линейной комбинацией операторов T(kh). Коэффи-
Коэффициенты (веса) определяются в соответствии с распределением
Пуассона и обладают тем свойством, что при h —* 0 преобладаю-
преобладающую роль играют окрестности точки 8, а дополнительные мно-
множества имеют веса, стремящиеся к нулю. Это делает правдопо-
правдоподобным предположение, что при разумных определениях сходи-
сходимости и непрерывности мы будем иметь Л/, F) —*T(Q) для
любого непрерывного семейства операторов Т F). В частности,
если операторы 7(8) образуют полугруппу, то T(kh) = (T(h))h
и интерполяционный оператор ЛйF) имеет вид левой части в
E.7). Неудивительно поэтому, что «экспоненциальная формула»
E.7) вообще верна для непрерывных полугрупп ограниченных
операторов. Мы вернемся к доказательству этого1) в гл. X, 9.
§ 6. Формулы обращения для преобразования Лапласа
Как неоднократно отмечалось, аппроксимационная формула
E.1) [см. пример A,6)] имеет следующий вероятностный смысл
Пусть X — случайная величина, распределенная по закону Пуас-
Пуассона с параметром KQ. Тогда при больших % вероятность собы-
события |Х — Х0|>А,е мала. Поэтому для Р{Х <Лх) при К —»• оо
{ 0, если 0 > х,
Vl. если 0 < х.
Эта формула справедлива при фиксированных положительных х
и 0 и получается из E.1), если и — ступенчатая функция. Ис-
Использование этой формулы в анализе мы проиллюстрируем сей-
сейчас на примере преобразований Лапласа (систематически они
изучаются в гл. XIII).
') Это доказательство, принадлежащее М. Риссу, имеется (при несколько
более общих условиях) в книге X и л л е Э., Ф и л л и п с Р., Функциональный
анализ и полугруппы, ИЛ, М., 1962. Как можно понять, авторы не учли, что
ссылка на линейную интерполяционную формулу E.8) как на пуассоновскую
рандомизацию параметра полугруппы и ссылка на неравенство Чебышева
упрощают изложение. Вероятностные соображения отмечались Д. Кендаллом
и были в полной мере использованы в статье Chung К. L., On the exponen-
exponential formulas of semi group theory, Math. Scandinavica, 10 A962), 153—162.

§ 6. Формулы обращения для преобразования Лапласа 289
Пусть F — распределение вероятностей, сосредоточенное на
О, оо. Преобразованием Лапласа функции F называется функ-
функция ф, определенная для А>0 формулой
со
Ф(Я.)= J e-MF{dQ]. F.2)
Очевидно, что производные фСО(Я) существуют и их можно
вычислить формальным дифференцированием:
со
(_ 1)*ф(*) (я,) = J е-Щ*В И}. F.3)
о
Из этих равенств и из формулы F.1) видно, что в каждой точке
непрерывности распределения F
^r^V^W-^W- F.4)
Это очень полезная формула обращения. Она показывает, в част-
частности, что распределение F однозначно определяется своим пре-
преобразованием Лапласа.
Такими же рассуждениями получается множество близких
формул обращения, применимых при различных обстоятель-
обстоятельствах. Например, A.6) представляет собой формулу обращения
для интегралов Лапласа типа
450
(X) = J e~Xxu (х) dx. F.5)
Проведем формальное дифференцирование, как в F.3). Тогда
A.6) означает, что для ограниченной и непрерывной функции а
^<6) F.6)
равномерно в каждом конечном интервале.
[Эти формулы обращения справедливы при значительно бо-
более общих условиях. Однако сейчас представляется нежелатель-
нежелательным «забивать» простоту рассуждений балластом новой терми-
терминологии. Абстрактный аналог соотношения F.6) появится в
гл. XIII, 9.]
Если распределение F обладает моментами Ць .... Ца». то его преобра-
преобразование Лапласа удовлетворяет неравенствам
2 (^Ч** <-1>Чя*
1^~- FJ)

290 Гл. VII. Законы больших чисел. Применения в анализе
Эти неравенства часто используются. Чтобы доказать их, мы будем исходить
из хорошо известных неравенств ')
*-о *=о
Заменяя t на М и интегрируя относительно F, получим F.7). Отсюда
следует, в частности, что
в любом интервале 0<1Л<Ло, в котором сходится ряд, стоящий справа. Если
такой интервал существует, то, согласно теории аналитических функций,
ряд в F.9) однозначно определяет (р(К) при всех Х>0. Следовательно,
последовательность моментов цо, Ць ... однозначно определяет распределе-
распределение F, если ряд в F.9) сходится в некотором интервале |^|<Ло. Этот по-
полезный критерий справедлив и для распределений, не сосредоточенных
на 0, со. Но в общем случае доказательство основано на применении характе-
характеристических функций (см. гл. XV, 4).
§ 7*. Законы больших чисел для одинаково распределенных
случайных величин
Всюду в этом параграфе мы используем обозначение Sn =
= Xi + ... + Xn.~ Самый старый вариант закона больших чисел
состоит в утверждении, что для независимых случайных вели-
величин Xh с одним и тем же распределением и математическим
ожиданием ц и конечной дисперсией2)
>0 GЛ)
при п-»оо и любом фиксированном е>0. В начале этой главы
отмечалось, что G.1) вытекает из неравенства Чебышева. Чтобы
получить более сильный результат, мы докажем, что неравен-
неравенство (разновидность неравенства Чебышева) применимо и в
случае, когда не существует математических ожиданий. Опреде-
Определим новые случайные величины X/г получаемые «урезанием» Xft
') Простое дифференцирование и индукция показывают, что разность
между любыми двумя членами в F.8) является монотонной функцией от t.
* Тема этого параграфа связана с первым периодом развития теории
вероятностей, однако никакой особой важности для остального содержания
книги она не представляет. Мы останавливаемся на ней по причине ее исто-
исторического и методологического интереса, а также потому, что имеется много
работ, посвященных обращению закона больщих чисел.
2) В обозначениях, вводимых в гл. VIII, 2, соотношение G.1) записы-
записывается проще: n~'Sn — р->0, где знак -> означает сходимость по вероятности.

§ 7. Законы больших чисел 291
на произвольном, но фиксированном уровне ±s, равенствами
Xk, когда |ХЛ|<«,
О, когда | Xft | > s. *¦ ' '
Положим
Тогда очевидно, что
р f I sn - КI > *} <р {IК — КI > *} + р (s,,^s*}- G-4)
так как из наступления события, написанного слева, вытекает
наступление хотя бы одного из событий, стоящих справа. Нера-
Неравенства G.4) применимы и тогда, когда Хй зависимы. Можно
получить полезное следствие, если оценить первый член в пра-
правой части по неравенству Чебышева. Наиболее важен случай,
когда величины ХА независимы и одинаково распределены. Так
как дисперсия никогда не превосходит второго момента, то мы
получаем в этом случае неравенство
p{|s,,-4l >'}<"? Е(Х;2)Ч-/гР{|Х.|>5}. G.5)
Из него, в предположении, что существует |i = E(Xj), легко вы-
вытекает G.1). Это утверждение известно под названием закона
больших чисел в форме Хинчина (именно в этой форме он до-
доказан в 1, гл. X, 2). Вместо того чтобы повторять прежнее
доказательство, мы рассмотрим более сильное утверждение, ука-
указывающее необходимые и достаточные условия для G.6). Они,
очевидно, будут выполнены, когда ц=Е(Х^) существует.
Теорема 1. {Слабый закон больших чисел.) Пусть слу-
случайные величины Xft независимы и имеют одно и то же распре-
распределение F. Для того чтобы существовали такие постоянные цп,
что
>0, G.6)
необходимо и достаточно, чтобы при t —> сю
t\\—F(t)-\-F (—*)]-> 0, />0. G.7)
При выполнении G.7) можно взять
п
ця= $ xF[dx]. G.8)
-л
Доказательство, а) Достаточность. Мы используем не-
неравенство G.5), положив в нем s — n и / = яе. Тогда m' = tip. и

292 Гл VII Законы больших чисел. Применения в анализе
левые части соотношений G.4) и G.6) совпадают. Обозначим
теперь левую часть в G.7) через т(/). Интегрирование по час-
частям показывает, что правая часть в G.5) не превосходит
п
-^5-J r(x)dx-\-x(n).
О
Из G.7) следует, что эта величина стремится к нулю при
любом фиксированном е>0.
б) Необходимость. Допустим сначала, что распределение F
симметрично. По неравенству симметризации E.11) из гл. V в
этом случае
Р (| Sn | > r\n] >y (I —e-t(n«)/n).
В силу симметрии мы можем предположить, что в G.6) (хп = 0.
Тогда левая часть последнего неравенства должна стремиться
к нулю при п —*¦ оо и, таким образом, для симметричного рас-
распределения F условие G,7) необходимо. Пусть F не является
симметричным. Неравенство симметризации E.6) из гл. V по-
показывает, что G.6) имеет место и для симметризованного рас-
распределения °F и, следовательно, /[1 —°F(t) +°F(—1)]—*0. Нера-
Неравенство симметризации E.7) из гл. V показывает, что отсюда
вытекает G.7). Теорема доказана. >
Пример. Пусть F — симметричное распределение. Закон боль-
больших чисел не выполняется, если 1—F(x) -~лг' (как у распре-
распределения Коши), и выполняется, если 1—F(x) ~ (х\п х)~1. &¦
Если F имеет математическое ожидание ц, то \хп —*¦ (х, и G.6)
равносильно G.1). С другой стороны, предел [i = \im цп может
существовать и при отсутствии математического ожидания. На-
Например, \хп—> О для любого симметричного распределения F. Та-
Таким образом, слабый закон больших чисел в его классической
форме G.1) применим и к некоторым случайным величинам, не
имеющим математического ожидания. В таких случаях левая
часть в G.1) будет мала для каждого отдельного большого чис-
числа п, но, как мы покажем, последовательность средних арифме-
арифметических Sn/n с вероятностью единица содержит бесконечно мно-
много членов, лежащих вне любого наперед заданного конечного
интервала. Это замечание (принадлежащее Колмогорову) пока-
показывает, что характер случайных флуктуации сильно связан с
фактом существования математического ожидания.
Теорема 2. (Усиленный закон больших чисел и обратная
теорема.) Пусть случайные величины Х& независимы и имеют

§ 7 Законы больших чисел 293
одно и то же распределение F. Если они имеют математическое
ожидание ji, то n~lSn—*¦ \i с вероятностью единица. В против-
противном случае последовательность {n'lSn} с вероятностью единица
не ограничена.
Доказательство, а) Для дискретных распределений пер-
первая часть утверждения содержится в теореме из 1, гл. X, 7. Ее
доказательство применимо к произвольным распределениям и
будет повторено (в усиленном варианте) в следующем пара-
параграфе.
б) Если какие-либо числа а„ остаются ограниченными, что
тоже верно и для их разностей ап — an-i. Для доказательства
второй части нам достаточно установить, что при отсутствии
математического ожидания для любого а>0 с вероятностью
единица наступает бесконечно много событий {|Х„|>ая}. По
второй лемме Бореля — Кантелли [см. 1, гл. VIII, 3] это будет
так, если
со
Т Р( I Y I Ч ли1 rv-i ^7 СП
n=i
При фиксированном k интервал ak<x*Ca(k + l) учитывается
в левой части равенства G.9) только при n-^.k. Следовательно,
ряд в левой части равен
а/г < \х |<a(t+l) ft = l ak < \х
J \x\F[dx) =
- f
2а J
Ul>a
Последний интеграл по предположению расходится, поэтому
G.9) верно. &¦
Закон больших чисел неприменим в Петербургской игре (см.
1, гл. V, 4). Однако в ней применим слегка видоизмененный
закон. Следующая ниже теорема обобщает этот пример и имеет
одинаковую с ним интуитивную интерпретацию.
Теорема 3. Пусть Xh — независимые положительные слу-
случайные величины с одним и тем же распределением F [таким,
что F@) =0]. Для того чтобы существовали такие постоянныеап,
что
1
е}->0, G.10)

294 Гл VII. Законы больших чисел. Применения в анализе
необходимо и достаточно, чтобы1)
t
Тпгггщ \ xF\dx)-> оо G.11)
о
При t —> ОО.
Излишне говорить, что G.10) влечет а„ ~> со.
Доказательство, а) Достаточность. Выберем произволь1
но цп, 0<т]п<1, и определим по цп сначала р„, а затем ап
формулами
0п
a)\, an = n\xF\dx). G.12)
В предположении, что G.11) выполняется, мы имеем \Рпа~1 ~>0,
и потому можно выбрать цп —> 0 так, чтобы апр~1->оо. Произ-
Произведя такой выбор, используем урезание G.2) на уровне s = pn.
Тогда из G.5) получаем
Р {| Sn - аа | > еа,,} < -^ j x*F \dx) -f
n 0
4-/i[l-^(p/1)]<-gL + T1(I->0. G.13)
Поэтому G.10) верно.
б) Пусть G.10) выполняется. Положим
<F{dx) G.14)
о
и используем урезание G.2) с s=2an.
Из G.5) с помощью оценок, примененных в G.13), полу-
получаем
Все случайные величины Xh положительны. Поэтому из G.10)
необходимо следует, что вероятность FnBan) того, что все п
случайных величин Хь ..., \п не превосходят 2ап, стремится
') Мы увидим в гл. VIII, 8, что G.11) эквивалентно правильному изме-
изменению функции I—Р(х) с показателем, равным —1. (Использование этого
факта упростило бы доказательство.) Соотношение G.10) означает, что

§ 8 Усиленный закон больших чисел 295
к единице. Отсюда вытекает, что цп —* 0. Теперь становится оче-
очевидным, что G.15) противоречило бы предположению G.10),
если бы отношения ц„/а„ могли приближаться к нулю. Следо-
Следовательно, отношения Цп/(яп11п) стремятся к бесконечности. Это
означает, что G.11) выполняется, когда t пробегает последо-
последовательность 2аь 2а2, ••• • Но из G.10) легко вывести, что
пп+х/о-п —* 1, а потому G.11) выполняется при t —* оо. >
§ 8*. Усиленный закон больших чисел для мартингалов
Усиленный закон больших чисел для дискретных случайных
величин обсуждался подробно в 1, гл. X, 7. Все сказанное там
переносится без изменений и на рассматриваемый сейчас более
общий случай. Вместо того чтобы механически повторять тео-
теорию, мы распространим ее со случая сумм независимых величин
на мартингалы. Используемые понятия будут при этом сложнее,
но вычисления станут проще, а результаты лучше.
Предположим, что Е(Х,) =0 и обозначим
S,1=X1+ ... +ХЛ, (8.1)
M)I = max[|S1|, . ... |SB|]. (8.2)
Напомним, что проведенный в 1, гл. X, 7, анализ в значитель-
значительной степени опирался на неравенство Колмогорова. Для незави-
независимых случайных величин с нулевыми математическими ожида-
ожиданиями и конечными дисперсиями это неравенство дает оценку
Р{МЯ>*}<-^^-, ОО. (8.3)
Оно значительно сильнее неравенства Чебышева, которое дает
ту же самую оценку для «хвоста» распределения величины | Sn |.
Просматривая доказательство из 1, гл. IX, 7, мы видим, что
оно использует не независимость случайных величин Xj, а тот
факт, что последовательность {Хп} абсолютно беспристрастна,
Е(Х„|Х1, ..., Х„_1) = 0 (8.4)
для 11 = 2, 3, ... . Как было показано в гл. VI, 12, частичные
суммы {Sn} такой последовательности образуют мартингал, и
все мартингалы получаются таким путем.
Сформулируем теперь
Неравенство Колмогорова для мартинга-
мартингалов. Если последовательность {Х„} абсолютно беспристрастна
* Материал в дальнейшем не используется.

296 Гл. VII. Законы больших чисел Применения в анализе
и величина Sn определена по формуле (8.1), то верно неравен-
неравенство (8.3).
Мы можем сделать еще шаг дальше, замечая, что доказа-
доказательство не зависит от того, что {Sn} является мартингалом. По
существу используется тот факт, что случайные величины Yn = S^
образуют субмартингал, т. е. что выполняются неравенства-1)
E(Ye|Yb ...,?„_!)>?„_!. (8.5)
Мы докажем сейчас вариант неравенства Колмогорова, при-
пригодный для произвольных субмартингалов (поучительно прове-
проверить, что приводимое ниже доказательство отличается от дока-
доказательства из 1, гл. IX, 7, лишь обозначениями).
Неравенство Колмогорова для субмартин-
субмартингалов. Пусть {Yn} — последовательность случайных величин,
подчиненных условию (8.5), и таких, что Y,, >• О при всех \. Тог-
Тогда при л;>0
Р {max [Ylt ..., YJ > х\ < Щ^ . (8.6)
(Неравенство (8.3) для мартингалов получается при Y^ = S2;h
x = t2.)
Доказательство. Пусть значение л:>0 фиксировано.
Обозначим через К наименьший индекс j*Cn, для которого
Yj>x, и положим К=0 в случае, когда такого индекса нет. Тог-
Тогда К — случайная величина с возможными значениями 0, 1, ...
... ,п и
PtmaxtYx, .... \п]>х}=Р{КФ0}= 2Р{К=у}. (8.7)
Тогда
Е(У„) = 2Е(Ул|К = у)-Р{К = Л- (8-8)
/-о
Член с номером / равен интегралу от Yn, взятому по множеству
элементарных событий {К = /} (и по отношению к совместному
распределению величин (Yb ..., Yn)). При />0 событие {К=Л
зависит только от Yi, ..., Yj. Поэтому в соответствии с опреде-
') Функция и(х)=х2 выпукла. Следовательно, если [Sn] — мартингал,
то JS^] — субмартингал. В специальном случае независимых случайных ве«
личин с Е(ХЛ = 0, Е(Ху) = а,- тривиально получаем

§ 8. Усиленный закон больших чисел 297
лением условного математического ожидания величина Yn в ин-
интеграле может быть заменена на E(Yn|Yj, ..., Y,). Из нера-
неравенств (8.5) и определения величины К следует, что подинтег-
ральное выражение не меньше Yj>x. Таким образом, при
/>0 /-и член суммы (8.8) не меньше хР{К=/}. Из (8.7) и (8.8)
с очевидностью вытекает справедливость неравенства (8.6). >
В качестве первого примера использования полученного ре-
результата мы докажем одну теорему, имеющую удивительно ши-
широкую область применений, в которую входят и частичные сум-
суммы (8.1) любых абсолютно беспристрастных последовательно-
последовательностей {Хп}.
Теорема 1. Теорема о сходимости мартингалов1). Пусть
{Sn}— мартингал, определенный на некотором вероятностном
пространстве. Если Е (S2) <J M < оо при всех п, то существует
такая случайная величина Y, что с вероятностью единица
Sn->Y.
Доказательство. Начнем с замечания, что в силу свойств
субмартингалов последовательность математических ожиданий
Е (S2\ является неубывающей. Поэтому условие огоаниченности
эквивалентно условию
E(S2)-ni<co. (8.9)
По неравенству Колмогорова для мартингалов имеем
P{|Sm+ft — Sm | > t при некотором &<«}<
E((Sm,,,-SwJ) _ E(sLhn)-E(S2ffl)
[По поводу последнего равенства напомним, что Е (Sm+BSJ Sm) =
= 5^.] В силу (8.9) при m>m0 и всех п правая часть неравен-
неравенства (8.10) меньше е. Полагая в (8.10) п—* оо, видим, что мно-
множество точек выборочного пространства, в которых | Sm+h—Sm|>
>t для некоторого k и m>m0, имеет вероятность меньшую, чем
г/t2. В силу произвольной малости е отсюда следует, что множе-
множество точек, в которых последовательность {Sm} не является фун-
фундаментальной, имеет нулевую вероятность. >
Примеры, а) Урновая схема Пойа уже рассматривалась
в примере A2,6) из гл. VI и в примере D, а) этой главы. Обо-
Обозначим через Yn долю черных шаров при n-и испытании. Уже
было показано, что {Yn} — мартингал. Теперь мы видим, что
') Теорема верна при единственном предположении, что величины E(|Sn|)
ограничены. См. книги Дуба, Лоэва, Неве.

298 Гл. VII. Законы больших чисел. Применения в анализе
с вероятностью единица существует предел Y = limYn. С другой
стороны, вероятность извлечь при п-м испытании черный шар
получается рандомизацией биномиального распределения. Та-
Таким образом, если Sn — общее число черных шаров, извлечен-
извлеченных при первых п испытаниях, то распределение величины n~*Sn
сходится к бета-распределению F, найденному в примере D, а).
Поэтому предельная случайная величина Y имеет бета-распре-
бета-распределение F.
б) Ветвящиеся процессы. В ветвящемся процессе, описанном
в 1, гл. XII, 5, число Х„ индивидуумов я-го поколения имеет
математическое ожидание Е(Х„) =\in [см. 1, гл. XII, форму-
формула E.3)]. При условии, что (п— 1)-е поколение содержит v
индивидуумов, математическое ожидание (условное) величины
Хи равно [iv и не зависит от размера предшествующих поколе-
поколений. Таким образом, последовательность {Sn}, где Sn = Xn/p.'\
образует мартингал. Нетрудно установить, что если Е(Х~)<оо,
то E(S^) остается ограниченным в предположении (л>1.
(Случай р,<Л см. сноску на стр. 297; см. задачу 7 из 1, гл. XII, 6.)
Мы получаем удивительный результат, что Sn с. вероятностью
единица сходится к пределу S^. Отсюда следует, в частности,
что распределение величины Sn сходится к распределению вели-
величины Soo. Эти результаты принадлежат Т. Харрису.
в) Гармонические функции. Для ясности мы рассмотрим спе-
специальный пример, хотя последующие рассуждения применимы
к более общим марковским цепям и согласованным с ними
функциям (пример A2, в) из гл. VI).
Пусть D обозначает единичный круг, т. е. совокупность та-
таких точек x={xi, x2), что jcJ + ^-CI. Для любой точки x?D
обозначим через Сх наибольшую окружность с центром в х, со-
содержащуюся в D. Рассмотрим марковский процесс в D, опреде-
определенный следующим образом. При данном Уп = х случайная вели-
величина Yn+1 распределена равномерно на Сх; начальное положе-
положение Уо=у считается известным. Переходные вероятности опреде-
определяются стохастическим ядром К, которое при фиксированном х
сосредоточено на Сх и сводится там к равномерному распреде-
распределению. Функция и, заданная на D, будет согласованной с про-
процессом, если значение и(х) равно среднему значению и на С.,;.
Рассмотрим теперь гармоническую функцию и, непрерывную в
замкнутом круге D. Тогда {и(\„)}—ограниченный мартингал
и потому Z = lim«(Yn) существует с вероятностью единица. Так
как координатные переменные Xj являются гармоническими
функциями, то из сказанного следует, что с вероятностью еди-
единица Yn сходится к пределу Y?D. Легко видеть, что процесс

8 Усиленный закон бп гыиих чисел 299
не может сходиться к внутренней точке круга D. Поэтому
Yn сходится с вероятностью единица к точке Y на границе
круга D.
В обобщенном виде подобного типа рассуждения исполь-
используются при изучении асимптотических свойств марковских про-
процессов и при доказательстве общих теорем о гармонических
функциях, таких, как теорема Фату (теорема о существовании
радиальных граничных значений почти всюдуI). >>
Следующая ниже теорема обобщает критерий Колмогорова
из 1, гл. X, 7, в двух направлениях: во-первых, она применима
к мартингалам, а не только к независимым величинам; во-вто-
во-вторых, в ней используются любые нормирующие константы bh.
Теорема 2. Пусть случайные величины {Х^} удовлетворяют
условию (8.4). Определим {Sn} no формуле (8.1). Если bi<.b2<
<...—» оо и
"V1 А^рГ (\'^\ ^ г- -, / Й 1 1 \
то с вероятностью единица
Ь7г^п~->0 (8.12)
и величины
п
X1 /, — 1V /О 1Q1
сходятся.
Доказательство. Очевидно, что {Yn} — март ингал. Оцен-
Оценка, аналогичная примененной к правой части соотношения
(8.10), показывает, что величина E(Y^)ограничена суммой ряда
(8.11). По теореме 1 последовательность {Yn} сходится с вероят-
вероятностью единица и соотношение (8.12) выполняется в каждой
точке выборочного пространства, где {Yn} сходится2). Доказа-
Доказательство закончено. >¦
') В i е 1 о t M., Doob I. L., Limites angulaires et limites fines, Ann. Inst.
Fourier, 13 A963), 395—415. [Русский перевод см. сб. Математика, 11:3
A967), 101 — 116.]
?) Это утверждение известно под названием леммы Кронекера. По этой
лемме сходимость ряда ~^Ь^^хк влечет соотношение (х1 -\- ... +*„) Ь~* -> 0.
Для доказательства обозначим остаток указанного ряда через р„. Тогда
х,г = Ьп (рп-1 — Рп) », следовательно,
л-1
Пусть [pfti<e для k^r. Так как 6п->оо, то поделенная на Ьп сумма пер-
первых г членов справа стремится к нулю. В силу монотонности {&„} остальные
члены дают величину, не превосходящую е (Ьп — 6Л) 6~ <; е.

200 Гл. VII. Законы больших чисел. Применения в анализе
В качестве следствия мы получаем усиленный закон больших
чисел для мартингалов: если ^п~ Е (Х„) < со, то «"'S^ —> 0 с ве-
вероятностью единица. В специальном случае независимых и оди-
одинаково распределенных величин Xh урезание, описанное в 1,
гл. X, 7, приводит к более сильному результату, а именно: если
E(Xft) =0, то с вероятностью единица п~1§,г -* 0.
§ 9. Задачи
1. Если функция и непрерывна на 0, со, то при п->
равномерно в каждом конечном интервале.
Указание. Вспомните отрицательно-биномиальное распределение A,
гл. VI, 8). Не нужно никаких вычислений.
2. Если и имеет непрерывную производную и', то производные Вп и
полиномов ВП: и равномерно сходятся к и'.
3. Полиномы Бернштейна в 3Z2. Если и(х,у) непрерывна в треуголь-
треугольнике х^>0, у ~^> 0, х + у -^ 1, то имеет место равномерная сходимость
j\k\(n — j— k)\
{x, у).
4. Функцию и, непрерывную на 0,1, можно равномерно аппроксимировать
полиномами четной степени. Если к@)=0, то же самое верно для полиномов
нечетной степени ').
5. Если и непрерывна в интервале 0, со и и (со) существует, то и может
быть равномерно аппроксимирована линейными комбинациями функций е~пх.
6. Ниже указаны три последовательности моментов. Найдите вероятно-
вероятности /4 , входящие в C.4). Используя предельное соотношение C.6), найдите
соответствующее распределение вероятностей:
(Ь) ил = 7Грр
(С) Цп =
') По известной теореме Мюнца равномерная аппроксимация линейными
комбинациями степеней 1, х"\ x'h, ... возможна в том и только в том слу-
случае, когда ряд ^ n~k расходится.

§ 9. Задачи 301
71). Пусть р— полином степени v. Покажите, что при ra>v разность А"р
тождественно равна нулю. Покажите, что В?1] р — полином степени не бо-
более v (несмотря на то что в записи он выглядит как полином степени n>v).
8. Покажите, что если F имеет плотность, то соотношение .F.4) можно
получить интегрированием соотношения F.6).
9. Закон больших чисел для стационарных последовательностей. Пусть
{X*} F = 0, ±1, ±2, ...)—стационарная последовательность. Определим x'k
урезанием, таким же, как в G.2). Если Е(Хь)=0 и Е (Х^Х'Л -> 0 при п -> со,
Р{п-|[Х|+... + Х„|>е)-+0.
10. Распространите вариант неравенства Чебышева из примера G, а)
гл. V на мартингалы2).
') Использование этого результата значительно упрощает классическое
решение проблемы моментов (см книгу Шохата и Тамаркина). Это решение
можно описать следующим образом. Для полинома р(х) —ро + .. , + pvxv опре-
делим Е(р) =роЦо+-. -+Pv^v' гДе \ik—предполагаемые моменты. Функцио-
Функционал Е(р)—линейный функционал, определенный на множестве всех полино-
полиномов на 0,1. Из задачи 7 легко вывести, что неравенство 0-^р<Л влечет не-
неравенство 0< Е (/))< 1. Поэтому функционал Е(р) можно распространить,
с использованием равномерной сходимости, на множество всех непрерывных
функций. Теорема Рисса из гл IV, 5, показывает, что \Xk действительно
являются моментами некоторого распределения вероятностей.
2) Marshall A. W., A one-sided analog of Kolmogorov's inequality,
Ann. Math. Statist., 3) A960), 483—487.

ГЛАВА VIII
ОСНОВНЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
Основные результаты этой главы содержатся в § 1, 3 и G
Параграфы 4, 5 и 7 можно рассматривать как источник интерес-
интересных примеров. Выбор примеров объясняется их важностью дтя
тех или иных целей.
Два последних параграфа посвящены правильно меняю
щимся функциям (в смысле Карамата). Этот интересный вопрос
приобретает все большее значение. Однако он не освещен в
учебниках и его изложение не было приспособлено к случаю
функций распределения. Огромное количество разрозненных вы-
вычислений в теории вероятностей может быть упразднено при
использовании асимптотических соотпошений § 9. Последние
носят более «технический» характер по сравнению с простым §8.
§ 1. Сходимость мер
Излагаемая ниже теория пе1 зависит от размерности про-
пространства. Для удобства формулировки в тексте даны для одно-
одномерного случая. Однако с учетом соглашений гл. 111,5 они без
изменений переносятся на многомерный случай.
Два из приводимых ниже примеров типичны для явлений,
с которыми нам придется иметь дело.
Примеры, а) Возьмем произвольное распределение вероят-
вероятностей F и положим Fn(x) —F (х— п~х). В точках х, в которых/7
неирерывна, имеем Fn(x) -*F(x). В то же время в точках раз-
разрыва Fn (х) —> F (х—). Тем не менее мы будем говорить, что
{Z7,,} сходится к F.
б) Положим на этот раз Fn(x) =F(x + n), где F — непрерыв-
непрерывная функция распределения. Теперь Fn(x) -> 1 при всех х; пре-
предел существует, но не является вероятностной функцией распре-
распределения. Аналогично если Fn (x) = F(trlx), то Fn (х) —*F@).
В подобных случаях мы будем говорить о несобственной схо-
сходимости.
в) В теореме 1 из гл. VII, 3 мы сталкивались с функциями
распределения Fn и F, такими, что Fn(x) —*-F(x) в каждой точ-
точке х, где F непрерывна. В других точках это соотношение могло

§ 1. Сходимость мер 303
и не выполняться. Формула F.1) гл. VII иллюстрирует это
же явление с распределением F, сосредоточенным в одной
точке.
Основные понятия и обозначения
Нам будет нужно выделить три класса непрерывных функ-
функций. В одномерном случае1) С(—оо, оо) обозначает класс всех
ограниченных непрерывных функций; С[—оо, оо] обозначает под-
подкласс функций, имеющих конечные пределы «(—оо) и «(оо);
наконец Со(—оо, оо) обозначает подкласс функций, «исчезаю-
«исчезающих на бесконечности», т. е. функций с «(±оо) =0.
Мы скажем, что / есть интервал непрерывности для распре-
распределения вероятностей F, если / — открытый интервал, концы ко-
которого не являются атомами F2). Вся прямая рассматривается
как интервал непрерывности. В этом параграфе мы используем
сокращенные обозначения
+ оо -Ьсо
Е„(и)= J u(x)Fn{dx), Е(и) = J u{x)F{dx). A.1)
— со -со
Всюду в этой главе, кроме § 9, мы будем рассматривать
только последовательности распределений вероятностей. Однако
даваемое ниже определение применимо к произвольным ме-
мерам3) Fn.
Определение 1. Мы будем говорить, что последователь-
последовательность {Fn} сходится к F (в обозначениях Fn—*F) тогда и только
тогда, когда
/=¦»{/}-*/="{/} A.2)
для каждого ограниченного интервала непрерывности F.
') Для • перехода к многомерному случаю заметим, что в одномерном
случае С[— со, оо] — это класс непрерывных функций на прямой, «компакти-
«компактифицированной» добавлением точек ±со к #'. Для определения С[—со, оо]
в З?2 так пополняются обе координатные оси, что требуется существование
при каждом х пределов и(х, ±оо) и и(±со, х). Сам по себе этот класс не
очень интересен, но функции распределения входят в него. В определении
Со(—. оо, оо ) требуется, чтобы и(х, ± со) =и(± со , х) =0.
2) В многомерном случае требуется, чтобы граница / имела вероятность
нуль.
3) Для читателей, интересующихся общей теорией меры, мы сделаем сле-
следующее замечание. Определения и теорема этого параграфа переносятся без
изменений на произвольные локально компактные пространства, если заме-
заменить «интервалы непрерывности» на «открытые множества с границей меры
нуль». Ограниченным интервалам соответствуют подмножества компактных
Множеств. Наконец, Со — класс всех непрерывных функций, исчезающих на
бесконечности, т. е. и ? Со, тогда и только тогда, когда и непрерывна и |и|<8
вне некоторого компактного множества. Другие классы не играют никакой
роли в этом параграфе.

304 Гл. VIII. Основные предельные теоремы
Допустим, что Fn суть собственные распределения вероятно-
вероятностей и Fn—*F. Тогда F{/}4^ 1 для каждого ограниченного интер-
интервала, н F может быть как собственным, так и несобственным
распределением вероятностей. Для несобственных распределе-
распределений F соотношение A.2) не выполняется, когда / совпадает со
всей прямой. С другой стороны, если предельное распределе-
распределение F собственное, то A.2) выполняется и для всех неограничен-
неограниченных интервалов непрерывности /. В самом деле, всегда
liminf Fn{I}>F{I} A.3)
(это неравенство становится очевидным, если заменить / на
ограниченный подинтервал непрерывности /, такой, что F(J)
отличается от F{f) менее чем на заданное число е). Если F —
собственное распределение, то, применяя соотношение A.3) к
дополнению /' интервала /, получим
lim sup F„{I} < F{I), A.4)
т. е. A.2) верно. Соединим этот важный результат и
Определение 2. Последовательность {Fy,} распределений
вероятностей называется собственно сходящейся к F тогда и
только тогда, когда Fn—*F и F — собственное распределение ве-
вероятностей.
Собственная сходимость равносильна тому, что A.2) выпол-
выполняется для любого {ограниченного или неограниченного) интер-
интервала непрерывности F.
|
Выбирая / =—оо, х, мы видим1), что если Fn-*F в соб-
собственном смысле, то Fn(x) —*F(x) в каждой точке непрерывно-
непрерывности F.
Вместо Fn-*F мы будем также писать F = l\mFn. Для ясно-
ясности мы будем иногда говорить о несобственной сходимости, же-
желая подчеркнуть, что предельное распределение F — несоб-
несобственное.
Следующая ниже теорема является основной. Она описывает
слабую сходимость в терминах математических ожиданий и в
то же самое время дает критерий сходимости последовательно-
последовательности распределений.
¦) Если сходимость несобственная, то последовательность {Fn(x)} может
расходится при любом х. Например, если Fn(x)=F(x+(—1)"я), то при
всех х F2k(x)-^-l и F2ft+i(Jc)->0. В то же время Fn{I)->0 для всех ограничен-
ограниченных интервалов /. Промежуточный тип несобственной сходимости можно
определить требованием сходимости Fn(x)-*F(x) во всех точках непрерыв-
непрерывности.

§ 1. Сходимость мер 305
Теорема. Пусть {/¦"„} — последовательность собственных
распределений вероятностей.
а) Для существования собственного или несобственного рас-
распределения F, такого, что Fn —*¦ F, необходимо и достаточно,
чтобы последовательность математических ожиданий Е„(н)
сходилась для каждого и?С0(—сю, сю). В этом случае
Еп(и)-*Е(и) A.5)
для и 6 Со(—сю, сю).
б) Если сходимость собственная, то A.5) выполняется для
всех м? С(—сю, сю).
Замечания к терминологии. Если A.5) выполняется для
всех и из некоторого класса, то говорят, что Fn сходится к F
слабо по отношению к этому классу. Введенная нами сходи-
сходимость Fn—*F может быть, таким образом, описана как слабая
сходимость по отношению к Со(—сю, сю). Это определение схо-
сходимости имеет то преимущество, что оно применимо и к произ-
произвольным вероятностным пространствам. Однако наше элемен-
элементарное определение больше соответствует интуиции. [Не нужно
говорить, что все определения применимы к произвольным огра-
ограниченным мерам и нормировка вводится только ради удобства.]
Доказательство, (i) Пусть и — ограниченная и непре-
непрерывная функция. Допустим, что |ы|-<1 1 и что Fn—*F в собствен-
собственном смысле. По заданному е>0 выберем интервал непрерывно-
непрерывности А для F столь большой, что F(A)>1 — e. Разобьем А на
интервалы непрерывности /i, . . . , Ir, предполагая их столь ма-
малыми, что колебание и на каждом из них меньше е. Тогда су-
существует функция 0, равная нулю вне А и постоянная на каж-
каждом из интервалов /ft, такая, что \и(х) —а(х) |<е для х?А. На
дополнении Л' к множеству А имеем \и(х)—а|^С1. Следова-
Следовательно,
|Еп(ы)-Еп(а)Ке + ,Р„{Л'}, A.6)
|Е(и) — Е(о)|<е + /г{Л/}<2е. A.7)
Теперь Е„(а) —это линейная комбинация значений Fn{Ij} с фик-
фиксированными коэффициентами. Следовательно, Е„(сг) —*¦ Е(о).
Далее Fn{A'}—*F{A'}. Поэтому из A.6) и A.7) выводим, что
|ЕП(«) —Е(ы)|<10е при всех достаточно больших п. Следова-
Следовательно, A.5) выполняется для всех и?С(—сю, сю).
В случае несобственной сходимости эти рассуждения непри-
непригодны, так как множество А' не ограничено и числа Fn{A'} не
обязаны сходиться к F{A). Однако в этом случае мы рассматри-
рассматриваем только функции, обращающиеся в нуль на бесконечности,

306 Г г. V1U. Основные предельные теоремы
и мы можем выбрать А столь большим, что \и{х)\<е для х€ А'.
Тогда |и—а\<е при всех х и левые части в A.6) и A.7) бу-
будут меньше б. Следовательно, Еп(и) —> Е(ы), во всяком случае
для м6С0(—оо, оо).
(ii) При доказательстве достаточности мы будем предпола-
предполагать известной теорему о выборе (теорему 1, § 6). (Она совер-
совершенно элементарна, но ее предпочтительнее обсуждать вместе
с ее вариантами и другими применениями).
В соответствии с этой теоремой каждая последовательность
{/•"„} распределений вероятностей содержит подпоследователь-
подпоследовательность, сходящуюся (в собственном или несобственном смысле)
к некоторому пределу F Из A.5) и первой части теоремы мы
заключаем, что Е(и) совпадает с математическим ожиданием
и по отношению к пределу F. Если A.5) выполняется, то ни-
никакая подпоследовательность последовательности {/•"„} не можег
сходиться к другому пределу. Следовательно, Fn~*F, что утвер-
утверждалось. ^
Примеры, г) Сходимость моментов. Если распределения Fn
I 1
сосредоточены на 0, 1, то способ определения и вне этого интер-
интервала несуществен. Поэтому в формулировке теоремы достаточ-
|
но предполагать функцию и непрерывной на 0, 1. Каждая такая
функция может быть равномерно аппроксимирована полино-
полиномами (см. гл. VII, 2). Поэтому теорема может быть сформулиро-
сформулирована по-новому следующим образом.
Последовательность распределений Fn, сосредоточенных на
0, 1, сходится к пределу F тогда и только тогда, когда при ка-
каждом г последовательность моментов En(Xk) сходится к неко-
некоторому числу цд. В этом случае ць= Е(ХА), т. е. \.кк будет k-я
моментом распределения F, и сходимость будет собственной,
так как |ио=1. (См. VI, 3.)
д) Сходимость моментов (продолжение). В общем случае
математические ожидания Fn не обязаны сходиться, даже если
F,,~*F в собственном смысле. Например, если F., приписывает
вес п~х точке п2 и вес 1 —п~1 точке 0, то Fn сходится к распре-
распределению, сосредоточенному в нуле, но Еп(Х)->оо. Однако
имеется следующий полезный критерий. Если Fn-+F и пои не-
некотором р>0 математические ожидания Е„(|Х|р) ограничены,
то F является собственным распределением вероятностей. В са-
самом деле, часть Е„(|Х|р), соответствующая области \х\~^-а, не
меньше а"A—Fn{—а,а}). Последняя величина стремится к

§ 1. Сходимость мер 307
пределу, не меньшему аРц, где ц — «дефект» Z71). Так как а
можно взять произвольно большим, то т] = 0. Слегка усиливая
проведенные рассуждения, можно показать, что абсолютные мо-
моменты Еп(|Х|а) порядка а<р сходятся к Е(|Х|а).
е) Сходимость плотностей. Если распределения вероятностей
Fn имеют плотности /„, то последние не обязаны сходиться,
даже если Fn~*F и F имеет непрерывную плотность. Пусть, на-
например, fn(x) = l—cos2nnx при 0<х<1 и /„(*)= 0 в других
случаях. Тогда распределения Fn сходятся к равномерному рас-
распределению с плотностью f(x) = 1 для 0<*<1, но /„ не сходятся
к /. С другой стороны, если fn-+f и f — плотность вероятности,
то Fn-+F, где F — собственное распределение с плотностью /.
В самом деле, лемма Фату [B.9) гл. IV] влечет A.3). Мы виде-
видели, что в свою очередь отсюда вытекает A.4), а потому и A.2). |>
Пусть мы имеем дело с функциями и(, зависящими от неко-
некоторого параметра t [такими, как sin tx или v(t+x)]. Тогда часто
бывает полезно знать, что при достаточно больших я соотноше-
соотношение |Е„(«()—Е(ы/)|<е выполняется одновременно для всех t.
Мы докажем, что это свойство выполняется, если семейство
функций ui равностепенно непрерывно 2).
Следствие. Предположим, что Fn-+F в собственном смы-
смысле. Пусть {«/} — семейство равностепенно непрерывных функ-
функций, зависящих от параметра t. Пусть при всех t |и<(<Л4<оо,
где М — некоторая константа. Тогда Е„(н() —> E(ut) равномер-
равномерно по t.
Доказательство. Напомним, что в доказательстве A.5)
было использовано разбиение интервала А на интервалы, на
каждом из которых колебание и меньше е. В настоящих усло-
условиях это разбиение может быть выбрано одним и тем же для
всех t, после чего утверждение становится очевидным. ^
Пример, ж) Пусть щ(х) =sin tx. По теореме о среднем
\Ut(X2) —Ut(Xi) {<\t\-\X2 — Xi\,
так что при t, лежащем в конечном интервале —а, а, рассматри-
рассматриваемое семейство равностепенно непрерывно. Следовательно,
ЕП(М() —> Е(м() равномерно в каждом конечном интервале. >
') То есть разность 1 —F {— го, со}. —Прим. перев
2) Семейство функций равностепенно непрерывно, если каждому е>0 со-
соответствует 6, не зависящее от t и такое, что \ut(x^)—ut(xi)\<i?. при
1*2 —ЛГ,|<6.

308 Гл. VIII Основные преде гьные теоремы
§ 2. Специальные свойства
В соответствии с определением 1 из гл. V, 2 два распределе-
распределения U и V принадлежат одному и тому же типу, если одно от
другого отличается только параметрами расположения, т. е.
если
V(x) = U(Ax + B), A>0. B.1)
Мы покажем теперь, что сходимость распределений сохраняет
типы в том смысле, что изменения параметров расположения
допредельных распределений не меняют типа предельного рас-
распределения. Именно этот факт дает возможность говорить об
«асимптотических нормальных последовательностях» без точного
указания соответствующих параметров. Более точно, имеет
место
Лемма 1. Пусть U и V — два распределения, ни одно из
которых не сосредоточено в единственной точке. Пусть после-
последовательность {Fn} распределений вероятностей такова, что при
некоторых константах а„>0 и ап>0
B.2)
во всех точках непрерывности. Тогда
ап
В B.3)
и выполняется B.1). Обратно, если верно B.3), то каждое гз
соотношений B.2) влечет за собой другое и соотношение B.1).
[Существенно, что ни одно из распределений не сосредото-
сосредоточено в единственной точке. Например, пусть V сосредоточено
в нуле и Fn = U при всех п. Тогда первое из соотношений B.2)
справедливо при ап = 1 и Ьп — 0, а второе — при любых ап —* °о
и ограниченных р„. Очевидно, что B.3) не обязано выполняться ]
Доказательство. Мы начнем со второго утверждения
леммы. Допустим, что выполняется B.3). Положим у=Ах + В.
При заданном е>0 и достаточно больших п имеем
Fn{an{y—г) +bn) <Fn{anx + $n) <Fn{an{y + e) +bn) B.4)
(так как аргументы удовлетворяют аналогичным неравенствам).
Отсюда следует, что первое из соотношений B.2) влечет второе.
Точно так же устанавливается обратное утверждение.
Допустим теперь, что выполняются оба соотношения B.2).
Выберем две точки непрерывности х' и х" распределения V,
так что х'<х" и 0<V{x') <1 V(x")<\. Тогда найдутся точки не-
непрерывности распределения I), для которых U(y') <V{x') и

§ 2. Специальные свойства 309
\J(y")>V(x"). При достаточно больших п из B.2) вытекает
а„у'+ bn<anxf + ^n<anx" +fin <.any" + bn.
Следовательно, ап(х" — х')*Сап(у" — у') и отношения а„/ап и
(Рп — Ьп)/ап остаются ограниченными. По соображениям сим-
симметрии отношения а„/ап также должны быть ограничены. По-
Поэтому можно выбрать последовательность пи п2, ¦. . , такую, что
при п, пробегающем эту последовательность, выполняется B.3).
По второму утверждению леммы отсюда следует B.1). Так как
константы А и В определяются формулой B.1) однозначно, то
ясно, что наши пределы не зависят от снецнального выбора по-
последовательности {nh}. Иными словами, B.3) выполняется нрип,
стремящемся к бесконечности любым образом. Доказательство
закончено. >
Два типа последовательностей {/•"„} распределений вероятно-
вероятностей встречаются так часто, что заслуживают специального назва-
названия. Для большей ясности обозначений мы дадим формальные
определения в терминах случайных величин Х„. Однако по суще-
существу эти понятия связаны только с соответствующими распределе-
распределениями Fn. Стало быть, определения имеют смысл без всякого
упоминания о каком бы то ни было вероятностном пространстве.
Определение 1. Если
Р{|Х„|>е}->0 B.5)
при любом е>0, то мы будем говорить, что случайные вели'
чины Х„ сходятся по вероятности к нулю и будем обозначать
р
это символом Хп —* 0.
р
По определению Х„—*Х означает то же самое, что
Х„ — X Л 0.
Заметим, что B.5) выполняется тогда и только тогда, когда
распределения Fn сходятся к распределению, сосредоточенному
в нуле. В общем случае, однако, сходимость Fn—*F не позво-
позволяет сделать никаких заключений относительно сходимости по-
последовательности Х4, Х2, ... . Например, если величины Xj вза-
взаимно независимы и имеют одно и то же распределение F, то
Fn—*F, но последовательность {Хп} не сходится по вероятности.
Приводимая ниже простая лемма часто используется, хотя
это и не всегда отмечается явно. (Так, метод «урезания» из 1,
rji- X неявно опирается на эту лемму).
Лемма 2. Обозначим распределения Х„ и Yn через Fn и
®п соответственно. Допустим, что \„ — Yn—*0 и что Gn-+G,
Тогда и Fn-+G.

310 Га. VIII. Основные предельные теоремы
v
В частности, если Х„ — ¦ X, то Fn —>¦ F, где F — распределе-
распределение X.
Доказательство. Если Х„-<х, то или \п^Сх + е, или
Х„ — Yn -С — г. Вероятность последнего события стремится к
нулю. Следовательно, при всех достаточно больших п
Fn(x) *CGn(x + e)+е. Точно так же устанавливается аналогич-
аналогичная оценка для Fn снизу. >
Определение 2. Последовательности {XJ и {F},, назы-
называются стохастически ограниченными, если для каждого е>0
найдется такое а, что
Р{|Х„|>а}<е B.6)
для всех достаточно больших п.
Это определение применимо и к случайным векторам Х„ и
к соответствующим им многомерным распределениям.
Последовательность, сходящаяся в собственном смысле, оче-
очевидно, будет стохастически ограниченной. В то же время не-
несобственная сходимость исключает стохастическую ограничен-
ограниченность. Мы получаем, следовательно, простой, но полезный
критерий: если распределения Fn сходятся, то предел F будет
собственным распределением тогда и только тогда, когда после-
последовательность {Fn\ стохастически ограничена.
Вместе с {Хл} и {YT1} стохастически ограничена и последова-
последовательность {Xn + Y,i}. В самом деле, событие |X,, + Yn|>2o влечет
событие: или |Х„|>а. или |Y,,|>a. Поэтому
Р{ Xft + Ynj>2aKP{iX(l|>a} + P{|Yn|>a}. B.7)
Следующая ниже лемма может быть доказана многими спо-
способами (см. задачу 4). Она приведена здесь лишь для того,
чтобы проиллюстрировать применение предыдущих лемм.
Лемма 3. Пусть Хь Х2, ... — независимые случайные вели-
величины с одним и тем же распределением F. Пусть Sn = Xj + ...
...+Х„ и случайные величины a^lSn — bn имеют собственное
предельное распределение U, не сосредоточенное в одной точке.
Если а„>0, то ^
ап->со, -^-->\. B-8)
ап-\
Доказательство. Если ап—*оо, тоа^'Х^—^->0 и по по-
последней лемме распределение a/iSrt_I — bn сходится к U. Следо-
Следовательно, случайные величины a~'Sn_1 — bn и a~^_lSn_1 — bn^l

§ 3. Распределения как операторы 311
имеют одно и то же предельное распределение U. По лемме 1
отсюда вытекает, что—— —>1. Докажем, что а„—>оо. Если бы
ап- I
это было не так, то последовательность {#~'Sn— ЬЛ не могла бы
быть стохастически ограниченной. Последнее утверждение, как
показывает метод симметризации, достаточно доказать для сим-
симметричных распределений F и Ьп = 0. По неравенству V E.9)
Р { I SJ > t\ > \ Р {max [! X, !, . . ., | Х„ | ] > t). B.9)
Если распределение F не сосредоточено на конечном.интервале,
то вероятность в правой части B.9) стремится к 1 при любом
фиксированном />0. Поэтому последовательность {a~'S 1 мо-
может быть стохастически ограниченной только при условии, что
а„—>оо. Это рассуждение можно видоизменить так, чтобы оно
было применимо и к распределениям, сосредоточенным на конеч-
конечном интервале. Однако, как мы вскоре увидим, к этим распре-
распределениям применима центральная предельная теорема и потому
для них по лемме 1 ап — а~\[п. р-
§ 3. Распределения как операторы
Свертка U = F-*u функции точки и и распределения F была
¦определена в гл. V, 4. Вводя семейство функций ut формулой
ut(x)=u(t — х), мы можем выразить значение U(t) как матема-
математическое ожидание:
+ СО
U(t)= I u(t-y)F{dy) = E(ut). C.1)
— со
Мы используем эту запись для того, чтобы вывести критерий
собственной сходимости. В этом критерии рассматривается класс
С[—оо, оо] непрерывных функций, имеющих пределы ы(±оо).
Эти функции равномерно непрерывны.
Теорема 1. Последовательность распределений вероятно-
вероятностей Fп сходится к распределению F в собственном смысле тогда
и только тогда, когда для каждой функции и? С[—оо, оо] сверт-
свертки Un — Fn*и равномерно сходятся к некоторому пределу U.
В случае сходимости U = F*u.
Доказательство. Условие необходимо, так как равно-
Мерная непрерывность и влечет равностепенную непрерывность
семейства {ut} и по следствию из § 1 Un равномерно сходится к
F*u. Обратно, условие теоремы влечет сходимость математиче-

312 Гл. VIII. Основные предельные теоремы
ских ожиданий Е„(и). Мы видели в § 1, что отсюда вытекает
сходимость Fn—*F, нужно только доказать, что распределение
F — собственное. Пусть и — непрерывная монотонная функция,
возрастающая от 0 до 1. Тогда Un(—со) =0 для каждого п. За-
Заменяя область интегрирования в C.1) на —со, —2х, видим, что
Un(—x)>u(x)Fn{—2x).
Так как Un-*U равномерно, то при всех достаточно больших
х отсюда вытекает неравенство Fn(—2х) <е. Таким образом,
F(—со) =0. Аналогично доказывается, что 1—F(oo)=0. >
Полезность этого критерия можно иллюстрировать важным
примером.
Пример, а) Теоремы об аппроксимации. Пусть G — произ-
произвольное распределение вероятностей и Gh(x) = G{h~1x). При
h—>0+' распределение Gh стремится к распределению, сосредо-
сосредоточенному в нуле, и потому для каждой функции и?С[—со, оо]
имеет место равномерная сходимость Gh*и—*и1).
Если G имеет плотность g, то свертка Gh*u задается фор-
формулой
ОА*в@= J u(y)g[~^}jrdy. C.2)
— oo
Если g имеет ограниченную производную, то этим же свой-
свойством обладает и Gh и можно дифференцировать C.2) под зна-
знаком интеграла. Беря в качестве g нормальную плотность, мы
получим следующую лемму об аппроксимации: для каждой
функции и 6 С[—со, со] найдется бесконечно дифференцируемая
Функция v?C[—со, со], такая, что для всех х \и(х)—v(x)\<.e.
Подобные результаты часто используются и за пределами
теории вероятностей. Доказательство, однако, всего проще в
рассматриваемой ситуации. Типичное применение указано в за-
задаче 10. >
В настоящем контексте желательно заменить символ свертки
* более простым обозначением, которое подчеркивало бы, что
') Это можно проверить и непосредственно, отправляясь от формулы
+ оо
Gh * и @ - и @ = J [и (t - у) - и @] G {dy/h}.
Предположим |и(л;)|^1. По данному е>0 выберем б так, чтобы колебания и
на каждом интервале длины 26 были меньше е. Часть интеграла, взятая по
множеству |i/|>6, не превосходит выражение 2[1 — G(/r'6)+G(—А"'б)], кото-
которое стремится к нулю при ft-Я). Поэтому интеграл стремится к нулю равно-
равномерно по t.

§ 3. Распределения как операторы 313
в C.1) распределение F играет роль оператора, переводящего
и в U. Этот оператор мы будем обозначать буквой §. Мы усло-
условимся, что равенство U = %u имеет тот же смысл, что и
U=F*u. Истинное преимущество этого кажущегося педантич-
педантичным подхода станет видимым только тогда, когда в том же кон-
контексте будут рассматриваться другие типы операторов. Тогда
будет удобно видеть сразу, играет ли то или иное распределе-
распределение свою первоначальную вероятностную роль или же оно слу-
служит только аналитическим оператором. После этого объяснения
мы вводим
Соглашение об обозначениях. С каждым распределением F
мы связываем оператор %, отображающий С[—оо, оо] на себя.
Этот оператор ставит в соответствие функции и ее преобразо-
преобразование %и = F*u. Всюду, где это возможно, распределения и
связанные с ними операторы будут обозначаться соответствую-
соответствующими латинскими и готическими буквами.
Как обычно, %®и обозначает результат применения 3 к ©и,
так что %® обозначает оператор, соответствующий свертке F*G
двух распределений вероятностей. В частности, §" обозначает
оператор, связанный с Fn*, т. е. с я-кратной сверткой F с
собой.
Пример, б) Пусть На — атомическое распределение, сосредо-
сосредоточенное в точке а. Тогда &а обозначает оператор сдвига
$аи(х)=и(х — а). В частности -§>0— тождественный оператор:
Примем обозначение1)
||w|| = sup|«(x)| C.3)
и укажем легко проверяемое неравенство треугольника:
Цы + у||-^||ы|| + ||и||. Тогда соотношение \\ип — ы||—»0 означает
равномерную сходимость ип к и.
Оператор Т называют ограниченным, если существует такая
константа а, что ЦГиЦ-^яЦыЦ. Наименьшее число с этим свой-
свойством называют нормой Т и обозначают ||Г||. В этих обозначе-
обозначениях основные свойства линейных операторов, связанных с функ-
функциями распределения, формулируются следующим образом.
Они положительны, т. е. из « ^ 0 вытекает gu^-O. Они име-
имеют норму 1, откуда следует
||8и||<||и||. C.4)
Наконец, они перестановочны, т. е. g© = ©5-
') ||м||—это норма и, как элемента пространства Банаха С[—оо, со]. Мы
не будем, однако, использовать теорию этих пространств.

314 Г.i VIII. Основные предельные теоремы
Определение1). Пусть %п и § — операторы, связанные
с распределениями вероятностей Fn и F. Мы пишем %„-*¦% в
том и только том случае, когда
C.5)
для каждого и ? С[—оо, оо].
Теорему 1 можно теперь сформулировать иначе.
Теорема la. Fn—*F в собственном смысле тогда и только
тогда, когда $„ —> {>".
Нижеследующая лемма является основной. Она содержит не-
некоторое неравенство и показывает целесообразность нового обо-
обозначения.
Лемма 1. Для операторов, связанных с распределениями
вероятностей, имеем
Доказательство. Оператор в левой части равен
<Si— ©i) 5'2 + C'2 — ©2)©i- Поэтому C.6) вытекает из неравен-
неравенства треугольника и того факта, что ^ и ©t имеют нормы не
больше 1. Отметим, что доказательство применимо и к несоб-
несобственным распределениям вероятностей. >
Из C.6) непосредственно следует
Теорема 2. Пусть последовательности {Fn} и {Gn} распре-
распределений вероятностей сходятся в собственном смысле к F и G
соответственно. Тогда
Fn*Gn — F*G. C.7)
(Сходимость является собственной в силу определения свертки
F*G. Теорема неверна в случае несобственной сходимости: возь-
возьмите Fn = Gn с массой '/г в каждой из точек ±п.)
В качестве второго применения докажем, что теорема 1 ос-
остается справедливой, если сузить рассматриваемый класс функ-
функций и до класса особенно «хороших» функций, имеющих произ-
производные всех порядков. На этом пути мы получим более гибкий
') В терминологии банаховых пространств C.5) называется сильной схо-
сходимостью. Заметим, что отсюда не вытекает сходимость в смысле
llSto — SII-*"- Например, если Fn сосредоточено в точке 1/л и %— тожде-
тождественный оператор, то %„и.{х)~^и(х) = и(х — п~1) — и{х) и C.5) верно.
Однако || Of л — g||=2, так как существует функция v с |у|<1, такая, что
к@) = 1 и v(—n-l)=—l.

§ 4. Центральная предельная теорема 315
Критерий 1. Пусть Fn — распределение вероятностей.
?сли для каждой бесконечно дифференцируемой ') v ? С [—<х>, оо]
последовательность {i$nv} равномерно сходится, то существует
распределение вероятностей F, что Fn -* F.
Доказательство. Как было показано в примере (а), для
любой «? С[—оо, оо] и любого е>0 найдется бесконечно диффе-
дифференцируемая функция v, такая, что \\и — у||<е. По неравенству
треугольника
|5«« - Йт« II < II Л„И — %,V || + II Ъп'О ~ Ъп,Ъ ,| + || ЪтЪ ~ &„« ||. C.8)
Первый и последний члены в правой части меньше е, а средний
член меньше е при всех достаточно больших пат. Таким обра-
образом, последовательность {й„и} сходится равномерно и по тео-
теореме 1 Fn ~* F. ?>
Точно такие же рассуждения [в обозначениях A.1)] дает
Критерий 2. Пусть Fn и F — собственные распределения
вероятностей. Если для всех бесконечно дифференцируемых и
обращающихся в нуль на бесконечности функций v
En(v)-+E(v), то Fn-+F.
Основное неравенство C.6) по индукции распространяется
на свертки более чем двух распределений. Для облегчения ссы-
ссылок мы выделим этот очевидный результат в виде леммы.
Лемма 2. Пусть % = ^ . . . %п и 33 = ©j . . . ©„, где g,- и
®j—операторы, соответствующие распределениям вероятностей.
Тогда
п
||Яи - «я||< S ||Ъ]"- — ®уи||. C.9)
В частности,
||%"и- ®пи||<п ¦ ||Щи — ®и||. <З.Ю}
(Применения см. в задачах 14 и 15.)
§ 4. Центральная предельная теорема
Центральная предельная теорема устанавливает условия, при
Которых суммы независимых случайных величин распределены
асимптотически нормально. Ее роль и значение частично объ-
объяснялись в 1, гл. X, 1. В нескольких случаях мы применяли ее
') Под этим подразумевается, что все производные v существуют и при-
принадлежат С [— оо, оо].

316 Гл. VIII. Основные предельные тсоргмы
[последний раз в примере A1, ж) гл. VI]. Она занимает почетное
место в теории вероятностей благодаря своему «возрасту» и той
роли, которую она играла в развитии теории вероятностей и
все еще играет в применениях. Естественно поэтому использо-
использовать центральную предельную теорему для опробования раз-
различных методов, имеющихся в нашем распоряжении. По этой
причине мы дадим несколько доказательств. Более систематиче-
систематическое изучение (включая необходимые и достаточные условия)
будет проведено в гл. IX, XV и XVI. Теперешнее обсуждение
отвлекает нас от развития основной темы. Его цель — показать
преимущества операторной терминологии ярким и значительным
примером. Кроме того, многим читателям понравится легкий
путь к доказательству центральной предельной теоремы в про-
простейшей ситуации. Мы начнем со специального случая, хотя это
и приведет к некоторым повторениям.
Теорема 1. (Одинаковые распределения в <#'.) Пусть
Х4, Х2, ... — взаимно независимые случайные величины с одним
и тем же распределением F. Допустим, что
Е(ХА) = 0, Var(Xft) = l. D.1)
При п —*¦ оо распределение нормированных сумм
ук D.2)
стремится к нормальному распределению Ш с плотностью
В чисто аналитических терминах это означает, что для рас-
распределения F с нулевым математическим ожиданием и единич-
единичной дисперсией
Fn*(xYn)~+$l(x). D.3)
Мы покажем, что эта теорема немедленно вытекает из сле-
следующей леммы.
Лемм а. Если Щп — оператор, соответствующий Fn (х) =
¦=/7(a'|/"/i), то для каждой функции и € С[—оо, оо], имеющей
три ограниченных производных,
п[^пи — и]-->^и" D.4)
равномерно на всей прямой.

§ 4. Центральная предельная теорема 317
Доказательство теоремы 1. Пусть © и ©„—операто-
©„—операторы, связанные с нормальным распределением ?! и с sJJ(x]/«.)
соответственно. Так как D.4) выполняется н для ©„, то по ос-
основному неравенству C.10)
->0. D.5)
По критерию 1 5^->©. >
Доказательство леммы. Введем собственное распреде-
распределение F%, определив его равенством
Р* \dy) = пу2р„ [dy)^= ш/F {Yn. dy). D.6)
Замена переменных ]/ш/ = 5 показывает, что Fn сходится к
распределению, сосредоточенному в нуле. Ввиду D.1) мы мо-
можем представить разность левой и правой частей D.4) в вдце
п \ б „и (х) — и (х)} — у а" (х) =
+ ОО
Г Г и (х — у) — и (х) -+- у и' (х) 1 ,, / \~\ rit I j 1 / л т\
I 2 О V/ Я I^^/J' У.-*
J L • У ^ J
— оэ
Из формулы Тейлора, примененной к числителю дроби под ин-
интегралом, видно, что при |yj<e подинтегральное выражение не
превосходит -д-|у\-\W"\\<е|]и'"||, а при всех у не превосходит
||м"||. Так как F% сходится к распределению, сосредоточенному
в нуле, то при всех достаточно больших п абсолютная величина
интеграла не превосходит е(||ы"|| +||и'"||). Таким образом, левая
часть D.7) равномерно стремится к нулю. >
Пример, а) Центральная предельная теорема для случая
бесконечной дисперсии. С методологической точки зрения инте-
интересно отметить, что доказательство теоремы 1 применимо без
изменений к некоторым распределениям с бесконечной диспер-
дисперсией (в предположении, что нормирующие константы выбраны
надлежащим образом). Например, если случайные величины
Xh имеют плотность f(x), такую, что f(x) =2\x\~3\og \х\ при
|х|> 1 и f{x)=O для |*|-<1, то суммы (Xi+...+Xn)/(i/"«log«)
имеют в пределе нормальное распределение (доказательство тре-
требует лишь очевидных видоизменений). Необходимые и достаточ-
достаточные условия сходимости к нормальному распределению ука-
указаны в гл. IX, 7. ^

318 Гл. VIII Основные предельные теоремы
Приведенный выше метод доказательства получил широкое
распространение. Хорошее упражнение предлагается в задаче 16.
Здесь мы используем этот метод для доказательства централь-
центральной предельной теоремы в более общем случае. Сформулирован-
Сформулированная ниже теорема касается двумерного случая, но ее можно рас-
распространить и на Зг.
Теорема 2. (Многомерный случай.) Пусть {Хп} — после-
последовательность взаимно независимых двумерных случайных ве-
величин с одним и тем же распределением F. Допустим, что мате-
математические ожидания равны нулю и что матрица ковариаций
равна
( ? ?,2\
С = \ , . D.8)
\Р01°2 °2 /
При п-*оо распределение (Х1-\- ... --(-Х„)/Уя сходится к дву-
двумерному нормальному распределению с нулевым математиче-
математическим ожиданием и матрицей ковариаций С.
Доказательство. Если использовать матричные обозна-
обозначения гл Ш,5, то почти без изменений применимо предыдущее
доказательство. Так как нижние индексы уже заняты, то мы бу-
будем обозначать точки плоскости с помощью векторов-строк
х=(хA\ х<2)). В этих обозначениях и(х)—функция двух пере-
переменных. Ее частные производные будут помечаться нижними
индексами. Так и'=(щ, и2)—вектор-строка и u"=(u3k)—сим-
u"=(u3k)—симметричная BX2)-матрица. Формула Тейлора принимает вид
и (х -у) = и (х) - у и' (х) + -1 уи" (х)ут+ ..., D.9)
где ут получается транспонированием у, т. е. ут — вектор-стол-
вектор-столбец с компонентами г/*1' и i/<2'. Определим по аналогии с D.6)
собственное распределение вероятностей формулой
2 2
F*[dy)=nq(y)F{VHdy). где 2Ч{у) = Ц. + Ц-.
°1 °2
Так же как и в предыдущем доказательстве, Fj? сходится к рас-
распределению, сосредоточенному в начале координат. Соотноше-
Соотношение D.7) заменяется на
п [Ъпи (х) — и (х)] — jm(x) =
= J »(*-*)-" <*> + У»' I*) ~ У"" (*> УТ F* {dy}> D.10>

§ 4. Центральная предельная теорема 319
где1)
щ(х) = Е (у и" (х) уг) = un (x) of + 2и12 (х)раха2 + ип (х) а\. D.11)
(Здесь Е обозначает математическое ожидание по отношению
к F.) В силу D.9) подинтегральное выражение стремится к
нулю и так же, как и в предыдущей лемме, мы заключаем, что
п[Ъпи — и\~> m равномерно. Доказательство теоремы не тре-
требует изменений. &¦
Примеры, б) Случайное блуждание в d-мерном пространстве.
Пусть Хь Х2, ... — независимые случайные векторы с одним и
тем же распределением, которое может быть описано следую-
следующим образом. Направление Xh случайно (I, 10), а длина L —
случайная величина с E(L2) = 1. По причинам симметрии мат-
матрица ковариаций С диагональна, с диагональными элементами
а2] = \jd. Распределение нормированной суммы SnjYn сходится
к нормальному распределению с матрицей ковариаций С. Рас-
Распределение длины вектора S,,/ У п сходится поэтому к распреде-
распределению квадратного корня из суммы квадратов независимых нор-
нормальных величин. Как было показано в гл. 11,3, последнее рас-
распределение имеет плотность
\d
D.12)
Этот результат показывает влияние числа измерений; он приме-
применим, в частности, к примеру A0, д) гл. I.
в) Случайное рассеивание популяций. В качестве практиче-
практического применения предыдущего примера рассмотрим распрост-
распространение популяции дубов в доисторическое время. Если бы
новые растения возникали только из семян, упавших с мате-
материнского дерева, то сеянцы были бы расположены около него.
Тогда расстояние дерева я-го поколения от исходного было бы
распределено приблизительно нормально. При этих условиях
площадь, покрытая потомками некоторого дерева, была бы, гру-
грубо говоря, пропорциональна возрасту дерева. Наблюдения по-
показывают, что действительное положение вещей несовместимо
с этой гипотезой. Биологи приходят к выводу, что наблюдаемое
') Очевидно, что т(х) —след матрицы Си" (т. е. сумма ее диагональных
элементов). В одномерном случае т(х)=а2и"(х).

320 Гл. VIII. Основные предельные теоремы
рассеивание в большой степени определяется птицами, перено-
переносящими семена на большие расстояния1). &•
Обобщим теперь теорему 1 на случай разно распределенных
величин. Условия могут произвести впечатление, что они вве-
введены искусственно с единственной целью сохранить путь дока-
доказательства. В действительности оказывается, что эти условия
необходимы и для центральной предельной теоремы с классиче-
классической нормировкой, использованной в D.17) (см. гл. XV, 6).
Теорема 3. (Линдеберг.J) Пусть Хь Х2, ... взаимно не-
независимые одномерные случайные величины с распределениями
Fit F2, ... . Пусть
,) = o| D.13)
Предположим, что при каждом t > 0
4S J №{«&}-* 0, D.15)
S" k-\ \y\>tsn
или, что то же самое,
п
4-2 J y*FAdy)-+\. D.16)
S" ft-1 l»| <tsn
Тогда распределение нормированной суммы
S;=X'+ ••• +Х« D.17)
сходится к нормальному распределению ffl с нулевым матема-
математическим ожиданием и единичной дисперсией.
Условие Линдеберга D.15) гарантирует, что дисперсии crft
отдельных слагаемых малы по сравнению с суммой sn в том
') S k е 11 a m J. G., Biometrika, 38 A951), 196—218.
2) Lin de berg J. W., Math Zeit, 15 A922), 211—235. Частные случаи
были известны ранее, но Линдеберг дал первую общую формулировку, содер-
содержащую теорему 1. Необходимость условия Линдеберга при классической нор-
нормировке была доказана Феллером (там же, 40 A935), см. гл. XV, 6).
Метод Линдеберга казался сложным и был практически заменен мето-
методом характеристических функций, развитым П. Леви. Троттер (Archiv der
Math., 9 A959), 226—234) показал, что современные методы позволяют изло-
изложить доказательство Линдеберга простым и интуитивно понятным способом.
Доказательства этого параграфа используют идеи Троттера.

§ 4. Центральная предельная теорема
321
смысле, что при любом е>0 и всех достаточно больших п
?*L<e, A = 1, .... л. D.18)
В самом деле, очевидно, что OkjSn меньше, чем t2 плюс левая
часть D.15). Положив t = -^г, видим, что D.15) влечет D.18).
Теорема 3 обобщается на многомерный случай способом, ука-
указанным в теореме 2. См. также задачи 17—20.
Доказательство. Поставим в соответствие каждому рас-
распределению Fh нормальное распределение Gh с нулевым мате-
математическим ожиданием и той же самой дисперсией ак- Распре-
Распределение Fk(xsn) случайной величины Xft/sn зависит и от k и
от п. Соответствующий оператор мы обозначим %ку „. Аналогич-
Аналогично оператор ®и,п соответствует нормальному распределению
Gh{xsn). В силу C.9) нам достаточно доказать, что
п
для "каждой функции и ? С[—оо, сю] с тремя ограниченными про-
производными. Мы поступим так же, как при доказательстве тео-
теоремы 1. Однако теперь D.7) заменится п соотношениями
2 +°°
~ /\ /\ * "/ 1 _ f ["^ — У) —и ("*•) ~Ь Уи> (х)
. п ^ V 2^2 J L У2
y2Fk{sndy}. D.20)
Разбивая область интегрирования на части |«/|-^в и \у\>е и
используя те же самые оценки, что и в D.7), получаем
„и — и ~ и!1
• D-21)
J
Условие Линдеберга D.15) с t=z гарантирует теперь, что при
всех достаточно больших п
8*,„и —и —-г4-и"
^5
«"||). D.22)
Для нормальных распределений Gk условие Линдеберга
D.15) является простым следствием D,18). Поэтому неравенство

322 Гл. VIII Основные предельные теоремы
D.22) остается верным, если в нем §*, л заменить на 1ЙА, „.
Соединяя оба эти неравенства, получаем D.19). Доказательство
закончено. ^
Примеры, г) Равномерные распределения. Пусть Хй распреде-
распределено равномерно, т. е. с плотностью \/Bah), на промежутке ме-
между —ak и аи- Тогда а\ = -j a\. Легко видеть, что условия теоре-
теоремы выполнены, если числа аи ограничены, а а\-\- . . .-\-агп-+оо.
В самом деле, в этом случае сумма D.15) равна нулю при всех до-
достаточно больших п. С другой стороны, если 2 #;j < со, то sn
остаются ограниченными и D.15) не может выполняться. В этом
случае центральная предельная теорема не применима (вместо
этого мы приходим к бесконечным сверткам, которые будут изу-
изучены в § 5).
Менее очевидный случай, где центральная предельная тео-
теорема не применима, — это случай а\ = 2к- Тогда 3s«=2n~|1—
— 2 < 2а?, и, очевидно, левая часть D.15) больше'/г для ^<7юо.
Эти примеры показывают, что назначение условия D.15) —
обеспечить асимптотическую пренебрегаемость отдельных Xfc;
вероятность того, что какое-нибудь из слагаемых X/t будет того
же порядка, что и сумма Sn, должна стремиться к нулю.
д) Ограниченные величины. Допустим, что Xh равномерно
ограничены, т. е. что все распределения Fh сосредоточены на не-
некотором конечном интервале —а, а Условие Линдеберга D.15)
выполняется тогда и только тогда, когда sn —* ею. р>
Методологически интересно заметить, что изложенный метод
доказательства применим и к некоторым последовательностям
случайных величин, не имеющих математических ожиданий. Ко-
Конечно, нормирующие константы должны быть другими. Мы вер-
вернемся к этим вопросам в гл. XV, б, где мы также подвергнем
дальнейшему изучению природу условия Линдеберга. (См. за-
задачи 19—20).
Мы закончим настоящий экскурс вариантом центральной
предельной теоремы для случайных сумм. Идея состоит в сле-
следующем. Если в теореме 1 заменить число п слагаемых пуассо-
новской случайной величиной N с математическим ожида-
ожиданием п, то кажется правдоподобным, что распределение S,\j бу-
будет асимптотически нормально. Сходные ситуации возникают
в статистике и физике, когда число наблюдений не фиксирует-
фиксируется заранее.
Мы рассмотрим только суммы вида Sn=Xj + ... +Х\ , где
X, и N — взаимно независимые случайные величины. Мы пред-

§ 4. Центральная предельная теорема 323
положим, что Xj имеют одно и то же распределение F с нуле-
нулевым математическим ожиданием и дисперсией 1. Используя
обозначение § 2, мы покажем, что верна
Теорема 41). (Случайные суммы.) Пусть Nb N2, . . .—по-
.—положительные целочисленные случайные величины, такие, что
^--?-*1. D-23)
Тогда распределение Sn;;/ Yn сходится к Ш.
Интересно отметить, что величина SN не обязана иметь единичную
У п я
дисперсию. Действительно, теорема применима к случаям, где E(Nn) = co,
и даже если математическое ожидание существует, из D.23) не следует схо-
сходимость— E(Nn) -> 1. Нормировка, приводящая к единичной дисперсии, мо-
может быть невозможна, а если она и возможна, то усложняет доказательство.
Доказательство. Чтобы избежать двойных индексов, по-
положим P{Nn=k} = ah, подразумевая, что ah зависит от п. Опера-
Оператор, связанный с Snb,, задается формальным степенным рядом
2#ft)X*- Пусть %, как и в доказательстве теоремы 1,—оператор,
соответствующий F(xYn)- Так как Fn* —> Ш, то достаточно до-
доказать, что
равномерно для каждой функции и € С[—оо, сю] с тремя ограни-
ограниченными производными.
Используя очевидное разложение на множители и основное
неравенство C.10), видим, что
|| $а — %'nii || < |! gi*~" 1И — й || < |А — л | • || %ч ~ и ||. D.25)
В силу D.23) сумма коэффициентов а^ с \k — п\~>гп меньше s
при всех достаточно больших п. Для этих п норма левой части
') Обобщение на зависимые X, см у Billingsley P., Limit theorems
for randomly selected partial sums, Ann. Math. Statist., 33 A963), 85—92. Если
отбросить D.23), то получаются предельные теоремы нового типа, см. Rob-
bins Н. Е., The asymptotic distribution of the sum of a random number of
random variables, Bull. Amer. Math. Soc, 54 A948), 1151 — 1161.
Обобщения центральной предельной теоремы на другие типы зависимых
величин читатель может найти в книге М. Лоэва (о цепях Маркова см. 1,
гл. XV, 11; о симметрично зависимых величинах см. задачу 21).

324 Гл. VIII. Основные предельные теоремы
D.24) не превосходит
со
^\\ \\ и\\. D.26)
По лемме правая часть не превосходит 2е||и|| + 3е||«"|| при всех
достаточно больших п, так что D.24) выполняется в смысле
равномерной сходимости. >
§ 5 *. Бесконечные свертки
Нижеследующие теоремы даны как по причине их внутрен-
внутреннего интереса, так и потому, что они хорошо иллюстрируют при-
применение наших критериев. Более сильные варианты можно най-
найти в гл. XI, 9 и XVII, 10.
Мы обозначаем через Хь Х2, . . . взаимно независимые случай-
случайные величины с распределениями Fh F2,.. . . Предполагается,
что E(Xj)=O и что а* —Е(Х^) существует.
Теорема. Если о2 = 2 °| < °°> то распределения ') Gn ча-
частных сумм Xi+...+Xn сходятся к распределению вероятно-
вероятностей G с нулевым математическим ожиданием и дисперсией а2.
Доказательство. Чтобы установить существование соб-
собственного предела G, достаточно (по теореме 1 § 3) показать,
что для любой бесконечно дифференцируемой функции
и ? С[—оо, оо] последовательность функций S1S2 • • ¦ Зви сходит-
сходится равномерно при п—юо. Теперь при п>пг очевидное разло-
разложение на множители дает
II Si • - - S«« — Si ... S«a
Так как E(Xft)=0, то верно тождество
+ ОО
%ku(x) — u(x)= J [u{x — y) — u{x) + yu'(x)]Fk{dy\. E.2)
—00
Из формулы Тейлора видим, что подинтегральное выражение
не превосходит \\и"\\у2. Поэтому \\Ъки — и || < а\ || и" \\. По основ-
основному неравенству C.9) величина E.1) не превосходит
(.a2 j+ . .. +°^) • || и" II- Следовательно, существует собственное
распределение G, такое, что Gn—*G. Так как Gn имеет диспер-
*) Этот параграф не используется в дальнейшем.
') Можно использовать здесь теорему о сходимости мартингалов (тео-
(теорема 1 гл. VII, 8} и показать, что и сами случайные величины Sn сходятся
к пределу.

§ 6. Теоремы о выборе 325
сию 0j -+-...-+- о2п, то второй момент G существует и не больше
(А По критерию примера A, д) отсюда вытекает, что распреде-
распределение G имеет математическое ожидание, равное нулю. Нако-
Наконец, G есть свертка Gn и предельного распределения для суммы
Хп+1+ . .. +Хп+и. Следовательно, дисперсия G не может быть
меньше дисперсии Sn. Этим заканчивается доказательство. >
Примеры, а) В примере 1, A1, в) случайный выбор точки ме-
между 0 и 1 осуществляется посредством последовательных бро-
бросаний монеты. В терминологии настоящего параграфа это озна-
означает представление равномерного распределения в виде беско-
бесконечной свертки. Пример 1 A1, г) показывает, что бесконечная
свертка соответствующих распределений с четными номерами
есть сингулярное распределение.
б) Пусть Yft — независимые случайные величины с E(Yh)=0
и E(y1) = 1. Тогда распределения частных сумм ряда 2^*Yft
сходятся, если 2^*<°°- Этот факт был использован при об-
обсуждении свойств нормальных стохастических процессов в
гл. 111,7.
в) Применение к процессам размножения. Пусть Х„ — поло-
положительная случайная величина с плотностью kne~ " • Тогда
Е (Х„) = [Var (Х„)] = In > и в случае, когда аи = 2^й1<°о,
наша теорема применима к центрированным случайным вели-
величинам Х„ — A,J . Это замечание приводит к вероятностной интер-
интерпретации расходящегося процесса чистого размножения (описан-*
ного в 1, гл. XVII, 3—4). «Частица» движется последователь-
последовательными скачками. Времена пребывания в отдельных состояниях,
т. е. Хь Х2,. . . , — независимые случайные величины, распреде-
распределенные по показательному закону. Сумма Sn = Xi+• • •+ХП
представляет собой момент п-ro скачка. Если lim E(Sn)=m<oo,
то распределение Sn сходится к собственному пределу G. Тогда
величина G(t) равна вероятности того, что до момента t про-
произойдет бесконечно много скачков.
г) Применение к флуктуационным шумам, телефонным вы-
вызовам и тому подобное см. в задаче 22. ^
§ 6. Теоремы о выборе
Один из стандартных методов доказательства сходимости
числовой последовательности состоит в том, что сначала
устанавливается существование хотя бы одной предельной точ-
точки, а затем — ее единственность. Аналогичный способ приме-
применим и к распределениям. Аналог утверждения о существовании

326 Гл. VIII Основные предельные теоремы
предельной точки дается следующей важной теоремой, припи-
приписываемой обычно Хелли. Как и все теоремы этого параграфа,
она верна в пространстве любого числа измерений (специаль-
(специальный случай был использован в 1, гл. XI, 6).
Теорема 1. (i) Каждая последовательность {Fh} распреде-
распределений вероятностей в <МГ содержит подпоследовательность
Fnx, F,i2,..., сходящуюся (в собственном или несобственном
смысле) к некоторому пределу F.
(ii) Для того чтобы все эти пределы были собственными, не-
необходимо и достаточно, чтобы последовательность {Fn} была сто-
стохастически, ограниченной (см. определение 2.2).
(iii) Для того чтобы Fn—*F, необходимо и достаточно, чтобы
предел любой сходящейся подпоследовательности был равен F.
Доказательство основано на следующей лемме.
Лемма. Пусть а^аг,... — произвольная последователь-
последовательность точек. Каждая последовательность {ип} числовых функций
содержит подпоследовательность «„,, м„2,..., сходящуюся во
всех точках a-j (может быть, к ±оо).
Доказательство. Мы используем «диагональный метод»
Кантора. Найдется последовательность номеров vi, v2,. . . , та-
такая, что последовательность значений MVft(#i) сходится. Чтобы
избежать сложных индексов, положим u^~uv > так что {и^Н —
подпоследовательность {ип}, сходящаяся в точке а^. Из этой
подпоследовательности выделим другую, сходящуюся в точ-
точке а2. Продолжая по индукции, мы построим при каждом п по-
последовательность и\"\ uij'K ..., сходящуюся в точке ап и содер-
содержащуюся в предыдущей последовательности. Рассмотрим те-
теперь «диагональную» последовательность и*,1', и<?\ uf\ .... Эта
последовательность, за исключением ее п—1 первых членов,
содержится в n-й последовательности и[п\ uip\ ... и потому
сходится в а„. Так как это верно при каждом п, то диагональ-
диагональная последовательность {м(,">} сходится во всех точках а±, а2, ....
Лемма доказана. >
Доказательство теоремы 1. Выберем в качестве {а,-}
какую-либо всюду плотную последовательность. По предыдущей
лемме найдется подпоследовательность {Fnk} сходящаяся во
всех точках ctj. Обозначим ее предел в точке о,- через G(uj). Мы
можем доопределить функцию G при всех х, полагая G(x) рав-
равным точной нижней грани значений G(uj) для а3->х. Тогда б
монотонна и O^G(jc)^1 при всех х. Если х — точка непрерыв*
ности G, то найдутся at и а,-, такие, что ai<x<.aj и G(aj) —

§ 6. Теоремы о выборе 327
— G(a;)<e. Тогда /7nft(a/)</7nft(A;)</7nft(a/) и при fe-*oo
крайние члены стремятся к G(a,) и G(aj) соответственно. По-
Поэтому верхний и нижний пределы последовательности {Fn (х))
отличаются один от другого не более чем на е. Следовательно,
Fnk {x) -* G (х) во всех точках непрерывности G. Этим доказан
пункт (i).
Напомним теперь, что сходящаяся последовательность рас-
пределений сходится собственно в том и только том случае,
когда она стохастически ограничена. Коль скоро (i) установле-
установлено, другие утверждения почти очевидны. &¦
Теорема о выборе является крайне важной. Приводимая
ниже известная теорема теории чисел может дать представление
об ее удивительной силе. Она также служит напоминанием о
том, что вероятностная терминология не должна затемнять бо-
лее широкий характер развиваемой сейчас теории.
Примеры, а) Теоретико-числовая теорема о равномерном рас-
распределении дробных долей '). Пусть а — иррациональное число и
<х„ — дробная часть па. Обозначим* через Nn(x) число членов
среди ац, сс2, ¦•-, ап, не превосходящих х. Тогда п~х Nn (x) -*¦ х
при всех 0<л;<1.
Доказательство. Мы будем рассматривать распределе-
распределения и функции, заданные на окружности единичной длины. Ины-
Иными словами, координаты складываются по mod 1. Эта идея уже
была объяснена в гл. 11,8. (Заметим, что такое удобное понятие,
как функция распределения, теряет на окружности смысл, одна-
однако понятие распределения как меры сохраняется.) Пусть Fn—¦
атомическое распределение, сосредоточенное в «-точках
а, 2а,. . . , па и приписывающее каждой из них вероятность 1/п.
По теореме о выборе существует последовательность номеров
пи п2, . .. , гакая, что РП/г-+Р, где F — собственное распределе-
распределение вероятностей (так как окружность — ограниченное множе-
множество). Беря свертку Fnk с произвольной непрерывной функ-
функцией и, получим
-j-[u(x~a) + u(x — 2а)+ ... +а(х — лАа)] ->v(x). F.1)
Ясно, что замена х на х — а не меняет асимптотического пове-
поведения левой части. Следовательно, v(x)=v(x — а) для всех х.
') Эту теорему обычно приписывают Г. Вейлю, хотя она открыта неза-
независимо друг от друга Болем (Bohl) и Серпинским (Sierpinski). Из книги
Hardy Q. H., Wright E. M., Theory of numbers, Oxford, 1945, 378—381,
¦можно понять трудности первоначального доказательства.

328 Гл. VIII. Основные предельные теоремы
Отсюда вытекает в свою очередь, что v(x)=v(x—ka) для k —
= 1,2,... . По следствию леммы гл. V D.2) точки а, 2а, . ..
образуют всюду плотное множество. Поэтому v — const. Мы по-
показали, таким образом, что для любой непрерывной функции и
свертка F*u является константой. Отсюда следует, что распре-
распределение F должно приписывать одну и ту же вероятность интер-
интервалам равной длины, т. е. F(I) должно быть равно длине ин-
интервала /. Так как никакие другие предельные распределения
существовать не могут, то вся последовательность {Fn} сходится
к этому распределению, что доказывает теорему. Мы назовем
распределение F равномерным распределением на окружности.
б) Сходимость моментов. Пусть Fn и F — распределения,
имеющие конечные моменты всех порядков, которые мы обозна-
обозначим ц%> и \ik соответственно. Как мы знаем из гл. VI, 3, различ-
различные функции распределения могут иметь одну и ту же последо-
последовательность моментов. Поэтому мы не всегда можем сделать по
поведению |^'г) вывод, что Fn -> F. Однако если F —единствен-
—единственное распределение, имеющее моменты ци (х2, ¦ ¦ • « если \i^ -> \хк
при /г=1,2,..., то Fn-*F. В самом деле, результат примера
A,д) показывает, что всякая сходящаяся подпоследователь-
подпоследовательность {Fn} имеет предел F.
в) Сепарабельность. Назовем для краткости распределение
рациональным, если оно сосредоточено в конечном числе ра-
рациональных точек и приписывает каждой из них рациональный
вес. Любое распределение F можно представить в виде предела
последовательности {Fn} рациональных распределений. Мы мо-
можем считать, что математическое ожидание Fn равно нулю, так
как этого всегда можно добиться, добавляя новый атом и сколь
угодно мало изменяя остальные веса. Но множество всех рацио-
рациональных распределений счетно и его можно записать в форме
последовательности Gb G2,. . . . Таким образом, существует по-
последовательность {Gn} распределений с нулевыми математиче-
математическими ожиданиями и конечными дисперсиями, такая, что ка-
ждое распределение F является пределом некоторой подпосле-
подпоследовательности {ОпЛ-
г) Доказательство того, что Fn* —*0, намеченное в зада-
задаче 23, использует теорему о выборе. >
Теореме 1 была придана форма, наиболее полезная для тео-
теории вероятностей. Но эта форма излишне ограничена. Доказа-
Доказательство опиралось на тот факт, что последовательность {Fn}

§ 6. Теоремы о выборе 329
монотонных функций с Fn(—oo)=0, Fn(°°) = l содержит сходя-
сходящуюся подпоследовательность. Но это утверждение остается
верным, если условие /7п(оо) = 1 заменить менее жестким усло-
условием, а именно, что при любом х числовая последовательность
{Fn(x)} ограничена. Предел F будет при этом конечным, но он
не обязан быть ограниченным. Индуцированная функцией F
мера будет принимать конечные значения на интервалах—оо,х,
но может быть бесконечна на —оо, оо. Аналогично можно изме-
нить условия на —оо. В результате мы приходим к следующему
обобщению теоремы 1, в котором символ \х„—> (х употребляется
в том смысле, что это соотношение верно для всех конечных ин-
интервалов.
Теорема 2. Пусть {\in} — последовательность мер, такая,
что при каждом х числовая последовательность ^„{—х, х) огра-
ограничена. Тогда существует мера ц и последовательность пи пг,...
.. . , такие, что \.1П/г -> [i.
Аналоги теоремы о выборе имеют место для многих клас-
классов функций. Особенно полезна следующая теорема (называе-
(называемая обычно или теоремой Асколи, или теоремой Арцела).
Теорема 3. Пусть {«„} — последовательность равностепен-
равностепенно непрерывных функций1) и |мп|-4^1. Тогда найдется подпосле-
подпоследовательность ЫпЛ, сходящаяся к непрерывному пределу и.
Эта сходимость равномерна в каждом конечном интервале.
Доказательство. Выберем снова всюду плотную после-
довательность точек dj и подпоследовательность {и-пк}, сходя-
сходящуюся в точках аи а?,. .. ¦ Обозначим ее предел в точке а; че-
через u(uj). Возьмем теперь произвольную точку х. По определе-
определению равностепенной непрерывности найдется точка a.j, такая,
что \ип(х) —un{aj) | <е для всех п. Поэтому верхний и нижний
пределы последовательности {«„^(л:)} отличаются один от дру-
другого не более чем на 2е. Так как е можно взять сколь угодно
малым, отсюда следует, что последовательность {и (х)} схо-
сходится к пределу и(х). Более того, | иПк(х) — и(х)\ < 4е для всех
k, таких, что \unAaj) — и(ау)|<е. Выбирая при любых данных
е>0 и замкнутом интервале / надлежащее конечное множество
точек а,], мы видим, что сходимость равномерна в /. Отсюда вы-
вытекает непрерывность предела и. !>
') Для каждого 8>0 найдется такое б>0, что из \х' — х"\<Ь вытекает
Шп(х') —ип(х")\<е для всех п.

330 Гл. VIII. Основные предельные теоремы
§ 7 *. Эргодические теоремы для цепей Маркова
Пусть К — стохастическое ядро, сосредоточенное на конеч-
конечном или бесконечном интервале Q (в соответствии с опреде-
определением 1 гл. VI, И это означает, что К есть функция двух пере-
переменных, точки х и множества Г; при фиксированном Г К — бэ-
ровская функция х, а при фиксированном х € Q — распределе-
распределение вероятностей на Q). В многомерных пространствах интер-
интервал Q может быть заменен областью более общего вида. При
этом теория не требует никаких изменений.
В гл. VI, И было показано, что существует марковская цепь
(Хо, Х4,. ..) с переходными вероятностями, определяемыми К-
Распределение у0 начальной величины Хо может быть выбрано
произвольно. После этого распределения Хь Х2,. .. определяют-
определяются .последовательно по формуле
, Г). G-1)
В частности, если у0 сконцентрировано в точке х0, то уп(Т) =
= К^п)(х0, Г) совпадает с вероятностью перехода из х0 в Г.
Определение 1. Назовем меру а строго положительной
на Q, если а(/)>0 для любого открытого интервала /czQ. На-
Назовем ядро К строго положительным, если К(х, /) >0 для ка-
каждого х и каждого открытого интервала, входящего в й.
Определение 2. Назовем ядро эргодическим, если суще-
существует строго положительное распределение вероятностей а, та-
такое, что уп -> а при любом начальном распределении у0.
Это равносильно требованию сходимости
/(<»>(*,/)-> а (/)>0 G.2)
для каждого интервала непрерывности распределения а. При-
Приведенное определение таково же, как и для дискретного случая
A, гл. XV). Его смысл был объяснен в примерах гл. VI, И.
Так как с наиболее общими стохастическими ядрами могут
быть связаны различные патологии, то мы ограничимся рассмо-
рассмотрением ядер, непрерывно зависящих от х. Простейший способ
выразить это свойство связан с преобразованиями множества
непрерывных функций, порождаемыми К. Пусть и — функция
ограниченная и непрерывная на рассматриваемом интервале Q-
*) Этот материал рассматривается как по причине его важности, так и
потому, что он дает яркую иллюстрацию применений теоремы о выборе.
Явным образом он в дальнейшем не используется.

§ 7. Эргодические теоремы для цепей Маркова 331
Положим ио = м и определим по индукции
n_l(y)- G.3)
Это преобразование функций двойственное преобразованием
мер G.1). Отметим, что в обоих случаях индексы (всюду в этом
параграфе) указывают на преобразование, индуцированное К.
Свойство регулярности, которое мы собираемся потребовать
от К, состоит, грубо говоря, в том, что функция Mi должна быть
не хуже, чем и0. Нижеследующее определение дает точное вы-
выражение нашему требованию, но выглядит довольно формаль-
формальным. Примеры покажут, однако, что это определение применимо
в типичных ситуациях.
Определение 3. Назовем ядро К регулярным, если семей-
семейство преобразований uh равностепенно непрерывно г), при равно-
равномерно непрерывной на Q функции «о-
Примеры, а) Свертки дают пример преобразований, поро-
ждаемых регулярными стохастическими ядрами.
б) Пусть Q — единичный интервал и пусть К имеет плот--
ность k, непрерывную в замкнутом единичном квадрате. Тогда
1
| ип {х') - ип {х") | < J | k (x', y)-k {x", у)\-\ ия_, (у) | dy. G.4)
о
По индукции заключаем, что если \ио\<М, то и |ы„|<Л1 при
всех п. В силу равномерной непрерывности k найдется такое б,
что
\k(x', y) — k(x", у)\<е/М при К — х"\<6.
Поэтому при всех п \ип(х')—ип(х")\<е. >
Условие строгой положительности в приводимой ниже тео--
реме излишне ограничительно. Его основное назначение со-
состоит в том, чтобы устранить осложнения, связанные с разло-
разложимостью и периодичностью цепей (с ними мы сталкивались в
1, гл. XV).
Теорема 1. Каждое строго положительное регулярное ядро
К на ограниченном замкнутом интервале Q является эргодиче-
ским.
Теорема неверна для неограниченных Q, так как в этом
случае предел в G.2) может быть тождественно равен нулю. 06-
') См. сноску на стр. 329. Наша «регулярность» аналогична «полной не-
непрерывности» в теории операторов в гильбертовом пространстве.

332 Гл. VIII. Основные предельные теоремы
щий результат может быть сформулирован в терминах стацио-
стационарных мер. Напомним, что мера а называется стационарной
относительно К, если ai = a2= ... =a, т. е. если все ее преоб-
преобразования G.1) одинаковы.
Теорема 2. Строго положительное регулярное ядро К бу-
будет эргодическим тогда и только тогда, когда оно обладает стро-
строго положительным стационарным распределением вероятно-
вероятностей а.
Доказательство теоремы 1. Пусть v0 — непрерывная
функция, и vi—ее преобразование G.3). Доказательство ис-
использует тот очевидный факт, что для строго положительного
ядра К максимум Vi строго меньше максимума и0 (исключая
только случай постоянной и0). Рассмотрим теперь последова-
последовательность преобразований ип какой-либо непрерывной функции
«о- Так как Q замкнуто, то функция м0 равномерно непрерывна
на Q, и потому существует подпоследовательность {иПк\, равно-
равномерно сходящаяся к непрерывной функции v0 (теорема 6.3).
Тогда и„й+1 сходится к преобразованию Vi функции v0. Число-
Числовая последовательность максимумов шп функций ип монотонна
и потому шп—*пг. Так как сходимость к о0 и »( равномерна, то
и Vq и Vi имеют один и тот же максимум пг. Следовательно,
vo(x) =пг при всех х. Так как этот предел не зависит от выбора
подпоследовательности {ип/г}, мы приходим к заключению, что
ип-*т равномерно.
Пусть теперь уо — произвольное распределение вероятностей
на Q. Обозначим через Еп математическое ожидание, взятое по
отношению к уп [преобразование уп определяется по G.1)]. Срав-
Сравнение G.1) и G.3) показывает, что
Еи(ы0) =Е0(ы„) ->E0(m)=m.
Из сходимости Еп(ы0) для любой непрерывной функции и0 вы-
вытекает существование вероятностной меры а, такой, что yn—*ci.
(см. теорему § 1; сходимость будет собственной, так как все рас-
распределения уп сосредоточены на конечном интервале). Из G.1)
следует, что а — стационарное распределение. Строгая положи-
положительность а непосредственно вытекает из строгой положитель-
положительности К. t>
Доказательство теоремы 2. Обозначим через Е матема-
математическое ожидание, взятое по отношению к данному стационар-
стационарному распределению вероятностей а. Пусть ы0 — произвольная
функция из С[—оо, оо] и uh — ее преобразование. В силу стацио-
стационарности имеем
Е(ио)=Е(ы!)= ....

§ 7. Эргодические теоремы для цепей Маркова 333
Далее, Е( | и&|) убывает с ростом k, так что lim E (\uk\)=m су-
существует.
Так же как в предыдущем доказательстве, выберем такую
подпоследовательность, что иП/1->т0 и Unk+i-J>v1, где и4 — преоб-
разование v0. По теореме об ограниченной сходимости отсюда
следует, что Е (unk) -> Е (v0) и Е( | unk | )->Е (| v01). Таким обра-
образом,
Е()Е() Е() и
Из свойства строгой положительности К и последнего неравен-
неравенства вытекает, что непрерывная функция v0 не меняет знака. Ко-
Когда Е(мо)=О, то vo(x) =0 тождественно. Из сказанного следует,
что при любой начальной функции и0 мы имеем vo(x) = Е(м0)
при всех х. Этим доказано, что ип(х) —>Е(м0). а последнее соот-
соотношение равносильно сходимости К{п){х, Г) —» а (Г) на всех ин-
интервалах непрерывности. >
Применим теперь изложенную теорию к сверткам на окруж-
окружности длины 1, т. е. к преобразованиям вида
и«+1 (¦*) = / чп(х — y)F[dy}, G.5)
где F — распределение вероятностей на окружности, и сложе-
сложение производится по mod 1 [см. гл. II, 8, и пример F. а)].
Это преобразование можно записать в форме G.3) с й = 0, 1
и К(п){х, F)=Fn*{x—Г}. Если F строго положительно, то приме-
применима теорема 1. Однако мы докажем следующий более общий
аналог центральной предельной теоремы.
Теорема З1). Пусть F — распределение вероятностей на
окружности. Допустим, что оно не сосредоточено в вершинах
правильного многоугольника. Тогда Fn* сходится к распределе-
распределению с постоянной плотностью. >
Доказательство. Достаточно показать, что для произ-
произвольной непрерывной функции и0 преобразования ип сходятся
к константе пг (зависящей от Uq). В самом деле, как показывает
вторая часть доказательства теоремы 1, из этого вытекает, что
Fn* сходятся к некоторому распределению вероятностей а
на окружности. Так как а*и0 равно постоянной для любой
') Аналог этой теоремы для числовой прямой указан в задачах 23 и 24.
Обобщение на случай различных распределений см. Levy P., Bull. Soc.
Math. France, 67 A939), 1—41; Dvoretzky A. and Wolfowitz J., Duke
Math. J., 18 A951), 501—507.

334 Гл VIII. Основные предельные теоремы
непрерывной функции щ, то отсюда следует, что а совпадает с
равномерным распределением.
Чтобы показать, что ип-*гп, мы используем первую часть
доказательства теоремы 1. Мы только заново должны доказать,
что максимум преобразования Vi любой непрерывной функции
v0 строго меньше, чем максимум v0 (за исключением случая,
когда v0 равно константе). Поэтому для доказательства теоремы
достаточно установить справедливость следующего утвержде-
утверждения. Если vQ — непрерывная функция, такая, что vo^Cm и vo(x) <
<m для всех х в интервале I длины Х>0, то существует такое
г, что vr(x)<.m при всех х.
Так как повороты не изменяют величины максимума, то мы
можем без ограничения общности предположить, что 0 есть точ-
точка роста F. Если b — другая точка роста, то О, Ь, 26,..., rb суть
точки роста Fr*. Поэтому можно выбрать 6 и г таким образом,
что каждый интервал длины Я содержит по крайней мере одну
из этих точек (см. лемму 1 и следствие в гл. V, 4). По опреде-
определению
\ G.6)
Каждой точке х возможно поставить в соответствие такую
точку роста функции Fr* (скажем, у), что х — у входит в /.
Тогда vo(x—у) <m и потому vr(x)<m. Так как х произвольно,
то требуемое утверждение доказано. >
Замечание. Доказательство легко видоизменить так, что-
чтобы установить следующее предложение: если F сконцентриро-
сконцентрировано в вершинах правильного многоугольника, одна из вершин
которого расположена в точке 0, то Fn* сходится к атомиче-
атомическому распределению, атомам которого приписан один и тот же
вес. Сходимость не обязана иметь место, если 0 не находится в
числе атомов.
Пример, в) Пусть F сосредоточено в двух иррациональных
точках а и а + '/г- Тогда Fn* сосредоточено в точках па и па + '/г
и сходимость невозможна. t>
§ 8. Правильно меняющиеся функции
Понятие правильного изменения функций (введенное Кара-
мата в 1930 г.) оказалось во многих отношениях плодотворным
и находит все возрастающее число применений в теории вероят-
вероятностей. Причины этого отчасти объяснены в приводимой ниже

§ 8. Правильно меняющиеся функции 335
лемме, которая, несмотря на свою простоту, играет здесь основ-
основную роль. Примеры этого параграфа демонстрируют интересные
вероятностные результаты, а задача 31 содержит известный ре-
результат, касающийся устойчивых распределений. Он элементар-
элементарным путем выводится из леммы.
Мы часто сталкиваемся с монотонными функциями U, полу-
получающимися из некоторого распределения вероятностей F инте-
интегрированием функции yPF{dy} на 0, х или х, оо [см., например,
D.6), D.15), D.16)]. Обычной заменой параметров можно перей-
перейти от функции U к семейству функций вида atU(tx). Мы дол-
должны изучить их поведение при t—+oo. Если предел ty(x) суще-
существует, то достаточно брать нормирующие множители at вида
a< = vp(l)/?/(/) (предполагая 1|эA)>0). Следующая лемма яв-
является поэтому более общей, чем это может показаться с пер-
первого взгляда. Она показывает, что класс возможных пределов
удивительно мал.
Лемма 1. Пусть U — положительная монотонная функция
на 0, оо, такая, что при t —»• оо
Щ1-+^(х)<со (8.1)
на всюду плотном множестве А точек х. Тогда
$(х) = хР, (8.2)
где —оо<с;р^оо.
«Бессмысленный» символ х°° вводится только для того, чтобы
избежать исключений. Его следует интерпретировать, конечно,
как оо при х>1 и 0 при х<1. Аналогично х~°° равно оо или О
в зависимости от того, будет х<1 или х>1 (см. задачу 25).
Доказательство. Тождество
U (tXjXz) __ U (txxX2) U (tx2) (о п\
U(t) U(tx2) ' U(t) (o-°>
показывает, что если конечный положительный предел в (8.1)
существует при х=Х{ и при х = х-у, то он существует и при x
и
ф(х1х2) = 4-'х,)!:(х2). (8.4)
Допустим сначала, что для некоторой точки Xi i|j(a:i)=oo. Тогда
по индукции заключаем, что ф(х|г) = оз и ф (xf") = 0 при всех га.
Так как ф монотонна, то отсюда следует, что или ip(x) =x°°, или
|ф(л:)=х~°°. Остается доказать лемму для случая конечных ф
(см. задачу 25). В силу монотонности 1|) мы можем доопреде-

336 Гл. VIII. Основные предельные теоремы
лить ее всюду по непрерывности справа. Тогда (8.4) выпол-
выполняется при всех Xi и х2. Но это уравнение лишь обозначениями
отличается от многократно использовавшегося нами характе-
характеристического уравнения для показательной функции. В самом
деле, полагая х = е% и г|)(е^)=м(|), мы преобразуем (8.4) к виду
«(li + Ы =м(Ы"(Ы. Из 1, гл. XVIII, 6, мы знаем, что все ре-
решения этого уравнения, ограниченные на каждом конечном
интервале1), имеют вид ы(?)=ей. Это, однако, то же самое,
что ty(x) =х<>. &¦
Пример, а) Все степени | log лг | удовлетворяют (8.1), (8.2)
с р = 0. Аналогично если U(x) стремится при х—> оо к положи-
положительному конечному пределу, то (8.1), (8.2) выполняются с р = 0.
Функции A+х2)р и ех удовлетворяют (8.1), (8.2) с р = 2р и
р = оо соответственно. Функция 2 + sinx не удовлетворяет
(8.1). *>
Пусть U — положительная функция, удовлетворяющая (8.1),
(8.2) с конечным р. Положим
). (8.5)
Тогда при t—> оо и любом х>0
L(t) ^l> W-°>
так что L удовлетворяет (8.1), (8.2) с р = 0. Следующее ниже
определение применимо и к немонотонным функциям.
Определение. Заданная на О, оо положительная функция
L называется медленно меняющейся на бесконечности в том и
только том случае, когда она удовлетворяет условию (8.6).
Функция U называется правильно меняющейся с показателем р
в том и только том случае, когда для нее выполняется (8.5), где
—оо<р<оо и L — медленно меняющаяся функция.
По самому определению свойство функции быть правильно
меняющейся не зависит от поведения U на конечных интерва-
интервалах. Для облегчения ссылок мы перефразируем лемму 1, придав
ей форму теоремы.
Теорема. Монотонная функция U правильно изменяется на
бесконечности тогда и только тогда, когда (8.1) выполняется
') Более общим образом любая конечная бэровская функция, удовлетво-
удовлетворяющая (8.4), имеет вид хр. Отсюда следует, что лемма 1 (за исключением
случая р=±со) остается справедливой для произвольных (не обязательно
монотонных) функций U, если предположить, что (8.1) выполняется во всех
точках.

§ 8. Правильно меняющиеся функции 337
на всюду плотном множестве точек и предел г|) конечен и поло-
положителен в некотором интервале.
Полезный критерий дает следующая
Лемма 2. Пусть
^±1->1, аП^оо. (8.7)
Если U — монотонная функция, такая, что предел
Соо (8.8)
существует на всюду плотном множестве и функция % конечна
и положительна в некотором интервале, то U правильно ме-
меняется и %(х) =схр, где —оо<р<оо.
Доказательство. Мы можем предположить, что %A) = 1
и что (8.8) выполняется при х=1 (этого можно добиться три-
тривиальным изменением масштаба). Для каждого данного t опре-
определим п как наименьшее целое число, для которого an+i>t. То-
Тогда ап <С /<an+i и для неубывающей функции U
U (апх) ^ U(tx) U(an+Ix) ,„ q
^ U(t) ^ U(an) ¦ &¦">
Для невозрастающей функции U верны обратные неравенства.
Так как XnU(an) —* 1, то крайние члены стремятся к %(х) в каж-
каждой точке, где выполняется (8.8). Поэтому утверждение леммы
вытекает из последней теоремы. >
В качестве типичных примеров применений мы дадим извест-
известную теорему Р. А. Фишера — Б. В. Гнеденко и один новый ре-
результат.
Примеры, б) Распределение максимума. Пусть случайные ве-
величины Xft взаимно независимы и имеют одно и то же распре-
распределение F. Положим
X* = max[Xi, .. ., Х„].
Выясним, существуют ли нормирующие множители ап, такие,
что случайные величины Хл/а,г имеют предельное распределе-
распределение G. Мы исключим при этом два тривиальных случая. Если F
имеет наибольшую точку роста |, то распределение Х,г три-
тривиальным образом сходится к распределению, сосредоточен-
сосредоточенному в |. С другой стороны, всегда можно выбрать нормирую-
нормирующие множители ап столь быстро возрастающими, что величины
Хл/а„ сходятся по вероятности к нулю. Остальные случаи охва-
охватываются следующим предложением.

338 Гл. VIII. Основные предельные теоремы
Пусть F(x)<l при всех х. Для того чтобы при некотором вы-
выборе нормирующих постоянных а„ распределения Gn случайных
величин Хд/а;! сходились к распределению G, не сосредоточен-
сосредоточенному в О, необходимо и достаточно, чтобы функция 1 — F была
правильно меняющейся с показателем р<0. В этом случае
при х>0 и G{x) = 0 при х<0 (очевидно, с>0).
Доказательство. Если предельное распределение G су-
существует, то
F»{anx)-*G(x) (8.11)
во всех точках непрерывности. Переходя к логарифмам и вспо-
вспоминая, что log A — z) ~ —г при г —* 0, получаем
logG(x). (8.12)
Так как в некотором интервале 0<G(.v)<l, то последняя лемма
гарантирует правильное изменение 1—F. Обратно, если 1 —F
меняется правильно, то возможно определить постоянные ап
так, что и[1 —F(an)]~* 1. В этом случае левая часть (8.12) стре-
стремится к хр (см. задачу 26).
в) Свертки. В качестве второго примера мы докажем сле-
следующее предложение.
Пусть Fi и F2 — diw функции распределения, такие, что при
х —>• оо
^ (8.13)
где L — медленно меняющаяся функция. Тогда свертка G =
= /71*F2 имеет правильно меняющийся «хвост», так что
?±^(x). (8.14)
Доказательство. Пусть Xi и Х2 — независимые случай-
случайные величины с распределениями Fx и F2. Для <>1 и е>0, оче-
очевидно,
Р {X, + Х2 > t) > P [Xl > t A + е)} • Р {|Х21< *е} +
+ Р{Х2>/A+е)].Р{|Х1|<^е}. (8.15)
Так как Р{|Х;| </е}-> 1 при t -> оо, мы получаем
Hminf 1~Gffl >-?L+^i.. (8.16)
« Г Pi @ ^ A+е)Р К '

§ 9. Асимптотические свойства 339
С другой стороны, из события Xi + X2>/ вытекает, что или хотя
бы одна из величин Х;>/A —е), либо обе больше /е. Следова-
Следовательно,
+ Р (Х2 > t{\ — e)}-f Р {X, > Щ ¦ Р {Х2 > Щ. (8.17)
Деля обе части неравенства на t~PL(t) и полагая / —> оо, мы
получаем неравенство, противоположное (8.16). Из этих двух
неравенств получаем (8.14). >
Индукцией по г получаем интересное
Следствие1). Если 1 — F~x~pL(x), to 1—Fr*(x)~
~ гх-pL (х).
Это утверждение в тех случаях, где оно применимо, допол-
дополняет центральную предельную теорему, давая информацию о
«хвостах» распределений.
§ 9 *. Асимптотические свойства правильно
меняющихся функций
Цель этого параграфа — изучить связь между «хвостами» и
урезанными моментами распределений с правильно меняющи-
меняющимися «хвостами». Основной результат состоит в том, что если
1 —F{x) и F(—х) меняются правильно, то тем же свойством об-
обладают урезанные моменты. Это утверждение содержится в тео-
теореме 2, которая дает большие сведения, чем то, что нам нужно
для теории устойчивых распределений. Эту теорему можно до-
доказать непосредственно, а можно рассматривать как следствие
теоремы 1, которая включает в себя замечательную характериза-
цию правильно меняющихся „функций, данную Карамата2).
Лучше всего, как нам кажется, дагь полное изложение тео-
теории, в частности, потому, что теперь многие рассуждения могут
быть значительно упрощены3).
¦) Этот факт был отмечен С. Портом. Порт дал другое доказательство,
в предположении, что F имеет правильно меняющуюся плотность и /г@)=0.
*) Материал этого параграфа используется только в теории устойчивых
распределений. Однако применение теоремы 2 устранило бы многочисленные
Длинные вычисления, встречающиеся в литературе.
2) Karama ta J., Sur un mode de croissance reguliere, Mathematica
(Cluj), 4 A930), 38—53. Несмотря на частые ссылки на эту работу, более но-
нового изложения ее результатов, по-видимому, не существует
3) Наше доказательство георемы 1, будучи новым, использует тем не
менее идеи Карамата.

340 Гл. VIII. Основные предельные теоремы
Введем следующие сокращения:
X оо
Zp(x)=jypZ(y)dy, Z*p(x) = j ypZ(y)dy. (9.1)
О х
Мы покажем теперь, что в случае правильно меняющейся функ-
функции Z эти функции асимптотически ведут себя по отношению
к Z так же, как в простом случае Z(x)=xa.
Асимптотическое поведение Zp на бесконечности не зависит
от поведения Z вблизи нуля. Поэтому мы можем, не ограничи-
ограничивая общности, допустить, что Z обращается в нуль всюду в не-
некоторой окрестности нуля, так что интеграл, определяющий Zp,
имеет смысл при всех р. "•
Лемма. Пусть Z>0— медленно меняющаяся функция. То-
Тогда интегралы в (9.1) сходятся на бесконечности при р< — 1 и
расходятся при р> — 1.
Если р^—1, то Zp правильно меняется с показателем р+1.
Если р<—1, то Zp правильно меняется с показателем р+1. По-
Последнее верно и для р+1=0, если только Zli существует.
Доказательство. При *>0 и 0<г)<^ имеем
t
Zp (tx) = Zp (цх) -+-x"+i J y"Z (xy) dy. (9.2)
Так как Z — медленно меняющаяся функция, то мы можем вы-
выбрать ц (зависящее от х) так, что при у^-ц
A - е) Z Q/)< Z (xy) < A + е) Z (у).
Тогда по (9.2)
при t > у > Tj. Фиксируя х > 1 и применяя повторно (9.3) с t=xy
и у = хкц {k~0, 1. ...) , получаем
У A - е)* х* ^ < Z?*-Z7P?\ < У A + в)* х*
Выбирая e достаточно близким к 0, мы видим, что из р
вытекает расходимость Zv, а из р+1<0 — сходимость Zp. При
р+1=0 возможно и то и другое.
Полагая в (9.3) t—*oo, мы видим, что при расходимости Zp
эта функция меняется правильно с показателем р + 1. Из сходи-

§ 9. Асимптотические свойства 341
мости Zp следует, что эта функция медленно меняется и в этом
случае нечего доказывать.
Рассмотрим теперь функцию Zp (которая определена тогда
и только тогда, когда Zv сходится). Полагая в (9.3) t—*oo, по-
получим
Р}ХУ) '1— е) (9.4)
}
Zp(y)
при л:>0 и у>г). Следовательно, функция Zp меняется правиль-
правильно с показателем р+1, если только она определена. ^
Теорема 1. (i) Если Z меняется правильно с показате-
показателем у, то
fp+1 у (f\
Zp(t) -»l + V+l. /»-hV-f-1 >0. (9.5)
Аналогично
Л^Ж +ц, р + у + ко. (9.6)
Последнее верно и при /? + у+1=0, если только Z_Y_i сущест-
существует.
(и) Обратно, если левая часть (9.5) или (9.6) стремится к
некоторому пределу Я>0, то Z меняется правильно с показате-
показателем у = Х — р—1 или v = —Я — р — 1 [так что (9.5) и (9.6) вер-
верны для всех допустимых р].
Доказательство. Положим
ypZ (у) _ л (у) чп
Пусть Z правильно меняется с показателем у и пусть у
^•0. Тогда yPZ(y) правильно меняется с показателем р + у и по
предыдущей лемме Zp правильно меняется с показателем
P+Y+1- Отсюда следует, что функция (9.7) правильно меняет-
меняется с показателем —1. Поэтому т] — медленно меняющаяся
функция. Числитель левой части почти всюду совпадает с про-
производной знаменателя. Выполняя интегрирование в пределах
от t до tx, получаем
ZD (tx) с ds с ч (ts) ds
lQg -Y^W - I W ¦ ~ = 4@ J ^T -• (9-8)
Так как Zv — правильно меняющаяся функция, то левая часть
сходится к (p + Y+l)logx Пусть t пробегает последователь-
последовательность tn -* оо, такую, что интеграл в правой части (9.8) сходится

342 Гл. VIII. Основные предельные теоремы
к пределу с^схэ. Подинтегральное выражение сходится к s~\
так как ц — медленно меняющаяся функция. По теореме Фату
[гл. IV, B.9)] c^\ogx. Следовательно, r\(tn) сходится к конеч-
конечному пределу а^Ср + v+l- Таким образом, при любом выборе
{tn} величины r\(tn) остаются ограниченными и поэтому функция
¦ц ограничена на бесконечности. Теперь сходимость r\(tn)-+a
влечет сходимость r](tns)—*¦ а при каждом s. Так как эта сходи-
сходимость является ограниченной, то средняя часть (9.8) сходится
к a log х. То есть из правильного изменения Z вытекает (9.5).
Обратное доказывается легче. Если левая часть (9.5) схо-
сходится к Я^>0, то r\(t)-+X. Следовательно, средняя часть (9.8)
сходится к A, log л:, откуда выводим, что Zp правильно меняется
с показателем X. Из предположения, что Z(x) ~Xx~p~ 1Zp(x),
теперь заключаем, что Z правильно меняется с показателем
К — р—1, что и утверждалось. Аналогичные рассуждения при-
применимы к Zp. Доказательство закончено. >
Отметим (хотя мы и не будем его использовать) интересное
Следствие. Функция Z является медленно меняющейся
тогда и только тогда, когда она может быть представлена в виде
(9.9)
где е(л:)->0 и а(х)—> с<оо при х->оо
Доказательство. Достаточность тривиальным образом
следует из определения. Для доказательства необходимости мы
положим в (9.8) ^=1 и подставим-результат в (9.7). Тогда для
Z получается явное выражение в терминах вспомогательной
функции г]. В нашем случае р = 0 и г\{х)-+\. Полагая е(л:) =
= ц(х) —1, получаем (9.9). ?>
В применениях следующей ниже теоремы к функциям рас-
распределения можно рассматривать оба «хвоста» по отдельности.
Иными словами, достаточно изучить распределения, сосредото-
сосредоточенные на 0, оо.
Теорема 2. Пусть F — распределение вероятностей, сосре-
|
доточенное на 0, оо, и
X
^ (9.10)
о
¦где ?>0 фиксировано и G?(оо)=оо.

§ 9. Асимптотические свойства 343
(i) Если или f/j, или 1— F меняются правильно, то суще-
существует предел
lim 't[1,,~^@] =c, 0<с<со. (9.11)
(И) Обратно, пусть выполняется (9.11) с 0<с<оо. Предста-
Представим с в форме
с = ±=±. (9.12)
Тогда
Ut(x)~xt-aL(x), \-F{x)~^-x~aL(x), (9.13)
где L — медленно меняющаяся функция.
Далее из (9.11) с с = 0 (с=оо) вытекает, что функция L\
[соответственно 1 — F) медленно меняющаяся.
(Из медленного изменения U$ не следует правильного изме-
изменения 1 —F, см. задачу 29.)
Доказательство. Теорема симметрична по отношению
к Vi и 1 — F. Поэтому доказательства для обеих функций оди-
одинаковы. Мы рассмотрим здесь лишь утверждения, касающиеся
Ui (другие не будут использованы в этой книге).
Отправляясь от равенства
1-/=•(*)= JVttfE {</«/}, '9.14)-
X
формальным интегрированием по частям получаем
оо
\ -F{x) = -x-VJt{x) + t I y-^Ut{y)dy. (9.15).
[Эта процедура законна. Применяя ее сначала на х, t, убе-
убеждаемся, что интеграл в (9.15) сходится. В то же время из
(9.10) видно, что х~^и^(х)—*0 при х—* оо.]Перепишем (9.15) в
виде
Если функция Vt, правильно меняется, то ее показатель необхо-
необходимо <l?. Назовем его y = t, — а. Используя (9.6) с Z=Ut, и
Р~ — Z,— 1, мы видим, что правая часть (9.16) стремится к
~-1+?/а (к оо, если а = 0). Этим доказываются формулы (9.11)
и (9.12). Первое из соотношений (9.13) верно по определению, а>

344 Гл. VIII. Основные предельные теоремы
при а<? из него и (9.11) вытекает второе. Обратно, если выпол-
выполняется (9.11), то по теореме 1 U^—правильно меняющаяся
функция с показателем у, таким, что ?/(? — у)=с+1). ^
(Теорема в форме, кажущейся несколько более общей, при-
приведена в задаче 30.)
§ 10. Задачи
1. Альтернативное определение сходимости. Пусть Fn и F — некоторые
распределения вероятностей. Покажите, что Fn->F (в собственном смысле)
тогда и только тогда, когда для любых данных е>0, А>0 и t существует
N(e, h, t), такое, что при n>N(e, h, t)
F(t-h)-s<Fn(t)<F(t+h)+e. A0 1)
2. Несобственная сходимость. Если F — несобственное распределение, то
из A0.1) вытекает, что Fn-±F в несобственном смысле. Обратное неверно.
Покажите, что собственная сходимость может быть определена требованием,
что A0.1) выполняется для n^-N (г,п) независимо от t.
3. Пусть {Fn} сходится в собственном смысле к распределению, не
сосредоточенному в одной точке. Тогда последовательность {Fn(anx + bn)}
сходится к распределению, сосредоточенному в нуле в том и только том
случае, когда ап ->со и Ь„ = о(ап).
4. Другое доказательство леммы 2.3. Используя теорему 3.2, покажите,
что а2п1ап->Х. Выведите отсюда, что ап->оо и что предельное распреде-
распределение необходимо устойчиво (см гл. VI, 1). Указание. Достаточно ограни-
ограничиться симметричными F.
5. Пусть {ип} — последовательность ограниченных монотонных функций,
сходящаяся поточечно к ограниченной и непрерывной предельной функции
(которая автоматически монотонна). Докажите, что сходимость равномерна
на всех конечных интервалах. Указание. Разбейте ось абсцисс на интервалы,
на каждом из которых колебание и меньше 8.
6. (К теореме 3.1.) Пусть Fn сосредоточено в точке га и u(x)=s\n (x2).
Тогда Рп * и->и поточечно, но неравномерно.
7. а) Если совместное распределение (Xn,Yn) сходится к совместному
распределению (X, Y), то распределение Х„ + \п сходится к распределе-
распределению X + Y.
б) Покажите, что теорема 3.2 — частный случай этого утверждения.
в) Сделанное утверждение, вообще говоря, неверно, если известна только
сходимость маргинальных распределений Хп и Yn.
8. Пусть Fn -> F, где F — несобственное распределение. Если
и € Со(—со, со), то
равномерно в каждом конечном интерзале (это — обобщение теоремы 3.1).
10"). На плоскости каждая исчезающая на бесконечности функция мо-
может быть равномерно аппроксимирована конечными линейными комбина*
*) Задача 9 оказалась неверной и опущена. Нумерация последующих за-
задач сохраняется. — Прим. перёв.

10. Задачи 345
циями вида 2снЦ>к(х)$к(у), где фл и tyk—бесконечно дифференцируемые
функции.
Указание. Используйте теорему об аппроксимации из примера C, а),
полагая
Gk (•*¦ у) = И1к (х) Tik ((/),
где Ш — нормальная плотность.
Метрики. Функция р называется расстоянием между распределениями
вероятностей, если p(F, G) определено для любой пары распределений и
обладает следующими тремя свойствами: p(F,G)^0 и p(F,G)=0 тогда и
только тогда, когда /7=G; далее p(F, G) =p(G, F); наконец, р удовлетворяет
неравенству треугольника:
p(FuF2)>p(Fu G)+p(G,F2).
11. Метрика П. Леей. Пусть F и G — два распределения вероятностей.
Определим р(/\ G) как точную нижнюю грань всех А>0, для которых при
всех х
F(x-h)-h>G(x)^F(x+h)+h. A0.2)
Проверьте, что р является расстоянием. Докажите, что Fn -> F в собствен-
собственном смысле тогда и только тогда, когда p(Fn,F) ->0.
12. Расстояние «по вариации». Положим р (F, G) = sup || ftu — @и||,
где и ?С0 и II и|] = 1. Покажите, что р — расстояние'). Если F и 6 — атоми-
атомические распределения, приписывающие точке аь, веса рц и qh соответствен-
соответственно, то
p(F, G) = 2|^-9ft|. A0.3)
Если F и G имеют плотности f и g, то
p(f,C)= J \f(x\-g(x)\dx. A0.4)
—оо
[Достаточно доказать A0.4) для непрерывных / и g. Общий случай изучается
с помощью надлежащей аппроксимации.]
13. Продолжение. Покажите, что из p{Fn, G)->0 вытекает собственная
сходимость Fn -> G. Обратное неверно (рассмотрите нормальные функции
распределения \Ч {пх) и распределения Fn, сосредоточенных в гг1).
14. Продолжение. Если U=Fi*... *FK и V=G, *«.. * Gn, то
Последнее неравенство обобщает основное неравенство C.9).
[Указание. Используйте C.9) и функцию и, такую что || 91м — 2$и|| близ-
близко к p(U,V).]
') Это определение может быть распространено на разности любых ко-
конечных мер и определяет для мер «топологию, порождаемую нормой». За-
Дача 13 показывает, что соответствующее понятие сходимости оказывается
Неестественным с точки зрения теории вероятностей.

346 Гл. VIII. Основные предельные теоремы
15. Аппроксимация пуассоновским распределением'1). Пусть F приписы-
приписывает вес р точке 1 и вес q — \—р точке 0. Если G — распределение Пуассона
с математическим ожиданием р, то р(/\ G) < 9/iP2, где р — расстояние,
определенное по A0.3). Выведите отсюда утверждение: если F— распределе-
распределение числа успехов в п испытаниях Бернулли с вероятностями успеха ри
Р2, . .., рп и если G — распределение Пуассона с математическим ожиданием'
Pi+ ¦¦¦ + Р„, т0 9(Р. G)<r*U(p\+ ••• +р1\
16. Закон больших чисел, установленный в гл. VII, утверждает, что для
независимых одинаково распределенных величин X* с E(Xft) =0,
Докажите это методом, использованным в теореме 4.1.
17. Условие Линдеберга D.15) выполняется, если при некотором 6>0
существуют ak = Е ( J Х^+6 | ) и at -\- ... -{-% = о (s2a+°) (усиовие Ляпу-
Ляпунова).
18. Пусть Fh — симметричное распределение и 1—/¦> (х) =
для л:>1. Покажите, что условие Линдеберга D.15) выполняется
19. Пусть Ха = ±1 с вероятностью 7гA —k~2) и \k — ±k с вероятностью
xlik~2. Покажите с помощью урезания, что величина SnIVn ведет себя асим-
асимптотически так, как если бы Хй = ± 1 с вероятностью '/г- Таким образом,
распределение $„1\^п сходится к 9?, но Var (Snjy n )->2.
20. Видоизмените условие предыдущей задачи так, чтобы Е (Xft) = со,
но распределение &п/уп сходилось к 91.
212). Центральная предельная теорема для симметрично зависимых ве-
величин. Пусть каждому значению 0 соответствует распределение Fq с нулевым
математическим ожиданием и дисперсией о2(9). Значение 0 выбирается в
соответствии с распределением вероятностей G. Затем рассматриваются вза-
взаимно независимые случайные величины Х„ с одним и тем же распределе-
распределением Fq, Пусть а2 — математическое ожидание о2, взятое по отношению к G.
Покажите, что распределение §п1(а\ п) сходится к распределению с плот-
плотностью
-{со
С а да I ax \
J а(9)" \а (9) J
— ио
Это распределение будет нормальным только в случае, когда G сосредоточено
в одной точке.
22. Шумы в электронных лампах и т. п. процессы. Рассмотрим стоха-
стохастический процесс из примера C з) гл. VI с «дискретизированным» време-
временем. Предполагая, что вероятность появления электрона в момент kh равна
') Задача подсказана неравенствами работы L e Cam L., An approxima-
approximation theorem for the Poisson binomial distribution Pacific I. Math., 10 A960K
1181 — 1197.
2) Blum J. R., Chernoff H., Rosenblatt M., and Teicher H.,
Central limit theorems for interchangeable proceses, Canadian J. Math., 10
A958), 222—229.

§ 10. Задачи 347
а/г? покажите, что сила тока в дискретной модели определяется бесконечной
свёрткой. Переход к пределу при Л-»0 приводит к теореме Кемпбелла [C,5),
гл. VI].
Проделайте то же самое в примере с занятыми линиями [C,и), гл. VI].
Обобщите модель на случай, когда последействие (after-effect) в момент kh
есть случайная величина, принимающая значения 1,2, ... с вероятностями-
р\, Рг, ¦ ¦ ¦ ¦
23. Для любого распределения вероятностей, не сосредоточенного в нуле,
/?(!•*¦ -»0
Указание. Рассмотрите какую-либо сходящуюся подпоследовательность и
обозначьте полную массу ее предела через р. Используя результат зада-
задачи 8, покажите, что pl = p. Невозможность существования собственного пре-
предела может быть легко установлена многими способами (например, in не-
невозможности соотношения Gr* =G или из неравенств симметризации).
24. Продолжение. Тем не менее возможно, что при каждом х
lim sup Fn4 (х) = 1, lim Inf F"v' (x) = 0.
It -> со n -> со
В самом деле, можно выбрать две крайне быстро растущих последователь-
последовательности целых чисел аи и п% так, что
Указание. Возьмите распределение Р{Х=(—\)hak}=Pk- При подходящем
выборе констант с подавляющей вероятностью один из членов последова-
последовательности Xj, ..., Xnft будет равен (—l)fta/, и ни один не превзойдет по-
абсолютной величине ah. Тогда для четного k Sn > ah — nhak_x. Покажите,
что для этой цели пригодны значения
nk = B*)', pk ~ 2k _ jyy, ak~(nk)k.
25. В доказательстве леммы 8 1 достаточно предположить, что множе-
множество А плотно в некотором открытом интервале.
26. Распределение максимума. Пусть Xi, . . ., Х„ — независимые случай-
случайные величины с одним и тем же распределением F и Х^ = тах(Х,, ..., Хи)_
Пусть Gn — распределение величины а~ Х„ .
а) Если F(x) = ]—е~х н а„=п, то Gn сходится к распределению сосре-
Доточенюму в точке 1 Покажите прямым подсчетом, что ни при каком
выборе ач не может получиться распределение, имеющее более одной точки
роста.
б) Если F—распределение Коши с плотностью —т~л—i Т\ И ап—п/п,
я (J -\-х )
то при х>0 Gn(x)->e~x .
27. Если X и Y имеют одно и то же распределение F, такое, что
I—F(x) ^x~(lL(x), где L — медленно меняющаяся функция, то

348 Гл. VIII. Основные предельные теоремы
при t->co. Грубо говоря, большие значения суммы, как правило, возникают за
счет больших значений одного из двух слагаемых1).
28. Пусть i>>0 и а>0 на 0, оо. Допустим, что предел
lim [a (t) v (tx) + b(t)x] = z (x)
t-*OD
существует и непрерывно зависит от х. Докажите, что при фиксированном
v (Xf.x) v (х) .,
функция - —±—?- правильно меняется. Установите, что или
JCJC JC
CnJ
JC
z(x)=cx<*, или z(x)=cx + C\X log x.
29. Пусть F— атомическое распределение, приписывающее точке 2" вес,
пропорциональный я~'2~г". Покажите, что функция ?/г [см. (9.10)] медленно
меняется и ?/з(зо)= го, но 1—F не является правильно меняющейся функцией.
Указание. Для доказательства последнего утверждения достаточ1 рас-
рассмотреть величину скачков.
30. Пусть F — распределение, сосредоточенное на 0, со. Определим
как в (9.10), и
Va(x) = j y~aF{dy}. (.)
х
Теорема 9.2 допускает следующее обобщение. Пусть F имеет моменты по-
порядка меньше а, но не имеет моментов порядка больше а>0. Тогда f/j и
Va или правильно меняются при всех ?><х и всех в>—а, или ни при одном
из этих значений. В первом случае показатели равны ?—а и •—о"—а. Этот
случай имеет место тогда и только тогда, когда
—щ >v+^ (**>
@<а<?). Если U^ медленно меняется, то соотношение (**) выполняется
с а = ?. Если Va медленно меняется, то левая часть стремится к со. [Специ-
[Специальный случай сг = О сводится к (9.11).]
Указание. Можно повторить доказательство теоремы 2. Однако сформу-
сформулированные утверждения можно получить из теоремы 2 одним лишь из«
менением обозначений.
31. Пусть G — симметричное устойчивое распределение, т. е. Gr^(crx) =
G(x) (см. гл. VI, 1). Выведите из последнего следствия § 8, что 1—G(x)~
~x~aL(x), где а<2. При этом исключается случай r[\—G(crx)]->0, приводя-
приводящий к нормальному распределению.
Указание. Неравенства симметризации гл. V, E.10) показывают, что по-
последовательность r[l—G(cTx)] ограничена. Дальнейшие рассуждения просты.
32. Обобщите эти утверждения на случай несимметричных устойчивых
законов.
') Это явление было впервые подмечено, кажется, Б. Мандельбройтом.

ГЛАВА IX
БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ
И ПОЛУГРУППЫ
Цель этой главы — показать, что основные теоремы, касаю»
щиеся безгранично делимых распределений, процессов с независи-
независимыми приращениями, устойчивых распределений и их областей
притяжения, могут быть получены с помощью естественного
обобщения рассуждений, использованных при доказательстве
центральной предельной теоремы. Заметим, что излагаемая
теория будет развита заново (и в большем объеме) на основе
анализа Фурье. По этой причине здесь мы ограничимся лишь
основными фактами. Настоящая глава представляет в значи-
значительной степени методологический интерес, связывая разбирае-
разбираемые вопросы с общей теорией марковских процессов. Метод
Фурье, там где он применим, приводит к более сильным резуль-
результатам. Чтобы облегчить понимание важных фактов, некоторые
теоремы доказываются дважды. Так, общая теорема о строении
рассматриваемых полугрупп распределений доказывается снача-
сначала для случая конечных дисперсий и т. п. В этом смысле § 1—4
дают замкнутое изложение основных фактов.
Полугрупповая операция, изучаемая в этой главе — свертка.
Другие полугруппы будут изучены независимо новыми мето-
методами в следующей главе.
§ 1. Общее знакомство с темой
Предельные теоремы этой главы служат естественным обоб-
обобщением центральной предельной теоремы, а безгранично дели-
делимые распределения тесно связаны с нормальным распределе-
распределением. Чтобы понять это, стоит повторить доказательство теоре-
теоремы гл. VIII, 4.1 в несколько иной обстановке.
Мы рассмотрим на этот раз схему серий {Xft; n), где при каж-
каждом п случайные величины ') Х4; „, . . ., Хп, „ взаимно незави-
') Схема серий была определена в гл. VI, 3. Следует помнить, что в дей-
действительности мы имеем дело с функциями распределения Fk, n-, случайные
величины Xk, n используются лишь для того, чтобы упростить обозначения.
Соответственно случайные величины из различных строк не обязаны нахо-
находиться в каких бы то ни было отношениях друг к другу (в частности, они
¦Могут быть заданы на разных вероятностных пространствах).,

350 Гл. IX. Безгранично делимые распределения
симы и имеют одно и то же распределение Fn. Обозначим с^м-
мы по строкам через Sn : Sn = Xi, „+ ... +Xn> n. В гл. VIII мы
имели дело с частным случаем Xhtn = Xhan и Fn(x) = F(anx).
Суммы по строкам обозначались S,,.
Всюду в этой главе мы будем использовать операторные
обозначения гл. VIII, 3. Так $,, означает оператор, связанный
с Fn, a gn—оператор, связанный с распределением Sn. На-
Наконец, ||ы|| обозначает максимум непрерывной функции и.
Примеры, а) Центральная предельная теорема. Допустим,
что существуют такие числа е„->0, что
|Х,,я|<ея> E(Xi,B) = 0, яЕ(Х?,в)->1. A.1)
Для любой функции и, имеющей три ограниченные производ-
производные, справедливо тождество
г~ / \ / \1 Г и (х— У) — U (х)-{- Ци' (х) 9 г- f , , /1 П\
п\Ъяи(х) — и(х)]= j -^ yj—LJ2 ^ ¦ ny-Fn [dy]. (I-2)
Конечные меры ny2Fn{dy} сходятся по предположению к рас-
распределению вероятностей, сосредоточенному в нуле. Дробь под
знаком интеграла непрерывно зависит от у и отличается от
~^-и"(х) не более чем на ejk"|]. Таким образом, равномерно
по х
Допустим теперь, что ©п — другая последовательность опе-
операторов и что п[ © „и — и] равномерно сходится к -j в". Тогда
л(^„и-Си)->0 A.4)
равномерно. По основному неравенству гл. VIII, (ЗЛО) (оно
будет постоянно использоваться в дальнейшем)
| %U - ®апа || < л|| Ъпи — ®„и ||, A.5)
и правая часть стремится к нулю, как это следует из A.4). Как
мы уже видели при доказательстве теоремы I в гл. VIII, 4, и
качестве ®п можно выбрать оператор, связанный с симметрич-
симметричным нормальным распределением, имеющим дисперсию \/п.
Тогда ®" = ©ь и потому §H->©i. Мы доказали, таким обра-
образом, что распределение сумм Sn сходится к нормальному рас-
распределению Ш. ^

§ 1. Общее знакомство с темой 351
Анализируя внимательно структуру доказательства, мы ви-
видим, что форма правой части A.3) не играет никакой роли.
Допустим, что мы имеем такую схему серий, что (в равномер-
равномерном смысле)
п[%пи — и]->Ч1и, A.6)
где?!— произвольный, но фиксированный оператор. Наши рас-
рассуждения позволяют нам сравнить любые две схемы серий,
удовлетворяющих A.6), и прийти к заключению, что их суммы
по строкам ведут себя асимптотически одинаково. Если для
одной из этих схем распределения Sn сходятся к пределу G, то
это же будет верно и для всех других наших схем. Мы докажем
это позже.
б) Распределение Пуассона. Допустим, что Xi, „ равно еди-
единице с вероятностью р„ и нулю с вероятностью 1—рп- Если
прп —*¦ а, то
п[5„и(х) — и (х)] — прп [и(х — 1) — и (х)] ->а[и{х—\) — и (х)].
A.7)
На этот раз мы выберем в качестве ®п оператор, связанный с
распределением Пуассона с математическим ожиданием а/л.
Простой подсчет показывает, что и п[®пи — и] сходится к пра-
правой части A.7). Отсюда выводим, как и раньше, что §я—»©ь
Таким образом, распределение Sn сходится к распределению
Пуассона с математическим ожиданием а. [Правая часть A.7)
дает нам один из возможных примеров оператора 91 в A.6).
Другой пример простой схемы серий см. в задаче 2]. Р*
В двух указанных выше примерах нам посчастливилось
знать форму предельного распределения заранее. В общем слу-
случае схема серий может служить для определения предельного
распределения, и таким путем мы можем получить новые функ-
функции распределения. Эта процедура была использована в 1,
гл. VI для определения распределения Пуассона как предела
биномиальных распределений.
Напомним, что предельные распределения для сумм Sn были
названы (см. гл. VI, 3) безгранично делимыми. Мы покажем,
что такое предельное распределение существует всякий раз,
когда выполняется соотношение типа A.6), а также покажем,
что это условие необходимо. Другой подход к рассматриваемой
задаче основан на изучении мер ny2Fn{dy}. В обоих примерах
существовала предельная мера; в примере (а) она была сосре-
сосредоточена в нуле, в примере (б) — в точке единица. В общем
случае соотношение A.6) тесно связано с существованием та-
такой меры Q, что ny2Fn{dy} — Q{dy}. При этом безгранично дели*

352 Гл. IX. Безгранично делимые распределения
мые распределения могут быть описаны либо с помощью опе-
оператора %, либо с помощью меры Q (которая может быть не-
неограниченной).
Третий подход к разбираемой задаче использует уравнение
свертки
Qs*Qt = Qs+*> A.8)
в котором Qt — распределение вероятностей, зависящее от па-
параметра />0. [Нормальное распределение и распределение Пу-
Пуассона удовлетворяют A.8) с t, пропорциональным дисперсии.]
Схему серий мы получим, отождествляя Fn с Qi/n. Тогда A.6)
равносильно
^-\Qt*u — u]->%u A.9)
при t, пробегающем последовательность Уг, Уз ... ¦ Можно
ожидать, что A.9) будет выполняться при произвольном стрем-
стремлении ?->0 + .
Отметим, что A.8) есть не что иное, как основное уравнение
для процессов со стационарным и независимыми приращениями
(гл. VI, 4). Оно тесно связано с теорией полугрупп. В этом кон-
контексте 31 выступает в роли «производящего оператора». Оказы-
Оказывается, что именно эта теория обеспечивает самый легкий под-
подход к предельным теоремам и безгранично делимым распреде-
распределениям. Поэтому мы с нее и начнем.
2. Полугруппы со сверткой
Пусть Qt(t>0)—семейство распределений в М\ удовлет-
удовлетворяющих A.8), и O.(t) — соответствующие операторы, т. е.
+ оо
а @ «(¦*) = / u(x-y)Qt{dy). B.1)
— оо
Тогда A.8) эквивалентно
Сф 4-') = &(?)? @- B-2)
Семейство операторов, удовлетворяющих B.2), называется по-
полугруппой. [Оно не будет, как правило, группой, так как опера-
оператор Q. (/) в общем случае не имеет обратного.] Операторы полу-
полугруппы могут иметь произвольную природу, и поэтому удобно
ввести термин, подчеркивающий наше допущение о связи a (t)
и вероятностных распределений.
Определение 1. Полугруппа со сверткой {O.{t)} {где
t>0) —это семейство операторов, связанных с распределениями
вероятностей и удовлетворяющих B.2),

§ 2. Полугруппы со сверткой 353
В качестве области определения операторов мы возьмем
Со[—°°, оо]. Операторы О. (t) являются операторами перехода,
т е из 04а41 вытекает 0-гС О- (t)u ^C 1, и, кроме того,
Q@1 = l.
Нам придется также иметь дело и с операторами [подоб-
[подобными d2/dx2 в A.3)], которые определены не для всех непрерыв-
непрерывных функций. Наши теперешние цели позволяют, к счастью, из-
избежать утомительного обсуждения точной области определения
этих операторов, так как нам достаточно рассмотреть только
класс таких функций и, что и?С[—оо, оо]; и имеет производ-
производные всех порядков, также принадлежащие С[—оо, оо]. Эти функ-
функции будут называться бесконечно-дифференцируемыми1), и их
совокупность будет обозначаться С°°. Пока мы ограничимся
только операторами 91, определенными для всех и ? С°° и таки-
такими, что 31ы6С°°, так что все встречающиеся операторы можно
рассматривать как операторы, отображающие С°° в С°°. Как мы
видели в гл. VIII, 3, для операторов, связанных с распределе-
распределениями вероятностей, сходимость L3n~*S означает сходимость
<$па-*%и для всех «?С°°. Мы распространим теперь это опре-
определение сходимости на произвольные операторы.
Определение 2. Пусть 21Я и 21 — операторы, отобра-
отображающие С°° в С°°. Мы скажем, что 2in сходится к 91, в обозна-
обозначениях 21Л -> 21, если при каждом и?С°°
||Яяи-Яи||-»0. B.3)
Соотношение B.3) показывает, что 31„и -> 51м. равномерно.
Обратно, если для каждого ы € С°° последовательность {21яи}
сходится равномерно к пределу v^C00, то равенство 21м = v
определяет некоторый оператор 21 и, очевидно, %п —> %.
Определение 3. Полугруппа со сверткой {K^{t)} назы-
называется непрерывной, если
*1. Л->0 + , B.4)
где 1 — тождественный оператор. В этом случае мы полагаем
Q@) = 1.
Из неравенства ||Q(/)«||< ||и|| и из определения 2.2 полу-
получаем при /г>0
||С1(* + А)и-С1(*)и||<||С1(А)и-«||. B.5)
') Класс С°° введен только для того, чтобы избежать появления нового
термина. Он мог бы быть заменен, скажем, классом функций с четырьмя
ограниченными производными или (что еще проще) классом всех -линейных
комбинаций нормальных функций распределения с произвольными математи-
математическими ожиданиями и дисперсиями.

354 Гл. IX. Безгранично делимые распределения
При достаточно малом h левая часть будет <е, каково бы ни
было t. В этом смысле полугруппа со сверткой является равно-
равномерно непрерывной.
Определение 4. Говорят, что оператор 21, отображающий
С°° в С°°, порождает полугруппу {&@Ь если при Л—»0 +
S {hl ~ ' -> 31. B.6)
Оператор 21 будет называться производящим оператором1).
Очевидно, что полугруппа, обладающая производящим опе-
оператором, автоматически непрерывна. Мы покажем в дальней-
дальнейшем, что любая непрерывная полугруппа со сверткой имеет про-
производящий оператор, но это утверждение ни в какой мере не
очевидно.
Формально B.6) определяет 2( как производную ?Ц/) при
?=0. Существование 21 влечет дифференцируемость и при
?0, так как
<' + /0S<0 Щ± B.7)
при Л->-0+ и аналогично при А->-0—.
Первые четыре из приводимых ниже примеров будут исполь-
использованы в дальнейшем.
Примеры, а) Обобщенная пуассоновская полугруппа. Пусть
$-!** B.8)
обобщенное пуассоновское распределение. Здесь
] B.9)
Деля обе части на h, видим, что B.6) выполняется с 91=
= а(§—1). Таким образом, обобщенная пуассоновская полугруп-
полугруппа B.8) порождается оператором a(fj—1) и ее элементы мы
будем записывать сокращенно в виде O.(t) = ea^~1'>t.
б) Сдвиги. Обозначим через Та распределение, сконцентри-
сконцентрированное в точке а, и через ia — соответствующий оператор.
При фиксированном р>0 выполняется полугрупповое свойство
') Мы ограничили область определения St классом С°°. Поэтому наша
терминология слегка отличается от общепринятой, ср., например, книгу
Хилле и Филипса A962).

§ 2. Полугруппы со сверткой 355
?,$ w+) Кроме того, Z ($() и (х) = и(х — fit). График
функции Z(fil)u получается сдвигом графика и. Поэтому мы
будем говорить о полугруппе сдвигов. Производящий оператор
равен —р-т—. Заметим, что он может быть представлен как пре-
предел при h —>0 производящих операторов a(g — 1), где а = р/Л и
F сосредоточено в h. Оператор а($—1)—разностный опера-
оператор, и переход к пределу рассматривался в гл. VI, 5. Разумно
обозначить эту полугрхппу как Z(t) = ехр(—P^j—)•
в) Сложение производящих операторов. Пусть 3(i и 312 по-
порождают полугруппы со сверткой {di @} и {62@}- Тогда опе-
оператор %1-\-Щ порождает полугруппу операторов ?l(tf) =
= d1(^)Q2@> [Такая полугруппа связана со сверткой распреде-
распределений, соответствующих Й.]@ и D2@> см- теорему 2 гл. VIII, 3.]
Высказанное утверждение очевидным образом следует из фор-
формулы
г
К) %+ад) [ °2 (h)h х - %} ¦ B.Ю)
г) Сдвинутые полугруппы. Как частный случай предыдущего
примера, отметим правило: если 31 порождает полугруппу опе-
операторов &(^), связанных с распределениями Qt, то оператор
4l — f,djdx порождает полугруппу {&*(^)}, такую, что Qf (x) =
д) Гамма-распределения. Распределения с плотностями
е^х*'1/V{t) образуют полугруппу. Здесь
J
U(X—U)—U(X) „^и
-т^ е у
о
При ^—>0 получаем
со
= f "
Интеграл сходится, если и ограниченная и непрерывно диффе-<
ренцируемая функция, так как в этом случае при фиксирован*
ном х подинтегральное выражение будет непрерывной функцией
У, принимающей значение —и'(х) в точке // = 0.
(Дальнейшие примеры см. в задачах 3 и 4.)

356 Гл. IX. Безгранично делимые распределения
Замечание об уравнении Фоккера — Планка. Рассмотрим семейство функ-
функций, определенных формулой v(tix)=?i(t)f(x). Соотношение B.7) показы-
показывает, что для гладких f
¦§Г = 2^. B.13)
Это — уравнение Фоккера — Планка для рассматриваемого процесса, и
v — его единственное решение, удовлетворяющее начальному условию
t)@, х) =f (x). Уравнение B.13) описывает процесс. Заметим, что традицион-
традиционные попытки заменить B.13) уравнением для самих переходных вероятно-
вероятностей Qt приводят к ненужным усложнениям. Возьмем, например, сдвинутую
обобщенную пуассоновскую полугруппу, порожденную оператором
91 = а (E—1) — р ——. Уравнение Фоккера—Планка B.13) выполняется при
любой начальной функции f(x)=v@, х), имеющей непрерывную производную.
Его формальный аналог для переходных вероятностей имеет вид.
Это уравнение имеет смысл, только если Q имеет плотность, и потому непри-
неприменимо к дискретным процессам. Обычные ссылки на B.14) вместо B.13)
порождают лишь затруднения.
§ 3. Подготовительные леммы
В этом параграфе собрано вместе несколько простых лемм,
на которые опирается вся теория. Несмотря на всю свою про-
простоту, основную роль играет следующее неравенство.
Лемма 1. Если операторы % и 2l# порождают полугруппы
со сверткой {О. (t)} и {&# (t)} соответственно, то при всех t>0
|| а (о а — &# (о и || < 11| clm — а*и ||. (зл)
Доказательство. Из нолугруппового свойства и основ-
основного неравенства A.5) при г=1, 2,... получаем
C.2)
При г->оо правая часть сходится к правой части C.1), так что
это неравенство верно. >
Следствие. Различные полугруппы со сверткой не могут
иметь один и тот же производящий оператор.
Лемма 2. (Сходимость.) Пусть при каждом п оператор Ъп
порождает полугруппу со сверткой [Kxn{t)\.

§ 3 Подготовительные леммы 357
Если %п —> 91, то % порождает полугруппу со сверткой
(()} и &„(*)-*&(t) при каждом t>0.
Доказательство. При каждом ^>0 последовательность
{&.„({) и] сходится равномерно, так как по C.1)
II а„ (t) и - dm (t) и 1| < t1| %u - %mu у. C.3)
По критерию 1 гл. VIII, 3 существует оператор & (t), связанный
с некоторым распределением вероятностей, такой, что Q.n(t)—>
->SX(t). Тогда
» (О
(см. теорему 2 гл. VIII, 3). Поэтому {&(/)}— полугруппа со
сверткой. Покажем, что она порождается оператором St. Отме-
Отметим с этой целью, что
C.4)
Полагая в C.3) m->oo, видим, что
I и — &„(*) « 1!< * И 91и — 91„и||. C.5)
Следовательно, при фиксированном п и ?->0 верхний предел
левой части C.4) не превосходит 2||91й— 21яи//> что не превос-
превосходит е при достаточно больших п. >
Последующая лемма делает по крайней мере правдоподоб-
правдоподобным то, что каждая непрерывная полугруппа имеет производя-
производящий оператор.
Лемма 3. Пусть {G (t)\ — непрерывная полугруппа со сверт-
сверткой. Если для некоторой последовательности tut2, ...,-> О
¦^—^ > 2*. C-6)
то ЭД порождает эту полугруппу.
Доказательство. Обозначим левую часть 4lk. Как было
показано в примере B, а), оператор sHk порождает обобщенную
пуассоновскую полугруппу и по последней лемме существует по-
полугруппа {D*@}> порождаемая 91. Докажем, что О.^ (t) = G.(t).
Поступая, как в C.2), получим
„ О#(^)-1
(rtk) a - Q* (rtk) и || < rtk
C.7)
Пусть fe->oo и г->оо так, что rth—*t. Правая часть стремится
к нулю, а левая в силу B.5) к ||?1(<)и — D.#(rf)a||. ^

358 Гл. IX. Безгранично делимые распределения
Эти леммы мы используем немедленно. Следующая лемма
приведена здесь потому, что она представляет собой вариант
леммы 2 и доказательство ее почти такое же. Мы воспользуем-
воспользуемся лишь частным случаем \п = п и /=1, который будет служить
связующим звеном между схемами серий и полугруппами со
сверткой.
Лемма 4. Пусть при каждом п определен оператор $„, со-
соответствующий распределению вероятностей Fn. Если
л (&,-!)->«. C-8)
то 21 порождает полугруппу со сверткой {?!{{)]. Если п-*~оо и
•?-->/. то
C.9)
В частности, %"п->&(!). Лемма остается верной, если п пробе-
пробегает подпоследовательность пи п2,., .
Доказательство. Левая часть C.8) порождает обоб-
обобщенную пуассоновскую полугруппу [пример B, а)], так что по
лемме 2 Ш будет производящим оператором. По основному не-
неравенству A.5) имеем
±) а-и]\\. C.10)
Если и(; С°°, то каждый из членов разности, стоящей под зна-
знаком нормы справа в C.10), равномерно сходится к %и. >
§ 4. Случай конечных дисперсий
Полугруппы распределений с конечными дисперсиями осо-
особенно важны, а их теория столь проста, что заслуживает от-
отдельного изложения. Многим читателям не будут интересны
более общие полугруппы, а другим этот параграф даст полез-
полезный предварительный пример.
Рассмотрим полугруппу со сверткой {&@} и обозначим со-
соответствующие распределения вероятностей через Qt. Допустим,
что Qt имеет конечную дисперсию o2(t). В силу полугруппового
свойства o2(s + t) =a2(s) +a2(t). Единственное положительное
решение этого уравнения1) имеет вид a2(t)=cf. Предположим,
') Уравнение <p(s + O =tp(s) +<p(/) называют уравнением Гамеля. Пола-
Полагая u(t)—e^!\ получаем u(s+t) =u(s)u(t). В этой форме уравнение встреча-
встречалось нам несколько раз и изучалось в I, гл. XVII, 6 Математическое ожи-
ожидание Qt также удовлетворяет уравнению Гамеля; следовательно, или оно
имеет вид mt, или крайне причудливо; см. § 5 а.

§ 4. Слуай конечных дисперсий 359
что Qt имеет нулевое математическое ожидание. Тогда имеет
место тождество
= с Г »(*-у)-*(*) + у»'(*) Q{d]t DЛ)
j у
— со
где Q*— распределение вероятностей, определенное равенством
Qt{dy}= — y2Qt{dy}. D.2)
Так как мы рассматриваем только w ? С00, подинтегральное вы-
выражение (при фиксированном х) будет непрерывной функцией
от у, обращающейся в нуль на бесконечности. По теореме о вы-
выборе существует последовательность tit t2, ...-»-О, такая, что
если t пробегает ее, то Qt{dy}-+ Q{dy}. Здесь Q — распределение
вероятностей, которое может быть и несобственным.
Определим оператор *й формулой
+ оо
Ш (X) = С Г u(X-y)-u(X)+yu'(X) Q
J У
— со
При t, пробегающем последовательность tu t2,..., правая часть
D.1) стремится к Ши(х), и эта сходимость равномерна по х,
так как подинтегральное выражение равномерно непрерывно и
равномерно мало на бесконечности. По лемме 3.3 полугруппа
{& (t)} имеет производящий оператор 2f, определенный по D.3).
Мы доказали, таким образом, существование производящего
оператора и нашли для него представление D.3). Докажем, что
оно единственно. С этой целью отметим, что для функций вида
j^ D.4)
из D.3) вытекает
+ СО
J Щ D.5)
Поэтому знание %и для всех и 6 С°° определяет однозначно
меру {\+y2)~xQ{dy}, а вместе с тем и меру Q.
Как следствие доказанной единственности представления по-
получаем, что предельное распределение Q не зависит от выбора
последовательности {4}, т. е. Qt{dy] -*¦ Q{dy\ при любом стремле-
стремлении t^O.
Мы покажем, что Q — собственное распределение вероятно-
вероятностей и что каждый оператор вида D.3) является производящим
оператором. Доказательство использует анализ двух частных
случаев, которые содержатся в следующих примерах,

360 Гл. IX. Безгранично делимые распределения
Примеры, а) Нормальные полугруппы. При Qt {x) = siifY)
распределения Qt{dy} сходятся к распределению вероятностей,
сосредоточенному в нуле. При (/ = 0 значение подинтеграль-
ной функции в D.3) равно -^и"{х), так что в этом случае 51 =
б) Обобщенные пуассоновские полугруппы. Пусть с — поло-
положительная постоянная, и пусть Q — мера с полной массой ш>0,
сосредоточенной на двух интервалах |*/|>ii>0. Существует
единственная вероятностная мера F вида aF[dy} = cy--Q,{dy}.
Обозначим два первых момента F через т^ и т2 соответственно.
Оператор % из D.3) совпадает с а(# — 1)-f-aml -^-. Теперь,
а (g— 1) порождает полугруппу обобщенных пуассоновских рас-
распределений с математическим ожиданием aniit и дисперсией
aniot. Добавление члена аЩ^ к производящему оператору де-
делает математическое ожидание равным нулю и не меняет диспер-
дисперсии [пример B, г)]. Таким образом, в перечисленных условиях
оператор Ъ. из D.3) порождает полугруппу распределений Qt
с нулевым математическим ожиданием и дисперсией am2t~
= C(ut. >
Теперь мы в состоянии сформулировать основную теорему.
Теорема. Пусть Qf имеет нулевое математическое ожида-
ожидание и дисперсию ct. Полугруппа со сверткой {&(/)} имеет
производящий оператор 21 вида D.3), где Q — собственное рас-
распределение вероятностей. Представление D.3) единственно. Об-
Обратно, каждый оператор такого вида порождает полугруппу
распределений со сверткой, причем эти распределения имеют
нулевое математическое джидание и дисперсию ct.
Доказательство. Мы установили существование про-
производящего оператора вида D.3), но относительно Q знаем
лишь, что соответствующая полная масса ш<С1. Остается дока-
доказать, что если Q имеет полную массу ш, то оператор 21 из D.3)
порождает такую полугруппу, что Qt имеет нулевое математиче-
математическое ожидание и дисперсию *Cca>t.
Пусть 9Ц—оператор, получаемый из D.3) ограничением
области интегрирования до интервалов \у\>г\ плюс точку нуль
(если в ней есть атом). Тогда Шц представляется в виде суммы
двух операторов, описанных выше типов, и по правилу сложе-
сложения производящих операторов [пример B, в)] оператор 21,, по-

§ 5. Основная теорема 361
рождает такую полугруппу (Схл(г1)}, что связанные с ней рас-
распределения Q;>11 имеют нулевое математическое ожидание и
дисперсию ^Ccat. Соответственно 21 порождает полугруппу
{Ci(/)}, такую, что Qt,n-^-Qt- Так как вторые моменты Qt: л
ограничены константой cat, то Qt имеет нулевое математическое
ожидание и дисперсию ^Ccat [пример A, д), гл. VIII]. Доказа-
Доказательство закончено. >
Пример, в) В примере B, д) мы имеем Q{dy}=ye~ydy. Для
того чтобы придать оператору B.12) каноническую форму D.3),
добавим член уи'(х) к подинтегральному выражению и добавим
и'(х) перед интегралом. Мы видим, что Qt имеет математиче-
математическое ожидание t. &¦
§ 5. Основная теорема
В этом параграфе {0@} обозначает произвольную непре-
непрерывную полугруппу со сверткой. Соответствующие функции рас-
распределения будут снова обозначаться через Qt- Предыдущее до-
доказательство опиралось на существование такой меры Q, что
jtfiQt[dy}->B{dy). E.1)
Такая мера существует всегда, но не обязана быть конечной.
Вместо этого она удовлетворяет условию
которое обеспечивает не слишком быстрый рост меры Щ—х, х).
Существование предела в E.1) легко установить, допуская
существование производящего оператора (задача 8), но сам
этот факт доказать более трудно. Чтобы доказать его, вернемся
к обозначениям § 1. Рассмотрим при каждом п сумму Sn =
= Xi, n+ ... +Х„, „ п взаимно независимых случайных величин
с одним и тем же распределением Fn. Тогда %п будет операто-
оператором, связанным с суммой Sn. Нас интересует в первую очередь
случай §я = &A/«). Однако в связи с предельными теоремами
мы будем использовать и произвольные %п- Задача состоит в
том, чтобы изучить асимптотическое поведение оператора
п\$п — 1]. Мы воспользуемся представлением, аналогичным
D.1), но при этом будем вынуждены ввести урезанные мате-
математические ожидания.

362 Гл. IX. Безгранично делимые распределения
Определим при фиксированном s>0 урезающую функцию г,
равенствами
xs(x)= s при л>5, E.3)
С V* <?* rt
Нашей отправной точкой будет тождество
п(%я-\)и(х) =
+ со
и (х — у) — и (х) ~\- и' (х) xs (у)
mfFn [dy]
где
-f-OO
Ьп = п J xs(y)Fn{dy}. E.5)
Для гладких и (которые мы только и рассматриваем) дробь
под интегралом является (при фиксированном х) непрерывной
функцией от у, принимающей значение -н- и" (х) в нуле. Для
\y\<s числитель ограничен величиной у2\\и"\\, а для \y\^-s —
величиной 2||m||+s||«/||.
Следующая ниже лемма легко выводится из леммы о ком-
компактности для схемы серий. Доказательство мы отложим до § 7.
Лемма. Если случайные величины {Sn} имеют собственное
предельное распределение, то существует мера Q, удовлетворяю-
удовлетворяющая E.2), и последовательность п,,п2,... целых чисел, такие,
что при п, пробегающем эту последовательность,
ny*Fn{dy] -у Q{dy}. E.6)
Сверх того, для каждого е>0 найдется такое число а, что при
всех п
n[\-Fn(a) + Fn(-a)}<e. E.7)
Наконец, последовательность [br] ограничена.
Так как {&„} ограничены, то, не уменьшая общности, мы
можем предположить, что при п, пробегающем последователь-
последовательность tli, П2, • ¦ • ,
bn->b. E.8)
Определим оператор 2t@) формулой
+ оо
Л (х) = J »l*-y)-»(g + "'WT,G/) Q {dy]m E#9)

§ 5. Основная теорема 363
{Интеграл сходится в силу E.2) и неравенств, указанных после
формулы E.5).] В условиях леммы вклад области \у\ >a>s в
интеграл E.4) не превосходит 2||ы||е + 5||«/||е, если только а до-
достаточно велико. Вклад области \у\^а сходится к соответствую-
соответствующему интегралу, взятому по отношению к Q. Это во всяком слу-
случае верно, если Q не имеет атомов в точках ±а. Полагая а-»-оо,
мы видим, что
/г[Зя-1]«->Л — Ьи', E.10)
тде сходимость равномерна. Как %@\ так и Ъ зависят от посто*
янной s («высоты урезания»), однако левая часть не зависит от
s. Поэтому изменение 91@\ возникающее при изменении s, ком-
компенсируется соответствующим изменением Ъ.
Теорема 1. Непрерывная полугруппа со сверткой {
обладает производящим оператором ?(, причем % имеет вид
щ = %@) — b 4- • EЛ1)
где W0) определяется по E.3) с мерой Q, удовлетворяющей
E.2).
Обратно, каждый оператор 21 такого вида порождает непре-
непрерывную полугруппу со сверткой [Q.(t)}.Mepa Q единственна.
Доказательство. Если S« = О. A/я), то суммы S^ имеют
распределение Qi при любом п. Поэтому применима предыду-
предыдущая лемма и, согласно E.10),
¦i[Ci@ —1]->Я EЛ2)
при t, пробегающем последовательность —,—, .... В силу лем-
леммы 3.3 % служит производящим оператором для {@}
Мы знаем, что каждый раз, когда мера Q конечна, 21 поро-
порождает полугруппу (с конечными дисперсиями). Из леммы о схо-
сходимости (лемма 3.2) мы выводим, что все наши операторы суть
производящие операторы. Единственность получается так же,
как и в § 4, поскольку для функций вида D.4) верно D.5) (без
множителя с). Следовательно, знание %и определяет Q. Дока-
Доказательство закончено. ^¦
Мы в состоянии теперь сформулировать различные характе-
характеристические свойства безгранично делимых распределений, ле-
лежащие в основе всей их теории. Мы соберем их в одной теореме,
в которой утверждение (iv) наиболее глубокое и неожиданное.
Исторические замечания см. в гл. VI. 3.

364 Гл. IX Безгранично делимые распрсде \ения
Теорема 2. Следующие классы распределений вероятно-
вероятностей совпадают.
(i) Распределения, связанные с операторами SQ.(t) непрерыв-
непрерывных полугрупп1 со сверткой (другими словами, распределения
приращений в процессах со стационарными независимыми при-
приращениями).
(ii) Пределы последовательностей обобщенных пуассонов-
ских распределений.
(iii) Безгранично делимые распределения и их пределы.
(iv) Предельные распределения для сумм Sn в схемах серий
{Хй „}, где Х4_ п, Х2, п, • • • имеют одно и то же распределение.
Доказательство. По теореме 1 каждая непрерывная
полугруппа имеет производящий оператор 91, и по самому опре-
определению ЭД является пределом операторов t~ (O-(t)— 1)- Как
было показано в примере B, а), эти операторы порождают об-
обобщенные пуассоновские полугруппы Поэтому из леммы о схо-
сходимости 3.2 следует, что каждый элемент Qt непрерывной полу-
полугруппы есть предел последовательности обобщенных пуассонов-
ских распределений. Таким образом, (i) содержится в (ii), a
(ii) (тривиальным образом) — в (iii). Далее, любое безгранично
делимое распределение G<"> можно рассматривать как распреде-
распределение суммы Sn = Xi, „+. . .+Хп,'л п одинаково распределен-
распределенных независимых случайных величин. Отсюда вытекает, что пре-
предел G последовательности безгранично делимых распределений
G<") будет автоматически пределом распределений сумм по стро-
строкам Sn в подходящей схеме серий. Поэтому (iii) содержится в
(iv). Наконец, если суммы по строкам Sn в некоторой схеме
серий имеют предельное распределение G, то, согласно послед-
последней лемме, выполняется E.10) (по крайней мере для значений
п из некоторой подпоследовательности /ii, «2, ...)¦ По лемме 3.4
предел G совпадает с элементом Q4 полугруппы, порождаемой
оператором, стоящим в правой части E.10). Таким образом,
(iv) содержится в (i). Доказательство закончено. !^
Из теоремы 1 следует, что с точностью до центрирующего
слагаемого полугруппа {&(/)} определяется мерой Q, которая в
свою очередь определяется по E.1). Иногда более удобно опи-
описывать полугруппу в терминах функций я|г и i|r, задаваемых на
правой и левой полуосях соответственно формулами
x>0. E.13)
(Для определенности мы можем считать интервалы интегри-
интегрирования замкнутыми.) Эти фчнкции определяют О, однозначно

§ 5. Основная теорема 365
с точностью до возможного атома в нуле. Из E.1) следует, что
±[l-Qt(x)]-+y+(x), *.Qt(-x)->*-(-x) E.14)
во всех точках непрерывности. Мы фиксируем этот результат
как
Следствие. Для каждой непрерывной полугруппы со
сверткой выполняются соотношения E.1) и E.14).
Пример, а) Полугруппа Коиш. Пусть Qt имеет плотность
n'lt[t2+x2]'K Полугрупповое свойство выполняется, и, очевидно,
Мера Q определяется равенством Q{dy} = n'idy.
Применение к случайным процессам. Пусть случайные вели-
величины Х(^) описывают процесс со стационарными независимыми
приращениями (гл. VI, 4). Условимся интерпретировать Qt как
распределение приращения X(t + s) —X(s). Рассмотрим времен-
временной интервал s, s + 1 единичной длины. Разделим его точками
s — so<Si<. . .<sn = s +1 на подинтервалы длины /г1. Тогда
P{X(sh)—X(sh-l)>xh}=l — Qi/rl(x), так что п[\ —Qln(x)] рав-
но математическому ожиданию числа интервалов sft_i, stt, при-
приращения на которых >х. При п —¦ оо это математическое ожи-
ожидание сходится к я|)+(х). Чтобы упростить дальнейшее обсужде-
обсуждение, предположим, что пределы Х(/ + ) и Х(/—) существуют при
всех / и что Х(/) лежит между ними. Пусть s&_i, sh — тот ин-
интервал нашего разбиения, который содержит точку /. Для до-
достаточно больших п приращение X(sh) —X(sft_i) будет близко
к скачку Х(/ + ) —Х(/—) и интуитивно ясно, что предел г|?+ (а')
представляет собой математическое ожидание числа моментов t
(в единицу времени), для которых Х(/ + ) — Х(/—)>х. Это рас-
рассуждение можно сделать строгим, но мы не будем входить в де-
детали. Из сказанного следует, что математическое ожидание чис-
числа разрывов будет нулем, только если г|;+(х) =0 и я|г(—х)=0для
всех х>0. В последнем случае Q сосредоточено в нуле, т. е. при-
приращения X(/+s) —X(s) будут нормально распределены. Для
такого процесса траектории непрерывны с вероятностью еди-
единица (теорема П. Левй и Н. Винера). Итак, траектории непре-
непрерывны с вероятностью единица тогда и только тогда, когда про-
процесс нормален.
В качестве второй иллюстрации мы рассмотрим обобщенный
пуассоновский процесс B.8). Математическое ожидание числа
скачков за единицу времени равно а, а вероятность получить
скачок, превосходящий х>0, равна 1—F(x). Таким образом,

366 Гл. IX. Безгранично делимые распределения
а[\—F{х)] есть математическое ожидание числа скачков >х
в полном согласии с нашими интуитивными доводами.
5 *а. Разрывные полугруппы
Естественно поставить вопрос о том, существуют ли разрывные полу-
полугруппы. Задача не имеет никакой практической ценности, но ответ до неко-
некоторой сюпени любопытен: каждая полугруппа со сверткой {C(t)} лишь цен-
центрированием отличается от некоторой непрерывной полугруппы {О."(t)}.
В частности, если распределения Qt симметричны, то полугриппа обязательно
непрерывна. В общем случае существует такая функция ф, что распределения
<7f .определенные как Qt(x+(p(t)), связаны с некоторой непрерывной nouj-
группой. Функция ц необходимо должна удовлетворять уравнению
)- E.15)
Это известное уравнение Гамеля1), непрерывными решениями которого мог\ г
быть только функции вида ct. Более того, любая бэровская функция, удо-
удовлетворяющая E 15), должна быть линейной. Другие решения слишком при-
причудливы. Например, нелинейное решение принимает в любом интервале сколь
угодно большие и сколь угодно малые значения. Его невозможно получить
аналитически последовательными предельными переходами. Короче говоря,
уместно спросить, что в точности означает его «существование».
Вернемся на землю и рассмотрим произвольную полугруппу со сверткой
{С@}и схему серий {%./,, п}, связанную с распределениями Qi „¦ Суммы
по строкам имеют одно и то же распределение Q|. Поэтому мы можем вос-
воспользоваться последней леммой и извтечь такую подпоследовательность /гь
яг, . . , что когда п пробегает ее, п [С A,'я) — 1] ->'il*f, где %" — произво-
производящий оператор некоторой непрерывной полугруппы {С. W}. Мы можем
выбрать nh вида 2V. Неравенство C.4) тогда показывает, что &@ = П*@
при всех t, которые при каком-либо k кратны 1//?й, т. е. при всех t вида
t = a1 ~v и v — целые. Таким образом, всегда существует непрерывная полц-
группа {С. (t)}, такая, что С (t) = С. (t) при всех t из некоторого всюду
плотного множества 2.
Мы можем теперь доказать исходное утверждение. Выберем е„>0 так,
что t + En лежит в 2. Тогда
?.« (t + е„) = С (t + е„) = С (О С (е„). E.16)
При бп-^-0 левая часть сходится к С* (t) и потому достаточно доказать, что
если О (ея) -> gr, то распределение F сосредоточено в одной точке. Выбе-
Выберем точки hn в S так, что 0<е„</г„ и hn -> 0 Тогда ?;# (Л„) =
= О(ЛП — гп) О. (ел). Левая часть сходится к единичному оператору, так что
F в сачом деле может иметь только одну точку роста.
§ 6. Пример: устойчивые полугруппы
Полугруппа {G(^)} называется устойчивой, если соответ-
соответствующие распределения имеют вид
x-f,t)), F.1)
') См. примечание на стр. 358.

§ 6. Пример: устойчивые полугруппы 367
где Л(>0 и р< — постоянные, непрерывно зависящие от t, a G —
фиксированное распределение. Очевидно, что G является ус-
устойчивым распределением в смысле гл. VI, 1. Теория устойчивых
полугрупп излагается здесь главным образом как иллюстрация
результатов предыдущего параграфа. Кроме того, мы выпишем
их производящие операторы. Результаты этого параграфа неза-
независимо выводятся (обходным путем) в § 8.
В силу предположенной непрерывности Xt и р< полугруппа
(если она существует) будет непрерывна. Кроме того, при t->Q
Xt —» оо и Р; —> 0. Первое из соотношений E.14) принимает
форму
—-— t(x — Pt)) _>tj}+ (х); л: > 0. F.2)
Так как функция G монотонна и р« —»0, то это соотношение
остается верным, если отбросить |Зг. Но после этого отбрасыва-
отбрасывания F.2) сводится к соотношению, определяющему правиль-
правильность изменения функции. Тогда по теореме из гл. VIII, 8
г|)+ (х) = с+х~а, F.3)
где с+^>0 — постоянная. Здесь а>0, так как г|5+(оо)=0. Отсюда
вытекает, что при r/>0 Q{dy} = c+ay~a+1dy. Далее а<2, так как
конечные интервалы должны иметь конечную меру.
Рассмотрим теперь каноническую форму E.9) производящих
операторов. Отвлекаясь от тривиального центрирования, видим,
что вклад правой полуоси представляется оператором сьЛа , где
] <х-?+Ги{Х) *У F.4)
о у
при 0 < а < 1, и
оо
м+ / \ Г и(х— Ч) — И (Х) -\- till' (Х) , /л г\
21а и (л) = а J —^ а+1 -dy F.5)
при 1<а<2. Наконец, при а=1
оо
ъи (х) = Г ц*-у)-»м+»'Ыъш dy, Fi6)
t' и
о
Соотношение типа F.2) выполняются также и для левых
хвостов и для суммы правого и левого хвостов. Ясно, что левому
хвосту соответствует оператор 91Й, аналогичный 21J, с тем же
самым а. Комбинируя эти операторы, введем оператор
яо=с+яс;-+с-^: F.7)

368 Га. IX. Безгранично делимые распределения
Функции \|з+ и г|г определяют меру Q с точностью до атома в
нуле. Мы показали, что производящие операторы устойчивых
полугрупп необходимо имеют вид
^r + 0^. F.8)
При с+ = с" = 0 получим 9ta = 0, так что % порождает нормальную
полугруппу. Как легко вывести (это будет сделано в § 8), во
всех других случаях у = 0. Следовательно, если исключить нор-
нормальные полугруппы и произвольное центрирование, то F.7)
дает наиболее общую форму производящего оператора.
Остается установить, что полугруппы, порождаемые "йа, в са-
самом деле устойчивы. Мы покажем, что при аф\ оператор Ша
порождает строго устойчивую полугруппу вида
F-9)
а при а=1 — устойчивую полугруппу вида ')
) . F.10)
Положим Q№ (x) = Qi(x/p), где р>0 — постоянная. Тогда
Qt и Qf отличаются лишь масштабным параметром, так что
\Ql^ (()}— снова непрерывная полугруппа. Полагая ир(х) = и(рх),
имеем &tt (() и (х) — ?1 (t) up (х/р). Поэтому производящий опера-
оператор ЭД* получается простой заменой х на рх в интегралах, опре-
определяющих 91 [Таким образом, и'(х) = -т— заменяется на
A/р) • и'(рх)]. При аф\ подстановка y = z/p показывает, что
91^ = ра91а. Оператор 51? порождает полугруппу (Ci(pa/)), и
ввиду единственности производящих операторов отсюда выте-
вытекает, что при всех t ?3.*(р~с^) = ?3.(^).При / = 1 и pa = s получаем
F.9).
При а=1 наличие дополнительного члена под интегралом
4± d
приводит к видоизмененной форме 2ti = p9ti + pv (p) -j—, где
-Ыу. F.11)
Теперь рассуждения, использованные при аф\, приводят к
F.10).
') Эти утверждения следуют и из результатов § 8, но их прямая про-
проверка поучительна.

§ 7. Схемы серий 369
§ 7. Схемы серий
Пусть при каждом п величины Xi>n, ..., Х„, „ взаимно не-
независимы, имеют одно и то же распределение Fn, и пусть
Sn = Xi, п+• • ¦+ХП, „. Предельные теоремы для распределений
сумм Sn опираются на лемму о компактности, которая уже была
использована в § 5. Для ее доказательства мы используем уре-
урезающую функцию ts, как в E.3), и положим
Здесь X*, я— уже знакомые нам величины, получающиеся уре-
урезанием на уровне ±s, но зависимость от s в обозначениях не
подчеркивается. Мы рассмотрим наряду с {Х*,л] вспомогатель-
вспомогательные схемы серий {X*, „} и {X*, „}. Для них суммы по строкам
мы обозначим S;! и Sn, так что Sn = Sn + S,,.
Напомним определение гл. VIII, 2, по которому последова-
последовательность {Sn} называется стохастически ограниченной, если
каждому е>0 соответствует такое а, что при всех п
P{|SB|>a}<e. G.2)
Стохастическая ограниченность есть необходимое условие для
собственной сходимости распределений Sn. Для большей яс-
ясности мы установим интересующий нас критерий сначала для
симметричных распределений.
Лемма 1. (Симметричный случай.) Пусть распределенияFn
симметричны. Последовательность {Sn} стохастически ограни-
ограничена тогда и только тогда, когда существуют числа М, и ае, та-
такие, что
nVar(X'j,n)<Ms G.3)
и
n[\-Fn(a) + Fn(—a)]<e, a>aE. G.4)
Доказательство. Согласно неравенству гл. V, E.11),
вероятность в G.2) не меньше -к-0 — е~п), где ц обозначает ле-
левую часть G.4). Поэтому условие G.4) необходимо для стоха-
стохастической ограниченности {Sn}. Начиная с этого места мы пред-
предположим, что оно выполнено.
При s>a число членов среди Xi,л, •••- Хл, я. которые от-
отличны от нуля, есть биномиальная случайная величина с мате-
математическим ожиданием <е, и потому последовательность {S,,}
стохастически ограничена- Следовательно, {Sn} стохастически
ограничена или не ограничена одновременно с {Sn}.

370 Гл. IX. Безгранично делимые распределения
Положим oj( = Var (S'(). Если ап —> оо, ток величинам Х'к /о
применима центральная предельная теорема примера A,а).
В этом случае распределение S'n/an сходится к Ш и последова-
последовательность {S/jJ не будет стохастически ограниченной. Это рас-
рассуждение, примененное к подпоследовательностям {S'n}, показы-
показывает, что последовательность {оп} должна быть ограничена. По-
Поэтому G.3) необходимо при s>a, а, следовательно, и при всех
меньших s. Обратно, если G.3) верно, то по неравенству Чебы-
шева Р {| S', | > с} < е при всех с, для которых c2>Ms/e. По-
Поэтому последовательность {S^} стохастически ограничена. >
Из этой леммы мы выведем следующий общий критерий, в
котором принято сокращение
pn = E(xU)- G-5)
р
Лемма 2. (Компактность.) Предположим, чтох) Х4,п—»0.
Для существования констант Ьп, таких, что {Sn— bn) стохасти-
стохастически ограничена, необходимы и достаточны условия леммы 1.
Если они выполнены, то {Sn — п$п} стохастически ограничена,
р
Р„ —>¦ 0 и потому n~lSn -* 0.
Доказательство. Как обычно, мы обозначим через °Xh: n
случайную величину, полученную симметризацией Xht n. Если
{Sn — bn) остается стохастически ограниченной, то это же верно
и для сумм по строкам в симметризованной схеме серий. Так
р
как Xj, „ —* 0, то условие G.4) для {Xft> „} эквивалентно анало-
аналогичному условию для {°Xftj „} и потому необходимо.
Так же как и в предыдущем доказательстве, это условие
обеспечивает стохастическую ограниченность сумм (SnJ. Таким
образом, если {Sn — bn} стохастически ограничена, то этим свой-
свойством обладает и {S« — bn),w суммы по строкам в симметризо-
симметризованной схеме. Так как Var (°Xi, „) = 2 Var (Xi,,,), то условие огра-
ограниченности G.3) снова является необходимым. Если оно вы-
выполнено, то в силу неравенства Чебышева \SB — E(Sn)} стоха-
стохастически ограничена. Этим доказано первое утверждение. Оче-
Очевидно, что Xi, п —* 0 влечет Xi, я—->¦ 0 и вместе с тем р„ —>¦ 0. >
р
Лемма 3. Если {Sn} стохастически ограничена, то Х1)П-*0
при п —*¦ оо.
') Это означает что Р {|Xi, „|>г|}->0 при каждом г|>0, см. гл. VIII, 2.

? 7. Схемы серий 371
Доказательство. Допустим, что {S,,} стохастически
ограничена и что \х,п — медиана Х4, „. Суммы по строкам для
"симметризованной схемы серий {°Х;;, „} стохастически ограниче-
р
ны, и по лемме 1 °Xfc. „ —>• 0. В силу неравенства снмметриза-
р
ции V E.8) отсюда следует, что Xft, п—ц,г—>0. Поэтому к схеме
серий {Xft, n — (.(,,} применима лемма 2. Таким образом,
р р
trxSn — Цп —* 0. Так как и rrlSn —*¦ 0, то |л„ —*¦ 0. Утверждение до-
доказано. &¦
Условие G.3) несколько неприятно для проверки. Однако
если /гр;( —> 0, то оно упрощается, принимая вид
S
' *Fn {dy\ < Ms. G.6)
Доказательство леммы § 5. Если {S,,} стохастически
ограничена, то как показывают две последние леммы, величи-
величины «p,i ограничены и потому верно G.6). По второй теореме о
выборе гл. VIII, 6 существует мера Q, такая, что
ny2Fn{dy} — Q{dy} G.7)
при п, пробегающем некоторую подпоследовательность {nh}.
Хвост интеграла E.2) меньше, чем предел выражения в левой
части G.4), и условие интегрируемости E.2) тривиально верно.
Наконец, G.4) —это то же самое, что E.7). Таким образом, все
утверждения леммы проверены. р-
Мы можем сформулировать теперь основную предельную тео-
теорему для схем серий. Допустим, что предельное распределение
для {S,,} существует. Тогда найдется последовательность {пк},
такая, что при п, пробегающем эту последовательность, выпол-
выполняется G.7) и bn — nfin-*b. Мы уже видели в § 5, что в этих
обстоятельствах п[%п — 1] —>•?(, где ?t—оператор, описанный в
"E.9) и E.11). Предельное распределение Sn совпадает с рас-
распределением Qi полугруппы, порожденной ЭД.
Мыслимо, конечно, что иной выбор подпоследовательности
{пк} мог бы привести к другой паре (Q*, Ь^) и, следователь-
следовательно, к другой полугруппе {&.(()}. В этом случае предельное
распределение Sn было бы связано hcq.A),hcD#A). Однако
такие полугруппы не существуют. Это утверждение требует не-
некоторого доказательства, но оно оказывается совершенно три-
тривиальным в рамках теории интегралов Фурье и не играет никакой

372 Гл. IX. Безгранично делимые распределения
роли в настоящем контексте1). Поэтому мы примем его без
доказательства, хотя бы для того, чтобы избежать сбивающих
с толку формулировок.
С чисто теоретической точки зрения мы решили задачу опи-
описания предельного распределения для сумм Sn (если оно суще-
существует) в терминах производящего оператора соответствующей
полугруппы со сверткой. Этот результат часто бывает трудно
применить, так как он предполагает сходимость распределе-
распределений S,,. В действительности центрирование случайных вели-
величин — это очень гибкое орудие, и вопрос можно поставить так:
существуют ли постоянные Ь„, такие, что распределение Sn — bn
сходится к предельному. Условимся по-прежнему обозначать
через X*, „ случайные величины, получаемые урезанием Хй| п
на произвольном, но фиксированном уровне ±s [см. G.1)]. На-
р
помним, что {Xh, п) называется нулевой схемой, если Х4, „ —> 0.
Подобную схему можно центрировать так, что при п -» оо
(E(xU)J = o(e(xQ). G.8)
Это условие безвредно, а без него критерии становятся слож-
сложными и потому бесполезными. Как и в G.5), мы полагаем
Рл = Е (Xi, „).
Теорема. Пусть {Xft, „} — нулевая схема серий, удовлетво-
удовлетворяющая условию G.8).
а) Для существования постоянных Ьп, таких, что распреде-
распределение Sn — bn сходится к собственному предельному распреде-
распределению, необходимо и достаточно выполнения условий G.4) и G.7).
б) Если эти условия выполнены, то распределение Sn — п$п
сходится к распределению Qit связанному с оператором 0.A)
полугруппы с производящим оператором
ф^] G.9)
точно описанным в E.9).
Доказательство. Мы знаем, что из G.4) и G.7) сле-
следует и существование предела Шо) в G.9), и его форма E.9). Мы
покажем теперь, что в этом случае
21<0) = Птя[5-<°)— 1], G.10)
') Оно используется в следующем параграфе, но для устойчивых полу-
полугрупп единственность очевидна.

§ 8 Области притяжений 373
где ?$/?' оператор, связанный с Xft, „ — рп. Очевидно, что
п \Ъп и{х) — и (х) -+- Кч' (х)] - л [ЪФ)и (х — К) — и(х — р„)] =
= /ф(* — р„)- и(х) +-р/ш'(*)]. G.11)
В сил> G.8) ир^->0, и потому правая часть равномерно
стремится к нулю. Поэтому утверждение теоремы содержится в
лемме 3.4 и ее условия достаточны.
Для доказательства их необходимости отметим, что здесь
применима лемма 2. В силу G.8) дисперсии в G.3) могут быть
заменены вторыми моментами, так что из стохастической огра-
ограниченности {Sn — bn] вытекает G.7) (по крайней мере для п, про-
пробегающего некоторую подпоследовательность пи «2, . . .). Теперь
первая часть доказательства показывает, что предельное распре-
распределение для Sn — bn может отличаться от Qi только центриро-
центрированием. В силу единственности соответствующей полугруппы
мера Q определяется однозначно и мы заключаем, что G.7) вы-
выполняется при любом стремлении п к оо. &
Пример. Пусть Xftj „ имеют нормальное распределение с ма-
математическим ожиданием l/]/«2 и дисперсией \/п. Тогда
Sn — У п. имеет стандартное нормальное распределение Ш, хотя
{Sn} не ограничена стохастически. Наша теорема применима с
„.@) _ 1 rf2
и ~ 2 dx2 "
§ 8. Области притяжения
В этом параграфе Хь Х2, ... предполагаются независимыми
случайными величинами с одним и тем же распределением F.
В соответствии с определением 2 гл. VI, 1 распределение F
принадлежит области притяжения G, если существуют постоян-
постоянные й„>0 и Ьп, такие, что распределение — (Хх —)— ... +XJ —
ип
— Ьп сходится к G, где G — собственное распределение, не со-
сосредоточенное в одной точке. Несмотря на уже известные пред-
предварительные результаты гл. VI, 1 и § 6, мы будем строить здесь
теорию с самого начала.
Всюду в этом параграфе мы будем использовать обозначе-
обозначение
х
U{x)= \y2F{dy), x>0. (8.1)-
— X
Напомним, что в соответствии с теорией правильной измен-
изменчивости из гл. VIII, 8 определенная на 0, оо положительная

374 Гл. IX. Безгранично делимые распределения
функция L называется медленно меняющейся (на со), если1)
при всех х>0
L (sx) ? 1 S_>OG_ (82)
Теорема 1. Распределение F принадлежит области при-
притяжения некоторого распределения G тогда и только тогда, ко-
когда существует медленно меняющаяся функция L, такая, что
U(x)'-~ x2~aL(x) л"->со, (8.3)
где 0 < а <; 2, и при а < 2
1 — F(x) F(—a) ,o ..
-j р, . |Е^ r-~>p, -j с , \ | I, г—>а (8.4)
(при а = 2 не нужно никаких дополнительных условий).
Отметим, что при существовании конечной дисперсии (8.3)
выполняется с а = 2. Однако U может быть медленно изменяю-
изменяющейся и при отсутствии дисперсии. Мы увидим, что случай а = 2
соответствует притяжению к нормальному закону.
По теореме гл. VIII, 9.2 соотношение (8.3) эквивалентно2)
-Я—_ (8.о)
U(x) a
в том смысле, что каждое из этих соотношений влечет другое.
При 0<а<2 мы можем переписать (8.5) в виде
1 1 \ 7 Г" V / r**~~> ' -^ i-* V*^-/ V/
Ct
и (8.6) в свою очередь влечет (8.3) и (8.5). Мы приходим к но-
новой формулировке теоремы, интуитивно более понятной, так как
она описывает поведение отдельных хвостов (другие варианты
см. в задаче 14).
') Полезно иметь в виду, что при любом е>0 seZ.(s)->x> и s г L(s)->0.
Если функция x~uL(x) монотонна, то это утверждение легко получить, рас-
рассматривая отношение LBx)/L(x). [Дтя ботее общих L это утверждение со-
содержится в гл. VIII, (9 9), но подобные функции не появятся в этом пара-
параграфе.]
2) Условие (8 4) налагает аналогичные ограничения на каждый хвост
по отдельности:
x*\l-F(x)] 2-g x*F(-x) .2~a
Щх) >РТ~' U(x) ^{JT~- {)
При а = 2 эти соотношения вытекают из (8.5), чем и объясняется отсутствие
второго условия при а = 2. Теорема 1 могла бы быть сформулирована более
сжато (но более искусственно) следующим образом: F принадлежит некото-
некоторой области притяжения тогда и только тогда, когда выполняется (*) с
0<а<2, р>0, q>0, p + q=l.

§ 8. Области притяжений 375
Теорема 1а. (Другая форма.) (i) Распределение F при-
принадлежит области притяжения нормального распределения то-
• гда и только тогда, когда U медленно меняется.
(и) Оно принадлежит области притяжения, отличной от
нормальной, тогда и только тогда, когда для некоторого 0<а<2
выполняются (8.6) и (8.4).
Доказательство. Мы применим теорему § 7 к схеме се-
серий, образованной величинами X/i7 n = X,Ja7, с распределениями
Fn(x) =F(anx). Суммы по строкам для схемы {Xft> „} равны
п = ~а ¦ (8-7)
Положим для краткости
х
v(x)= ^yF{dy). (8.8)
— X
Тогда условие G.8) принимает форму
<хр-(х) — О (U (х)). (8.9)
Оно автоматически выполняется, если F не имеет математиче-
математического ожидания1). Если математическое ожидание существует,
то мы будем предполагать его равным нулю. Тогда v(x)->0
и (8.9) верно. Мы видим, что применима теорема § 7. Два ее ус-
условия: G.7) и G.4) принимают вид
ny2Fn[dy)->Q[dy) (8.10)
и
п[\ _/?л (л)_ц/?я (_-р)] <е (8.11)
для достаточно больших ц и всех п.
а) Необходимость. Из (8.10) с очевидностью следует, что
~U(anx)->Q{-x, х] (8.12)
во всех точках непрерывности. При этом Q не может быть тож-
тождественно равна нулю (так как в противном случае предельное
распределение было бы сосредоточено в одной точке). По
лемме 2 гл. VIII, 8 функция U меняется правильно2) и
fi{—х, х} — сх2~а с 0<а<12. При а = 2 больше нечего доказы-
') По неравенству Шварца [v(x)—y(a)]2< U(x)[\ — F(a) +F(—а)] при.
. Поэтому (8.9) верно при U(x)-^X).
2) Условие an+i/an-*l выполняется в силу леммы 3 § VIII, 2.

376 Гл IX Безгранично делимые распределения
вать. Если а<2, то нуль не будет атомом для О, и вышеприве-
вышеприведенные доводы применимы по отдельности к функции
х
CJ+(x)=jifF{dy) (8.13)
о
и аналогичной ей функции U~. Условие (8.4) следует из аналога
(8.5) для U+ и U-.
б) Достаточность. Предположив, что (8.3) выполняется, мож-
можно выбрать числа а„ таким образом, что
ArU(an)-*\. (8.14)
Тогда
~U{anx)->x2~\ (8.15)
Если а = 2, то отсюда вытекает (8.10), причем Q будет распре-
распределением вероятностей, сосредоточенным в нуле. При а<2 до-
дополнительное соотношение (8.4) обеспечивает сходимость
па~п2ил (апх)->рх2~а (и аналогично для U~). Таким образом,
(8.10) выполняется. Наконец, (8.11) непосредственно следует
из (8.5). У
Это доказательство дает дополнительную информацию отно-
относительно предельного распределения. Допустим, что F удовле-
удовлетворяет условиям теоремы при некоторых фиксированных зна-
значениях параметров. Из (8.6) следует, что при ос>1 существует
конечное математическое ожидание, и в этом случае мы будем
считать, что оно равно нулю. Положим ba — na~liv (а\ Тогда су-
существует предельное распределение для Sn — Ьп- Теперь тео-
теорема 2 гл. VIII, 9 показывает, что при а*ф\ существует конеч-
конечный предел b = \imbn. Следовательно, сами Sn имеют предель-
лое распределение G. Таким образом, при аф\
Fn*(anx)-+G(x). (8.16)
Наш выбор нормирующих констант ап указан в (8.14). Мож-
Можно выбрать и другие нормирующие константы а'п, но они не-
необходимо удовлетворяют соотношению а'п—¦ сап (лемма 1 из
гл. VIII, 2) и дают предел G(cx). Это означает, что для данного
предельного распределения G в (8.16) выбор нормирующих кон-
констант по существу однозначен. Так как атп\ап —*¦ rlia, то
= G(x). (8.17)

§ 8. Области притяжений 377
Таким образом, и само распределение G удовлетворяет услови-
условиям теоремы с ап = пх>а. Эти коэффициенты'должны удовлетворять
(8.14). Для 0<а<1 и 1<а<2 отсюда следует, что при х —* оо
? x)-+q^. (8.18)
При а=1 центрирующие постоянные Ъп не-обязаны оставаться
ограниченными, но тривиальное изменение наших рассуждений
показывает, что предельное распределение для Sn — Ъп удов-
удовлетворяет (8.18). Мы получаем, таким образом, следующее уси-
усиление теоремы 1.
Теорема 2. Пусть F удовлетворяет условиям теоремы 1.
При а> 1 допустим дополнительно, что F центрировано своим
математическим ожиданием. Выберем числа ап в соответствии
с (8.14).
(i) Если 0<а<1 или 1<сс<2, то верно (8.16). Предельное
распределение G устойчиво и удовлетворяет (8.18).
(И) Если а = 2, то верно (8.16) с G = %1, т. е. со стандартным
нормальным распределением.
(ш) Если а=1, то предельное распределение для Sn — bn
устойчиво и удовлетворяет (8.18).
Согласно определению устойчивости (см. гл. VI, 1), каждое
устойчивое распределение принадлежит своей собственной об-
области притяжения. Распределение, удовлетворяющее (8.17),
строго устойчиво. Поэтому следующая далее теорема содер-
содержится в предыдущей.
Теорема 3. Для каждого набора параметров существует
в точности один тип устойчивых распределений, удовлетворяю-
удовлетворяющих условиям теоремы 1.
Для а=2 это нормальные распределения.
Для а< 1 можно так выбрать масштабный параметр, что
верно (8.18) 1).
Для сс=1 тип содержит ровно одно строго устойчивое рас-
распределение, удовлетворяющее (8.18).
Устойчивые распределения для случая а=1 и p4=q удовле-
удовлетворяют F.10) и потому не будут строго устойчивыми.
Замечание о центральной предельной теореме. В теореме 2
содержится и характеризация области притяжения нормального
распределения. Чтобы принадлежать ей, F должно иметь мате-
математическое ожидание (и даже конечные абсолютные моменты
') (8.18) не зависит от способа центрирования.

378 Гл. IX. Безгранично делимые распределения
любого порядка <2). Если математическое ожидание F равно
нулю, то F принадлежит области притяжения Ш тогда и только
тогда, когда U — медленно меняющаяся функция. Ясно, что
конечность второго момента влечет ?/(оо)<оо и потому служит
достаточным условием, но пример D, а) гл. VIII показывает,
что оно не необходимо. Подходящие нормирующие постоянные
каждый раз определяются из (8.14).
(Относительно так называемой области нормального притя-
притяжения для распределений, отличных от нормального, см
гл. XVII, 5.)
§ 9. Различные распределения. Теорема о трех рядах
На короткое время мы перейдем к общим схемам серий
{Xft, п), в которых случайные величины1) \и п, ..., \п,п, входя-
входящие в п-ю строку, взаимно независимы, но могут иметь произ-
произвольные распределения Fh, n- Как уже объяснялось в гл. VI, 3,
для того чтобы сохранить характер наших предельных теорем,
необходимо принять условие, означающее, что Xn, h в некотором
смысле индивидуально пренебрегаемы. Наиболее удовлетвори-
удовлетворительное условие состоит в том, что для любых г]>0 и е>0 и
всех достаточно больших п
Р{|Х*.й|>л}<е. А = Ь .... п. (9.1)
Обозначения, использованные в § 7, не требуют изменений.
Например, X*, п снова обозначает величину, получаемую уре-
урезанием X/j, n на уровне ±s. Вся теория переносится на рассмат-
рассматриваемый случай с тем единственным изменением, что выраже-
выражения, подобные «Var(Xi,n), заменяются соответствующими сум-
суммами. Проверка требует стандартных приемов и может быть
предоставлена читателю. Ниже приводится простой вариант
леммы о компактности.
Теорема 1. (Закон больших чисел.) Если выполняется ус-
['
ловив (9.1), то Sn — bn—*0 при некоторых Ьп в том и только
том случае, когда
2Р{|Х*,„|>л}->0, S Var(X,n)->0 . (9.2)
для каждого ц>0 и каждого уровня урезания s. Если (9.2) вы-
выполнено, то можно взять bn = E(Sn).
1) Относительно числа слагаемых я-й строки см. сноску 2 на стр. 222.

§ 9. Различные распределения 379
В качестве простого следствия получаем теорему 2, в кото-
которой штрихи снова означают урезание E.3) на уровне ±s. Спе-
Специальные случаи и примеры были разобраны в гл. VIII, 5.
Теорема 2. (Бесконечные свертки.) Пусть Yb Y2, ... — не-
независимые случайные величины с распределениями Gu G2, . . ¦ -
Для того чтобы распределения Gt ~f G2 *. .. * Gn сумм Tn = Yi + ...
. .. + Yrt сходились к собственному предельному распределе-
распределению G, необходимо и достаточно, чтобы при каждом s>0
>s}<oo, SVar(Y*)<co (9.3)
SE(Y0->m. (9.4)
k=\
Доказательство. Для данной возрастающей последова-
последовательности vi, V2, ... целых чисел и k=l, .. . , п положим Xftj „ =
= YV +fe- Распределения Gi*. . .* Gn сходятся тогда и только
тогда, когда вес полученные таким образом схемы серий подчи-
подчиняются закону больших чисел с центрирующими постоянными
6„ = 0. Из теоремы 1 ясно видно, что для этого необходимы и
достаточны условия (9.3) и (9.4). >
Так же как и в случае равных компонент, предельными рас-
распределениями для сумм по строкам при условии (9.1) могут
быть только безгранично делимые распределения (см. задачу 11).
Теореме 2 можно придать следующую более яркую формули-
формулировку.
Теорема 3. (Теорема Колмогорова о трех рядах.) Ряд
2Yft сходится с вероятностью единица, если выполняются соот-
соотношения (9.3) и (9.4), и сходится с вероятностью нуль в против-
противном случае.
Доказательство. Допустим, что имеют место (9.3) и
(9.4). По теореме 1 гл. VII, 8 второе из условий (9.3) гаранти-
гарантирует сходимость с вероятностью единица ряда 2 [Ys — E(Yu )
По лемме Бореля — Кантелли (см. 1, гл. VIII, 3) из первого
условия (9.3) следует, что лишь конечное число среди величин
Y,, отличается от Y*. Поэтому ряд S Yft сходится с вероят-
вероятностью единица.
Для доказательства необходимости наших условий напо-
напомним (см. гл. IV, 6), что вероятность сходимости равна или нулю,
или единице. В последнем случае распределения частных сумм
должны сходиться, и поэтому будут выполнены (9.3) и (9.4) >

380 Гл. IX. Безгранично делимые распределения
Неоднородные процессы
Развитая в этой главе теория полугрупп представляет собой орудие, осо-
особенно пригодное для изучения процессов со стационарными и независимыми
приращениями. При отказе от условия стационарности распределения при-
приращений \(t)— Х(т) будут зависеть от двух параметров t и т и нам при-
приходится иметь дело с двупараметрическим семейством операторов С- (т, t),
0<т<?, удовлетворяющих уравнению свертки
С (т, s) О (s, t) = С (т, t), х < s <t. (9.5)
Будут ли распределения, связанные с такими операторами, безгранично де-
делимы? Мы можем разбить т, i на п интервалов tk-i, (k и рассмотреть слу-
случайные величины X(tk)—X(tk-i). Однако для применения теории, развитой
для схем серий, мы должны принять ограничение (9.1), сводящееся к требо-
требованию равномерной непрерывности рассматриваемых распределений по двум
временным параметрам. Но О (т, t) не обязано зависеть от t непрерывно.
В самом деле, частные суммы последовательности Xi, X2, ... независимых
случайных величин образуют процесс с независимыми приращениями, в кото-
котором все изменения происходят только в целочисленные моменты времени. Этот
процесс разрывен. Однако в некотором смысле это есть единственный тип
существенно разрывного процесса. Термин «существенно» необходим. В самом
деле, мы показали в § 5а, что даже в обычных полугруппах искусственное
центрирование может породить беспорядок. Он не имеет особенных послед-
последствий, но требует осторожности в формулировках. Для простоты мы ограни-
ограничимся симметричными распределениями и докажем следующую лемму.
Лемма. Если распределения, связанные cD(t, t), симметричны, то при
каждом t существует односторонний предел О (т, t—)
[Аналогичное утверждение верно и для других пределов, например
(т + ,0 и т. д.]
Доказательство. Пусть T<t\<t2<-¦ . и tn->t. Последовательность
распределений, связанных с О (т, tn), стохастически ограничена, так что она
содержит сходящуюся подпоследовательность. Чтобы избежать двойных ин-
индексов, допустим, что О (т, tn) -> 9Г где 2С соответствует собственному рас-
распределению U. Легко установить, что С (tn, tn + \)->\ и потому ?i(tH, sn)->l
для любой последовательности моментов времени, такой, что tn<sn<tn+\-
В силу (9.5) это означает, что d (т, sn)-+ЧЦ, поэтому предел Ж не зависит
от выбора последовательности {tn}- Лемма доказана. >
Следуя П. Леви, мы назовем момент t фиксированным разрывом, если
пределы О (т, t ~\-) и О (т, t—) различны. Из теоремы 2 о бесконечных
свертках сразу следует, что множество фиксированных разрывов не более
чем счетно Используя симметризацию, можно показать, что в общем случае
разрывы обусловлены только центрированием (исключая не более чем
счетное множество моментов времени) и что их можно устранить подходя-
подходящим центрированием. Вклад Ю-а (т, t) всех фиксированных разрывов в ?1 (т, t)
представляет собой бесконечную свертку. Поэтому процесс можно разло-
разложить на дискретную и непрерывную части. Для схем серий, возникающих
из непрерывных процессов, нетрудно показать (используя теорему 2), что
условие равномерной малости (9.1) автоматически выполнено. Мы приходим
к заключению, что распределения, связанные с непрерывными процессами,
безгранично делимы. П. Леви показал, что выборочные функции таких про-
процессов «достаточно хороши» в том смысле, что с вероятностью единица они
имеют при каждом t правые и левые предельные значения.

§ 10. Задачи 381
§ 10. Задачи
1. Покажите, что в примере A, а) 2^*, я—*" ^ ПРИ п->°°- (Указание.
Используйте дисперсии.)
2. Пусть Т — момент первого прохождения +1 в обычном симметричном
случайном блуждании. Другими словами, Т — такая случайная величина, что
Возьмите схему серий, в которой Хи, „ распределено как Т/л2. Используя
элементарные методы § 1, покажите прямым вычислением, что
Установите, что распределения сумм по строкам сходятся к устойчивому
распределению Fi, определенному в гл. II, D.7) и обладающему свойством
D.9). Дайте интерпретацию полученного результата в терминах случайного
блуждания, в котором скачки равны ±\/п, а промежутки между последо-
последовательными скачками равны 1/п2.
3. Выведите из гл. II, D.9), что распределения гл. II, D.7) образуют
полугруппу с производящим оператором, задаваемым правой частью (*) в
предыдущей задаче.
4. Пусть распределения Qt некоторой полугруппы сосредоточены на мно-
множестве целых чисел. Обозначим вес k через qh (t). Покажите, что
8Г« (*) = - ?о @) и (*) + 2 q'k@)u(x-k).
Сравните с канонической формой E.9). Рассмотрите в связи с этим произ-
производящие функции безгранично делимых распределений, найденные в 1,
гл. XII, 3.
5. Распространите понятия § 2 на полугруппы с несобственными распреде-
распределениями. Покажите, что если % порождает {?х (t)}, то 91 — с\ порождает
{<?-«?. @).
6. Обозначение е '8 ' для обобщенной пуассоновской полугруппы на-
наталкивает на мысль написать в общем случае С. (t) = е ' ¦ Для нормальной
полугруппы это приводит к формальному операторному соотношению
Покажите, что оно верно, если ряд Тейлора для и сходится при всех х.
Указание. Используйте моменты нормального распределения.
7. Распределения полугруппы имеют конечные математические ожидания
тогда и только тогда, когда функция 1 , ,—р- интегрируема относительно
меры П, входящей в формулу для производящего оператора.
8. Покажите непосредственно, что если п [fin—1] -> 9Г, то оператор ЭС
обязательно имеет форму производящего оператора. [Используйте метод § 4,

382 Гл. IX. Безгранично делимые распределения
рассматривая функции вида D.4), но не привлекайте теорию полугруПП-
Цель — вывести общий вид производящего оператора, не доказывая заранее
его существование.]
9. Пусть Ft, приписывает вероятности У2 двум точкам ±цк. Тогда
порождает полугруппу, такую, что Q2t (х) = Q/(~o~ л")> 1ГО Qt Ile являются
устойчивыми распределениями. (П. Леви.)
10. Для любого распределения F и гладкой функции и
+ О
J
11. Продолжение. Схеме серий {Хи, п} с распределениями Fп соответ-
соответствует другая схема серий |Xjj? я| с обобщенными пуассоновскими распреде-
распределениями
Покажите, что если {Sn} стохастически ограничена, то п \Ъп — &л]~>'®" От-
Отсюда видно, что суммы по строкам. Sn и Sf асимптотически эквивалентны.
Так как распределение S* связано с е ' " 1, мы получаем второй метод,
пригодный для вывода основных теорем § 5. Этот метод применяем и к схе-
схемам серий с различно распределенными величинами.
12. Положим в обозначениях § 5 Mn = max [Xj, „, ..., Xn, «]. Если
Sn имеет предельное распределение, то ty+(x) =lim log P{M,t>x}.
13. Если S^ имеет предельное распределение, то этим же свойством об-
обладают суммы по строкам в схеме серий, образованной квадратами Х^ п.
14. Критерии для областей притяжения. В теореме 8.1 использованы уре-
урезанные вторые моменты (функция U). Причина этого — традиция. • (Множи-
(Множитель 2 — а — результат этого.) Теорема 2 гл. VIII, 9 позволяет нам заменить
у2 в (8.1) на \у\р с другим показателем р и при каждом р — заменить (8.3)
и (8.5) равносильными соотношениями.
15. Пусть Хь Х2, ... независимые случайные величины с одним и тем же
распределением F. Пусть 1—F(x)+F(—х) медленно меняется. Выведите из
леммы О компактности, что в этом случае последовательность Snkjak -j- Ьц
не может иметь собственное предельное распределение, не сосредоточенное
в одной точке. (Это можно выразить также, говоря, что F не принадлежит
никакой области частичного притяжения.)

ГЛАВА X
МАРКОВСКИЕ ПРОЦЕССЫ И ПОЛУГРУППЫ
Эта глава открывается элементарным обзором наиболее рас-
распространенных типов марковских процессов, или точнее основ-
основных уравнений, которым подчиняются их переходные вероят-
вероятности. Затем мы перейдем к введенному Бохнером понятию под-
подчиненности процессов и к полугрупповой трактовке марковских
процессов. Связующим звеном между этими вопросами служит
так называемая показательная формула теории полугрупп. Су-
Существование производящих операторов будет доказано только
в гл. XIII. Теоретически настоящее изложение могло бы охваты-
охватывать в качестве частных случаев процессы и полугруппы пре-
предыдущей главы. Однако методы и применения столь различны,
что последующая теория излагается замкнуто и независимо
от гл. IX. Результаты будут усилены в гл. XIII, но теория мар-
марковских процессов не используется в остающейся части книги.
Эта глава по своему характеру — обзор, в котором не де-
делается попытки достичь общности или полноты1). В частности,
мы не будем обсуждать свойства выборочных функций, и всюду
в этой главе факт существования рассматриваемых процессов
будет рассматриваться как заранее данный. Наши интересы
полностью концентрируются вокруг аналитических свойств пере-
переходных вероятностей и операторов.
Теория индуцированных полугрупп будет с достаточной сте-
степенью общности рассмотрена в § 8—9. В предшествующих им
параграфах основное пространство есть интервал на прямой или
вся прямая, хотя часть теории годится и в более общей обста-
обстановке. Чтобы избежать введения специальных обозначений, мы
условимся считать, что если пределы не указаны, то интеграл
берется по фиксированному множеству Q, служащему основным
пространством.
') Более детально полугрупповой подход к марковским процессам описан
в книге М Лоэва A963) [Примечание при корректуре: общая теория марков-
марковских процессов и ее связи с полугруппами преобразований исчерпывающим
образом рассмотрены в монографиях Е Б Дынкина A965) Новая книга
К Иосиды A967) дает сжатое и ясное введение в аналитическую теорию
полугрупп и ее применение к теории диффузии и эргодической теории.]

384 Гл. X. Марковские процессы, и полугруппы
§ 1. Псевдопуассоновский тип
Всюду в этой главе мы ограничиваемся марковскими процес-
процессами со стационарными переходными вероятностями Qt, опреде-
определяемыми формулой
Ql(x,r) = P{X(t + T)?r\X(x)=:x} A.1)
в предположении, что правая часть не зависит от т (см
гл. VI, 11).
Простое расширение понятия обобщенного пуассоновского
процесса приводит к некоторому важному классу нроцессов, из
которых все другие можно получить с помощью аппроксимации.
Теория полугрупп опирается на аналитический аналог этого
факта (§ 10).
Пусть К — стохастическое ядро и So, Si, ... — порожденная
им марковская цепь (определение и примеры см. в гл. VI, 11).
Пусть N(/) обозначает величины, образующие пуассоновский
процесс, не зависящий от цепи {Sh}. Случайные величины Х(/) =
= Sn(«) образуют новый случайный процесс, который формально
можно описать следующим образом. В промежутке между скач-
скачками пуассоновского процесса типичная выборочная функция
остается постоянной. Переход из х в Г может произойти за
0, 1, 2, ... шагов и, следовательно,
Qt(x, Г) = *- ^К{п\х, Г), t>0. A.2)
п~0
Обобщенное пуассоновское распределение гл. VI, D.2) полу-
получается из этой формулы как частный случай, когда Q совпадает
со всей прямой и Sn представляет собой сумму независимых
случайных величин с одним и тем же распределением F.
Правило композиции
Qt+X (х, Г) = J Q( (x, dy) QT (у, Г) A.3)
(/, т>0), аналогичное гл. VI, D.1), легко проверить аналити-
аналитически1). Оно называется уравнением Чепмена — Колмогорова и
утверждает, что переход из состояния х в момент 0 во множе-
множество Г в момент /+т происходит через некоторую точку у в мо-
момент х и что последующее движение не зависит от прошлого2)
[см. 1, гл. XVII, 9, а также гл. VI, A1.3)].
') Аппроксимация Qt и Qx их частными суммами с п членами показы-
показывает, что правая часть в A.3) <J! левой части, но !>• n-й частной суммы
Qt+r-
2) Иногда объявляют A.3) либо законом природы, либо формулой пол-
полной вероятности. Но A.3) не выполняется для немарковских процессов; см.
1, гл. XV, 10.

§ I. Псевдопуассоновский тип 385
Примеры, а) Частицы, движущиеся со столкновениями. Рас-
Рассмотрим частицу, движущуюся с постоянной скоростью в одно-
однородной среде и время от времени подвергающуюся случайным
соударениям. Каждое из них приводит к изменению энергии,
описываемому стохастическим ядром К. Если число соударений
образует пуассоновский процесс, то переходные вероятности
для энергии Х(/) имеют вид A.2). Этот случай имеет место
при хорошо знакомых нам предположениях пространственной
однородности и отсутствия последействия.
Обычно предполагают, что доля энергии, теряемая при каж-
каждом соударении, не зависит от ее начальной величины. Это озна-
означает, что К(х, dy) = V{dy/x}, где V — распределение вероятно-
вероятностей, сосредоточенное на 0, 1. Имея в виду последующие приме-
применения, рассмотрим частный случай V(x)—xx. Тогда К имеет
плотность
k(x, у)=1х-^~\ 0<у<х. A.4)
При Х=\ наше предположение означает, что доля теряемой
энергии распределена равномерно1). Итерированные ядра /C<n)
были вычислены в гл. VI, A1.5). Подставляя их значение в A.2),
видим, что Qt имеет атом веса e~at в нуле (соответствующий
отсутствию соударений), а при 0<г/<л; имеет плотность
qt (х, у) = е-' УШ х./^4-ТТ 7' BУаП 1оё(
х'" У log (х/у)
где h — функция Бесселя, введенная в гл. II, G.1) [см. при-
примеры 2а и 26].
б) Потеря энергии быстрыми частицами при ионизации2). По-
Поучительный вариант предыдущего примера получается в пре-
предельном случае, когда энергию частицы предполагают бесконеч-
бесконечно большой. Потери энергии при последовательных соударениях
будут представлять собой независимые случайные величины с
одним и тем же распределением V, сосредоточенным на 0, оо.
Пусть Х(/) обозначает полную величину потерянной за время
О, / энергии. Тогда случайные величины Х(/) образуют обоб-
обобщенный пуассоновский процесс. Переходные вероятности для
') Это предположение использовано Гейтлером и Яноши (Н е i 11 е г W.,
J а п о s s у L., Absorption of meson producing nucleons, Proc. Pfiys. Soc, Ser.
A, 62 A949), 374—385. В этой статье введено (но не решено) уравнение Фок-
кера — Планка A.8).
2) См. статью: Ландау Л. Д., /. Phys., USSR, 8 A944), 201—205. Лан-
Дау использует другую терминологию, но его предположения равносильны на-
нашим. Ландау вывел прямое уравнение A.6).

386 Гл. X. Марковские процессы и полугруппы
него определяются по A.2) с заменой /(<п> на свертку Vй*
[см. гл. VI, D.2)].
в) Изменение направления. Вместо энергии частицы мы мо-
можем рассмотреть направление ее движения и построить модель,
подобную приведенной в примере (а). Основное различие бу-
будет в том, что направление в Si определяется двумя величи-
величинами, так что плотность ядра k будет зависеть от четырех ве-
вещественных переменных.
г) Рандомизированное случайное блуждание примера гл. II,
G,в) представляет собой псевдопуассоновский процесс, состоя-
состояниями которого служат целые числа. При фиксированном х
ядро К приписывает вес У2 каждой из двух точек х±\. Р-
Из A.2) легко получаем
dQt<?'T) = - aQt (х, Г) + a J Qt (х, dz) K(z, Г). A.6)
Это — прямое уравнение Колмогорова1), которое (в более об-
общей постановке) будет обсуждаться в следующем параграфе.
Там будет показано, что A.2) является единственным решением,
удовлетворяющим естественным вероятностным требованиям.
Если К имеет плотность k, то уравнение A.6) принимает более
привычную форму. В точке х распределение Qt имеет атом
веса e~at, равный вероятности отсутствия изменений. Если ис-
исключить этот атом, то Qt будет иметь плотность qt, удовлетво-
удовлетворяющую уравнению
jt(x, z)k(z, l)dz. A.6a)
Если цо — распределение вероятностей в момент 0, то рас-
распределение в момент t определяется по формуле
jt{x,T) A.7)
и в силу A.6)
Ж \ t{dz}K (z, Г). A.8)
Этот вариант A.6) известен физикам под названием уравне-
уравнения Фоккера — Планка (или уравнения неразрывности).
Это уравнение будет проанализировано в § 3. В случае ког-
когда К и начальное распределение ц0 имеют плотности, \it также
!) Относительно терминологии см. сноску в конце 1, гл. XVII, 8 (стр. 454
русск. изд). — Прим. перев.

§ 2. Вариант: линейные приращения 387
имеет плотность mt и уравнение Фоккера — Планка принимает
вид
dmt (g)
dt
- = — am, (|) -f « J mt (z) k(z, |) dz, A.8a)
§ 2. Вариант: линейные приращения
В физике, теории очередей и других применениях встречается
один вариант рассмотренного нами процесса. Предположения,
касающиеся скачков, остаются теми же самыми, но между скач-
скачками X(t) изменяется линейно со скоростью с. Это означает,
что величины Х(/) —ct образуют уже описанный псевдопуассо-
новский процесс; обозначим переходные вероятности нового
процесса через Qt. Тогда вероятности Qt(x, Г + ct) должны удов-
удовлетворять A.6). Получающееся отсюда уравнение для Qt имеет
необычную форму, однако если существуют дифференцируемые
плотности, то они удовлетворяют привычным уравнениям. Так,
для mt мы должны заменить g в A.8а) на % + ct. После замены
y = 'E> + ct получим уравнение Фоккера — Планка1).
B.1)
Уравнение, аналогичное A.6а), получается простым добавле-
добавлением члена —cdqi/dy в правой части.
В связи с теорией полугрупп мы придадим уравнению Фок-
Фоккера — Планка более гибкую форму, не зависящую от неесте-
неестественных условий дифференцируемости [см. пример A06)].
Примеры, а). Частицы, испытывающие соударения. Пример
A.а) встречается в физической литературе обычно в другой по-
постановке. Предполагается, что энергия рассеивается с постоян-
постоянной скоростью благодаря поглощению или трению. Модель B.1)
подходит к этой ситуации. Если потеря энергии пропорциональна
') Многие частные случаи уравнения Фоккера — Планка A.8) были от-
открыты независимо друг от друга. Много энергии было затрачено на об-
обобщение B.1). Общая теория уравнений Фоккера — Планка была развита
Колмогоровым в его известной работе «Об аналитических методах в теории
вероятностей» (Math. Ann., 104 A931), 415—458, перевод в Успехах Матем.
Наук, 5 A938), 5—41). В этой работе Колмогоров отмечает возможность до-
добавить к правой части произвольный «диффузионный член»
Формула B.1) представляет собой лишь частный случай этой более общей
формулы. Уже первые теоремы существования охватывали случай нестацио-
нестационарного общего уравнения [Feller W., Math. Ann., 113 A936).]

388 Гл. X. Марковские процессы и полугруппы
ее мгновенному значению, то логарифм энергии убывает с по-
постоянной скоростью. Очевидно, что после соответствующей за-
замены обозначений применима модель B.1).
б) Звездное излучение1). В этой модели переменная t обо-
обозначает расстояние и Х(/) — интенсивность светового луча, про-
проходящего в пространстве. Предполагается, что (в экваториаль-
экваториальной плоскости) каждый элемент объема порождает излучение
постоянной интенсивности и, следовательно, X(/f) возрастает
линейно. Но в пространстве также размещены поглощающие
черные облака, которые мы будем представлять себе в виде
пуассоновского множества точек. Встречая облако, каждый луч
теряет (случайную) часть интенсивности, так что мы оказы-
оказываемся в точности в тех условиях, которые привели нас к B.1).
Кажется правдоподобным (и на самом деле это может быть до-
доказано), что плотность mt величины Х(г") приближается к ста-
стационарной плотности пг, которая не зависит от t и удовлетво-
удовлетворяет B.1) с левой частью, замененной нулем.
Амбарцумян предполагает, в частности, что потеря интен-
интенсивности при прохождении отдельного облака регулируется пе-
переходным ядром A.4). В этом случае явный вид решения содер-
содержится в A.5), но он представляет вторичный интерес. Более
важен (и легко проверяется) тот факт, что B.1) имеет незави-
независящее от времени (или стационарное) решение, задаваемое
гамма-плотностью
Х1 УХе'(а/с)" у>° <22>
Этот результат показывает, что относящаяся к делу информа-
информация может быть получена из B.1), даже минуя отыскание яв-
явного решения. Например, легко найти прямым интегрированием,
что стационарное решение имеет математическое ожидание
(ц + с)/а, где }х — математическое ожидание для распределения
поглощаемой энергии V.
в) Задача о разорении из гл. VI, 5 представляет собой част-
частный случай, в котором ядро k зависит от разности аргументов.
Значения этого процесса получаются добавлением —ct к зна-
значениям некоторого обобщенного пуассоновского процесса. Ана-
Аналогичные «задачи о разорении» могут быть сформулированы
для любого псевдопуассоновского процесса. Они приводят к
уравнению B.1).
') Физические предпосылки взяты из статьи В. А. Амбарцумяна, О флук-
туациях яркости Млечного Пути, ДАН СССР, 44 A944), 223—226. В этой
статье косвенным путем получен один вариант B.1).

§ 3. Скачкообразные процессы 389
§ 3. Скачкообразные процессы
В псевдопуассоновском процессе время ожидания следую-
следующего скачка имеет фиксированное показательное распределение
с математическим ожиданием \/а. Мы приходим к естественно*
му обобщению, допуская, что это распределение может зависеть
от значения Х(^) в данный момент (в примере Aа) это сводится
к предположению, что вероятность столкновения зависит от
энергии частицы). Марковский характер процесса требует,
чтобы распределение времени до следующего скачка было по-
показательным, но его математическое ожидание может зависеть
от значения Х(^) в данный момент. В соответствии со сказан-
сказанным мы введем следующие
Основные постулаты. При условии X(t)—x время
ожидания следующего скачка имеет показательное распределе-
распределение с математическим ожиданием 1/а(х) и не зависит от прош-
прошлого. Вероятность того, что следующий скачок приводит к
значению из некоторого множества Г, равна К(х, Г).
В аналитических терминах эти постулаты сводятся к инте-
интегральным уравнениям для вероятностей перехода Qt(x, Г) рас-
рассматриваемого процесса (в предположении, что такой процесс
на самом деле существует). Рассмотрим фиксированную точку
х и фиксированное множество Г, не содержащее х. Событие
{Х(^) ?Г} может произойти только при условии, что первый ска-
скачок из х произошел в некоторый момент s<t. При этом условии
условная вероятность события {Х(^) 6 Г} получается интегриро-
интегрированием K(x,dy)Qt-<)(y,T) по множеству Q всех возможных зна-
значений у. Теперь момент первого скачка — это случайная величи-
величина с показательной плотностью a{x)e~a^s. Интегрируя по от-
отношению к этой плотности, мы получаем вероятность события
{Х@?Г} в форме
t
Qt(x, Г) = а(*) J e-'W'ds J К(х, dy)Qt.s{y, Г). C.1a)
О Q
Для множества Г, содержащего х, мы должны добавить вероят-
вероятность того, что до момента t не произойдет ни одного скачка.
Мы получим
t
Qt(x, Y) = e-aW + a{x) I e-«W*ds \ K{x, dy)Qt_s{y, Г). C.16)
0 Q
Эти два уравнения, справедливые при лгб Г и х? Г соответ-
соответственно, являются аналитическими эквивалентами основных по-
постулатов, Эту пару уравнений можно заменить одним интегро*

390 Гл. X. Марковские процессы и полугруппы
дифференциальным уравнением. В самом деле, замена перемен-
переменных s = t — т делает дифференцирование по t тривиальным и
приводит к уравнению
dQt? П = - «(*) Qt (*. Г) + а (х) { К(х, dy) Qt (у, Г). C.2)
Q
Это — не что иное как обратное уравнение Колмогорова, ко-
которое служит отправной точкой для аналитического подхода к
задаче, так как позволяет избежать раздражающего различия
между двумя указанными случаями.
Обратное уравнение C.2) допускает простую интуитивную
интерпретацию, которая позволяет представить основные по-
постулаты в более близких к практике терминах. В терминах раз-
разностных отношений C.2) равносильно соотношению
Qt+h(x, T) = [\-a
+ а (х) h J K(x, dy) Qt (у, Г) + о (h). C.3)
а
Для интуитивной интерпретации последнего рассмотрим изме-
изменение состояния на временном интервале 0, t+h как результат
изменения за короткий интервал 0, h и последующего изменения
в интервале h, t + h длины t. Тогда, очевидно, C.3) утверждает,
что если Х@) —х, то вероятность одного скачка в интервале 0, Л
равна a(x)h + o(h), а вероятность большего числа скачков равна
o(h). Наконец, если на 0, h скачок происходит, то условные ве-
вероятности тех или иных переходов определяются мерой K(x,dy).
Эти три постулата приводят к C.3), а тем самым и к C.2). По
существу они повторяют основные постулаты ').
С вероятностной точки зрения обратное уравнение предста-
представляется несколько искусственным, так как в нем окончательное
состояние Г играет роль параметра и C.2) описывает зависи-
зависимость Qt(x, Г) от начального положения х. Казалось бы более
естественным получить уравнение для Qi+h, разбивая интервал
0, t + h на длинный начальный интервал 0, t и короткий конеч-
конечный интервал /, t+h. Вместо C.3) мы получим формально
Qt+k(x, Г) = J Qt (х, dz)[\-a(z) h\ +
t (x, dz) a (z) hK(z, Г) + о (h) C.4)
') Дифференцируемость Qt по отношению к t и тот факт, что вероят-
вероятность более чем одного скачка равна о (Л), теперь принимаются в качестве
новых постулатов; в то же время они вытекают из прежней более сложной
формулировки.

§ 3. Скачкообразные процессы 391
и, следовательно,
dQt?T)=-j Qt(x, dz)a{z)+ J Qt(x, dz)a(z)K(z, Г). C.5)
г а
Это — прямое уравнение Колмогорова (известное физикам,
как уравнение неразрывности или уравнение Фоккера — План-
Планка). В частном случае постоянного а оно сводится к A.6).
Формальный характер приведенного вывода мы подчеркнули
потому, что на самом деле прямое уравнение не вытекает из
наших основных постулатов. Это объясняется тем, что величина
o(h) в C.3) зависит от z, и так как z служит в C.4) перемен-
переменной интегрирования, то эта величина должна была бы стоять
под знаком интеграла. Но тогда возникает вопрос о том, схо-
сходятся ли интегралы в C.5) и законен ли предельный переход
при Л->0. [Ни одно из этих затруднений не возникает в связи с
обратным уравнением, так как начальное состояние х при этом
фиксировано и интеграл в C.2) существует в силу ограничен-
ограниченности Qt.]
Прямое уравнение можно обосновать, добавляя к нашим
основным постулатам необходимое ограничение на остаточный
член в C.3), но такой вывод перестал бы быть интуитивно при-
привлекательным. Кроме того, кажется невозможным сформулиро-
сформулировать условия, которые охватывали бы все типичные случаи,
встречающиеся на практике. Если допустить, что функция а
может быть неограниченной, то существование интегралов в
C.5) сомнительно и уравнение нельзя обосновать априори. С дру-
другой стороны, обратное уравнение есть необходимое следствие
основных предположений. Поэтому в качестве отправной точки
лучше использовать его, а затем исследовать, в каких условиях
из него может быть выведено прямое уравнение.
Решение обратного уравнения легко построить, используя
последовательные приближения, имеющие простой вероятност-
вероятностный смысл. Обозначим через Qt (х, Г) вероятность перехода из
Х@) = х в Х(^) ? Г с не более чем п скачками. Переход без скач-
скачков возможен, только если х(_Т, и так как время пребывания
в х имеет показательное распределение, мы имеем
Q(to)(x,r) = e-a(x)tK{O)(x, Г) C.6)
{где правая часть равна 1 или 0 в зависимости от того, входит
х в Г или нет). Предположим затем, что первый скачок проис-
происходит в момент s<t и приводит из х в у. Суммируя по всем
возможным s и у, мы получаем [как и в C.1)] рекурсивную

392 Гл. X. Марковские процессы и полугруппы
формулу
t
Q{r1](x, Y) = Q?){x, Г)+ J e-*M*a{x).ds J К(х, dy) Q\nls{y, Г),
о
C.7)
верную при п = 0, 1. • .. . Очевидно, что Q<0) < Q(/\ и по индукции
Q{P <^ Qf '<;.... Сверх того, все эти ядра ограничены сверху
единицей. В самом деле, это тривиально верно при я = 0. Если
это верно при некотором п, то внутренний интеграл в C.7) бу-
будет <С1, и потому второй член справа -Cl—e~aW. В силу C.6)
отсюда следует Q(/+1)(х, Г)<;1.Мы видим теперь, что при ка-
каждых л: и Г существует предел
Q<r){x,r)=limQ<?){x,r) C.8)
/г->оо
и что Q^ является или стохастическим или субстохастическим
ядром. Очевидно, что Q^ удовлетворяет обратному уравне-
уравнению1) в его интегральном варианте C.1) и что любое другое
положительное решение Qt больше Qf°. По этой причине Q,00*
называют минимальным решением обратного уравнения.
Если ядро Qf°'— строго стохастическое, то любое другое ре-
решение должно было бы приписывать всему пространству вероят-
вероятность ^1. Отсюда следует, что решение единственно, если ми-
минимальное решение строго стохастическое. Следующий ниже
пример показывает, что минимальное решение может быть не-
несобственным. Как мы увидим в гл- XIV, 8, это соответствует то-
тому случаю, когда за конечный промежуток времени может про-
произойти бесконечно много скачков. По самому способу построе-
построения Qs равно вероятности перехода с конечным числом скачков
или, что сводится к тому же самому, равно переходным ве-
вероятностям до первой точки накопления моментов скачков. На-
Начиная с этого момента процесс может быть продолжен различи
ными способами без нарушения наших основных постулатов.
Во избежание новторений мы отложим до гл. XIV, 7 доказа-
доказательство того основного факта, что минимальное решение Q™
') Детали этого доказательства в варианте, использующем преобразова-
преобразование Лапласа, даны в гл. XIV, 7. Там же обоснованы и другие утверждения,
сформулированные в тексте. Обозначения, связанные с преобразованием Ла-
Лапласа, более элегантны. Однако настоящее доказательство обладает тем пре-
преимуществом, что оно применимо и в нестационарном случае (т. е. когда a
и К зависят от t). См. Feller W., Amer. Math. Soc, 48 A940), 488—515
[поправки в т. 58, стр. 474].

§ 3 Скачкообразные процессы 393
обратного уравнения автоматически удовлетворяет прямому
уравнению и является минимальным также и для него. На этом
пути прямое уравнение получается без всяких дополнительных
предположений, и в то же самое время становится понятным,
что непосредственный его вывод невозможен. Рассуждение, при-
приводящее к C.4), опирается на рассмотрение последнего скачка
до момента t + h. Теперь из наших основных постулатов выте-
вытекает существование первого скачка после момента t, но не по-
последнего скачка до t. Если происходит бесконечно много скач-
скачков, то последний не обязан существовать. Осуществляется или
нет эта возможность в данной ситуации (т. е. при данных а и
К) должно быть установлено с помощью анализа, а не на осно-
основе постулатов. Кроме того, как это ни удивительно, имеется много
процессов, в которых за конечный промежуток времени про-
происходит бесконечно много скачков, для которых прямое урав-
ние все же справедливо [хотя его вывод из C.4) является абсур-
абсурдом].
Эти замечания должны быть полезны для понимания роли
обратного уравнения в диффузионных процессах и теории полу-
гр>пп.
Отметим в заключение, что (по контрасту с процессами § 2 и
диффузионными процессами, в которых используется дифферен-
дифференцирование по х) чисто скачкообразные процессы никоим обра-
образом не зависят от природы пространства состояний и наши фор-
формулы применимы всякий раз, когда определено стохастическое
ядро К.
Пример. Счетные пространства состояний. Если случайные
величины Х(/) положительны и целочисленны, то основное вы-
выборочное пространство (пространство состояний) состоит из чи-
чисел 1,2 Теперь достаточно знать вероятности Pth{t) пере-
перехода от одного целого числа к другому. Все прочие переходные
вероятности получаются суммированием по k. Теория подобных
марковских процессов была намечена в 1, гл. XVII, 9, где
рассматривались и нестационарные переходные вероятности.
Чтобы выделить внутри этой теории стационарный случай, сле-
следует считать коэффициенты С; и вероятности Pik постоянными
(не зависящими от /). Тогда прежние предположения становят-
становятся равносильными принятым здесь и, как легко видеть, две си-
системы уравнений Колмогорова, полученные в 1, гл. XVII, 9
становятся частными случаями уравнений C.2) и C.5) [с заме-
заменой а{1) на Сг и K(i,j )на pih]. Расходящийся процесс размноже-
размножения из 1, гл. XVII, 4 служит примером процесса с бесконеч-
бесконечным числом скачков за конечный промежуток времени. Мы

394 Гл. X. Марковские процессы и полугруппы
вернемся к этому процессу в гл. XIV, 8, чтобы продемонстриро-
продемонстрировать возможность различных его продолжений. *>
§ 4. Диффузионные процессы в <$"
Покончив с процессами, в которых все изменения происхо-
происходят скачками, мы обратимся к другому крайнему случаю, к про-
процессам, у которых (с вероятностью единица) выборочные функ-
функции непрерывны. Их теория удивительно похожа на развитую
в предыдущем параграфе, однако основные уравнения требуют
более сложного анализа. Мы удовлетворимся поэтому выводом
обратного уравнения и кратким резюме результатов, относя-
относящихся к минимальным решениям и другим проблемам. Прото-
Прототипом диффузионных процессов служит броуновское движение
(или винеровский процесс). Это процесс с независимыми нор-
нормально распределенными приращениями. Его переходные ве-
вероятности имеют плотности qt(x,y), которые нормальны с мате-
математическим ожиданием х и дисперсией at, где а>0 — некоторая
постоянная. Эти плотности удовлетворяют обычному уравнению
диффузии
dqt (х, у) _ 1 п d2qt (х, у) (. 1.
д( ~ 2 дх* • ^Л>
Мы покажем теперь, что и другие переходные вероятности удо-
удовлетворяют соответствующим уравнениям в частных производ-
производных. Цель этого вывода—дать представление о типах процес-
процессов и о возникающих задачах, т. е. он должен служить началь-
начальным шагом. Вследствие этого мы не будем тратить усилий на
достижение общности и полноты изложения.
Из предположенной нормальности распределений очевидно,
что в броуновском движении приращения за короткий промежу-
промежуток времени длины t обладают следующими свойствами: (i) при
фиксированном б>0 вероятность смещения, превосходящего 6,
равна o(t)\ (ii) математическое ожидание смещения равно
нулю; (Hi) его дисперсия равна at. Мы сохраним первое требо-
требование, а два других приспособим к условиям неоднородной
среды. Иначе говоря, мы допустим, что а зависит от х, и допу-
допустим ненулевое среднее смещение. В этой обстановке матема-
математическое ожидание и дисперсия смещения уже не будут в точности
пропорциональны t, и мы можем лишь постулировать, что при
данном Х(т) =х смещение Х(^ + т)—Х(т) имеет математическое
ожидание b(x)t+~o(t) и дисперсию a(x)t + o(t). Моменты не
обязаны существовать, но имея в виду первое требование, есте-
естественно рассмотреть урезанные моменты. Мы приходим к сле-
следующим постулатам.

§ 4. Диффузионные процессы вШ1 395
Постулаты1) относительно переходных вероятностей Qt.
При каждом 6>0 при t-*~0
| J Qt(x,dy)->0, D.2)
\у-х\>6
Т j (y-x)Qt(x,dy)-+b(x), D.3)
Iy-x\<b
T J (y-xfQt(x, dy)->a(x). D.4)
I y-x\<b
Заметим, что если D.2) верно при всех б>0, то асимптотиче-
асимптотическое поведение величин в левой части D.3) и D.4) не зависит
от 6. Возможно поэтому в последних двух соотношениях заме-
заменить б на 1.
Первое условие делает мало вероятными большие смещения
и было введено в 1936 г. в надежде, что оно необходимо и до-
достаточно для непрерывности выборочных функций2). Оно было
названо именем Линдеберга ввиду сходства с его условием при-
применимости центральной предельной теоремы. Можно показать,
что при довольно слабых предположениях о регулярности пере-
переходных вероятностей существование пределов в D.3) и D.4) на
самом деле вытекает из условия Линдеберга D.2). Мы не бу-
будем обсуждать подобные детали, так как сейчас мы не интере-
интересуемся систематическим развитием теории3). Наша цель очень
умерена — объяснить природу и эмпирический смысл диффузи-
диффузионных уравнений в простейшей ситуации. На пути к ней мы по-
покажем формально, как из D.2) — D.4) можно вывести некоторые
дифференциальные уравнения. Мы, однако, не будем обсуждать,
когда существует решение этих уравнений. Поэтому мы допустим,
') Первый вывод D.1) из вероятностных предположений принадлежит
Эйнштейну. Первый вывод обратного уравнения D.6) и прямого уравнения
E.2) был дан в известной работе А. Н. Колмогорова 1931 г. (см. § 1). Улуч-
Улучшенный вариант постулятов, данный здесь, принадлежит Феллеру A936).
Феллер же доказал первые теоремы существования и исследовал связь
между двумя уравнениями.
2) Это предположение было подтверждено Д. Рэем (D. Ray).
3) Современная теория полугрупп позволила автору получить наиболее
общую форму обратного уравнения (или производящего оператора) для мар-
марковских процессов, удовлетворяющих требованию типа условия Линдеберга.
Классические дифференциальные операторы заменяются при этом их модер-
модернизированными вариантами: роль коэффициента b играет «естественный
масштаб» (natural scale), а роль а играет «мера скорости» (speed measure).
Такие процессы были объектом плодотворных исследований Дынкина и его
школы, с одной стороны, и К. Ито и Г. Маккина — с другой. Теория изло-
изложена в книгах этих авторов.

396 Гл. X. Марковские процессы и полугруппы
что коэффициенты а и b суть ограниченные непрерывные
функции и а(х) >0.
В качестве пространства состояний мы возьмем конечный
или бесконечный интервал / на прямой и, как и ранее, будем
придерживаться следующего соглашения: если пределы не ука-
указаны, то интегрирование производится по всему /. Для упроще-
упрощения записи и в качестве подготовительного шага для применения
теории полугрупп мы введем преобразования
u(t, x)=JQt(x, dy)aQ(y), D.5)
переводящие (при фиксированном/) ограниченную непрерывную
«начальную функцию» м0 в функцию1) со значениями u(t, х).
Ясно, что, зная правую часть D.5) для всех начальных функ-
функций «о, мы можем однозначно определить Qt. Теперь мы пока-
покажем, что при очень слабых условиях регулярности функция и
должна удовлетворять обратному уравнению
ди 1 д2и . . ди ,. ..
обобщающему стандартное уравнение диффузии D.1). Мы ищем
функцию и, удовлетворяющую D.6), и такую, что u(t, x)—>ио(х)
при t-*-0. В случае единственности это решение необходимо
имеет вид D.5) и Qt называется функцией Грина данного урав-
уравнения. Случаи, когда единственности нет, будут рассмотрены в
следующем параграфе2).
Чтобы получить обратное уравнение D.6), мы отправимся от
тождества
u(s+t, x)=* J Qs(x, dy)u(t, у), s, ^>0, D.7)
которое очевидным образом следует из уравнения Чепмена —¦
Колмогорова A.3). При /г>0 из D.7) выводим
h{Xt dy)[a(tty)_u(Л x)l D.8)
Допустим теперь, что вероятности перехода Qt достаточно регу-
регулярны, во всяком случае, что функция и в D.5) имеет две огра-
ограниченные непрерывные производные по х (хотя бы для беско-
бесконечно дифференцируемой и0). При фиксированных х и г>0 най-
') В терминах теории случайных процессов u(t, x) есть условное матема-
математическое ожидание ио(Х(^)) при гипотезе Х@)=л:.
s) Исследование диффузионных уравнений с помощью преобразования
Лапласа дано в гл. XIV, 5.

§ 4. Диффузионные процессы в Я' 397
дется в силу формулы Тейлора такое 6>0, что
a\ti У) — и(ь х) — (У — х)—тг—
дги (t, х) . , ., ,. „.
\; ' <г\у х\2 D.9)
при всех \у — х|^б. Выбрав таким образом б, рассмотрим в
D.8) отдельно интегралы по области \у — х!>6 и области
\у — х|^б. Первый интеграл стремится к нулю в силу условия
Линдеберга D.2) и ограниченности и. Благодаря условиям D.3)
и D.4) ясно, что при достаточно малых h второй интеграл отли-
отличается от правой части D.6) менее, чем на е-а(х). Так как 8
произвольно, это означает, что при h—*0 правая часть D.8)
сходится к правой части D.6). В соответствии с этим, суще-
существует по крайней мере правая производная -зт- и она удов-
удовлетворяет D.6). Главный вывод изложенной теории состоит,
грубо говоря, в следующем. Если переходные вероятности мар-
марковского процесса удовлетворяют условию непрерывности D-2),
то процесс определяется коэффициентами b и а. Это утвержде-
утверждение звучит как чисто теоретическое, но в практических ситуа-
ситуациях именно коэффициенты Ъ и а задаются априори, исходя из
их эмпирического смысла и характера процесса.
Для объяснения смысла Ъ и а забудем, что в определениях
D.3) и D.4) участвуют урезанные моменты. Рассмотрим при-
приращение Х(/+т) —Х(т) за короткий промежуток времени, пред-
предполагая, что Х(т) =х. Если бы моменты в D.3) и D.4) не были
бы урезаны, это приращение имело бы условное математическое
ожидание b(x)t + o(t) и условную дисперсию a(x)t — b2{x)t2+]
+ o(t) =a(x)t + o{t). Таким образом, Ь(х) служит мерой ло-
локальной средней скорости смещения (которая может быть ну-
нулем по причинам симметрии), а а(х) служит мерой дисперсии.
Мы будем называть b инфинитезимальной скоростью (сносом),
а а — инфинитезимальной дисперсией.
Следующие примеры показывают, как определяются эти
коэффициенты в конкретных ситуациях.
Примеры, а) Броуновское движение. Предположим, что
пространство (ось х) однородно и симметрично. Тогда а(х) не
должно зависеть от х, а Ь(х) должно быть нулем. Мы приходим
к классическому уравнению диффузии D.1).
б) Процесс Орнштейна — Уленбека получается при воздей-
воздействии упругой силы на совершающую броуновское движение ча-
частицу. Аналитически это означает наличие сноса по направле-
направлению к началу координат, причем величина сноса пропорциональна

398 Гл. X. Марковские процессы и полугруппы
расстоянию от начала, т. е. Ь(х)=—рх. Так как это не изме-
изменяет инфинитезимальной дисперсии, то функция а(х) остает-
остается постоянной, скажем, равной единице. Обратное уравнение
принимает вид
ди (t, х) 1 d2u(t,x) du(t,x) ...
di — T~d4i PX dx • ^-W>
Это уравнение решается удивительно легко. В самом деле, за-
замена
v(t, x) = u(t, xef")
приводит его к виду
e dt ~ 2 дх2 ( '
и последующая замена
—ш^ <*•¦*>
превращает D.11) в стандартное уравнение диффузии D.1). От-
Отсюда следует, что переходные плотности qi(x, у) процесса Орн-
штейна — Уленбека нормальны с математическим ожиданием
хе~Р* и дисперсией х, определяемой по D.12).
В примере гл. III, (8д) было показано, что процесс Орп-
штейна — Уленбека, описываемый уравнением D.10) и нормаль-
нормальным начальным распределением, является единственным ста-
стационарным нормальным марковским процессом со стационар-
стационарными переходными вероятностями. (Броуновское движение
включается сюда как частный случай при р = 0.)
в) Диффузия в генетике. Рассмотрим популяцию, включаю-
включающую различные поколения и имеющую постоянный размер (N).
(Типичный пример — поле зерновых культур.) Имеется 2N ге-
генов, каждый из них принадлежит одному из двух генотипов.
Обозначим Х„ долю генов типа А. Если никакой ген не имеет преи-
преимуществ при отборе и если не рассматривается возможность му-
мутаций, то гены (д+1)-го поколения могут рассматриваться как
случайная выборка объема 2N из совокупности генов я-го поко-
поколения. Тогда Х„ будет марковским процессом, 0-*СХ„ -^. 1, и при
условии, что Хп=х, распределение величины 2NXn+i будет бино-
биномиальным с математическим ожиданием 2Nx и дисперсией
2Nx(l —х). Изменение за одно поколение будет иметь матема-
математическое ожидание 0 и дисперсию, пропорциональную х(\ —х).
Допустим теперь, что мы прослеживаем огромное число по-
поколений и вводим такую шкалу, что изменения представляются
непрерывными. В этой аппроксимации мы будем иметь дело с
марковским процессом, переходные вероятности которого удов-
удовлетворяют нашим основным условиям с Ь(х)=0 и а(х), пропор-

§ 4. Диффузионные процессы о Я' 399
циональной хA—х). Множитель пропорциональности зависит
от выбора единицы измерения времени. Его можно считать рав-
равным 1. Тогда D.6) принимает вид
^A^x(l-x)^^, D.13)
и на этот раз процесс протекает на конечном интервале 0, 1.
Влияние селекции и мутаций породило бы снос и привело бы
к появлению в уравнении D.13) члена первого порядка.
Генетическую модель, математически равносильную нашей,
предложили Р. Фишер и С. Райт, однако их отправной пункт и
их рассуждения были другими1). Генетические выводы в какой-
то степени сомнительны в силу предположенной неизменности
размера популяции. Эффект этого допущения не всегда пра-
правильно оценивается. Правильная модель2) приводит к уравне-
уравнению с двумя пространственными переменными (частота генов
и размер популяции).
г) Рост популяции. Мы желаем описать рост большой попу-
популяции, в которой индивидуумы статистически независимы и ско-
скорость размножения не зависит от размера популяции. Для
очень большой популяции процесс приближенно непрерывен, т. е.
описывается диффузионным уравнением. Из независимости ин-
индивидуумов следует, что инфинитезимальные скорость и дис-
дисперсия пропорциональны размеру популяции. Таким образом,
процесс описывается обратным уравнением D.6) с а = ах и
b = fix. Постоянные аир зависят от выбора единиц измерения
времени и размера популяции, и при подходящем выборе можно
считать а=1 и |3=1, —1, или 0 (в зависимости от знака ско-
скорости).
В 1, гл. XVII, E.7) этот же самый рост популяции описы-
описывался дискретной моделью. Предполагалось, что при условии
Х(т)=/г вероятности событий X(t+x) =п + \, п—1 и л отли-
отличаются от Xnt, ц/г/ и 1 — (X + n)nt соответственно членами вида
о(/), так что инфинитезимальная скорость и дисперсия равны
{к—ц)л и (Я + ц)/г. Диффузионный процесс получается прос-
простым переходом к пределу. Можно показать, что его переходные
вероятности получаются предельным переходом из вероятностей
в дискретной модели.
Подобная аппроксимация дискретных процессов диффузион-
диффузионными процессами часто бывает весьма практичной. Типичным
') Явное решение D.13) (принадлежащее М. Кимура) см. в книге Ба-
руча-Рида (А. Т. Barucha-Reid, 1960).
2) Feller W., Second Berkeley Symposium on Math Statist, and Proba-
Probability, 1951, 227—246.

400 Гл. X. Марковские процессы и полугруппы
примером может служить переход от обычных случайных блуж-
блужданий к диффузионным процессам, описанным в 1, XIV, 6
[продолжение см. в примере E. а)].
д) Преобразования. Пусть Ф — непрерывная и возрастаю-
возрастающая функция. Мы можем использовать ее для преобразования
произвольного стохастического процесса {Х(/)} в новый процесс
Y(^) =Ф(Х(/)). Если функция Ф дважды дифференцируема и
Х-процесс удовлетворяет условиям D.2)—D.4), использован-
использованным для вывода обратного уравнения, то им удовлетворяет и
преобразованный процесс. Последний поэтому описывается об-
обратным уравнением, которое легко вывести1). Это преобразова-
преобразование может быть использовано для того, чтобы описать некото-
некоторые сложные диффузионные процессы в терминах простого броу-
броуновского движения. В действительности, используя современ-
современные обобщенные диффузионные операторы, можно получить
(не налагая никаких условий дифференцируемости) все диф-
диффузионные процессы преобразованием броуновского движения.
Однако подобные преобразования требуют более тонкого под-
подхода, опирающегося на понятие локального времени, введенное
П. Леви. Этот метод широко использован в книге Ито и Мак-
кина.
§ 5. Прямое уравнение. Граничные условия
Как объяснено в предыдущем параграфе, аналитическая ха-
рактеризация переходных вероятностей необходимо опирается
на обратное уравнение D.6), хотя оно и описывает Qt(x, Г) как
функцию начального положения х при фиксированном Г. Изу-
Изучая зависимость от множества Г, мы предположили для прос-
простоты, что Qt обладает плотностью вероятности qt(x, у). При за-
заданной плотности Do величины Х@) плотность X(s) равна
v(s, y)= J vo(x)qs(x, y)dx E.1)
[это соотношение — «прямой» аналог D.5)]. Многие известные
факты, касающиеся дифференциальных уравнений в частных
производных, делают правдоподобным заключение о том, что v
должно удовлетворять уравнению
^=7^1^)'^ y)]—?y[b(y)v(s, у)}. E.2)
') Из формулы Тейлора для Ф видно, что при данном Y(t)=O(X(t))
новая инфинитезимальная скорость равна Ф' (х) Ъ (х)-\--^- Ф" {х), а диспер-
дисперсия равна Ф'2(х)а(х).

§ 5. Прямое уравнение. Граничные условия 401
В теории вероятностей последнее известно под названием пря-
прямого уравнения или уравнения Фоккера — Планка.
Сейчас мы покажем, какого рода информацию можно полу-
получить из E.2) легче, чем из обратного уравнения.
Пример, а) Рост популяции. Пример D г) приводит к пря-
прямому уравнению
dv (s, у) d2yv (s, у) dyv (s, у)
Ts — " dp Р ду '
Можно доказать, что при данной начальной плотности v0
существует лишь одно решение. Хотя для него трудно получить
явные формулы, массу информации о нем можно получить пря-
прямо из уравнения. Например, чтобы вычислить математическое
ожидание размера популяции M(s), можно умножить E.3) nay
и проинтегрировать обе части по у от 0 до оо. Слева мы полу-
получим при этом производную M'(s). Предполагая, что v стре-
стремится к нулю на бесконечности быстрее, чем \/у2, и производя
интегрирование по частям, мы увидим, что правая часть равна
pVW(s). Таким образом,
так что M(s) пропорционально е$\ Аналогичные формальные
выкладки показывают, что дисперсия пропорциональна
2afi~1e$s(e$s—1) [сравните с аналогичным результатом для дис-
дискретного случая в 1, гл. XVII, E.10) и A1.9)]. Конечно, эти
выкладки требовали бы обоснования, но и на эвристическом
уровне их нельзя было бы получить из обратного уравнения,
минуя явное вычисление qt. &¦
Теперь задача состоит в том, чтобы понять, в какой степени
прямое уравнение E.2) является следствием ') обратного урав-
уравнения D.6). Соответствующая теория в общем параллельна дан-
данной в § 3 (для скачкообразных процессов). Мы дадим здесь
без доказательства краткое перечисление результатов.
Рассмотрим обратное уравнение D.6) на открытом интервале
Xi, x2, который может быть конечным или бесконечным. Мы
предполагаем, конечно, что а>0 и что коэффициенты а и Ъ до-
достаточно регулярны для того, чтобы E.2) имело смысл. При
') Более точно, задача состоит в том, чтобы отыскать «истинную* форму
прямого уравнения, так чтобы оно стало следствием обратного уравнения.
Отметим, что последнее определяет процесс, если а>0 и Ь непрерывны, в то
время как обратное уравнение E 2) требует существования производных
а и Ъ «Истинное» прямое уравнение может быть написано во всех случаях,
но оно связано с обобщенными дифференциальными операторами, упомяну-
упомянутыми в сноске 3 на стр. 395.

402 Гл. X. Марковские процессы и полугруппы
этих условиях существует единственное минимальное решение
Qt, такое, что D.5) дает решение обратного уравнения D.6).
При фиксированных t и х ядро Qt(x, Г) может определять не-
несобственное распределение. В любых обстоятельствах распре-
распределения Qt имеют плотности и функция у, определяемая в E.1),
удовлетворяет прямому уравнению. На самом деле это решение
будет минимальным в очевидном смысле слова (который был
уточнен в § 3). В таком понимании прямое уравнение является
следствием обратного уравнения. Однако эти уравнения опреде-
определяют процесс единственным образом только в случае, когда
минимальное решение собственно. Во всех других случаях при-
природа процесса определяется дополнительными граничными ус-
условиями.
Характер граничных условий лучше всего может быть понят
по аналогии с простым случайным блуждапием на 0, оо, обсуж-
обсуждавшимся в 1, гл. XIV. Можно принять различные соглашения
относительно течения процесса после его возвращения в нуль.
В задаче о разорении процесс на этом останавливается. В этом
случае говорят, что нуль является поглощающим экраном.
С другой стороны, если нуль представляет собой отражающий
экран, то частица мгновенно возвращается в точку 1 и про-
процесс, таким образом, продолжается бесконечно. Следует под-
подчеркнуть, что граничные условия нужны тогда и только тогда,
когда граничная точка достижима. Событие «граничная точка х2
достигается ранее момента t» вполне определено для диффу-
диффузионных процессов ввиду непрерывности их траекторий. Оно
тесно связано по своему характеру с событием «до момента t
происходит бесконечно много скачков» в скачкообразных про-
процессах.
В некоторых диффузионных процессах с вероятностью еди-
единица не достигается ни одна из граничных точек. Таково,
например, броуновское движение [пример Dа)]. В подобных слу-
случаях минимальное решение является распределением вероятно-
вероятностей и не существует иных решений. В других ситуациях про-
процесс описывается минимальным решением лишь до момента до-
достижения границы. Оно соответствует поглощающим границам,
т. е. описывает процесс, который останавливается по достиже-
достижении границ. Это наиболее важный тип процессов, и не только
потому, что все остальные получаются из него, но и потому, что
все вероятности первого прохождения состояний могут быть вы-
вычислены искусственным введением поглощающих барьеров. Этот
метод широко применим, но мы объясним его на простейшем
примере (он уже-был нами неявно использован при изучении
случайных блужданий и в других местах, см., например, задачу
15 в J, гл. XVII).

§ 5. Прямое уравнение. Граничные условия 403
Примеры, в) Один поглощающий барьер. Время первого про-
прохождения. Рассмотрим броуновское движение на 0, оо с погло-
поглощающим барьером в нуле. Более точно, броуновское движение,
начинающееся в точке х>0 в момент 0, останавливается в мо-
момент первого попадания в нуль. По причинам симметрии и об-
обратное, и прямое уравнения принимают вид классического диф-
диффузионного уравнения
*L = ±*!L E4)
dt 2 дх* • *¦ >
Нужное граничное условие таково: ^(@, у) =0 при всех t (так
же как и в примере случайных блужданий). Проверить это
можно либо предельным переходом из формул 1, гл. XIV, 6
или исходя из минимального характера соответствующего ре-
решения.
Найдем решение E.4), определенное при ?>0, х>0, и та-
такое, что и@, х)—щ{х) и u(t, 0) =0, где и0 — заданная функция.
Его построение опирается на метод отражений, введенный Кель-
Кельвином1). Доопределим и0 на левой полуоси равенством
ыо(—х) =—ио(х) и решим E.4) с таким начальным условием на
—оо, оо. По причинам симметрии решение должно удовлетво-
удовлетворять условию u(t, 0)=0. Ограничиваясь теперь лишь положи-
положительными х, мы найдем требуемое решение. Оно равно инте-
интегралу по 0, оо от функции uo(y)qt(x, у), где
(***)] ,5.5,
Таким образом, функции qt совпадают с переходными вероятно-
вероятностями нашего процесса (/>0, х>0, у>0). Легко видеть, что при
фиксированном у qt будет решением E.4) с граничным усло-
условием <7<@. У)=0 [другой вывод, использующий общий прием,
см. в примере гл. XIV, 5а].
Интегрированием по у находим вероятность находиться в мо-
момент t в состоянии, отличном от нуля
$ qt(x, у) dy = 2Я(-^=)-1, E.6)
где 31 обозначает стандартное нормальное распределение. Ины-
Иными словами, E.6) дает вероятность того, что процесс, начинаю-
начинающийся в точке х>0,'не достигнет нуля до момента t. Поэтому
E.6) можно истолковать и как распределение времен первого
') См. задачи 7—10 в 1, гл. XIV, где этог же метод применяется к раз-
разностным уравнениям.

404 Гл. X Марковские процессы и полугруппы
прохождения в «свободном» броуновском движении (т. е. при
отсутствии барьеров). Отметим, что функцию E.6) можно оха-
охарактеризовать как решение дифференциального уравнения E.4),
определенное при х>0 и удовлетворяющее начальному условию
ы@, х) = 1 и граничному условию u(t, 0) =0.
[Читатель может узнать в E.6) устойчивое распределение
с показателем а = 1/г', этот же результат был получен в гл. VI, 2
предельным переходом от случайных блужданий к броуновско-
броуновскому движению.]
в) Два поглощающих барьера. Рассмотрим теперь броунов-
броуновское движение при наличии двух поглощающих барьеров — в
точках 0 и а>0. Это означает, что при фиксированном 0<у<а
переходные плотности qt должны удовлетворять дифференциаль-
дифференциальному уравнению E.4) и граничным условиям qt@, у) =
= Qt{a, y)=0.
Легко видеть, что решение имеет вид ')
—Jc+2ka
}
E.7)
где 0<х, у<а. В самом деле, ряд E.7) очевидным образом схо-
сходится и приведение подобных членов показывает, что qt(O,y) =
= qt(a, у) = 0 при всех />0 и 0<г/<й. [Преобразование Лапласа
для E.7) см. в гл. XIV, E 17).]
Интегрируя E.7) по 0<у<а, найдем, что «непоглощенная»
вероятностная масса в момент / равна
>. E.8)
Эта формула дает вероятность того, что частица, выходящая из
точки х, не будет поглощена до момента t.
') Формула получается последовательными приближениями с использси
ванием повторных отражений. В E.5) указано решение, удовлетворяющее
граничным условиям в точке 0 (но не в точке а). Отражение в а приводит
к четырехчленному решению, удовлетворяющему граничному условию в а (но
не в нуле). Чередующиеся отражения в 0 и в а приводят к пределу E 7).
Аналогичное решение для случайных блужданий дано в 1, гл. XIV, (9 1),
откуда E.7) может быть получено предельным переходом (см. Ь
гл. XIV, 6).

§ 5. Прямое уравнение. Граничные условия 405
Функция Ха является решением дифференциального уравне-
уравнения, стремящимся к 1 при /-+0 и удовлетворяющим граничным
условиям ka(t, O)=Xa(t, а) =0. Это решение можно получить
также стандартным применением метода Фурье. При этом оно
имеет вид')
в=0
Возможность представить решение Х„ двумя рядами благо-
благоприятна для вычислений, так как ряд E.8) быстро сходится при
малых t, а ряд E.9)—при больших /. Равенство выражений
E.8) и E.9) может служить стандартным примером формулы
суммирования Пуассона [см. гл. XIX, E.8)]. Открытое перво-
первоначально в связи с теорией Якоби преобразования тэта-функ-
тэта-функций, это равенство приобрело некоторую историческую изве-
известность2) .
Можно дать другую интерпретацию Ка- Рассмотрим положе-
положение Х(/) частицы, находящейся в свободном броуновском дви-
движении, начинающемся в нуле. Событие: частица за время 0, t
не выходит из —^ а, -% а, равносильно событию: в процессе
, 1 .
с поглощающими границами ± у а, начинающемся в 0, погло-
поглощение не происходит до момента t. Таким образом, величина
%a(t,-^a) равна вероятности того, что в свободном броуновском
движении, начинающемся в нуле, |X(s)| < -к- а при всех s из
интервала 0<s<t.
г) Применение к предельным теоремам и критериям Колмо-
Колмогорова— Смирнова. Пусть Yb Y2, ... — независимые случайные
величины с одним и тем же распределением вероятностей,
E(Yy) = 0, E(Yy) = l. Положим Sn = Yi+ ...+Yn.
Пусть Т„ = тах [|Si|, ..., |Sn|}. Центральная предельная тео-
теорема делае^ правдоподобным заключение, что асимптотическое
поведение Г„ такое же, как если Yj были нормальны. В по-
последнем же случае нормированные суммы (l/|/"/i)Sft можно
интерпретировать как значения X(k/n), k=\, ..., п процесса
') Аналогичная формула для случайных блужданий получена в I,
гл. XIV, 5, где, однако, граничные условия имели вид Xa(t, 0) = 1 и %,a(t,a)=Q.
2) См. теорему 277 в книге Ландау (Landau E., Verteilung der Prirn-
zahlen, 1909).

406 Гл. X. Марковские процессы и полугруппы
броуновского движения. Вероятность того, что все эти значе-
значения лежат в интервале —ja, -т-а, приблизительно равна, как
следует из сказанного ранее, ^аA, -^о-) Наши правдоподобные
рассуждения приводят к гипотезе, что при п —* оо
P{Tn<z}^LB), E.10)
где L(z) =ЯггA, z) находится с помощью E.8) и E.9)
E.11)
Эта гипотеза была доказана в 1946 г. Эрдешем и Кацем. Ле-
Лежащая в основе доказательства идея получила с тех пор назва-
название принципа инвариантности. Он устанавливает, грубо говоря,
что предельное распределение некоторых функций от случайных
величин нечувствительно к изменениям распределения этих ве-
величин и что оно может быть найдено построением надлежа-
надлежащего аппроксимирующего случайного процесса. Принцип инва-
инвариантности был усовершенствован М. Донскером, П. Биллинг-
слеем, Ю. Прохоровым и другими, и стал мощным орудием
доказательства предельных теорем.
По сходным причинам распределение E.11) играет важную
роль в обширной литературе о непараметрических критериях
описанного в гл. I, 12 типа г).
д) Отражающие экраны. Вернемся к броуновскому движе-
движению. По аналогии с обычным случайным блужданием, при отра-
отраду (О, у) п
жающем экране следует ввести граничное условие -LL\—— = 0.
Легко проверить, что решение для интервала 0, оо получается
заменой в E.5) знака минус на плюс. Формальный вывод с при-
применением метода отражений остается таким же, как и раньше,
с той разницей, что теперь мы полагаем ио(—х)=ио(х). В этом
случае qt будет плотностью собственного распределения вероят-
вероятностей. Решение для интервала 0, а при отражающих экранах
') Эта тема сравнительно нова, но происхождение часто используемого
тождества E.11) уже успели, как кажется, забыть. Современный исследова*
тель не может найти доказательства в соответствующей литературе. [См. R е-
nyi A., On the distribution function, L(z), Selected Translation in Math. Sta-
Statist, and Probability, 4 A963), 219—224. Новое доказательство Реньи опи-
опирается на классические рассуждения с привлечением тэта-функций и тем са-
самым затемняет простой вероятностный смысл E.11).]

§ 6. Диффузия в многомерном случае 407
в 0 и в а получается заменой знака минус на знак плюс в E.7)
(другое выражение для решения, получаемое применением ме-
метода Фурье или формулы суммирования Пуассона, дано в за-
задаче 11 гл. XIX, 9). Ъ>
Аналогичные рассуждения, касающиеся граничных условий
или времен первого прохождения, применимы и к диффузион-
диффузионным процессам, описываемым общим диффузионным уравнением
D.6). Однако получить явные решения при этом, как правило,
очень трудно. Подход к этим задачам методом преобразований
Лапласа описан в гл. XIV, 6.
§ 6. Диффузия в многомерном случае
Предыдущая теория легко переносится на двумерный случай.
Чтобы не загромождать формулы индексами, мы будем обозна-
обозначать координатные величины через (Х(/), Y(^)), а плотности
перехода через qt(x,y; |, -п); здесь (х, у)—начальная точка и
qt — плотность в точке (?, ц). Сохраняются постулаты § 4, с той
разницей, что инфинитезимальная скорость Ь(х) заменяется
вектором, а дисперсия а(х)—матрицей ковариаций. Вместо
D.6) мы получим тогда обратное уравнение диффузии
ди д2и . о д2и , д2и . , да . . ди ,о 1.
a + 2a + a221F + ?l^+^ FЛ)
с коэффициентами, зависящими от л; и у. В случае двумерного
броуновского движения мы налагаем условие круговой симмет-
симметрии, что приводит (с точностью до несущественной константы)
к уравнению
dt 2 [дх2 ' ду2}' ^¦z'
Соответствующие переходные плотности нормальны с диспер-
дисперсией t и центром в (х, у). Очевидное разложение этих плотно-
плотностей на множители показывает, что Х(/) и Y(/) статистически
независимы.
Наиболее интересной из величин, связанных с этим процес-
процессом, является расстояние R(t) от начала координат (R2 =
= X2+Y2). Интуитивно ясно, что величины R(/) образуют одно-
одномерный диффузионный процесс. Интересно сравнить различные
способы вывода соответствующего диффузионного уравнения.
Нормальные переходные плотности, отвечающие F.2), в по-
полярных координатах имеют вид
_JLexp(— K--r>--^^i»-»;j F 3)

408 Гл. X. Марковские процессы и полугруппы
(где x = rcosa и т. д.). При данных г и а в момент 0 частная
плотность R(/) получается интегрированием F.3) по 9. Пара-
Параметр а исчезает, и мы получаем ') переходные плотности про-
процесса R(/)
±(^)m F.4)
Здесь /о — функция Бесселя, определенная в гл. II, G.1). Из
самого вывода ясно, что при фиксированном р переходные ве-
вероятности wt должны удовлетворять F.2) в полярных коорди-
координатах; иными словами, должно быть
dwt _ 1 / d2wt , 1 dwt
Это — обратное уравнение для процесса R(t). Оно просто выво-
выводится из F.2) и требования круговой симметрии.
Из F.5) видно, что бесконечно малая дисперсия для про-
процесса R@ такова же, как и для Х(^), а скорость равна у/"-
То что скорость имеет именно такую величину, можно объяснить
(и даже вычислить) следующим образом. Рассмотрим частицу,
совершающую двумерное броуновское движение, начиная от
точки г на оси х. По причинам симметрии ее абсцисса в момент
/г>0 с одинаковой вероятностью будет >г или <г. В первом
случае, конечно, R(ft)>r. Однако это соотношение может вы-
выполняться и во втором случае. Таким образом, соотношение
R(/z)>r имеет вероятность > -^ и в среднем R обязано воз-
возрастать.
Наш вывод формул для переходных вероятностей применим
и в случае трех измерений, причем с одним существенным упро-
упрощением: якобиан р в F.3) заменяется теперь на р2 sin 9 и инте-
интеграл элементарно вычисляется. Вместо F.4) мы получаем сле-
следующую переходную плотность для процесса R(/) в трех изме-
измерениях
¦wAr, p =¦
§ 7. Подчиненные процессы
Пусть {Х(/)} — данный марковский процесс со стационар-
стационарными вероятностями перехода Qt(x, Г). Исходя из {Х(/)}, можно
построить множество новых марковских процессов, вводя то, что
') Интеграл хорошо известен. Стандартная проверка результата состоит
в разложении ес в степенной ряд по cos 0.

§ 7. Подчиненные процессы 409
называют рандомизированным операционным временем. Для
первого знакомства рассмотрим семейство стохастических ядер
оо
Pt(x, Г) = 2 е-*-^ <?»(•*. Г), G.1)
и = 0
полученных в предположении, что временной параметр в Qt рас-
распределен по закону Пуассона1). Обозначим T(t) процесс Пуас-
Пуассона. Пусть Х@)=х, тогда G.1) представляет собой распреде-
распределение случайной величины Х(Т(/)). Эти величины определяют
новый случайный процесс, в котором пуассоновские величины
играют роль операционного времени. В такой же роли могут вы-
выступать многие другие процессы {Т(/)}, но в общем случае про-
процесс (Х(Т(/))} не будет марковским. Предположим, чтобы из-
избежать усложнения в обозначениях, что Т(/) принимает только
значения 0, h, 2ft, ... , кратные фиксированному числу Л>0.
Обозначим
Р{Т (t)=nh) = an(t).
При условии Х@)=х величина Х(Т(/)) имеет распределение
со
Pt(x,T)=^ak(t)Qkh(x,r). G.2)
ft=0
Так как ядра {Qt} удовлетворяют уравнению Чепмена—-Колмо-
Чепмена—-Колмогорова, то
+ ОО
j Р, (х, dy) Pt (у, Г) = 2 а} (s) ak (t) ¦ Qij+k) h (x, Г). G.3)
-co ;, *
Отсюда видно, что ядра Pt удовлетворяют уравнению Чепме-
Чепмена — Колмогорова, если
Oo(s)an@ + ai(s)aB_i@+ ¦•• +aa(s)a0(t) = an(s + t) G.4)
при всех s>0 и ^>0. Последнее соотношение выполняется для
процесса {Т(t)} со стационарными независимыми приращениями^
Общее решение G.4) было изучено в 1, гл. XII, 3.
') Отметим, что G.1) определяет псевдопуассоновский процесс. Обобще-
Обобщение в терминах операторов будет дано в § 9. Там будет показано, что про-
простое применение закона больших чисел, описанное в гл. VII, 5, приводит
к так называемой показательной формуле теории полугрупп. Из этой фор-
формулы следует, что каждое семейство Qt может быть аппроксимировано пере-
переходными вероятностями вида G.1). Последующее изучение покажет, что рас-
распределение Пуассона в G.1) может быть заменено другими и что понятие
подчиненности приводит к пониманию истинного характера показательной,
формулы.

410 Гл. X. Марковские процессы и полугруппы
Пример, а). Если {an(t)} имеет производящую функцию
2 а„ (/)?" = B — ?)"'. то G.4) выполняется. При этом ап(() =
Мы видели, что G.4) обеспечивает равенство величины G.3)
вероятности Ps+t(x, Г). Это означает, что распределение
X(T(t+s)) получается интегрированием Pt(y, Г) по распреде-
распределению X(T(s)), так что по определению условных вероятностей
Pt(y, Г) = Р{Х(Т(^ + 5)NГ |X(T(s)) = «/}. G.5)
Аналогичные рассуждения применимы и к переходным вероят-
вероятностям более высокого порядка; тем самым устанавливается, что
процесс {Х(Т(())} — марковский.
Формальный предельный переход при h—>0 приводит нас
к общей ситуации. Предположим, что случайные величины Т(/)
образуют процесс со стационарными независимыми прираще-
приращениями. Распределение II i величины T(t) сосредоточено на 0, оо
и удовлетворяет уравнению свертки
*>0. G-6)
о-
обобщающему G.4). Сумма в G.2) есть ни что иное, как интег-
интеграл по отношению к распределению Т(/). Поэтому общая форма
G.2) имеет вид
Pt{x, r) = jQ,(x, T)Ut[ds). G.7)
о-
Теперь каждое семейство распределений U(, удовлетворяющих
G.6), может быть получено как предел при v—><x> последова-
последовательности арифметических распределений {««v) (()}, удовлетво-
удовлетворяющих G.4). При весьма слабых условиях непрерывности1)
на Qt мы получим переходом к пределу следующий основной
результат:
') Достаточно потребовать, очевидно, чтобы для любой непрерывной
( о
( со
функции f, обращающейся в нуль нч бесконечности, интеграл Qi(x, dy)f(y)
был непрерывной функцией по t и х. Тривиально устанавливается, что Pt —
стохастическое ядро, так как оно получается рандомизацией. (Прямая про-
проверка требует некоторого мастерства в проведении вычислений и может по-
показаться сложной. Наш переход к пределу даег строгое обоснование эгого
результата без всяких затруднений и показывает, что наивный подход может
быть наиболее усложненным.)

§ 7. Подчиненные процессы 411
Пусть {Х(/)} — марковский процесс с непрерывными переход-
переходными вероятностями Qi и {Т(^)} — процесс с неотрицательными
независимыми приращениями [т. е. с безгранично делимыми пе-
fвходными вероятностями Ut, удовлетворяющими G.6)]. Тогда
Х(Т(^))} — также марковский процесс с переходными вероятно-
вероятностями Pt, определяемыми по G.7). Мы будем говорить, что этот
процесс подчинен1) {X(tf)} с использованием операционного вре-
времени Т(/). Процесс {Т(/)} называется направляющим процессом.
Наиболее интересен частный случай, когда процесс Х(/) так-
также имеет независимые приращения. В этом случае переходные
вероятности зависят только от разностей Г — х и могут быть за-
заменены соответствующими функциями распределения. Тогда
G.7) принимает более простой вид
со
Pt(x)=JQs(x)Ut{ds]. G.8)
о
Все наши примеры будут именно этого типа.
Примеры, б) Процесс Коши подчинен броуновскому движе-
движению- Пусть {X(Z1)} — броуновское движение (винеровский процесс)
с переходными плотностями qt(x) = Bnt) 2e 2 . В качестве
{Т(^)} мы возьмем устойчивый процесс с показателем '/г и пере-
переходными плотностями
и,(х)= Г- ,- е-\*1х-
"I/O "I/ ч
Переход в G.8) к плотностям и подстановка s = \/y превра-
превращает подинтегральное выражение в показательную функцию.
Следовательно, Pt имеет плотность
соответствующую процессу Коши [сравните пример гл. VI, B.е)].
Мы знаем, что Ut есть распределение времени первого про-
прохождения через фиксированную точку />0 в обычном броунов-
броуновском'движении. На основании этого мы можем следующим об-
образом интерпретировать процесс Коши в терминах двух неза-
независимых броуновских движений Х(/) и Y(t). Случайная
') Интересное понятие подчиненности введено С. Бохнером в 1949. [Даль-
[Дальнейшее развитие теории представлено в его книге A955).] Интерпретация
В терминах операционного времени найдена Нелсоном, Троттером и Уоллом
(Nelson, Trotter, Woll). [Систематическое изложение на «высшем уровне»
Дано в статье Nelson E., A functional calculus using singular Laplace inte-
integrate, Trans. Amer. Math. Soc, 88 A958), 400—413.]

412 Гл. X. Марковские процессы и полугруппы
величина Z(t) в процессе Коши равна значению X в момент
Т(^), когда Y(s) впервые достигает значения t.
в) Устойчивые процессы. Последний пример легко распро-
распространяется на произвольные устойчивые процессы (Х(^)} и
(Т(/)} с показателями аир соответственно. Здесь а^2, но так
как величина Т(/) должна быть положительна, го необходимо
Р<1. Переходные вероятности Qt и Ut имеют вид Qt(x) =
= Q(xtlla) и Ut(x)=U(xt1®), где Q и U — фиксированные ус-
устойчивые распределения. Мы покажем, что подчиненный про-
процесс Х(Т(/)) устойчив с показателем аC. Это утверждение
эквивалентно соотношению Ри{х) = Pt(x~lla$). Это соотношение
тривиально выводится из определения Qs и Ut и формулы G.8),
с применением подстановки s=yX11®.
[Наш результат по существу эквивалентен формуле для про-
произведений, установленной в гл. VI, B.3). При X(if)>0 эта фор-
формула может быть переписана в терминах преобразований Лап-
Лапласа, см. гл. XIII, G.е). Вариант, использующий преобразование
Фурье, см. в задаче 8 гл. XVII, 12.]
г) Обобщенный пуассоновский процесс, направляемый гам-
гамма-процессом. Пусть Qt — обобщенное пуассоновское распреде-
распределение, порождаемое распределением вероятностей F, и пусть Ut
имеет гамма-плотность e-xxl~xIY(t), Тогда G.8) принимает вид
I>nV), G-10)
л-0
где
_ fg-s ?_.e-s
— J е „| -е
Простые выкладки показывают, что an(t) суть вероятности,
встречавшиеся уже в примере (а). В частности, если F сосре-
сосредоточено в точке 1, то (Х(/)} будет процессом Пуассона с мате-
математическим ожиданием /. Мы видим, что процесс примера (а)
подчинен пуассоновскому процессу при использовании гамма-
процесса в качестве операционного времени.
д) Гамма-процесс, направляемый законом Пуассона. Рас-
Рассмотрим теперь те же самые распределения, поменяв их ролями.
Тогда операционное время будет целочисленным и нуль имеет
вес e~f. Отсюда следует, что результирующее распределение так-
также имеет атом веса е~* в нуле. Непрерывная часть имеет плот-
плотность

§ 8. Марковские процессы и полугруппы 413
где /4 — функция Бесселя (см. гл. II, G.1)). Из сказанного сле-
следует, что это распределение безгранично делимо. Прямая про-
проверка этого утверждения нелегка. >
§ 8. Марковские процессы и полугруппы
В гл. VIII были отмечены преимущества трактовки вероят-
вероятностных распределений как операторов, действующих на непре-
непрерывные функции. Преимущества операторного подхода к стоха-
стохастическим ядрам еще больше, и теория полугрупп приводит к
цельной теории марковских процессов, что недостижимо при
других методах. Пусть даны стохастическое ядро К в &1 и
ограниченная непрерывная функция и. Тогда соотношение
+ ОО
U(x)= J K(x, dy)a(y) (8.1)
— оо
определяет нам новую функцию. Мы почти не теряем общности
рассуждений, предположив, что функция U также непрерывна.
Тогда мы могли бы перейти к изучению свойства ядра К в тер-
терминах порожденного им преобразования u—*U семейства непре-
непрерывных функций. По двум приводимым ниже причинам целе-
целесообразно рассмотреть более общую ситуацию. Во-первых,
преобразования вида (8.1) имеют смысл в произвольных простран-
пространствах, и было бы крайне не экономично развивать теорию, ко-
которая не охватывает простейший и очень важный частный слу-
случай, а именно процессы со счетным множеством состояний
[когда (8.1) сводится к матричному преобразованию]. Во-вторых,
даже в теории, ограничивающейся непрерывными функциями на
прямой, различные типы граничных условий вынуждают нас
вводить специальные классы непрерывных функций. С другой
стороны, большая общность достигается без всяких затрат. Чи-
Читатели в зависимости от настроения могут пренебречь общ-
общностью и рассматривать все теоремы в одной (или нескольких)
из следующих типичных ситуаций: (i) пространство состояний 2
есть вещественная прямая и J? есть класс ограниченных непре-
непрерывных функций, исчезающих на бесконечности; (а) простран-
пространство 2 есть конечный замкнутый интервал / в Мх или <$2 и
•З1—класс непрерывных функций на нем; (Hi) 2 состоит из целых
чисел hJ>P — из ограниченныхпоследовательностей. В последнем
случае последовательности лучше всего представлять себе в
виде векторов-столбцов, а преобразования — в виде матриц.
Как и в гл. VIII норма ограниченной вещественной функ-
Ции и определяется как ||«|| = sup|«(*) |. Последовательность

414 Г л X Марковские процессы и полугруппы
функций и„ сходится равномерно к и тогда и только тогда, когда
||ы„-и||-»0.
Начиная с этого места J? будет обозначать семейство веще-
вещественных функций, определенных на некотором множестве 2 ц
обладающих следующими свойствами: (i) если Ui и «2 принад-
принадлежат^7, то каждая линейная комбинация CiUi-j-CzUi^j?; (Ц)
если ип 6 ?? и \\и„ — и\\ -*0, то и?Л?; (iii) если и?Л?, то и ц+
и и~ принадлежат J? (здесь и = и+— и~ — обычное разложение и
на положительную и отрицательную части) Другими словами,
J? замкнуто относительно образования линейных комбинаций,
равномерного перехода к пределу и взятия абсолютной вели-
величины. Первые два свойства означают, что ^ — банахово про-
пространство, последнее — что J2* есть структура.
Ниже приводятся стандартные определения. Линейное пре-
преобразование Т называют эндоморфизмом на J?, если каждое
м? J?имеет образ TuZJ?, такой, что ||7*«||<^m||«l|, где m — по-
постоянная, не зависящая от и. Наименьшая постоянная с этим
свойством называется нормой \\T\\ преобразования Т. Преобра-
Преобразование Т положительно, если из и^ 0 вытекает Ти^>0. В этом
случае —Ти~^Ти^СТи + . Сжатием называется положительный
оператор Т, такой, что ЦЩ-^1. Если постоянная функция 1 при-
принадлежит J? и Т — положительный оператор, такой, что ? = 1,
то Т называется оператором перехода (он автоматически будет
сжатием).
Пусть даны два эндоморфизма S и Т на^Р. Тогда их произ-
произведение ST есть эндоморфизм, отображающий и в S(Tu). Оче-
Очевидно, ||ST||^C||S||-Hr||. В общем случае БТФТБ в отличие от ча-
частного случая операторов свертки из гл. VIII, 3, которые пере-
перестановочны один с другим.
Мы всерьез интересуемся лишь преобразованиями вида (8.1),
где К — стохастическое или, в крайнем случае, субстохастиче-
субстохастическое ядро. Операторы такого вида суть сжатия или операторы
перехода. Им присуще также
Свойство монотонной сходимости. Если ы„>0
и ип t ы (с ип и и ? J?), то Тип —> Ти в смысле поточечной схо-
сходимости.
Практически во всех ситуациях сжатия, обладающие этим
свойством, имеют вид (8.1). Два примера иллюстрируют это за-
замечание.
Примеры, а) Пусть Б — вещественная прямая nJ? = C, где
С — семейство всех ограниченных непрерывных функций на ней-
Пусть Сое J?—подкласс функций, обращающихся в нуль на
±оо. Если Т — сжатие на„2*, то при и € Со значение Ти{х) функ-
функции Ти в фиксированной точке х является положительным ли-

§ 8. Марковские процессы и полугруппы 415
нейным функционалом на J3?. По теореме Рисса о представлении
таких функционалов существует (возможно несобственное) рас-'
пределение вероятностей F, такое, что Ти(х) равно математиче-
математическому ожиданию и относительно F. Так как F зависит от х, то
F(F) мы обозначим К(х, Г). Тогда для и 6 Со
Tu(x)=j K(x, dy)u(y). (8.2)
— оо
Если оператор Т обладает свойством монотонной сходимости,
то это соотношение можно распространить на все ограниченные
непрерывные функции.
При фиксированном х ядро К как функция от Г является
мерой. Если Г — открытый интервал и {«„} — возрастающая по-
последовательность непрерывных функций, такая, что ип(х) —>1
при л;€Г и ип(х) —>0 в других случаях, то К(х, Г) =lim Tun(x)
(в силу основных свойств интегралов). Так как функции Тип
непрерывны, мы заключаем, что ядро К есть бэровская функция
от х. Поэтому К обладает всеми свойствами стохастических или
субстохастических ядер. То же самое распространяется на слу-
случай интервалов или <$п.
б) Пусть Б ¦— множество целых чисел, а Л?— множество чис-
числовых последовательностей {ы„} с ||«|| = sup|un|. В частности,
пусть е<п>=@, 0,. .., 0, 1, 0,...)—последовательность с един-
единственным ненулевым членом, стоящим на п-м месте. Пусть
Т — сжатие. Обозначим /-й член последовательности Те№ через
Pik- Если последовательность и имеет лишь конечное число чле-
членов, отличных от нуля, то ее можно представить как конечную
линейную комбинацию е<4 Следовательно, /-й член Ти равен
где сумма на самом деле содержит лишь конечное число членов.
В силу свойства монотонной сходимости представление (8.3)
применимо, очевидно, ко всем и. Из того что Т — сжатие, выте-
вытекает неравенство pih~^0. Кроме того, суммы по строкам <Л.
Таким образом, матрица (pih) субстохастическая. Она будет
строго стохастической, если Т — оператор перехода. >
Эти примеры типичны1), и найти сжатие, не порождаемое
стохастическим ядром, в самом деле трудно. Как бы то ни было,
мы оправдали дальнейшее развитие общей теории сжимающих
операторов и убедились в том, что применения к вероятностным
задачам будут носить очевидный характер. (В действительности
Мы никогда не выйдем за рамки указанных примеров.)
') В них используется только локальная компактность 2.

416 Гл. X. Марковские процессы и полугруппы
Переходные вероятности марковского процесса образуют од-
нопараметрическое семейство ядер, удовлетворяющих уравне-
уравнению Чепмена — Колмогорова
Qs+t(x,T)=JQs(x,dy)Qt(y,r) (8.4)
(s>0, ^>0); интегрирование производится по всему простран-
пространству состояний. Каждое из этих ядер порождает оператор пе-
перехода &(/), определяемый соотношением
(y). (8.5)
Очевидно, что (8.4) эквивалентно
s>0, t>0. (8.6)
Семейство эндоморфизмов с этим свойством называют полу-
полугруппой. Ясно, что С-E) С (t) =?i (t)O. (s), т. е. каждые два эле-
элемента полугруппы перестановочны. Последовательность {Тп}
эндоморфизмов на J? называется сходящейся^) к эндоморфизму
Т тогда и только тогда, когда \\Тпи — Ти\\—*0 при каждом
udJ?^ Если последнее соотношение выполнено, мы пишем
Тп-*Т.
Начиная с этого момента, мы сосредоточимся на полугруп-
полугруппах сжимающих операторов. При этом мы введем некоторые
условия регулярности. Обозначим опять через 1 тождествен-
тождественный оператор \и = и.
Определение. Мы будем называть полугруппу сжимаю-
сжимающих операторов^, (t) непрерывной2), если ?3. @) = 1 и & (Л)—>•!
при h —>0 + .
При 0 4it'<t" мы имеем
\\Щ(") ii — tX (?) и ||< И &(/" — *') и — и ||. (8.7)
Для непрерывной полугруппы существует такое 6>0, что правая
часть <е при t"—^<б. Таким образом, верно не только что
&>Cl(?0) при t—*to, но и большее: формула (8.7) показы-
') Такая сходимость называется сильной. Она введена в гл. VIII, 3. Из
нее не вытекает сходимости \}Тп—Л1-Ю (называемой равномерной). Более
слабый тип сходимости определяется требованием Тпи(х)->Ти(х) при каж-
каждом х (но не обязательно равномерно); см. задачу 6 в гл. VIII, 10
2) Мы используем этот термин вместо стандартного «сильно непрерывна
в нуле».

§ 9. «Показательная формула» в теории полугрупп 417
вает, что & (t)u при любом фиксированном и есть равномерно
непрерывная функция tx).
Преобразование (8.1)—это, конечно, то же самое, что и D.5); оно слу-
служило исходным пунктом при выводе обратного уравнения для диффузионных
процессов. Теперь семейство марковских переходных вероятностей порождает
также некоторую полугруппу преобразований мер. При этом мера [г пере-
переходит в меру T(t)\i, приписывающую множеству Г массу
Г(ОИ(Г)= j\i{dx)Qt{x, Г). (8.8)
Если Qi имеет плотность qt, то это преобразование совпадает с E.1) и
было использовано для вывода прямого уравнения. Так как теория вероят-
вероятностей имеет в первую очередь дело с мерами, а не с функциями, то воз-
возникает вопрос — почему мы начали с полугруппы <О@}> а не с {T(t)}. От-
Ответ интересен и проливает новый свет на сложную связь прямого и обратного
уравнений.
Причина состоит в том (и это подтверждают приведенные выше приме-
примеры), что в обычной обстановке непрерывные полугруппы сжимающих опера-
операторов на функциональном пространстве J5P порождаются переходными ве-
вероятностями: изучение наших полугрупп {0@} — это практически то же
самое, что изучение марковских переходных вероятностей. Для полугрупп на
пространстве мер это неверно. Существуют аналитически очень естествен-
естественные полугруппы сжимающих операторов, не порождаемые марковскими про-
процессами. Чтобы построить пример, рассмотрим любую марковскую полугруппу
вида (8.8) на прямой, предполагая лишь, что абсолютно непрерывная мера ц
переходит в абсолютно непрерывную меру T(t)\i [например, T(t) может быть
сверткой с нормальным распределением с дисперсией t]. Пусть ц.=ц.с + Н-з —
разложение [Л на абсолютно непрерывную и сингулярную компоненты. Опре-
Определим новую полугруппу {S@}, положив
Эта полугруппа непрерывна и 5@) = 1, но легко показать, что она не свя-
связана ни с какой системой переходных вероятностей и что она с вероятност-
вероятностной точки зрения бессмысленна.
§ 9. «Показательная формула» в теории полугрупп
Псевдопуассоновские процессы § 1 являются, конечно, про-
простейшими марковскими процессами. Теперь мы докажем, что
практически все марковские процессы представимы как пре-
пределы псевдопуассоновских процессов2). Абстрактный вариант
этого утверждения играет фундаментальную роль в теории
') Существуют полугруппы, такие, что С (п) стремится к оператору
Тф 1, но они патологичны. Определим, например, эндоморфизм Т равенством
—-^u@) [1 -frCos.*]-f--jT-M(n) [I — cos.*] и положим JQ (/) = Т при
всех >
2) Специальный случай, когда О (/) суть операторы свертки, был разоб-
разобран в гл. IX.

418 Г л X. Марковские процессы и полугруппы
полугрупп. Мы увидим сейчас, что он на самом деле есть след-
следствие закона больших чисел.
Пусть 7' — оператор, порождаемый стохастическим ядром
К. Тогда оператор & (/), индуцированный псевдопуассо'новским
распределением A.2), принимает вид
fit
H=0
где сумма ряда определяется как предел частных сумм. Из
уравнения Чепмена — Колмогорова A.3) следует, что эти опе-
операторы образуют полугруппу. Предпочтительнее, однако, дока-
доказать этот факт заново для произвольных сжимающих операто-
операторов Т.
Теорема 1. Если Т — сжатие на J?, то операторы (9.1)
образуют непрерывную полугруппу сжатий. Если Т — оператор
перехода, то это же верно и для & (t).
Доказательство. Очевидно, что О.(t) — положительный
оператор и || Q.(tf)||-C ?-<*'+"'ИгII ^ 1. Полугрупповое свойство
легко проверяется формальным перемножением рядов для
&($) и D.(t). Соотношение &(п) -» 1 очевидно из (9.1). >
Мы будем записывать (9.1) сокращенно
Полугруппы сжатий такого вида будут называться псевдопуас-
соновскими1). Мы скажем, что {&(/)} порождается операто-
оператором а(Т — 1).
Рассмотрим теперь произвольную полугруппу сжатий & (/).
Она ведет себя во многих отношениях так же, как вещественная
непрерывная функция. В частности, применима без каких-либо
серьезных изменений теория приближения функций, развитая
в гл. VII на основе закона больших чисел. Возьмем формулу
гл. VII, E.1), использующую распределение Пуассона. Введем
при фиксированном /z>0 операторы
~Г~ & (nh), (9.3)
л=0
1) Существуют полугруппы сжатий вида ets, где S — эндоморфизм, не
представиинй в форме а(Т—1). Таковы, например, полугруппы, связанные
со скачкообразными процессами § 3, если а(х) неограничена.

§ 9 «Показате гьная формула» в теории полугрупп 419
которые получаются рандомизацией параметра / в &(/). Срав-
Сравнение с (9.1) показывает, что операторы O.h(t) образуют псевдо-
пуассоновскую полугруппу, порождаемую оператором [Щк)—1]//г.
Докажем теперь, что
*-*0. (9.4)
Отправным пунктом будет тождество
е-"' Yi ^n? (&ОА)и — Ci@и]. (9.5)
я=0
Математическое ожидание и дисперсия распределения Пуассона,
встречающегося в этой формуле, равны thr1. По неравенству
Чебышева норма суммы всех членов с \п — th~l\>r\th~x не пре-
превосходит xf2t~lh • 2\\и\\. В силу свойства равномерной непрерыв-
непрерывности (8 7) можно выбрать столь малое ц, что
Ц&(яА)й— &(*)« ||< е при \nh — t\<y\t. (9.6)
Тогда норма оператора (9.5) не превосходит e+2r\~2tl '\\u\\-h.
Так как s произвольно, то при h—*0 эта норма стремится к
нулю. Мы доказали, таким образом, знаменитую теорему, из-
известную в теории полугрупп под названием показательной фор-
мулы.
Теорема 2. Каждая непрерывная полугруппа сжатий Xk(t)
является пределом (9.4) псевдопуассоновских полугрупп [O.h(t)},
порождаемых эндоморфизмами A~1[D.(A)—-1].
Другие варианты можно получить, сгавя на место распределения Пуассона
другие безгранично делимые распределения. Из 1, гл. XII, 3 мы знаем, что
производящая функция безгранично делимого распределения {«,,(/)}, сосре-
сосредоточенного на множестве целых чисел ге>0, имеет вид
оо
2««(OSn = exp(ta{/?(?)-ll), (9 7)
о
где
/7>0, 2/>=1. (9.8)
Допустим, что распределение {un(t)} имеет математическое ожидание Ы и
конечную дисперсию Заменяя в E3) распределение Пуассона на {un{t'b)},
получаем оператор
СД (t) = lan (t/bfi) G (яА) = гап (t/bh) ?," (А). (9.9)
Нетрудно понять, что при фиксированном h > 0 {Ол@} есть псевдопуассо-
новская полугруппа, порождаемая оператором ab~1h~1 [р (О (h))—1]. Как
и прежде, простое применение закона больших чисел показывает, что
?^ (О -> О @ при Л->0. Таким путем мы получаем аналог «показательной

420 Гл. X. Марковские процессы и полугруппы
формулы», в котором распределение {un(t)} играет роль распределения Пуас-
Пуассона >).
Чтобы понять вероятностное содержание и пути обобщения этих рас-
рассуждений, обозначим через (Х(/)} марковский процесс, соответствующий по-
полугруппе {D@}, и через {T(t)} — процесс с независимыми приращениями,
описываемый вероятностями перехода {un(t)}. Операторы (9.9) соответствуют
переходным вероятностям процесса X((hT(t/bh)). Другими словами, мы ввели
специальный процесс, подчиненный X(i). Закон больших чисел, примененный
к Т-процессу, делает правдоподобным предположение о том, что при А->0
распределения нового процесса сходятся к распределениям исходного марков-
марковского процесса. Эта процедура аппроксимации никоим образом не связана
с целочисленностью случайных величин T{t). В самом деле, мы можем взять
в качестве T(t) любой процесс с положительными независимыми прираще-
приращениями, такой, что E((T(Y)))=6^ и что дисперсия Т(^) конечна.
Подчиненный процесс вида X((hT(t/bb))) —это процесс псевдопуассонов-
ского типа. Его полугруппа порождается некоторым эндоморфизмом2) и
Ол @ -> С @ при Л-»0.
§ 10. Производящие операторы. Обратное уравнение
Рассмотрим псевдопуассоновскую полугруппу {&(/)} сжи-
сжимающих операторов, порождаемую оператором 31 ~а(Т—1).
Так как это эндоморфизм, то v= Ш и определено для всех и ? jg
и
П{h)h ~ * и-»v, /z-*0+. A0.1)
Было бы хорошо, если бы это свойство имело место для всех
полугрупп, однако этого невозможно ожидать. Возьмем, напри-
например, полугруппу, связанную с броуновским движением. Уравне-
Уравнение диффузии D.1) показывает, что для дважды непрерывно
дифференцируемой и левая часть A0.1) сходится к \/2и". Од-
Однако не существует никакого предела, если и не дифференци-
дифференцируема. Тем не менее уравнение диффузии однозначно описывает
процесс, так как полугруппа однозначно определяется своим
действием на дважды дифференцируемые функции. Поэтому мы
не можем ожидать, что A0.1) будет выполняться для всех
функций и, но для всех практических целей хватает требования,
чтобы оно выполнялось для «достаточно многих» функций. Имея
это в виду, мы примем
Определение. Если для некоторых и и v из <3* выпол-
выполняется соотношение A0.1) (в смысле равномерной сходимости),
') Это отметил Чжун К. Л. (см. гл. VII, 5).
2) О производящих операторах произвольных подчиненных процессов см.
пример гл. XIII, (9, б).

§ 10. Производящие операторы 421
то мы полагаем v = %a. Так определенный оператор называется
производящим оператором1) полугруппы {O.(t)}.
Умножая A0.1) слева на &(/), получаем
в «+*)-. а со в^й@Д| A0.2)
Таким образом, если 'йи существует, то все функции &(/)«
лежат в области определения ЭД и
Это соотношение по существу то же самое, что обратное урав-
уравнение для марковских процессов. В самом деле, в обозначениях
§ 4 мы можем положить
u{t, x) =
где «о — начальная функция. Тогда A0.3) превращается в
Это — знакомое нам обратное уравнение, но оно нуждается в
правильной интерпретации. Вероятности перехода диффузион-
диффузионных процессов § 4 так гладки, что обратное уравнение верно
для всех непрерывных начальных функций щ. В общем случае
этого может не быть.
Примеры, а) Сдвиги. Пусть Л? состоит из всех непрерывных
функций на прямой, обращающихся в нуль на бесконечности.
Положим & (t)u(x) =u(x +1). Очевидно, что A0.1) выполняется
тогда и только тогда, когда и имеет непрерывную производную
«', обращающуюся в нуль на бесконечности. В этом случае
Формально обратное уравнение A0.4) сводится к
ди ди
Формальное решение, совпадающее при ^=0 с данной началь-
начальной функцией «о, было бы u(t, x) =uQ(t+x). Но и в самом деле
будет решением только в том случае, когда функция и0 диффе-
дифференцируема.
') При анализе полугрупп со сверткой в предыдущей главе мы ограничи-
ограничивались бесконечно дифференцируемыми функциями, благодаря чему все про-
производящие операторы имели одну и ту же область определения. Столь удоб-
удобного средства нет в общей теории полугрупп.

422 Гл. X. Марковские процессы и полугруппы
б) Как и в § 2, рассмотрим псевдопуассоновский процесс
Х(^) и другой процесс Х# (^)=Х(^)—ct. Соответствующие полу-
полугруппы связаны очевидным образом: значение Q. (t)u в точке х
равно значению Q.{t) -и в точке x + ct. Для производящих опера-
операторов имеем связь
%* = %-с~, A0.6)
так что область определения 31 ограничена дифференцируемы-
дифференцируемыми функциями. Обратное уравнение выполняется только, если
начальная функция и0 имеет непрерывную производную, но не
для произвольных функций. В частности, сами переходные веро-
вероятности не обязаны удовлетворять обратному уравнению. Этим
объясняются как трудности устаревших теорий [обсуждавшихся
в связи с гл. IX, B.14)], так и необходимость принятия неесте-
неестественных условий регулярности при выводе прямого уравне-
уравнения B.1). >
Польза понятия производящего оператора проистекает из
дующего факта: для любой непрерывной1) полугруппы сжатий
область определения 21 плотна в J3?, так что производящий опе-
оператор однозначно описывает полугруппу. Простое доказатель-
доказательство этой теоремы будет дано в гл. XIII, 9.
Эта теорема дает нам возможность обращаться с обратными
уравнениями, не прибегая к излишним ограничениям, и значи-
значительно упрощает вывод этих уравнений. Так, наиболее общая
форма диффузионных операторов, упомянутая в сноске 3 на
стр. 395 § 4, не могла бы быть получена без априорной уверен-
уверенности в том, что производящий оператор на самом деле суще-
существует.
В смысле определения § 8.

ГЛАВА XI
ТЕОРИЯ ВОССТАНОВЛЕНИЯ
Процессы восстановления были введены в гл. VI, 6 и были
иллюстрированы примерами в гл. VI, 7. Теперь мы начнем с
общей теории так называемого уравнения восстановления, с ко-
которым часто приходится сталкиваться в различных вопросах.
Ярким примером применения общей теоремы восстановления
служит предельная теорема § 8. Параграфы 6 и 7 содержат
улучшенные и обобщенные варианты некоторых асимптотиче-
асимптотических оценок, первоначальный вывод которых был трудоемким
и требовал применения глубоких аналитических методов. Здесь
еще раз иллюстрируется та экономия в работе мысли и количе-
количестве аналитических средств, которая достигается за счет обще-
общетеоретического подхода к трудным индивидуальным проблемам.
Анализ задач теории восстановления с помощью преобразова-
преобразований Лапласа см. в гл. XIV, 1—3.
Немало работ было написано и затрачено много сил с целью
освободить теорему восстановления от условия положительности
случайных величин. Ввиду солидной истории вопроса мы вклкн
чим в § 9 новое и сильно упрощенное доказательство общей
теоремы.
Общий обзор литературы, применений и обобщений для случая положи-
положительных случайных величин имеется в статье Смита: Smith W. L., /. Roy.
Statist. Soc. C), 20 A958), 243—302 >). О новых результатах см. статью Чжоу
и Роббинса (Chow Y. S., Robbins H. E, Ann. Math. Statist, 34 A963),
390—401).
§ 1. Теорема восстановления
Пусть F — распределение, сосредоточенное2) на 0, оо. Иными
словами, мы предполагаем, что /7@)=0. Мы не требуем суще-
ствования математического ожидания. Однако в силу условия
') Имеется русский перевод: Смит В., Теория восстановления, сб. пере-
переводов, «Математика», 5:3 A961), 95—150.—Прим. перев.
2) Как показано в задаче 1, при F(Q)>0 (в предположении F(x)=0 при
) существенных изменений не требуется.

424 Гл. XI. Теория восстановления
положительности мы можем принять')
A.1)
о о
где [.i-^oo. При ц, = оо мы условимся интерпретировать символ \гх
как 0.
В гл. VI, 6 мы определили чистый процесс восстановления,
порожденный F. Доминирующую роль при этом играла функция
со
U^^F"*, . A.2)
которая, как было показано, конечна. Значение U(x) равно ма-
математическое ожиданию моментов восстановления на интер-
1 1
вале 0,х (нуль считается моментом восстановления). Сейчас
мы отвлечемся от вероятностного смысла U и будем изучать
чисто аналитическими средствами асимптотическое поведение
функции U [как она определена в A.2)] на бесконечности.
Лучше всего представлять себе U как меру, сосредоточенную
на 0, оо. Интервалу I = a,b соответствует мера U{I} = U(b)—•
— U(а). Как обычно, мы обозначаем через I + t интервал
a + t,b + t, получаемый из / сдвигом на t. Таким образом,
U{I+t} = U(b + t)— U(a + t). Отметим, что нуль является атомом
этой меры. Соответствующий вес равен 1 и вносится членом F0*
ряда A.2).
Допустим сначала, что все точки роста F принадлежат после-
последовательности К, 2А, ЗА, . . . . Согласно определению 3 из гл. V, 2,
подобное распределение называется арифметическим, а наи-
наибольшее Я, обладающее указанным свойством, называется ша-
шагом F. Теория восстановления, развитая в 1, гл. XIII, 4, пока-
показывает, что в этом случае мера U чисто аналитическая и для
веса ип точки пХ выполняется соотношение ип —> цг1! при
п->оо. Приводимая ниже теорема обобщает этот результат на
случай произвольных распределений'2), сосредоточенных на 0, оо.
Случай арифметического распределения F ради полноты форму-
формулировки упомянут снова.
Теорема 1. (Теорема восстановления.) Если распределе-
распределение F не является арифметическим, то при любом фиксирован-
') По поводу равенства двух интегралов в A.1) см. гл. V, F.3).
2) Случай арифметических распределений был впервые рассмотрен П. Эр-
дёшем, В. Феллером, Г. Поллардом A949). Их доказательство было распро-
распространено Д. Блекуэллом на произвольные положительные величины. В тексте
дано новое доказательство.

§ 1. Теорема восстановления 425
ном /г>0 и t —* оо
h)^±. A.3)
Если же F— арифметическое распределение, то A.3) верно для
h, кратных шагу X.
Прежде чем доказывать теорему1), рассмотрим некоторые из
ее следствий и вариантов. Пусть г — ограниченная функция, рав-
равная нулю на —оо,0. Если ?/(х)<оо при всех х, то свертка Z=
— U*z равна по определению интегралу2)
X
Z{x)=\z(x-y)U{dy), A.4)
который имеет смысл, даже если мера U не ограничена. Для
имеем Z(x)=O. Как было показано в гл. VI, 6—7, важность
функции U объясняется главным образом тем обстоятельством,
что A.4) представляет собой единственное решение уравнения
восстановления
Z = z+F*Z, A.5)
равное нулю при л'<0. Это уравнение в подробной записи имеет
вид
х
z(x)+ J Z(x — y)F[dy}, x>0. A.6)
о
Если z — непрерывная функция, равная нулю вне некоторого
конечного интервала, то, как легко вывести из теоремы 1,
^z(y)dy, t-*oo A.7)
о
для неарифметических F, и
^ n~>oo A.8)
для арифметического распределения F с шагом Л. Это утвер-
ждение не выполняется для произвольных непрерывных функ-
функций 2, так как эти функции могут сильно осциллировать на бес-
бесконечности [пример (г)]. К счастью, осложнений не возникает,
') При первом чтении рекомендуется перейти прямо к § 3.
2) Интервал интегрирования считается замкнутым и указывается только
для ясности; так как функции г и U равны нулю на—со, 0, то интеграл A.4)
равен интегралу от —со до + оо. Это замечание относится ко всем встре-
встречающимся в тексте интегралам типа A.4).

426 Гл. XI. Теория восстановления
если ограничиться функциями z, для которых интеграл в A.7)
является пределом верхних и нижних сумм в следующем
смысле. При фиксированном ft>0 обозначим через гпп и пгп
минимум и максимум z на интервале (п—\)h^x^nh соответ-
ветственно. Предположим, что ряды
о=/гЕ/ял, а = кЛ/пп A.9)
сходятся абсолютно. Их суммы мы назовем нижней и верхней
римановыми с>ммами для данного разбиения. Условимся гово-
говорить, что функция z, определенная на 0, <х>, является непосред-
непосредственно интегрируемой по Риману1), если эти верхние и нижние
суммы существует, и при достаточно малых h a—а<е.
Примеры, а) Пусть 2^0 ограниченная и непрерывная функ-
функция. Обозначим через цп максимум г на интервале п— 1^.х^п.
Легко видеть, что z непосредственно интегрируема тогда и
только тогда, когда ?.и„ < со.
б) Пусть z невозрастающая функция и г(оо)=0. Тогда
?(тл — mn)<^z@), так что или оба ряда в A.9) сходятся, или
оба расходятся. Отсюда следует, что монотонная функция не-
непосредственно интегрируема тогда и только тогда, когда она
интегрируема в обычном смысле.
в) Теперь мы дадим пример интегрируемой непрерывной
функции, которая не является непосредственно интегрируемой.
Пусть а — иррациональное число, 0<а<1. Рассмотрим треуголь-
треугольники единичной высоты с основаниями, лежащими на оси х,
причем середины оснований расположены в точках k + na и
столь малы, что треугольники не пересекаются (здесь k и п —
натуральные числа). Выберем основания столь малыми, чтобы
сумма площадей всех треугольников была конечна. Определим
z как непрерывную функцию, график которой состоит из боко-
боковых сторон этих треугольников и подходящего множества точек
оси х. Так как полная «площадь под графиком» конечна, то
функция 2 интегрируема в обычном смысле. С другой стороны,
существует бесконечно много интервалов (п—l)h^x^.nh, со-
содержащих целиком основание какого-либо из наших треуголь-
') Этот термин не является общепринятым, но само понятие известно со
времени работ Н. Винера по тауберовым теоремам. Для функций, обращаю-
обращающихся в нуль вне конечного интервала 0, а, «непосредственная» интегрируе-
интегрируемость совпадает с обычной интегрируемостью по Риману, однако интеграл
Римана на 0, со определяется обычно с помощью предельного перехода при

§ 1. Теорема восстановления 427
ников. Для таких интервалов тп=\, и потому верхняя сумма о
не может быть конечна.
г) Мы используем предыдущий пример для того, чтобы по-
показать, что A.7) может не выполняться, если z не является не-
непосредственно интегрируемой. Пусть F сосредоточено в точках
1 и 1—а. Тогда U сосредоточено в точках вида k—па. Если
х = г>0 — целое число, то подинтегральное выражение z(x—у)
в [/*г равно единице во всех атомах U. Следовательно, Z (г) =
= U(r) — 1. Мы видим, что функция Z не будет даже ограни-
ограниченной. >
Теорема 2. (Другая форма теоремы восстановления.I)
Пусть z непосредственно интегрируема по Риману и z(x) = 0 при
jc<0. Тогда для неарифметических распределений выполняется
A.7), а для арифметических с шагом X—A.8).
Доказательство эквивалентности обеих теорем. Пред-
Предположим, что F— неарифметическое распределение. Чтобы по-
получить A.3) из A.7), достаточно положить z(x) = \ при 0^Сх:<А
и z(x)=0 при других х. Для доказательства обратного утвер-
утверждения рассмотрим сначала частный случай ступенчатых функ-
функций со ступеньками равной величины.
Пусть при фиксированных /г>0 и п^\ zn(x) — l для
(п— l)h^Cx<nh и zn(x)=Q в других точках. Полагая Zn = U*zn,
мы видим из A.3), что при фиксированном п и tf->oo
Za{t) = U(t-(n-l)h)-U(t-nh)->± A.10)
и что существует верхняя граница Mh для Zn: Zn(t)^CMh при
всех п и t.
Пусть Gft^-О и 2afe<oo. Тогда ступенчатая функция z = "Lahzh
непосредственно интегрируема и для Z=U-&z выполняются не-
неравенства
2*^W<W<2ftft@ + ^2a*- A-11)
k=\ k=l n+l
Так как последнее верно при всех п, то при ^-^оо получаем
AЛ2)
') Теорема 2, несмотря на ее простоту, осталась неотмеченной в литера-
литературе. Можно найти лишь некоторые более слабые замены этой теоремы. При
этом наблюдается к тому же существенная путаница в вопросах взаимо-
взаимозависимости этих теорем. Большие затруднения вызваны искусственными
ограничениями на распределение F,

428 Гл. XI. Теория восстановления
Таким образом, A.7) верно для любой ступенчатой функции
с одинаковыми ступеньками. Пусть z— произвольная непосред-
непосредственно интегрируемая функция. Применяя установленный выше
результат к двум ступенчатым функциям, получаемым при
cik = mh и ah — mk соответственно, мы видим, что все предельные
точки для Z(t) лежат между уг1а и \i~]o. Поэтому A.7) верно
и в общем случае.
Эти же рассуждения после очевидных изменений применимы
и к случаю арифметических распределений. Доказательство за-
закончено. ^
Доказательство теоремы 1. При
z{x) = l—F{x), х>0 A.13)
решение A.4) уравнения восстановления удовлетворяет соотно-
соотношению Z{x) = \ для л:>0. Так как функция z монотонна, то из
A.4) следует, что z(a)[U(x) —U (х— а)]<1. Поэтому разность
U(x)— U(x— ее) ограничена, если только а выбрано достаточно
малым. Так как каждый интервал может быть разбит на интер-
интервалы длины не больше а, то функция ?/{/ + /} будет ограничен-
ограниченной при любом фиксированном конечном интервале /. По тео-
теореме о выборе (теорема 2 из гл. VIII, 6) существует последова-
последовательность чисел 4—*-°° и мера V, такие, что U{tb + dy}->-V{dy}
(следует заметить, что V не сосредоточено на положительной
полуоси).
Пусть теперь z— непрерывная функция, равная нулю вне
некоторого конечного интервала 0, а, и пусть Z снова опреде-
определена по A.4). Тогда
со со
= J z(x — s)U{tk-\-ds}-> J z(x-s)V{ds], A.14)
—со —со
где интеграл в действительности берется по интервалу длины
не больше а. Правая часть представляет собой ограниченную и
непрерывную функцию х, которую мы обозначим через ?. Тогда
Z(th + x)-+?,(x), и так как Z удовлетворяет уравнению восста-
восстановления A.5), то
со
?(*)¦= \t{x-y)F{dy}. A.15)
о
Допустим теперь, что распределение F — неарифметическое.
В следующем параграфе будет показано, что в этом случае ?
необходимо будет константой. Это означает, что предел в A.14)
не зависит от х, т. е. мера V должна быть пропорциональна мере

§ 2. Уравнение ?=/?*? 429
Лебега. Другими словами, мы доказали, что
U{h)-U{tk-h)-+ah, A.16)
где а не зависит от h. Это соотношение отличается от A.3) толь-
только тем, что t пробегает последовательность {tu}. Предыдущие
рассуждения можно применить и для доказательства того, что
оо
Z(**)-*a J z{x)dx A.17)
о
для любой непосредственно интегрируемой функции z.
Для функции z, определенной по A.13), левая часть равна
единице. Эта функция является непосредственно интегрируемой,
если A<оо. Тогда а = ц~1. Если [х = оо, то интеграл, стоящий
справа, расходится и ограниченность Z(th) влечет равенство
ос = 0. Следовательно, константа а не зависит от выбора после-
последовательности {tu}. Но каждая последовательность чисел ^-+оо
содержит подпоследовательность {4}, удовлетворяющую A.16).
Таким образом, теорема верна для всех неарифметических F.
С тривиальными видоизменепиями приведенные рассужде-
рассуждения применимы и к арифметическим распределениям (для них,
впрочем, теорема восстановления была доказана ранее в 1
гл. XIII). >
§ 2*). Уравнение g= F#g
В предыдущем доказательстве использовался тот факт, что
для неарифметического распределения F ограниченными реше-
решениями A.15) могут быть только константы. Мы выделяем дока-
доказательство этого факта ввиду его формального аналитического
характера, и в то же самое время мы установим его и для рас-
распределений, не сосредоточенных на полупрямой. Этот общий ре-
результат будет использован в теореме восстановления в § 9.
Лемма1). Пусть F — распределение вероятностей, не сосре-
сосредоточенное в нуле, и пусть Z, — ограниченное и непрерывное ре-
решение «уравнения свертки»
+ СО
= j Z(x-y)F{dy). B.1)
*) Используется только в теоремах восстановления в § 1 и § 9.
') Эта лемма верна для распределений на любых группах, см. С h о-
quet Q., Deny J., С. R. Acad. Sci. Paris, 250 A960), 799—801.

430 Гл. XI. Теория восстановления
Тогда если F— неарифметическое распределение, то ?(х) =
= const. Если F имеет шаг X, то ? периодична с периодом К.
Доказательство. Предположим сначала, что F— не-
неарифметическое распределение. Примем на время без доказа-
доказательства следующее утверждение:
«Пусть % — равномерно непрерывное ограниченное решение
B.1), и пусть т>0 — точная верхняя граница значений ?. Тогда
существуют интервалы t, t+h сколь угодно большой длины, та-
такие, что 1,{х)> -^ m для всех t<x<t+h».
Рассмотрим теперь любое ограниченное непрерывное реше-
решение уравнения B.1). Пусть г)е обозначает его свертку с нор-
нормальным распределением, имеющим нулевое математическое
ожидание и дисперсию, равную е. Функция це и ее производная
т]'е снова будут решениями уравнения B.1) и потому к ним при-
применимо сделанное выше утверждение. Положим q = sup ц'?(х).
Если q>0, то существует интервал t<x<t+h произвольной дли-
длины Л, на котором ц'г(х)> i/2q. Интегрируя по х, получаем
i#<rle(/ + A)-ll?@<2.sup|C(x)|. B.2)
Так как h произвольно, то отсюда следует, что <7 = 0 и f]g-<0.
Но те же самые рассуждения применимы к —т)Е, так что rje
равно константе. Полагая е—>-0, видим, что ? действительно
равно константе.
Для того чтобы закончить доказательство, нам следует уста-
установить справедливость утверждения, выделенного выше кавыч-
кавычками. Мы произведем это в два этапа.
(i) Предположим, что ? достигает максимума m в некоторой
точке, например в нуле. Уравнение B.1) представляет величину
?@)=т в форме взвешенного среднего значений ?(—у)-^.т, и
потому в каждой точке роста F должно быть ?(—у)—т. Но Z,
удовлетворяет и уравнению свертки ?=/Гг**? при г= 1,2,...,
так что ?(—у)=т в каждой точке у, являющейся при каком-
либо г точкой роста Р*. Другими словами, обозначая буквой
2 множество точек роста F, F2*, F3*,..., имеем ?(—у)=т во
всех точках (/?2. В соответствии с леммой 2 из гл. V, 4, множе-
множество 2 всюду плотно, за исключением того случая, когда F со-
сосредоточено на полуоси. Из плотности ? очевидным образом вы-
вытекает, что ?=const. В исключительном случае мы можем до-
I
пустить, что F сосредоточено на 0, оо (но не в нуле). По той же
лемме Б асимптотически плотно на бесконечности, так что
?(—У) —* tn при у—*оо. Для больших г масса Fr* сосредоточи-

§ 3. Устойчивые процессы восстановления 431
вается «вблизи бесконечности». Полагая г—*оо в соотношении
1=рг*.&^ мы снова видим, что t,(x)=m при всех х.
(и) Таким образом, решение ?, отличное от постоянной, не мо-
может достигать максимума. Поэтому существует последователь-
последовательность U, t2, ...,-»• ±00, такая, что ?,(tn)~*m. Определим функ-
функции t,n равенствами t,n{x) =t,n{tn + x). По предположению функ-
функция ? равномерно непрерывна. Следовательно, последователь-
последовательность {?„} является равностепенно непрерывной и содержит под-
подпоследовательность, сходящуюся равномерно на каждом конеч-
конечном интервале (теорема 3 гл. VIII, 6). Чтобы избежать двойных
индексов, предположим, что ?п —*¦ Ц- Очевидно, что ц = Рхц и
функция ц равномерно непрерывна. По определению верхней
грани ц(х)^.т. Но ц@) —Urn t,{tn) —m и по приведенному выше
результату ц(х)=т при всех х. Таким образом, ?,п(х)-*т рав-
равномерно на 0, h, откуда следует, что при всех достаточно боль-
больших п ?,(s)>l/2tn для tn<s<tn+h. Тем самым лемма доказана
для неарифметических распределений.
Для арифметических F утверждается, что при фиксирован-
фиксированном а значения ?,(а + пк) не зависят от п. Доказательство та-
такое же, как и прежде, с той разницей, что т следует опреде-
определить как точную верхнюю границу указанных значений, а про-
производные следует заменить разностями. >
Лемма может быть интерпретирована и доказана вероятностным путем.
Именно, пусть Хь Хг, ... — независимые случайные величины с одним и тем
же распределением F, и Sn=Xi+ ... +ХП- Уравнение свертки B.1) утвер-
утверждает, что при фиксированном а случайные величины ?(а — Sn_) образуют
мартингал (см. гл. VI, 12). Теорема о сходимости мартингалов из гл. VII, 8
гарантирует существование такой случайной величины U,,, что t,{a — Sn) ->
-> Ua с вероятностью единица. Лемма утверждает, что Ua постоянна всюду,
за исключением множества меры нуль. Это легко вывести из второго закона
«нуля или единицы» (см. гл. IV, 6) ').
§ 3. Устойчивые (возвратные) процессы
восстановления
Мы используем теперь теорему восстановления для вывода
различных предельных теорем для процессов восстановления,
описанных в гл. VI, 6. Мы рассмотрим последовательность вза-
взаимно независимых случайных величин Т4, Т2,... с одним и тем
же распределением F, которые назовем промежутками между
восстановлениями. В этом параграфе мы предположим, что F —
собственное распределение и FF) =0. В дополнение к Th может
') Doob J. L., Snell J. L., Williamson R. E, in Contributions to
Probability and Statistics (сборник в честь Г. Хотеллинга), Стэнфорд, 1960.

432 Гл. XI. Теория восстановления
быть задана неотрицательная случайная величина So, имеющая
собственное распределение Fa- Положим
S/, = S0H-T1H- ... +Т„. C.1)
Случайные величины Sn называются моментами восстановле-
восстановления. Процесс восстановления {Sn} называется чистым, если So =
= 0, и называется процессом с запаздыванием в других случаях.
I— i
Математическое ожидание числа восстановлений на 0, t
равно
V@=SP{SB<*}. C.2)
л = 0
Воспользуемся обозначением U—HF11*, введенным в A.2). Тогда
V=F0*U
(и V=U в чистом процессе восстановления). Таким образом1),
при /г>0
t+ii
h-y)-U(t-y)}FQ{dy}. C.3)
о
Если F — неарифметическое распределение, то при t-yoo
подинтегральное выражение стремится к \xrxh. Поэтому основная
теорема может быть распространена на случай процессов с за-
запаздыванием: если распределение F—неарифметическое, то ма-
|
тематическое ожидание числа восстановлений в t, t + h стре-
стремится к \rxh. В этом утверждении содержатся две теоремы о
равномерной распределенности: во-первых, скорость восстано-
восстановления стремится к константе и, во-вторых, эта константа не
зависит от начального распределения. В этом смысле мы имеем
здесь аналог эргодических теорем для цепей Маркова [см.
1, гл. XV].
Если |i<oo, то V(t) ~\1~Ч при ^->-оо. Естественно поставить
вопрос о том, возможно ли выбрать Fo так, чтобы получить
V(t) =\i~1t, т. е. постоянную скорость восстановления. Но V
удовлетворяет уравнению восстановления
C.4)
и потому V(t)=\rxt тогда и только тогда, когда
t
FQ(t) — \ (t — y)F{dy). C.5)
о
') См. сноску 2 на стр. 425.

§ 3. Устойчивые процессы восстановления 433
Интегрирование по частям показывает, что это эквивалентно
равенству
t
C.6)
Функция Fa является функцией распределения, так что ответ
утвердителен: при начальном распределении C.6) скорость вос-
восстановления постоянна, V(t)—\irlt,
Распределение C.6) появляется и как предельное распреде-
распределение времени ожидания восстановления (или как предельное
распределение величины перескока через некоторый уровень).
Каждому />0 соответствует случайный индекс N(, такой, что
По терминологии гл. VI, 7 случайная величина S\ +i — t назы-
называется остающимся временем ожидания, соответствующим мо-
моменту t. Обозначим через H(t, |) вероятность того, что это
время ^|. Другими словами, H(t, |) — это вероятность того, что
первый после t момент восстановления лежит в интервале
1
t,t + \ или что перескок через уровень t не превосходит |. Это
событие происходит тогда и только тогда, когда некоторый мо-
момент восстановления Sn равен x^-t, а время до следующего мо-
момента восстановления лежит между t — х и t—-х + Ь,. В случае
чистого процесса восстановления получаем, суммируя по всем
х и п,
H(t, l) = \U[dx] [F(t — x + l)-F(t — x)\. C.8)
Этот интеграл содержит % как свободный параметр и имеет
стандартный вид U-*z, где z{t)=F{t+?,) — F(t). Заметим, что
последняя функция является непосредственно интегрируемой1).
Предположим, что распределение F — неарифметическое. Из ра-
равенства
= ${\-F(s))ds C.9)
') Максимум функции г в п,п+1 не превосходит F(n+\+%)—F(n), и
ряд из этих членов сходится.

434 Гл XI. Теория восстановления
получаем предельную теорему
I
±\\-F{s)\ds C.10)
(легко проверить, что это соотношение верно и для процессов
с запаздыванием при любом начальном распределении Fo). Эта
предельная теорема замечательна в нескольких отношениях.
Если |л<оо, то правая часть совпадает с распределением
C.6). Таким образом, при pi<oo остающееся время ожидания
имеет собственное предельное распределение, которое совпадает
с распределением, приводящим к постоянной скорости восстано-
восстановления. В этом примере мы сталкиваемся еще раз со сходи-
сходимостью к стационарному режиму.
Предельное распределение в C.10) имеет конечное матема-
математическое ожидание в том и только том случае, когда F имеет
дисперсию. Это указывает, грубо говоря, на то, что «вероятности
вхождения» 1) ведут себя хуже, чем F. В случае ц = оо имеем при
всех |
)-+0, (З.П)
т. е. вероятность того, что перескок через уровень t превзойдет
сколь угодно большое число |, стремится к единице (для слу-
случая правильно меняющихся хвостов распределения более точная
информация дается в гл. XIV, 3).
Примеры, а) Суперпозиция процессов восстановления. Пусть
даны п процессов восстановления. Соединяя все моменты вос-
восстановления вместе, мы получим некоторый новый процесс. Во-
Вообще говоря, новый процесс не будет процессом восстановления,
однако для него легко подсчитать время ожидания W первого
восстановления после нуля. Мы покажем, что при весьма общих
условиях распределение W приближается к показательному за-
закону, а составной процесс — к процессу Пуассона. Этот резуль-
результат объясняет,, почему многие процессы (такие, как поток вы-
вызовов, поступающих на телефонную станцию) похожи на про-
процесс Пуассона.
Рассмотрим п взаимно независимых процессов восстановле-
восстановления, у которых промежутки между восстановлениями имеют рас-
распределения Fi,. .., Fn с математическими ожиданиями \*,\,. . •
. . . , цп соответственно. Положим
— + ... +-L = 1. C.12)
') См. гл. VI, 7.

§ 3. Устойчивые процессы восстановления 435
Мы потребуем, грубо говоря, чтобы моменты восстановления в
каждом из объединяемых процессов были расположены крайне
редко, так что суммарный эффект складывается из многих малых
частей. Чтобы удовлетворить это требование, мы допустим, что
при фиксированных k и у вероятности Fh{y) малы, а ^велики.
Это предположение оказывается осмысленным в форме предель-
предельной теоремы.
Рассмотрим «стационарную» ситуацию, предполагая, что рас-
рассматриваемые процессы длятся уже длительное время. Тогда для
времени ожидания Wfe ближайшего момента восстановления в
k-м процессе имеем
t
jj-^. C.13)
[Последняя аппроксимация основана на малости Fh{y)\ Время
ожидания W в объединенном процессе равно наименьшему из
Wftи потому
(A)(A)e-. C.14)
Эти рассуждения легко сделать строгими, и при указанных выше
условиях показательное распределение будет предельным при
/г—> оо.
б) Вероятности достижения областей в случайных блужда-
блужданиях. Рассмотрим последовательность независимых случайных
величин Xi, Х2, . . . и их частные суммы
Для положительных Хй случайное блуждание {Yn} представляет
собой процесс восстановления, однако сейчас мы рассмотрим
произвольные Х&. Допустим, что случайное блуждание устой-
устойчиво, так что для любого ?>0 с вероятностью единица найдется
такое п, что Yn>? Если N — наименьший индекс, для которого
это верно, то Yn называется точкой первого вхождения в t, оо.
Случайная величина Yn — t равна перескоку через уровень t
при первом вхождении и соответствует остающемуся времени
ожидания в процессах восстановления. Положим снова P{Yn<!
^О+?} = H{t,\) и покажем, каким образом предельная теорема
для остающегося времени ожидания может быть применена к
этому распределению.
Определим S! как точку первого вхождения в 0, оо и по ин-
индукции определим Sn+t как точку первого вхождения в Sn, оо.
Последовательность Sb S2... совпадает с последовательностью
лестничных высот, введенной в гл. VI, 8, и образует процесс

436 Гл. XI. Теория восстановления
восстановления, так как разности Sn+i — Sn очевидным обра-
образом независимы и имеют такое же распределение, как St. Раз-
Разность YN — t есть остающееся время ожидания в процессе вос-
восстановления {Sn}, так что можно применить C.10). {>
Методом, использованным при доказательстве C.10), можно
показать, что прошедшее время ожидания t—Sjj/ имеет то же
самое предельное распределение. Для длины промежутка Lt =
= Sn +i — Sn между восстановлениями, содержащего t, имеем
t
Р {L, <|} = J U \dx\\F &)- F (t - х)}. C.15)
Следовательно,
i &
HmP{L,<l}=-i \[F(l)-F(y)]dy = ± f xF {dx). C.16)
Любопытные следствия этой формулы обсуждались в связи с
«парадоксом контроля» в гл. VI, 7 и «парадоксом времени ожи-
ожидания» в гл. I, 4.
Легко видеть, что три семейства случайных величин t—SN , SN +1 t,
L( суть однородные марковские процессы. Доказанные нами три предельные
теоремы следуют из эргодических теорем для марковских процессов (см. так-
также гл. XIV, 3).
§ 4. Уточнения
В этом параграфе мы покажем, как отражаются на поведе-
поведении решений уравнения восстановления
t
Z(t-y)F{dy] D.1)
предположения о регулярности распределения F промежутков
между восстановлениями. Сами по себе результаты не так уж
восхитительны, но они важны для многих применений, а их вы-
вывод методологически интересен. Чтобы избежать тривиальностей
(и повторений сказанного в 1, гл. XIII), мы предположим, что
распределение F— неарифметическое.
При fx<co из теоремы восстановления вытекает, что U(t) ~
~t/\n. Наша первая цель —оценить разность
U{t)-L D.2)

§ 4 Уточнения 437
в случае, когда F имеет дисперсию а2. Эта функция, как можно
понять из доказательства C.6) или проверить непосредственно,
удовлетворяет D.1) с
D-3)
Интегрируя по частям, получаем
^ D.4)
Так как функция z монотонна, то по второй теореме восстано-
восстановления заключаем, что для неарифметического распределения F
с дисперсией а2 имеем
±«±? D.5)
Этот результат значительно сильнее самой теоремы восста-
восстановления. Если F имеет моменты более высокого порядка, то
можно дать дальнейшие уточнения. Если |л<оо, но дисперсия
не существует, то D.5) выполняется с заменой правой части
на оо.
Пример. Пусть F — равномерное распределение на 0,1. Из
формулы свертки для равномерного распределения легко полу-
получить, что
—1)V-* (t~k]k) при й<^<л + 1. D.6)
Эту формулу часто открывают заново в теории очередей, но она
мало говорит о природе U. Асимптотическая формула O^CU(t)—¦
—2t->2/3 значительно интереснее. Она кажется тривиальной
в настоящем контексте, но вне него это не так; [STAM Rev,
vol. 5 A963), 283—287]. -
Перейдем теперь от асимптотических свойств к свойствам
гладкости. Допустим, что F имеет плотность /, и рассмотрим
уравнение восстановления
х
a{x)=.f{x)+ju{x-y)f(y)dy. D.7)

438 Гл. XI. Теория восстановления
Мы знаем, что его решение единственно. Интеграл Z от функции
и удовлетворяет D.1) с z=F, следовательно,
t>0. D.8)
Таким образом, если исключить атом в нуле, то U имеет плот-
плотность и, к которой применима теорема восстановления (в пред-
предположении, что / достаточно правильна, например, если /, на-
начиная с некоторого места, монотонна). При такого рода усло-
условиях U имеет плотность и, такую, что u(t) —«-[i.
Плотности, не являющиеся непосредственно интегрируемыми, вряд ли
могут встретиться в практических задачах. Однако и относительно них мы
ыожем сделать некоторые заключения. В самом деле, рассмотрим плотность
t
М0= J fV-y)fiy)dy D.9)
о
распределения FXF. Вообще говоря, f% «много лучше», чем f. Например,
если f<M, то из D.9) и соображений симметрии получаем
D.10)
Правая часть монотонна и интегрируема при ц<оо. Разность и — f есть ре-
решение уравнения восстановления D.1), соответствующее r=fz. Таким обра-
образом,
B(f)_f (*)->!. D.11)
Мы получили это предельное соотношение при всего лишь двух условиях:
р<со« / ограничена. Из сказанного следует, что если колебания f велики,
то и изменяется так, что компенсирует их. Рассуждения, которые мы ис-
использовали, часто применимы и приводят к сильным результатам.
§ 5. Центральная предельная теорема
Рассмотрим для простоты чистый процесс восстановления и
—i
-обозначим через Nt число моментов восстановления на 0, t (ис-
(исключая нуль). Событие {N(>r} равносильно тому, что г-н мо-
момент восстановления находится на 0, t. Поэтому
P{N4>r} = P*@. E.1)
Следовательно, знание Fr* позволяет нам в принципе вычислить
распределение N(. Точные вычисления затруднительны, но, зная
асимптотическое поведение Fr*, можно получить асимптотиче-

§ 5. Центральная предельная теорема 439
ские формулы для распределения N(. Для случая когда F имеет
конечное математическое ожидание ц и конечную дисперсию о2,
это было проделано в 1, гл. XIII, 6. Рассуждения не связаны
с арифметическим характером распределения F, так что спра-
справедлив следующий общий результат: если F имеет матема-
математическое ожидание \к и дисперсию о2, то при больших / число-
N( моментов восстановления распределено асимптотически нор-
нормально с математическим ожиданием tix~l и дисперсией to2\i~3.
Пример, а) Счетчики первого типа. Поступающие частицы
образуют пуассоновский поток. Частица, попадающая в счетчик
в момент, когда он работает, регистрируется, но «закрывает»
счетчик на фиксированное время |. Частицы, достигающие счет-
счетчика в то время, когда он «закрыт», не регистрируются. Для
простоты рассмотрим процесс с того момента, когда новая ча-
частица попадает в работающий счетчик. Мы имеем два процесса
восстановления. Первый процесс — входной поток. Это процесс
Пуассона, т. е. промежутки между появлениями частиц имеют
показательное распределение 1—e~ct с математическим ожида-
ожиданием с и дисперсией с~2. Последовательные регистрации обра-
образуют вторичный процесс восстановления. Промежутки между
последовательными регистрациями представляют собой суммы
g и показательно распределенных случайных величин. Поэтому
их математическое ожидание равно | + с~', а дисперсия — с2.
Таким образом, число регистрации на временном интервале О, t
распределено приблизительно нормально с математическим ожи-
ожиданием /сA + с|)"' и дисперсией tc{\+c%)~z.
Из того что эти величины различны, следует, что число ре-
регистрации не подчиняется распределению Пуассона. В свое вре-
время не было отчетливого понимания того факта, что процесс ре-
регистрации существенно отличается от первоначального процесса.
Результаты наблюдений привели некоторых физиков к ошибоч-
ошибочному заключению, что ливни космических частиц не имеют пуас-
соновского характера «чистой случайности».
Предельное распределение для N/ существует тогда и только тогда, ко-
когда F принадлежит области притяжения некоторого закона. Области при-
притяжения описаны в гл. IX, 8 и XVII, 5, откуда можно вывести, что Nj имеет
собственное предельное распределение тогда и только тогда, когда
E.2)
где L — медленно меняющаяся функция и 0<ос<2. Предельное распределение
для N; легко вычислить. При этом обнаруживаются парадоксальные свойства
флуктуации. Их поведение существенно различно при а<1 и а>1.
Рассмотрим случай 0<а<1. Если аг выбраны так, что
r{\-F{aT)]-*-^-, E.3)

440 Гл. XI. Теория восстановления
то FT*(arx) -> Ga(x), где Ga — одностороннее устойчивое распределение с
р=\, <?=0, описанное в гл. IX, (8.18) [см. также гл. XVII, E.20) и гл. XIII, 6].
Пусть г и t возрастают таким образом, что t~aT-x. Тогда из E.2) и E.3) с
учетом того, что функция L медленно меняющаяся, получаем
2 —а х~а
Г~-^Г 1-F(t)' <5'4>
откуда по E.1)
\^=^a} E.5)
Это соотношение — аналог центральной предельной теоремы. Частный случай
а = -=- содержится в теореме 2 из 1, гл. XIII, 6. Неожиданные черты по-
поведения N( связаны с нормирующим множителем 1-—F(t) в E.5). Грубо
говоря, 1—F(t) имеет порядок t~a, так что величина N( имеет порядок ta',
плотность моментов восстановления должна неограниченно убывать (что со-
согласуется с асимптотическим поведением вероятностей достижения барьеров).
При 1<а<2 распределение F имеет математическое ожидание |х< со и
вычисления, аналогичные проделанным выше, показывают, что
где K(t) удовлетворяет соотношению
В этом случае среднее число моментов восстановления растет линейно,
однако наличие нормирующего множителя }. (t) показывает, что случайные
отклонения от среднего могут быть весьма велики.
§ 6. Обрывающиеся (невозвратные) процессы
Общая теория процессов восстановления с несобственным
распределением F почти тривиальна. Однако соответствующее
уравнение восстановления часто встречается в различных «ма-
«масках», когда случайные черты затемняют общее основание. Ясное
понимание этого основного факта позволит избежать громоздких
рассуждений в отдельных применениях. В частности, асимптоти-
асимптотическая формула теоремы 2 влечет результаты, для доказатель-
доказательства которых ранее использовался в специально преобразован-
преобразованном виде аппарат уравнений Винера — Хопфа.
Чтобы избежать путаницы в обозначениях, мы будем исполь-
использовать для исходного распределения букву L (вместо F). Ины-
Иными словами, в этом разделе L обозначает несобственное распре-
распределение вероятностей с L@)=0 и L(oo)=Lx<\. Оно играет
роль распределения (несобственных) промежутков Тй между
последовательными восстановлениями, причем «дефект» 1—Loo
равен вероятности обрыва процесса. Начало координат на оси
времени считается моментом восстановления с нулевым номе-

§ 6. Обрывающиеся (невозвратные) процессы 441
ром, a Sn = Ti+ ... +Т„ представляет собой д-й момент восста-
восстановления; это несобственная случайная величина с распреде-
распределением Ln*, которому соответствует полная масса Ln*(oo) =
= L%o. «Дефект» 1 — Z,?, равен вероятности обрыва процесса до
п-го момента восстановления. Положим снова
со
U=^L"*. F.1)
л-0
Как и в случае возвратных процессов, U(t) равно математи-
математическому ожиданию числа моментов восстановления в интервале
1 — |
О, t. На этот раз, однако, математическое ожидание полного чис-
числа восстановлений является конечным и равно
U(oo) = T-L-. F.2)
Вероятность того, что я-й момент восстановления Sn будет по-
последним и при этом -«Сл;, равна A — Lo0)Ln*(x). Таким образом,
верна
Теорема 1. Обрывающийся процесс восстановления, начи-
начинающийся в начале координат, оканчивается с вероятностью
единица. Момент обрыва М (т. е. максимум последовательности
О, Si, S2,. . .) имеет собственное распределение
P{M<x}=(l-Loo)U(x). F.3)
Вероятность того, что я-й момент восстановления будет послед-
последним, равна A—L^Lto' т. е. число моментов восстановления
имеет геометрическое распределение.
Эти результаты возможно изложить и в терминах несобствен-
несобственного уравнения восстановления
Z(t-y)L{dy], F.4)
но при несобственном распределении L соответствующая тео-
теория тривиальна. В предположении, чго г(д:)=0 при х^.0, един-
единственное решение задается формулой
t
Z{t)=\z{t-y)U{dy) F.5)
о
и, как очевидно, j
f^-, F.6)
если только 2@—>-z(oo) при /->-оо.

442 Гл. XI. Теория восстановления
Примеры, а) Событие {М4^} происходит, если процесс за-
заканчивается на So или если Tt принимает некоторое положитель-
положительное значение y~?Ct и остающийся процесс «доживает» до момен-
момента ^О— у. Таким образом, Z(t) =P{M-C^} удовлетворяет урав-
уравнению
t
\y)L{dy). F.7)
Это уравнение эквивалентно F.3).
б) Вычисление моментов. В последнем соотношении соб-
собственное распределение Z представляется в виде суммы двух не-
несобственных распределений: одно определено, как свертка, а
другое имеет единственный атом в нуле. Чтобы вычислить ма-
математическое ожидание Z, положим
{dx). F.8)
Аналогичное обозначение примем и для других распределений
(как собственных, так и несобственных). Так как L— несоб-
несобственное распределение, то свертка в F.7) имеет математиче-
математическое ожидание Loo- EZ + EL. Таким образом, Ez=EL/(l—Ь^).
Для более общего уравнения F.4) подобным же путем получаем
Е 4-Е,
Ez= *\ L ¦ F.9)
Моменты более высокого порядка могут быть подсчитаны этим
же методом. >
Для применений важно установить асимптотические оценки
для Z(oo)—Z{t). Это легко сделать, если несобственное распре~
деление L обладает тем свойством, что для некоторого %
. F.10)
Если такое число существует, то оно, очевидно, единственно и
и>0. Введем теперь собственное распределение вероятностей L
равенством
L*[dy}=e*yL{dy} F.11)
и сопоставим каждой функции / новую функцию /#, определен-
определенную соотношением
*

§ 6. Обрывающиеся (невозвратные) процессы 443
Достаточно взглянуть на F.4), чтобы понять, что выполняется
уравнение восстановления
i
Z* (/) = ** (/) + \z*tt- У) ^ Ш F.12)
о
и что к нему применима теорема восстановления из § 1. Если
Z* (t)->a>0, то Z(t)~ae~xt. Если Z имеет положительный пре-
предел, то мы можем применить те же самые рассуждения к раз-
разности Zi(t) =Z(oo) —Z(t), которая удовлетворяет F.4) с заме-
заменой z на
2j (t) = Z (со) — z(t)-\-Z (со) Т~, • F.13)^
Легко проверить, что интеграл от zf (t) = zl(t)eKt равен правой
части F.14). Поэтому верна
Теорема 2. Если выполняется F.10), то решение уравнения
восстановления удовлетворяет условию
*x[z(oo)—z(x)]dx F.14)
F.15)
при дополнительном предположении, что ц* <оо и что подинте-
гральное выражение1) F.14) имеет порядок О(х~х-&) при неко-
некотором е>0.
Для частного случая F.7) получаем
Р{М>;)~ '"^гЧ F.16)
В следующем параграфе мы покажем, как поразительно сильна
эта оценка в применениях.
Случай ?со>1. Если Ь„>\, то существует константа %<0, такая, что
F.10) верно, и тогда описанное выше преобразование сводит интегральное
уравнение F.4) к F.12). Теорема восстановления приводит, таким образом,
к точным оценкам асимптотического поведения Z(t)eKt. [Дискретный случай
охватывается теоремой 1 из 1, гл. XIII, 4. О применениях в демографии см.
пример 1, гл. XII, E, в). Формулировку в терминах преобразований Лап-
Лапласа см. гл. XIII, F, в).]
') Это условие нужно лишь для того, чтобы обеспечить выполнение тре-
требования «непосредственной интегрируемости» во второй теореме восстановле-
восстановления. С очевидными видоизменениями теорема 2 верна и в случае ц* =
= оо.

444 Гл. XI. Теория восстановления
§ 7. Применения
Как уже указывалось, теория предыдущего параграфа мо-
может быть применена к задачам, которые не связаны непосред-
непосредственно с процессами восстановления. В этом параграфе мы
дадим два не зависящих друг от друга примера.
а) Крамеровская оценка для риска. В гл. VI, 5 было пока-
показано, что в решении задачи о разорении в обобщенном пуассо-
новском процессе, а также в решении проблем, связанных с раз-
размером хранилищ, назначением пациентов и т. п., используется
Г
распределение R, сосредоточенное на О, оо и удовлетворяющее
интегро-дифференциальному уравнению
Z
R'{z) = ±R(z)-± j R(z-x)F{dx], G.1)
где F — собственное распределение1). Интегрируя G.1) на 0, t
и производя очевидное интегрирование по частям, получаем
t
R(t)-R(O) = ± j R(t-x)[\-F(x)]dx. G.2)
о
Здесь ^@)—неизвестная постоянная, но в остальном G.2)
представляет собой уравнение восстановления с несобственным
распределением L, имеющим плотность (а/с)[1—F(x)]. Обозна-
Обозначим математическое ожидание F через ц. Тогда полная масса L
равна L0O = a(j./c. [Рассматриваемый процесс имеет смысл только
при LOO<1, так как в противном случае R(t)=O при всех /.] За-
Заметим, что G.2) является частным случаем F.4) и что /?(оо) = 1.
Вспоминая F.6), получаем
1 —-2L. G.3)
С
Подставляя это значение в уравнение G.2), мы приведем его
к уравнению вида F.7) для распределения времени жизни М
обрывающегося процесса, в котором промежуток между сосед-
соседними восстановлениями имеет распределение L. Из F.16) сле-
следует, что если существует константа х, такая, что
оо
у J e**[l— F(x)]dx=\ G.4)
о
') Это специальный случай гл. VI, E.4) с распределением F, сосредото-
сосредоточенным на 0,оо. Он будет рассмотрен с помощью преобразований Лапласа
в гл. XIV, B,6). Общую ситуацию см. в гл. XII. E. г).

§ 7. Применения 445
и
оо
ц# = ^- f екхх[\ — F(x)]dx<oo, G.5)
о
то при t —* оо
'l_4L\e-4 G.6)
с
Это известная оценка, принадлежащая Крамеру. Моменты R
могут быть вычислены, как указано в примере F.6).
б) Пробелы в процессе Пуассона. В гл. VI, 7 мы вывели
уравнение восстановления для распределения У времени ожида-
ожидания первого пробела длины !>? в процессе восстановления. Ког-
Когда этот процесс является процессом Пуассона, то промежутки
между последовательными восстановлениями распределены по-
показательно, и уравнение восстановления гл. VI, G.2) имеет
стандартную форму V = z+V#¦L с
с при х < I,
' ПрИ Х^>1 '
ПРИ *<}' G.8)
при *>?. v ;
Так как г(оо) = 1—L^, то решение V будет собственным рас-
распределением вероятностей, что соответствует смыслу задачи.
Моменты рассматриваемого нами времени ожидания W
легко вычислить методом, описанным в примере F, 6). Мы по-
получаем
G.9)
Var (W) = Хс2 1^е .
Условимся интерпретировать W как время ожидания пеше-
пешеходом возможности пересечь поток машин. Тогда указанные
формулы показывают, как влияет на ответ возрастание плот-
плотности потока. Математическое ожидание числа машин, проходя-
проходящих за время, необходимое для пересечения потока, равно с%.
Полагая с|=1,2, видим, что E(W)«1,72? и E(W)^3,2| соответ-
соответственно. Дисперсия возрастает от (примерно) g2 до 6?2. [Явное
решение и связь с теоремой о покрытии указаны в примере
гл. XIV, B, а).] Можно применить асимптотическую оценку, да-
даваемую теоремой 6.2. При с|> 1 основное уравнение F.10)

446 Гл. XI. Теория восстановления
СВОДИТСЯ К
се(х-с)|=И) 0<х<с, G.10)
и стандартными вычислениями мы выводим из F.14), что
§ 8. Существование пределов в случайных процессах
Сила теоремы восстановления наиболее ярко демонстри-
демонстрируется, пожалуй, тем, что она позволяет без всяких усилий дока-
доказать существование «стационарного режима» в обширном классе
случайных процессов. От самого процесса мы потребуем лишь,
чтобы рассматриваемые вероятности были определены. В про-
противном случае теорема имеет чисто аналитический характер1).
Рассмотрим случайный процесс со счетным множеством со-
состояний Ео, Ei, ... и обозначим Ph(t) вероятность состояния Ек
в момент />0. Нижеследующая теорема опирается на существо-
существование «рекуррентных событий», т. е. моментов, в которые про-
процесс как бы начинается заново. Более точно мы предполагаем,
что существует момент S4, такой, что течение процесса после Si
является точной вероятностной копией всего процесса, начинаю-
начинающегося в момент 0. Отсюда вытекает существование целой после-
последовательности моментов S2, S3, ... с тем же самым свойством.
Последовательность {Sn} представляет собой возвратный про-
процесс восстановления. Мы допустим, что среднее время между
восстановлениями (x=E(S4) конечно. Обозначим Pk(t) услов-
условную вероятность Ек в момент t+s при условии, что S1 = s. Пред-
Предполагается, что эти вероятности не зависят от s. При этих усло-
условиях мы докажем следующее важное утверждение.
Теорема. Предел
WmPk{t)=pk (8.1)
t-^oo
существует, причем Pk^O и 2ра=1-
Доказательство. Пусть quiO —вероятность объедине-
объединения событий: Si>/ и «в момент t система находится в состоя-
состоянии Eii». Тогда
2 ?*(<)=i-
*0
') Более сложные результаты см. в статье Benes V. Е., A «renewal»
limit theorem for general stochastic processes, Ann. Math. Statist., 33 A962),
98—113 или в книге того же автора A963).

§ 8. Существование пределов 447
где F — распределение «времен восстановления» Sn+i — Sn. По
предположению
\ (8.3)
Так как функция 1 — F монотонна и имеет конечный интеграл ц,
то по второй теореме восстановления
(8.4)
Интегрируя (8.2), видим, что сумма этих пределов равна еди-
единице. Теорема доказана. !>
Примечательно, что существование пределов (8.1) установ-
установлено безотносительно к способу их вычисления.
Замечание. Если Fo — собственное распределение, то (8.1)
влечет
t
\Pb(t-y)Fu[dy}-+pk, * —оо. (8.5)
о
Таким образом, теорема охватывает и случай процесса восста-
восстановления с запаздыванием, в котором So имеет распределение Fo.
Примеры, а) Теория очередей. Рассмотрим систему (типа те-
телефонной станции, почтового отделения или части вычислитель-
вычислительной машины), состоящую из одного или более «обслуживающих
устройств», и пусть Eh обозначает состояние: в системе имеет-
имеется k ожидающих «клиентов». В большинстве моделей процесс
начинается заново, когда прибывающие «клиенты» застают си-
систему в состоянии Ео. В этом случае наша теорема применима
тогда и только тогда, когда с вероятностью единица наступает
такой момент, и когда математическое ожидание времени между
последовательными наступлениями конечно1).
б) Двустепенный процесс восстановления. Допустим, что
имеются два возможных состояния Е^ и Е2. Первоначально си-
система находится в ?4. Последовательные промежутки пребыва-
пребывания в Ei суть случайные величины Х3- с одним и тем же распре-
распределением Ft. Они перемежаются с промежутками пребывания
в Е2, имеющими одно и то же распределение F2- Предполагая,
') Как типичный пример см. задачу об очереди к нескольким обслужи-
обслуживающим устройствам, разобранную Кифером и Волфовицем (цит. в гл. VI, 9).

448 Гл. XI. Теория восстановления
как обычно, что все рассматриваемые случайные величины неза-
независимы, мы получаем «вложенный» процесс восстановления с
распределением промежутков между восстановлениями, равным
F=Fi*F2. Наша теорема применима, если E(Xj) =ni<oo и
E(Y3) =ц2< оо. Очевидно,
и потому при /->оо вероятности состояний Eh стремятся к пре-
пределам
Px{t)-> **' , Р2 (Л -> ^ . (8.6)
Эти рассуждения легко переносятся на случай многостепенных
систем.
в) Дифференциальные уравнения из 1, гл. XVII соответ-
соответствуют случайным процессам, в которых последовательные воз-
возвращения в любое состояние образуют процесс восстановления
требуемого типа. Поэтому наша теорема гарантирует существо-
существование предельных вероятностей в этом случае. Их явный вид
можно легко найти из уравнений, которым они должны удовле-
удовлетворять. [См., например, 1, гл. XVII, G.8). Мы вернемся к бо-
более систематическому изложению этого вопроса в гл. XIV, 9.
Точно такие же рассуждения применимы к полумарковским про-
процессам, описанным в задаче 12 гл. XIV, 10.]
§9*). Теория восстановления на всей прямой
В этом параграфе теория восстановления будет распростра-
распространена на распределения, не сосредоточенные на полупрямой. Что-
Чтобы избежать тривиальностей, мы предположим, что F{—оо,0}>0,
F{0, оо}>0 и что F — неарифметическое распределение. Случай
арифметических распределений требует видоизменений, кото-
которые производятся очевидным образом по аналогии с § 1.
Мы напомним (см. гл. VI, 10), что распределение F невоз-
невозвратно тогда и только тогда, когда
со
?/{/} = 2/=¦"*{/} (9.1)
л = 0
принимает конечные значения для всех конечных интервалов1).
Для таких распределений естественно возникает вопрос: пере-
переносятся ли на них теоремы восстановления § 1? Эта задача ин-
*) Материал не используется в дальнейшем.
') В противном случае ?/{/}= оо для каждого интервала и F называется
возвратным.

§ 9. Теория восстановления на всей прямой 449
тересовала многих математиков, и, пожалуй, не из-за ее важ-
важности, а в основном по причине связанных с ней неожиданных
трудностей. Так, теорема восстановления переносилась шаг за
шагом на различные специальные классы невозвратных распре-
распределений Блекуэллом, Чжуном, Чжуном и Поллардом, Чжуном
и Волфовицем, Карлином и Смитом. Однако общая теорема
была доказана только в 1961 г. Феллером и Ореем с использо-
использованием как вероятностных приемов, так и анализа Фурье. При-
Приводимое ниже доказательство значительно проще и более эле-
элементарно. Заметим, что если F имеет конечное математическое
ожидание, то применимо без изменений доказательство § 1.
Пусть г — непрерывная функция, равная нулю вне некото-
некоторого конечного интервала —h<_x<.h. Тогда свертка Z=U*z
вполне определена равенством
+ оо
Z(x)= J z{x-y)U{dy), (9.2)
— со
так как в действительности область интегрирования конечна.
По теореме 2 гл. VI, 10 функция Z непрерывна и удовлетворяет
уравнению восстановления
Z = z-\-F*Z. (9.3)
По лемме § 2 решение (9.3) определено с точностью до адди-
аддитивной константы.
Теорема 1. Если F имеет математическое ожидание ц>0,
то для всякого конечного интервала I длины /г>0
U[I-+t)-+-, t->oo, (9.4)
U{/-\-t}->0, t-> — co. (9.5)
Эта теорема может быть легко переформулирована по очевид-
очевидной аналогии с теоремой 2 § 1. Асимптотические оценки см.
в задаче 13.
Доказательство. Доказательство теоремы 1 в § 1 начи-
начиналось со вспомогательного утверждения об ограниченности
U{I + t). Это делалось только ради полноты изложения, так как
сам факт был известен из теоремы 2 гл. VI, 10. За исключением
этого пункта, можно дословно повторить рассуждение § 1 соче*
видной интерпретацией A.13) как
z(x) = F°*{x) — F{x). (9.6)

450 Гл XI. Теория восстановления
Подстановка в (9.2) дает Z(x)=F°*(x) (т. е. 1 или 0, в зависи-
зависимости от того, что х^-0 или А'<0). >
Теорема 2. Если F невозвратно и не имеет математиче-
математического ожидания, то при I —> ± оэ ?/{/ + /} —> 0 для каждого конеч-
конечного интервала I.
Доказательство этой теоремы более тонко, и мы предварим
его изучением асимптотического поведения функции Z, опреде-
определенной формулой (9.2).
Л с м м а. Пусть функция г ^- 0 непрерывна и равна нулю для
'X\>h. Тогда]) при фиксированном а
Z(t + a)- Z(/)->0, *->±оо, (9.7)
Z{t)Z{— f)-*0, ^->±oo. (9.8)
Доказательство. Мы знаем из теоремы 2 гл. VI, 10, что
функция Z равномерно непрерывна. Следовательно, по теореме
о выборе (теорема 3 гл. VIII, 6) каждая последовательность чи-
чисел tk—> ±oo содержит подпоследовательность {th}, такую, что
Z(th + x) -> 1{х), где ? — ограниченная непрерывная функция.
Из уравнения восстановления (9.3) вытекает, что Z, = F*t, и по-
потому ?; = const (как показано в § 2). Отсюда следует (9.7), так
как иначе мы могли бы выбрать {th} так, что t,(a) ф?,@).
Для доказательства (9.8) напомним, что lim inf Z(x)—0 (см.
гл. VI, 10). По данному s>0 выберем а так, чго Z(a) <e, и рас-
рассмотрим семейство функций Vх, определенных равенством
Vx(x) = Z(x + a + T)-yZ(x)Z(x), (9.9)
где у — такая постоянная, что \'=1—¦у'И^И^О- Ввиду равно-
равномерной непрерывности Z и ввиду (9.7) можно найти такое то,
что
Z(x-\-a-\-x)-—Z(T)>— еу' при т > т0, | х | < А. (9.10)
Функция Vx удовлетворяет уравнению восстановления (9.3)
с заменой z(x) на и(х) =z(x + а+х) —yZ(x)z(x). Так как
v(x)^0 при \х\>1г, то из теоремы 2 2) гл. VI, 10 можно сделать
следующий вывод: если функция Vх принимает отрицательш е
') Легко видеть, что (9.8) эквивалентно соотношению U{I+t}U{l)
Обозначим р(/) вероятность попадания в / при случайном блуждании {Sn},
управляемом функцией F. Тогда (9.8) эквивалентно также соотношению
р(/-И)р(/ — ^)->0. Если бы это не имело места, то верошюсть попадания
в окрестность нуля после захода в I + t не стремилась бы к нулю и распре-
распределение Р не было бы невозвратным
2) Для упрощения формулировки эта георема была дана для случая не-
неотрицательных функций. Однако все рассуждения пригодны и для случая
отрицательного минимума.

§ 9. Теория восстановления на всей прямой 451
значения, то она достигает своего минимума в некоторой точке
с \x\<h. В силу (9.10) при т>т0
Vt(*)>-eY'+Y'-ZM- (9.11)
Таким образом, при т>т0 или Z(t)<e, или же \\ (х) ^> 0 при
всех х. В последнем случае для х = —т получаем yZ(—t)Z(t) <^
^CZ(a)<e. В любом случае левая часть (9.8) будет <е/\. >
Доказательство теоремы 2. Из (9.8) следует
lim sup Z(х) = lim sup [Z(x) + Z(— *I = 11. (9.12)
Л"~> _t со д"->со
Допустим, что г]>0, поскольку в противном случае нечего до-
доказывать. Рассмотрим свертки функций Z и z с равномерным
распределением на 0, /, именно
X X
Wt (x) = y I Z ^ dU> w' W = T J z (^) ^- ^9-] 3)
Наша ближайшая цель — показать, что при t —* оо должно иметь
место одно из соотношений
*r\ или ГД0) = | JZ(|/)^->n. (9.14)
-t
В силу (9.7) верхние границы для Z(x) и №Дл') (с фикси-
фиксированным /) —одни и те же. Поэтому максимум Wt будет ^-т].
С другой стороны, Wi удовлетворяет уравнению восстановления
(9.3) с г, замененным на wt. Как отмечалось раньше, отсюда
вытекает, что максимум Wt достигается в точке, где Wt положи-
положительно, т. е. между —h и t + h. Далее для -у/
\l (8.15)
1-х О
Суммарная длина обоих интервалов интегрирования равна х.
Из (9.12) поэтому следует, что при достаточно больших I
Wt(x) < T]-r--f-e. Таким образом, если Wt(x)^-y], то точка х
должна быть близка к /, и Wt(t) должно быть близко к ц.
Если максимум Wt достигается в точке лг^уЛ то, как пока-
показывают аналогичные рассуждения, х должно быть близко к
нулю, a Wt@) — к ц.

452 Гл. XI. Теория восстановления
Мы доказали, что при больших / или Wt(t), или Wt@)
должно быть близко к г). Но из (9.14) и (9.7) следует
(9.16)
В силу непрерывности обеих функций должно быть или Wt{t)—*
-+т| и Wt@) -*0, или же Wt(t) -* 0 и №(@) -+л-
По причине симметрии мы можем допустить, что Wt(t) —* ц>
>0. Вернемся к доказательству леммы и примем, что е>0 и
то>О — заданные числа. При достаточно больших t можно вы-
выбрать т>т0 так, что и Z(x) >т) — е и Z(/ — т) >т) — е [в против-
противном случае было бы №г(^)<г]— в]. По замечанию, следующему
за формулой (9.11), функция VT положительна. Подставляя
x = t — тв (9.9), мы видим, что Z(t + a) >у(ц — еJ. Таким обра-
образом, Z(t)>0 и Z(—t)—>0 при t—> оо. Для каждого ограничен-
ограниченного интервала / теперь получим
U[I — t}-+Q, t-^ + oo. (9.17)
Для завершения доказательства мы, воспользуемся резуль-
результатом примера C,6), касающимся вероятностей достижения со-
состояний в случайном блуждании, управляемом функцией F. Обо-
Обозначим H(t, |) вероятность того, что первое попадание в /, оо
произойдет между t и / + ?•• Интервал I + t по отношению к t + x
занимает такое же положение, как интервал / — х по отноше-
отношению к t. Поэтому
di)U{l-\). (9.18)
о
Возможны два случая. Если координаты точки первого по-
попадания в 0, со (т. е. первая верхняя лестничная высота) имеют
бесконечное математическое ожидание, то H(t, |)->0 при ?->оо
и каждом \. В этом случае в интеграле (9.18) главную роль иг-
играют только большие значения | и в силу (9.17) U{I + t} -*0.
В противном случае Н сходится к некоторому распределению
вероятностей и U{I+t} —>т)'>0. Но это н®возможно, если F не
имеет математического ожидания. В самом деле, рассматривая
первый шаг в случайном блуждании, получим
б >)
Следовательно, функция 1— F(|) интегрируема на 0, оо. Та-
Таким образом, F имеет математическое ожидание, равное —оо
(в очевидном смысле слова). Поэтому случайное блуждание
«уходит» в —оо. Аналог (9.18) для отрицательной полуоси при-
приводит теперь к очевидному противоречию, так как подинтеграль-
ное выражение стремится к ц', в то время как левая часть
стремится к нулю. >

§ 10. Задачи 453
§ 10. Задачи
(См. также задачи 8—15 в гл. VI, 13.)
1. Отбрасывая предположение /г@)=0, мы заменим F распределением
F$ = pH0 + qF, где Но сосредоточено в нуле и p + q=l. Тогда U заменяется
на U* =Ufq. Покажите, что с вероятностной точки зрения это очевидно. Про-
Проверьте утверждение, формально (а) вычисляя свертки (б), из уравнения вос-
восстановления.
2. Выведите из C.4), что Z(t) = V(t) — V(t — h) удовлетворяет стандарт-
стандартному уравнению восстановления с z(t)=F0(t)—F0(t — h). Выведите непо-
непосредственно из теоремы 1.2, что V(t) — V(t — h) ->А/ц.
3. Совместное распределение для прошедшего и остающегося времени
ожидания. В обозначениях C.7) докажите, что при t-> со
со
J V-
x+y
(Указание. Получите уравнение восстановления для левой части.)
4. Стационарные свойства. Рассмотрим процесс восстановления с задерж-
задержкой, с начальным распределением Fo, задаваемым C.10). Вероятность того,
что n-й момент восстановления 5„ лежит между t и t + %, равна Н" (t, g) =
= Fo(t + Q — Fa(t)+F0*H(t,l), Докажите, что ## (t, I) =F0(i) тождественно.
Указание: Проверьте дифференцированием, что Н$ не зависит от t.
5. Максимальное наблюденное время жизни. Пусть V(t, g) —вероятность
того, что максимальный промежуток между восстановлениями, наблюденный
до момента t в стандартном возвратном процессе восстановления, имеет дли-
длительность >?. Покажите, что
I
V{t, l) = l-F(l) + M J V(t — y, l)F{dy).
о
Изучите характер решения.
6. Пусть F — собственное распределение с математическим ожиданием
ц<со, и Z = z+F*Z. Если z(t)~ta при /-»¦ со (с а>0), то Z(t) ~
~/а+1/(х(а+1).
7. Если F — собственное распределение на — постоянная, то интегро-
дифференциальное уравнение Z' = aZ — aZ^F сводится к
t
Z(t) = Z@)+a Г Z (t — *) [1 — F (х)} dx.
о
8. Обобщенные счетчики второго типа. Поступающие частицы образуют
пуассоновский поток. Очередная n-я частица «закрывает» счетчик на время
Tj и аннулирует последействие (если оно было) предыдущих частиц Предпо-
Предполагается, что случайные величины Tj независимы между собой, не зависят от
поступающего потока и имеют одно и то же распределение G. Пусть Y —

454 Гл. XI. Теория восстановления
длина промежутка времени, в течение которого счегчик закрыт, и Z(l) =
= P{Y>/}. Покажите, что Y — собственная случайная величина и
/
Z (t) = [1 — О (t)] еа-' + j Z (t — х) [1 — О (х)\ ае~ах dx.
о
Покажите, что этот процесс восстановления буцет обрывающимся в том и
только том случае, когда G имеет математическое ожидание и,<а~'. Обсудите
применимость асимптотических оценок § 6.
9. Эффект «островков безопасности». [Пример G, б).] Два независимых
пуассоновских потока автомашин с одинаковыми плотностями движутся по
двум сторонам магистрали. Время, необходимое для пересечения магистрали,
равно 2?. Формулы G 9) применимы и в этом случае. Наличие «островка
безопасности» приводит к тому, что время, необходимое для пересечения ма-
магистрали, становится суммой двух независимых случайных величин с мате-
математическими ожиданиями и дисперсиями, определяемыми G.9). Обсудите
практические следствия этого факта.
10. Частицы, попадающие на счетчик, образуют возвратный процесс вос-
восстановления с распределением F. После каждой регистрации счетчик закры*
ваетсп на фиксированное время |, в течение которого поступающие частицы
не оказывают никакого воздействия на счетчик. Покажите, что распределение
для промежутка времени между концом «периода нечувствительности» и
моментом появления очередной частицы задается формулой
Пели F—показательное распределение, то и это распределение будет пока-
показательным.
11. Нелинейное восстановление. Частица имеет показательное время жиз-
жизни, в конце которого она с вероятностью рь, производит k точно таких же
частиц, существующих независимо друг от друга (? = 0, 1, ...). Вероятность
F(t) TOie, что весь процесс оборвется до момента /, удовлетворяет уравнению
t
F(t) = pa(\ - <?-<")+ У^Ръ \ ае-"<*-х)Р* (х) dx.
я-1 0
(Неизвестно никакого общего метода обращения с такими уравнениями.)
12. Теорема восстановления в Si2. Пусть распределение пары (X, Y)
сосредоточено в первом квадранте. Пусть / — интервал 0 <! х, у^.\. Обозна-
Обозначим /+а (гае а — произвольный вектор) интервал, получаемый сдвигом /
на а. Тогда лемма 1 3 может быть обобщена следующим образом. Для любых
фиксированных векторов а и b
U{I + a-Mb) — U{/ + tb}->0 (*)
при /-> оо.
а) Считая это соотношение выполненным, покажите, что из теоремы вос-
восстановления для маргинальных распределений вытекает U{I + tb) -> 0.

§ 10. Задачи 455
б) Покажите, что доказательство леммы 1.3 тривиальным образом при-
применимо ').
13. Пусть F — произвольное распределение в 3ix с математическим ожи-
ожиданием ц>0 и конечным вторым моментом т2. Покажите, что
я-о
где, как обычно, х+ обозначает положительную часть х.
[Указание, Обозначим Z(t) левую часть Тогда Z удовлетворяет стан-
стандартному уравнению восстановления с
— [ F(x) dx, t < 0,
i Г
— [ {\—F(x))dx, t>
Это замечание можно использовать для уточнения опенок, если существуют
моменты высших порядков.]
') Более подходящая формулировка задач теории восстановления для
плоскости была недавно предложена в работе В i с к е 1 P. J., Y a h a v, Re-
Renewal theory in the plane, Ann. Math. Statist., 36 A965), 946—955. Эти авторы
рассматривали математическое ожидание числа попаданий в область, заклю-
заключенную между окружностями радиусов г и r+а при г ->оо.

ГЛАВА XII
СЛУЧАЙНЫЕ БЛУЖДАНИЯ в
В этой главе рассматриваются задачи теории случайных
блужданий с упором на комбинаторные методы и систематиче-
систематическое использование «лестничных величин». Некоторые из резуль-
результатов будут выведены заново (и дополнены) в гл. XVIII мето-
методом Фурье. (В другом аспекте случайные блуждания изучались
в гл. VI, 10.) Мы ограничимся в основном двумя центральными
вопросами. Во-первых, будет показано, что полученные в 1,
гл. III любопытные результаты, относящиеся к бросанию мо-
монеты, переносятся на очень общий случай и что по существу
при этом применимы те же самые методы. Второй вопрос свя-
связан со временем первого прохождения и задачами о разорении.
Стало модным связывать подобные темы с известной теорией
Винера—Хопфа. Однако эти связи не так тесны, как их обыч-
обычно изображают. Они будут обсуждены в § За и гл. XVIII, 4.
Открытие Спарре-Андерсеном в 1949 г. мощных комбина-
комбинаторных методов в теории флуктуации представило всю теорию
случайных блужданий в новом свете. С тех пор отмечается
очень быстрый прогресс, одним из стимулов которого является
неожиданное открытие близкой связи между случайными блуж-
блужданиями и теорией очередей ').
Литература по этой теме обширна и порой способна "запу-
"запутать читателя. Теория, излагаемая на следующих страницах,
так элементарна и проста, что непосвященный читатель никогда
не заподозрил бы, какими трудными были эти задачи до того,
как стала понята их истинная природа. Например, элементар-
элементарные асимптотические оценки § 5 охватывают множество прак-
практических интересных результатов, которые ранее были получены
глубокими методами и подчас с большой изобретательностью.
Параграфы 6—8 почти не зависят от первой части главы.
Вряд ли нужно подчеркивать, что наше изложение является
') Впервые такая связь была отмечена, по-видимому, Лиыдли
(D. V. Lindley) в 1952 г. Он вывел интегральное уравнение, которое теперь
отнесли бы к уравнениям типа Винера — Хопфа.

§ 1. Обозначения и соглашения 457
. односторонним и оставляет в стороне ряд интересных аспектов
теории случайных блужданий (таких, как связи с теорией по-
потенциала или теорией групп) ').
§ 1. Обозначения и соглашения
Всюду в этой главе Хь Х2, ... суть независимые случайные
величины с одним и тем же распределением F, таким, что
0</7@)<1 [случайные блуждания с /7@)=0 охватываются тео-
теорией восстановления]. Указанные величины порождают «случай-
«случайное блуждание», начинающееся в нуле, т. е. последовательность
случайных величин
S0 = 0, SB = X!+ ... +ХЛ. A.1)
Иногда,мы будем рассматривать отрезок (Xj+i, . . . , Xft) данной
последовательности {Xj}. Ее частичные суммы 0, Sj+i — Sj, . • .
.. ., Sft — Sj будут называться отрезками случайного блужда-
блуждания. Индексы будут обычно интерпретироваться как значения
временного параметра. Таким образом, момент п делит все слу-
случайное блуждание на прошедший отрезок и остающийся отрезок.
Лестничные величины были введены в гл. VI, 8. Однако те-
теперь они будут определены заново. Определение основано на
неравенствах и потому существуют четыре типа лестничных вели-
величин, соответствующих четырем возможностям, именно <, <С,
>, Ж Это приводит к двойной классификации, описываемой
само собой понятными терминами: возрастающие и убываю-
убывающие2), строгие и слабые. Возрастающие и убывающие величины
связаны столь же симметрично, как плюс и минус, максимум
и минимум. Однако различие между строгими и слабыми вели-
величинами создает трудности в определениях и обозначениях. Про-
Простейший выход состоит в том, чтобы рассматривать только не-
непрерывные распределения F, так как в этом случае строгие и
слабые величины равны друг другу с вероятностью единица.
Начинающим можно рекомендовать именно этот путь и не де-'
лать различия между строгими и слабыми лестничными вели-'
чинами, хотя такое различие неизбежно в общей теории, с одной
стороны, в таких примерах, как игра с бросанием монеты—
с другой.
') Другие аспекты представлены в книге Спицера A964), хотя там рас-
рассматриваются только арифметические распределения. О комбинаторных мето-
методах, пригодных в многомерном случае, см.: Hobby С, Pyne R., Combina-
Combinatorial results in multidimensional fluctuation theory, Ann. Math. Statist., 34
A963), 402—404.
2) «Ascending» и «descending». В том случае, когда речь будет идти о
точках, мы будем применять термины «верхние» и «нижние». — Прим. перев.

458 Гл. XII. Случайные блуждания в Я{
Рассмотрим последовательность точек (п, Sn) для п=1, 2,. . .
(нуль исключается). Первая строго верхняя !) лестничная точка
(iTi, e%?i) — это первый член указанной последовательности, для
которого Sn>0. Иными словами, </]—это момент первого вхо-
входа на положительную (открытую) полуось, определяемый соот-
соотношениями
{/i = »} = {S,<0, .-.., 8л_,<0, Sn>0}, A.2)
a $g1 = Sy . Величина J^ называется первым лестничным мо-
моментом, а!?,—первой лестничной высотой. Эти случайные ве-
величины остаются неопределенными, если ни одно из событий
A.2) не наступает. Поэтому обе они могут быть не собствен-
собственными 2).
Для совместного распределения (J^, &?\) мы примем обозна-
обозначение
Р {cTi = п, Ж\ < А = Нп (х). A.3)
Тогда маргинальные распределения задаются равенствами
Р {cTi = п) = На (со), я = 1, 2, ... A.4)
Р {е%\ < Jf} = S Я„ (х) = Я(^). A.5)
4 = 1
Обе случайные величины имеют один н тот же дефект, а имен-
именно 1 — Я(оо) >0.
Отрезок случайного блуждания, следующий за первым лест-
лестничным моментом, является точной вероятностной копией всего
елучайного блуждания. Его первая лестничная точка является
второй лестничной точкой всего случайного блуждания и обла-
обладает тем свойством, что
SH>S0, ..., S/; > S,;_,. A.6)
Так мы ее и назовем — второй лестничной точкой случайного
блуждания. Она имеет вид (</i + </2> с?г?1+ е%-2)> где пары
(JY Ш\) и ((/г, ей?2) независимы и одинаково распределены.
Поступая аналогично, мы можем определить третью, четвертую
и т. д. лестничные точки нашего случайного блуждания. Таким
образом, точка (л, S,,) является верхней лестничной точкой, если
она удовлетворяет соотношению A.6). Лестничная точка с номе-
номером г (если она существует) имеет вид (</) -\- ... +c7V, e%?t-+~
+ ••¦ +©?,), г\де пары (J^, e#"ft) взаимно независимы и имею?
одно и то же распределение A.3) [см. рис. 1 в гл. VI, 8].
') См. предыдущую сноску.
2) Задачи 3—5 могут служить иллюстрацией, понятной без общей теории.

§ 1 Обозначения и соглашения 459
Для экономии обозначений мы не будем вводить никаких
новых букв для сумм J'x -f- ...-+- JV и З&'гЛ- •¦•-+- ef&r- Они об-
образуют два (возможно, обрывающихся) процесса восстановле-
восстановления с промежутками между восстановлениями J\ и &ik- В слу-
случайном блуждании, конечно, только J"k играет роль времени.
Отмстим, что сами лестничные точки образуют двумерный про-
процесс восстановления.
Обозначим через фо атомическое распределение с единичной
миыой в н>ле и через
п-0
A.7)
меру, определяющую среднее число лестничных высот (здесь
#°* = фо). Соответствующая несобственная функция распределе-
1
ния, задаваемая равенством \|)(-*:) =г|){—оо, х}, равна нулю при
х<0, а для положительных х ty(x) равна единице плюс среднее
j
число лестничных точек в полосе О, х (время не ограничивается).
Мы знаем, что ty(x) <oo при всех х и что в случае несобственных
лестничных величин
" * A.8)
л-0
Верхние слабые лестничные точки определяются по A.6) с
заменой знака > на >-. Соответствующие величины будут поме
чены дополнительной верхней чертой. Так, J'x — это наименьший
индекс, такой что Si<0,..., S,,_i<0, но Sn^-O Как отмечалось
раньше, утомительная необходимость различать строгие и сла-
слабые величины отпадает, если распределение F непрерывно. В об-
общем случае легко выразить распределение Н для слабых лест-
лестничных высот в терминах распределения Н. Это дает нам воз-
возможность ограничиться единственным распределением, опреде-
определенным в A.5). Событие \&i\ =0} наступает тогда и только то-
тогда, когда случайное блуждание возвращается в нуль без за-
захода в 0, оо, вероятность чего равна
со
?=2 P{s,<o, .... s,,.,<o, sn = 0}. A.9)
[Это событие не может произойти, если Х(>0. Следовательно,
0^Cl,^F@) <1.] С вероятностью I —g первая строгая лестничная
точка совпадает с первой слабой лестничной точкой Следова-
Следовательно,
7/ = &|>0 + A— t,)H. A.10)

460 Гл. XII. Случайные блуждания в з?1
Иначе говоря, распределение первой слабой лестничной точки
является смесью распределения Я и атомического распределе-
распределения, сосредоточенного в нуле.
Вероятность того, что случайное блуждание вернется в нуль
k раз до первого попадания в 0, сю, равна ?йA —?). Математи-
Математическое ожидание числа таких возвращений равно 1/A —?). Эта
величина дает нам ожидаемую кратность каждой лестничной
высоты (т. е. число ее появлений до следующей лестничной вы-
высоты). Следовательно,
Ф = т=гф 0-и)
(см. задачу 7). Простота этих соотношений позволяет нам из-
избежать явного использования распределения Я.
В определении возрастающих лестничных величин было вы-
выбрано положительное направление. Строгие и слабые убываю-
убывающие лестничные величины определяются по симметрии, т. е. с
помощью замены знака > на <. В тех редких случаях, когда
потребуется специальное обозначение, мы будем помечать убы-
убывающие величины верхним индексом «минус». Так, первая стро-
строгая нижняя лестничная точка будет (jT, e%?f) и т. д.
Начиная с этого места, мы будем, как правило, рассматри-
рассматривать строгие возрастающие лестничные величины и всюду, где
не будет опасности путаницы, мы будем отбрасывать прилага-
прилагательные «строгие» и «возрастающие».
Пример. Простое случайное блуждание. В случайных блуж-
блужданиях, изучавшихся в первом томе, распределение F было ато^
мическим и приписывало веса pug точкам 1 и —1 соответ-
соответственно. Лестничные моменты rfk были введены в примере 1,
гл. XIII, A. г), однако лестничные высоты не отмечались ввиду
их тривиального характера: ордината r-й лестничной точки
(если она существует) обязательно равна г. Единственной не«
известной величиной, связанной с распределением Я лестнич-
лестничных высот, является вес, который оно приписывает единствен*
ному атому в точке 1. Но х равно вероятности того, что при не-
некотором й SM = 1. Эта вероятность была вычислена в 1,
гл. XIII и XIV. Нижеследующее вычисление проведено в духе
выкладок этой главы.
Обозначим через х (условную) вероятность возвращения в
нуль, если первый шаг приводит в —1. В момент когда такое
возвращение произошло, условная вероятность попасть в 1 сно~
ва будет равна х. Следовательно, х должно удовлетворять ква-
квадратному уравнению
A.12)

§ 2. Двойственность 461
и, как легко видеть, нам нужен меньший ') корень этого урав-
уравнения. Таким образом, х=1, если p^-q, и x = p/q, если p*Cq. Ве-
Величина 1 —х равна дефекту строгих лестничных величин.
Перейдем к слабой лестничной высоте#г?1. Ясно, что вероят-
вероятность возвращения в нуль без предварительного попадания в
О, оо равна t,=qx. Таким образом, P{M?i = 0} = q при p^q и
Р{-г7&\} = р при p^Cq. Событие <§№ =\ происходит тогда и только
тогда, когда первый шаг приводит в точку 1, так что Р \о№\ —
= \} — р при всех обстоятельствах. >
§ 2. Двойственность
В 1, гл. III мы установили любопытные свойства флуктуа-
флуктуации, возникающих при бросании монеты. При этом были исполь-
зованы простые комбинаторные рассуждения, основанные на
рассмотрении величин (Xi, ..., Хп), взятых в обратном поряд-
порядке. Эти же приемы приведут нас теперь к важным и очень
общим результатам.
При фиксированном п вы вводим п новых случайных ве-
величин равенствами Xi=Xn, ..., Хя = Хь Соответствующие ча-
частные суммы равны S* = Sn — Sn-*' где k = 0, . .. , п. Совместные
распределения величин (So, . . . , Sn) и (So, ..., S,,) совпадают.
Поэтому отображение Xft->XA отображает любое событие Ау
связанное с (So, ..., Sn), в событие Л* равной вероятности. Это
отображение легко представить себе наглядно, поскольку гра-
графики последовательностей @, Si, ..., S,,) и (О, S*, ..., Sn)
получаются один из другого поворотом на 180°.
Пример, а) Двойственным к событию {S^O,. .. , Sre_1<0,
Sm = 0} будет событие {Si>0,. . . , Sn_i>0, Sn==O}. Отсюда сле-
следует, что возвращение в нуль без захода в —-оо, 0 имеет ту же
самую вероятность, что и возвращение в нуль без захода в 0, оо.
Иными словами, вероятность ?,, определенная в A.9), не изме-
изменяется при изменении всех знаков неравенств на противополож-
противоположные. Таким образом, в соотношения, двойственные к A.10) и
A.11) для убывающих лестничных величин, входит то же самое
число ?. >
') Если Хи — вероятность того, что Sn = l при некотором п<&, то
xi=P и xk + \ ^ Р ~*Г Ях\- По индукции заключаем, что хк не превосходит
меньшего корня уравнения A.12). Подобное рассуждение типично для слу<
чаев, где нет единственности.

462 Гл. XII. Случайные блуждания в X1
В этом параграфе мы изучим следствия применения указан-
указанной выше процедуры «обращения» к событию A.6), определяю-"
щему (строгую верхнюю) лестничную точку. Двойственное со-
бытие определяется неравенствами S,, > S,,_b k = \, . . ., п, т. е.
совпадает с событием Sft>0. Таким образом, для всякого интер-
интервала /с0, оо
P{SH>S; при у = 0, ..., п — \ и 8„?/} =
= PjS/>0 при / = 1, ... , п и S,,6/}- B.1)
Левая часть равна вероятности того, что найдется лестничная
точка с абсциссой п и ординатой, принадлежащей /. Правая
часть равна вероятности того, что в момент п произойдет попа-
попадание в / и при этом до момента п не будет заходов на замкну-
, j
тую полупрямую —оо, 0. Определим случайную величину Y,, по
правил): Y(l = l, если это событие наступает, и Yn = 0 в противо-
противоположном случае. Тогда Y = ZY,,^ °° представляет собой число
1
попаданий в / до первого попадания в — оо, 0. То, что эта вели-
величина конечна, никоим образом не очевидно. Однако, суммируя
равенство B.1) по всем п, мы получим справа E(Y) и слева }
[где функция ф{/} определяется в соответствии с A.7)]. Но ty{)
конечна для ограниченных /. Нами установлена тем самым ос-
основная
Лемма о д в о й с т в е и н о с т и. Мера я|>, задаваемая равен-
ствпм A.7), допускает две интерпретации. Пусть /сО, оо, тогда:
а) г|:{/} есть математическое ожидание числа лестничных то-
точек в I.
б) г|){/} есть математическое ожидание числа попаданий в I
до первого захода в —оо,0.
Пример, б) Простое случайное блуждание. В случайном блу-
блуждании, описанном в примере § 1, лестничная точка с ордина-
ординатой k существует тогда и только тогда, когда при некотором п
наступает событие {S,,=/e}. вероятность чего равна 1 при p^-q
и [plq)h при p^Cq. По лемме о двойственности это означает, что
в симметричном случайном блуждании математическое ожида-
ожидание числа попаданий в состояние k~>\ до первого возвращения
в нуль равно единице при всех k. Фантастичность этого резулм
тата можно лучше уяснить в терминологии игры с бросанием
монеты. Наше утверждение состоит в том, что до первого воз-
возвращения на нулевой уровень средний накопленный выигрыш
Петра однажды принимает любое значение k. Это утверждение
обычно порождает недоверие, однако его можно проверить не"

§ 2. Двойственность 463
посредственным вычислением (см. задачу 1). (Наш прежний
вывод о бесконечности математического ожидания времени до
первого возвращения в 0 получается теперь суммированием
по k.) >
Тождество B.1) выполняется и при замене строгих нера->
венств слабыми. Для 1 = 0, со получаем
P{Sn>S0. ..., Sfl>Sn_1}=P{S1>0, ..., S;i>0]. B.2)
Левая часть есть просто вероятность того, что (п, Sn) будет ела»
бой верхней лестничной точкой. Правая часть равна вероятности
того, что первое попадание в —со, 0 не происходит до момента п,
т. е. равна 1 — P{jT<^nj. Если случайная величина JT—соб-
JT—собственная, то сумма этих вероятностей равна математическому
ожиданию E(jT), которое может быть как конечным, так и
бесконечным [см. теорему 2 из 1, гл. XI, 1 или гл. V, F.3)].
Сумма вероятностей, стоящих в левой части B.2), равна ма-
математическому ожиданию числа слабых верхних точек на 0, оо,
т. е. равна ср(оо). Отсюда в силу A.8) и A.11) для случая соб-
собственной величины JT получаем
B.3)
Интерпретация F.3) в случае Я(оо) = 1 очевидна.
Эта формула приводит к некоторым важным заключениям.
Вспомним, что 0<С?<1 (и что ? = 0 для непрерывной F). Мы ви-
видим, что E(JT)<cob том и только том случае, когда //(оо)<1,
т. е. в случае, когда возрастающая лестничная величина J~x
является несобственной. Таким образом, пли одна из этих ве-
величин будет несобственной, или
Е(/0 = сю, E(jT) = oo. B.4)
Если JT — собственная величина и E(jT) < со,'то возрастаю-'
щий процесс восстановления будет обрывающимся. С вероят-
вероятностью единица существует последняя лестничная точка и мак-
максимум
M = max(S0, S1? ...} B.5)
конечен. При условии, что л-я лестничная точка существует, ве-
вероятность ей быть последней равна 1—Н(оо). Поэтому [см.
гл. XI, F.3)]
р {М<л:} =[1 — Я(со)] 1 ЯИМ = [1 — Я(эо)]Ч-(*). B.6)
0

464 Гл. XII. Случайные блуждания в Я1
Рассуждения, предшествующие B.3), показывают, что в ел у*
чае несобственной величины JT сумма вероятностей B.2) равна
бесконечности и, следовательно, #(оо) = 1. Невозможно, стало
быть, чтобы и возрастающий, и убывающий лестничные процес-
процессы были обрывающимися. Таким образом, нами установлена
важная
Теорема 1. Существуют только два типа случайных блу-
блужданий.
(i) Осциллирующий тип: возрастающий и убывающий про-
процессы восстановления возвратны; Sn колеблется с вероятно-
вероятностью 1 между —оо и оо; имеет место B.4).
(и) Уходящий тип (скажем, в —оо). Возрастающий процесс
восстановления обрывается; убывающий процесс является соб-
собственным; с вероятностью единица Sn стремится к — оо и до-
достигает конечного максимума М^-0; выполняются соотношения
B.3) и B.6).
[Блуждания типа (и) очевидным образом невозвратны, но
в числе блужданий типа (i) имеются как возвратные, так и не-
невозвратные; см. конец гл. VI, 10.]
Рассмотрим теперь математическое ожидание лестничной вы-
высоты §6х. Начнем с простого замечания, а именно если величина
<3в\ — собственная и E(e%?i)<oo, то X! имеет математическое
ожидание E(Xi)^-0. В самом деле, возьмем обычное разложение
Х„ = Хв~—Х^" случайной величины Х„ на положительную и отри-
отрицательную части. Ограничиваясь первым шагом случайного блу-
блуждания, видим, что Р \$в\ > х] ^> Р {X] > х) и потому Е (Xi+) <;
<;E(d%?j)<co [см. гл. V, F.3)]. Из того что величина &в\ соб-
собственная, вытекает, что с вероятностью единица при бесконечно
многих п суммы Sn будут положительными. Следовательно, для
бесконечно многих п
гГ1 (ХГ + ... + Х-) < пГ1 (ХГ + ... + Xt).
В силу усиленного закона больших чисел ') правая часть остает-
остается ограниченной с вероятностью единица, в то время как левая
часть сходится к E(Xf). To есть это математическое ожидание
не превосходит Е (Xi+), так что Х4 в самом деле имеет конечное
неотрицательное математическое ожидание.
') См. теорему 2 гл. VII, 7. Этот § 7 помечен звездочкой, и приводимое
здесь доказательство может быть опущено, поскольку мы дадим в свое время
и аналитическое доказательство нижеследующей теоремы. Отметим попутно,
что к положительным случайным величинам усиленный закон больших чисел
применил и при бесконечном математическом ожидании, что можно показать
с помощью обычного урезания.

§ 2. Двойственность 465
Перехвдя к обратному утверждению, допустим сначала, что
0<E(Xi)<oo. Мы покажем, что в этом случае E(s%?i)<oo и
Е(^?1) = Е(<Г,)Е(Х1). B.7)
Из B.3), меняя ролями положительные и отрицательные зна-
значения, получаем E(J\)<oo. Рассмотрим теперь подпоследова-
подпоследовательность последовательности {Sn/«}, образованную теми п, ко-
которые соответствуют лестничным моментам. Член этой подпо-
подпоследовательности с номером k равен
так что при ?->-оо это отношение с вероятностью единица схо-
сходится к Е(Х4). Деля числитель и знаменатель на k, видим, что
отношение B.8) сходится и к Е (оЖ^/Е (J",). Поэтому если
E(Xi) существует и положительно, то B.7) верно.
Такие же рассуждения показывают, что из Е(Х4)=0 выте-
кает E(J'1)=oo (однако &6\. может иметь при этом как конеч-
конечное, так и бесконечное математическое ожидание; см. задачу 11).
По теореме 1 случайное блуждание будет осциллирующим '). Та-
Таким образом, доказана
Теорема 2. Если Е(Х4) конечно и положительно, то<Ш\ и
<7*i — собственные величины с конечными математическими ожи-
ожиданиями. При этом верно B.7).
Если Е(Х1) = 0, то $&1 и $х — собственные величины и
Е (ЗГ1) = со.
В других случаях или блуждание уходит в —оо (тогда
tf\ii?f6\ — несобственные величины) или E(J\)=oo uE(q%,\) =
= оо.
Справедливость B.7) была впервые доказана А. Вальдом
в значительно более общей обстановке (в связи с последова-
последовательным анализом). Об этом будет идти речь в гл. XVIII, 2.
Мы увидим несколько аналитических доказательств2) B.7) (см.
задачи 10—11 и 20 и гл. XVIII, 2 и 4).
') Теорема 4 гл. VI. 10 содержит более сильный результат, а именно что
при Е(Х[) =0 случайное блуждание возвратно.
2) Следующее простое доказательство основано на привлечении мартин-
мартингалов. Пусть Е(Х])=ц>0. Случайные величины Sn— Щ образуют мартин-
мартингалы. Свойство мартингалов сохраняется и при «правиле остановки», в соот-
соответствии с которым процесс останавливается при первом входе случайного
блуждания в 0,оо (см. следствие в гл. VI, 12). Самая последняя случайная
величина равна при этом &€х — J'jii и имеет, как можно показать, нулевое
математическое ожидание. Из теоремы 1 мы знаем, что Е(^)<оо, так что
B.7) верно

466 Гл. XII. Случайные блуждания в
§ 3. Распределение лестничных высот.
Факторизация Винера — Хопфа
Вычисление распределений лестничных высот, т. е. Н и П,
на первый взгляд кажется устрашающей проблемой, и именно
так ее первоначально воспринимали. Однако лемма о двойствен-
двойственности приводит к простому решению. Идея состоит в том, что
1
первый вход, скажем, в —оо, 0 следует рассматривать вместе с
предшествующим ему отрезком случайного блуждания. Мы при-
приходим к изучению видоизмененного случайного блуждания {S,,},
обрывающегося в момент первого входа в —оо, 0. Обозначим
через г|),г несобственное распределение вероятностей для поло-
положения в момент п в этом ограниченном случайном блуждании.
Иными словами, для любого интервала / и л=1,2,... положим
^{/} = P{S,>0, ..., Sn>0, Sn6/} C.1)
(заметим, что отсюда след\ет равенство •§„{—оо,0} = 0). Как и
прежде, -фо обозначает распределение вероятностей, сосредото-
сосредоточенное в нуле. Формула B.1) показывает, что г|)„{/} равна ве-
вероятности того, что (n, S,,) есть лестничная точка с $п?/. Сум-
Суммируя по всем п, получаем
со
4>{/} = S *„{'}. C--;)
л-0
где г|э — «функция восстановления», введенная в A.7). Другими
словами, для любого интервала /, расположенного на открытой
положительной полуоси, ty{I} равно математическому ожиданию
числа (строго верхних) лестничных точек, ординаты которых
принадлежат /. Положим для интервалов / отрицательной полу-
полуоси г|){/} = 0. Заметим, что ряд C.2) сходится для любого огра-
ограниченного интервала / (по может расходиться для / = 0, оо).
Этот неожиданный результат1) делает всю последующую тео-
теорию невероятно простой.
|
Изучение первого входа в —оо, 0 — это изучение слабо убы-
убывающего лестничного процесса и (в обозначениях § 1) точки
первого входа e%?f и ее распределения II'. Для облегчения типо-
типографского набора заменим Ц~ на р. Вероятность того, что пер-
I
вый вход в —оо, 0 происходит в момент п и внутри интервала /,
') В вероятностных терминах это означает, что в любом случайном
блуждании для любого ограниченного интервала / математическое ожидание
|
числа попаданий в / до первого входа в — со, 0 является конечным.

§ 3 Распределение лестничных высот 467
обозначим через р„{/}, т. е. при п = 1, 2,...
Pe{^=P(S1>0, ..., Sn_,>0, S,,<0, SB?/} C.3)
(отсюда вытекает, что р„{0, оо} = 0; ро не определено). На этот
раз очевидно, что ряд
Р {/} = 2 Р„ [Ц C-4)
n=i
сходится и определяет (возможно, несобственное) распределе-
распределение точки первого входа (т. е. еЛ?Г).
Легко вывести рекуррентные соотношения для фР и р„. В са-
самом деле, условная вероятность события SH+i?/ при условии,
что S,, = (/, равна F{1— у}, где / — у— интервал, получаемый
сдвигом / на —у. Таким образом,
9п<гЛ1\= \^n{dy}F[I— у], если /с — оо, 0, C.5а)
о-
Ч1«+1{Л= \^n{dy\F{I -У\, если /сО, оо C.56)
о-
(иуль дает вклад в интеграл только при п = 0). Для ограничен-
ограниченных интервалов / сходимость 2 ^пШ обеспечивается леммой
о двойственности, а 2рпШ всегда сходится к числу ^1. Суммы
этих рядов равны ty и р, и для них мы пол\чаем
р{1}= \ ${dy}F[I — y}, если /с=~оо, 0, (З.ба)
о-
г}, (/} = J q[dy} F{[ — y\, если /с=0, оо C.66)
о-
с тем соглашением, что в C.66) рассматриваются только огра-
ограниченные интервалы /. Мы \видим, что соотношения C,6) прак-
практически более полезны, чем представления р и г|? рядами. Иногда
удобно заменить функции интервала р и г|; соответствующими
ф\нкциями точки
1 1
р(х) = р{—со, х) и г|?(х) —ф{—со, х).
Очевидно, что C.6а) равносильно соотношению
оо
р(х)= j^[dy}F(x — у), х<0. C.7а)
о-

468 Гл. XII. Случайные блуждания в Я1
Из C.66) при х > О получаем
{О, х} = \+ J ^{dy}[F(x-y)-F(~y)].
о-
Принимая во внимание C.7а), мы видим, что C.66) эквива-
эквивалентно
— у), х>0. C.76)
о-
Для упрощения обозначений введем свертку
C.8)
со
Так как г[> сосредоточено на 0, оо, то значение i|3-SfF{/} равно
сумме двух интегралов C.6) и потому конечно. Вспоминая, что
¦ф имеет единичный атом в нуле, соединим два соотношения
C.6) в одно уравнение свертки
/7. C.9)
Ввиду того что р и г|5 — "фо сосредоточены на —оо, 0 и 0, оо со*
ответственно, соотношение C.9) эквивалентно паре соотноше-
ний C.6).
Мы будем рассматривать C.9) как интегральное уравнение,
определяющее неизвестные меры р и \|>. Большое число важных
теоретических выводов можно получить непосредственно из
C.9). Мы отметим самую замечательную из подобных теорем в
форме примера, для того чтобы подчеркнуть, что она не исполь-
используется в дальнейшем и представляет собой отклонение от основ-
основного изложения.
Примеры, а) Факторизация типа Винера — Хопфа. Из опре-
определения A.7) функции г|5 следует, что она удовлетворяет урав-
уравнению восстановления
C.10)
Возьмем свертку C.9) с t|?0 — Н. Член ty^H-x-F можно упростить,
используя (ЗЛО). Тогда получим
Я*р. C.11)
Это тождество равносильно C.9). Однако оно замечательно тем,
что дает представление произвольной функции F в терминах
двух (возможно, несобственных) распределений вероятностей,

§ 3. Распределение лестничных высот 469
сосредоточенных на —оо, 0 и 0, оо соответственно. Уравнение
обладает небольшой асимметрией, так как Я есть распределение
точки первого входа в открытый интервал 0, оо, в то время как
р есть аналогичное распределение для замкнутого интервала
—оо,0. Но мы знаем из примера B.а) и из A.10), что р = ?]
+ A — t,)H~, где ? определяется по A.9). Подставляя это выра-
выражение в C.11), после тривиальных преобразований получаем
>o —Я"]. C.12)
Различные варианты этой формулы были открыты незави-
независимо один от другого различными методами, и все они вызвали
восхищение. Одно видоизменение см. в задаче 19, другое в тер-
терминах преобразований Фурье дано в гл. XVIII, 3. Связь с мето-
методами Винера — Хопфа обсуждается в § За.
б) Тождество Вальда B.7), доказанное в теореме 2.2, яв-
является простым следствием C.11). См. задачи 10 и 11 и
гл. XVIII, 2. »>
Обратимся теперь к C.9) как к интегральному уравнению
относительно неизвестных мер р и гр. Мы покажем, что его ре-
решение единственно, если принять во внимание свойства, которые
риг): обязаны иметь в этом контексте. Условимся говорить для
краткости, что пара (р, г|з) имеет вероятностный смысл, если р —
распределение вероятностей (возможно, несобственное), сосре-
сосредоточенное на 0,оо, а г|з — г^о — мера, сосредоточенная на 0, оо
и такая, что для каждого интервала / значения ty{I + t} ограни-1
чены (последнее условие вытекает из теорем восстановления,
так как гр= 2 Нп*)-
Теорема 1. Уравнение свертки C.9) [или равносильная
ему пара уравнений C.6)] обладает только одним решением
(р, ty), имеющим вероятностный смысл !).
Доказательство. Пусть р* и т|з* —две неотрицатель-
неотрицательные меры, удовлетворяющие C.6), и \\> *> i|>o. Из C.66) по ин-
индукции получаем тр* > г|)о + . ¦ - + г|)п при любом п. Поэтому
наше решение г|) минимально в том смысле, что для любого дру-
другого решения г|)# с единичным атомом в нуле г|э {/} ^ г|){/} для
всех интервалов. Другими словами, б = ф —"ф есть мера. Из
') Отсюда вытекает, что р есть распределение точки первого входа в
-сю, 0 и i|j =¦= S//""^, где Н — распределение точки первого входа в 0, со.

470 Гл. XII. Случайные блуждания в 5?!
C.6а) видно, что это же верно и относительно Y = P ~~ Р- Так
как п (р, г|:), и (р#, ср#) удовлетворяют C.9), мы имеем
6*F. C.13)
Теперь возможны два случая. Если р—собственное распределе-
распределение, то из его минимальности вытекает, что р =р п. следова-
следовательно, у = 0- Положим z(t) =b(I + t), где / — фиксированный
конечный интервал. Тогда функция z будет ограниченным реше-
решением уравнения свертки z = Fjaz и по лемме гл. XI, 2 должно
быть z = const. Но при t—>—оо функция z должна стремиться
к тлю. Поэтому z(i) =0 при всех /. Если р — несобственное рас-
распределение, то мы можем утверждать лишь, что z -^ F -> z.B этом
случае по индукции получаем
z(/)< J z(t-y)Fn*{dy} C.14)
при всех п. Так как распределение р — несобственное, то слу-
случайное блуждание уходит к оо и потому вся масса Fn* сосредо-
сосредоточивается вблизи +оо. Но z(t—у)-*-0 при (/—>оо, следова-
следовательно, снова z(l)=0. Доказательство закончено, ^¦
За. Интегральное уравнение Винера — Хопфа
Связь между интегральным уравнением C.9) и обычным
уравнением Винера — Хопфа можно лучше всего объяснить, на-
начав с вероятностной задачи, в которой встречается последнее
уравнение.
Пример, с) Распределение максимума. Предположим для
простоты, что распределение F имеет плотность и отрицательное
математическое ожидание. Случайное блуждание {S?l| уходит
в —оо и с вероятностью 1 определена конечнозначная случай-
случайная величина
M = max[0, Si, S2, . ..]. C.15)
Найдем ее распределение вероятностей М(х) =Р{М<1 л'}, которое
по определению сосредоточено на 0, оо. Событие {М^Сх} проис-
происходит тогда и только тогда, когда Xi = yKx и тах[0, Хь Х2+]
+ Х3, ...]<Су — х. Суммируя по всем возможным значениям у,
получаем
М{х)= \ M(x — y)f(y)dy, x>0, C.16)

§ 3. Распределение лестничных высот 471
или, что то же самое,
со
М(х)= j M(s)f(x — s)cfs, x>0. C.17)
о
С другой стороны, мы знаем из B.6), что М(х) = [1—Н(оо)]$(х).
Мы видели, что ф удовлетворяет интегральному уравнению
C.76), в котором теперь следует принять р@) = 1. Простое ин-
интегрирование по частям показывает теперь, что C.76) и C.17)
идентичны. Ь*
Стандартной формой уравнения Винера — Хопфа является
C.17). Наш пример иллюстрирует путь, на котором это урав-
уравнение может возникать в теории вероятностей. Однако ссылки
на общую теорию Винера—Хопфа могут запутать положение,
так как мы ограничиваемся положительными функциями и ме-
мерами, что меняет (и упрощает) характер проблемы.
Искусный метод1), использованный Винером и Хопфом, при-
привлек усиленное внимание и был приспособлен для решения раз-
различных вероятностных задач, например, Крамером для вывода
асимптотических оценок вероятностей разорения. Легкость, с ко-
которой подобные оценки получаются при этом подходе, почти
обеспокаивает. Но следует понять более глубокие причины этой
легкости. Уравнение C.17) представляет собой в лучшем слу-
случае одно из двух уравнений C.7) при р@)<1 н того меньше.
Взятое само по себе, уравнение C.17) значительно более труд-
трудно для изучения, чем пара уравнений C.7). Например, тео-
теорема единственности неверна для C.17) даже в классе распре-
распределений вероятностей. Основная идея метода Винера — Хопфа
состоит во введении вспомогательной функции, которая в общей
теории не имеет никакого особого смысла. Этот остроумный
прием на самом деле заменяет отдельное уравнение C.17) па-
парой уравнений, равносильной C.7), но единственность при этом
теряется. Мы двигались в противоположном направлении, начи-
начиная с очевидных рекурсивных соотношений для вероятностей,
связанных с двумя неотделимыми друг от друга задачами: изу-
изучение первого вхождения в —оо, 0 и случайного блуждания на
полупрямой х>0 до момента этого вхождения. Таким путем мы
получили интегральное уравнение C.9) из известных соотноше-
соотношений. Единственность вероятностного решения было при этом
легко доказать. Доказательство сходимости, свойства решений,
') Около 1931 года. Обширная литература появилась после первого моно-
монографического изложения: Н о р f E., Mathematical problems of radiative equili-
equilibrium, Cambridge tracts, 31, 1934.

472 Гл. XII. Случайные блуждания в
так же как и связь между распределением М максимума и «ме-
«мерой восстановления» хр, основаны на лемме о двойственности.
Возможность подхода к уравнению Винера — Хопфа C.17),
опирающегося на принцип двойственности, была отмечена
Ф. Спицером1). В обычном способе соединять теорию Винера—
Хопфа с вероятностными задачами начальным шагом служат
формулы, связанные с (9.3) (в форме, содержащей преобразо-
преобразования Фурье; мы вернемся к этому в гл. XVIII). В настоящее
время имеется обширная литература, посвященная примене-
применению метода Винера — Хопфа к вероятностным задачам и рас-
расширению возможностей комбинаторных методов. Основным ору-
орудием служит при этом анализ Фурье2).
§ 4. Примеры
Явные формулы для распределений первого вхождения в об-
общем случае получить трудно. К счастью, имеется одно приме-
примечательное исключение из этого правила, обсуждаемое в при-
примере (а). Н.а первый взгляд распределение F из этого примера
представляется искусственным, однако этот тип распределений
часто встречается в связи с процессами Пуассона, теорией оче-
очередей, задачами о разорении и т. д. Крайняя простота наших
общих результатов делает непостижимым тот факт, что на ана-
анализ частных случаев было затрачено (часто с повторениями)
столько изобретательности и аналитического мастерства.
Пример (в) показывает шаг за шагом процесс полного ре-
решения для арифметического распределения F с рациональной
производящей функцией. Эти вычисления приведены потому, что
точно такой же метод пригоден для рациональных преобразо-
преобразований Лапласа или Фурье. Другой пример указан в зада-
задачах 3—6. Пример (б) посвящен некоторым общим соотноше-
соотношениям, имеющим независимый интерес.
Мы придерживаемся обозначений предыдущего параграфа.
Таким образом, Н и р суть распределения точки первого вхож-
вхождения в 0, оо и —сю, 0 соответственно. (Другими словами, Н
и р являются распределениями первой строгой верхней и сла-
') S p i t z er F., The Wiener — Hopf equation whose kernel is a probability
density, Duke Math. I., 24 A957), 327—343.
2) Краткий обзор литературы — по причине ее полной неупорядоченности.
Методология многих статей находится под влиянием случайностей историче-
исторического развития. Значительная часть работ цитируется в книге Кемпермана
[Kemperman J. Н. В. A961)]. Обобщения, лежащие за пределами теории ве-
вероятностей, проиллюстрированы Бакстером [Baxter Q., An operator identity.
Pacific J. Math., 4 A958), 649—663].

§ 4. Примеры . 473
бой нижней лестничных высот.) Наконец, ty= 2 Нп* — это функ-
функция восстановления, соответствующая Н. Нашим основным ору-
орудием будет уравнение C.7а), утверждающее, что при х<0 рас-
1
пределение точки первого вхождения в —оо, 0 определяется
формулой
СО
j — y). D.1)
о-
а) Показательный правый хвост распределения1). Допустим
для начала, что левый хвост распределения/7 — ноказательный,
т. е. F(x)=qe$x при х<0. Каково бы ни было г|з, D.1) показы-
показывает, что р(х) =Се®х при х<0, где С — некоторая постоянная.
Произведя это открытие, поменяем полуоси ролями (частью для
облегчения ссылок на наши формулы, частью имея в виду наи-
наиболее важные применения к теории очередей). Предположим,
следовательно, что
\—pe~ax при х>0, D.2)
не делая никаких ограничений при х<0. Во избежание ненуж-
ненужных усложнений допустим, что F имеет конечное математиче-
математическое ожидание ji и что F непрерывна. Из предварительного за-
замечания вытекает, что распределение лестничной высоты Н
имеет плотность, пропорциональную е~ах. Рассмотрим теперь от-
дельно два случая.
(i) Если ii ~^- 0, то Н — собственное распределение и при
х>0
[Последнее равенство тривиально следует как из того, что
Ф = 2#п*> так и из Уравнения восстановления C.10).] Из D.1)
получаем
X
F{s)ds, x<0. D.4)
Таким образом, мы имеем явные выражения для всех нужных
нам вероятностей. Легкий подсчет показывает, что
р@) = 1—<х|х. D.5)
Это частный случай B.7), так как в силу B.3) A—р@))~ =
') В случайном блуждании примера гл. VI, (8.6) и в соответствующем
процессе ожидания гл. VI, (9. д) оба хвоста показательны.

474 Гл. XII Случайные блуждания в X '
(п) Если ц<0, то соотношения D.3) и D.4) по-прежнему
дают решение интегрального уравнения C.9), однако D.5) по-
показывает, что это решение не может иметь вероятностного
смысла при |i<0. Для отыскания правильного решения заме-
заметим, что Н имеет плотность R(x) = (a— х)е~ах, где 0<х<а, так
как распределение Я — несобственное. Легко подсчитать, что
i|/(.v) = (ос—х)е~у-х при х>0. Неизвестная константа х опреде-
определяется из условия р@) = 1. Стандартные вычисления показы-
показывают, что х совпадает с единственным положительным корнем
уравнения D.6). Найдя корень этого трансцендентного уравне-
уравнения, мы снова получим явные выражения для Н, риг)).
Читатель может легко проверить, что эта же теория приме-
применима и тогда, когда величины X., Х2, . . ., порождающие случай-
случайное блуждание, целочисленны и распределение F имеет геомет-
геометрически убывающий правый хвост, то есть если F приписывает
целому числу k>0 вес q$h.
б) Сопряженные случайные блуждания. Допустим, что F
имеет математическое ожидание цфО и что существует число
кфО, для которого
-J со
[ e*vF[dy) =1. D.6)
— оо
В этом случае интеграл от e'v по отношению к F существует
для всех i между 0 и х и является выпуклой функцией /, произ-
производная которой в нуле равна (.i. Ясно, что х является единствен-
единственным корнем и что х и A имеют различные знаки. В последую-
последующем х обозначает именно этот корень.
Пусть у — произвольная мера на прямой. Свяжем с ней но-
новую меру ау, полагая
{d} {d} D.7)
Мера aF, «сопряженная» с F, представляет собой собственное
распределение вероятностей. Мы скажем, что случайные блуж-
блуждания, порождаемые aF и F, сопряжены друг с другом '). Легко
видеть, что и-кратная свертка aF с собой сопряжена с /*""*, так
что обозначение aFn* не вызывает сомнений. Рекурсивные фор-
формулы C.5) показывают, что преобразования арп и aa|)n имеют
тот же самый вероятностный смысл в новом случайном блуж-
') Это понятие применяли Хинчин, Вальд и др., но оно никогда не
использовалось в полной мере. Преобразование D.7) встречалось в теории
восстановления (гл. XI, 6) и в форме, замаскированном применением произ-
производящих функций, в I, гл. XIII, 4. Оно появится снова в теории преобразо-
преобразований Лапласа, см. гл. XIII, A,6). Уравнение D.6) применяют и в теории Ви-
Винера — Хопфа

§ 4. Примеры 475
данни, как р„ и г|)„ в старом. Вообще преобразования яр, "Я,
atp и т. д. имеют очевидное значение для случайного блуждания,
порождаемого aF. [Это можно увидеть и непосредственно из
интегрального уравнения C.9).]
Мы наметили, таким образом, широко применимый метод
преобразования результатов, касающихся случайного блужда-
блуждания с ц<0, в результаты для случайных блужданий с положи-
положительным математическим ожиданием и обратно.
Если ц<0, то лестничная высота имеет несобственное рас-
распределение, но аН имеет собственное распределение. Это озна-
означает, что
1. D.8)
о
Вся сила метода сопряженных случайных блужданий происте-
проистекает главным образом из этого замечания. В самом деле, в
гл. XI, б мы установили, что, зная корень уравнения D.8), мо-
можно дать прекрасные асимптотические оценки для верхнего ле-
лестничного процесса. Эти оценки были бы иллюзорны, если бы
они требовали знания Я, но мы только что видели, что корни
уравнений D.6) и D.8) совпадают.
в) Ограниченные арифметические распределения. Пусть а
и b — положительные числа и F — арифметическое распределе-
распределение со скачками fh в точках k — —b,. . . а. Меры ifnp также со-
сосредоточены в целых точках. Их скачки в точке k мы обозначим
% и ph соответственно. Первое вхождение в —оо, 0 осущест-
осуществляется в целой точке ^>—Ь, так что рл = О при k<—b.
Введем производящие функции
а со О
(|ч \ VI f к ш/ \ VI |. k DI \ V1 * IЛ (Х\
*-=- b ft-0 ' " ft- -ft
Они отличаются от производящих функций из 1, гл. XI тем, что
Ф и R содержат также и отрицательные степени s, однако ясно,
что основные свойства и правила действий при этом сохраняют-
сохраняются. В частности, (х = Ф'A) есть математическое ожидание F.
Свертке распределений соответствует перемножение производя-
производящих функций, поэтому основное интегральное уравнение C.9)
равносильно уравнению ^ + /?=1+ЧгФ или
" ~-f- D.10)
Числитель и знаменатель здесь — полиномы степени а п а + Ь
соответственно. Степенной ряд слева сходится при |s|<I, так
что все корни знаменателя, лежащие внутри единичного круга.

476 Гл. XII. Случайные блуждания в Ях
должны быть в то же время и корнями числителя. Мы покажем,
что это условие позволяет однозначно восстановить R и W.
Предположим для определенности, что ц = 0 (см. задачу 12),
и докажем, что знаменатель имеет ровно Ь — 1 комплексных
корней внутри единичного круга, а—1 корней вне его и двой-
двойной корень в точке 1. В самом деле, на вещественной оси
Ф">0, так что Ф —выпуклая функция с минимумом ФA) = 1.
Для комплексных 5 с |s|-^l имеем |sb0(s) |-*Cl и по теореме
Руше1) число корней уравнения
в единичном круге равно числу корней уравнения sb(l
т. е. равно Ъ. Один из этих корней вещественный и он сходится
к 1 при е->0, так что знаменатель имеет ровно Ъ—\ корней
sb . . . ,'Sb-i с | Sj | < 1. Пусть oi, . .. , oa-i — корни с | Oj | > 1. Тогда
знаменатель имеет вид
(ф E) _1) = С (S-1JE-*,)•• -(«-^-l)(S-°l)---(«-O«-l)-
D.11)
Корни Si, . .., Sb-i должны совпадать с корнями числителя, и
так как коэффициенты г|з„ ограничены, то же самое должно
быть верно и для одного корня, равного 1. Этим W определяет-
определяется с точностью до постоянного множителя. Но по определению,
"Ч^ @) = 1, и мы получаем искомую явную формулу
D.12)
Стандартное разложение на простейшие дроби приводит к яв-
явному выражению для г|)„. Большое преимущество этого метода
в том, что знание доминирующего корня приводит к хорошим
асимптотическим оценкам (см. 1, гл. XI, 4).
Для производящей функции R вероятностей первого вхожде-
вхождения рн из D.10) и D.12) получаем
D.13)
[Коэффициент С определяется по D.11) и зависит только от дан-
данного распределения {fk}-] Снова разложение на простейшие дроби
приводит к асимптотическим оценкам (продолжение см. в за-
задачах 12—15).
1) См., например, Н i 11 е Е., Analytic function theory, vol. I, section 9.2
(Ginn and Co., 1959) или Маркушевич А. И., Теория аналитических
функций, Гостехиздат, М., 1950.

§ 5. Применения 477
§ 5. Применения
В гл. VI, 9 было показано, что основная задача теории оче-
очередей сводится к отысканию распределения М для
M = max[0, Sb ...] E.1)
в случайном блуждании, порожденном величинами Xft с и =
= E(Xft)<0. Примеры гл. VI, (9а) — (9в) показывают, что это
же распределение возникает и в других обстоятельствах, на-
например в связи с задачей о разорении для обобщенного про-
процесса Пуассона. В последнем случае, как и в теории очередей,
основное распределение имеет вид
F=A*B, E.2)
где А сосредоточено на 0, оо, а В на •—оо, 0. Мы предположим,
что А и В имеют конечные математические ожидания а и —Ь,
так что F имеет математическое ожидание ;л = а — Ь. Мы пред-
предположим также, что распределение F непрерывно. Это позволит
избежать утомительной необходимости различать строгие и сла-
слабые лестничные величины.
Мы обозначим, так же как в двух предыдущих параграфах,
распределения для верхних и нижних лестничных высот через Н
и р соответственно. Иными словами, Н и р суть распределения
для первых вхождений в 0, оо и —оо, 0 (а также в соответ-
соответствующие замкнутые интервалы). В примере (Зв) и в B.6)
было показано, что при ji<0
Пример Dа) содержит явную формулу ¦) для этого распределе-
распределения, справедливую, если один из хвостов F — показательный,
т. е.
F{x) = \-~pe~ax при х>0 E.4)
или F(x)«=qeax при х<0.
По весьма счастливому совпадению условие E.4) выпол-
выполняется, если F имеет вид E.2) с
А(х) = \ — е~ах при х>0. E.5)
х) Другая явная формула указана в примере D. в) для случая арифме-
арифметических распределений F с конечным числом атомов. Эта явная формула
слишком сложна для практического использования, но разложение на про-
простейшие дроби приводит к хорошим асимптотическим оценкам, если известен
доминирующий корень энаменателя. Такой же метод применим в случае ра-
рациональных характеристических функций. Это замечание охватывает мно-
множество частных случаев, разобранных в литературе.

478 Гл. XII. Случайные блуждания в Я1
Тогда
о
\ E.6)
Наши простые результаты применимы поэтому к теории очере-
очередей, если или поступающий поток является пуассоновским, или
время обслуживания распределено показательно.
Упомянутое условие выполнено и в задаче о разорении для
обобщенного процесса Пуассона. Существует необъятная при-
прикладная литература, разбирающая отдельные задачи при тех
или иных предположениях относительно распределения В, ино-
иногда, как в задаче о разорении, в замаскированной форме. Ока-
Оказывается, большая общность и значительно большая простота
достигаются при использовании только одного условия E.4)
вместо комбинации E.5) и E.2). Мы имеем здесь прекрасный
пример экономии мысли, присущей общей теории, когда понима-
понимание не затемняют случайные черты отдельных примеров.
Примеры, а) Формула Хинчина — Полячека. Допустим, что
F имеет вид E.2), где А удовлетворяет E.5) и ц=1/а — 6>0.
Случайное блуждание уходит в оо, и мы должны заменить в
E.1) максимум на минимум. Это равносильно замене Н в E.3)
распределением р из D.4). Простое интегрирование по частям
показывает, что при х<0
^а JB(y)dy. E.7)
Здесь р@) =а6, так что при л;<0
со
P{min(S0, S,, ...)<*]= О-°ftJРя*(-*)- E.8)
о
Это известная формула Хинчина — Полячека, которую не-
неоднократно открывали заново в частных случаях, неизменно
используя метод преобразований Лапласа [неприменимый к бо-
более общим распределениям типа E.4)]. Мы вернемся к этой
формуле в примере гл. XVIII, (Зв).
б) Двойственный случай. Рассмотрим такие же распреде-
распределения, как и в предыдущем примере, но предположим, что f.i<0.
Как было показано во второй части примера Dа), в этом случае
Р {max(So, Slf ...)<*} =-?*(*) = 1-(l -?)e-**, E.9)
где х — единственный положительный корень «характеристиче-
«характеристического уравнения» D.6). (Этот результат может быть получен

§ 5 Применения 479
также и методом сопряженных случайных блужданий; доста-
достаточно вспомнить, что при (я^-0 ij)(x) = l+ax для х>0.) В при-
применении к теории очередей E.9) означает, что если время обслу-
обслуживания распределено показательно, то распределение времен
ожидания стремится к показательному пределу.
в) Асимптотические оценки. Самый вид формулы E.3) на-
напоминает нам тот факт, что максимум частных сумм Sn совпа-
совпадает с максимальной из ординат лестничных точек. Асимптоти-
Асимптотическая оценка для распределения этого максимума была выве-
выведена в гл. XI, F.16). Она может показаться неприменимой
в настоящей ситуации, так как в нее входит положительный ко-
корень характеристического уравнения D.8) для распределения Я,
а последнее, вообще говоря, неизвестно. Однако мы видели в
примере D.6), что этот корень совпадает с корнем D.6). Для
распределения М максимума частных сумм это означает следую-
следующее: если F имеет отрицательное математическое ожидание и
существует корень %>0 уравнения D.6), то при х —+ оо
1—М (х) ~ Се~*х. От специальных свойств распределения F за-
зависит только константа С. Общность этого результата замеча-
замечательна, в частности, потому, что он следует из простейшей тео-
теоремы восстановления и простого преобразования сопряженного
случайного блуждания.
г) Оценка Крамера для вероятностей разорения. Покажем,
как можно практически вычислить константу Г Вернемся к
общей задаче о разорении (см. гл. VI, 5), которая была пере-
переформулирована как задача об очередях в примере гл. VI, (9.в).
В настоящих обозначениях мы имеем дело с распределением F
вида E.2), где А — показательное распределение E.5) и мате-
математическое ожидание ц=\/а — ?>>0. Мы ищем распределение
(отрицательного) минимума из So, S4, . . . , указанное в E.8).
Именно эта задача1) изучалась в примере гл. XI, G.а). Харак-
Характеристическое уравнение для р равносильно D.6). Если суще-
существует корень х<0, то (в настоящих обозначениях) из формул
G 5) — G.6) следует, что при х->—оо
P{min(S0, Slt ...)^x)~±=$-elHlx, E.10)
где
о
\ E.11)
!) Нашему несобственному распределению р, сосредоточенному на — со, 0,
в гл. VI, 7 соответствует сосредоточенное на 0, оо несобственное распределе-
распределение L с плотностью (а/с) (I —F(x)).

480 Гл. XII. Случайные блуждания в Й1
Оценку E.10) неоднократно выводили в специальных пред-
предположениях и весьма трудоемкими методами. Она эквивалентна
часто используемой оценке, которая в математической теории
страхования была предложена Крамером ').
§ 6. Одна комбинаторная лемма
Распределение лестничных моментов связано с одной про-
простой комбинаторной леммой. Вероятностная часть рассуждений
будет более ясной, если мы выделим эту лемму особо.
Пусть xlt ..., хп — п чисел. Рассмотрим их частные суммы
Мы скажем, что v>0 есть лестничный индекс, если sv>s0, . ..
..., sv>sv_b т. е. если sv превосходит все предыдущие частные
суммы. Ясно, что имеется п лестничных индексов, если все xv
положительны, и нет ни одного, если все xv отрицательны.
Рассмотрим теперь п циклических перестановок
(Xi, . . ., хп), \Хг, ¦ . . , хп, Xi), ... \хп, Xi, ..., xn—i)
и занумеруем их числами 0, ..., п—1. Частные суммы s^] в
перестановке с номером v равны
Г s... ъ — S., при k = 1, .. ., п — v,
к I с с 1 с п п И f? tl V -А— 1 П
Лемма 1. Пусть sn>0. Обозначим через г число цикличе-
циклических перестановок, в которых п является лестничным индексом.
Тог^а г>1 и б каждой из этих перестановок будет ровно г ле-
лестничных индексов.
Примеры. Для (—1, —1, —1, 0, 1, 10) мы имеем г=\. Дан-
Данный порядок — единственный, в котором последняя сумма мак-
максимальна. Для (—1, 4, 7, 1) мы имеем г = 3; перестановки с
номерами 0, 2 и 3 содержат по три лестничных индекса. >
Доказательство. Выберем v так, что sv максимально.
Если таких индексов несколько, то возьмем наименьший из них.
Другими словами,
Sv ^> Si, . . ., Sv ^> 5v_j, Sv ^ Sv+i, . . ., Sv JJ> 5Я. (b./J
') Более новый вывод методом Винера—• Хопфа в комплексной плоскости
см в статье Крамера, цитированной в гл. VI. 5. Наша оценка E.10) совпа-
совпадает с формулой E7) у Крамера.

§ 7. Распределение лестничных моментов 481
Из F.1) видно, что при этом в v-й перестановке последняя ча-
частная сумма строго максимальна, так что п есть лестничный
индекс. Таким образом, г^-1. Не ограничивая общности, допу-
допустим, что п есть лестничный индекс в исходной перестановке,
т. е. sn>Sj при всех \. Тогда все величины в нервой строке F.1)
будут <sn. Вторая строка показывает, что п будет лестничным
индексом для v перестановок тогда и только тогда, когда
sv>su . .. , sv>sv-it т. е. когда в исходной перестановке v будет
лестничным индексом. Таким образом, число перестановок, в
которых п есть лестничный индекс, равно числу лестничных ин-
индексов. Лемма доказана. >
Слабые лестничные индексы определяются аналогично, с той
разницей, что строгие неравенства > заменяются на >. В при-
применении к ним предыдущие рассуждения показывают, что верна
Лемма 2. Если sn !?¦ О, то лемма 1 применима и к слабым
лестничным индексам.
§ 7. Распределение лестничных моментов
В предыдущем параграфе наше внимание было сосредото-
сосредоточено на лестничных высотах. Теперь мы перейдем к лестничным
моментам. Рассмотрим вероятность того, что п является мо-
моментом первого вхождения в 0, оо, т. е.
t/l = P{SI<0> .... S^^O, Sn>0}. G.1)
Другими словами, {ти} есть (возможно, несобственное) распре-
распределение первого лестничного момента JY Введем производящую
функцию
Следующая ниже важная теорема была найдена Спарре-Ан-
дерсеном. Затем был дан ряд новых ее доказательств. [Улуч-
[Улучшенный вариант, принадлежащий Бакстеру, содержится в (9.3).]
Теорема 1.
п-г
Доказательство. Фиксируем п и рассмотрим наряду с
выборочной точкой (Хь ..., Х„) также (п—1) точек, получае-
получаемых из нее циклическими перестановками и соответствующие

482 Гл. XII. Случайные блуждания в Я1
частные суммы Sov), . . ., S(,,v) [определенные, как в F.1)]. Фикси-
Фиксируем целое г и определим п случайных величин Y<v> следующим
образом: Y<v'=l, если п есть r-й лестничный индекс для
{S[v), ..., ShV)) и Y<v) = 0 в других случаях. Случаю v = 0 соот-
соответствует последовательность {Sb ..., Sr,}, так что Y(°)=l тогда
и только тогда, когда п совпадает с r-м лестничным индексом в
нашем случайном блуждании. Но r-й лестничный момент есть
сумма г независимых случайных величин, распределенных как
<7\, так что
P{Y@) = 1}=t(;>, G.4)
где т(,Р— это коэффициент при sn в xr{s). По причине симметрии
все п случайных величин Y<v> имеют одно и то же распределе-
распределение. Поэтому
$ = Е (Y@)) = 1Е (Y@) + • • • + Y{n'1}). G.5)
Последняя сумма тривиально равна нулю в области {Sn>0}.
По лемме F.1) она может принимать только значение 0 и г,
откуда
lt(;) = lp{Y@>+ ... +Y("-1W}. G.6)
Суммируя по всем г, получаем
^=4p{S«>0}, G-7)
гак как в каждой точке множества {Sn>0} сумма G.6) равна
целому г. Умножая G.7) на sn и суммируя по п, находим
^P{Sn>0}, G.8)
что совпадает с утверждением G.3). !>
Удивительное следствие этой теоремы состоит в том, что
распределение лестничных моментов однозначно определяется
последовательностью чисел Fn*@). Например, если распреде-
распределение F симметрично и непрерывно, то при всех п Р {Sn > 0} = -х-
и левая часть G.3) равна log(l/]/rl —s). Таким образом, по-
получаем
Следствие 1. Если F симметрично и непрерывно, то
•ф)=1_ /1—s. G.9)

§ 7. Распределение лестничных моментов 483
Очевидно, что теорема 1 остается справедливой, если в G.1)
и G.3) заменить знак > на >_«< на <, т. е. если J'i заменить
на слабый лестничный момент J'i и события {Sn>0} на {S,, >•()}.
Важное следствие доказанной нами теоремы содержит
Теорема 2. Случайное блуждание уходит в —оо тогда и
только тогда, когда
Этот критерий остается справедливым') при замене событий
{Sn>0} на {Sn>0}.
Доказательство. Уход в —оо происходит тогда и только
тогда, когда верхний лестничный процесс обрывается, т. е. когда
J'i имеет несобственное распределение. Это равносильно нера-
неравенству тA)<1. В этом случае обе части G.3) остаются ограни-
ограниченными при s—>1. Отсюда видно, что условие G.10) является
необходимым и достаточным. Это же рассуждение применимо
к слабым лестничным моментам, что обосновывает заключитель-
заключительное утверждение теоремы. >
Мы знаем, что уход в •— со имеет место, если F имеет математическое
ожидание ц<0. Однако не очевидно, что неравенство ц<0 влечег G.10).
Проверка этого факта представляет собой превосходное техническое упраж-
упражнение, имеющее и методологический интерес (см. задачу 16).
Теорема 3. Лестничный момент J'i имеет математическое
ожидание (и собственное распределение) тогда и только тогда,
когда случайное блуждание уходит в оо. При выполнении по-
последнего условия
со
" ~~ 1rP{S/i<0}. G.11)
(Во всех остальных случаях ряд расходится.)
Доказательство. Для 0<s< 1
Полагая s—*\, в случае сходимости ряда мы получаем G.11).
В случае его расходимости или распределение J'i несобственное,
или E(J'i)=oo. По теореме 2 сходимость имеет место тогда и
только тогда, когда случайное блуждание уходит в оо, >•
') Мы увидим, что всегда Е/г-'Р{8„=0}<оо [см. (9в)].

484 Г л XII. Случайные блуждания в Л1
В заключение мы обратимся к альтернативной интерпрета-
интерпретации теоремы 1, которая приводит к закону арксинуса. Положим
Из теории рекуррентных событий ясно, что G.13) есть произ-
производящая функция для вероятностей рп того, что п будет лест-
лестничным индексом:
pa = P{Sa>S0, .... S/;>S«_I}. G.14)
Меняя порядок случайных величин Xj, получаем двойственное
соотношение
pn = P{S1>0, S2>0, .... Sn>0}. G.15)
Для удобства ссылок мы придадим этому результату форму тео-
теоремы.
Теорема 4. Производящая функция G.13) вероятностей
G.15) определяется по G.3).
В силу симметрии вероятности
G.16)
имеют производящую функцию q, определяемую из равенства
G.17)
§ 8. Закон арксинуса
Одна из удивительных черт случайных колебаний при бро-
бросании монеты находит свое выражение в двух законах аркси-
арксинуса A, гл. III, 5 и 8). Один из них влечет тот факт, что число
положительных членов в последовательности Si, S2, . . -, Sn с
с большой вероятностью будет ближе к 0 или п, чем к и/2 (и/2
соответствовало бы наивным ожиданиям). Второй закон приво-
приводит к такому же выводу относительно положения максималь-
максимального члена. Мы покажем теперь, что эти законы верны для всех
симметричных и многих других распределений.
В последующих формулировках нам будет мешать то, что
максимум может достигаться несколько раз и что частные
суммы могут обращаться в нуль. Эти возможности можно не
рассматривать, если распределение F непрерывно, так как в
этом случае вероятность равенства двух любых частных сумм
равна нулю. (Мы советуем читателю ограничиться только этим

§ 8. Закон арксинуса 485
случаем.) В общей теории мы условимся рассматривать номер
первой максимальной суммы, т. е. индекс k, для которого
Sft>So, ..., Sft>Sft_b S7i>Sft+1, .... Sft>Sn. (8.1)
Здесь п фиксировано и k пробегает значения 0, 1, . . . , п. При
некотором k^,n событие (8.1) должно произойти, так как мы
можем определить (собственную) случайную величину К« как
номер первого максимума, т. е. номер, при котором верно (8.1).
(Здесь S0 = 0.) Для наступления (8.1) необходимо и достаточно
одновременное наступление событий
{Sft>S0, ..., SA>Sft_,} и {S,i+1-Sft<0, ..., Sn-Sft<0}.
Первое зависит только от случайных величин Xi, . . . , Х^, а вто-
второе— от величин Хй+1, .. . , Хп, поэтому они независимы. По са-
самому определению, их вероятности равны р^ и qn-k [см. G.14)
и G.16)], следовательно, верна
Лемма 1. Для всех k и п
k. (8.2)
Допустим теперь, что Р (S;2 > 0} = Р (Sn <! 0} =у при всех п.
Производящие функции р и q в этом случае равны и опреде-
определяются по G.17). Справа мы узнаем разложение в степенной
ряд для логарифма, так что p(s)=q{s) =l/]/l—s. Таким
образом,
' 1 W 1
2 2 (-1Л (8-3)
k \п — k
что можно переписать в более удобной форме
Bk\Bn—2k\ I
- (8-4)
Эта формула совпадает с формулой 1, гл. III, E.1) для рас-
распределения числа гербов при бросаниях монеты. Ее предельная
форма была получена в 1, гл. III, E.7). Мы можем теперь ут-
утверждать, что верна
Теорема I. Если распределение F симметрично и непре-
непрерывно, то распределение вероятностей Кп {номера первого мак-
максимума среди So, Si, . . ., Sn) задается формулами (8.3) или
(8.4). При я—» оо и фиксированном а, 0<а<1,
Р {Кл < па} -> 2 ^ arcsin ]/а. (8.5)

¦186 Га. XII. Случайные блуждания в 5?1
Предельное распределение имеет плотность 1/(яугаA —а)), ко-
горая неограничена вблизи точек 0 и 1 и имеет минимум в сред-
средней точке 1/2. Это показывает, что значения нормированного
максимума КПМ располагаются вблизи точек 0 и 1 с вероят-
вероятностью заметно большей, чем вблизи точки 1/2. Более подробное
обсуждение см. 1, гл. III, 5 и 8.
Можно было бы ожидать, что формула (8.4) остается верной (по край-
крайней мере асимптотически), если медианы сумм S,, достаточно быстро стре-
стремятся к нулю. В самом деле, по теореме 7.4 всегда
р E) УТ=в = ехр 2 1Г Гр {S" >0]- 1/2]' (8-6)
Далее можно рассуждать примерно следующим образом. Если медианы Sn
близки к нулю, то коэффициенты в правой части малы и потому правая
часть близка к единице. Следовательно, p{s) близко к l/Kl— s. Правдопо-
Правдоподобно, что соответствующие коэффициенты обоих рядов будут близки друг
к другу. Это рассуждение можно сделать строгим, если ряд
со
тг tp Is* > °> - ^2] =с <8-7>
сходится. При s->l правая часть (8.6) стремится к ес, так что
р (s) <~ ес/У 1 — s. В силу G.15) рп монотонны и по уточненной тауберовой
теореме 5 из гл. XIII, 5 последнее соотношение влечет
рп~ес\ 2 I (_1)« п->со. (8.8)
\ л /
Для qn мы получаем точно такое же соотношение с заменой с на —с. По-
Поэтому при п->со и/г — /г-> со
Таким образом, верна
Теорема 1а1). Если ряд (8.7) сходится, то выполняются соотношения
(8.9)и (8.5).
В гл. XVIII 5 будет показано, что ряд (8.7) сходится, если F имеет
нулевое математическое ожидание и конечную дисперсию. К этим распреде-
распределениям применим, следовательно, закон арксинуса.
В 1, гл. III нам пришлось доказывать оба закона арксинуса
по отдельности, однако следующая теорема показывает, что они
эквивалентны. Теорема 2 (для непрерывных распределений)
была исходной точкой исследований Е. Спарре-Андерсена,
') Эта теорема была доказана трудоемкими вычислениями Спарре-Андер-
сеном, а также Спицером. Наблюдение, что тауберова теорема устраняет все
сложности, принадлежит Спицеру. Обобщения см. в 9. г,

§ 8. Закон арксинуса 487
нашедшего новый подход к теории флуктуации. Первоначальное
доказательство было крайне сложным. Сейчас существует не-
несколько доказательств, но приводимое здесь кажется простей-
простейшим.
Теорема 2. Число Пп строго положительных членов по-
последовательности Si, ..., Sn имеет то же самое распределение
(8.2), что и номер Кп первого максимального числа.
Аналогично, распределение числа неотрицательных членов
точно такое же, как и распределение номера последнего мак-
максимума.
Мы начнем с чисто комбинаторной леммы, в которой слово
«вероятность» используется только для удобства выражений.
Пусть хи ..., хп — произвольные числа (не обязательно раз-
различные). Рассмотрим п\ перестановок {ii, ..., in) индексов и
соответствующие им частные суммы
50 = 0, ..., sa = xix+ ... +xin. (8.10)
Все п\ перестановок мы рассмотрим как точки выборочного про-
пространства, в котором каждой из них приписывается вероятность
1/л! Суммы Sj становятся случайными величинами. Введем че-
четыре новые случайные величины:
К=номер первого максимума в (s0, . .. , sn);
К* = номер последнего максимума в (s0, ..., sn);
П = число положительных членов в EЬ . . ., sn);
П* = число неотрицательных членов в (sly .... sn).
Все эти случайные величины принимают значения 0, 1, ...,«.
Пример. Ниже мы перечисляем в таблице 12 различимых
перестановок четырех чисел 1, 1, —1, —2 и соответствующие
значения наших четырех случайных величин.
(s0, s,, s2, s3, s4) К К* П П*
0
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
—1
—1
2
—2
—2
2
2
0
0
1
—1
0
0
—3
—1
—1
—3
1
0
1
2
0
2
1
—2
-2
0
—2
2
1
—1
—1
—1
—1
j
—1
j
j
—1
—I
1
2
2
1
1
1
1
3
0
0
0
0
0
2
2
3
1
I
1
3
2
0
3
0
0
3
2
2
1
1
1
1
0
0
0
0
0
3
3
3
2
2
1
2
1
0
1
0
0

488 Гл. XII. Случайные блуждания в #•
5 4
К и П принимают значения О, 1, 2, 3 с вероятностями-г^-. -л?,
2 1
-yg- > -jo" ¦ а К' и П* распределены равномерно. >
Основную роль играет комбинаторная
Лемма 2. Случайные величины К и П имеют одно и то
же распределение. Это же верно для пары К*, П*
Доказательство. Мы применим индукцию. При и=1
лемма верна, как можно установить, рассматривая три случая
Xi>0, xt<0 и х4 = 0. Допустим теперь, что лемма верна для п—1.
Выделим три случая.
(а) Пусть Xi+'... +хп<0. Тогда sn<0 для всех переста-
перестановок и так как so=O, максимум никогда не может быть на по-
последнем месте. Все четыре случайные величины зависят поэто-
поэтому от первых п—1 координат, так что утверждение леммы вер-
верно в силу предположения индукции.
В качестве подготовки к следующему шагу мы выведем одно
уточнение этого результата. Как мы видели в § 2, изменение
порядка величин xti, ..., xt равносильно повороту на 180° гра-
графика последовательности (si, ..., sn), при котором первый
максимум становится последним минимумом. Поэтому распре-
распределение номера последнего минимума такое же, как распре-
распределение п — К, а это есть число неположительных частных сумм.
Таким образом, номер последнего (первого) минимума имеет
такое же распределение, как число неположительных (отрица-
(отрицательных) членов.
(б) Пусть xi+ ... +хп>0. Тогда последнее замечание, ка-
касающееся минимумов, можно применить к перестановке
(—хи ..., хп). Результат тривиально эквивалентен утвержде-
утверждению леммы.
(в) Пусть Х\+ ... +хп = 0. Так же как и в пункте (а), уста-
устанавливается, что К и П имеют одно и то же распределение.
Для К* и П* нужно повторить рассуждения пункта (б). Дока-
Доказательство закончено. >
Доказательство теоремы 2. Мы поступим, как в дока-
доказательстве теоремы 7.1. Рассмотрим при фиксированном г п\ пе-
перестановок {Хи- ¦ ¦, Х„) и определим п\ случайных величин Y<v),
полагая Y(v'=l, если перестановке номер v соответствуют г по-
положительных частных сумм. В других случаях Y<v) = 0. По при-
причинам симметрии все величины YM имеют одно и то же распре-
распределение. Если считать естественный порядок A, . ., п) пере-

§ 9. Различные дополнения 489
становкой номер нуль, то
M^^^) (8Л1)
В каждой выборочной точке величина —j- V Y(v) равна значению
случайной величины П из леммы 2. Стало быть, утверждение
Р{Пп = г} = Р{Кп = г} немедленно следует из этой леммы. >
Уместно заметить,- что доказательство не предполагает независимости
величин X,-. Нужно лишь, чтобы все п\ перестановок (X/ , ..., X,- ) были
одинаково распределены. Другими словами, теорема 2 остается справедливой
для каждой системы п симметрично зависимых случайных величин (см.
гл. VII, 4). Конечно, общее распределение Кп и П„ будет зависеть от сов-
совместного распределения Xj. Интересен следующий пример. Пусть Х[, Хг, ...
независимы и имеют одно и то же распределение F. Положим У& = Хй— Sn/ra
(где k=\, ..., п). Величины Yb ..., Уп симметрично зависимы и их частные
суммы равны
S* = S*—is», k = l л-1. (8.12)
На графике (So, Sj, ..., Sn) величина 2^ равна вертикальному отклонению
вершины Sft от хорды, соединяющей начало координат и концевую точку
(л, Sn).
Допустим теперь, что распределение F непрерывно (с тем, чтобы избе-
избежать необходимости различать первый и последний максимумы). С вероят-
вероятностью единица последовательность 0, Si, ... , Sn_i имеет единственный
максимум. Циклической перестановке (Y2, ..., Yn, Yi) соответствуют частные
суммы 0, 2г — Sl , ... , Ln-i— Si, —'2,, и ясно, что положение макси-
максимума смещается при этом на одно место вперед в циклическом порядке
(если первоначальный максимум был на нулевом месте, то 2# <0 при&=1, ...
..., л и новый максимум будет на (п—1)-м месте). В п циклических пере-
перестановках максимум будет появляться ровно один раз на каждом месте и
его положение равномерно распределено на множестве {0, 1, ..... п—1}.
Мы получаем, таким образом, следующую теорему, принадлежащую Спарре-
Андерсену и связанную с теоремой 3 из 1, гл. III, 2, касающейся бросаний
монеты.
Теорема 3. В любом случайном блуждании, порождаемом непрерыв-
непрерывным распределением F, и при любом п число вершин среди Sb .. ., Sn _ j,
которые лежат выше хорды, соединяющей @,0) и (га, Sn), с одной и той
же вероятностью принимает каждое из значений 0, 1, ..., п—1.
(Это же верно и для номера максимально удаленной от хорды вершины.)
§ 9. Различные дополнения
(а) Совместные распределения
Для того чтобы получить совместное распределение лест-
лестничных величин, достаточно только изменить обозначения в
рассуждениях, приводящих к теореме 7.1. Приспосабливая обо-
обозначения § 1, обозначим через / интервал на 0, оо и через Н% (/)

490 Гл. XII. Случайные блуждания в #'
вероятное 1Ь того, что п совпадает с r-м лестничным моментом
и Sn ? /. Положим
H\I, s) = 2 snHn{/}, 0<s<l. (9.1)
я=1
По индукции можно установить, что при фиксированном s
со
Hr*{I, s} = 2s"#ir){/)- (9-2)
я-1
Применяя доказательство теоремы 7.1, легко получаем следую-
следующий результат Г. Бакстера.
Теорема. При /сО, оо «
сю
2^ <9-3>
г=1 п=1
При /=0, оо это утверждение сводится к теореме 7.1. Более
простая и доступная для изучения форма будет выведена в
гл. XVIII, 3.
(б) Интерпретация производящих функций с помощью «ис-
«исчезновения» ')
Указываемая интерпретация может помочь интуиции и уп-
упростить формальные вычисления. Рассмотрим при фиксирован-
фиксированном s, 0<s<], несобственное случайное блуждание, которое
может оборваться на каждом шаге с вероятностью 1—s, а в
противном случае определяется распределением sF. Тогда
snFn*{/} равно вероятности попасть в / в момент п. Дефект
1—s" равен вероятности «исчезновения» процесса до момента
п. Здесь проходят все прежние рассуждения с той разницей, что
все распределения становятся несобственными. В частности,
(9.1) представляет собой распределение первой лестничной вы-
высоты в нашем случайном блуждании с исчезновением. Функция
(9 2) аналогична Lr* (см. § 2—3). Производящая функция %(s)
равна вероятности появления лестничного индекса.
(в) Рекуррентное событие
{S,<0 Sn^<0, Sn = 0} (9.4)
означает возвращение в нуль без предварительного захода на
правую полуось. Оно появлялось в § 1 в определении слабых
лестничных величин. Обозначим соп вероятность первого наступ-
наступления события (9.4) в момент п:
Sn = 0}. (9.5)
') В оригинале «mortality» — смертность. — Прим. перев.

§ 10. Задачи 491
Если o>(s) = 2wrsr' T0 ®г будет производящей функцией для
г-го наступления нашего события, а 1/[1—co(s)] будет произво-
производящей функцией для вероятностей (9.4). Упрощенный вариант
доказательства теоремы 7.1 приводит к основному тождеству
Сравнивая его с G.3), G.11), G.17) и т. д., видим, как легко
можно перейти от слабых лестничных величин к строгим и об-
обратно. Формула (9.6) подтверждает замечание § 1, что вероят-
вероятности (9.4) не меняются, если все неравенства заменить проти-
противоположными.
(г) Обобщение на произвольные интервалы.
Теория § 3 с тривиальными изменениями в обозначениях
применима в ситуации, когда полупрямая 0, оо заменяется про-
произвольным интервалом А, а полупрямая —оо, 0 — дополнением
А' к А. Сохраняется, в частности, без изменений уравнение
Винера — Хопфа. Читателю предлагается проследить за дета-
деталями; полностью это сделано в гл. XVIII, 1 (см. также задачу 15).
§ 10. Задачи
1. Рассмотрим биномиальное случайное блуждание (пример B.6)).
Пусть ей — математическое ожидание числа номеров и !>•(), таких, что Sn = k,
Si !>0, ..., Sn_[>0 (это событие означает попадание в k без предвари-
предварительного захода на отрицательную полуось). Пусть а~^р.
(а) Рассматривая случай Si=l и момент первого возвращения в 1, пока-
покажите, что eh = p[ei,-i + ell] при 4>1 и еа=\+ре0. Выведите, что е* =
= (/>/?) *Т' ПРИ 6 = 0, 1
(б) Пусть при 6 !> 1 \pk обозначает математическое ожидание числа попа-
попаданий в к до первого возвращения в 0. Покажите, что (тривиально) eh = ty
Это дает новое доказательство неожиданного результата примера B.6).
2. Продолжение. При q<p рекурсивная формула имеет вид eft =
— p[eh-\+ — eh]. Следовательно, вк=р~1 при 6 = 0, 1, 2
Примечание. Нижеследующие задачи 3—6 могут служить введением к
настоящей главе и могут быть решены до ее изучения. Они содержат также
примеры явных решений основных интегральных уравнений. Сверх того, они
показывают силу и красоту метода производящих функций [попробуйте ре-
решить уравнение A) непосредственно!].
3. Случайные величины Х&, порождающие случайное блуждание, имеют
одно и то же арифметическое распределение, приписывающее вероятности
f\, fb ... целым числам 1, 2, ..., и вероятность q числу —1 (q+fi+ft+ ¦ • .=
= 1). Обозначим через ХГ {г=\, 2, ...) вероятность того, что первый положи-
положительный член последовательности Si, S2, ... имеет величину г (иными слова-
словами, {Кг} есть распределение первой лестничной высоты). Покажите, что
(а) Числа Хг удовлетворяют рекуррентным соотношениям
r). О)

492 Гл. XII. Случайные блуждания в Я'
(б) Производящие функции связаны равенством
(в) Если Е(Хй) =Ц = /'A)—<?>0, то существует единственный корень
0<ст<1 уравнения
/(s)+i-==l. C)
Из того, что Я — монотонная функция и Я<1 на 0,1, выводится, что
v > q s —0
Это эквивалентно
(г) Если E(Xft)<0, то соответствующее решение получаем, полагая в B)
А, = A—q)lq. При этом D) и E) выполняются с ст=1.
4. Решите предыдущую задачу (изменив ее там, где нужно) для слабых
лестничных высот. Другими словами, рассмотрите вместо Яг вероятность того,
что первый из неотрицательных членов последовательности Sb S2, ... при-
принимает значение г (г = 0, 1, .. . ).
Покажите, что A) и D) следует заменить на
(la)
5. Пусть в случайном блуждании задачи 3 х обозначает вероятность
того, что Sn<0 при некотором п. Покажите (независимо от этой задачи),
что х удовлетворяет уравнению C) и что, следовательно, х=а.
6. Продолжение. Покажите, что вероятность выполнения при каком-ни-
каком-нибудь п>0 неравенства Sn ^ 0 равна q + f(a) = l—q(o~l—-1). Проверьте, что
X (l)=ne[q(l — а)]. Это — частный случай B.7) (или тождество Вальда).
7. Выведите A.11) из A.10) непосредственным вычислением.
8. Вероятности достижения. Пусть /!>0 и |>0. Обозначим S(t, |) ве-
вероятность того, что первая сумма S,,, превосходящая t, не будет превышать
t + Ь,. Докажите, что G удовлетворяет интегральному уравнению
t+
J G(t—y, l)F{dy).
В случае неединственности G является минимальным решением. Распределе-
Распределение Н лестничной высоты однозначно определяется формулой #(g)=G(O, !)•
9. Пусть h тот член последовательности Si, S2, ..., который следует за
первой лестничной высотой &б\ и меньше ее. Распределение h равно л#• Н~.
Рассмотрите процесс восстановления, порождаемый h, и выведите из закона
больших чисел (как в теореме 2.2), что верна

§ 10. Задачи 493
Теорема. Если с тучайные величины <Ж\ и &$x собственные и имею?
математические ожидания, то
Е (&Р,) + Е (d*pf) = Е (X,) = 0.
10. Аналитическое доказательство тождества Вальда B.7). Выведите из
C.11), что
0 +
l-F(x) = [\-p@)][\-H(x)]+ J 9{dy}{H(x-y)-H(x)l
— СО
X
F(x)= J p{dy)[l-H(x-y)]
— OD
при л:>0 и х<0 соответственно.
Установите, что F имеет положительное математическое ожидание ц
тогда и только тогда, когда Н имеет конечное математическое ожидание v
ир@)<1. Выведите интегрированием на —¦ со, со, что |х = [1—p@)]v (что
эквивалентно B.7)).
11. Покажите, исходя из C.11), что если все три распределения имеют
дисперсии '), то Е (X,) = 0 и Var (Xj) = — Е (а^) Е (сй?Г).
12. К примеру D. в). Если fx>0, то знаменатель имеет положительный
корень so<l, ровно Ь — 1 комплексных корней в круге И<$о и о—1 ком-
комплексных корней в области |s|>l.
Случай |х<0 можно описать заменой s на 1/s.
13. Производящая функция для верхней лестничной высоты в примере
D. в) равна
Для нижних лестничных высот результат получается заменой sjcih на Oh/s.
14. К, примеру D. в). Допустим, что Xj принимают значения —2, —1, 0,
1, 2, с вероятностью 1/5 каждое. Покажите, что верхняя лестничная высота
имеет распределение, для которого
3 + /5 3 + ^5
Для слабых высот Ао =-гр-G— 1^5), Я! = -tj- A + У5 ), Я2 = -=-.
1U Ш О
15. Обозначим в примере D. в) через г|)^!' вероятность того, что первые
I 1
п шагов не выводят из интервала —В, А, а га-й шаг приводит в состояние k
(таким образом, т|4"' = 0 при k>A и k<—В; как обычно, я|/А' равно 1 при
') Более точные результаты см. в 1, гл. XVIII, 5, где SjV и Sft играют
роль &€х и ФС\'

494 Гл. XII. Случайные блуждания в з?1
ft=O и равно 0 в других случаях). Пусть Ф* = 2'Ф*"'— математическое
I 1
ожидание числа попаданий в k до первого выхода из —В, А. Покажите, что
t*= 2
v--.fi
и что при k > А и k < — ZJ величина
= 2
равна вероятности того, что первый выход из интервала —В, /4 приводит в
точку к. [Эта задача важна для последовательного анализа. Она иллюстри-
иллюстрирует ситуацию, описанную в (9. г).]
16. Из теоремы 7.2 вытекает, что при
2«-'P{S,,>0} <оэ.
Проведите следующее прямое доказательство. Достаточно показать
(вспомните неравенство Чебышева), что
п
2J J F{dy)< со, ^ ~ J y*F \dy) < со.
1г/1> я -л
Первое утверждение очевидно. Для доказательства второго разобьем инте-
интеграл в сумму интегралов по областям k—l<|i/l<Jft, ft = l, ..., п — 1. Меняя
порядок суммирования, видим, что весь ряд <2Е(|Х|).
17. Покажите, что при бросании симметричной монеты
У — Р {Sn = 0} = log Л2, -.
Указание: представьте левую часть как интеграл от 0 до s от функции
[A-л2)-'/2-1]лг1.
18. Предположим, что случайное блуждание невозвратно, т. е что
для любого конечного интервала. Положим в обозначениях § 3 Ф = 2 рп*.
о
Докажите справедливость уравнения восстановления
Если t|r — аналог г|) для отрицательной полуоси, то г|г=A — t)G>, как и в
A.11).
19. Выведите, что
[/ = —-?$*$-,
и покажите, что это эквивалентно разложению Винера — Хопфа C.12).
20. Выведите тождество Вальда Е (&ffi) = E (J^) E (Х^ непосредственно
из уравнения восстановления задачи 18.

ГЛАВА XIII
ПРЕОБРАЗОВАНИЕ ЛАПЛАСА.
ТАУБЕРОВЫ ТЕОРЕМЫ. РЕЗОЛЬВЕНТЫ
Преобразование Лапласа служит мощным практическим ору-
орудием. В то же самое время соответствующая теория интересна
и сама по себе и по связи ее с другими разделами, например
с теорией полугрупп. Теорема о вполне монотонных функциях
и основная тауберова теорема с полным правом рассматрива-
рассматривались как жемчужины математического анализа. (Хотя приводи-
приводимые доказательства просты и элементарны, первоначальные ис-
исследования в этом направлении требовали оригинальности и
силы.) Резольвенты (§ 9—10) являются основой теории полу-
полугрупп.
Материал этой главы предназначен для использования в раз-
различных целях. Поэтому были приложены значительные усилия,
во-первых, чтобы сделать части настолько независимыми друг
от друга, насколько это позволяет тема, и, во-вторых, чтобы
дать читателю возможность опускать детали. Для дополнитель-
дополнительного чтения может служить гл. XIV. Там же можно найти при-
примеры. Остальная часть книги совершенно не зависит от настоя-
настоящей главы.
Несмотря на то что нам часто будут встречаться правильно
меняющиеся функции, мы будем пользоваться только совсем
элементарной теоремой 1 из гл. VIII, 8.
§ 1. Определения. Теорема непрерывности
Определение 1. Пусть F — собственное или несобствен-
I
ное распределение вероятностей, сосредоточенное на 0, оо. Пре-
Преобразованием Лапласа ср распределения F называют функцию,
определенную для X ^ 0 равенством
V4F{uf*}. A.1)
6
Здесь и далее подразумевается, что интервал интегрирования
замкнут (и может быть заменен на —оо, оо). Когда мы гово-
говорим о преобразовании Лапласа распределения F, мы неявно

496 Гл. Kill. Преобразование Лапласа. Тауберовы теоремы.
предполагаем, что F сосредоточено на 0, оо. Как обычно, мы
расширяем смысл терминов и говорим о «преобразовании Лап-
Лапласа случайной величины X», понимая под этим преобразова-
преобразование Лапласа соответствующего распределения. Применяя при-
привычное обозначение для математического ожидания, имеем
фA) = Е(?-?-х). A.2)
Пример, а) Пусть X принимает значения 0, 1, ... с вероят-
вероятностями ро, pi, ... . Тогда ф(Я) =2р„е~пХ. Так как производя-
производящая функция равна Р(s) =Hpnsn, то <р(Я) = Р{е~к), и преобразо-
преобразование Лапласа отличается от производящей функции только за-
заменой переменных s = e~k. Этим объясняется большое сходство
свойств преобразований Лапласа и производящих функций. >
Польза преобразований Лапласа была бы ограниченной, если
бы распределение не восстанавливалось по соответствующему
преобразованию. Формулы обращения (§ 4) показывают, как
вычислить распределение F, если известно его преобразование;
здесь же мы приведем предварительный результат.
Теорема 1 '). Различным распределениям вероятностей со-
соответствуют различные преобразования Лапласа.
Доказательство. Положим у = е~х. При изменении х
от 0 до оо у пробегает интервал 0, 1. Полагая G(z/)=1 —F(x)
в точках непрерывности, получим распределение G, сосредо-
, j
точенное на 0, 1. Теперь ф(Я) есть предел римановых сумм
2^~ х* [F (хк+]) — F(xk)\, а последние совпадают с римановыми
суммами 2y?[G(t/ft) — Q(yk+^)\ для математического ожидания ук
по отношению к G. Следовательно, ц>(Щ есть k-й момент G. По-
Поэтому значение срA), <рB), ... определяют G, а вместе с тем
и F. Этот результат сильнее, чем утверждение теоремы (даль-
(дальнейшее обобщение см. в задаче 11). >
Следующий ниже важный результат просто выводится из
теоремы 1.
Теорема 2. (Теорема непрерывности.) Пусть Fn, п= 1,2,...
распределение вероятностей с преобразованием ф„.
Если Fn-*F, где F — (возможно, несобственное) распределе-
распределение с преобразованием ф, то фп(А,) —>ф(Я) при
') Эта теорема вытекает из гл. VII, F.4); последнее соотношение выво-
выводится здесь заново (см. D.4)).

§ I. Определения. Теорема непрерывности 497
Обратно, если последовательность {ф„(Я)} сходится при каж-
каждом Я>0 к пределу ф(Я), то ф— преобразование (возможно, не-
несобственного) распределения F и Fn—+ F.
Предел F будет собственным в том и только том случае, ко-
когда ф(Я) -> 1 при Я->0.
Доказательство. Первая часть содержится в основной
теореме о сходимости гл. VIII, 1. Для доказательства второй
части привлечем теорему о выборе (теорема 1 из гл. VIII, 6).
Пусть {Fnh\ — подпоследовательность, сходящаяся к (возможно,
несобственному) распределению F. Если фп(Я)—>ф(Я), то F
является тем единственным распределением, которое имеет
преобразование Лапласа ф. Поэтому все сходящиеся подпосле-
подпоследовательности сходятся к одному и тому же пределу F. Отсюда
вытекает, что Fn сходится к F. Последнее утверждение ясно
из A.1). >
Для ясности изложения мы сохраним всюду, где это воз-
возможно, букву F для обозначения распределения вероятностей.
Вместо A.1) мы могли бы взять более общий интеграл вида
Лс}, A.3)
где U — некоторая мера. Важный частный случай представляют
интегралы вида
со
(Я) = j e-Xxu (х) dx, A.4)
где и^-0. Этот интеграл сходится при всех Я^О, если и интег-
интегрируема на 0, оо. Однако при Я>0 он может сходиться и для
неинтегрируемых и.
Примеры, б) Если и(х)=ха с а>0, то со (Я) —Т{а+ 1)/Яа+1
для всех Я>0.
в) Если и(х)=еах, то со(Я) = 1/(Я — а) для Я>а>0. Интег-
Интеграл A.4) расходится для Х^.а.
г) Если и(х) = ех\ то интеграл A.4) расходится всюду. !>
Мы будем интересоваться главным образом мерами U, полу-
полученными простыми преобразованиями из распределений вероят-
вероятностей, и интеграл в A.3) будет, как правило, сходящимся при
всех Я>0. Однако, исключая меры, для которых сходимость
имеет место только при некотором Я, мы не получаем никакого
выигрыша. Далее из со(а)<оо вытекает со(Я)<оо для всех

498 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
%>а, так что значения К, для которых интеграл A.3) сходится,
заполняют промежуток а, оо.
Определение 2. Пусть U — мера, сосредоточенная на
О, оо. Если интеграл A.3) сходится при %>а, то определенная
при Х>а функция со называется преобразованием Лапласа
меры U.
Если U имеет плотность и, то преобразование Лапласа A.4)
меры U называется также обычным преобразованием Лапласа
функции и.
Последнее соглашение принимается единственно ради удоб-
удобства. Чтобы быть систематичным, следовало бы рассмотреть
интеграл более общего типа
со
e-Kxv{x)U\dx) A.5)
и назвать его «преобразованием Лапласа функции v по отно-
отношению к мере U». Тогда преобразование A.4) получило бы
название: «преобразование и по отношению к мере Лебега».
Этот подход мог бы иметь теоретическое преимущество, если
бы позволял рассматривать знакопеременные функции и и v.
Однако для целей настоящей книги самый простой и самый ясный
способ действий состоит в том, чтобы связывать понятие преоб-
преобразования Лапласа только с мерами. Это мы и будем делать1).
Если U такая мера, что интеграл A.3) сходится при Х = а, то
функция
ш{Х + а)= $ e-Xxe-a*U[dx] A.6)
о
определена при всех А>0 и представляет собой преобразо-
преобразование Лапласа ограниченной меры ?/* {dx} — e-axU{dx\, a
оз(К + а)/<д(а) является преобразованием Лапласа некоторого
распределения вероятностей. Поэтому каждая теорема, касаю-
касающаяся преобразований распределений вероятностей, автомати-
автоматически распространяется на более широкий класс мер. По-
Поскольку и>(К + а) получается «сдвигом» to, мы будем называть
') Терминология еще не вполне сложилась, и в литературе термин «пре-
«преобразование Лапласа для F» может обозначать как A.1), так и B.7). Мы
бы назвали B.7) «обычным преобразованием Лапласа функции распределе-
ьия F», но в учебниках, которые, как правило, рассматривают только такие
преобразования, прилагательное «обычный» бывает опущено. В подобных
случаях во избежание путаницы преобразование A.1) называют преобразо-
преобразованием Лапласа — Стильтьеса.

§ 1, Определения. Теорема непрерывности 499
указанный полезный метод «принципом сдвига». Заметим что U
однозначно определяется по ?7 , a U —по о)(Х + а) при Х>0.
Поэтому мы можем перефразировать теорему 1 следующим об-
образом.
Теорема 1а. Мера однозначно определяется значениями
соответствующего преобразования Лапласа на некотором интер-
интервале а, ею.
Теорема 2а. (Обобщенная теорема непрерывности.) Пусть
Un (п=1, 2, ...) меры с преобразованиями Лапласа оз„. Если
<о„(А,) —*а{Х) при А,>а, то со является преобразованием Лапласа
некоторой меры U «') Un —* U.
Обратно, если Un—*U и последовательность {©„(а)} ограни-
ограничена, то а „(К) ->со(Х) при \>а.
Доказательство. При фиксированном ).0>а функция
ю„(А.+Х,о)/(оп(Х,о) представляет собой преобразование Лапласа
распределения вероятностей
Применяя теорему 2 к последовательности (?Ai}> получаем
теорему 2а. >
Следующий пример пояснит, зачем нужно условие ограни-
ограниченности {(дп(а)}-
Пример, д) Пусть Un приписывает вес е"~ точке п и нуль —•
дополнению этой точки. Так как Un{0, п} = 0, мы имеем Un—*0.
Однако con(^) =en<-r-k>—* оо при всех Х>0. !*¦
Иногда говорят о двустороннем преобразовании Лапласа для распреде-
распределения F, не сосредоточенного на положительной полупрямой, а именно
= J e->-*F{dx}. A.7)
— со
Однако этот интеграл не обязан существовать при ХФО. Если он суще-
существует для ХфО, то ф(—X) называют обычно производящей функцией момен-
моментов, хотя на самом деле она служит производящей функцией для последова-
последовательности {|г„/«!}, где \in—п-й момент.
') Напомним, что, согласно гл. VIII, 1, UV->U тогда и только тогда,
когда U„{/}->?/{/} для каждого ограниченного интервала непрерывности U.

500 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
§ 2. Элементарные свойства
В этом параграфе мы перечислим наиболее часто используе-
используемые свойства преобразований Лапласа. Аналогии с производя-
производящими функциями очевидны.
(i) Свертки. Пусть F и G — распределения вероятностей и
U — их свертка, т. е.
X
U{x)=\G{x-y)F{dy). B.1)
о
Соответствующие преобразования Лапласа подчиняются пра-
правилу умножения
со = Фу. B.2)
Последнее равносильно утверждению, что для независимых
случайных величин Е(е~я(х+?)) = E(e~AX)E(e~?-Y), что есть спе-
специальный случай правила умножения математических ожида-
ожиданий 1).
Рассмотрим более общий случай двух произвольных мер F
и G, сосредоточенных на 0, оо и таких, что их преобразования
Лапласа ф и у существуют при К 5> а. Свертка B.1) определена,
и мы покажем, что правило умножения B.2) остается в силе.
Для этого введем ограниченную меру F {dx} = e~axF {dx} с пре-
преобразованием Лапласа <р(А,+а). Аналогично определим *
и 1)^, Умножая B.1) на е~ах, видим, что свертка F^ и
равна [/*, так что со(Х + а) =ц>{Х+а)у(К + а). Последнее равно-
равносильно B.2).
В терминах плотностей B.1) имеет вид
X
u(x)=jg(x-y)f(y)dy. B.3)
о
Поэтому правило умножения B.2) справедливо и для обычных
преобразований неотрицательных функций (см. задачу 1).
Примеры, а) Гамма-распределения. Плотность
Xй-1
fa(x) =~F~rye~x имеет преобразование ф„(Я) = A + Я)~а. Прави-
Правило свертки fa*fp = fa+& отражается в очевидном соотношении
') Обратное неверно: две случайные величины могут быть зависимыми,
но распределение их суммы определяется по формуле свертки [см. гл. II Dд)
и задачу 1 в гл. III, 9].

§ 2. Элементарные свойства 50f
б) Степени. Положим иа(х) =ха~К Обычное преобразование
Лапласа для иа равно ыа(Х) = А~аГ(а). Отсюда следует, что
свертка B.3) функций иа и и& равна
Это, впрочем, можно вывести из примера (а) с помощью прин-
принципа сдвига.
в) Если а>0, то е~а1(п(Х) есть преобразование Лапласа для
меры с функцией распределения U(х — а), т. е. для меры, при-
приписывающей интервалу / вес 11 {I — а}. Это очевидным образом
следует из определения, но может рассматриваться и как спе-
специальный случай теоремы о свертке, так как е~аК является пре-
преобразованием распределения, сосредоточенного в точке а. &
(и) Производные и моменты. Если F — распределение ве-
вероятностей и ф — его преобразование Лапласа A.1), то ф обла-
обладает производными всех порядков, причем
со
(—1)" ф(л) (Я,) = J e-KxxnF {dx} B.5)
о
(как всегда, Х>0). Дифференцирование под знаком интеграла
законно, так как формальное дифференцирование приводит
к ограниченному и непрерывному подинтегральному выражению.
Из B.5) вытекает, в частности, что F имеет конечный п-й
момент в том и только том случае, когда существует конечный
предел фп@). Поэтому для случайной величины X мы можем
написать
Е(Х) = -Ф'@), Е(Х*) = <р"(О) B.6)
с очевидным соглашением о смысле этих равенств в случае рас-
расходимости. Правило дифференцирования B.5) верно и для про-
произвольных мер F.
(iii) Интегрирование по частям приводит от A.1) к
^-, l>0. B.7)
Для распределений вероятностей B.7) иногда предпочти-
предпочтительнее записывать в форме, содержащей «хвост» распреде-
распределения,
со
^l^) B.8)

502 Гл. XIII. Преобразование Лапласа. Таубсровы теоремы
Это соответствует формуле 1, гл. XI, A.6) для производящих
функций.
(iv) Изменение масштаба. Из A.2) выводим, что при любом
фиксированном а>0 Е(е~аХК) =<р(аА.), т. е. <р(аЯ) является пре-
преобразованием для распределения F{dxja] [с функцией распреде-
распределения F(xja)]. Это соотношение часто используется.
Пример, г) Закон больших чисел. Пусть Х4, Х2, ... — незави-
независимые случайные величины с одним и тем же преобразованием
Лапласа <р. Положим E(X,-)=|i. Преобразование Лапласа для
суммы Xj + . . . + ХП равно фп. Поэтому преобразование для сред-
среднего арифметического [Х4 + . . . + Х„]/« равно ц>п(К/п). Вблизи
нуля <р(А,) = 1 — [iX + o(K) [см. B.6)], так что при п -* оо
hm m (— =hm —— =е~^а. B.9)
Но е~^х есть преобразование Лапласа для распределения, сосре-
сосредоточенного в точке ix, следовательно, распределение fXi + ...
. . +Хп]/п сходится к этому пределу. Мы получили (слабый) за-
закон больших чисел в форме Хинчина, не требующей существова-
существования дисперсии. Доказательство, правда, применимо только к не-
неотрицательным случайным величинам, но оно иллюстрирует изя-
изящество метода, основанного на преобразованиях Лапласа. >
§ 3. Примеры
а) Равномерное распределение. Пусть F обозначает равно-
равномерное на О, I распределение. Его преобразование Лапласа рав-
равно ф(А) = A—е~кIХ. Поэтому n-кратная свертка Fn* имеет
преобразование
Функция \~п служит преобразованием для U(х) =хп/п\. При-
Пример B, в) показывает, что функция e-klX~n соответствует
(х—k)"Jn\, где х+ обозначает функцию, равную 0 для х ^ 0
и х для х ^ 0. Таким образом,
[)-k)n+. C.2)
Эта формула была получена прямым вычислением в гл. I, (9.5)
и предельным переходом в задаче 20. из 1, гл. XI.

§ 3. Примеры 503
б) Устойчивое распределение с показателем '/г- Функция
распределения
(где ЭТ — стандартное нормальное распределение) встретилась
нам в предельной теореме 2 из 1, гл. III, 6. Мы используем
этот результат для вычисления преобразования Лапласа у для G.
Рассмотрим простое симметричное случайное блуждание (бро-
(бросание монеты) и обозначим через Т момент первого возвраще-
возвращения в нуль. Цитированная теорема утверждает, что G является
предельным распределением для нормированной суммы Sn =
= (Т4+ ... +Tr,)/n2, где Т4, Т2, ... — независимые случайные ве-
величины, распределенные, как Т. В соответствии с 1, гл. XI,
C.11) производящая функция для Т равна f(s) = 1— )А — s2.
Следовательно, S,j имеет преобразование Лапласа <в„(Л) =
=/«(е-х/п2). Очевидно, что при s —* 1 log f (s) 1^2A —s). По-
Поэтому при п —> оо log со„ (X)-ч* — У 2k и преобразование Лапласа
для G равно y(k) = e~^u. Этот результат можно проверить эле-
элементарными, но громоздкими вычислениями.
Мы несколько раз отмечали, что распределение G является
устойчивым, но опять-таки прямая проверка требует трудоем-
трудоемких вычислений. В то же время очевидно, что yn(k) =y(n2K),
т. е. Gn*(x) = G(n~2x), чем без всякого труда доказывается'
устойчивость G.
в) Степенные ряды и смеси. Пусть F — распределение ве-
вероятностей с преобразованием Лапласа ф(^). Мы постоянно
сталкивались с распределениями вида
оо
G = 2j PitFn • C-4)
где {рн} — распределение вероятностей. Если Р(s) = 2 Pksh —
производящая функция для {/?/,}, то преобразование Лапласа
для G равно, очевидно,
у (Ц = р (ф (?,)). C.5)
Это соотношение распространяется на все степенные ряды с по-
положительными коэффициентами. Перейдем к примерам.
г) Бесселевы плотности. Мы видели в примере гл. II, G, с),
что при г=\, 2, ... плотность1)
„. (х\.— р-х а_ г i г\ (я. р.\
иf ул) — с — i [ ул.) \и • оj
') /г — фракция Бесселя, определенная в гл. 11, G.1).

504 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
соответствует распределению вида C.4), где F имеет показа-
показательное распределение с ф(А,) = 1/(А,+ 1) и {ph)— распределение
момента первого перехода через точку г>0 в обычном симмет-
симметричном случайном блуждании. Производящая функция послед-
последнего распределения равна _
AПЩГ C.7)
[см. 1, гл. XI, C.4)]. Подставляя сюда s=(l+X)~\ мы видим,
что обычное преобразование Лапласа для плотности вероятно-
вероятности C.6) равно
[Х + 1-^+1J-1]Г. C.8)
Утверждение о том, что vr является плотностью вероятности,
преобразование которой равно C.8), доказано нами только для
г=1, 2 Однако оно верно1) для всех г>0 и в этом смыс-
смысле представляет вероятностный интерес. В самом деле, отсюда
вытекает формула свертки vr*vs = vr+s и, следовательно, без-
безграничная делимость vr (см. § 7).
д) Другие бесселевы плотности. Выберем в C.4) в каче-
качестве F показательное распределение с ф(А,) = 1/A +%)s а в ка-
качестве {ph} — распределение Пуассона с P(s) =e~t+ts. Легко дать
явную формулу для G, но, к счастью, эта задача уже была ре-
решена в примере G, а) гл. II. Мы видели там, что плотность
wp (x) = е-*-' у (jf /p B У tx), C.9)
определенная в гл. II, G.2), является сверткой нашего распре-
распределения G с гамма-плотностью fit p+i. Отсюда следует, что обыч-
обычное преобразование Лапласа для шр равно произведению у на
преобразование для fi, р+ь т. е. на (^+1)~(р+1). Соответственно
плотность вероятности C.9) имеет преобразование Лапласа
C.10)
При /=1, используя принцип сдвига A.6), получаем, что
"j/xp/pB Y~x) имеет обычное преобразование X~p~1el/k.
§ 4. Вполне монотонные функции.
Формулы обращения
Как мы видели в гл. XII, 2, функция /, заданная на Ъ, 1, яв-
является производящей функцией для положительной последова-
') Результат принадлежит Н. Weber. Элементарное доказательство опу-
опубликовано в /. Soc. Industr. Appl. Math.! vol. 14 A966).

§ 4 Вполне монотонные функции 505
тельности {/„} тогда и только тогда, когда f абсолютно моно-
монотонна (т е. когда f имеет ноложительные производные /<п> всех
порядков). Аналогичная теорема имеет место и для преобразо-
преобразований Лапласа. Разница лишь в том, что теперь знаки произ-
производных чередуются.
Определение 1. Заданная на 0, оо функция ср называется
вполне монотонной, если она имеет производные q/"> всех по-
порядков и
(_1)"фО)(Я)>0, Я>0. D.1)
Прч Х—*0 значения ф<п'(Я) приближаются к конечным или
бесконечным пределам, которые мы обозначим ф<я)@). Типич-
Типичные примеры— функции 1/А, и 1/A +К).
С. Н. Бернштейну A928) принадлежит след>ющая прекрас-
прекрасная теорема, которая послужила отправным пунктом многих
исследований (ее доказательство упрощалось шаг за шагом1) ).
Теорема 1. Функция ф на 0, оо является преобразованием
Лапласа распределения вероятностей F тогда и только тогда,
когда она вполне монотонна и ф@) = 1.
Теорема может быть сформулирована и в другой, эквива-
эквивалентной форме.
Теорема 1а. Функция ф на 0, оо является вполне монотон-
монотонной тогда и только тогда, когда она имеет вид
->«F{dx), Я>0, D.2)
где F (может быть, бесконечная) мера на 0, оо.
(По нашему первоначальному соглашению промежуток ин-
интегрирования всегда замкнут; наличие у F атома в нуле приво-
приводит к ф(оо) >0.)
Приводимое доказательство непосредственно применимо и
к кажущейся более общей теореме 1а. Однако читатель может
легко проверить сам, используя принцип сдвига A.6), что вто-
второй вариант на самом деле вытекает из первого.
Доказательство. Необходимость условия устанавли-
устанавливается дифференцированием [ср. B 5)]. Предположим теперь,
что ф вполне монотонна. Рассмотрим ф (a —as) при фиксиро-
фиксированном а>0 как функцию от s, 0<s<l. Производные этой
функции, очевидно, положительны и по теореме 3 из гл. VII, 2',
') См дальнейшие результаты в задачах 10 и 11.

506 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
разложение Тейлора
а) ц) \и) п , * Q4
7Г\ s D-3)
/1=0
служит производящей функцией арифметической меры, сосредо-
сосредоточенной на множестве точек 0, 1, 2,... . Преобразование Лап-
Лапласа этой меры получается заменой s на е~х. Поэтому фа(^) =
= ф(а — аё~К1а) является преобразованием Лапласа некоторой
меры Fa. Так как при а —*¦ оо q>a(X) —*<p(k), то по обобщенной
теореме непрерывности предел преобразований Лапласа мер Fa
сам будет преобразованием Лапласа некоторой меры F. Е>
Доказательство закончено, но стоит отметить, что попутно
мы доказали соотношение F — \imFa, где Fa — арифметическое
распределение, приписывающее вес (—а)"ф<п)(а)/п! точке п/а.
Поэтому верна
Теорема 2. (Формула обращения.) Если D.2) выполняется
при к>0, то во всех точках непрерывности')
р1 ( у\ — \\ *х\ т — .. fc\(ft) I/y\ (Л. АУ
I \-^-/ lllli / j j Ц; V /' \ /
Последняя формула представляет значительный теоретиче-
теоретический интерес,и приводит к различным полезным заключениям.
Примером может служить следующий критерий ограниченности,
применяемый в теории полугрупп [см. задачу 9].
Следствие. Для того чтобы функция ф представлялась
в форме
= (" e-)xf
<р(Я,)= ( e-)xf{x)dx, где 0</<С, D.5)
6
необходимо и достаточно, чтобы при всех а>0
0<b^f^L<^. D.6)
Доказательство. Дифференцируя D.5) под знаком ин-
интеграла, получаем D.6) [ср. B.5)]. Обратно, из D.6) видно, что
Ф вполне монотонна и потому является преобразованием некото-
некоторой меры F. Из D.4) выводим
F(x2)-F(Xl) <
') Формула обращения D.4) была получена в гл. VII, F.4) как прямое
следствие закона больших чисел. В гл. VII, F.6) указана аналогичная фор-
формула для интегралов вида D.5) с непрерывной (не обязательно положитель-
положительной) /.

§ 4. Вполне монотонные функции 507
для любых Xi<x2. Иными словами, F имеет ограниченные раз-
разностные отношения и, следовательно, представляет собой интег-
интеграл от функции f*CC (см. гл. V, 3). >
Теорема 1 приводит к простым критериям того, будет ли дан-
данная функция преобразованием Лапласа некоторого распреде-
распределения вероятностей. Для иллюстрации стандартных приемов до-
докажем
Критерий 1. Если ц> и г|) вполне монотонны, то таково же
и их произведение фф.
Доказательство. Мы покажем по индукции, что знаки
производных ф\|) чередуются. Допустим, что для каждой пары ф
и г(з вполне монотонных функций знаки первых п производ-
производных ф^|) чередуются. Так как —ф' и —г|/ вполне монотонны, то
предположение индукции применимо к произведениям —ф'г|з и
—ф\|/. Из равенства — (фф)' =—q>'ty — фг|/ заключаем, что знаки
первых (п+1)-х производных (рф чередуются. Так как при п = \
утверждение тривиально верно, критерий доказан. >
Точно так же доказывается полезный
Критерий 2. Если ф вполне монотонна и ч|з— положитель-
положительная функция с вполне монотонной производной, то ф (гр) вполне
монотонна (в частности, функция е~^ вполне монотонна).
Типичные применения даны в § 6, а также в следующем при-
примере, который часто излагается в литературе с ненужными ус-
усложнениями.
Пример, а) Уравнение, встречающееся в теории ветвящихся
процессов. Пусть ф — преобразование Лапласа для распределе-
распределения вероятностей F с математическим ожиданием (х, 0<ц-^оо.
Пусть с>0. Мы докажем, что уравнение
Р(Я)=ф(Я + с — ср (А.)) D.7)
имеет единственный корень р(Я)-С1 и что р есть преобразова-
преобразование Лапласа для некоторого распределения В. Оно будет соб-
собственным при |яс ^ 1 и несобственным в других случаях.
Доказательство. Рассмотрим уравнение
— cs) — s=0 D.8)
при фиксированном К>0 и O^Cs-^1. Левая часть его — вы-
выпуклая функция, значение которой при s=l отрицательно, а
при s = 0 — положительно. Отсюд-а следует существование един-
единственного корня.

508 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы.
Докажем, что корень Р(Х) есть преобразование Лапласа. По-
Положим ро=О и рп+1 = ф(^ + с — фп). Тогда ро-^Pi-^l, и так
как ф убывает, то р4^Ср2<Л. По индукции рп<ф„+1<Л. Предел
ограниченно?! монотонной последовательности {Р„} удовлетво-
удовлетворяет D.7) и, следовательно, p = limpn. Функция р1(Я)=ф(Х+с)
вполне монотонна, и критерий 2 показывает, что р2, рз, ¦ ¦ ¦ также
вполне монотонны. По теореме непрерывности то же самое вер-
верно для предела C, и остается только узнать, будет ли р@) = 1
или нет. По построению s = p(O) является наименьшим корнем
уравнения D.8) при к — О. Далее, s=l является корнем. Из вы-
выпуклости графика <р{с — cs) вытекает, что второй корень s<l
существует тогда и только тогда, когда угловой коэффициент
графика при s = l больше единицы (т. е. если —Сф'@)>1).
Только в этом случае распределение, соответствующее р, будет
несобственным. Доказательство закончено. (Применения и ссыл-
ссылки см. в гл. XIV, 4.) >
§ 5. Тауберовы теоремы
Пусть U — мера, сосредоточенная на 0, оо и такая, что ее
преобразование Лапласа
со G») = f e~kxU [dx] E.1)
о
существует при А,>0. Удобно описывать меру U в терминах
соответствующей «функции распределения», определенной при
лг^О, как G{0, х}. Мы увидим, что при весьма общих условиях
поведение со вблизи нуля однозначно определяет асимптотиче-
асимптотическое поведение U(x) при #->оо. Любое подобное соотношение
между со (л) и U(x) называется тауберовой теоремой. Простей-
Простейший частный случай получаем, замечая, что мера U конечна
тогда и только тогда, когда со(Х,) стремится к конечному пре-
пределу со@) при Х-*0. В этом случае U(оо) =со@). Даже этот
простейший частный случай позволяет сделать некоторые за-
заключения.
Пример, а) Пусть F — распределение вероятностей с преоб-
преобразованием Лапласа ф(Я). Мы знаем [см. B.8)], что со G,) =
= -? является преобразованием Лапласа меры U {dx} =
=[1 —F(x)]dx. Здесь со@) =—ср'(О). Соотношение со@)=<У(оо)
показывает, что конечная производная q>'@) существует тогда
и только тогда, когда функция 1 — F интегрируема на 0, оо,
«ли, что то же самое, когда F имеет конечное математическое

§ 5. Тауберовы теоремы 509
ожидание. Этот результат содержится в B.6), и единственная
цель настоящего рассуждения — показать, что формулы диффе-
дифференцирования B.5) связаны с тауберовыми теоремами.
Чтобы избежать непривлекательных формул, содержащих
обратные величины, введем две положительные переменные t
и т, связанные соотношением
tx = \. E.2)
Тогда т —* 0 при t —* оо.
Поясним происхождение тауберовых теорем. При фиксиро-
фиксированном t замена переменных x = ty в E.1) показывает, что
со (т.Я) является преобразованием Лапласа для несобственной
функции распределения U(ty). Так как со убывает, возможно
найти последовательность ti, тг, ... -> 0, такую, что, когда х
пробегает ее,
ifer^YW, (о.З)
где у(Я) конечно при всех Я>1. По обобщенной теореме непре-
непрерывности предел у есть преобразование Лапласа некоторой
меры G и когда t пробегает последовательность tk = l[
во всех точках непрерывности G. Фиксируя х, мы видим, что
асимптотическое поведение II (t) при t —> оо тесно связано с по-
поведением a(t~x).
В принципе мы могли бы сформулировать это утверждение
как некую всеобъемлющую тауберову теорему, но она была бы
неудобна для практического использования. Для того чтобы
достигнуть разумной простоты, мы рассмотрим только случай,
когда E.3) верно при любом способе приближения т к нулю
(т. е. когда со правильно изменяется в окрестностях нуля). Эле-
Элементарная лемма1) из гл. VIII, 8 утверждает, что предел у не-
необходимо имеет вид у(Х)=Х~р, где р ^ 0 — некоторая постоян-
хр
ная. Тогда О (х) = , ,. и, как мы показали, из
7V
со (т)
вытекает
щ(т) Г(р
E.6)
'), Эта лемма нужна только для объяснения формы соотношений E.5) и
E.7) (которая иначе показалась бы неестественной). Теория правильно ме-
меняющихся функций не используется нигде в этом параграфе [кроме замеча-
замечания, что E.17) влечет E.16)].

510 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
t->oo. E.7)
откуда в свою очередь следует
U(tx)
U(t)
Иными словами, U правильно меняется на бесконечности и
соответствующие показатели у со и U равны по абсолютной ве-
величине. Полагая в E.6) х—1, мы видим, что
со(т)~?/(ОГ(р+1). E.8)
Это и есть желаемая тауберова теорема. Мы сформулируем ее
вместе с обратным утверждением.
Теорема 1. Для фиксированного 0<^р<оо каждое из со-
соотношений E.5) — E.7) влечет остальные.
Доказательство. Как мы уже знаем, E.5) влечет
E.6), а E.6) влечет E.7). Чтобы показать, что E.7) влечет
E.5), мы повторим предыдущие рассуждения. Функции U(tx)
соответствует преобразование Лапласа ю(тА), так что E.7) при-
приводит к соотношению
б>(тА) Г(р +1
(в предположении, что применима обобщенная теорема непре-
непрерывности, т. е. в предположении, что левая часть ограничена
при некотором К). Из E.9) тривиально выводится E.5), по-
поэтому для доказательства теорема достаточно проверить, что
отношения G)(x)/U(t) ограничены.
Разбивая область интегрирования точками t, 2t, 4t, ..., по-
получаем
<о(т)<2е-2"?/BяО. E.10)
о
В силу E.7) существует число t0, такое, что UBt) < 2P+1 U (t)
при />^о. Последовательное применение этого неравенства дает
-2". E.11)
так что левая часть действительно ограничена при t —* оо. >
Пример, б) U(x) ~ log2л: при л:->-оо тогда и только тогда,
когда co(A,)~log2A< при Л—>-0. Аналогично U(x) ~ Ух тогда и
только тогда, когда ю(Я) ~-g у •%.

§ 5. Тауберовы теоремы 511
Иногда полезно знать, в какой степени справедлива теорема
в пределе при р —>¦ оо. Мы сформулируем соответствующий ре-
результат как
Следствие. Если при некотором а> 1 и t —* оо
Ю(т<д) п U (to) /с in\
или —уу-—>U, или ' , —> оо , (o.lz)
mo
^Щ->0. E.13)
ш(т) v '
Доказательство. Если выполняется первое из соотноше-
соотношений E.12), то при к>а —~^-—>0, и по обобщенной теореме не-
прерывности—(Y~^ ПРИ всех л;->"- ^ак как и(т)^-е .с/(га),
то и второе из соотношений E.12) влечет E.13). -*
В применениях более удобно формулировать теорему 1 в
терминах медленно меняющихся функций. Напомним, что опре-
определенная на 0, оо положительная функция L называется мед-
медленно меняющейся на бесконечности, если при каждом фикси-
фиксированном х
¦^¦-1. '-оо. E.14)
Говорят, что L медленно меняется в нуле, если это соотношение
верно при (-*0 [т. е. если L(\/x) медленно меняется на беско-
бесконечности]. Очевидно, что V имеет вид E.7) тогда и только то-
тогда, когда U(x)lxf> медленно меняется на бесконечности. Ана-
Аналогично E.5) выполняется тогда и только тогда, когда ХР«>(А,)
медленно меняется в нуле. Поэтому теорема 1 может быть сфор-
сформулирована следующим образом.
Теорема 2. Если L медленно меняется на бесконечности
и 0^р<оо, то каждое из соотношений
т->0 E.15)
E.16)
влечет другое.
Теорема 2 имеет интересную историю. Переход от E.16) к E.15) (от
меры к преобразованию Лапласа) называют абелевой теоремой; обратный
переход — от E.15) к E.16) (от преобразования Лапласа к мере)—назы-
мере)—называют тауберовой теоремой. В обычном изложении эти две теоремы отделены
одна от другой, причем доказательство второй из них заметно сложнее.

512 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
В знаменитой работе Харди и Литтльвуда с помощью трудных вычислений
был исследован случай ш(Х) ~\~Р.В 1930 г. И. Карамата произвел сенсацию,
дав упрощенное доказательство для указанного специального случая (это
доказательство и до сих пор приводится в учебниках по теории 'функции
комплексного переменного и преобразованиям Лапласа). Вскоре после этою
он ввел класс правильно меняющихся функций и доказал теорему 2. Дока-
Доказательство было, однако, слишком сложным для того, чтобы включать его
в учебники. Понятие медленного изменения было введено Р. Шмидтом около
1925 г. в связи с этими же вопросами. Наше доказательство упрощает тео-
теорию и делает ее цельной. Кроме того, оно приводит к мало известному, но
полезному следствию.
Большим преимуществом нашего доказательства является то,
что оно без изменений применимо к случаю, когда нуль и бес-
бесконечность меняются ролями, т е. когда т, —¦ оо, a t—>-0. Этим
путем мы приходим к двойственной теореме, связывающей по-
поведение со на бесконечности и поведение U в нуле [эта теорема
будет использована в настоящей книге только для вывода F.2)].
Теорема 3. Последние две теоремы и следствие остаются
верными если нуль и бесконечность меняются ролями, т. е. если
т—¦ оо и t —* 0.
Теорема 2 содержит основной результат этого параграфа, од-
однако для полноты изложения мы сделаем два добавления к ней.
Прежде всего если U обладает плотностью U' = u, то желатель-
желательно иметь оценки для и. Так, в примере (а) мы имеем дело
с «хвостом» распределения и = 1 —F, и оценки для U (для ин-
интеграла от и) можно рассматривать лишь как весьма слабую
замену. В наиболее сбщей обстановке возникают сложности,
связанные с тем, что «хорошая» функция U может иметь «пло-
«плохую» плотность и. К счастью, теорему 2 легко видоизменить,
предполагая и монотонной, что типично для вероятностных при-
применений.
Лемма. Допустим, что U имеет монотонную плотность и.
Если выполняется E.16) и 0<р<оо, то
и@—r^-^'^W, *-+оо. E.17)
[Обратно, E.17) влечет E.16), даже если и не монотонна.
Это утверждение получается из гл. VIII, (9.5) при Z = u и /7 = 0.]
Доказательство. Для 0<а<& имеем
у. EЛ8)
U(tb) — U(ta) _ с и
U (t) J

§ 5. Тауберовы теоремы 513
При t —* оо левая часть сходится к Ьр — ар. В силу монотон-
монотонности и отсюда следует, что при фиксированном г/>0 подинте-
гральное выражение остается ограниченным. По теореме о вы-
выборе [гл. VIII, 6] существует такая последовательность tlt t2, ...
..., —> оо, что, когда t пробегает ее,
Щ~~>ИУ) EЛ9)
во всех точках непрерывности. Как вытекает из предыдущего,
интеграл от яр по а, Ь равен Ьр—ар, так что ty(y) =pyp~1. Так
как этот предел не зависит от выбора последовательности {tk},
то E.19) верно при любом стремлении / к бесконечности. Для
у=1 это соотношение сводится к E.17). >•
Вряд ли необходимо говорить, что соотношения E.16) и
E.17) сохраняются, если изменить U в некотором конечном ин-
интервале; соответственно и лемма остается верной, если пред-
предположить, что и «монотонна, начиная с некоторого места», т. е.
монотонна на некотором интервале а, оо. Комбинируя лемму
с теоремой 2, мы видим, что верна
Теорема 41). Пусть 0<р<<х> Если U имеет монотонную,
начиная с некоторого места, производную и, то при Я -* 0 (со-
(соответственно при х —* оо)
03 М — — Мт) тог-да и только тогда, E.20)
когда и(х)~ xf>-lL{x).
Применение этой теоремы иллюстрируется в следующем пара-
параграфе. В заключение мы покажем, как теорема 2 позволяет по-
получить тауберову теорему для степенных рядов [она исполь-
используется в гл. XII, (8.8) и гл. XVII, 5].
Теорема 5. Пусть qn^ 0, и пусть
со
Q(s)=^iqnsn E.21)
я=о
сходится при 0 *С s < 1. Если L медленно меняется на бесконеч-
бесконечности и 0^р<оо, то каждое из двух соотношений
') Эта теорема включает известную тауберову теорему Э. Ландау. Наше
доказательство дает новый пример того, как теорема о выборе устраняет
аналитические сложности.

514 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
U
влечет другое.
Далее, если последовательность {qn} монотонна и 0<р<оо,
то E.22) равносильно соотношению
Доказательство. Пусть [/ — атомическая мера, припи-
приписывающая точке п вес qn, и пусть со — ее преобразование Лап-
Лапласа. Тогда а (к) = Q (е~к), так что E.22) равносильно тому, что
со (Я) ~Я~р/.A/Я) при Я —>¦ 0. Поэтому эквивалентность E.22) и
E.23) следует из теоремы 2.
Чтобы доказать E.24), заменим U мерой V с плотностью
u{x)=qn при п. ^ х<п+\. Ее преобразование Лапласа равно
е~'К
1 — е
& (к) ^ ^оо(^) при Я—>(). Очевидно, V(x)~U(x) при
х—»оо. Поэтому E.24) вытекает из теоремы 4. ^>
§ 6 *. Устойчивые распределения
Чтобы показать пользу тауберовых теорем, мы выведем об-
общую формулу для устойчивых распределений, сосредоточенных
на 0, оо, и дадим полную характеризацию соответствующих об-
областей притяжения. Доказательства проводятся прямым мето-
методом и обладают замечательной простотой по сравнению с мето-
методами, необходимыми для распределений, не сосредоточенных
на 0, оо.
Теорема 1. При фиксированном 0<а<1 функция
Ча{к) = е~* является преобразованием Лапласа распределе-
распределения Ga, обладающего следующими свойствами:
Ga устойчиво; более точно, если Х(, . . . , Х„ независимые слу-
случайные величины с распределением Ga, то (Xt+ ... +Хп)/п1/а
снова имеет распределение Ga; далее
l о, F.1)
ex~aGa(x)->0, jc->0. F.2)
*") За исключением F.2), результаты этого раздела получены независимо
от гл. IX и XVII. Устойчивые распределения были введены в гл. VI, 1.

§ 6. Устойчивые распреде гения 515
Доказательство. По второму критерию § 4 функция у«
вполне монотонна, так как е~Л вполне монотонна и ка имеет
вполне монотонную производную. Поскольку Ya@) = l. мера Ga
с преобразованием Лапласа уа имеет полную массу, равную
единице. Свойство устойчивости очевидным образом вытекает
из равенства 4l{ty = ya(n[la\). Напомним, что по B.8) функция
(о(Х)=[1 —Ya(^)]A является преобразованием Лапласа меры U
с монотонной плотностью и=\ — Ga. При Я —* 0 имеем со(Я)~
~Ха~\ так что F.1) вытекает из теоремы 5.4. Аналогично F.2)
немедленно получается из следствия теоремы 5.1. Р-
Теорема 2. Пусть F — распределение вероятностей, сосре-
сосредоточенное на О, оо, и такое, что
F«*(anx)->G(x) F.3)
(в точках непрерывности), где G — собственное распределение,
не сосредоточенное в одной точке. Тогда
а) существует функция L, медленно меняющаяся на беско-
бесконечности '), и константа а, 0<а<1, такие, что
б) Обратно, если F имеет вид F.4), то возможно выбрать
числа ап так, что
J±Sg?-+\. F.5)
В этом случае выполняется F.3) с G=Ga.
Из сказанного следует, что возможные предельные распреде-
распределения G в F.3) отличаются от какого-нибудь Ga лишь масштаб-
масштабным множителем. В частности, отсюда видно, что не существует
j
других устойчивых распределений, сосредоточенных на 0, оо.
Доказательство. Если ср и у — преобразования Лапла-
Лапласа F и G соответственно, то F.3) равносильно соотношению
_/ilog<p (¦?)-*-log vW- F-6)
По критерию гл. VIII, 8 отсюда следует, что —log ф правильно
меняется в нуле, т. е.
— log у (К) ~Ъаь1Л), А,->0, F.7)
') То есть L удовлетворяет E.14). Множитель ГA — а) в F.4) введен
лишь для удобства и приводит только к изменению в обозначениях.

516 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
где L — медленно меняется на бесконечности и а^О. Кроме
того, —\og\(X) =СХа. Так как G не сосредоточено в одной точ-
точке, то 0<сс<1.
Теперь из F.7) следует
1 —Ф(Я) ja-ii-fM ) п (к ял
Здесь левая часть — преобразование Лапласа меры U с моно-
монотонной плотностью 1—F, и в силу теоремы E.4) соотношения
F.4) и F.8) эквивалентны. Наконец, если F.4) выполняется,
то можно выбрать числа ап так, чтобы они удовлетворяли F.5).
Тогда из F.8) видно, что при п-^оо левая часть F.6) стремит-
стремится к Ха. Доказательство закончено. >
(См. задачу 20 о влиянии максимального слагаемого.)
§ 7*. Безгранично-делимые распределения
В соответствии с определением гл. VI, 3 распределение ве-
вероятностей U с преобразованием Лапласа ы называется безгра-
безгранично-делимым, если для любого /г=1, 2, ... положительный
корень п-й степени озп = со1/™ является преобразованием Лапласа
некоторого распределения вероятностей.
Теорема 1. Функция со представляет собой преобразова-
преобразование Лапласа безгранично-делимого распределения тогда и толь-
только тогда, когда со = e~*, где ^ имеет вполне монотонную произ-
производную и г|з(О) =0.
Доказательство. Используем критерий 2, § 4. Мы ви-
видим, что если г[)@)=0 и г|/ вполне монотонна, то функция и„ =
_е-$/л является преобразованием Лапласа некоторого распре-
распределения вероятностей. Следовательно, условие теоремы доста-
достаточно.
Для доказательства необходимости положим & = в'^. Заме-
Замечая, что при г-> 1 log?-~ — A—z), получаем при фиксирован-
фиксированном Я>0 н л->-оо
—nlog(ora(X)~\|)nM. G.1)
Здесь для сокращения записи мы обозначили
1ря(Я.) = я[1—CDn(A.)J. G.2)
Из G.2) видно, что ipn имеет вполне монотонную производную
фп(А,). По теореме о среднем фл (К) = Х\\>п (ОХ) !> Я,ф„ (к) и так как
Материал этого параграфа не используется в дальнейшем.

§ 7. Безгранично-делимые распределения 517
•фп-^, то последовательность [tyn (Щ ограничена при каждом
фиксированном А,>0. Следовательно, из нее можно выбрать
сходящуюся подпоследовательность, предел которой автомати-
автоматически будет вполне монотонной функцией (по обобщенной тео-
теореме непрерывности из § 1) Таким образом, г|) является инте-
интегралом от вполне монотонной функции. Доказательство закон-
закончено. >
Другой формой этой теоремы служит
Теорема 2. Функция со представляет собой преобразова-
преобразование Лапласа безгранично-делимого распределения тогда и толь-
только тогда, когда с л имеет вид о = е~*, где
ОО -
Ф(Я.)=/ X~eJX P{dx\ G.3)
о
It P такая мера, что
СО
Ji/>{aU}<oo. G.4)
Доказательство. В силу теоремы о представлении впол-
вполне монотонных функций условия теоремы 1 могут быть замене-
заменены следующими: должно быть г])@)=0 и
-^P[dx], G.5)
где Р — некоторая мера. Заменяя в интеграле верхний предел
числом а, легко получим, что при любом а>0
,-Ьх
*-*" P[dx]. G.6)
Отсюда вытекает, что правая часть G.3) имеет смысл, и усло-
условие G.4) выполнено. Формальное дифференцирование показы-
показывает, что правая часть G.3) представляет собой первообразную
от G.5), равную в нуле нулю. >
(См. задачи 14—17.)
Примеры, а) Обобщенное распределение Пуассона

518 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
имеет преобразование Лапласа, равное е~с+с^, и G.3) верно с
P{dx} = cxF{dx}.
б) Гамма-плотность xa-le-x/T(a) имеет преобразование
/)а. Здесь
Ф (Л) = a J 1 ~^~ '* е-* аГ*, G.8)
о
что можно проверить дифференцированием.
в) Устойчивые распределения. Для найденного в § 5 преоб-
преобразования со (К) = е~ха имеем ip(A,) = A,a и
что опять можно проверить дифференцированием.
г) Бесселевы функции. Рассмотрим плотность vr из примера
C, г) с преобразованием Лапласа C.8). Из его вида ясно, что
vr равна n-кратной свертке плотности vr/n с собой, т. е. vr без-
безгранично-делима. Формальное дифференцирование показывает,
что в этом случае ф'(Я) —r/]/"(^-f-1J—1 и, как нетрудно
верить (см. задачу 5), что я|/ представима в форме G.5) с
P{dx} = re-xI0{x)dx.
д) Подчиненность. Если \р{ и фг—положительные функции с
вполне монотонными производными, то, применяя критерии § 4,
легко видеть, что функция ф(А,) =i|>i(i|>2(^)) имеет те же самые
свойства. Соответствующее безгранично-делимое распределение
представляет особый интерес. Чтобы понять это, обозначим Q/
распределение вероятностей с преобразованием Лапласа ?-'**(-)
(где /=1,2) и положим
Qf\x)Qf){ds]. G.10)
о
(Результирующее распределение Ut получается рандомизацией
параметра 5 в Q{^-) Преобразование Лапласа для Ut равно
со
©.(Л)= J e-"hW<#> [ds)=e-^ (A). G.11)
о
Читатель, знакомый с гл. X, 7, легко свяжет G.10) с подчи-
подчиненностью процессов: Ut подчинено Qi* с управляющим процес-

§ 8. Многомерный случай 519
сом Qt}- Мы очень легко получили формулу для преобразования
Лапласа нового процесса, хотя и при специальном предположе-
предположении, что Q(t сосредоточено на 0, оо.
Заслуживает внимания частный случай, когда \|)i(X)=Xa и
Фг(^) — ^ • Здесь ф(Х) = Я . Таким образом, устойчивый
а-процесс, управляемый устойчивым Q-процессом, дает устой-
устойчивый а$-процесс. Читатель может проверить, что по существу
это утверждение повторяет формулировку задачи 13. Более
общее предложение см. в примере B, ж) гл. VI. >
§ 8 *. Многомерный случай
Понятие преобразования Лапласа распространяется на мно-
многомерный случай очевидным образом. Даже формула A.1) не
требует изменения, если интерпретировать х как вектор-столбец
(xi, ..., хп), X— как вектор-строку (Xi,... Д„), а Хх = %^Х\ +...
. . . +Хпхп — как скалярное произведение Я и х. В теории ве-
вероятностей многомерные преобразования используются в огра-
ограниченной степени.
Примеры, а) Резольвентное уравнение. Пусть f — непрерыв-
непрерывная функция одной переменной с обычным преобразованием
Лапласа ср(Я). Рассмотрим функцию f(s + t) от двух перемен-
переменных s и /. Ее двумерное преобразование Лапласа равно
оо оо
со (Я, v)= f- С e-ks-v'f(s + t)dsdt. (8.1)
о о
После замены переменных s + t—x, ¦—s + t = y подинтегральное
выражение принимает вид A(x)eaJ и интегрирование по у на
—х, х осуществляется тривиально. В результате получим
Мы встретимся с этим соотношением в более «возвышенной»
обстановке, как с основным резольвентным уравнением для
полугрупп [см. A0.5)].
б) Функции Миттаг-Леффлера. Этот пример иллюстрирует
пользу многомерных преобразований как технического средства
вычисления некоторых простых одномерных преобразований. Мы
докажем сейчас следующее утверждение:
*) Материал не используется в дальнейшем.

520 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
Если F — устойчивое распределение с преобразованием Лап-
Лапласа е~ка, то (при фиксированном t) распределение
х>0, (8.3)
имеет своим преобразованием Лапласа функцию Миттаг-Леф-
флера ')
Этот результат довольно интересен, так как распределе-
распределение G постоянно встречается вместе с F [см., например, гл. IX,
E.5)]. Прямая проверка кажется трудной, однако можно посту-
поступить следующим образом. Сначала фиксируем х, а / примем в
качестве переменной. Обычное преобразование Лапласа y^(v)
(v — переменная) для Gt(x) равно, очевидно, (l—e~xax)jv.
С точностью до множителя 1/v это есть функция распределения
но х к ее преобразование Лапласа равно
va-l
Т~р' (8-5)
Это есть не что иное, как двумерное преобразование для функ-
функции (8.3). Но оно могло бы быть вычислено и другим путем —
интегрированием сначала по х, а затем по t. Поэтому (8.5)
можно рассматривать, как преобразование по / того преобразо-
преобразования, которое мы ищем. Разлагая (8.5) в геометрический ряд,
видим, что (8.5) действительно является преобразованием для
(8.4). Утверждение доказано.
Функция Миттаг-Леффлера обобщает экспоненту, к кото-
которой она сводится при <х=1. д
§ 9. Преобразования Лапласа для полугрупп
Понятие преобразования Лапласа может быть распростра-
распространено на абстрактные функции и интегралы2). Однако мы рас-
рассмотрим только преобразования Лапласа для полугрупп опера-
') Этот факт обнаружен впервые в связи с теорией рекуррентных собы-
событий. Первое аналитическое доказательство полной монотонности функции
(8.4) было дано Г. Поллардом.
2) Плодотворная теория, охватывающая преобразования вида (9.6), была
развита С. Бохнероы, Completely monotone functions in partially ordered spa-
spaces, Duke Math. I., 9 A942), 519—526. Распространение на произвольные се-
семейства операторов см. у Е. Хилле и Р. Филипса A957).

§ 9. Преобразования Лапласа для полугрупп 521
торов, связанных с марковскими процессами1). Мы вернемся
к основным обозначениям и соглашениям гл. X, 8.
Пусть S — некоторое пространство (например, прямая, ин-
интервал или совокупность всех целых чисел), и пусть J? — бана-
банахово пространство ограниченных функций на нем с нормой
||м|| =sup\u(x) |. Мы предполагаем, что из m(;J? вытекает
1« [ 6-2^. Пусть {d@, />0} — непрерывная полугруппа сжатий
„2*. Иными словами, мы предполагаем, что для каждой функции
ы? J? существует функция Ul(() u? J? и что Q. (() обладает сле-
следующими свойствами: из 0<и<1 вытекает 0<О.(/)ы-<1;
Q(/ + s) = U@UE) и D(A)->G(O) = 1 (единица обозначает
тождественное преобразованиеJ).
Мы начнем с определения интегрирования. Пусть F — произ-
произвольное распределение вероятностей на 0, оо. Мы желаем опре-
определить сжимающий оператор Е, отображающий Л? в J?, кото-
который будем обозначать
со
E = j&(s)F{ds} (9.1)
о
и который удовлетворяет равенству
{ds}. (9.2)
Для полугруппы, отвечающей марковскому процессу с переход-
переходными вероятностями Qt(x, Г), этот оператор будет порождать-
порождаться стохастическим или субстохастическим ядром
со
JQs(x,r)F[ds). (9.3)
о
Естественное (и почти тривиальное) определение оператора
Е для случая атомической F с помощью простого предельного
перехода приводит к желаемому общему определению.
Пусть pj^-О и Р)+ ... +рг=1. Линейная комбинация
.. +pr&(tr) (9.4)
снова является сжатием и может рассматриваться как матема-
математическое ожидание & (I) по отношению к распределению веро-
') Построение минимального решения в гл. XIV, 7 может служить типич-
типичным примером излагаемых далее методов.
2) Напомним, что сильная сходимость 7*„->7* эндоморфизмов означает,
что \\Tnii — Гц||-^0 для всех u^JjP. Мы говорим кратко «непрерывность»,
подразумевая «сильную непрерывность при t^0

522 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
ятностей, приписывающему вес pj в точке tr Таким путем опре-
определяется оператор (9.1) для специального случая дискретных
распределений с конечным числом атомов. При этом (9.2) ока-
оказывается выполненным. В общем случае оператор (9.1) опреде-
определяется предельным переходом, подобным применяемому в тео-
теории интеграла Римана: интервал 0, оо разбивают на интервалы
h, ..., 1„; выбирают tjtilj и образуют риманову сумму
2 €-(tk)F {/#}> которая определяет некоторое сжатие. Ввиду
равномерной непрерывности [см. гл. X, (8.7)] известное доказа-
доказательство сходимости римановых сумм применимо без измене-
изменений. Таким путем (9.1) определяется как частный случай инте-
интеграла Бохнера.
Если полугруппа образована операторами перехода, т. е.
если &(/) 1 = 1 для всех t, то ?1 = 1. Обозначение (9.1) будет
использоваться для Е, а для функции Ew мы будем использо-
использовать обычную запись
оо
Ew = J O.(s)w-F{ds} (9.5)
о
(хотя более логично было бы писать до вне знака интеграла).
Значение функции Ew(x) в данной точке х — это обычное мате-
математическое ожидание по отношению к F числовой функции
O.(s)w(x).
В специальном случае F{ds} = e~ksds оператор Е называют
интегралом Лапласа полугруппы или резольвентой. Этот опера-
оператор мы будем обозначать
со
<R(A,)= J e-Ks&(s)ds, Я>0. (9.6)
о
Сжатие X SR (А) является оператором перехода тогда и только
тогда, когда все Q.(s) являются операторами перехода.
Преобразование Лапласа (9.6) приводит к простой характе-
ризации инфинитезимального оператора 91 рассматриваемой
полугруппы. По определению этого оператора [см, гл. X, 10] имеем
D(*|"' и->Ши, h->0 + , (9.7)
тогда и только тогда, когда 21« существует (сходимость озна-
означает, что норма разности правой и левой части (9.7) стремится
к нулю).
Теорема 1. При фиксированном А>0
u = $l(k)w (9.8)

§ 9. Преобразования Лапласа для полугрупп 523
тогда и только тогда, когда и принадлежит области определения
% и
1и. — Ш = т&. (9.9)
Доказательство, (i) Определим и равенством (9.8).
Опираясь на свойства (9.2) математических ожиданий, полу-
получаем
со со
?~('l)h~l u = jj e~U:O.{s-\-h)w.ds~~^e-}-s^ (s) w ¦ ds. (9A0)
Замена переменных s + h = t и очевидные преобразования пока-
показывают, что правая часть равна
е'л — \ 7 _),-, /,ч -,, elft [¦ _и _, еи— 1
(9.11)
Так как \\Q.(t)w — а<||->0 при ?->0, то второй член стремится
к нулю при /г->0. Первый интеграл не зависит от h и равен
$i(X)w = u. Полагая /г->0, мы видим, что (9.11) сходится к
Ям — w, так что (9.9) верно.
(и) Предположим, обратно, что 2(ы существует, т. е. что вы-
выполняется (9.7). Так как оператор сжатия Я,31 (Я) коммутирует
со всеми операторами полугруппы, то из (9.7) вытекает
° (h)h ~ ! Ш (I) и -> Й (I) Ши. (9.12)
Но как мы только что видели, левая часть стремится к
№I(Х)и — и. В получающемся тождестве и представляется как
преобразование Лапласа функции w из (9.9). ^
Следствие 1. Для данного w?J? существует ровно одно
решение и уравнения (9.9).
Следствие 2. Две различные полугруппы не могут иметь
один и тот же инфинитезимальный оператор Ш.
Доказательство. Пусть w — произвольный элемент «J?\
Значение % однозначно определяет преобразование Лапласа
U(k)w от &(t)w при всех Х>0. Его значение Ш(Х)хг)(х) в фик-
фиксированной точке х является обычным преобразованием Лап-
Лапласа числовой функции аргумента t, равной O.(t)w(x). Из тео-
теоремы однозначности для преобразований Лапласа заключаем,
что Q.(t)w определяется по Ш однозначно. >

524 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
Соблазнительно было бы получить тауберовы теоремы, ана-
аналогичные приведенным в § 5. Однако мы ограничимся совсем
простым результатом.
Теорема 2. При % —* оо
А,Ю(А,)->1. (9.13)
Доказате льство. Для произвольного w 6 -5* имеем
(9.14)
При Я->оо распределение вероятностей с плотностью %е~и схо-
сходится к распределению, сосредоточенному в нуле. Подинтеграль-
ное выражение ограничено и стремится к нулю при f->0. По-
Поэтому интеграл (9.14) стремится к нулю и (9.13) верно. ^
Следствие 3. Инфинитезимальный оператор 21 имеет
область определения, плотную в J2?.
Доказательство. Из (9.13) следует, что каждое w^.J?
может быть представлено как сильный предел последователь-
последовательности элементов А91(Я)?г>. По теореме 1 эти элементы принад-
принадлежат области определения 21. >
Примеры, а) Безгранично-делимые полугруппы. Пусть U —
безгранично-делимое распределение с преобразованием Лапла-
Лапласа (o = ?-WA>, характеризуемым G.3). Распределение Ut с преоб-
преобразованием Лапласа е"'^ снова безгранично-делимо, и соответ-
соответствующие операторы свертки 31 (t) образуют полугруппу. Чтобы
найти ее инфинитезимальный оператор '), возьмем какую-нибудь
ограниченную непрерывно дифференцируемую функцию v. То-
Тогда, очевидно,
со
\yUt[dy). (9.15)
Распределение Ut имеет преобразование Лапласа е~*^к\ а мера
t~]yUt{dy} имеет преобразование г|/(Х)е~'*<Ч которое стремится
к i|/(X) при t~>0. Но G.3) определяет i|/ как преобразование
меры Р, так что наша мера сходится к Р. Первая дробь под
знаком интеграла (9.15) является (при фиксированном х) огра-
]) Этот вывод дан только как иллюстрация. Вид оператора известен
из гл. IX и может быть получен переходом к пределу от обобщенных пуас-
соновских распределений.

§ 9. Преобразования Лапласа для полугрупп 525
ничейной и непрерывной функцией от у. Поэтому мы получаем
соотношение
СО
4Lv(x)=lv^-y)-vix)P{dy). (9.16)
о
Здесь мы имеем новую интерпретацию меры Р, входящей в ка-
ноническое представление безгранично-делимого распределения.
б) Подчиненные полугруппы. Пусть {?Ц^)} обозначает про-
произвольную марковскую полугруппу, и пусть ?/< —безгранично-
делимое распределение предыдущего примера. Рандомизацией
параметра t можно получить, как объяснено в гл. X, 7, новую
марковскую полугруппу {&*(/)}.
В принятых здесь обозначениях
~X(s)Ut{ds]. (9.17)
о
Полагая для краткости
имеем
* °°
° ^ ~ * г) (*) = J V (s, х) ¦ 1 s^ {дГд}. (9.19)
о
Пусть v принадлежит области определения 21. При фиксирован-
фиксированном х функция V непрерывно зависит от s и при s = 0 принимает
значение Ши(х). Мы видели в предыдущем примере, что при
tf->-0 t~^sUt{ds}—*P{ds}. Таким образом, правая часть в (9.19)
сходится к некоторому пределу. Поэтому 2Гг> существует и за-
задается формулой
со
4ss, x)P{ds). (9.20)
Мы приходим к заключению, что области определения 21 и 21*
совпадают и ')
сю
о
в том смысле, что (9.20) выполняется для всех v в области опре-
определения 2L ^
') Аналог (9.20) для более общих полугрупп был получен Р. С. Филип-
Филипсом и используется в операционном исчислении, например для представления
дробных степеней. Основная цель указанного простого вывода — прояснить
вероятностный смысл этого соотношения (который иначе остается затемненным).

526 Гл. ХШ. Преобразование Лапласа. Тауберовы теоремы
§ 10. Теорема Хилле—Иосида
Известная и весьма полезная теорема Хилле — Иосида дает
характеризацию инфинитезимальных операторов произвольных
полугрупп. Мы изложим ее применительно к случаю сжимаю-
сжимающих полугрупп. Эта теорема утверждает, что свойства инфини-
инфинитезимальных операторов, описанные в предыдущем параграфе,
присущи только им.
Теорема 1. (Хилле — Иосида.) Оператор 21 с областью
определения J?''cj? представляет собой инфинитезимальный
оператор некоторой непрерывной сжимающей полугруппы
Q-(t) на J? (с 0.@) = 1) тогда и только тогда, когда он обла-
обладает следующими свойствами:
(i) уравнение
Xu — %u = w, l>0 A0.1)
имеет для каждого w ? J? ровно одно решение и;
(и) если O^Cw^Cl, то 0-Ол/-^1;
(iii) J?'— область определения оператора 21, плотна в J?'.
Мы знаем уже, что каждый инфинитезимальный оператор
обладает этими свойствами, т. е. условия теоремы необходимы.
Далее обозначим решение A0.1) через и = it (X) w. Тогда, как
мы знаем, оператор 91 (Я) совпадает с преобразованием Лап-
Лапласа (9.6). Условия теоремы мы можем сформулировать теперь
следующим образом.
(i')Оператор Ш(Х) удовлетворяет соотношению
№(Х) — ЗДЭТ (Я,) = 1. A0.2)
Область определения 9t(A,) совпадает с J?\ а область значе-
значений — с J2", т. е. с областью определения оператора 2t.
(и') Оператор /Ш (%) является сжатием.
(iii') Область значения 0? (л) плотна в J?'.
Как известно из теоремы 9.2, оператор 9t (%) должен удо-
удовлетворять соотношению
Из него вытекает, что каждая функция и является пределом
своих собственных преобразований, следовательно, область J?'
значений Ш (),) плотна в J?. Отсюда ясно, что A0.3) может
заменить (iii'), т. е. три условия теоремы эквивалентны усло-
условиям (i'), (if), A0.3).
Пусть теперь задано семейство операторов 91 (X) с этими
свойствами. Мы намерены построить искомую полугруппу как
предел семейства псевдопуассоновских полугрупп. При построе-
построении используется

§ 10. Теорема Хилле — Иосида 527
Лемма 1. Если да принадлежит Jg"—области определения
оператора 31, -то
Wl(l)w = 9i(l)ilw. A0.4)
Операторы №.A.) и 91 (v) перестановочны и удовлетворяют ре-
резольвентному уравнению
Ш (к) - 91 (v) = (v —- А,) № (к) 91 (v). A0.5)
Доказательство. Применяя 91 к A0.1), видим, что
%и = Ш (к) %w, а это не что иное, как A0.4).
Далее определим z как единственное решение уравнения
xz — 4iz = w. Вычитая это равенство из A0.1), после простых
преобразований получим
к {и — z) — % (и — z) = (v — к) z,
что совпадает с A0.5). Перестановочность операторов вытекает
из симметрии предыдущего соотношения. >
Теперь мы в состоянии перейти к построению нашей полу-
полугруппы. Положим
\ = к[кШ(к) — \] = к%д1(Х). A0.6)
Тогда из A0.4) вытекает, что
\а->%п A0.7)
для всех и из.5",т. е. из области определения данного операто-
оператора 91. Первое представление A0.6) показывает, что 91^ есть
эндоморфизм, порождающий квазипуассоновскую полугруппу
С^(/)=?т?- (теорема 1 из гл. X, 9). Эти операторы попарно
перестановочны.
Мы можем забыть теперь о специальном способе построения
91^ и получить теорему Хилле — Иосида как частный случай
более общей предельной теоремы, которая полезна и сама по
себе. В этой теореме к может пробегать и множество целых
чисел.
Лемма 2 (Лемма об аппроксимации). Пусть [^ (/)} — се-
семейство псевдо.пуассоновских полугрупп, перестановочных одна
с другой и порожденных эндоморфизмами 91^.
Если A0.7) выполняется на плотном множестве J?', то
&k(t)~>&(t), k-+oo, A0.8)
где {O-(t)} — полугруппа сжатий, с инфинитезимальным опера-
оператором, совпадающим на 3" с 91.

523 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
Далее для u?_
|| U @ и — Gfc (О и ||< * Ыи — %ка ||. A0.9)
Доказательство. Для любых двух перестановочных
сжатий верно тождество
и потому
\\Snu— Ггм||<п||5и — Ти\\. A0.10)
В применении к операторам Оьк {tin) это неравенство дает (по-
(после очевидных преобразований)
^^Ц^\ (io.ll)
Полагая п->оо, получаем
\\Qik{t)u~-av{t) u\\<t\\%u-%u\\. A0.12)
Это показывает, что для «6J?" последовательность {О.х(/)ы}
равномерно сходится при А,—»оо. Так как 3" плотно в J?, то
эта равномерная сходимость имеет место для всех и. Обозначая
предел через O.{t)u, мы видим, что &@ есть сжатие, удовле-
удовлетворяющее A0.8). Полугрупповое свойство очевидно. Полагая
в A0.12) v-^oo, приходим к A0.9). Переписывая левую часть
как в A0.11), имеем
и_ ц I^H ян ад. (Ю.13)
Выберем К столь большим, чтобы правая часть стала меньше е.
Для достаточно малых t второе разностное отношение в левой
части отличается (по норме) от 21^и меньше чем на е, а от
%и — меньше чем на Зе. Таким образом, для ы?»2"
' ц->ЗДи, A0.14)
чем заканчивается доказательство. >
Примеры. Диффузия. Пусть J? — семейство непрерывных
функций на прямой, обращающихся в нуль на ±оо. Чтобы пе-
перейти к привычным обозначениям, заменим К на /г2 и положим
/г-vO. Определим разностный оператор VA формулой
A0.15)
Первое выражение в скобках определяет оператор перехода, и
потому Wh порождает полугруппу е ^h операторов перехода

.§ 10. Теорема Хилле — Иосида 529
(марковскую полугруппу). Операторы Vft перестановочны один
с другим, и для функций, имеющих три ограниченные производ-
производные, Vfrii-^-K-u" равномерно. Лемма 2 показывает существова-
существование предельной полугруппы {&(^)}, порождаемой таким опера-
оператором ?t, что %п=-к-и." (по крайней мере для всех достаточно
гладких и).
В этом частном случае, как мы знаем, {& (t)} есть полугруппа
сверток с нормальными распределениями с дисперсией t, так
что мы не получаем новой информации. Пример тем не менее
указывает, как легко можно установить (иногда) существова-
существование полугруппы с заданным инфинитезимальным оператором.
Проведенное выше рассуждение применимо, скажем, к более
общим дифференциальным операторам и граничным условиям
(см. задачи 18, 19). Р-
Замечание по поводу резольвентного уравнения и полной монотонности.
Тождество A0,5) может быть переписано в форме
= - И (v) ft (Я,), A0.16)
это и называют обычно резольвентным уравнением. Мы вывели его из усло-
условий теоремы Хилле — Иосида. Верно и обратное: если семейство сжатий
X4R (X) удовлетворяет A0.16) и область значений ffi(k) плотна, то суще-
существует такой оператор %, что верно A0.2).
[Прежде всего из A0.16) следует, что область значений Ш (Я) не зависит
от к. В самом деле, если «=9?(Я)г, то и = 9t (v) г', где г' = г—(Я— х) и.
Если определить операторы Ж% формулой ST^fft (Я) = ХШ (Я) — 1, то ЭГ^и =
= Хи — z и 9tv«=vM — z'. В силу A0.16) 3t^a = 9tvu, т. е. все операторы 91 j,
идентичны, что доказывает наше утверждение.]
Если полугруппа ?Х(?) соответствует переходным вероятностям Qi(x, Г)
некоторого марковского процесса, то [см. (9.3)] операторы Ш (Я) индуци-
индуцируются субстохастическими ядрами
со
Г e-%tQt(x,T)dt A0.17)
о
и при фиксированных х и Г резольвентное уравнение A0.16) сводится к
(8.2). Оно указывает, что свертка Qs и Qt дает Qs + t (уравнение Чепмена —
Колмогорова).
Из определения 3} (К) ясно, что формальные производные могут быть
введены как сильные пределы разностных отношений. Так же как и в слу-
случае обычных преобразований, получаем
(—1)" dt(n) (Я) = f e~Xssn?i (s) ds. A0.18)
о
Так как эти операторы положительны, то семейство {9? (Я)} представляет
собой абстрактный аналог вполне монотонных функций. Это замечание

530 Гл. XIII. Преобразование Лапласа. Тауберовы теоремы
проливает новый свет на резольвентное уравнение A0.16). Действительно, по-
полагая v->A,, мы получаем слева производную К'(А,), так что—Ы' (Я) = <К2(Я).
По индукции выводим, что (—1)Я9^"' (Я) = п\Ш"+1 (Я), где правая часть —
положительный оператор. Таким образом, резольвентное уравнение влечет
полную монотонность семейства {9f (Я)}.
Абстрактная теория лишь повторяет теоремы, касающиеся обычных пре-
преобразований Лапласа. Чтобы подчеркнуть это еще раз, мы докажем формулу
обращения.
Теорема 2. При фиксированном t>0 и
Доказательство. Из A0.18) видно, что левая часть является ин-
e (ns/t)
тегралом otC(s) по мере с плотностью у~. rr-j л> которой соответ-
соответствуют математическое ожидание t и дисперсия f-jx. При п -> оо эта мера
сходится к распределению, сосредоточенному в t, и ввиду непрерывности
?х (s) отсюда вытекает A0.19) [так же как и в случае обычных функций,
формула A0.19) —то же самое, что гл. VII, A.6)].
§ 11. Задачи
1. Обобщение теоремы о свертке, Пусть и\ и и? — две (скажем, непрерыв-
непрерывные и ограниченные) функции на 0, со. Определим их «свертку по отношению
к F» как
х
и (х) = j и, (х — у) «2 ((/) F {dy}.
Пусть со, Wi и (Па—преобразования Лапласа и, «i и Uj по отношению к F,
определенные, как в A.5). Тогда co = (
2. Пусть со — преобразование A.3) меры U. Тогда со интегрируема на 0, 1
и 1, оо тогда и только тогда, когда функция \/х интегрируема по отноше-
отношению к С на 1,со и 0, 1 соответственно.
3. Равенство Парсеваля. Если X и Y — независимые случайные величины
с распределениями F и G и преобразованиями ср и \, то преобразование для
XY равно
[q>(Xir)G {<*«/} = J y(Xy)F{dy).
4. Из примера C, д) выведите с помощью интегрирования, что е ' " — 1
является обычным преобразованием 1\ Bух)[ух.
5. Покажите, исходя из определения гл. II, G.1), что обычное преобра-
преобразование Лапласа функции /0(х) равно соо (Я) = 1/|^Я2 — 1 при Я>1. [Вспо-
[Вспомните тоджество 1, гл. II, A2.5) для (

§ II. Задачи 531
6. Продолжение. Покажите, что /0 = /t и что, следовательно, 1\ имеет
обычное преобразование Лапласа, равное и>\(к) = m(X)R(X), где R(X) =
7. Продолжение. Покажите, что 2l'n = Fn_x -j- In + l при п = 1, 2 От-
Отсюда по индукции выведите, что 1п имеет обычное преобразование шп(Я) =
(X)R(^(X)
8. Рациональные преобразования Лапласа. Пусть ц>(Х) = 11 (X)[V(X), где
U и V — полиномы без общих корней и степень т полинома U меньше, чем
степень V. Предположим, что уравнение V(X)=0 имеет т различных (дей-
(действительных или мнимых) корней Ль ..., Хт. Тогда [1, гл. XI, D.3)]
Покажите, что ф является обычным преобразованием Лапласа функции
Покажите, что вклад двух комплексно сопряженных корней а±г'|3 имеет
форму еах [a cos $x + b sin $x]. Проанализируйте асимптотическое поведение f
при х ->¦ со в терминах действительных частей корней.
Замечание. Многие аналитические функции, принадлежащие классу меро-
морфных функций, допускают разложение на простейшие дроби типа (*),
но с заменой конечной суммы равномерно сходящимся рядом. Если действи-
действительные части aj всех Kj меньше а, то ф при А,>а представляет собой обыч-
обычное преобразование Лапласа некоторой функции / и асимптотическое пове-
поведение f на бесконечности определяется наибольшим из чисел <Xj. Все ска-
сказанное легко распространяется и на случай кратных корней.
9. Покажите, что следствие теоремы 4.2 остается верным, если заменить
f и ф(п) их абсолютными значениями.
10. Интерполяция вполне монотонных функций. Пусть по, а., ... вполне
монотонная последовательность, т. е. (—l)kAhan^0 (обозначения для раз-
разностей см. гл. VII, 1; мы используем шаг, равный единице). Докажите, что
я>0 (*>
(r=\, 2, ...) не зависит от г и является вполне монотонной функцией, при-
причем f(n) =ап для п = 1, 2
Указание. Положим
N
При \<г все члены справа положительны. Оцените /> + i, л- — /V, л- и пока-
покажите, что при фиксированном N и Л<г последовательность fr, лт (Л) убывает
с ростом г. Следовательно, />, ь-{п)^пп при г^п, и ряд (*) сходится. Так
как fr, n является положительной линейной комбинацией полиномов
(г — K)(r + l—k) ... (r + k — 1—А,), которые, очевидно, вполне монотонны
при Л<г, то f — вполне монотонна. [Приведенная конструкция допускает об-
обобщение на случай ап = ф(Лп), где {Хп} — возрастающая последовательность

532 Гл. ХШ. Преобразование Лапласа. Тауберовы теоремы
чисел с 21Д„= со (см. Duke Math. J., 5 A939), 661—674). Отсюда выте-
вытекает, что вполне монотонная функция однозначно определяется своими зна-
значениями ф(Я„), если 21Дп=со-]
И. Продолжение. Если последовательность {а„} вполне монотонна, то
значения аг, аг + ь ¦¦¦ однозначно определяют значения а\, а2, ..., а также
максимальное число а с тем свойством, что ао^> а и последовательность
а, а\, а2, ... снова вполне монотонна.
12. Предполагая, что функция е'х1п(х) монотонна на бесконечности, вы-
выведите из задачи 7, что
13. Пусть X и Y — независимые случайные величины с преобразованиями
_ ^ а ,,
Лапласа <р а е~ соответственно. Тогда YX' имеет преобразование Лап-
Лапласа ф(Я а).
14. Пусть F—распределение с преобразованием ф. Если а>0, то
а)/ц)(а) является преобразованием распределения e~axF{dx}/(((a). Уста-
Установите, что при фиксированном t>0 функция1) ехр [—t Y~2X -j- а2 -\- at]
есть преобразование безгранично-делимого распределения с плотностью
ехр I ——— — аух)
PL 2 \Yx ) J
15. Каждое безгранично-делимое распределение является пределом обоб-
обобщенных пуассоновских распределений.
16. Допустим, что в каноническом представлении G.4) некоторого без-
безгранично-делимого распределения Р(х) ~xcL(x) при л:->со, где 0<с<1.
Тогда 1—F (х) ~ -; xc~lL (x). [Продолжение см. в примере C, к)
гл. XVII.]
17. Пусть Р — производящая функция некоторой целочисленной безгра-
безгранично-делимой случайной величины и ф—преобразование Лапласа некоторого
распределения вероятностей. Тогда Р(ц>) безгранично-делима.
18. Диффузия с поглощающим экраном. В примере § 10 примем *>0 и
положим в определении V/j и(х — А) =0 при х — h <10. Покажите, что дока-
доказательство сходимости остается в силе, если J^ обозначает пространство не-
непрерывных функций с и(оо)=0, и@)=0, причем последнее условие нельзя
отбросить. Предельная полугруппа описана в примере E, б) гл. X.
19. Отражающие экраны. В примере § 10 примем х>0 и положим в
определении Va и (х — h)=u{x + h) при х — /г<0 Тогда V пи сходится к пре-
пределу для каждой и с тремя ограниченными производными и с и'@)=0.
Область Jg" (область определения оператора %) выделяется этим гранич-
граничным условием. Предельная полугруппа описана в примере E, д) гл. X.
20. Влияние максимального члена при сходимости к устойчивым рас-
распределениям. Пусть Xi, Хг, . .. , — независимые случайные величины с одним
') Эта формула встречается в применениях и неоднократно выводилась
с помощью длинных вычислений.

§ 11. Задачи 533
и тем же распределением F, удовлетворяющим F.4), т. е. принадлежащим об-
области притяжения устойчивого закона Ga. Положим Sn=Xj+ ... +ХП и
М„=тах[Хь ..., Хп]. Докажите, что отношение S,,/Mn имеет преобразова-
преобразование Лапласа со„ (X), сходящееся к1)
е
dt
Следовательно, E(Sn/Mn) -> 1/A —а).
Указание. Оценивая интеграл по области Х;<ХЬ получаем
Л-1
Произведем замену y=tx и затем x—ans, где ап удовлетворяет F.5). Вну-
Внутренний интеграл, как легко видеть, равен
\—F{ans) 1 Г (л »v F{andt)
1 Г
где if (Я) обозначает знаменатель в (*). Таким образом,
!) Этот результат был получен Д. Дарлингом в терминах характеристи-
характеристических функций. См. Trans. Amer. Math. Soc, 73 A952), 95—107.

ГЛАВА XIV
ПРИМЕНЕНИЕ ПРЕОБРАЗОВАНИЯ ЛАПЛАСА
Эта глава может служить для дополнительного чтения по-
-еле гл. XIII. Она охватывает несколько независимых друг от
друга тем от практических-задач (§ 1, 2, 4, 5) до общих тео-
теорем существования § 7. Предельные теоремы § 3 иллюстрируют
силу методов, развитых в связи с понятием правильно меняю-
меняющихся функций. В последнем параграфе описываются средства
анализа асимптотических свойств марковских процессов и вре-
времен первого прохождения для них.
§ 1. Уравнение восстановления: теория
Вероятностные основы читатель может найти в гл. VI, 6—7.
Хотя теории восстановления целиком посвящена гл. XI, здесь
мы излагаем независимый и значительно менее сложный подход.
Сравнение методов и результатов поучительно. При известных
основах теории преобразований Лапласа настоящий подход про-
проще и прямо ведет к цели. Однако результат основной теоремы
восстановления пока не удается получить с помощью преобра-
преобразований Лапласа. С другой стороны, преобразования Лапласа
позволяют легче получить предельные теоремы § 3 и явные ре-
решения типа, рассматриваемого в § 2.
Объектом нашего изучения будет интегральное уравнение
, A.1)
в котором F и G — заданные монотонные непрерывные справа
функции, равные нулю при /<0. Мы рассмотрим их как функ-
функции распределения некоторых мер и предположим, что F не со-
сосредоточено в нуле и что их преобразования Лапласа
оо со
= J e-'tJF\dt), y{k) = J e~uQ[dt) A.2)

§ 1. Уравнение восстановления: теория 535
определены при Х>0. Так же как и в предыдущей главе, все
интервалы интегрирования считаются замкнутыми. Мы дока-
докажем, что A.1) имеет ровно одно решение V; оно будет функцией
распределения, преобразование Лапласа которой существует
при всех Л>0. Если G имеет плотность g, то V имеет плот-
плотность v. Последняя удовлетворяет интегральному уравнению
v(t) = g(t)+\v(t-x)F{dx), A.3)
о
получаемому из A.1) дифференцированием.
Вспоминая правило свертки, мы получаем для преобразова-
преобразования Лапласа г|) распределения V (или обычного преобразования
его плотности) соотношение ty = y + tyq>, откуда формально сле-
следует
Чтобы доказать, что это формальное решение является преоб-
преобразованием Лапласа некоторой меры (или плотности), мы рас-
рассмотрим отдельно три случая (из которых только первые два
имеют вероятностное значение).
Случай (a). F есть распределение вероятностей, не сосредо-
сосредоточенное в нуле. Тогда ср(О) = 1 и ср(А)<1 при А>0. Соответ-
Соответственно ряд
со
1
1 —<
¦ = © A.5)
сходится при А>0. Очевидно, что функция со вполне монотонна
и поэтому является преобразованием Лапласа некоторой меры
U (теорема 1 из гл. ХШ,4). Далее, ty — ay есть преобразование
Лапласа для свертки V=U*G, т. е.
i
. V(t)=JG(t—x)U{dx]. A.6)
о
Наконец, если G имеет плотность g, то V имеет плотность
v=U*g. Таким образом, мы доказали существование и един-
единственность решения нашего интегрального уравнения. >
Асимптотическое поведение V на бесконечности описывается
тауберовой теоремой 2 из гл. XIII, 4. Рассмотрим типичный слу-
случай, когда G(oo)<oo и F имеет конечное математическое ожи-
ожидание ц. В окрестности нуля г|)(А) ~\к~хG(оо)Я, откуда следует,

536 Гл. XIV. Применение преобразования Лапласа
что
V(t)~\i-lQ{oo)-t, t->oo. A.7)
Из теоремы восстановления гл. XI, 1 вытекает более точный ре-
результат
V(t+h)—V(t)-+\i-*G(ao)h,
но его нельзя получить из тауберовых теорем. [Последние дают
лучший результат, если F не имеет математического ожида-
ожидания; см. § 3.]
Случай (б). F — несобственное распределение, F(oo)<l. До-
Допустим для простоты, что G(oo)<oo. Можно применить пред-
предшествующие рассуждения с заметным упрощением: так как
qp(O) =F(oo) <1, то со@)<оо и мера V на этот раз ограничена.
Случай (в). В этом случае /7(оо)>1. Для малых Я знамена-
знаменатель в A.4) отрицателен и для таких К со (Я) не может быть пре-
преобразованием Лапласа. К счастью, это обстоятельство не соз-
создает неудобств. Во избежание тривиальностей допустим, что F
не имеет атома в нуле, так что ф(Я) ->0 при Я-^оо. В этом слу-
случае уравнение ф(к) = 1 имеет единственный корень х>0. Рас-
Рассуждения пункта (а) применимы без изменений при Я>х. Ины-
Иными словами, существует единственное решение V, но его преоб-
преобразование Лапласа со сходится только при Я>х. Для этих зна-
значений со по-прежнему определяется формулой A.4) ').
§ 2 Уравнение типа уравнения восстановления: примеры
а) Время ожидания пробелов в процессе Пуассона. Пусть V
обозначает распределение времени ожидания до окончания пер-
первого пробела длины g в процессе Пуассона с параметром с
(т. е в процессе восстановления с показательными временами
между поступлениями). Распределение V изучалось аналити-
аналитически в примере гл. XI, G.6). Соответствующие практические
ситуации (задержка пешехода или автомобиля, пытающегося пе-
пересечь поток автомашин, время блокировки в счетчиках Гейгера
второго типа и т. п.) были описаны в гл. VI, 7. Здесь мы выведем
нужное нам уравнение восстановления заново.
Время ожидания, если ожидание началось в момент 0, необ-
необходимо превосходит |. Оно меньше ^>g, если до момента | не
будет ни одного поступления (вероятность чего е~сЦ, или же если
') Решение V имеет вид V{dx}=eKXV* {dx}, где V" есть решение [с пре-
преобразованием Лапласа ф* (X) =\р(Х + х)] стандартного уравнения восстано-
восстановления A.1) с распределением F, замененным на собственное распределение
вероятностей F* {dx} = e~yixF{dx},n с G, замененным naG%{dx}=e~KXG {dx}.

§ 2. Уравнения типа уравнения восстановления 537
первое поступление происходит в моменты х<\ и остающееся
время ожидания ^С/—х. В силу свойства отсутствия последей-
последействия вероятность V(t) того, что время ожидания <i, равна
I
^ B.1)
при ^>g и У(/)=0 при t<%. Несмотря на непривычный вид,
B.1) есть уравнение восстановления стандартного типа A.1), в
котором F имеет плотность f(x)=ce~cx на 0<л:<?, в то время
как G сосредоточено в точке |. Таким образом,
B.2)
4ГA е«Щ, y(i.) = e
С —г~ А
и, следовательно, преобразование 1|э для V равно
Выражения гл. XI, G.9) для математического ожидания и
дисперсии получаются отсюда простым дифференцированием1).
То же самое верно и для моментов высших порядков.
Поучителен вывод из B.3) явной формулы для решения. По причинам,
которые станут понятны, мы рассмотрим хвост 1 — V(t) распределения. Его
обычное преобразование Лапласа равно [1—ф(А)]/А [см. XIII, B.8)]. По-
Последняя функция может быть разложена в геометрический ряд
А
Выражение в скобках отличается от преобразования Лапласа равномерного
распределения только масштабным множителем \ и заменой \ на А+с. Как
неоднократно отмечалось, эта замена соответствует умножению плотности на
e~ct. Таким образом,
со
B.5)
где /"* есть плотность n-кратной свертки равномерного распределения с со-
собою. Используя гл. I, (9.6), окончательно получаем
1-1
я=1 *=0
') Чтобы избежать громоздкого дифференцирования дробей, знаменатель
лучше убрать, перенеся его в левую часть.

538 Гл. XIV. Применение преобразования Лапласа
Интересна связь этого результата с теоремами о покрытии. Как было пока-
показано в гл. 1, (9.9), при фиксированных t и \ внутренняя сумма представляет
собой вероятность того, что, выбирая наудачу на 0, t п — 1 точек, мы ра-
разобьем этот интервал на п частей, каждая из которых не превышает g".
Отметим, что время ожидания превосходит t тогда и только тогда, когда
каждый подинтервал 0, t длины g содержит по крайней мере один момент
поступления. Таким образом, B.6) утверждает: если в процессе Пуассона на
О, t происходит ровно п — 1 поступлений, то условное распределение момен-
моментов поступления равномерно. Если исходить из этого факта, то B.6) будет
следствием теоремы о покрытии. С другой стороны, B.6) дает новое доказа-
доказательство теоремы о покрытии с помощью рандомизации.
б) Задача о разорении в обобщенном процессе Пуассона.
В качестве второго иллюстративного примера мы возьмем ин-
тегро-дифференциальное уравнение
, B.7)
в котором F — распределение вероятностей с конечным матема'
тическим ожиданием ц. Это уравнение было получено в гл. VI, 5,
где мы отметили его связь с теорией страхования, задачами хра-
хранения запасов и т. п. Решение этого уравнения и его асимпто<
тические свойства были найдены другими методами в примере
гл. XI, Gа).
Задача состоит в том, чтобы найти распределение вероятно-
вероятностей R, удовлетворяющее B.7). Это уравнение связано с урав-
уравнением восстановления и может быть исследовано теми же прие-
приемами. Переходя к обычным преобразованиям Лапласа и отме-
отмечая, что
со оэ
р(Я) = f e~'KxR(x)dx = \- f e-XxR'{x)dx + \-R(Q), B.8)
0 0
мы находим
0 ш _ R @) 1 Bq\
l~T I
где ф — преобразование Лапласа для F. Вспоминая, что
[1 —ф(Я)]/Я есть преобразование Лапласа, мы видим, что первая
дробь в правой части имеет форму A.4). Следовательно, эта
дробь есть преобразование Лапласа — Стильтьеса некоторой
меры R. Множитель 1/Я соответствует интегрированию. Поэтому
р(Я) является обычным преобразованием Лапласа некоторой
функции распределения R(x) [см. B.8)]. Так как R(x)-+\ при
л->- оо, то по теореме 4 из гл. XIII, 5 р(Я)->-1 при Я—>0. Из B.9)

§ 3. Предельные теоремы 53??
мы получаем теперь значение неизвестной постоянной R@)
/?@)=1-уц. B.10)
В соответствии с этим наша задача имеет единственное решение
при aj.i<c и не имеет решений при a\xl^c. Этот результат сле-
следовало бы ожидать исходя из вероятностных соображений.
Формула B.9) встречается и в теории очередей (под названием формулы
Хинчина — Полячека, см. пример гл. XII, Eа)). Много статей посвящено
выводу явных формул при специальных предположениях. В случае чисто
пуассоновского процесса F сосредоточено в точке 1 и ц>(Х)—е~ ¦ Выраже-
Выражение для р теперь почти такое же, как B.3), и тот же метод легко дает
явную форму решения
B.11)
Эта формула, хотя она практически бесполезна, интересна наличием экспонен-
экспоненциальных функций с положительными показателями, которые должны занят-
занятным образом «компенсировать» друг друга. Формула была известна в связи
с задачами страхования ') с 1934 г., но неоднократно переоткрывалась.
§ 3. Предельные теоремы, включающие распределения
арксинуса
Стало привычным называть распределения, сосредоточенные
на 0, 1 и имеющие плотности
?-аA__х)а-1г 0<а<1, C.1)
«обобщенными распределениями арксинуса», хотя на самом деле
это специальные бета-распределения. Частный случай а—-о- со-
соответствует функции распределения 2л arcsin Ух, играющей
важную роль в теории флуктуации в случайных блужданиях.
Все большее число исследований приводит к предельным рас-
распределениям, связанным с qa. Сложность вычисления этих рас-
распределений делает появление qa мистическим. Подлинная при-
причина заключается в близкой связи qa с функциями распределе-
распределения, имеющими правильно меняющиеся хвосты, т. е. функциями
распределения вида.
x~aL(x), 0<а<1, C.2>
') Явное решение в задаче о разорении до момента t дано Пайком
(Руке R., The supremum and infimum of the Poisson process, Ann. Math,
Statist., 30 A959), 568—576).

540 Гл. XIV. Применение преобразования Лапласа
где L(tx)/L(t)-+l при ^->оо. Для таких функций теорема вос-
восстановления может быть дополнена в том смысле, что для
«функции восстановления» U=HFn* выполняется соотношение
^)' '->то- C-3)
Другими словами, если F меняется правильно, то это же верно
и для U. Известно (хотя и не очевидно), что константа в C.3)
равна (sinmx)/mx, так что соотношение C.3) может быть пере-
переписано в виде
^ x->oo. C.4)
Лемма. Если F удовлетворяет C.2), то выполняется C.4).
Доказательство. По тауберовой теореме 4 гл. XIII, 5
1— ф (Я.) — Г A — а)ка1A/к), А,->0.
Преобразование Лапласа для U равно 2 ф" = V(l — Ф) и по тео-
теореме 2 из гл. XIII, 5, верно C.3). >
Рассмотрим теперь последовательность положительных не-
независимых случайных величин Хк с одним и тем же распреде-
лением F и их частные суммы Sn = Xt + ... +ХП. При фиксиро-
фиксированном t обозначим при 1М( случайный индекс, такой, что
Sn?<<<Sn<+i. C.5)
Мы интересуемся длинами двух подинтервалов
Yt — t — Snt и Z^ = SN/+i— t.
Они были введены в гл. VI, 7 под названием «прошедшее время
ожидания» и «остающееся время ожидания» в момент t. Причи-
Причины интереса, который могут представлять эти величины, объ-
яснялись ранее по-разному. В гл. XI, 3 было доказано, что при
t—>• оо случайные величины Y(h Zt имеют (одно и то же) соб-
собственное предельное распределение тогда и только тогда, когда
F имеет конечное математическое ожидание. В противном слу-
случае Р{У(^л;)^-0 при любом фиксированном х. Аналогичное
соотношение верно и для Zt. Побочным результатом наших ис-
исследований является следующая интересная теорема (первона-
(первоначальное доказательство которой представляло значительные
аналитические трудности1)).
') Дынкин Е. Б., Некоторые предельные теоремы для сумм независи-
независимых случайных величин с бесконечными математическими ожиданиями, Изв.
АН СССР, серия матем., 19 A955), 247—266.

§ 3. Предельные теоремы 541
Теорема. Если имеет место C.2), то нормированная слу-
случайная величина Yt/t имеет предельную плотность qa, опреде-
определяемую по C.1), a Zt/t имеет предельную плотность1)
Ра(х)=««2!-.—1—. х>0. C.6)
Л Xй A -)- X)
Доказательство. Неравенство txi<Yt<tx2 осущест-
осуществляется тогда и только тогда, когда при некоторых /гиг/,
1—х2<у<\—хи имеем Sn = ty и Xn+1>/A—у). Суммируя по
всем возможным п и у, получаем
1-я-,
Р {**, < Y, < **2} = J [\—F{t{\—y))\U[tdy], C.7)
1-х2
или, используя C,4),
1-х,
r{txl<\t<tx2} — j ¦ izrpjf) [T(tj-- С3-8)
Теперь yj^ -> уа, так что мера U{tdy}/U{t) сходится к мере с
плотностью ауа~1. В то же время первый множитель под интегра-
интегралом сходится к A — и)'а- В силу монотонности наших функций
сходимость равномерна. Поэтому
1-х,
Р [txx <\t< tx2}-^^. J 0«-i A -y)-ady, C.9)
1-х,
чем доказано первое утверждение. Для вероятности P{Zf>ts] мы
получаем такой же интеграл, но в пределах от 0 до 1/A +s).
Теперь дифференцированием получаем C.6). ||»
Примечательно, что плотность qa становится бесконечной
вблизи точек 0 и 1. Следовательно, наиболее вероятные значе-
значения величины \t/t лежат вблизи точек 0 и 1.
Легко так усовершенствовать наши рассуждения, чтобы noj
лучить утверждения, обратные к лемме и теореме. При этом
станет видно, что условие C.2) необходимо для существования
предельного распределения величины Yt/t. С другой стороны,
C.2) характеризует области притяжения устойчивых распреде-
распределений. Этим и объясняется частое появление qa в связи с подоб^
ными распределениями.
') Так как SN +i = Zt + t, то распределение Z(/SN _н получается из C.6)
заменой переменных х=у{\—у). Таким образом, мы видим; что величина
ZJSn +i имеет предельную плотность qa.

542 Гл. XIV. Применение преобразования Лапласа
§ 4. Периоды занятости и соответствующие ветвящиеся
процессы
В примере гл. XIII, D.а) было показано, что если ф есть
преобразование Лапласа некоторого распределения вероятно-
вероятностей F с математическим ожиданием ц, то уравнение
А. >0, D.1)
имеет единственное решение р\ Сверх того, р является преобра-
преобразованием Лапласа некоторого распределения В; при этом В
собственно, если с,и^С1, и несобственно в противном случае.
Этот простой и красивый результат находит все больше и боль-
больше применений. Стоит поэтому объяснить вероятностный смысл
уравнения D.1) и его применения.
Вывод уравнения D.1) и аналогичных уравнений оказы-
оказывается простым для тех, кто привык выражать вероятностные
соотношения непосредственно в терминах преобразований Ла-
Лапласа. Типичная ситуация такова. Рассмотрим случайную сум-
сумму SN = Xi+ .. . +Xn, где Xj независимы и имеют преобразова-
преобразование Лапласа у(Х) и N — не зависящая от X случайная вели-
величина с производящей функцией P{s). Преобразование Лапласа
Sn равно, очевидно, Р(у(Х)) [cm. пример гл. XIII, (З.с)]. Для
пуассоновской случайной величины N это преобразование Ла-
Лапласа имеет вид g-an-vWl. j^aK мы неоднократно видели, в при-
применениях параметр а часто считают случайным с некоторым
распределением U. Используя ту же терминологию, что и для
распределений, мы можем сказать, что g-a^-vwi есть условное
преобразование Лапласа для Sn при данном значении а нашего
параметра. Безусловное преобразование Лапласа получается
интегрированием по отношению к U. Благодаря специальному
виду подинтегрального выражения результат равен, очевидно,
A()) гАе w обозначает преобразование Лапласа для U.
Примеры, а) Периоды занятости1). Клиенты (или вызовы)
приходят к обслуживающему прибору (линии связи) в иомен-
') То, что D.1) возникает в связи с периодами занятости, было отмечено
Д. Кендаллом (Kendall D. G., Some problems in the theory of queues., /.
Roy. Statist. Soc. (B), 13 A951), 151—185). Красивая редукция к ветвящимся
процессам была предложена И. Гудом (Good I. J.). Уравнение D.1) равно-
равносильно уравнению
=2
которое часто называют интегральным уравнением Такача. Внутреннюю про-
простоту теории не всегда понимают.

§ 4. Периоды занятости 543
ты, образующие процесс Пуассона с плотностью с. Последова-
Последовательные времена обслуживания предполагаются независимыми
случайными величинами с одним и тем же распределением F.
Допустим, что в момент 0 приходит вызов и линия свободна.
Обслуживание начинается мгновенно. Вызовы, поступающие
в моменты, когда линия занята, встают в очередь, и обслужива-
обслуживание продолжается без перерывов до тех пор, пока не исчезнет
очередь. Под периодом занятости понимается интервал от нуля
до первого момента, когда линия снова становится свободной.
Его продолжительность является случайной величиной. Мы обо-
обозначим через В и р ее распределение и преобразование Лапласа
соответственно.
В терминологии ветвящихся процессов клиент, начинающий
период занятости, есть «предок». Клиенты, прибывающие в мо-
моменты, когда все еще обслуживается первый, суть его прямые
«потомки» и т. д. При условии, что предок уходит в момент х*
число N его прямых потомков распределено по закону Пуас-
Пуассона с математическим ожиданием сх. Обозначим Xj полное врв'
мя обслуживания j-го прямого потомка и всех его потомков.
Хотя соответствующие промежутки времени не обязаны следо-
следовать непосредственно один за другим, их общая сумма имеет,
очевидно, такое же распределение, как и период занятости. Пол-
Полное время обслуживания всех (прямых и непрямых) потомков
равно поэтому Sn =X4+ ... +Хм, где Xj имеет преобразование
Лапласа C и все случайные величины независимы. Чтобы полу*
чить период занятости, мы должны добавить время х обслу-
обслуживания предка. Соответственно при данной продолжитель-
продолжительности х времени обслуживания предка длительность периода
занятости x + SN имеет (условное) преобразование Лапласа
е-х\\+с-с$(К)]ш Параметр х имеет распределение F, Интегриро-
Интегрирование по х приводит к D.1).
Если распределение В несобственно, то его дефект 1 —5(оо)
равен вероятности того, что период занятости никогда не кон-
кончится (переполнение). Условие сц-^-l означает, что математиче-
математическое ожидание полного времени обслуживания всех вызовов,
поступающих за единицу времени, не должно превышать едини-
единицы. Нетрудно вычислить, исходя из D.1), математическое ожи-
ожидание и дисперсию В.
Частный случай. Если F(t) = l—e~at, то D.1) становится ква-
квадратным уравнением относительно |3 и В можно выразить через
функцию Бесселя. Это проделано в примере F. б) [указан-
[указанный результат был использован в примере с очередями гл. VI,
(9)]

544 Гл. XIV. Применение преобразования Лапласа
б) Задержки в уличном движении1). Допустим, что автомо-
автомобили, проходящие данный участок дороги, образуют процесс
Пуассона с параметром с. Пусть движение задерживается на
время б (красным светом или какой-либо другой причиной).
Когда движение возобновляется, в очереди будут стоять К авто-
автомобилей; К имеет распределение Пуассона. Так как г-н автомо-
автомобиль в очереди не может двинуться ранее г—1 автомобилей,
находящихся впереди него, то каждый автомобиль создает за-
задержку для всех следующих за ним автомобилей. Естественно
предположить, что отдельные задержки суть независимые слу-
случайные величины с одним и тем же распределением F. При на-
наличии ожидающих вновь- прибывший автомобиль обязан стать
в очередь, тем самым увеличивая общую задержку. Положение
такое же, как в предыдущем примере, с той лишь разницей, что
здесь имеется К «предков». Полная задержка, создаваемая ка-
каждым автомобилем и всеми его прямыми и непрямыми потом-
потомками, имеет преобразование Лапласа, удовлетворяющее D.1),
а полный «период занятости» — промежуток от возобновления
движения до первого момента, когда нет ожидающих автомоби*
лей, — имеет преобразование Лапласа ?~св[1~Р (*¦)). Легко вычис<
лить математическое ожидание задержки. Этот результат мож-
можно использовать для выяснения эффекта, создаваемого последо-
последовательными светофорами, и т п. (см. задачи 5 и 6).
§ 5. Диффузионные процессы
Как мы знаем, в одномерном броуновском движении пере-
переходные вероятности нормальны, а время первого прохождения
1 ,
имеет устойчивое распределение с показателем -н- (см. пример
гл. VI, B.е)). Имея в своем распоряжении эти результаты, мы
не в праве ожидать новой информации от использования преоб-
преобразований Лапласа. Причиной возвращения заново к диффузи-
диффузионным уравнениям служит то, что метод сам по себе поучите-
поучителен и применим к наиболее общим диффузионным уравнениям
(с той разницей, что явные решения не удается получить при
произвольных коэффициентах). Для упрощения записи мы до-
допустим с самого начала, что переходные вероятности Qt имеют
плотности qt (хотя метод, который мы укажем, был бы приме-
применим без всяких специальных ограничений).
[) Этот гример возник под влиянием изучения Дж Лигтлом числа за-
задержания автомобилей (Little J. D. С, Operations Res., 9 A961), 39—52]

§ 5. Диффузионные процессы 545
Мы начнем с частного случая броуновского движения. Пусть
/ — данная непрерывная ограниченная функция. Положим
+ СО
u(t,x) = / qt{x,y)f{y)dy. E.1)
Нашим исходным пунктом будет установленный в гл. X, Dа)
факт, что (по крайней мере для достаточно гладких /) и удо-
удовлетворяет диффузионному уравнению
ди (t, х) __ 1 д'и (t, x) (Ц0.
и начальному условию u(t,x) ~*f(x) при ^->0. Вводя обычное
преобразование Лапласа
e-uu(t,x)dt, E.3)
о
мы выводим из E.2), что1)
а из E.1), что
+ 00
М*)= J Kl(x,s)f(s)ds, E.5)
где Кх(х, у)—обычное преобразование Лапласа функции
qt{x,y). В теории дифференциальных уравнений К% называют
функцией Грина для уравнения E.4). В нашем случае
^~v^t*-»i. E.6)
В самом деле, легко проверить, что при ограниченной и непре-
непрерывной f уравнение E.4) имеет единственное ограниченное ре-<
шение, что оно определяется по E.5) и E.6).
Мы намерены вывести E.6) из вероятностных соображений,
применимых п к более общим уравнениям и приводящих к яв-
явным выражениям для времен первого прохождения. Мы примем
как данное, что траектория Х(^) непрерывно зависит от t.
Пусть Х(О)=х. Обозначим через F(t,x,y) вероятность того, что
') Читатели, ознакомившиеся с параграфами, посвященными полугруп-
полугруппам, заметят, что мы имеем дело с марковской полугруппой, порождаемой
дифференциальным оператором А — -~- d2jdx2. Дифференциальное уравнение
E.4) есть частный случай основного уравнения гл. ХШ, A0.1), встречаю-
встречающегося в теореме Хилле — Иосиды.

546 Г л XIV. Применение преобразования Лапласа
точка у будет достигнута до момента t. Мы назовем F распре-
распределением момента первого перехода из х в у и обозначим его
преобразование Лапласа через (fx(x, у).
Пусть x<y<.z. Тогда событие X(t)=z имеет место тогда и
только тогда, когда первый переход в у происходит в некоторый
момент x<t и когда за ним следует переход из у в z за время
t—т. Таким образом, qt(x, z) есть свертка F(t, x, у) и qt{y, z),
откуда
К( , у)Кк(у, z). E.7)
Выберем теперь в качестве / функцию, равную нулю на ¦—оо, z.
В этом случае E.5) и E.7) показывают, что
<ч (х)=ф»;(•*. у) «о*(у)' х<у- E-8)
В то же время в силу E.4) при фиксированном у ц>%(х, у) удо-
удовлетворяет дифференциальному уравнению
1 д2Ф>
h^~Y~S^~ = Ot x<y- E-9)
Ограниченное на -—оо решение необходимо имеет вид Ске Кх-
Так как по E.8) q>h(x,y)-+l при х-*-у, то (fh(x, y) = e^2l<-x~^
при х<.у. По соображениям симметрии выводим отсюда, что
преобразование Лапласа времени первого перехода из х в у
равно
(рк(х, y) = e-YW> i*-^i. E.10)
В нашем случае К}, инвариантно относительно сдвигов. Следо-
Следовательно, К-к(у,у) не зависит от у, и из E.7) вытекает равенство
Итак, мы определили К% с точностью до постоянного множителя
Сх; из того, что функции /= 1 соответствует решение со^(лг) = 1/Я,
легко выводим ]/А-С^ == 1. Формула E.6) доказана.
Следующие далее примеры показывают, как вычислить веро-
вероятность достичь какую-либо точку у\>х ранее, чем будет достиг-
достигнута некоторая другая точка У2<х. В то же время эти примеры
проиллюстрируют, как учитываются граничные условия.
Примеры, а) Один поглощающий экран. Броуновское движе-
движение на 0, оо с поглощающим экраном в нуле получается оста-
остановкой обычного броуновского движения с Х@)=л;>0, когда
оно достигает начала координат. Обозначим соответствующие
вероятности перехода через д^бс(х, у). Аналогично изменим дру-
другие обозначения. В неограниченном броуновском движении плот-
плотность вероятности перехода от х>0 к г/>0 с заходом в 0 равна

§ 5. Диффузионные процессы 547
свертке плотности первого перехода из х в 0 и qt(O,y). Соот-
Соответствующее преобразование Лаплаеа равно щ{х, Ь)К%{0, у).
Следовательно, должно быть
Ккбс (х, у) = Кк (х, у) — фа (х, 0) Кх @, у), E.11)
где х > 0, у > 0. Это эквивалентно
Kt(x, y) = yl=-[e-v^ i*-y\-e-v™<*> у)] E.12)
или
qf<(x, y) = qt{x, y) — qt{x, —у) E.13)
в соответствии с решением гл. X, E.5), найденным методом от-
ражений.
Рассуждения, приводящие к E.7), применимы без изменений
и к процессу с поглощающим экраном. Поэтому из E.12) мы
выводим, что при 0<х<у
Упх -V2lx
'- 15.14)
Это есть1) преобразование Лапласа для вероятности того,
что в неограниченном броуновском движении с Х@)=х точка
у>х будет достигнута до момента t и без захода в нуль. При
Я^-0 приходим к выводу: вероятность того, что точка у будет
достигнута ранее точки 0, равна х/у (точно так же как в сим-
симметричном случайном блуждании, соответствующем схеме Бер-
нулли (см. задачу о разорении в 1, гл. XIV, 2).
Отметим, наконец, что со?бс является единственным реше-
решением E.4), ограниченным на 0, оо и удовлетворяющим гранич-
граничному условию со^бс @) = 0. [В частности, функции /=1 соответ-
соответствует решение (о^бс(х) = A —е~*2Кх)/Х. Это обычное преобразо-
преобразование функции 1—F(t,x, 0). Ее значения равны вероятности
того, что поглощение не произойдет до момента t; интегрирова-
интегрирование по частям показывает, что преобразование Лапласа — Стиль-
тьеса функции F(t,x, 0) равно е~*2Кх, что соответствует E.10).]
Можно предложить читателю следующее поучительное
упражнение: вывести (используя метод, примененный к неогра-
неограниченному случайному блужданию E.12) и E.14)) непосред-
непосредственно из дифференциального уравнения E.4) и граничного
условия <ofс @) = 0.
') При фиксированном у ф-J с является решением дифференциального
уравнения E.9), обращающимся в нуяь при х^0 и в 1 при х — у В такой
форме результат применим к любой тройке точек а<Сх<Ь и а>х>Ь и к бо-
более общим дифференциальным уравнениям.

548 Га XIV. Применение преобразования Лапласа
б) Два поглощающих экрана. Рассмотрим теперь броунов-
броуновское движение, начинающееся в точке х интервала 0, 1 и окан-
оканчивающееся при достижении точки 0 или точки 1. Легче всего
этот процесс получить из предыдущего процесса с одним погло-
поглощающим экраном, ставя дополнительный экран в точке 1. При
этом рассуждения, приводящие к E.11), применимы без изме-
изменений. Переходные плотности <7? (х, у) нового процесса имеют
преобразование Лапласа Kft, определяемое соотношением
КНх, y) = Kfz{x, у) — <$Чх, \)Kt(U у), E.15)
где х и у принадлежат интервалу 0, 1. [Отметим, что выполняют-
выполняются граничные условия Кх @, у) = К)?A, у).\ Простые вычисле-
вычисления показывают, что
-V1K\x-ij\ _ -Ylk B-\х-у\) -У"Ш(х+у) .-VTK B-х-у)
~ ._ — . E.16)
Разлагая дробь l/[l — е~21 2?-] в геометрический ряд, мы при-
приходим к другому представлению
+ ОО
К${х,у)=-}= У [е-У2к\х-влгп\__е-Уп.\х+илгп\\ш E.17)
п~ — оо
Последнее эквивалентно решению гл. X, E.7), полученному с
помощью принципа отражений. >
Сходные рассуждения применимы и к более общему диффу-
диффузионному уравнению
ш— = та{х)—W2 hb{x)—^—, a>0, E.18)
на конечном или бесконечном интервале. Вместо E.4) мы полу-
получаем
Я.со?—уйй'^ — b(i>[ = f, E.19)
и решение снова имеет форму E.5) с функцией Грина Кх вида
E.7). При этом фь(я, у) есть преобразование плотности первого
перехода от х к у>х. При фиксированном у эта функция дол-
должна удовлетворять дифференциальному уравнению, соответст-
соответствующему E.9), а именно
|К = 0- E.20)

§ 6 Процессы размножения и гибели 549
Эта функция должна быть ограничена на левом конце. Кроме
тог©, щ(у, у) = \. Эти условия определяют фх однозначно, за
исключением случая, когда E.20) имеет ограниченное решение.
В последнем случае (как и в приведенных выше примерах) сле-
следует добавить надлежащие граничные условия (см. задачи 7 и 8).
§ 6. Процессы размножения и гибели. Случайные блуждания
В этом параграфе мы исследуем связь между процессами
размножения и гибели из 1, гл. XVII, 5 и рандомизированным
случайным блужданием из гл. II, 7. Основная цель состоит в том,
чтобы проиллюстрировать технику применения преобразований
Лапласа и правильное использование граничных условий.
Рассмотрим простое случайное блуждание, начинающееся в
нуле, в котором размер отдельного скачка равен 1 или —1 с
вероятностями р и q соответственно. Промежутки между после-
последовательными скачками предполагаются независимыми показа-
показательно распределенными случайными величинами с матема-
математическим ожиданием 1/с. Вероятность Pn(t) находиться в
состоянии п в момент t была найдена в гл. II, G.7), но мы про-
проведем вычисления заново, с новой точки зрения. Составляя
уравнение для Pn(t), мы будем рассуждать следующим обра-
образом. Состояние пфО может наблюдаться в момент t только при
условии, что до момента t произошел скачок. Пусть первый
скачок происходит в момент x<t и приводит в точку 1. Тогда
(условная) вероятность состояния п в момент t равна
Pn-\(t—х). Таким образом, при пфО
t
P«{t)=\ ce-"\pPa-At — x)-\-qPn ^ — х)\йх. F.1)
6
При п = 0 к правой части следует добавить член е~гЛ, соответ-
соответствующий отсутствию скачков на 0, t. Мы получаем, таким обра-
образом, бесконечную систему уравнений свертки, и, как мы увидим,
она легко решается. Прежде чем переходить к решению, заме-
заметим, что наша система уравнений эквивалентна бесконечной си-
системе дифференциальных иравнений 1)
/>'„(*) = - cPn(t) + cpP,, _x(t) + cqPn^{t) F.2)
с начальными условиями Р0@) = 1, /э„@)=0 при пфО. В самом
деле, после замены переменных y — t— х уравнения свертки
F.1) можно продифференцировать, что приведет к F.2).
') Эта система представляет собой частный случай системы уравнений
1, гл XVII, E, г) для процессов размножения и гибели и может быть по-
получена таким же путем.

550 Гл. XIV. Применение преобразования Лапласа
Системы F.1) и F.2) эквивалентны, но последняя имеет
то формальное преимущество, что специальная роль состояния
п — Ь проявляется только в начальных условиях.
Для применения преобразований Лапласа безразлично, от-
отправляемся ли мы от F.1) или от F.2). Умножая на еги и ин-
интегрируя, получаем
пФО, F.3а)
ttxttx^W]' F'3б)
где, конечно,
Система линейных уравнений F.3) аналогична системе, уже по-*
являвшейся в связи со случайными блужданиями в 1, гл. XIV.
Мы можем решить ее таким же методом. Квадратное уравне-
уравнение
cqs2 — (c-\-b)s-\-cp = 0 F.5)
имеет один корень, ограниченный при всех А>0,
и другой корень, а%, стремящийся к бесконечности вместе с к.
Легко проверить, что при произвольных постоянных А% и Вх ли-1
нейные комбинации лл (А.) = Aksk + ^0" удовлетворяют F.3а)
при п—\, 2, .... Коэффициенты можно выбрать так, чтобы по-
получить для по (Я) и ni (к) правильные значения. Если Ло и Я1
даны, то, исходя из F.3а), можно вычислить последовательно
я2, Пз,. . . • Поэтому при пХ) каждое решение имеет вид
nn(k) = AKs?-\-Bko?. Так как наше решение обязано оставаться
ограниченным, то необходимо 5^=0 и
яя(А,) = я0(А,M«, я = 0, 1, 2, ... . F.7)
При п = — 1, —2, ... мы имеем аналогичное выражение, в ко-
которое входит другой корень. Однако проще заметить, что п-п(к)
можно получить из пп(к), меняя р и q местами. Отсюда и из
F.36) выводим,
л0 (к) = ] , F.8)
ov > Y(c + xy4c*pq К '
так что все пп(к) определяются единственным образом.

§ 6. Процессы размножения и гибели 551
Найдя преобразование Лапласа для решения, мы можем
пойти тремя путями. Во-первых, мы можем пытаться извлечь
максимум информации из тауберовых теорем, вычисления мо-
ментов и т. п. В большинстве практических ситуаций нет другого
выбора. Во-вторых, таблицы преобразований Ланласа могут
дать явные выражения для неизвестных Pn{t). В рассмотренном
сейчас случае мы пришли к преобразованию Лапласа функций
Бесселя /„ из задачи 7 гл. XIII, 11. Подбирая очевидным обра-
образом параметры расположения, видим, что Pn(t) =an(ct), где ап
определяется по гл. II, G.7). Наконец в исключительно благо-
благоприятной ситуации, когда явное решение известно заранее, мы
можем рассматривать наш прием как метод вычисления преоб-
преобразования Лапласа для Pn{t). В этом смысле, мы дали новый
вывод формулы для преобразования Лапласа функции Бес-
Бесселя 1п.
Для преобразований Лапласа типично, что ряд заключений
можно сделать прямо из формы решения F.7). Так как пере'
множение преобразований Лапласа соответствует свертке, то из
F.7) следует, что Рп имеет вид Pn — Fn* * Ро, где F (возможно,
несобственное) — распределение вероятностей с преобразованием,
равным Sx. С вероятностной точки зрения очевидно, что F дол-
должно быть распределением момента первого прохождения через
точку 1 (и поэтому Fn* должно быть распределением времени
первого прохождения через точку п). Как было показано в при-
примере гл. XIII, (Зг), функция (X—]/"А,2—1)г представляет собой
(при Я,>1) обычное преобразование Лапласа для (r/x)Ir(x),
Замена X на Х/2с У pq меняет лишь масштабный параметр, а
замена X на Х + с соответствует умножению плотности на е~сх.
Отсюда следует, что при я>0 sj есть обычное преобразование
Лапласа для
fn @ = ]/(f)" т Л, Bc VJq~t)e-c\ F.9)
последняя функция есть плотность времени первого прохожде-
прохождения через точку п. Это согласуется с гл. II, G.7), а в симметрич-
симметричном случае p = q также и с гл. XIII, C.6).
Как мы уже видели в 1, гл. XVII, 7, различные задачи
связи и обслуживания приводят к той же самой системе диффе-
дифференциальных уравнений F.2) с той лишь разницей, что
рассматриваются лишь неотрицательные значения п и что гра-
граничному значению гс = 0 соответствует иное уравнение. Как дей-
действует наш метод в подобных случаях, покажут два следую-
следующих примера.

552 Гл. XIV. Применение преобразования Лапласа
Примеры, а) Очередь к одному обслуживающему прибору.
Мы рассмотрим пример 1, гл. XVII, G.6) в предположении, что
имеется очередь к одной линии. Состояние системы описывается
числом лиц в очереди, включая и обслуживаемое лицо. Как про-
промежутки между вызовами, так и длительности обслуживания
считаются распределенными показательно. Чтобы согласовать
обозначения, мы примем их математические ожидания равными
1/(ср) и \/(cq) соответственно (в прежних обозначениях ср = Х
и с<7 = ц). При п^-1 инфинитезимальные вероятности перехода
точно такие же, как в нашем случайном блуждании. Поэтому
выполняются уравнения F.2). При п = 0, однако, имеем
P'o(t) = -cpPQ{t) +cqP.it). F.10)
При начальном условии Р0@) = 1 уравнения для преобразо-
преобразований Лапласа при гС^-\ будут совпадать с F.3а), а F.36) за-
заменится на
F.11)
Как и прежде, при п>1 имеем яп (X) = я0 (Я,) sj', но в силу
F.11)
1 1 —s,
яо(Я.) = г- = —^±. F.12)
и v ' ср-\-К — cqsx Я К '
(Здесь было использовано квадратное уравнение F.5) для s%.)
Суммируя геометрическую прогрессию, получаем ял(А.)-{-
+ лп|_j(A,)+ ... —s^jX. Сравнивая с предыдущим результатом,
выводим, наконец, что при п>0
Pn(t) + Pn + l(t)+ ¦¦¦ =Fn(t), F.13)
где Fn — распределение с плотностью F.9). При п = 0 левая
часть равна, конечно, единице.
б) Флуктуации в период занятости. Рассмотрим по-преж-
по-прежнему один обслуживающий прибор, но только в период заня-
занятости. Другими словами, предполагается, что в момент 0 посту-
поступает вызов, причем на свободную линию, и что мы обрываем
процесс, когда линия впервые снова становится свободной. Ана-
Аналитически это означает, что теперь рассматриваются значения
п^>1 и начальное условие имеет вид Pi@) = l. При п^-2 в урав-
уравнениях F.2) ничто не меняется, однако в связи с отсутствием
нулевого состояния в первом уравнении отпадает член cpPo(t).
Таким образом, преобразование Лапласа п„(Х) удовлетворяет
при п>2 уравнениям F.3а). Кроме того,
(X + с) щ (X) = 1 + cqn2 (X). F.14)

§ 7. Дифференциальные уравнения Колмогорова 553
Как и прежде, при и^>2 получаем лп(к) = л1(Х) sf~l. Однако
Ui(X) следует определить, исходя из F.14). Принимая во вни-
внимание квадратное уравнение F.5), легко выводим, что пп(к) =
= s^Jcp. Таким образом, мы установили окончательный резуль-
результат: Pn(t) =fn(t)/cp, где fn определяется по F.9).
Сумма Р(/) = 2 Рц @ равна вероятности того, что продол-
продолжительность периода занятости превосходит t. Из дифференци-
альных уравнений видно, что Р'(t) =—cqPi(t). Таким образом,
продолжительность периода занятости имеет плотность
-P'(t) = c-\f^\h Bc VpI t) e~ct- F.15)
Этот результат был получен другим методом в конце примера
D. а) и был использован при изучении длины очереди в при-
примере гл. VI, (9.д) (см. задачу 11).
§ 7. Дифференциальные уравнения Колмогорова1)
Мы вернемся теперь к марковским процессам, состояния ко-
которых описываются целыми числами 1,2, ... . Дифференциаль-
Дифференциальные уравнения Колмогорова были выведены в 1, гл. XVII, 9 и
заново в гл. X, 3. В этом параграфе дано независимое изложе-
изложение, основанное на преобразованиях Лапласа.
Чтобы сделать это изложение замкнутым, мы приведем но-1
вый вывод основных уравнений, на этот раз в форме уравне*
ний свертки.
Основное предположение состоит в том, что если в некото-
некоторый момент т Х(т)=1, то в течение некоторого промежутка вре-
времени т^^<т + Т, длина которого имеет показательную плот-
плотность cte~ClX, значение Х(/) остается постоянным. Вероятность
того, что Х(т + Т) =/„ равна /?,-,. Пусть дано, что X@)=t. Тогда
вероятность РшЦ) того, что X(/)=A=?^=i, может быть вычислена
суммированием по всем возможным значениям момента и раз-
размера первого скачка:
cie-cixpijPjk{t~x)dx (кФ1). G.1а)
У=1 о
') Приводимые теоремы и доказательства в равной степени применимы
и к скачкообразным процессам, описанным в гл. X, 3. В качестве хорошего
упражнения можно предложить провести доказательство в терминах самих
распределений вероятностей (а не их преобразований Лапласа). Этот вариант
менее элегантен, но применим и в нестационарном случае.
Вероятностное изложение, опирающееся на изучение траекторий, см.
в книге Чжуна, 1960.
Обобщение на полумарковские, процессы см. в задаче 12.

554 Г л XIV Применение преобразования Лапласа
При k = i мы должны добавить член, соответствующий отсут-
отсутствию скачков
со t
Ри @ = *~ с«' + 2 f cfi- Vpifji (t - x) dx. G.16)
0
Эти уравнения могут быть объединены, если использовать сим-
символ Кронекера 6lh, равный 1 при k=i и 0 при Иф1.
Нашим отправным пунктом будет обратное уравнение G II);
при любых данных сг>0 и стохастической матрице р=(ргк) мы
ищем стохастические матрицы P(t) — (Plh(t)), удовлетворяю-
удовлетворяющие G 1)
Предполагая, что в любой конечный интервал времени про-
происходит лишь конечное число скачков, мы можем видоизменить
наши рассуждения, рассматривая момент х последнего скачка
до момента t Вероятность скачка из / в k имеет плотность
2 P,j (x) CjPj/t, а вероятность отсутствия скачка между х и t
равна e~°k {t~x). Поэтому вместо G.1) мы получаем прямое урав-
уравнение
Рц (¦*) с,Р,*е-Ck {t~x) dx. G.2)
Однако, как мы увидим, существуют процессы с бесконечным,
числом, скачков, удовлетворяющие обратному уравнению. Сле-
Следовательно, прямое уравнение не вытекает из основных предпо-
предположений о рассматриваемом процессе
В терминах преобразований Лапласа
со
П/А (A.) =JV"/>,ft (О Л G.3)
о
обратное уравнение G.1) принимает вид
П W = ТТТ + Tfe Ё ЛЛ» М- G-4)
') Замена переменных y = t — х облегчает дифференцирование, производя
которое найдем, что уравнения свертки G 1) эквивалентны системе диффе-
дифференциальных уравнений
Р\и (О = - ctPlk it) + сг 2 Рир,ъ (О
j
при начальных условиях /\,@) = 1 и Р,й@)=0 при k =f=i Эта система согла-
согласуется с 1, гл XVII, (9 14) с той разницей, что там коэффициенты с, и рп
зависели от времени и Р,ъ было функцией двух переменных т и t, а не
тольке разности / — т

§ 7. Дифференциальные уравнения Колмогорова 555
Мы перейдем теперь к более удобным матричным обозначениям
(правила действий над матрицами вполне применимы к беско-1
печным матрицам с неотрицательными элементами). Мы вводим
матрицы ЩА.) = (П,й(Я)), P(t) = (Pih(t)), P=(Pih) и диагональ-
диагональную матрицу с с элементами с*. Через 1 мы обозначим вектор-
столбец, все компоненты которого равны 1. Суммы по строкам
матрицы А образуют вектор-столбец А\. Наконец, /обозначает
единичную матрицу.
Из G.4) видно, что обратные уравнения G.1) превращаются
G.5)
а прямые уравнения — в
G.6)
Чтобы построить минимальное решение, полагаем последо-
последовательно
(А.). G.7)
Для сумм по строкам матрицы КШп)(к) мы вводим обозначение
Ш(я)(А.I = 1 —|(П)(Я,). G.8)
Подставляя в G.7) и вспоминая, что /?1 = 1, получаем
(А, + сН(я+1)(А,) = ср|(л)(А,). G.9)
Так как |@)>-0, то ?(п)(А.)^>0 при всех п. Поэтому матрицы
Ш (А,) — субстохастические. Их элементы суть неубывающие
функции п. Поэтому существует конечный предел
П@0)(Я)= litn П(В)
(о°
П@0)(Я,)= litn П(В)(Я,) G.10)
я->оо
и матрица Ш(о° (А,)— стохастическая или субстохастическая.
Очевидно, что П(оо) (Я.) удовлетворяет обратному уравнению
G.5) и что для любого другого неотрицательного решения три-
тривиально верно неравенство П(Я,) ^П@) (Я,). По индукции П(А,)^>
^ П(л) (Я.) при всех п. Таким образом,
П(Я.)>П(ОО)(Я.). G.11)
Менее очевидно, что И (Я.) удовлетворяет и прямому урав-1
нению G.6). Для доказательства этого мы установим по индук-
индукции, что
(") ("-1)(X)cp. G.12)

556 Г л XIV. Применение преобразования Лапласа
Это верно при п=\. Предполагая справедливость G.12) и про-
производя подстановку в G.7), получаем
p. G.13)
Выражение в скобках равно (Х-\-с)И{п)'(к). Умножая G.13)
слева на (Л —f-c)~ ¦ приходим к G.12) с заменой п на п+\. Сле-
•T-l(co) />\\
довательно, это соотношение верно при всех п, и поэтому 11 (А)
удовлетворяет прямому уравнению. Повторяя предыдущие рас-
рассуждения, найдем, что любое неотрицательное решение удовле-
удовлетворяет G.11). Нами доказана, таким образом,
Теорема 1. Существует матрица П(оо'(Я)!>0, у которой
суммы по строкам не превосходят Х~1 и которая удовлетворяет
уравнениям G.5) и G.6). Сверх того, для любого неотрицатель-
неотрицательного решения уравнения G.5) или G.6) выполняется неравен-
неравенство G.11).
Мы будем называть П(со) (X) минимальным решением.
Теорема 2. Минимальное решение является преобразова-
преобразованием Лапласа семейства субстохастических или стохастических
матриц P(s), удовлетворяющих уравнению Чепмена — Колмого-
Колмогорова
=P(s)P(t), G.14)
а также прямому и обратному уравнениям G.1) — G.2). При
этом или все матрицы P(t) и Ш(оо)(^) (t > О, X > 0) строго сто-
стохастические, или не одна из них не обладает этим свойством.
Доказательство. Отбросим верхний индекс оо и будем
писать П(л) вместо П(оо)(Я). Из определения G.7) ясно, что
ПЙ' (X) есть преобразование положительной функции М'^, пред-
представляющее собой свертку конечного числа показательных рас-
распределений. В силу G.8) суммы по строкам элементов Я(я (()
образуют монотонно возрастающую последовательность, ограни-
ограниченную 1. Поэтому П(Х) есть преобразование матрицы P(t), сто-
стохастической или субстохастической. Из G.5) — G.6) ясно, что
P(t) удовлетворяет первоначальным прямому и обратному урав-
уравнениям; отсюда вытекает, что P(t) непрерывно зависит от t.
Ясно, что если для P(t) i-я сумма по строкам <1 при некотором
t, то i-я сумма по строкам матрицы И(Х) будет От1 при всех
X и обратно.
Выразим уравнение G.14) в терминах преобразований Лап-
Лапласа. Для этого умножим его на e~u-vs и произведем интегри-
интегрирование по t и s. Справа получим произведение матриц П (X) II(v).

§ 7. Дифференциальные уравнения Колмогорова 557
Левая часть легко оценивается с помощью подстановки x =
у ——t + s. Окончательный результат таков
Обратно, G.15) влечет G.14) [это рассуждение повторяется в
примере гл. XIII, (8а)].
Для доказательства G.15) рассмотрим матричное уравнение
G.16)
Если А п Q неотрицательны, то, очевидно, Q >(А, -f- с)~а А =
:=П( '(Я,) Ли по индукции Q > П(л)(Я.) Л при всех п. Таким обра-
образом Q>U(X)A. Теперь n(v) удовлетворяет G.16) с А=1 +
+ (X — v)n(v) и потому при
П (v) > П (Я,) 4- (Я. — v) П (X) П (v). G.17)
С другой стороны, правая часть G.17) удовлетворяет прямому
уравнению G.6) с X, замененным на v. Поэтому она не мень-
меньше II(v), и в G.17) имеет место знак равенства. Доказательство
закончено1). ^
Чтобы понять, является ли матрица Ш(оо) (Я,) строго стоха-
стохастической2), мы вернемся к соотношениям G.8) и G.9). Так как
элементы |^я (Я.) суть невозрастающие функции п, то существует
предел l(X) = lim |(л)(Я.), такой, что
Ш@0)(Я,I = 1 —!(*) G.18)
), 0<6(Я,)<1. G.19)
С другой стороны, мы имеем
@) G.20)
и потому |<0) (Я,) ]> | (А,) Для любого вектора, удовлетворяющего
G.19). Из G.9) по индукции выводим g(")(X,)>|(X) Для всех п,
так, что вектор |(А.) в G.18) является максимальным векто-
вектором, удовлетворяющим G.19).
') Уравнение G.15) есть резольвентное уравнение для семейства сжатий
ЯП (к) на банаховом пространстве ограниченных векторов-столбцов. Мы ви-
видели в гл. XIII, 10, что оно выполняется тогда и только тогда, когда область
значений этих преобразований не зависит от Я. Это гарантируется их мини-
минимальным характером.
2) Предостережение. Казалось бы, что формальное умножение прямого
уравнения на вектор-столбец 1 должно привести к тождеству Л.П (Л,) 1 = 1.
Однако получающийся ряд может -расходиться. Эта процедура законна, если
все с,- ограничены (следствие 1).

558 Гл. XIV. Применение преобразования Лапласа
Таким образом, верна *
Теорема 3. Дефекты по строкам минимального решения
описываются максимальным вектором %(h), удовлетворяющим
G.19).
Следовательно, матрица Ш(оо) (X) будет строго стохастической
тогда и только тогда, когда G.19) влечет ?A)=0.
Следствие 1. Если с{^СМ<оо при всех i, то минимальное
решение будет строго стохастическим (так что ни прямое, ни
обратное уравнения не имеют других допустимых решений).
Доказательство. Дробь с/(К + с) является возрастаю-
возрастающей функцией с. Из G.19) по индукции получаем
при всех п. Следовательно, |(/.)=0. >
Если А(Х)—матрица с элементами вида |.(Х)г1(,(Л) с произвольными
г]а(А.), то U.(X)+A(X) снова будет решением обратного уравнения G.5).
Всегда можно выбрать А (X) так, чтобы получить допустимые матрицы, удо-
удовлетворяющие уравнению Чепмена — Колмогорова. Эта процедура проиллю-
проиллюстрирована в следующем параграфе. Соответствующие процессы характери-
характеризуются наличием бесконечного числа скачков в конечном промежутке вре-
времени. Любопытно, что прямые уравнения могут выполняться, даже когда их
интерпретация в терминах последнего скачка недопустима.
Таковы основные результаты. Мы закончим параграф крите-
критерием, полезным в применениях и интересным с той точки зрения,
что при его доказательстве появляются понятия теории потен-
потенциала: ядро Г в G.25) служит типичным примером потенциала.
Допустим, что Cj>0. Перепишем G.19) в форме
|(Я.) + Яс-1|(Я,) = р|(А,). G.22)
Умножая на pk и суммируя по & = 0,. . . ,п — 1, получаем
l(K) + K "S Р*с-Ч(I) = Р"| (Я.). G.23)
Отсюда следует, что р"?(А) монотонно зависит от п, так что
рп^(^)—>х, где х — минимальный вектор-столбец, удовлетво-
удовлетворяющий ')
рх = х, ?(*,)< л: <1. G.24)
') Нетрудно видеть, что х не зависит от А и кП<-°°'>(Х}х=х —1(^) (см.
сноску 2 на стр. 557).

§ 8. Пример: чистый процесс размножения 559
Определим теперь матрицы (с возможно бесконечными эле-
элементами) равенством
со
Г=2р*г1. G.25)
ft-i
Полагая в G.23) п-^оо, получаем
| (А,)+ Щ (*) = *. G.26)
Отсюда вытекает, что |/,(Я)=0 при каждом k, для которого
Гйй = оо. Так будет, если k является возвратным состоянием цепи
Маркова с матрицей р. Мы имеем
Следствие 2. Минимальное решение будет строго стоха-
стохастическим (и потому единственным), если в дискретной цепи
Маркова с матрицей р все состояния возвратны.
§ 8. Пример: чистый процесс размножения
Вместо того чтобы продолжать изложение общей теории, мы
подробно рассмотрим процессы, в которых возможны лишь пе-
переходы i-*i+\. Они дают хорошую иллюстрацию того, какими
могут быть процессы в обстановке неединственности. Во избе-
избежание тривиальностей допустим, что с,>0 при всех i. По опре-
определению pfii+i = l и pi, ft = 0 для всех других пар индексов. Об-
Обратное и прямое уравнения сводятся теперь к
(*+ <?,) П/й (Л,)-с,П,+1, *(*) = «« • (8-1)
(Ь-К*)П«(Ь) —**-Л. *_!(*) = 6«, (8.2)
где 6ifc = l при i = k и 0 в других случаях. Положим для крат-
краткости
Р = Л = (83)
Функция pi есть преобразование Лапласа (показательного) вре-
времени пребывания в состоянии /, а г* есть обычное преобразова-
преобразование Лапласа для вероятности того, что это время превосходит t.
В дальнейшем следует иметь в виду зависимость г,- и р3- от %.
а) Минимальное решение. Легко проверить, что
РгР/+1 ¦ ¦ • Pft-Л Для k>\,
„ . , ^ . (8.4)
\ 0 для k < 1 х ;
является минимальным решением как для (8.1), так и для (8.2).
В (8.4) отражается тот факт, что переходы из i в k~>i невозмож-

560 Гл. XIV. Применение преобразования Ла/иаса
ны, а момент прихода в k>i равен сумме k — i независимых
времен пребывания в I, i+\, . . . ,k— 1.
Посмотрим, будут ли суммы по строкам давать единицу. От-
Отметим, что Xrk—l —¦ рй, откуда
I [П„ (I) + . . . + П„ t vn (Щ = 1 - ft . . . Pi+n. (8.5)
Переходя к логарифмам, видим, что произведение в правой
V 1
части стремится к нулю тогда и только тогда, когда ряд /, —
расходится. Таким образом, переходные вероятности процесса,
определяемого (8.4), дают в сумме единицу тогда и только
тогда, когда V — = со. (Этот результат был получен в 1,
гл. XVII, 4.) В этом случае нет никаких неожиданностей: вели-
величины сп однозначно определяют процесс размножения, удовле-
удовлетворяющий нашим основным исходным постулатам.
Предположим теперь, что
21|'св<оэ. (8.6)
Дефект 1 —2 Pik @ равен вероятности того, что к моменту t
it
система прошла через все состояния или «достигла границы <х>».
Момент достижения есть сумма времен пребывания в г, г +1,....
Этот ряд сходится с вероятностью единица, так как сходится в
силу (8.6) ряд из соответствующих математических ожиданий.
В процессе, начинающемся в состоянии г, момент достижения оо
имеет преобразование Лапласа
li= lim p,-pHi ... р,ч„ (8.7)
rt->CO
и gf удовлетворяют уравнению G.19), а именно
S/ = c^i. (8.8)
б) Процесс с возвращением. Отправляясь от процесса (8.4),
можно определить ряд новых процессов следующим образом.
Выберем числа <7г, такие, что qi^O, 2gv = l- Мы требуем, что-
чтобы после достижения оо система мгновенно приходила в состоя-
состояние i с вероятностью1) q^.
Первоначальный процесс повторяется заново до второго до-
достижения оо. Время между двумя достижениями есть случайная
величина с преобразованием Лапласа
') Вариант процесса с возвращением получается при 2д,<1; при дости-
достижении оо процесс с вероятностью 1 —2д, обрывается.

§ 8. Пример: чистый процесс размножения 561
Марковский характер процесса требует, чтобы после второго
достижения процесс вел себя прежним образом. Теперь мы опи-
опишем переходные вероятности Р\У {t) нового процесса в терминах
соответствующих преобразований Лапласа H\t (А). Вероятность
перехода из состояния / в момент 0 в состояние k в момент t
без промежуточного захода в оо имеет преобразование (8.4).
Вероятность достичь k после ровно одного захода в оо имеет
преобразование Лапласа |?2 qjTLjk (к) и момент второго захода
i
в оо имеет преобразование %гт(к). Рассматривая последующие
возвращения, мы приходим к формуле
ПГД1 (к) = И1к (к) +1, !-=—яу ]? ЯР» W. (8-Ю)
где [1—т(^)] = 2 т" Щ учитывает многократные прохожде-
прохождения через оо. Тривиальные вычисления показывают, что суммы
по строкам в (8.10) равны l/к, поэтому Щ| (к) суть преобразо-
преобразования строго стохастических матриц переходных вероятностей
PTCt(().
Легко проверить, что новый процесс удовлетворяет обратным
уравнениям (8.1), но не удовлетворяет прямым уравнениям (8.2).
Все происходит так, как и должно быть: постулаты, приводя-
приводящие к прямому уравнению, нарушены, так как последний ска-
скачок не обязан существовать.
в) Двусторонний процесс размножения. Чтобы получить про-
процесс, удовлетворяющий и прямому и обратному уравнениям, мы
видоизменим процесс размножения, приняв в качестве состоя-
состояний системы числа 0, ±1, ±2 Все другие условия остают-
остаются прежними: постоянные сг->0 определены для всех целых i и
переходы возможны только из i в г + 1. Предположим опять, что
^j \1сП < со, где суммирование идет от —оо до оо.
По-прежнему минимальное решение определяется по (8.4).
Предел
цк— lim П/А(?») = г*рА_1рй_2рА_з •• • (8.11)
i
существует и может быть интерпретирован как преобразование
«вероятности P-Xti,(t) перехода из —оо в момент 0 в k в мо-
момент />\ При такой начальной точке процесс пробегает все со-
состояния от —оо до оо и «достигает оо» в момент с преобразова-
преобразованием Лапласа |_оо= Игл \п. Определим теперь новый процесс
га->-со
следующим образом. Он начинается как процесс, соответствую-
соответствующий минимальному решению (8.4), но по достижении оо он

562 Гл. XIV. Применение преобразования Лапласа
перескакивает в —оо и таким образом продолжается неопреде-
неопределенно долго. Построение примера (б) приводит к следующим
преобразованиям переходных вероятностей:
. (8.12)
1 5_со
Легко проверить, что Tlfk удовлетворяет и обратному и прямому
уравнениям (8.1) и (8.2). В то же время процесс удовлетворяет
предположениям, приводящим к обратным уравнениям, но не
предположениям, приводящим к прямым уравнениям.
§ 9. Вычисление Р(оо) и времен первого прохождения
Можно ожидать, что поведение при ^^оо переходных ве-
вероятностей Pn(t) в марковском процессе с целочисленными со-
состояниями аналогично поведению переходных вероятностей за
большое число шагов в дискретных цепях Маркова (с тем,
однако, приятным упрощением, что помехи, создаваемые перио-
периодичностью, исчезают). В теореме 1 этот факт устанавливается
как простое следствие эргодических теорем 1, гл. XV. Затем
нашей основной заботой будет вычисление пределов для пере-
переходных вероятностей процессов § 7. Мы покажем также, как
могут быть исследованы времена первого прохождения. Исполь-
Используемые методы применимы в широком круге задач.
Теорема 1. Пусть Р (t) — семейство стохастических матриц,
для которого
P( ) P()P() (9.1)
и P(t)—>I при t—>0. Если никакой из элементов Pih не равен
нулю тождественно1), то при t-^oo
Pik(t)^uh, (9.2)
еде или щ = 0 при всех k или
«*>0, 2и*=1 (9.3)
Sa/V0 = a*- (9-4)
') Это условие введено только во избежание тривиальных осложнений;
этого же можно достигнуть, ограничиваясь надлежаще выбранными множе-
множествами состояний.
Нетрудно видеть, что наши условия влекут строгую положительность
P,k (t) при всех t.

§ 9. Вычисление Р (оо) 563
Вторая возможность осуществляется, если найдется вероят-
вероятностный вектор («1, «2, •••)> удовлетворяющий при некотором
/>0 соотношению (9.4). В этом случае (9.4) верно при всех
^>0 и вероятностный вектор и определяется единственным
способом.
(Как уже объяснялось в 1, гл. XVII, 6, важная особенность
состоит в том, что пределы не зависят от i. Иначе говоря, влия-
влияние начальных условий асимптотически пренебрежимо.)
Доказательство. Фиксируем 6>0 и рассмотрим ди-
дискретную цепь Маркова с матрицей вероятностей перехода
РF). Матрица перехода за п шагов будет РпF) = Р{пЬ). Если
при некотором п все элементы Pih(n&) положительны, то цепь
неприводима и непериодична, и по эргодической теореме 1,
гл. XV, 6, наши утверждения верны для значений t, пробегаю-
пробегающих подпоследовательность 6, 26, 36 Так как любые два
рациональных числа имеют бесчисленное мпожество общих
кратных, то предел при п—»оо Pik(nb) будет одним и тем же
для всех рациональных 6. Для завершения доказательства до-
достаточно проверить, что Pm(t) есть равномерно непрерывная
функция t, положительная для больших t. По (9.1)
Pu(s)Pih(t) <Pih{s + t) < Pih(t)+[l - Pit(s)] (9.5)
[первое неравенство тривиально, а второе вытекает из того фак-
факта, что члены Pjj(s) с \ф[ в сумме дают 1—Pa(s)]. Для доста-
достаточно малых s имеем 1—e^-Pu(s)^l, так что из (9.5) сле-
следует равномерная непрерывность Р^. Из (9.5) видно также, что
если Pik(t)>0, то Pik(t + s)>0 в некотором интервале значе-
значений s фиксированной длины. Поэтому или Р,к тождественно
равно нулю или начиная с некоторого момента становится по-
положительным. >
Мы применим теперь этот результат к минимальному ре-
решению § 7, предполагая, что оно является строго стохастиче-
стохастическим (и стало быть, единственным). В матричных обозначениях
(9.4) означает uP(t)=u, или, в терминах преобразований Лап-
Лапласа,
иШ(а)=и. (9.6)
Пусть вектор и удовлетворяет (9.6) при некотором частном
значении Я,>0. Тогда резольвентное уравнение G.15) показы-
показывает справедливость (9.6) при всех Я,>0, а вместе с тем и спра-
справедливость (9.4) при всех t>0. Подставляя (9.6) в прямое урав-
уравнение G.6), получаем
«ср = ыс, (9.7)

554 Гл. XIV. Применение преобразования Лапласа
причем компоненты uuch конечны (хотя возможно не ограниче-
ограничены). С другой стороны, если и — вероятностный вектор, удовле-
удовлетворяющий (9.7), то из (9.12) по индукции следует, что
иХШпЦК) <! и при всех п и потому иХП(К) -С и. Так как матри-
матрица ЯП (Л) строго стохастическая, то суммы компонент в пра-
правой и левой частях должны быть равны. Поэтому верно (9.6).
Нами доказана
Теорема 2. Если минимальное решение является строго
стохастическим (и потому единственным), то соотношения
(9.2) выполняются с и^>0 тогда и только тогда, когда най-
найдется вероятностный вектор и, удовлетворяющий (9.7).
Отсюда вытекает, в частности, что решение и уравнения
(9.7) единственно.
Вероятностная интерпретация. Рассмотрим для определен-
определенности простейший случай, когда дискретная цепь с вероятно-
вероятностями перехода рц эргодична. Иными словами, мы предпола-
предполагаем, что существует строго положительный вероятностный век-
вектор а (аь сиг, • •¦), такой, что оф = а и /%'->а/; при п—*оо.
Тогда ясно, что если 0 = 2а*(::^ <^ °°> то вероятностный вектор
l
с компонентами uit = akck1la удовлетворяет (9.7). В то же
время при а = оо решение не существует.
Интуитивно ясно, что переходы в нашем процессе такие же,
как и в дискретной цепи Маркова с матрицей р, однако мо-
моменты их осуществления иные. Рассмотрим, например, какое*
либо состояние. Пометим его индексом 0. Последовательные
времена пребывания в 0 чередуются с временами отсутствия,
в продолжение которых система находится в состояниях />0.
Число переходов в состояние / регулируется матрицей р, а про-
продолжительность пребывания в нем зависит от с,-. В дискретной
цепи Маркова при большом числе переходов частоты попада-
попадания в f и 0 откосятся как aj : ссо- Следовательно, а,-/а0 равно
числу попаданий в / за время отсутствия в 0. Каждое пребыва-
пребывание в / продолжается в среднем время 1/с,-. Поэтому за боль-
большой промежуток времени времена пребывания в состояниях /
и 0 (а следовательно и вероятности этих состояний) относятся
как a}c-jl : а^1 или «,• : ы0-
Эти рассуждения могут быть сделаны строгими, даже в сл\чае когда
/J,j(/)->0. В соответствии с теорией Дермана, отмеченной в 1, гл. XV, 11, если
р порождает неприводимую и возвратную цепь, то существует вектор а. такой
что ар = сс. При этом а определяется однозначно с точностью до постоянного
множителя; af, ^-0, но ряд Zees может расходиться. Даже в этом случае от-
отношения сс3 : ссо допускают данную выше частотную интерпретацию, так что
рассуждения имеют общий характер. Если 2а„с^ <со, то (9.2) — (9.4j выпол-

§ 9. Вычисление Р (со) 565
няются с Uh, пропорциональными а*с# -В противном случае P(t)^Onpu t->co.
Интересно отметить, что пределы м& могут быть положительны, даже если
все состояния дискретной цепи нулевые.
Существование пределов Pih(oo) можно установить также,
привлекая аргументы теории восстановления, тесно связанные
с поведением времен возвращения. Покажем, как можно вы-
вычислить распределение времен возвращения и первого прохо-
прохождения. Припишем состояниям номера 0, 1, 2, ... и выделим
состояние 0. Рассмотрим новый процесс, который совпадает
с нервоначальным до момента первого достижения 0, а затем
остающийся в нуле навсегда. Другими словами, новый процесс
получается из старого постановкой в нуле поглощающего экра-
экрана. Обозначим переходные вероятности видоизмененного про-
процесса через °Pih(t). Тогда °Р0о@ = 1- В терминах первоначаль-
первоначального процесса °Рго(О равно вероятности первого перехода из
(Ф0 в 0 до момента t, a °Pih(t) равно вероятности перехода из
i в k без промежуточного захода в 0. Из вероятностных сооб-
соображений ясно, что матрица °P(t) должна удовлетворять тем же
самым обратному и прямому уравнениям, что и P(t), с той
разницей, что с0 заменяется на 0. Теперь мы пойдем в обрат-
обратном направлении: мы изменим обратное и прямое уравнения,
заменяя с0 на 0, и покажем, что единственное решение этих
уравнений имеет требуемые свойства.
Пусть |— вектор, совпадающий с нулевым столбцом П(Я).
Обратное уравнение показывает, что вектор
срN = л ¦ (9.8)
имеет компоненты 1, 0, 0 ... . Теперь обратное уравнение для
°П(Я) получается заменой с0 на 0, так что если | обозначает
нулевой столбец °П(Я), то вектор (9.8) имеет компоненты тц =
= г|2= ... =0, но цо = рФО. Отсюда следует, что вектор с ком-
компонентами |/г = ПЙО(Я) — р°ПЙО(Я) удовлетворяет (9.8) с г| = 0.
Так как матрица ЯП (Я) строго стохастическая, то ?л = 0 при всех
k (теорема 7.3). В силу °Поо(Я) = 1/Я, мы имеем при & > 0
1ЫЯ)=Я°Що(Я)Поо(Я). (9.9)
Учитывая первое уравнение (9.8), мы видим, что
ПооМ = Я4^ + Xfe S tojWRjo WПоо W- (9-10)
Уравнения (9.9) и (9.10) суть уравнения восстановления с оче-
очевидным вероятностным содержанием. В самом деле, пусть про-
процесс начинается в точке k>0. Тогда °П/г0 есть обычное преоб-
преобразование Лапласа для вероятности °PM(t) того что первое-

566 Гл. XIV. Применение преобразования Лапласа
попадание в 0 произойдет до момента t. СледовательноД°Що(Я)
представляет собой преобразование Лапласа распределения Fh
момента первого достижения нуля. Таким образом, (9.9) утвер-
утверждает, что Pho(t) есть свертка Fk и Роо- Событие Х(/)=0 осу-
осуществляется тогда и только тогда, когда первое попадание в О
происходит в некоторый момент x<Ct и когда t — х единиц вре-
времени спустя система снова находится в 0.
Аналогично 2/>о./^0П/о задает распределение Fo времени,
проведенного вне 0, т. е. времени между двумя последователь-
последовательными пребываниями в состоянии 0. Следовательно, множитель
при Ноо(к) в правой части (9.10) соответствует времени ожи-
ожидания первого возвращения в нуль, если система первоначаль-
первоначально в нем находится. (Это есть полный период = время пребыва-
ния + время отсутствия.) Уравнение восстановления (9.10)
выражает Р(ю@ как сумму вероятности того, что время пребы-
пребывания в нуле превосходит t, и вероятности события Х(^)=0 по-
после первого возвращения в момент x<Ct. Если состояние 0 воз-
возвратно, то из (9.10) и теоремы восстановления следует, что
рИ (9Л1>
где (.1 — математическое ожидание времени отсутствия в 0 и
с~1 + ц—математическое ожидание длины полного цикла.
§ 10. Задачи
1. Положим в уравнении восстановления A.3)
F' @ = g(t) = e-'f-^T (p). Тогда
Разложением на простейшие дроби покажите, что при целых ') р
f«) = ^Se*e"A"e*)'- Aа2)
где ак = е-'гя1"р и /2 = -1.
2. Потерянные вызовы. На линию поступает пуассоновский поток вызо-
вызовов. Время обслуживания имеет преобразование Лапласа ф. Дано, что линия
свободна в момент 0. Обозначим через U(t) вероятность того, что все при-
прибывающие до момента t вызовы застают линию свободной. Покажите, что
') Корни знаменателя будут одни и те же при р=п и р=1/ге, но реше-
решения совсем различны. Это показывает, что популярное «разложение по кор-
корням знаменателя» требует осторожности при иррациональной функции ij).

§ 10. Задачи 567
обычное преобразование Лапласа для U равно
Х + а Я, + а — ад, (А. _|_ а) '
Среднее время ожидания первого потерянного вызова равно
1 1
а а [1 — ф (а)] '
3. Если F имеет математическое ожидание \х и дисперсию а2 и если
ср<1, то решение уравнения D.1) для периода занятости имеет дисперсию
B3)/A — сц.).
4. Если F — показательное распределение, то распределение периода за-
занятости, удовлетворяющее D.1), задается функцией Бесселя.
5. В примере D. б) производящая функция общего числа задержанных
автомобилей равна е '* 'л'~'1, где
г|з (s) = «Ф (с — сг|з (s)). A0.3)
6. Покажите, что если ср есть преобразование Лапласа собственного рас-
распределения вероятностей, то решение уравнения A0.3) есть производящая
функция некоторого (возможно, несобственного) распределения. Последнее
будет собственным тогда и только тогда, когда F имеет математическое ожи-
ожидание ц-< Vе-
7. Исходя из E.7), покажите, что функция Грина общего диффузионного
уравнения E.19) в любом интервале необходимо имеет вид
\ 1х(х)ц (у)
W (у)
Г" A0.4)
хIЛу)
Л
{¦ W(y) ПРИ X>tJ<
где \^ и r\k суть решения
Лф ц ачр — Аф' = 0, (*>
ограниченные соответственно на левом и правом концах. Если ( * ) не имеет
ограниченных решений, то \^ и гц определяются с точностью до мультипли-
мультипликативной константы, которую можно включить в W (в противном случае
нужно наложить подходящие граничные условия). ,.
Покажите, что функция со?,, определенная по A0.4) и E.5), удовлетво-
удовлетворяет дифференциальному уравнению E.19) в том и только том случае, когда
W есть вронскиан
W (у) = l'k (у) гц, (у) - |?. (у) г){ (у). A0.5)
Решения ?л и % обязательно монотонны и потому W(y) Ф 0.
8. Продолжение. При я<г/ момент первого перехода из х в у имеет
преобразование Лапласа tx(x)/lx(y). При х>у оно равно % (*)/% (>)•
9. Покажите, что метод, использованный в § 5 для диффузионных урав-
уравнений, применим и к общему процессу размножения и гибели.

568 Гл. XIV. Применение преобразования Лапласа
10. Разберите пример F. а) для случая а>1 линий (явное вычисление а
констант затруднительно и не рекомендуется).
11. В условиях примера F.6) выведите непосредственно из дифферен-
дифференциальных уравнений, что период занятости имеет математическое ожидание
и дисперсию —— —.
с (q — p) c2{q — pY
12. Полумарковские процессы. Полумарковский процесс с состояниями
1, 2, ... отличается от марковского тем, что времена пребывания могут за-
зависеть и от конечного состояния: пусть система входит в состояние I в мо-
момент т; тогда условная вероятность того, что пребывание в i оборвется до
момента x + t скачком в k, равна F,fc@- Тогда 2 ^ik W Дает распределение
времени пребывания, a Pik = F,k (oo) равно вероятности скачка в состояние k.
Обозначим через Ргь(/) вероятность k в момент t + x при условии, что вход
в I произошел в момент т. Выведите аналог обратного уравнения Колмого-
Колмогорова. В понятных обозначениях для преобразований Лапласа имеем
где у (к)—диагональная матрица с элементами —> 4>/ft ' ) / При
У к J/
Fih{t)—Pih(\—e'ci') это сводится к обратному уравнению G.5). Построение
минимального решения § 7 осуществимо1).
') Детали см. Proc. Nat. Acad. Sci., 51 A964); 653—659. Полумарковские
процессы были введены П. Леви и В, Смитом и были исследованы, в част-
частности, Пайком.

ГЛАВА XV
ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
Эта глава содержит основы теории характеристических
функций и совсем не зависит от гл. VI, VII, IX—XIV. Более
глубокое изложение анализа Фурье отложено до гл. XIX.
§ 1. Определение. Основные свойства
Производящей функцией неотрицательной целочисленной
случайной величины X называют функцию E(s ), определен-
определенную для O^s-^1, т. е. математическое ожидание величины
sx . Как было показано в гл. XIII, замена переменной s = e~K
дает возможность изучать любые неотрицательные случайные
величины. Пользу от таких характеристик мы получаем в пер-
первую очередь из-за мультипликативного свойства sx+v = sx-sv и
е-}.(х+У) —- e~xxe-i.y. Этим свойством обладает и показательная
функция от чисто мнимого аргумента, т. е. функция, опреде-
определенная для действительных х равенством
е'ь* = cos С*-}-г sin?x, A.1)
где t, — действительное число и i1 — — 1. Так как эта функция
ограничена, то ее математическое ожидание всегда существует.
Использование Е(^х)в качестве замены для производящей
функции дает нам мощный универсальный метод, но он дости-
достигается ценой введения комплексозначных функций и случайных
величин. Заметим, однако, что аргументы остаются течками
числовой прямой (или будут позже точками пространства Str)
Под комплекснозначной функцией w = u + iv понимается пара
действительных функций и и v, определенных для действитель-
действительных х. Математическое ожидание E(w)—это не более чем
сокращенное обозначение для Е(и) +iE(v). Как обычно, через
w = u—iv мы обозначаем функцию, комплексно сопряженную
к w, а через \w\ абсолютную величину функции w (т. е. |ш|2 =
= ww-=u2 + v2). Основные свойства математических ожиданий
сохраняются. Объяснения требует только теорема о среднем
значении: если \w\^a, то \E(w)\*Ca. В самом деле, по

570 Гл. XV. Характеристические функции
неравенству Шварца
|Е (w) р = (Е [и) f + (Е (v) ? < Е (и2) + Е (v2) = Е (| w |2)< а2. A.2)
Две комплекснозначные случайные величины Wj= j j
называются независимыми, если независимы пары (Ub Vt) и
(U2, V2). Обычным разложением на действительную и мнимую
части можно показать, что мультипликативное свойство
E(WiW2) =E(Wt) • E(W2) выполняется (эта формула иллюстри-
иллюстрирует преимущества записи в комплексной форме). После этих
подготовительных замечаний дадим определение аналога произ-
производящей функции.
Определение. Пусть X — случайная величина с распре-
распределением вероятностей F. Характеристической функцией рас-
распределения F (или случайной величины X) называется функ-
функция <р, определенная для действительных Z, формулой
Н со
Ф(?)= J elt*F{dx} = u(Z) + lv(Q, A.3)
— со
где
+оо Н-оо
а{1)== J cosSx-FfaU}, v(Q= J sinU-Ffrfx}. A.4)
— со —со
Для распределения F с плотностью f имеем, конечно,
A.5)
Замечание по терминологии. В анализе Фурье
функцию ф принято называть преобразованием Фурье—Стиль~
тьеса распределения F. Такие преобразования онределены для
любой конечной меры, и термин «характеристическая функция»
подчеркивает, что значение мер на всем пространстве равно
единице (для других мер характеристические функции не опре-
определены). Но интегралы типа A.5) встречаются во многих си-
ситуациях, и мы будем говорить, что A.5) определяет обычное
преобразование Фурье функции /. Характеристическая функ-
функция распределения F является обычным преобразованием
Фурье плотности / (когда последняя существует), но термин
«преобразование Фурье» применяется также и к другим функ-
функциям '). >,
') Более общим образом можно определить «преобразование Фурье функ-
функции f по отношению к данной мере»; тогда A.3) будет преобразованием
функции, тождественно равной единице, по отношению к F.

§ 1. Определение. Основные свойства 571
Для удобства ссылок мы перечислим некоторые основные
свойства характеристических функций.
Лемма 1. Пусть y = u + iv — характеристическая функция
случайной величины X с распределением F. Тогда
а) ф непрерывна;
б) ср(О) = 1 ы ф| (?) j< 1 при всех ?;
в) аХ + b имеет характеристическую функцию
Е(е1^аХ+^) = е1Ь^(а1) A.6)
(в частности, ф = « — iv служит характеристической функцией
величины —X);
г) и—четная, a v — нечетная функции; характеристическая
функция действительна тогда и только тогда, когда распреде-
распределение F симметрично;
д) для всех Z,
0<1-иB?)<4A-и(?)). A.7)
(Другие варианты леммы см. в задачах 1—3.)
Доказательство, а) Заметим, что
Правая часть не зависит от х и может быть сделана сколь
угодно малой при достаточно малом h. Таким образом, ф на
самом деле даже равномерно непрерывна. Свойство (б) с оче-
очевидностью вытекает из теоремы о среднем значении, а свой-
свойство (в) не требует пояснений. Для доказательства пункта (г)
мы привлечем тот факт, что различным распределениям соот-
соответствуют различные характеристические функции. В самом
деле, ф действительна тогда и только тогда, когда ф = ф, т. е.
тогда и только тогда, когда X и —X имеют одинаковые харак-
характеристические функции. Но это равносильно тому, что X и —X
имеют одно и то же распределение, т. е. тому, что F симмет-
симметрично. Наконец, чтобы доказать (д), рассмотрим элементарное
тригонометрическое соотношение
1 — cos%к = 2A — cos2t,x)< 4A — cos&), A.9)
справедливое, поскольку 0-^1 -Ьспч Тх^.2. Переходя к матема-
математическим ожиданиям, получаем A.7). *»
Рассмотрим теперь две случайные величины X, и Х« с рас-
распределениями F^ и F2 и характеристическими функциями со, и
фг соответственно. Если Xi и Х- независимы, то мультиплика-
мультипликативное свойство показательной Функции приводит к равенству
Е(^(х.+хУ) = Е(?<=х.)Е(<?^). A.10)

572 Гл. XV. Характеристические функции
Этот простой результат часто употребляется, поэтому мы отме-
отметим его в форме леммы.
Лемма 2. Свертка Fi*F2 имеет характеристическую функ-
функцию ф1ф2-
Другими словами, сумме Х4 + Х2 двух независимых случай-
случайных величин соответствует произведение ф4ф2 их характеристи-
характеристических функций !).
Если Х2 имеет такое же распределение, как —Хь то сумма
Х4 — Х2 оказывается симметризованной величиной. Поэтому
справедливо
Следствие. Функция \ц>\2 является характеристической
функцией симметризованного распределения °F.
Следующая лемма дает описание арифметических распре-
распределений.
Лемма 3. Если КФО, то три следующих утверждения эк-
эквивалентны:
а) ф(>0 = 1;
б) ф имеет период К, т. е. ф(? + яА) =ф(?) для всех Z, и п;
в) все точки роста распределения F находятся среди точек
О, ±h, ±2/i, ..., где h = 2nlk.
Доказательство. Так как 1—cos XxX) для всех х, то
математическое ожидание этой функции может обращаться
в нуль только тогда, когда 1 — cosXx = 0 в каждой точке ро-
роста F и, следовательно, (а) влечет (в). Обратно, если верно (в)
и F приписывает точке nh вес р„, то <р(С) = 2 Pneinh^- Эта
фупкция имеет, очевидно, период k = 2n/h, так что (б) и (а)
выполняются. Наконец из (б) тривиально следует (а). ^
Доказанная лемма покрывает и крайний случай, когда рас-
пределепие F полностью сосредоточено в нуле. Тогда ф(?) = 1
для всех ?, так что каждое число будет периодом для ср. В об-
общем случае из того, что К — период для ф, вытекает, что пе-
периодами будут все кратные К: ±К, ±2%, ...,. Но для отлич-
отличной от константы периодической функции ср существует наи-
наименьший положительный период. Его называют истинным
периодом. Аналогично для арифметического распределения F
существует наибольшее положительное /г, для которого выпол-
') Обратное неверно: в гл II, D, д) и в задаче 1 гл. III, 9 показано, что
в некоторых исключительных случаях сумма двух зависимых величин может
иметь распределение Fi*F2 и, следовательно, характеристическую
ЦИЮ

§ 2. Специальные плотности. Смеси 573
няется свойство (в). Такое h называют шагом распределения F.
Из леммы 3 следует, что шаг h и (истинный) период X связаны
равенством Mi = 2jt. Итак, за исключением случаев, когда
<р(?)=?И для всех ??=0 и когда ф(?) = 1 тождественно, суще-
существует наименьшее ?^>0, такое, что ф(Я) = 1, но ц>A,)Ф\ для
0<?<Я,.
Все сказанное можно сформулировать в более общем виде.
Вместо ф(Х) = 1 предположим, что только |ф(Я)|=1. Тогда су-
существует такое вещественное число Ь, что q>(\) = eibX, и мы
можем применить предыдущий результат к случайной вели-
величине X—Ь с характеристической функцией ф(?)е~'ь?, равной 1
при ?=Л. Каждый период последней функции автоматически
будет периодом для |ф|. Таким образом, доказана
Лемма 4. Существуют только следующие три возмож-
возможности:
а) |<р(?) |< 1 для всех ЪФО;
б) )ф(я)|=1 и ]ф(?)|<1 для 1<?<Я. В этом случае |ф|
имеет период К и существует такое вещественное число Ь, что
распределение F(x + b) является арифметическим с шагом h =
в) |ф(?) 1= 1 для всех ?. В этом случае ф{?) =егЬ? и F со-
сосредоточено в точке Ь.
§ 2. Специальные плотности. Смеси
Для облегчения ссылок мы даем таблицу характеристиче-
характеристических функций наиболее употребительных плотностей и указы-
указываем метод, каким получена каждая функция.
Замечания. 1) Нормальная плотность. Для того, кто не
боится интегрирования в комплексной плоскости, результат
есть очевидное следствие подстановки у = х — it,. Чтобы доказать
приведенную формулу, не выходя из области вещественных чи-
чисел, можно использовать дифференцирование и интегрирова-
интегрирование по частям, что даст ф'(?)=—?ф(?). Так как ф@) = 1, то
1пф(?)=—ЧЛ2, что и утверждается.
2) — 3) Равномерные плотности. Вычисления здесь очевид-
очевидны. Распределения B) и C) отличаются одно от другого мас-
масштабными параметрами. Связь между их характеристическими
функциями можно получить из формулы A.6).
4) Треугольная плотность. Легко провести, используя инте-
интегрирование по частям, прямое вычисление. Другой способ: за-
заметим, что треугольная плотность является сверткой плотности,

574
Гл. XV. Характеристические функции
Таблица
№
1
2
3
4
5
6
7
8
9
10
Название
Нормальная
плотность
Равномерная
плотность
Равномерная
плотность
Треугольная
плотность
Гамма-плот-
Гамма-плотности
Двусторон-
Двустороннее показа-
показательное
распреде-
распределение
Распределе-
Распределение Коши
Бесселева
плотность
Гиперболиче-
Гиперболический коси-
косинус
Формула
1 I*
—==¦ е'2 х
Vizi
1
а
1
2а
а\ а )
1 1 — cos ax
я ах2
1 *_1 v-
v V
Г @
1 г1
я *2 + -*2
1
nch х
Область оп-
определения
— СО < X < СО
0 < х < а
\х\<а
\х\ <а
— СО < X < СО
х > 0, г1 > 0
— СО < X < СО
— СО < JC < СО
*>0
л: > 0, t > 0
— СО < X < СО
Характеристическая
функция
е 2
,<¦«? _ 1
/в?
sin a?
«С
о 1 — cos at,
" «2?2
f 1 ' g ' при | ? |< я
( 0 при | С | > а
1
A — /D'
1
1 + ?2
<?-'!?!
[1_/е_УA=5с)СГ1]'
1
eh (я?/2)
равномерной на —1/2а<х<1/2а, с собой. В силу C) ее харак-
/ 2 . а? \2
теристическая функция равна 1-у ¦ sin-g-l .
5) Эта плотность получается применением формулы обра-
обращения C.5) к треугольной плотности D). См. также задачу 4.
Характеристическая функция этой плотности весьма важна, так
как многие доказательства в анализе Фурье опираются на ис-
использование характеристических функций, равных нулю вне не-
некоторого конечного интервала.
6) Гамма-плотности. Можно использовать подстановку у =
= хA—гХ) или же разложить е~г^х в степенной ряд и исполь-

§ 2. Специальные плотности. Смеси 575
зовать тождество
Г (a)
В специальном случае t=[ (показательное распределение) вы-
вычисления молено провести без выхода из действительной обла-
области, повторно применяя интегрирование по частям. По индук-
индукции то же самое можно проделать при всех целых t.
7) Двустороннее показательное распределение получается
симметризацией показательного распределения, так что форму-
формула для соответствующей характеристической функции полу-
получается из F) при t = \. Это легко проверить и непосредственно,
с помощью повторного применения интегрирования по частям.
8) Распределение Коши. Снова формула вытекает из пред-
предшествующей и формулы обращения C.5). Прямая проверка
представляет собой стандартное упражнение на отыскание вы-
вычетов х).
9) Бесселева плотность. Это — преобразование Фурье, ана-
аналогичное преобразованию Лапласа, полученному в гл. XIII,
C,г).
10) Гиперболический косинус. Соответствующая функция
распределения равна F(x) = \ — B/jt)arctg e~x. Формула A0) не
очень важна, но она любопытна тем, что в ней появляются
«взаимные пары»: плотность и характеристическая функция по-
получаются одна из другой линейным преобразованием аргумента
и линейным преобразованием самой функции (нормальная
плотность служит первым примером такой связи). Для вычис-
вычисления характеристической функции можно разложить плотность
в ряд
Применяя результат G) к отдельным членам ряда, получаем
каноническое разложение характеристической функции на про-
простейшие дроби 2). >
Возвращаясь к общей теории, укажем метод построения
новых характеристических функций, исходя из перечисленных.
Принцип весьма прост и, как показывает пример (б), с его
помощью можно избежать длинных вычислений.
') См., например, Hi lie E., Analytic function theory, Boston, 1959, 1,
стр. 247.
2) Ср. Маркушевич А. И. Теория аналитических функций, М„ ГИТТЛ,
1950, гл. IV, 4.— Прим. перев.

576 Гл. XV. Характеристические функции
Лемма. Пусть Fo, Fit ... — распределения вероятностей
с характеристическими функциями cp0, фь . .. . Если ph ^ 0 и
2 Pk = 11 т0 смесь
*/ = 2аЛ B.1)
есть распределение вероятностей с характеристической функ-
функцией
2 B-2)
Примеры, а) Суммы случайного числа слагаемых. Пусть
Х4, Х2, ... — независимые случайные величины с одним и тем
же распределением F и характеристической функцией ср. Пусть
N — целочисленная случайная величина с производящей функ-
функцией Я (s) = 2 Ля* и не зависящая от всех X,. Тогда случай-
случайная сумма Xt+...+Хм имеет распределение B.1) с Fh = Fky-~>
и соответствующая характеристическая функция равна
B.3)
Наибольшего внимания заслуживает частный случай — обоб-
обобщенное распределение Пуассона. Здесь ph = e~4klk\
и
со(?) = ?-'+<(Р«> B.4)
б) Вогнутые полигоны. Из табл. 1 (п. 5) мы видим, что
функция
Г 1 — | ? | для | ? | < 1,
0 для |?|>1
характеристическая. При любых положительных аи ... , ап
смесь
(%) VP (-^) B.6)
является четной характеристической функцией,график которой
на интервале 0, оо есть вогнутый полигон (см. рис. 1). Действи-
Действительно, не ограничивая общности, можно предположить, что
• • • <ап.
На интервале 0<?<а4 график функции со имеет вид отрезка
прямой с угловым коэффициентом —(pi/ai+ ... +рп/ап)- На
интервале между а4 и а2 в этом выражении нужно отбросить
член р\/аи и т. д. Наконец, между ап-\ и ап график совпадает
с отрезком прямой с угловым коэффициентом —рР/а„. Следо-
Следовательно, на 0, оо график составлен из п конечных отрезков

§ 2. Специальные плотности. Смеси
577
с убывающим наклоном и интервала ап, оо оси ?. Как легко
видеть, каждый полигон с этими свойствами может быть гра-
графиком функции типа B.6) (п «сторон» пересекают ось ы в точ-
точках рп, рп + рп-и ..., рп+' • ¦ • +Pi=l). Отсюда можно заклю-
заключить, что любая четная функция со ^ 0 с <а@) = 1, график кото-
которой на О, оо есть вогнутый полигон, является характеристиче-
характеристической функцией.
р,+р}+р3
Рис. 1.
Простой переход к пределу приводит к известному критерию
Пойа [пример C, б)] и указывает его естественный источник.
Но даже и наш частный критерий приводит к удивительным
и интересным результатам. >•
Неожиданные примеры, (i) Две различные харак~
теристические функции на конечном интервале —а, а могут
быть равны. Это очевидное следствие примера (б) показывает,,
что свойства регулярности характеристических функций суще-
существенно отличаются от свойств регулярности производящих
функций и преобразований Лапласа. Мы еще вернемся к этому
вопросу в гл. XIX, 5.
(и) Соотношение F *Ft = F ¦#¦ F2 между тремя распределе-
распределениями вероятностей не влечет ¦) равенства Рг — Р2. Действитель-
') Статистики и астрономы иногда задаются вопросом, содержит ли дан-
данное распределение нормальную компоненту. Этот вопрос осмыслен, так как
характеристическая функция нормального распределения 91а не имеет нулей
и, следовательно, из 9ta * Fi = Ша # ^2 вытекает q>i = фг, и по теореме един»
ственности Fi=F2.

578
Гл. XV. Характеристические функции
но, выберем две различные характеристические функции qpi и ф2,
совпадающие при |?|<1. Для функции ф, определенной по
B.5), имеем фф1 = ффг-
(iii) Еще более удивительно то, что можно привести пример
двух вещественных характеристических функций ф1 и щ, та-
таких, что |ф1| = |ф2| тождественно {следовательно, ф^ = ф|).
В качестве ф4 возьмем периодическую функцию периода 2, оп-
определенную при |?|^1 равенством ф± (g) = 1 —\t,\. Пусть
<p2(t) =2[ф1 (S/2) —1/2]. На рис. 2 график функции ф4 изображен
D'
Рис. 2.
сплошной ломаной линией, а график функции ф2 получается из
него «отражением» от оси ? каждого второго треугольника.
Можно показать, что ф1 — характеристическая функция ариф-
арифметического распределения, приписывающего вес, равный 1/2,
точке О1). Выбрасывая массу, сосредоточенную в нуле, и уве-
увеличивая вдвое массы каждой из оставшихся точек, мы полу-
получаем новое распределение с характеристической функцией ф =
= 2[ф4—1/2]. Так как фг(?) =ф(?/2), то ф2 также является ха-
характеристической функцией.
') Прямая проверка требует утомительных вычислений, но, как будет по-
показано в гл. XIX, 5, ф! — характеристическая функция просто потому, что она
является периодическим продолжением характеристической функции (п. 5
в табл. 1). В силу четности функции ф] имеем.
-f со
cos
Интегрируя по ? в пределах —1<?<1, получаем Ро=7г. Другие атомы суть
нечетные числа ±B?+1) с весами 2/[Bfe+l)rt]2 [см. гл. XIX, E.6)].

§ 3. Единственность. Формулы обращения 579'
§ 3. Единственность. Формулы обращения
Пусть F и G — два распределения с характеристическими
функциями ф и у соответственно. Тогда
+ со
= J elH*-VF[dx). C.1)
Интегрируя по G{dQ, имеем
+ ОО +ОО
J е-'Цр(?)О{дГ?} = J y{x — t)F{dx). C.2)
— оо —оо
Это соотношение известно под названием равенства Парсеваля
(которое, впрочем, может быть записано во многих эквива-
эквивалентных формах; мы вернемся к этому в гл. XIX).
Из равенства Парсеваля можно сделать удивительно много
выводов. Здесь мы используем его для доказательства основ-
основной теоремы единственности (которая уже применялась в ча-
части (г) леммы 1.1).
Теорема 1. Различным распределениям вероятностей
соответствуют различные характеристические функции.
Доказательство. Возьмем в качестве G нормальное
распределение Ша с плотностью an (ax). Его характеристиче-
характеристическая функция равна у (С) = У 2л н (? а), и поэтому C.2) прини-
принимает вид
а
ИЛИ
+оо
Ш J e-Vq>(Qe-№dt= J n{±=±)F{dx). C.4)
Обозначим последнее выражение через /а@- Правая часть ра-
равенства C.4) показывает, что fa является плотностью свертки
Fa = yia*F распределения F с нормальным распределением
с дисперсией а2. Следовательно, Fa—*F при а—>0. Левая часть
равенства C.4) выражает Fa через ср. Мы не только видим, что
F однозначно определяется по ср, но и получили метод вычис-
вычисления F. ?¦
Перед тем как применить последнее замечание, докажем
важное следствие теоремы единственности.

580 Гл. XV. Характеристические функции
Теорема 2. (Теорема непрерывности.) Последователь-
Последовательность {Fr,} распределений вероятностей сходится к распределе-
распределению вероятностей F тогда и только тогда, когда последова-
последовательность {ф„} соответствующих характеристических функций
сходится к непрерывной предельной функции <р.
В таком случае ф есть характеристическая функция распре-
распределения F и сходимость срп —*Ф равномерна на каждом конеч-
конечном интервале.
Доказательство, а) Собственная сходимость Fn—*F
влечет сходимость соответствующих математических ожиданий
для любой ограниченной непрерывной функции и. Для и(х) =
= ег& (при фиксированном ?) получаем <pn(S)->q>(?), где ф —
характеристическая функция распределения Р. Равномерность
этой сходимости на любом конечном интервале немедленно вы-
вытекает из следствия гл. VIII, 1 [см. пример гл. VIII, (\,д)].
б) Пусть ф„—>ф. По теореме о выборе (гл. VIII, 6) суще-
существуют последовательность {nh} и (может быть несобственное)
распределение F, такие, что Fn ->F. В применении к паре
F , ф формула C.3) дает
k k
+ СО
a J е-Щ11кЦ)п{а1)сЦ=УЪ1 J „
Переходя к пределу при k—>co, мы получаем C.3) (в левой
•части используется теорема об ограниченной сходимости, в пра-
правой— то, что it равно нулю на бесконечности; см. гл. VIII, 1).
Таким образом, C.3) выполняется. Так как ]/~2л п <! 1, то пра-
правая часть не превосходит F {—со, оо}. С другой стороны,
при а-»-0 нормальное распределение сосредоточивается вблизи
нуля и левая часть стремится к ф@) = 1. Поэтому F{—оо, оо}=1
и сходимость Fn ->F — собственная. По первой части теоремы
<р является характеристической функцией распределения F, и
теорема единственности гарантирует, что все сходящиеся под-
подпоследовательности [Fn } имеют один и тот же предел F. Сле-
Следовательно, Fn-*F, чем и заканчивается доказательство. &
Следствие. Непрерывная функция, являющаяся преде-
пределом (в смысле точечной сходимости) последовательности ха~
рактеристических функций, сама является характеристической.
Примеры, а) Пусть G—непрерывное распределение с ха-
характеристической функцией у. Тогда jy(Q i < 1 при ^?=0. После-
Последовательность {Gn*} не будет сходящейся в собственном смысле

§ 3. Единственность. Формулы обращения 581
слова, а предел yn(Q существует во всех точках. Таким обра-
образом, условие непрерывности предельной функции ф существенно
как в приведенной теореме, так и в ее следствии (см. зада-
задачу 9).
б) Критерий Пойа. Пусть со — вещественная непрерывная
четная функция, равная единице в нуле и равная нулю на бес-
бесконечности. Если ее график на О, оо вогнут, то со— характери-
характеристическая функция. Действительно, мы видели в примере B,6),
что это утверждение верно для случая, когда график функ-
функции со — вогнутый полигон. Так как полигоны, вписанные в во-
вогнутую линию, сами вогнуты, то общее утверждение вытекает
из приведенного выше следствия. Этот критерий (вместе со
сложным доказательством) в свое время играл интересную
роль. Пойа с его помощью доказал в 1920 г., что е~^]а при
0<се ^С 1 является характеристической функцией устойчивого
распределения (говорят, что Коши был уверен в этом, но не
имел доказательства). В действительности g-l?l есть харак-
характеристическая функция также и при 1<а42, но критерий уже
неприменим. >
Мы отложим до гл. XIX систематическое применение метода,
развитого при доказательстве теоремы 1. Мы здесь используем
его для вывода важной теоремы, которая уже была использо-
использована при составлении таблицы в § 2 (п. 5 и 8). Условимся для
краткости писать cp?L, в том и только том случае, если функ-
функция |ф| интегрируема на —оо, оо.
Теорема 3. (Обращение интеграла Фурье.) Пусть ф — ха-
характеристическая функция распределения F и ф € L. Тогда F
имеет ограниченную непрерывную плотность f, задаваемую
формулой
fW=i J «-'е*ф(?)<«. C-5)
— оо
Доказательство. Напомним, что обе части равенства
C.4) определяют плотность fa такого распределения Fa, что
Fa~*F при а~*0. Из левой части равенства C.4) мы видим,
что fa(t) —*f(t) ограничено (f — ограниченная непрерывная
функция C.5)). Поэтому для любого ограниченного интер-
интервала /
l\x. C.6)

582 Гл. XV. Характеристические функции
Но если / — интервал непрерывности для F, то Fa{I} стремится
к F{I}, так что / действительно является плотностью распреде-
распределения F.
Следствие. Если ф 5> 0, то cp?L тогда и только тогда,
когда соответствующее распределение F имеет ограниченную
плотность.
Доказательство. По теореме 3 интегрируемость функ-
функции ф влечет за собой существование у F непрерывной ограни-
ограниченной плотности. Обратно, если F имеет плотность f<M, то мы
получаем из C.4) при ^ = 0
+ 00 -f СО
J- Г ф(?)е-1/2а2^= * Г e-x^f(x)dx<M. C.7)
Z3T' J у 2я • а •>
— со —со
Подинтегральное выражение слева неотрицательно, и, если бы
ср не была интегрируема, левый интеграл стремился бы к оо
при а-*-0. ^
Примеры, в) Тождество Планшереля. Пусть распределение
F имеет плотность f и характеристическую функцию ф. Тогда
|ф|2с? тогда и только тогда, когда f2€L, и в этом случае
fco +со
^± J |ф(?)|2<#. C.8)
Действительно, |ф|2 — это характеристическая функция симмет-
ризованного распределения °F. Если |ф|2^Ь, то плотность
+ СО
°f(x)= J f(y-x)f(y)dy C.9)
— со
распределения °F ограничена и непрерывна. Применяя C.5)
к °/ и полагая х = 0, получаем C.8). Обратно, если f2?L, то
применение неравенства Шварца к C.9) показывает, что °f
ограничена, и в силу приведенного выше следствия \ц>\2^Ь. Мы
вернемся к соотношению C.8) в гл. XIX, 7.
г) Теорема непрерывности для плотностей. Пусть ф„ и ф —
интегрируемые характеристические функции, для которых
»о. (зло)

§ 3. Единственность. Формулы обращения 583
По следствию теоремы 3 соответствующие распределения F,, и
F имеют ограниченные и непрерывные плотности fn и /. Из
C.10) и формулы обращения ясно, что fn—*f- [При этом сходи-
сходимость равномерна: разность \fn — f\ меньше умноженного на
1/Bл) интеграла C.10).] См. задачу 13.
д) Формула обращения для функций распределения. Пусть
F—распределение с характеристической функцией ср, и пусть
Л>0 — произвольно, но фиксировано. Тогда
+ СО
F(x + h)h~F(x)-^ J фЮ-Ц^-*-'**. (З.П)
— СО
как только интеграл в правой части сходится абсолютно (на-
(например, если подинтегральная функция есть ОA/?2), т. е. если
|ф(?) | = ОA/?) при ?—>оо). В самом деле, левая часть пред-
представляет собой плотность свертки с распределением, равномер-
равномерным на —h, 0; множитель при е~>& под интегралом есть
характеристическая функция этой свертки. Поэтому C.11)
представляет собой не что иное, как частный случай общей фор-
формулы обращения C.5). >
Замечание о так называемой формуле обращения. Формула C 11)
применима только в случае, когда функция |ф(?)/?1 интегрируема на беско-
бесконечности. В общем же случае применяются формулы, получаемые ее видо^
изменением. Например, пусть Fa снова обозначает свертку распределения F
с симметричным относительно нуля нормальным распределением с дисперси-
дисперсией а2. Тогда по (З.П)
**
(a,2)
Если х и x+h — точки непрерывности распределения F, то правая часть
стремится к \F(x+h) — F(x)]/h при а->0. Это — типичный пример «теоремы
обращения». Можно предложить бесчисленное множество эквивалентных фор-
формулировок. Традиционная форма получается заменой в C.12) нормального
распределения распределением, равномерным на —t, t, и переходом к пределу
при 1->зэ. Формулы обращения все еще остаются популярной темой, хотя они
и потеряли в значителькой степени свою важность. Заметим, что вывод их
из интеграла Дирихле выпадает из логической структуры всей теории.
От распределений с интегрируемыми характеристическими
функциями мы перейдем к решетчатым распределениям. Пусть
F приписывает вес ph точке b + kh, где ph^O и 2/'* = !• ^а"
рактеристическая функция ф имеет вид
C.13)
— оа
Предположим» что Л>0,

584 Гл. XV. Характеристические функция
Теорема 4. Если ср— характеристическая функция вида
C.13), то
я/л
г=ш J
-Я/Л
Доказательство. Подинтегральное выражение может
быть представлено в виде ряда, где множитель при р& равен
eHb-r)ht_ Интеграл от него равен 0, если 1гфг и 2я/А, если
k = r, так что C.14) верно. >
§ 4. Свойства регулярности
Основной результат этого параграфа может быть грубо ре-
резюмирован так: чем меньше «хвосты» распределения F, тем
глаже его характеристическая функция ср; обратно, чем глаже
F, тем лучше ведет себя <р на бесконечности (леммы 2 и 4).
Многие оценки, связанные с характеристическими функциями,
опираются на оценку ошибки, с которой функция еи аппрокси-
аппроксимируется конечным отрезком своего ряда Тейлора. Следующая
ниже лемма показывает, что ошибка мажорируется первым
отброшенным членом.
Лемма 1 ')• Для п = 1, 2, ... и t>0
1! "• (л —1)!
Доказательство. Обозначим выражение, стоящее под
знаком абсолютной величины, через pn(t). Тогда
t
ргA)=1 j eixdx D.2)
о
и для п ^> 2
t
Ря @ = 1 J Ри-i (х) dx. D.3)
о
По теореме о среднем |pi@ |</, и неравенство D.1) можно по-
получить по индукции. >
') То же самое доказательство показывает, что ошибка, получаемая при
оставлении в ряде Тейлора для sin t или cos t конечного числа членов, имеет
тот же знак, что и первый отброшенный член, и меньше его по абсолютной
величине. Например, 1 — cos t^J2l2

§ 4. Свойства регулярности 585
В дальнейшем F будет обозначать произвольное распреде-
распределение, а ф — его характеристическую функцию. Моменты и
абсолютные моменты распределения F (коль скоро они суще-
существуют) обозначим
+ 0О + ОО
mn= j xnF{dx), Ж„= J \x\"F{dx}. D.4)
— оо —оо
Лемма 2. Если уИ„<оо, то п-я производная от ф суще-
существует, непрерывна и задается формулой
+оо
<р№ (?) = *•" J е^лгл/7}^}. D.5)
— оо
Доказательство. Разностное отношение для ф равно
pI/^}- D.6)
В соответствии с последней леммой подинтегральное выраже-
выражение мажорируется функцией |д;|, и потому для п=\ утвержде-
утверждение D.5) вытекает из теоремы о мажорированной сходимости.
Общий случай доказывается по индукции. !>
Следствие. Если т2<оо, то
ф'@) = т1, ф"@) = — щ. D.7)
Утверждение, обратное к последнему1), также верно: если
<р"@) существует, то пг2<об.
Доказательство. Обозначая действительную часть
функции ф через и, имеем
+ СО
1 —и (К) Г 1 —cos hx
.= j
Так как ы"@) существует, то производная и' определена в
окрестности нуля и в нуле непрерывна. В частности, м'@)=0,
так как и — четная функция. По теореме о среднем значении
') Метод не применим к первой производной. Проблема отыскания усло-
условий существования ф'@)> привлекавшая долгое время внимание, решена в
примере гл. XVII, A,в).

586 Гл. XV. Характеристические функции
существует такое число 9, что О<0<1 и
D.9)
в(А)-1
h2
и' (Qh)
h
<
u' (Qh)
Qh
При h—>0 правая часть стремится к и"@). Но отношение под
интегралом в D.8) стремится к '/г, так что интеграл стремится
к оо, если т2 = оо. См. задачу 11.
Примеры, а) Функция \р, отличная от постоянной и такая,
что г|)"@)=0, не может быть характеристической, так как соот-
соответствующее распределение должно было бы иметь второй мо-
момент, равный нулю. Например, функция е~^\ при а>2 не бу-
будет характеристической.
б) Слабый закон больших чисел. Пусть Хь Х2, ... независи-
независимые случайные величины с E(Xj)=O и одной и той же харак-
характеристической функцией ф. Положим Sn = Xt+. ..+Х„. Сред-
Среднее арифметическое Snjn имеет характеристическую функцию
срп(?/п). В окрестности нуля ф(Л) = 1+о(Л), и потому <р(?/я) =
= 1+оA/п) при л—>оо. Переходя к логарифмам, мы видим, что
Ф"(?/п)—>1. По теореме непрерывности (теорема 2 из § 3) от-
отсюда вытекает, что распределение величины Sn/n сходится к рас-
распределению, сосредоточенному в нуле. Это и есть слабый закон
больших чисел. Такая простота и ясность доказательства во-
вообще типичны для метода характеристических функций. Неко-
Некоторое видоизменение этого рассуждения приведет нас к дока-
доказательству центральной предельной теоремы. Р-
Лемма 3. (Риман — Лебег.) Если g интегрируема и
-\ со
Y(Q= J e**g(x)dx, D.10)
— оо
то -уE) —* при ?—>±оо.
Доказательство. Утверждение проверяется непосред-
непосредственно для ступенчатых функций с конечным числом ступе-
ступенек. Для произвольной интегрируемой функции g и любого
е>0 найдется (теорема об аппроксимации в среднем из
гл. IV, 2) такая ступенчатая функция gi с конечным числом
ступенек, что
+ со
J \g(x)-gi(x)\dx<e. D.11)
— ОО
Соответствующие преобразования D.10) связаны неравенством
;Iy — Yil<e> и потому существует окрестность бесконечности

§ 4. Свойства регулярности 587
±оо, в которой |y(D1<2e. Так как е произвольно, то y(S)~>
— 0. >
В качестве простого следствия получается
Лемма 4. Если F имеет плотность f, то ф(^)->0 при ?->
—v±oo. Если f имеет интегрируемую п-ю производную /<">, то
1фШ1=о(|?|-«) при 1Б1—ОО.
Доказательство. Первое утверждение содержится в
лемме 3. Если f интегрируема, то интегрирование по частям по-
показывает, что
+ 00
<р(?) = 4- f e^xf'(x)dx D.12)
— oo
и, следовательно, |ф(?) | = о( |?|~'), и т. д. >
Дополнение. Разложение Тейлора для характеристических
функций.
Неравенство D.1) можно переписать в виде
fr , itx
1! '•' (и —1)!
Отсюда, используя D.5), получаем
D.13)
-ф(С)—^-Ф'(?)-•••
t
я-1
<М"^А- DЛ4)
Если Мп<оо, то это неравенство верно при любых ? и t и дает верхнюю
границу для модуля разности между ф и первыми членами разложения Тей-
Тейлора. В специальном случае, когда F сосредоточено в точке 1, неравенство
D.14) превращается в D.1).
Предположим теперь, что все моменты существуют и что
ПпТ — М1''1 = X < со. D.15)
л->оо п
Из формулы Стирлинга для п\ тривиально вытекает, что при |/|<1/(ЗА,) пра-
правая часть неравенства D.14) стремится к нулю при п-»со, так что ряд Тей-
Тейлора для ф сходится в некотором интервале вокруг ?. Отсюда следует, что ф
аналитична в некоторой полосе, окружающей действительную ось, и, стало
быть, однозначно определяется своим разложением в степенной ряд в окрест-
окрестности нуля. Но ф(п)@) = (() пт„, так что ф однозначно определяется момен-
тгми гпп распределения F. Соответственно, если D.15) выполняется, то рас-
распределение F однозначно определяется своими моментами и ц> аналитична в
некоторой окрестности действительной оси. Этот критерий единственности сла-
слабее, чем указанное в гл. VII достаточное условие C.11), принадлежащее
Карлеману: ^ Mj" = oo. Но оба критерия не так уж далеки один от дру-
другого (пример распределения, не определяемого однозначно своими моментами,
приведен в гл. VII, 3).

588 Гл. XV. Характеристические функции
§ 5. Центральная предельная теорема для одинаково
распределенных слагаемых
Исследования, связанные с центральной предельной теоре-
теоремой, сильно влияли на развитие и совершенствование методов,
применяемых теперь повсюду в теории вероятностей, поэтому
представляется поучительным сравнение различных доказа-
доказательств. До последнего времени метод характеристических
функций (впервые употребленный П. Леви) был несравненно
проще, чем прямой подход, примененный Линдебергом (мы не
говорим здесь о других доказательствах). Освобожденный от
усложнений современный вариант последнего метода (изложен-
(изложенный в гл. VIII, 4) не труднее метода характеристических функ-
функций и, кроме того, имеет некоторые преимущества. С другой
стороны, метод характеристических функций приводит к уточ-
уточнениям, которые в настоящий момент не удается получить пря-
прямыми методами. К их числу относятся локальные предельные
теоремы этого параграфа, а также оценки ошибок и асимпто-
асимптотические разложения, изучаемые в следующей главе. Мы вы-
выделяем случай слагаемых, имеющих одно и то же распределе-
распределение, частично из-за его важности и частично потому, что же-
желаем на примере простейшего случая показать существо ме-
метода.
Всюду в этом параграфе Хь Х2, ... предполагаются незави-
независимыми случайными величинами с одним и тем же распреде-
распределением F, которому соответствует характеристическая функ-
функция ф. Мы предполагаем также, что
Е(Х;-) = 0, Е(Х2У) = 1 E.1)
и обозначаем Sn = Xi+ . , . +Х„.
Теорема I1). Распределение величины S,JYn сходится
к нормальному распределению Ш.
В силу теоремы непрерывности (теорема 2 из § 3) это утвер-
утверждение эквивалентно следующему: при л—»оо и всех Z,
*е~1Ю- E-2)
') Существование дисперсии вовсе не обязательно для асимптотической
нормальности величины Sn. Необходимые и достаточные условия даны в тео-
теореме 1а в гл. XVII, 5,

§ 5. Центральная предельная теорема 589
Доказательство. Из леммы 4.2 и формулы D.7) ясно,
что при п—*оо и фиксированном ?
E.3)
Из формулы Тейлора для логарифмов следует, что In (\+z) ~z
при z—>0. Поэтому E.3) дает
/г1^ф("йг)~>~1С2> E-4)
что равносильно E.2). >
Естественно ожидать, что когда F обладает плотностью f,
плотность величины SnJYn должна сходиться к нормальной
плотности и. Это не всегда так, но, к счастью, исключения но-
носят «патологический» характер. Сформулированная ниже тео-
теорема охватывает много практически интересных случаев.
Теорема 2. Если функция \ф| интегрируема, то случай-
случайная величина Sn/Yn имеет плотность, равномерно сходящуюся
к нормальной плотности и.
Доказательство. Формула обращения интегралов
Фурье C.5) применима как к /„, так и к и, и потому
а%. E.5)
Мы должны показать, что правая часть стремится к нулю при
л—>оо.
Выберем 6>0 так, чтобы
|cpa)[<e(-iw при UK б. E.6)
Это возможно, так как в нуле обе функции равны единице, их
первые производные равны нулю, а вторая производная левой
функции, равная —1, меньше второй производной правой функ-
функции (равной —'/г). Мы разобьем теперь интеграл E.5) на три
части и покажем, что каждую часть можно сделать меньше 8
при достаточно большом п. У) Как мы видели в последнем до-
доказательстве, внутри фиксированного интервала — а<^?^Са
подинтегральное выражение равномерно стремится к нулю, так
что интеграл по этому промежутку стремится к нулю. 2) Для
а<|?|<6]//г подинтегральное выражение меньше, чем
2eH/4)S2, так что величина соответствующего интеграла меньше
е, если только а взято достаточно большим. 3) Мы знаем из
леммы 1.4, что |ф(?)|<1 для ?фО, и из леммы 4.3, что ф(?) -*¦

590 Гл. XV. Характеристические функции
—>0 при 1 gi —»оо. Отсюда следует, что максимум функции
|ср(?) I для |?| ^ б равен числу г)<1. Поэтому часть интеграла
E.5), взятая по области | ? | > 6 Vn> меньше, чем
Л
»
E.7)
Первый интеграл равен интегралу от У#|ф(у)|,4 гак чт0 выра-
выражение E.7) стремится к нулю. >
На самом деле из доказательства вытекает1) более сильный результат,
а именно: если |<p|r€L при некотором целом г, то /„->п равномерно для
всех х. В то же время следствие теоремы 3.3 показывает, что если |ср|г не
интегрируема ни при каком г, то каждая из функций fn не ограничена. При-
Приведем любопытные примеры, подтверждающие, что такие патологические
случаи действительно встречаются.
Примеры, а) Для х>0 и р > 1 положим
х log р х
Пусть g— плотность распределения, сосредоточенного на интервале 0,1, и
пусть g(x)>up(x) на некотором интервале 0,Л. Существует интервал 0,6,
в котором ир монотонно убывает, и внутри этого интервала
х
g? (х) > J ир (х - у) ир (у) dy > хир (х) = и2р (х). E.9)
По индукции устанавливаем, что при n — 2h существует интервал 0,Л„, в ко-
котором gn*!> unp, и, следовательно, gn*(x)-*co при х-*0 + . Таким образом,
каждая свертка gn* не ограничена.
б) Вариант предыдущего примера. Та же самая патологическая особен-
особенность проявляется здесь в еще более резкой форме. Пусть v — плотность, по-
получаемая симметризацией функции g. Положим
l(.x-l)). E.10)
Тогда f(x) будет четной плотностью, сосредоточенной на —2,2. Мы можем
предположить, что соответствующая дисперсия равна 1. Анализируя преды-
предыдущий пример, мы видим, что v непрерывна всюду, кроме нуля, где она не
ограничена. Это же верно и по отношению ко всем сверткам vn*. Теперь
}2п*(х) является линейной комбинацией функций v2n*(x + 2k) с & = 0, ±1,
±2, ..., ±п и, следовательно, не_ограничена во всех этих точках. Плот-
Плотность нормированной суммы S2ra/'T^2n случайных величин_Х, (с плотностью f
каждая) определяется формулой }2п (х) = V 2п /2Я* (хУ~2п). Она непрерывна
всюду, кроме 2«+1 точек вида 2kjY 2п (k — О, ± 1 ± л), в которых она
') Единственное изменение состоит в том, что в E.7) множитель цп
заменяется на цп~г, а ф на срг.

§ 5. Центральная предельная теорема 591
не ограничена. Так как каждой рациональной точке t соответствует беско-
бесконечно много пар (k, n) целых чисел, таких, что 2k/ir2n = t, то мы приходим
к выводу: распределение случайной величины SnIV' п стремится к 9?, но
плотности fn не сходятся ни в одной рациональной точке и последователь-
последовательность {fn} не будет ограниченной ни в одном интервале.
в) См. задачу 17. |^
Чтобы сделать картину полной, перейдем теперь к решетча-
решетчатым распределениям. Предположим, что случайные величины
Xj припимают значения вида Ь, b±h, b±2h, .... Предположим,
что h является шагом распределения, т. е. максимальным по-
положительным числом с указанным свойством. Лемма 1.4 утвер-
утверждает, что |ф| имеет период 2я/й и, следовательно, функция
|ф| не интегрируема. Однако теореме 2 соответствует анало-
аналогичная теорема, касающаяся «весов» возможных значений
(атомов) распределения величины SjYn- Все эти атомы нахо-
находятся среди точек вилах— (nb-\- kn)/Yn> где k = 0, ±1, ±2,... .
Положим для таких х
^ у E.11)
Для других х функция рп{х) не будет определена. Таким об-
образом, значения х в соотношении E.12) принадлежат наимень-
наименьшей решетке, содержащей все атомы случайной величины
Теорема З1). Если F — решетчатое распределение с ша-
шагом h, то при п—юо
-^-А, С*) —и (*)--> О E.12)
равномерно относительно х.
Доказательство. По C.14) имеем
VHnjh
— Vn Я/ft
Используя снова формулу обращения C.5) для нормальной
плотности п, получаем, что левая часть в E.12) не превосхо-
превосходит
Vn я/Л
- Г et-W (%. E.14)
!it J 7
2я
y n
2jt
— Vп n/h 11, | > Vn я/Л
') Предполагается, как и раньше, что выполнены условия E.1). — Прим,
перев.

592 Гл. XV. Характеристические функции
Повторяя в точности доказательство теоремы 2, видим, что пер-
первый интеграл стремится к нулю. Ясно, что и второй интеграл
стремится к нулю. Этим завершается доказательство. Js»
§ 6. Условие Линдеберга
Рассмотрим теперь последовательность таких независимых
случайных величин Хй, что
Е(Х*) = 0, E(xl) = al F.1,)
Мы обозначим распределение величины Xk через Fh, характери-
характеристическую функцию через <pft, а также обозначим, как обычно,
Sn = Xt + ... + Хп и sl — ^аг (Sn). Таким образом,
Мы будем говорить, что выполняется условие Линдеберга,
¦если при любом фиксированном
~rS J ^Fk{dx}->0, л->оо. F.3)
S" ft-l \x\>tsn
Грубо говоря, это условие требует, чтобы дисперсии °1 обра-
образовывались в основном за счет масс, сосредоточенных в интер-
интервалах длины, малой по сравнению с sn. Далее ясно, что °*/s2
меньше, чем t2 плюс левая часть в F.3). Так как t произволь-
произвольно, то из F.3) следует, что при любом е>0 и достаточно боль-
большом п
-^<е, Л = 1, 2, ..., п. F.4)
Условие Линдеберга было введено в гл. VIII (соотношение
D.15)), и следующая ниже теорема совпадает с теоремой 3 из
гл. VIII, 4. Каждое доказательство имеет свои преимущества.
Приводимое здесь доказательство позволяет установить, что
условие Линдеберга в некотором смысле и необходимо; это
доказательство применимо для вывода асимптотических раз-
разложений (гл. XVI) и теорем о сходимости плотностей (за-
(задача 19).
Теорема 1. (Линдеберг.) Если выполняется условие F.3),
то распределения нормированных сумм Sn/sn сходятся к нор-
нормальному распределению 5R.

§ 6. Условие Линдеберга
593
Доказательство. Учитывая нормировку F.1), имеем
Основное неравенство D.1) показывает, что при достаточно
больших п
-г2 1
F.6)
2
Из формулы Тейлора видно, что
2
при
-F.7)
Отсюда, полагая zh = ([k(t>lsn) — 1, получаем при фиксирован-
фиксированном g и я —> оо
F.8)
й-1
Мы должны доказать, что правая часть стремится к (—^/з) S2-
С этой целью мы оценим подинтегральное выражение в F.5)
с помощью неравенства D.1). На отрезке \х\ <1 tsn мы возьмем
\t 3 11 I3
оценку
\tx
{i2x2)!s\. Тогда
1 о{
х2> а для \x\>tsn — более грубую оценку
Ь F-9)
¦1 \x\>ts
Множитель при t,2 — это как раз то выражение, которое входит
в условие Линдеберга F.3). Так как t можно выбрать сколь
угодн© малым, то сумма, стоящая слева, стремится к 0. Поэто-
Поэтому правая часть соотношения F.8) в пределе равна
(—Y2K2s~2 2 °\ == (—'/г) С2, чем доказательство и заканчи-
заканчивается. >
За примерами читатель отсылается к гл. VIII, 4, к задачам
17—20 в гл. VIII, 10, и к задаче 20 ниже.
Следующая теорема утверждает, что в предположении
-^-->и, 5„—>-О0
условие Линдеберга является также необходимым.
F.10)

594 Гл. XV. Характеристические функции
Теорема 2. Допустим, что распределение величины Sn/sn
сходится к У1 и что выполняется F.10). Тогда справедливо
условие Линдеберга F.3).
Доказательство. Покажем сначала, что справедливо
неравенство F.4). В самом деле, найдется такое v, что OiJsk<e
при k>v. Тогда при n !> &>v имеем ajjsh ^ on/$h<?, a v вели-
величин at/sn, .. ., Oylsn стремятся к нулю. Мы уже видели, что
F.4) влечет F.8). Поэтому мнимая часть суммы F.8) стре-
стремится к нулю. Следовательно, при фиксированных />0 и ? и
I (g) F.11)
Ы л
Подинтегральное выражение справа не превосходит 2 < 2x2jfs2n,
а слева — не превосходит t?x2!2s\. Деля F.11) на V2?2,
получаем
Левая часть не зависит от ?, а правую часть можно сделать
сколь угодно малой, если величину ? выбрать достаточно боль-
большой. Следовательно, левая часть стремится к нулю, что, оче-
очевидно, равносильно F.3). >
Отношение an/sn можно принять за меру того вклада, кото-
который вносит слагаемое Хп в нормированную сумму Sn/sn. Тогда
условие F.10) можно описать следующим образом: асимптоти-
асимптотически Sn/sn является суммой «многих индивидуально пренебре-
жимых слагаемых». В принципе распределение величины Sn/sa
может сходиться к VI, даже если F.10) не выполняется. Но та-
такой тип сходимости радикально отличается от того, который
интуитивно связывается с центральной предельной теоремой.
Примеры, а) Пусть Fh — нормальное распределение с дис-
дисперсией а|. Тогда Sn/sn имеет нормальное распределение VI не-
независимо от того, выполнено или нет условие F.10).
б) Пусть Gh — распределение с нулевым математическим
ожиданием и единичной дисперсией и такое, что Gh—*Vl. Поло-
Положим Fh(x) = Gh(xlkl). Тогда ^~1 = о(^). Следовательно, дис-

§ 6. Условие Линдеберга 595
Персия случайной величины Sn_4/sn стремится к нулю. Поэтому
ее распределение асимптотически то же, что и распределение
величины Sn/sn, которое в свою очередь асимптотически экви-
эквивалентно распределению Gn случайной величины Х„/а„. Таким
образом, Sn распределено асимптотически нормально, но это
потому лишь, что Хп обладает таким же свойством. >
Последний пример иллюстрирует типичную ситуацию, возникающую в
случае, когда F.10) ие выполняется. Это можно увидеть из следующей
теоремы (в которой п может пробегать и подпоследовательность ni,n2, ...).
Предположим, что распределение величины Sn/sn стремится к 92 и
0n/sn->p=ji= 0. Тогда распределение величины Xn/sn асимптотически нормально
с дисперсией р1.
Доказательство. Для простоты предположим сначала, что рас-
распределения Fh симметричны. По теореме о выборе можно найти такую по-
последовательность номеров п\, «2, • • •> что по этой последовательности распре-
распределения величин Sn_i/sn и Xre/sn сходятся к пределам U и V (последние
распределения обязательно будут собственными). Тогда U^V= S>1, и по тео-
теореме Крамера (теорема 1 из § 8) отсюда следует, что U и V нормальны и
сумма их дисперсий равна единице. Дисперсии величин Sn_i/sn и Xn/sn
сходятся к 1—р2 и р2 соответственно. Дисперсии распределений U и V не
могут превзойти эти пределы. Отсюда следует, что V нормально и имеет
дисперсию р2.
В случае асимметричных распределений мы применяем симметризацию.
Из сказанного выше вытекает, что спмметризованное распределение °F71
асимптотически нормально. Теорема Крамера показывает, что это же верно
и для распределения Fn. ?»
Предыдущие теоремы не должны пониматься неправильно:
распределение величины Sn/sn может быть асимптотически нор-
нормально, даже если F.10) выполняется, а условие Линдеберга
F.3) нет.
Пример, в) Пусть Ylt Y2, ... — независимые, одинаково рас-
распределенные величины с E(Yft)=0 и Var (Yft) = l. Пусть Z1; Z2,
... не зависят друг от друга и от {Yh}, и пусть P(Zn=±/z} =
= A/2)л-2 и P{Zn = 0}=l —п-\ Тогда E(Zn)=0 HVar(Zn) = l.
Согласно лемме Бореля — Кантелли, с вероятностью единица
лишь конечное число величин Zh отлично от нуля. Следователь-
Следовательно (Z1 -+- . . . -\-Zn)IYn стремится по вероятности к нулю (см.
гл. VIII, 2). В то же время распределение (Yj + • • • -\-^n)lYn
сходится к 31. Имея это в виду, положим Xfe = Yft + Zft. Тогда
ясно, что распределение величины Sj'\fn стремится к !R. Но
Var(Sn)=2« и распределение нормированной суммы Sn/sn
стремится к нормальному распределению с дисперсией !/г- >
Этот пример показывает, что классическая нормировка сумм
Sn, превращающая математическое ожидание в нуль, а дис-

536 Гл. XV. Характеристические функции
Персию в единицу, не всегда естественна. Чтобы обеспечить схо-
сходимость к Ш, порой нужны другие способы нормировки. Мы
можем пойти и дальше. Существенной чертой последнего при-
примера было то, что ряд 2РBй?=0} сходится. Но это свойство
может выполняться и при отсутствии у Zft математических ожи-
ожиданий. Следовательно, возможно построить величины Xh, не
имеющие математических ожиданий, но такие, что при надле-
надлежащем выборе нормирующих констант ап распределение сум-
суммы Snjan сходится к % Предыдущие теоремы можно изменить
так, чтобы охватить эту общую ситуацию. Мы, однако, не бу-
будем входить в детали, так как условия сходимости содержатся
в теоремах, касающихся «серий» {Xkjan} (гл. XVIII). Но ме-
метод, развитый при доказательстве теорем 1 и 2, легко прило-
приложим к случаю, когда распределения Fh симметричны. Соот-
Соответствующие результаты поучительны. Они содержатся в
задачах 21 и 22, которые не должны доставить каких-либо за-
затруднений.
§ 7. Характеристические функции многомерных распределений
Теория характеристических функций в пространствах не-
нескольких измерений так близка к теории для случая Мх, что
ее систематическое изложение представляется излишним. Для
того чтобы описать основные идеи и обозначения, достаточно
рассмотреть случай двух измерений. Мы будем через X обозна-
обозначать в этом параграфе пару действительных случайных вели-
величин Х( и Х2 с заданным совместным распределением вероятно-
вероятностей F. Мы будем рассматривать X как вектор-столбец с ком-
компонентами Х4 и Х2; аналогично аргумент х в F(x) следует по-
понимать как вектор-столбец с компонентами хи х2. С другой
стороны, аргумент 'Q соответствующей характеристической функ-
функции будет пониматься как вектор-строка ?= (?i, ?г). Это согла-
соглашение удобно тем, что скалярное произведение записывается в
виде t,x — tiA"i + ?2X2. Характеристическая функция ср для X (или
для F) определяется равенством
Ф(?) = Е(е'*.х). G.1)
Это определение по форме такое же, как и в одномерном слу-
случае, однако показатель степени имеет новый смысл и интегри-
интегрирование производится по отношению к двумерному распреде-
распределению.
Основные свойства двумерных характеристических функций
очевидны. Например, при ?2 = 0 скалярное произведение Ь,х пре-
превращается в ?1*1 и, следовательно, q>(?i, 0) представляет собой

§ 7. Характеристические функции 597
характеристическую функцию распределения ') Xt. При любых
фиксированных значениях параметров ?4, ?2 линейная комбина-
комбинация ^iX1 + g2X2 является (одномерной) случайной величиной
с характеристической функцией
Е(еа«;.х-№>) = ф(^1, я?2). G.2)
Здесь ?,i и ^2 фиксированы, а независимой переменной служит л.
В частности, характеристическая функция суммы Х4 + Х2 равна
ф(Я, Я). Таким путем двумерная характеристическая функция
порождает одномерные характеристические функции всех ли-
линейных комбинаций gjXi + ^Xo. Обратно, если известны распре-
распределения всех таких комбинаций, мы можем вычислить все вы-
выражения типа cp(A?i, А?2), а вместе с ними и двумерную харак-
характеристическую функцию2). Следующий пример показывает
пользу и гибкость этого подхода. В примере используются обо-
обозначения, введенные в гл. III, 5.
Примеры, а) Многомерные нормальные характеристические
функции. Пусть Х=(Хь Х2) (который надо считать вектором-
столбцом!) имеет невырожденное нормальное распределение.
Предположим для простоты, что Е(Х)=0. Обозначим матрицу
ковариаций Е(ХХГ) буквой С. Ее элементами будут ckk =
= Var (Xft) и Ci2 — Cu = Cov (Хь Х2). При фиксированных ^ и ?2
линейная комбинация ?X = ?iXi + ?2X2 имеет математическое
ожидание 0 и дисперсию
= Сищ + 2с^2 + спЩ. G.3)
Поэтому характеристическая функция для ^Х (ее аргумент
обозначим через К) имеет вид e(~'Wl\ следовательно, двумер-
двумерная характеристическая функция для X равна
Точно такое же рассуждение показывает, что и r-мерное невы-
невырожденное нормальное распределение с нулевым математиче-
математическим ожиданием и матрицей ковариаций С имеет характеристи-
характеристическую функцию G.4). С точностью до множителя (—1/2) по-
показатель есть квадратичная форма от г переменных с матри-
матрицей С (заметим, что в выражении для плотности показатель
') Иногда говорят — «частного» или «маргинального» распределения
Х|. — Прим, перев.
2) Этим мы доказали попутно, что распределение вероятностей в Хг
однозначно определяется по вероятностям всех полуплоскостей. Этот резуль-
результат (отмеченный Крамером и Вальдом) пока не доказан элементарными ме-
методами. Его применение к проблеме моментов указано в задаче 23.

598 Гл. XV. Характеристические функции
содержит квадратичную форму с матрицей С; это прямое
обобщение одномерного случая, где показатели имеют вид
—'/W2?2 и —{ko~%2 соответственно). р.
Иногда желательно перейти от переменных (Хь Х2) и (?t, ?2)
к полярным координатам. Положим
Xj^Rcos®, X2 = RsinO, S1 = pcos9, C2 = р sin Э. G.5)
В этих обозначениях имеем
Е(е'("?«'5(9-ф>). G.6)
Следует иметь в виду, однако, что это не есть характеристиче-
характеристическая функция пары случайных величин R, Ф; последняя равна
б) Круговая симметрия в М2. Предположим, что пара
(Хь Х2) описывает «случайно направленный вектор» (см.
гл. 1,10). Совместное распределение для (R, Ф) является
произведением распределения G для R и равномерного на
I
—я, л распределения. Ясно, что математическое ожидание в
G.6) не зависит от 0, так что ср принимает форму
Л
J e^^stAL. G.7)
Внутренний интеграл легко вычисляется разложением экспо-
экспоненты в степенной ряд. Повторное интегрирование по частям
,. , Bk \ c,~2k
показывает, что интеграл от cos^ft t равен 1 . 1 z , в то время
как интеграл от cos2ft+1 t равен нулю. Полагая
легко получаем
со
Ф(С1, Сг)=/ J0(rp)O{dr}, G.9)
о
где p2 = ^-|-t|. Функция /0 — это функция Бесселя нулевого
порядка. При этом J0(x) =IQ(ix), где /0 определена в гл. II,
G.1).
В специальном случае (рассмотренном Рэлеем) распреде-
распределение G сосредоточено в точке 1. Таким образом, характери-
характеристическая функция суммы п независимых единичных случайно
направленных векторов (см. гл. I, 10) равна Jq (у ^ Ч

§ 7. Характеристические функции 599'
в) Сферическая симметрия в <$?¦ Рассуждения предыдуще-
предыдущего примера можно повторить при любом числе измерений. При
этом изменяется лишь форма внутреннего интеграла в G.7).
В трехмерном случае он сводится к
2?И G.Ю)
о
В частности, если G сосредоточено в точке 1, мы получаем
Ф&. «) = ^Г> где ? = Ц + Ц + Щ. G.11)
Полагая ?2 = ?з = 0. находим характеристическую функцию ком-
компоненты Xi случайно направленного единичного вектора. Таким
образом, мы по-новому доказали, что эта компонента распре-
распределена равномерно на —1, 1 (см. гл. I, 10). У
Мы предоставляем читателю проверить, что основные тео-
теоремы, касающиеся характеристических функций в одномерном
случае, обобщаются без существенных изменений. Так, теорема
об обращении интегралов Фурье в <$2 утверждает, что, если щ
(абсолютно) интегрируема на всей плоскости, то X имеет огра-
ограниченную и непрерывную плотность, задаваемую формулой
+ ОО
f(xlt х2) = -±р J J e-'Cb+'Mpfo, I2)dlxdl2. G.12)
г) Двумерное распределение Коши. Мы намерены показать,
что двумерный аналог распределения Коши задается плот-
плотностью
f(xv х2) = ¦ * —¦ G.13)
Характеристическая функция для этой плотности равна
Ф&, Ы = е~'^+%, G.14)
откуда видно, что распределение G.13) обладает основными
свойствами распределения Коши; в частности, оно устойчиво:
если ХМ, . .. , Х<п> — взаимно независимые векторы с плотностью
G.13), то их среднее арифметическое (Х<'>+.. .+Х("))/л имеет
ту же самую плотность.
Простейший способ проверить, что G.14) является характе-
характеристической функцией плотности G.13) [а также проверить,,
что G.13) есть плотность вероятности], состоит в следующем.
Мы покажем, что пара функций / и ср удовлетворяет соотноше-

600 Г л XV Характеристические фцнщии
нию G.12). В полярных координатах G.5) интеграл в G.12) ¦
принимает вид ')
L1 [ G]к)
BяJ dt J *-f /г cos (9 — s) ' \'-l°>
-я
Так как величина интеграла не зависит от s, мы можем при-
принять s — 0 и вычислить его вещественную часть
G.16)
(используется стандартная подстановка г1 • tg 0—?/]/72-f-/'2)- Диф-
Дифференцирование по ^ показывает теперь, что величина G.15)
равна f(xi, Xz), как и утверждалось. >
§ 8*. Две характеризации нормального распределения
Мы начнем с известной теоремы, высказанной П. Леви и
доказанной в 1936 г. Г. Крамером. К сожалению, ее доказа*
тельство опирается на теорию аналитических функций и потому
несколько выходит за рамки нашей трактовки теории харак-
характеристических функций.
Теорема 1. Пусть Xf и Х2—независимые случайные вели~
чины, сумма которых распределена нормально. Тогда Xt и Х2
имеют нормальное распределение.
Другими словами, нормальное распределение может быть
эазложено только на нормальные компоненты. Доказательство
Зудет опираться на лемму, представляющую самостоятельный
интерес.
Лемма. Пусть F — такое распределение вероятностей, что
Л со
= J e**F{dx\ <oo (8.1)
') Дифференцирование по t введено, чтобы устранить множитель р, ко-
горый усложнил бы вычисления. Этот прием часто бывает полезен.
*) В этом параграфе разбирается специальная тема. Результаты в даль-
гейшем не используются.

§ 8. Две характеризации нормального распределения 601
при некотором ц>0. Тогда его характеристическая функция
(рассматриваемая как функция комплексного аргумента ?)
является целой функцией. Если ф(?)=?0 для всех комплексных
?,, то F — нормальное распределение.
Доказательство леммы. При любых комплексных ?
и действительных х, г\ имеем \х t,\^СгJх2 + ц~2\Z,\2. Поэтому
интеграл, определяющий ф, сходится при всех комплексных ? и
Это значит, что ф есть целая функция порядка не более 2, и
если такая функция не имеет нулей, то 1о?ф(?) является много-
многочленом не выше второй степени1). Следовательно, q>(?) =
= е * , где а и о— некоторые, возможно комплексные
числа. Но ф — характеристическая функция, и поэтому —йр'(О)
равно математическому ожиданию, а —<р"@) —второму момен-
моменту соответствующего распределения. Отсюда видим, что b ве-
вещественно иа>0, так что распределение F нормально. >
Доказательство теоремы 1. Не ограничивая общ-
общности, мы можем предположить, что случайные величины X! а
Х2 центрированы своими медианами. Тогда
P{|X1 + X2|><}>1P{|X1|>/J. (8.3)
Теперь с помощью обычного интегрирования по частям [см.
гл. V, 6] находим, что
сю
f (П)< Ц2 j х ¦ e'fv2 [1—F(x) + F(— x)\dx. (8.4)
о
Поэтому функции fh, соответствующие Хь, удовлетворяют нера-
неравенству fh{y\) ^2Дг|). Как мы уже видели, отсюда вытекает,
что характеристические функции q>i и ф2 определены для всех
комплексных ?. Так как <р; (С)ф2(?) = е("!/")а';н ibr°, т0 ни фЬ ни
ф2 не могут обращаться в нуль. Поэтому Xt и Х2 нормальны. ^>
Мы переходим к доказательству другого характеристиче-
характеристического свойства нормального распределения, о котором уже шла
речь в гл. III, 4.
') См., например, Hi He E., Analytic Function Theory Boston, 1962, т. II,
стр. 199 (теорема Адамара о факторизации). Если не привлекать теорию це«
лых функций, то можно рассуждать и так: ч])= log ф регулярна во всей плоско-
плоскости, тогда из неравенства (8.2) вытекает, что |Ке-ф(?I<СС|г;|2 для больших
|?|. Отсюда и из усиленной теоремы Лиувилля (там же, стр, 193) выводим
требуемое заключение.

602 Гл. XV. Характеристические функции
Теорема 2. Пусть Х4 и Х2 — независимые случайные ве-
величины, и пусть
У^а.А + аЛ, Y2 = fl21X1 + a22X2. (8.5)
Если Yt и Y2 взаимно независимы, то или все четыре случайные
величины распределены нормально, или же преобразование
(8.5) тривиально в том смысле, что либо a) Yi = aXt, Y2 = 6X2,
либо б) Yi = aX2, Y2 = 6Xi.
Доказательство. При специальном предположении, что
случайные величины Xj имеют непрерывные плотности, теорема
была доказана в гл. 111,4. Доказательство опиралось на реше-
решение функционального уравнения [гл. III, D.3)]. Мы покажем те-
теперь, что характеристические функции <pj случайных величии
Xj удовлетворяют функциональному уравнению того же типа.
Мы покажем сначала, что достаточно рассматривать действи-
действительные характеристические функции. При этом мы продемон-
продемонстрируем пользу теоремы 1.
Примеры, а) Редукция к случаю симметричных распределений.
Введем случайные величины ХГ и Хг". которые не зависят
друг от друга и от Xj и которые распределены как —Xt и —Х2
соответственно. Линейное преобразование (8.5) переводит сим-
метризованные случайные величины °Xj = Xj-\-XJ в пару
(°Yi, °Y2) симметричных и независимых случайных величин.
Если теорема верна для таких случайных величин, то величины
°Xj нормальны и по теореме 1 Xj также нормальны.
б) Функциональные уравнения. В силу независимости Yt и
Y2 совместная характеристическая функция для (Yt, Y2) долж-
должна представляться в форме произведения соответствующих ха-
характеристических функций, т. е.
Е (ei (t.Y,+c,Yj) = E (е'Ь*.) Е (e/t.v,). (8.6)
Подставляя сюда выражение (8.5), мы получаем следующее
соотношение между характеристическими функциями для Xt
и Х2:
¦<Pl («llSl
= Ф1 («nSi) ф2 (a12d) Ф1 @2^) ф2 (а22У • (8.7)
Теперь (8.7) совпадает с соотношением D.3) из гл. III (с тем
лишь исключением, что а42 и a2i меняются местами). Для дей-
действительных четных функций лемма из гл. III, 4 утверждает,
что в невырожденном случае фу (?) = е~а^ ¦ Отсюда следует,
что Xj нормальны.

§ 9. Задачи 603
§ 9. Задачи
1. Выведите из неравенства A.7) (без всяких вычислений), что для лю-
любой характеристической функции <р
^^L<e 4 . (9.1)
2. Пусть Ф =u + iv — характеристическая функция. Покажите, что
«2(?)<уA+"BО). (9.2)
Последнее в свою очередь влечет неравенство
1ф(Ша<-^A + 1<Р<2Е)|). (9.3>
Указание. Для (9.2) используйте неравенство Шварца, для (9.3) рассмо-
рассмотрите характеристические функции вида e'tt-ff (С).
3. Докажите (обозначения те же, что и выше), что
I Ф (Са) I — Ч> (Ci) Iя < 2 [1 — « <&, — d)]-
При Zg =— Ei отсюда следует A.7).
4. Из элементарных формул выведите (без явного использования инте-
1 1 — cos х
грирования), что характеристическая функция <р плотности j от-
отличается лишь постоянным множителем от функции 2|?!—1?+1|—!?—М. Отсюда
вытекает, что ср(?) = 1 — |?| для |?| <С 1-
5. Из характеристической функции для плотности ае~а'х* получите диф-
дифференцированием по а новую характеристическую функцию. Используйте этот
результат — покажите, что свертка данного распределения с собой имеет
плотность (xU)ae~a\x\ (l||)
6. Покажите, что ф(?) = е* ^е ' есть характеристическая функция
обобщенного распределения Пуассона, порожденного распределением Коши.
Найдите его плотность для .00.
7. Исходя из п. 10 таблицы на стр. 574, покажите, что 2a%(sh л:) есть
2
плотность с характеристической функцией . . 7~г\' {Указание. Исполь-
Используйте задачу 6 из гл. 11,9.)
81). Пусть X и У — независимые случайные величины с распределе-
распределениями F и G и характеристическими функциями ср и у соответственно.
') Комбинируя (9.4) с теоремой, указанной в сноске на стр. 197, полу-
получаем следующий критерий (принадлежащий Хинчину): функция <о является
характеристической функцией унимодального распределения тогда и только
1
тогда, когда со (?) = ср (?/.v) d.x, где ф — характеристическая функция.

604 Гл. XV. Характеристические функции
Покажите, что произведение XY имеет характеристическую функцию
9. В теореме непрерывности 3 2 и ее следствии достаточно предполагать,
что <р(?) =lim q>n(?) существует при всех ? и что ф непрерывна в нуле (тогда
Ф автоматически непрерывна всюду). Эквивалентное условие состоит в том,
что сходимость равномерна в некоторой окрестности нуля.
10. Если {фи} — такая последовательность характеристических функций,
что ф„ (?)->1 при — 6<?<6. Тогда ф„ (?)->1 при всех ?.
11. Обобщение утверждения, обратного к D.7). Рассматривая распре-
распределения ¦ х21гр [dx] (если они существуют), докажите по индукции, что
распределение F имеет конечный момент порядка m«r тогда и только тогда,
когда существует 2г-я производная характеристической функции ф в пуле,
12. Пусть f — тпотность вероятности с положительной и интегрируемой
характеристической функцией. Тогда / имеет единственный максимум в нуле.
Если вторая производная /" существует, то
/ @) >/(*)>/@) —^-Г @);
аналогичное разложение верно и для первых 2г членов формулы Тейлора
[заметьте, что [—четная функция и, следовательно, /Bft+n@)=0].
13. Пусть g— четная плотность со строго положительной характеристи-
характеристической функцией у.
Тогда
g (х){1 — cos ах]
Sa W ~ l_Y(a)
¦есть плотность вероятности с характеристической функцией
Ye К) ffl-Y(e)] ( ]
При а-*-со имеем Ya-^Y. H0 ga не стремится к g. Это показывает, что в тео-
теореме непрерывности для плотностей условие C.10) существенно.
14. Если y — произвольная положительная характеристическая функция,
то уа (см. 9.5) —также характеристическая функция.
15. Пусть ф — действительная характеристическая функция с непрерывной
<второй производной ф". Тогда [исключая случай ф(?) = 1 для всех ?]
4 ""' S2 I Ф" @) |
•будет характеристической функцией. Ей соответствует четная плотность /г,
определяемая для л:>0 формулой
J [\-F(t)]dt.
\ Ф" @)
х
Распространите это утверждение на моменты высших порядков,

§ 9. Задачи 605
16. Пусть f — четная плотность с характеристической функцией ф. Для
положим
X
Тогда g — снова четная плотность, и ее характеристической функцией будет
Ц
' (S) = у \ ф
17. Если «— плотность, то и
f с*) = 2
(при cft>0,2cft = l)—также плотность. (Если и равна нулю вне—1,1, то
лишь конечное число членов отлично от нуля и вопрос о сходимости не воз-
возникает.) Обозначим через ф характеристическую функцию для /. Покажите,
что при надлежащем выборе постоянных Ck
J | ср (?) Iя Л! = со, я = 1, 2
Указание. Вспомните, что B ckPk) ^ 2 с*^й ПРИ Pft^O- Можно взять
18. Докажите центральную предельную теорему (формула 4.4 из
гл. VIII)) для сумм случайного числа слагаемых методом характеристиче-
характеристических функций.
19. Выведите из теоремы 6.1 центральную предельную теорему для плот-
плотностей, аналогичную теореме 5.2.
20. Пусть X/t — независимые случайные величины, такие, что X;, прини-
принимают значения ±1 и ± Vk с вероятностями, равными (V2) A—/Н) и
lhk~x соответственно. Покажите, что ни при каких нормирующих константах
распределение величины Sn/an не сходится к W,
21. Обобщенная центральная предельная теорема. Предположим, что
распределение Fk симметрично.
а) Слегка изменяя доказательство теоремы 6.1, покажите, что если при
любом t>0
п п
] | Fk{dx)->0, a\ JJ | x*Fk{dx}->l, (9.6)
ft-l \x\> tan k-1 \x\<lan
то распределение величины Sn/an стремится к З1?.
б) Используя доказательство теоремы 6.2, покажите, что эти условия
г
становятся также необходимыми в предположении Хб/ап->0 для k=*l, ,.., п.
р
(Если ап-*аэ монотонно, то достаточно требовать Хп/а„->0.)
22. Продолжение. Для того чтобы существовали нормирующие констан-
константы ап, удовлетворяющие условиям (9.6), необходимо и достаточно, чтобы

606 Гл. XV. Характеристические функции
для некоторой последовательности tn-> °°
ft-l |*1>'„ * k = l [x\<tn
В последнем случае можно взять
(Обычно этот критерий применяется без затруднений.)
23. Проблема моментов в %2. Пусть Xi и Хг — две случайные величины
с совместным распределением F. Положим /4s = E(|Xi|'l+E(|X2l^). Покажите,
что F однозначно определяется своими моментами, если \imk~1A}Jk < со.
Указание: Используйте критерий единственности D.15) и сноску 2 на
стр. 597. Оцените k-я момент линейной комбинации Xi и Х2 в терминах Ah-
24. Вырожденное двумерное распределение. Пусть <р — одномерная ха-
характеристическая функция и а.ип2 — произвольные константы. Покажите, что
гр(д1у+й2?г) как функция от ?i и t,2 является двумерной характеристической
функцией пары (Х;,Х2), для которой тождественно
Сформулируйте обратное утверждение. Рассмотрите специальный случай а2=0.
25. Пусть X, Y, U — взаимно независимые случайные величины с характе-
характеристическими функциями ф, у, <о. Покажите, что произведение
<P(Si)y(?2)m(Si + ?2) представляет собой двумерную характеристическую функ-
функцию, и выразите соответствующий случайный вектор через X, Y, V.
Оказание. Рассмотрите трехмерную характеристическую функцию.
Ответ: (U + X, U + Y).

ГЛАВА XVI1)
АСИМПТОТИЧЕСКИЕ РАЗЛОЖЕНИЯ,
СВЯЗАННЫЕ С ЦЕНТРАЛЬНОЙ
ПРЕДЕЛЬНОЙ ТЕОРЕМОЙ
Вопросы, рассматриваемые в настоящей главе, технически
довольно трудны. Они группируются вокруг двух проблем.
Одна — вывод оценок для точности центральной предельной
теоремы и улучшение этих результатов за счет построения
асимптотических разложений. Другая проблема — уточнение
центральной предельной теоремы для далеких от математиче-
математического ожидания значений аргумента, для которых классические
формулировки мало содержательны.
Чтобы облегчить подход к важным теоремам и объяснить
основные идеи, мы выделяем сначала случай одинаково рас-
распределенных слагаемых (§ 1—6). Методы, развитые в § 6 для
больших отклонений, не опираются на содержание первых пяти
параграфов, в которых излагается теория, существенно исполь-
использующая два приема: прямую оценку абсолютно сходящихся
интегралов Фурье и сглаживание. Мы различаем две главные
идеи, рассматривая сначала асимптотическое разложение для
плотностей, хотя это и приводит к некоторым повторениям и
уменьшает изящество построений.
Кульминационный пункт главы — теорема Берри — Эссеена
(§ 5). Метод сглаживания, описанный в § 3, был впервые ис-
использован Берри в доказательстве этой теоремы. Сейчас упо-
употребляется бесчисленное множество приемов сглаживания. За-
Заметим, к сожалению, что долгая и примечательная история
предмета этой главы привела к печальному обстоятельству:
случайности исторического развития все еще влияют на под-
подход к отдельным вопросам. Возникшее в результате разнооб-
разнообразие средств и избыток созданных ad hoc методов привели
к тому, что эта область прославилась своей хаотичностью.
Систематическое использование метода Берри и современ-
современных неравенств позволяет, к счастью, придать всей теории уди-
удивительную цельность и простоту2).
!) Эта глава посвящена специальным вопросам и может быть опущена
при первом чтении.
2) Наилучшим введением в асимптотические разложения может служить
книга Г. Крамера A962). В ней содержатся теоремы § 2 и 4 для одинаково
распределенных слагаемых и несколько более сильный вариант теорем 7.2 и 7.3.
Материал § 1—5 изложен и в монографии Гнеденко и Колмогорова A954),

608 Гл. XVI. Асимптотические разложения
§ 1. Обозначения
Через F мы будем обозначать всюду (кроме последнего па-
параграфа, где рассматривается случай неодинаково распределен-
распределенных величин) одномерное распределение вероятностей с харак-
характеристической функцией ср. Момент порядка k (если он суще-
существует) будет обозначаться цп',
ц*= J x*F{dx). A.1)
— со
Предположим, что |Xi = 0. Положим, как обычно, ц,2 = о2. Распре-
Распределение, полученное после нормировки n-кратной свертки F,
обозначим /•"„, т. е.
Fu{x) = F"*{xoVTi). A.2)
Плотность Fn (если она существует) обозначим fn.
За исключением § 6 (посвященного большим отклонениям),
нам придется иметь дело с функциями вида
u(x) = ±- f e-'t*v(Qd?, A.3)
— OG
к которым мы постоянно будем применять очевидную оценку
+ ОО
Как и, так и v будут интегрируемыми. Если и — плотность, то
v будет соответствующей характеристической функцией. Для
упрощения формулировок примем следующее
Соглашение. Функция v в A.3) будет называться пре-
преобразованием Фурье для и, а правая часть неравенства A.4) —
нормой Фурье для и.
Как всегда, нормальная плотность обозначается
^'^\ A.5)
Ее преобразование Фурье — характеристическая функция
^(-1/2) ?2, Повторным дифференцированием получаем тождество

§ 2. Асимптотические разложения для плотностей 609
верное для k—\, 2 Очевидно, что левая часть имеет вид
° у, (х\ ¦—¦( 11*/-/ (г\л\(у\ И 71
dx"
где Hk — многочлен степени k. Многочлены Hh называют мно-
многочленами Эрмита ').
В частности,
f-f I y\ — y f-f ( v*^ ¦—¦ v*2 1 f-f ( уЛ v*3 Qy /1 Q\
i ij V / — ' ¦• ¦'2 \ / —' ^ 1 3 \ / — *^ ОЛ» ^i •"/
Характеристическое свойство многочленов Hh состоит, следова-
следовательно, в том, что преобразование Фурье для Hk(x)n (x) равно
§ 2. Асимптотические разложения для плотностей
Центральную предельную теорему для плотностей (теоре-
(теорема 5.2 из гл. XV) можно значительно усилить, если допустить
конечность моментов высшего порядка. Важную роль играет
предположение 2) о том, что
+ 00
J |<p(C)|vrf?<oo B.1)
— со
при некотором vJ> 1. Доказательство, данное в гл. XV, 5, мож-
можно суммировать, грубо говоря, следующим образом: разность
un=fn —п имеет преобразование Фурье
va (С) = ф» /-?=) - ^(-1/2) V. B.2)
Интеграл от \vn(t,) | стремится к нулю в силу двух причин. При
сколь угодно малом, но фиксированном б интеграл по области
|С| >6ауг« в силу B.1) сходится к нулю. На интервале
|?|<6а]Ля подинтегральное выражение \vn\ мало из-за пове-
поведения ф вблизи нуля. Последнее связано лишь с тем, что [ii = O
и |i2 = о2. Если существуют моменты более высокого порядка,
то мы можем использовать большее число членов разложения
функции ф по формуле Тейлора и можем получить таким пу-
путем более точную информацию относительно скорости сходи-
сходимости /m->n- К сожалению, все вычисления заметно услож-
усложняются, если взять более чем три члена асимптотического
') Иногда многочленами Чебышева — Эрмита. Единой терминологии нет.
Встречаются различные нормирующие множители, а вместо е<~'/2)*г берут е~х2
2) В связи с этим условием см. примеры Eа, б) из гл, XV и задачу 17.
гл. XI, 9.

610
Гл. XVI. Асимптотические разложения
разложения. Поэтому мы рассмотрим отдельно простейший и
наиболее важный частный случай.
Теорема 1. Допустим, что момент [i3 существует и что для
некоторого v ^ 1 функция \cp\v интегрируема. Тогда при n^v
существует плотность f„ и при п —* оо
U (х) - п
B.3)
равномерно относительно х.
Доказательство. По теореме обращения для интегра-
интегралов Фурье [гл. XV, C.3)] при п ^ v левая часть равенства B.3)
определена и имеет норму Фурье
-1/2) t2
B.4)
Фиксируем произвольно 6>0. Так как фи — характеристическая
функция распределения, имеющего плотность, то jcp(?)|<l при
?=^=0 и ф(^)->0 при ?->-оо (лемма 4 из гл. XV, 1, и лемма 3 из
гл. XV, 4). Поэтому существует <?6<1 с тем свойством, что
|<р(?)|<<7в Для \ХХ>Ь. Часть интеграла B.4), взятая по об-
области |?|>б0]/я, меньше
B.5)
I Б | > бо/л
и, таким образом, стремится к нулю быстрее любой степени
числа 1/п.
Полагая для краткости
1о^, B.6)
имеем
/л
Оценим подинтегральное выражение, используя неравен-
неравенство
B.7)
1вен-
a-fi\ + ^)e\ B.8)
где у^тах(|а|, |р|) (справедливость этого неравенства для
любых действительных или комплексных аир очевидным об-

§ 2. Асимптотические разложения для плотностей 611
разом доказывается заменой еа и е^ их разложениями в сте-
степенной ряд).
При данном е>0 можно выбрать 6>0 таким образом, что
при
B.9)
В самом деле, благодаря существованию |л3 найдется окрест-
окрестность нуля, в которой ф трижды дифференцируема и B.9) ока-
оказывается лишь формой записи разложения по формуле Тей-
Тейлора.
Неравенство B.8) показывает, что при нашем выборе б под-
интегральное выражение в B.7) меньше, чем
BЛ1>
В силу произвольности е имеем Nn = o(\f]/n), так что B.3),
действительно, верно (см. задачу 3). !>
Точно такие же рассуждения приводят к асимптотическим
разложениям при наличии большего числа моментов. Однако
их члены нельзя выразить простыми явными формулами. По-
Поэтому мы отложим пока точное описание полиномов, входящих.
в эти разложения.
Теорема 2. Предположим, что моменты |^з, ¦ ¦ ¦, \ir суще-
существуют и что для некоторого v ^ 1 функция |cp|v интегрируема.
Тогда при п ^ v существует fn и при п-+<х>
f. (X) — П (X)— П (X) 2 й(-1/2)* + 1рй (Л) = 0 (ft(-l/2)r+l) B.12)
равномерно относительно х.
Здесь Ph — многочлен с действительными коэффициентами, за-
зависящими только от hi, ..., ць (ко не от п и г или других ха-
характеристик распределения F).
Первые два члена имеют вид
Рз = -^?л3, P4 = j^rM3-\ р^—М4, B.13)
где Hh — полиномы Эрмита, определенные в A.7). Разложение
B.12) называется (точнее, называлось) разложением Эджвор-
та для fn-

612 Гл. XVI. Асимптотические разложения
Доказательство. Ниже мы используем обозначение
B.6). Если р— многочлен с действительными коэффициентами
Рь Рг, ¦ • •, то
fn~n-ti^PkHk B.14)
имеет норму Фурье
+ 0О
= 2^ /
B.15)
Теорема будет доказана построением подходящих полиномов
р (чтобы не делать обозначения громоздкими, мы не будем
писать индекс п).
Начнем с оценки подинтегрального выражения. Путь будет
таким же, как и в предыдущем доказательстве. Разница лишь
в том, что для аппроксимации ij) будут взяты члены формулы
Тейлора со степенями аргумента до r-й включительно. Это
аппроксимирующее выражение мы обозначим ?2i|v(?). Таким об-
образом, г|)г — многочлен степени г — 2 с i|)r@)=0. Он однознач-
однозначно определяется требованием
, ?-0.
Положим теперь
Тогда p(i?) будет многочленом с действительными коэффи-
коэффициентами, зависящими от п. С другой стороны, при фиксиро-
фиксированном ? р будет многочленом относительно 1/\^га, коэффи-
коэффициенты которого суть полиномы относительно ?, |л2, .... цг (их
можно явно вычислить). Как и в предыдущем доказательстве,
очевидно, что часть интеграла B.15), взятая по области |?|>
>8eYn> стремится к нулю быстрее любой степени числа 1/«„
Рассмотрим поэтомуподинтегральное выражение при | ? | < 6а\Ад.
Чтобы оценить его, мы воспользуемся [вместо B.8)] неравен-
неравенством
(Т7ту) BЛ7)
верным при |а|<у и |fM<Y-

§ 3. Сглаживание 613
Подберем б по аналогии с B.9) таким образом, чтобы при
l?| <6 выполнялось неравенство
|ф(С)-С2Фг(С)|<еаг|С|г. B.18)
Мы можем предположить также (учитывая, что коэффициент
при S в ij)r равен г'3[Хз/6), что при |?|<6 и 1 \\
Наконец, мы потребуем, чтобы при |?| <б
|ф(С)|<|а?Р. B.20)
Тогда при |?|<6аУ"л подинтегральное выражение в B.15)
меньше, чем
В силу произвольности е имеем Nn=^O(n 2 ).
Теперь мы должны определить действительные коэффициен-
коэффициенты р^ зависящие от п, такие, чтобы левая часть B.12) была
о(/г(~1/2)г+') равномерно по х. При фиксированном ? правая часть
B.16) является многочленом относительно lJYn Упорядочивая
ее по возрастающим степеням 1/"|/"/г, мы получаем разложение
типа B.12), с той лишь особенностью, что суммирование мо-
может идти и по индексам k, большим г. Но слагаемые, содержа-
содержащие степени l/nh с k>1/2r—1, можно отбросить, и мы прихо-
приходим к желаемому разложению B.12).
Таким образом, явное вычисление полиномов Р& можно про-
провести следующим образом. Полином г[)г степени г—2 однознач-
однозначно определяется из формулы Тейлора
In ф (С) = С2 ( — 4- + Ч>2 (Ы + о (| С Г), B.22)
справедливой в окрестности нуля. Расположим слагаемые в
B.16) соответственно степеням ^IYn Обозначим коэффициент
при /г(/2)*+1 через <7й((Х)- Тогда Ph — такой многочлен, что пре-
преобразование Фурье для n(x)Ph(x) равно e
§ 3. Сглаживание
Если выполняется условие B.1), то, интегрируя асимптоти-
асимптотическое разложение для плотностей fn, получаем аналогичное
асимптотическое разложение для распределений Fn. Чтобы спра-
справиться с более общим случаем, мы должны будем идти обход-

614
Гл. XVI. Асимптотические разложения
ным путем. Для оценки расхождения Fn — Ш или какой-либо
аналогичной функции А мы сначала применяем основанные на
анализе преобразований Фурье методы предыдущего параграфа
к некоторой аппроксимации функции А (обозначим ее ГА). За-
Затем мы прямыми методами оцениваем разность ГЛ— А. В этом
параграфе мы дадим основные способы такой оценки.
Пусть Vt — распределение вероятностей с плотностью
11 — cos Тх
- ^
и характеристической функцией юг- Для
имеем
C.1)
C-2)
но эта явная форма не играет существенной роли. Важно лишь
то, что о)т(?) обращается в нуль при |?|>7\ Последнее обстоя-
обстоятельство снимает все вопросы о сходимости.
Нас будут интересовать верхние границы для \Fn— Ш\
или, более общим образом, для функций вида An = Fn — Gn. Эти
функции мы будем аппроксимировать их свертками с VT. По-
Положим вообще TA=Vr*A. Другими словами, для данной функ-
функции А мы определяем
+ С
x)vr(x)dx.
C.3)
Если А ограничена и непрерывна, то ТД —*Д при Т—* оо. Наша
основная задача состоит в том, чтобы оценить максимум функ-
функции |А| через максимум функции |ТА|.
Лемма 1. Пусть F — распределение вероятностей и G
G) G()l G() |^
у р
такая функция, что G(—оо)=0, G(oo)=l и \ G'(x)
Положим
и
Тогда
т) = sup | А (х) |, % = sup]rA(x)|.
оо.
C.4)
C.5)
Доказательство. Функция А обращается в нуль на
бесконечности и пределы справа и слева (А(хо + ) и А(л;0—))
существуют в каждой точке. Отсюда ясно видно, что найдется
такая точка х0, что или |Д(дго + ) | = г\ или \А(х0—) | = г\. Допу-
Допустим, что А(хо)=ц. Так как F не убывает, а модуль производной

§ 3. Сглаживание 615
от G не превосходит т, то
ii — ms для s>0. C.7)
(o
Полагая
А=2^, г = -ко + Л, x = h — s, C.8)
имеем
А(?— л;) > у + тл:. для|х|<Л C.9)
Оценим интеграл C.3), используя C.9) и неравенство
A(t — х)^-—\\ при \x\>h. Интеграл от линейного члена обра-
обращается в нуль в силу симметрии. Далее плотность vT приписы-
приписывает области \х\ >h массу ^.4/(я77г). Поэтому
Вспоминая определение h C.8), видим, что из C.10) вытекает
C.6). Доказательство закончено. >
В наших приложениях G будет иметь производную g, совпа-
совпадающую или с нормальной плотностью и или с начальным от*
резком асимптотического разложения, указанного в предыду-
предыдущем параграфе. Во всяком случае преобразование Фурье у, со-
соответствующее g, имеет две непрерывные производные и -у(О) = 1,
v'@) =0. Очевидно, что преобразование Фурье свертки Tg=VT*g
равно у(иТ. Аналогично по теореме обращения преобразований
Фурье (теорема 3 из гл. XV, 3) произведение срыт является пре-
преобразованием Фурье плотности Tf распределения Vt*F- Иными
словами,
г
Tf {х)-Tg{x) = ^ / *-/с*[Ф@-Y(С)]cor (Q04. C.11)
-Г
Покажем, что это эквивалентно
г
ф(С!^(е)C-12)
Прежде всего, так как ф@)=у@) = 1 и ф'@) =у'@) =0..
дробь под знаком интеграла является непрерывной функцией,
обращающейся в нуль, так что вопрос о сходимости не возни-
возникает. По лемме Римана — Лебега (лемма 4 из гл. XV, 4) пра-
правая часть стремится к нулю при \х\—»оо. Формальное диффе-
дифференцирование равенства C.12) приводит к C.11), так что пра-
правая и левая части равенства C.12) могут отличаться только на
постоянную. Так как оба выражения обращаются в нуль на
бесконечности, они должны быть тождественными.

616 Гл. XVI. Асимптотические разложения
Комбинируя верхнюю границу для Tir, содержащуюся
C.12), с C.6), получаем верхнюю границу для ц, а именно
Так как это неравенство служит основой оценок в последующих
двух параграфах, суммируем условия его применимости.
Лемма 2. Пусть F — распределение вероятностей с нуле-
нулевым математическим ожиданием и характеристической функ-
функцией ср. Предположим, что F — G обращается в нуль на беско-
бесконечности и что G имеет производную g с \g\*Cm. Допустим,
что у — преобразование Фурье для g— дважды дифференци-
дифференцируемо и y @) = 1, ¦у'(О) =0. Тогда для всех х и Т^-0 выполняется
C.13).
Мы дадим два независимых друг от друга применения этого
неравенства. В следующем параграфе мы выведем интеграль-
интегральный вариант теорем § 2. В § 5 мы выведем знаменитое неравен-
неравенство Берри — Эссеена для разности Fn — Щ.
§ 4. Асимптотические разложения для распределений
Формальный аналог теоремы 2.1, получаемый интегрирова-
интегрированием равенства B.3), утверждал бы, что
(^) D.1)
Однако если F — решетчатое распределение, то скачки рас-
распределений Fr, имеют порядок 1/]/"/& [см. E.12) в гл. XV], так
что D.1) не может быть верным для решетчатых распределений.
Мы покажем, что D.1) верно для всех других распределений и
что ценой небольших видоизменений можно охватить и решет-
решетчатый случай. Для удобства мы эти два случая разделяем.
Теорема 1. Если F — нерешетчатое распределение и если
(яз существует, то D.1) выполняется равномерно относительно х.
Доказательство. Положим
^x*-\)*(x). D.2)
Тогда G удовлетворяет условиям предшествующей леммы с
1 D.3)

§ 4. Асимптотические разложения для распределений 617
Мы применим теперь неравенство C.13) с T = aYn> где п0'
стоянная а выбирается столь большой, что 241 G'(x) j <ea для
всех х.
Тогда
-aVn
D.4)
Числитель совпадает с подинтегральным выражением в B.4).
Поэтому мы можем без изменений повторить доказательство
теоремы 2.1. Так как распределение F предполагается нерешет-
нерешетчатым, то в соответствии с леммой 4 из гл. XV, 1, максимум
|<р(?) | при 6 ^С \Z,\ ^ ист строго меньше единицы. Как и в § 2,
отсюда выводим, что интеграл по области |?|>6аУ« стре-
стремится к нулю быстрее, чем любая степень числа 1/п. При
|?|<6аУ"/г мы можем использовать оценку B.11) для числи-
числителя подинтегрального выражения в D.4). Таким образом,
правая часть в D.4) меньше 1000е/Ул + оA//г). Отсюда вы-
вытекает утверждение теоремы. Ь-
Это рассуждение неприменимо к решетчатым распределе-
распределениям, потому что их характеристические функции периодичны
(и, стало быть, интеграл по области |?|>6а"Ул- не стремится
к нулю). Но утверждения теоремы можно спасти естественным
изменением формулировки, учитывающим решетчатый характер
распределения. Функция распределения F является ступенча-
ступенчатой функцией, но мы будем аппроксимировать ее непрерывной
функцией распределения F с полигональным графиком.
Пусть F сосредоточено на решетке точек b, b±h, b±2h, ...,
и пусть h является его шагом. Свертка распределения F с рас-
распределением, равномерным на интервале —h/2<x<hj2, опреде-
определяется формулой
Л/2
F#(x)=4 J F{x-y)dy. D.5)
-Л/2
График функции распределения F^ представляет собой поли-
полигон с вершинами в точках b-^-in^-tAh. В этих точках
/¦# (х) =F(x), в то время как в точках решетки
-)). D.6)
Мы будем называть F^ полигональным приближением к F.

618
Гл. XVI. Асимптотические разложения
Теорема 21). Для решетчатых распределений асимптоти-
асимптотическая формула D.1) остается верной, если заменить Fn ее по-
полигональным приближением.
Это означает, в частности, что для точек решетки форму-
формула D.1) выполняется, если Fn заменить средним арифметиче-
арифметическим (l/2)[Fn(x)+Fn(x-)].
Доказательство. Полигональное приближение F$ к Fn
является сверткой распределения Fn с распределением, равно-
равномерным на—А/2а]/« < л; < А/2ст У д ¦ Обозначим через G*
свертку распределения G с тем же самым равномерным рас-
распределением. В D.5) интеграл от линейного члена ряда Тей-
Тейлора исчезает. Отсюда видно, что если \F"(x) | <m, то
j/7* (х) —F(x) \<mh2. По этой причине разность G# — G рав-
равномерно по х имеет порядок O(\jn). Следовательно, достаточно
доказать, что F% — О# = о(lIVп). Но для этой разности не-
неравенство D.4) принимает вид
*(*)-О* (л
аУп
— а Уп
sin-
2a 1
2а
D.7)
(новый множитель под интегралом — характеристическая функ-
функция равномерного распределения). Подинтегральное выраже-
выражение здесь не больше, чем в D.4). Остается лишь показать, что
при фиксированном б часть интеграла в D.7), взятая по обла-
области |?|>б0]//г, равна o(l/]//z). На самом деле она имеет
порядок ОA/п).
Для доказательства достаточно проверить, что
а/а
D.8)
По лемме 4 из гл. XV, 1, под интегралом стоит четная функ-
функция с периодом 2п/п и потому D.8) будет верно, если верно,
') Несмотря на различие в форме, эта теорема эквивалентна теореме
Эссеена, в которой к D.1) добавляется периодическая функция. Доказатель-
Доказательство этой теоремы использует теорию рядов Фурье и сопровождается длин-
длинными вычислениями (см., например, книгу Гнеденко и Колмогорова A954)).
Внешне более изящно было бы скомбинировать формулировки теоремы 1.2 и
их доказательства, допуская сглаживание произвольным равномерным рас-
распределением.

§ 4. Асимптотические разложения для распределений 619
ЧТО
я/Л
Г |фл
Последнее соотношение справедливо, так как в некоторой
окрестности нуля |ф(у) | < е(-~1^4'>а2у\ а за ее пределами подин-
тегральное выражение убывает быстрее любой степени числа
1/л. >
Перейдем теперь к асимптотическим разложениям более вы-
высокого порядка. Доказательство соотношения D.1) отличается
от доказательства теоремы 2.1 только применением сглажива-
сглаживания, которое делает пределы интегрирования в D.4) конечными.
Точно такое же сглаживание можно применить и к разложе-
разложениям, указанным в теореме 2.2, но при этом, очевидно, чтобы
получился остаток О (n(-'^r+1), мы должны взять Т^апЧ^-1.
Здесь возникает следующая трудность. Доказательство соотно-
соотношения D.1) использует тот факт, что максимум функции
ф(С/стУ"я) | на интервале 6а)/я <|^|<71 меньше единицы.
Для нерешетчатых распределений это всегда верно при Т =
= а У^/г, но может быть неверно при Т, растущем как более
высокая степень числа п. Поэтому для вывода асимптотических
разложений более высокого порядка мы вынуждены предполо-
предположить, что
limsup|<p(t)| < 1; D.9)
IEl-к»
для нерешетчатых распределений отсюда следует, что макси-
максимум q6 функции |<р(?) I Для l?l>6 меньше 1. При дополнитель-
дополнительном условии D.9) метод, детально объясненный для D.1), при-
применим без всяких изменений к разложениям теоремы 2.2, что
приводит к следующей теореме.
Теорема 3. Если существуют моменты ja?, ... , цг и выпол-
выполняется D.9), то при п —>• оо
Fn (х) — Ж(х)-п (х) J] «(-1/2)^ lRk (х) = о {п^т г+1) D.10)
равномерно по х. Здесь Rh — многочлен, зависящий только от
Hi, . .., \хг, но не от п или г (или других характеристик распре-
распределения F).
Разложение D.10)—это лишь интегральный вариант
формулы B.12), и полиномы Rk связаны с /\ из B.12)

620 Гл. XVI. Асимптотические разложения
соотношением
Следовательно, нет нужды повторять их конструкцию. Заме-
Заметим, что D.9) выполняется для любого несингулярного распре-
распределения F.
Формула D.10) называется разложением Эджворта для F. Если F имеет
конечные моменты всех порядков, возникает искушение перейти к пределу
при г->оо. Однако соответствующий бесконечный ряд не сходится ни при
каком п (Г. Крамер показал, что он сходится при любом п тогда и только
тогда, когда функция g(]'4'x2 интегрируема относительно F). Формальное
разложение Эджворта не следует смешивать с разложением по полиномам
Эрмита
F (х) - SR (х) = 2 ckHk (х) в<-'Я *", D.12)
ft-i
которое сходится при условии, что F имеет конечное математическое ожида-
ожидание, но не имеет никакого вероятностного смысла. Например, даже если
возможно разложить каждую функцшо Fn в ряд типа D.12), то тем не ме-
менее коэффициенты не дают нам никакой информации относительно скорости
сходимости Fn~^- 9k
§ 5. Теорема Берри — Эссеена
Приводимая ниже важная теорема была доказана (различ-
(различными путями) А. С. Берри A941) и К. Г. Эссееном A942).
Теорема 1. Если F имеет нулевое математическое ожи-
ожидание и
р= J \xfF[dx] <оо, E.1)
—со
то при всех х и п
\^я(х)-Щх)\<^ .-$=. E.2)
Поразительно здесь то, что верхняя граница зависит только
от отношения р/а3 и не зависит от каких-либо других характе-
характеристик распределения. Теорема 4.1 дает лучший асимптотиче-
асимптотический результат, но скорость сходимости зависит от данного
распределения F более сложным образом. Эти теоремы подчер-
подчеркивают различные аспекты одной и той же ситуации, а их до-
доказательства различаются лишь деталями. Ввиду важности
последней теоремы мы повторим прежнее рассуждение, опи-
опираясь единственно на методы § 3. Множитель 3iU в E.2) можно

§ 5. Теорема Берри — Эссеена 621
уменьшить, но мы не будем пытаться получить лучшие оценки
(или истинную границу С этого множителя) ').
Доказательство.2). При G= ЭТ основное неравенство
C.13) принимает форму
(
E.3)
В интервале, окружающем нуль, в котором 11 — q>(?) | <1, имеем
со
-1пФ@-уО^ = A-ф(9-4-а2?2) + 2тA-ф@)Й- E-4)
*-2
Из неравенства между моментами следует, что о6<р2, откуда
|°2?2<т для 1?1<т- E-5>
Первый член в правой части равенства E.4) не превосходит
VeplSl3 [см. формулу D.1) из гл. XV]. Сравнивая ряд E.4)
с геометрической прогрессией со знаменателем '/г» мы получаем
при |?|<о2/р
|2|<|р|СР+4^4<4р1^13- E-6)
Пусть Т = (o5lp)IYn ¦ Используя E.6) и неравенство
]\е* — 1 [ ^ l/je1", видим, что подинтегральное выражение в E.3)
не превосходит
Интеграл ??e(~l/1W равен бУ2я. Поэтому из E.3) вытекает
что доказывает E.2). >
') Берри утверждал, что С'^1,88, но его вычисления содержали ошибку.
Эссеен показал, что С<7,59. Неопубликованные вычисления дают неравен-
неравенство С<2,9 (Эссеен, 1956) и С<2,05 (Д. Л. Воллес, 1958). См. задачу 6.
[В. М. Золотарев показал, что C<U,9051 A966). — Прим. перев.].
2) Лучшее и более простое доказательство намечено в задаче 5. Преиму-
Преимущество настоящего доказательства состоит в том, что оно применимо без из-
изменений к случаю разнораспределенных слагаемых (см. теорему 7.1),

622 Гл. XVI. Асимптотические разложения
§ 6. Большие отклонения
При очень больших х как Fn(x), так и Щ (х) становятся
близкими к единице и наши приближенные формулы стано-
становятся бесполезными. В действительности нам нужна относи-
относительная ошибка аппроксимации 1 — F п величиной 1 — Ш. Ча-
Часто желательно бывает использовать соотношение
1 — Fn (¦*) . /а 1\
когда и х и п стремятся к бесконечности. Это соотношение не
может быть верно всегда. Так, для симметричного биномиаль-
биномиального распределения числитель обращается в нуль для всех
х > Уп ¦ Мы покажем, однако, что F.1) верно, если х ме-
меняется вместе с п таким способом, что хп'1'6 —*0. При этом пред-
предположим, что интеграл
= J **F{dx) F.2)
конечен при всех ? из некоторого интервала |?j<?0- [Это равно-
равносильно тому, что характеристическая функция cp(?)=f(t(;) ана-
литична в некоторой окрестности нуля; но мы предпочитаем
иметь дело с вещественной функцией f.]
Теорема 1 !). Если интеграл F.2) сходится при |?|<?о
и х меняется вместе с п так, что x = o(nli6), то верно F.1).
Заменяя х на —х, мы получаем двойственную теорему для
левого конца. Теорема представляется достаточно общей, чтобы
охватить все «практически интересные ситуации», но метод до-
доказательства приводит к значительно более сильным резуль-
результатам.
Для доказательства перейдем от функции f к ее логарифму.
Равенство
определяет функцию, аналитическую в некоторой окрестности
нуля. Коэффициент ф& зависит только от уц, . . ., [ik и носит на-
название семиинварианта порядка k распределения F. В общем
случае г|31 = ць ф2 = о2 Мы предполагаем рц = 0, и потому
') Обобщение на случай разнораспределенных слагаемых дано в тео-
теореме 7.4.

§ 6. Большие отклонения 623
Доказательство основано на применении сопряженных рас-
распределений '). Распределение V, сопряженное к F, задается ра-
равенством
V{dx}=e-^s)esxF[dx], F.4)
где параметр s изменяется в интервале сходимости функции ф.
Функция
1й1 F-5)
играет по отношению к V ту же роль, что и f по отношению
к исходному распределению F. В частности, дифференцируя
F.5), видим, что V имеет математическое ожидание ty'(s) и
дисперсию i|/'(s).
Идею доказательства можно объяснить следующим обра-
образом. Как легко видеть или из F.4), или из F.5), распределения
Fn* и Vn* также связаны соотношением F.4). При этом нор-
нормирующая константа e-W») заменяется на e~n^s\ Распределение
Vn* имеет математическое ожидание m|/(s). Поэтому значение
Fn* (Щ'{s)) — Fn{\f nty' (s)/o) может быть хорошо аппроксими-
аппроксимировано с помощью центральной предельной теоремы. Выбирая
s таким образом, чтобы
IV(s) = -?=-, F.6)
а у п
мы придем к F.1) и другим аналогичным утверждениям. Идея
доказательства проста, но вычисления затемняют ее.
Доказательство теоремы 1. По определению
со
1— Fn* (n^f(s)) = en^^ J e-*yV* {dy}. F.7)
лф'(е)
Разобьем доказательство на две части.
а) Сначала мы вычислим величину As, получаемую заменой
Vn* нормальным распределением с тем же математическим
ожиданием nty'(s) и с той же самой дисперсией mp"(s). Стан-
Стандартная подстановка у = nty'(s)-Jrt Yn$"(s) дает
F.8)
') Они уже были использованы в теории восстановления (гл. XI, 6) и при
изучении случайных блужданий (гл. XII, 4).

624 Гл. XVI. Асимптотические разложения
Дополняя показатель под интегралом до полного квадрата,
получаем
As = е" I* W-W W ¦ р (s ]/m|>" (s)), F.9)
где
\—m(t)]. F.10)
Из 1, гл. VII, A.8) мы знаем, что при t>0
1--1<-|/2^"р@<|. F.11)
Отсюда выводим, дифференцируя F.10), что
0< — /2яр'@<-^-. F.12)
Перейдем теперь к выбору параметра s. При достаточно
малых значениях правой части уравнение F.6) имеет един-
единственный корень s, который является аналитической функцией
от xlYn , такой, кто
^ ^- FЛЗ)
а у п у п
Рассмотрим As как аналитическую функцию от х. Вблизи нуля
мы имеем
5ф'E)] ftO2S2+
и, следовательно,
As = e(-vVp(x)[l+O(-^L-^. F.14)
Здесь _
x = sYn$"(s). F.15)
Обычные вычисления показывают, что разложение разности
х — х по степеням s начинается с кубического члена. Поэтому
в силу F.12) и F.11)
) = 0(?) = 0(?р(х)). F.16)
Отсюда и из F.14) получаем
[(^)] FЛ7)
б) Если s — аналитическая функция от х, определенная ра-
равенством F.6), то значение 1—^„(д;) дается формулой F.7).
Мы вычислили его приближенное значение заменой распреде-
распределения Vn* соответствующим нормальным распределением, ска-
скажем G3. Для s, близких к нулю, первые три момента распре-

§ 6. Большие отклонения 625
деления V мало отличаются от соответствующих моментов рас-
распределения F, и теорема Берри — Эссеена гарантирует суще-
существование такой постоянной С, что \V"*(y) — Qs{y)\<^CJYn
для всех |s|<s0. Интегрирование равенства F.7) по частям
показывает, что ошибка от подстановки Gs вместо Vn* не пре-
превосходит
2С—Le^M-WW — Ol-j^A.). F.18)
Vn \Уп I
Таким образом, мы не только доказали теорему, но и уста-
установили, что если х-*сх> и п—>оо, то левая часть в F.1) равна
О {хъ1У~п). >
Доказательство можно провести без труда и в случае, когда условие
х=о(ге''6) заменяется условием х—о(Уп).Ъ самом деле, рассуждения (б)
показывают, что относительная ошибка, возникающая при использовании
нормальной аппроксимации для Vn*, всегда имеет О(х/У~п). Нормальная
аппроксимация приводит всегда к выражению F.9). Оценка F.16) остается
верной. Мы получаем, следовательно, общую формулу
_ gj (JC)]. [i _|_ о {xlfnft. F.19)
Показатель можно представить степенным рядом относительно s, начинаю-
начинающимся с члена третьего порядка. Как и в F.6), мы определяем теперь ана-
аналитическую функцию переменного г равенством \|/(s)=crz. Затем мы опреде-
определяем степенной ряд X соотношением
г**, (г) = Ма + Я**4 + ••• = 1> С*)-s^W-t-j+'*(*>• F-20)
Тогда верна
Теорема 21). Если в теореме 1 условие х=о(п^) заменить условием
1<х=о(У~п), то
lFM U/S) (х\\
В частности, если л: возрастает быстрее, чем п^', но х=о(га ')> то Доста-
Достаточно учитывать только первый член степенного ряда X. Мы получаем
^е • %1 = -с^Г • F-22)
') Использование преобразования F.4) в связи с центральной предельной
теоремой принадлежит, по-видимому, Эсшеру A932). Теорема 2 доказана
Г. Крамером A938) и была затем распространена на разнораспределенные
слагаемые Феллером A943). Более новые результаты указаны в статьях
В. В. Петрова [УМН, 9 A954)] и В. Рихтера [Локальные теоремы для боль-
больших отклонений, Теория вероятностей и ее применения, 2 A957)]. Последний
рассматривает, правда, не функции распределения, а плотности. См. также
теорему 4 из § 7.

626 Гл. XVI. Асимптотические разложения
Для х=о(п^1') имеем
1 — Fn (х) ( х3 х2
._ехр Л,-^+Л2— > Я2 = —- -2. F.23)
и так далее. Теорема 2 интересна с общей точки зрения тем, что она вскры-
вскрывает роль нормального распределения как первого приближения. [Формула
<С;2\) позволяет также объяснить кажущиеся загадочными явления, связан-
связанные со случаями, где неприменим закон повторного логарифма.]
§ 7. Различно распределенные слагаемые
Теория, развитая в предыдущих параграфах, легко перено-
переносится на случай различно распределенных слагаемых. Без
сомнения, это верно, если не ставить целью отыскание наи-
наилучших условий. На самом деле все наши обозначения и рас-
рассуждения строились так, чтобы подготовить к решению этой
задачи и потому не всегда были простейшими из возможных.
С этого момента мы отказываемся от обозначений, приня-
принятых в § 1. Вместо этого мы рассматриваем последовательность
взаимно независимых случайных величин X/, с распределения-
распределениями Uh. Мы предполагаем, что
Е(Х*) = 0, E(xl) = e\, G.1)
4 = о?+.•¦+<& sn->co. G.2)
Чтобы облегчить сравнения, мы опять обозначим через Fn рас-
распределение нормированной суммы (Х4+ . . . +Xn)/sn. Таким об-
образом, Fn имеет тот же смысл, что и прежде, но аналитически
определяется иначе:
Fn{x) = U1*...*Ua{snx). G.3)
Обозначим через юл и ф„ характеристические функции распре-
распределений Uh и Fn соответственно. Тогда
(?) G-4)
Эта функция играет роль фв(?/аУ"л). Части доказательства,
опирающиеся на свойства интегралов Фурье, сохраняются без
изменений. В вычислениях же с логарифмами мы должны быть
уверены в том, что найдется единый интервал, где они опреде-
определены. Чтобы гарантировать это, достаточно ввести некоторые
условия «равномерности». Типичным примером служит

§ 7. Различно распределенные слагаемые 627
Теорема 1. (Берри.) Если при ?=1,2,...
4Е(|Х4|з<Я,, G.5)
то при всех п и х
I/=•„(*)-ЭД|<х-у; G-6)
(см. лучший результат в задаче 8).
Доказательство. Применим неравенство E.3) с Г =
= sn/X [и, конечно, с фл(С|а)/'я), замененной на ф„(?)].Из нера-
неравенства G.5) вытекает, что внутри промежутка интегрирования
каждая отдельная компонента cofc(?/sn) удовлетворяет неравен-
неравенствам типа E.5), ранее имевшим место для ф(С/сг|/"и). Поэтому
никакие новые вычисления не требуются. !>
Рассмотрим теперь разложение D.1). Множитель (х3/(а3|/«)
соответствует коэффициенту при ?? в разложении Тейлора функ-
функции я In ф (?/<? }^я )• Последняя величина заменяется теперь сум-
суммой логарифмов, поэтому мы можем ожидать, что аналог раз-
разложения D.1) имеет вид
„(л) / Я \
Ря(х)-Щх)—!2-{1-х*)тх(х) = о(-г), G.7)
bsn \sn I
где
НГ=2:Е(ХЗ). G-8)
Мы докажем теперь справедливость равенства G.7) при ус-
условиях, позволяющих избежать новой аргументации. Эти усло-
условия легко ослабить. В частности, G.10) является «излишней
роскошью» (см. задачи 10—13).
Теорема 2. Пусть существуют такие константы С и q&<\,
что при всех k
Е(|Х|4)<С, G.9)
юй(С)|<?в. GЛ0)
Тогда G.7) выполнено, причем равномерно относительно х.
Доказательство. Напомним, что доказательство теоре-
теоремы 4.1 начиналось с неравенства D.4), которое в свою очередь
представляет собой специальный случай общего неравенства
C.13). Здесь применима такая же процедура. Только чтобы по-
получить остаточный член о {njs3n)' мы должны взять T — as'ljn

628 Гл. XVI. Асимптотические разложения
(вместо Т = а Yn )¦ Тогда отправной точкой становится неравен-
неравенство
3". G-П)
з /
-asnjn
где G обозначает левую часть равенства G.7). (Здесь е задано,
а а — константа, зависящая от е.)
Как следует из неравенств между моментами, условие G.9)
гарантирует равномерную ограниченность функций Е (Х/;) и
E(|Xft|3). Отсюда следует, что существует интервал —"л, г\, не
зависящий от п, в котором ы„(?) = log фп (Q является функцией
непрерывной вместе с четырьмя своими производными, причем
она сама и ее производные ограничены равномерно по п. В этой
обстановке мы можем без всяких изменений применить оценки
из доказательства теоремы 4.1 '). >
Вследствие G.9) величина njs\ по меньшей мере имеет по-
порядок l/sn, но может быть и значительно больше. Исчерпываю-
Исчерпывающее изучение разложений более высоких порядков усложняется
тем, что остаточный член складывается из нескольких компо-
компонент, относительная величина которых зависит от условий, на-
наложенных на случайные величины Х/42). Мы предположим, что
существуют две такие положительные постоянные с и С, что
при всех j
с<Е(|Х|*)<С k = \, ...,г+1. G.12)
Возможно, что это условие излишне ограничительно. Но его
большое преимущество в том, что при нем c2s\ < п < C2s2n. Та-
Таким образом, п и s\ имеют один и тот же порядок, и мы мо-
можем произвести асимптотическое разложение по возрастающим
степеням \/Yn- На самом деле условие G.12) дает возмож-
') В прежнем доказательстве использовали только три производных
функции ц=1одср, но оно было связано с выбором фиксированного интервала,
на котором |н (?)—а"'@)|<е. Условие G.9) делает возможным подобный
выбор для наших ип и можег быть ослаблено многими способами (см. за-
задачу 9).
2) Например, при надлежащих ограничениях погрешность формулы G.7)
имеет вид О (п s~ ) -J- О (ns^ )• Здесь главным может быть любое из сла-
слагаемых. В форме, предложенной Крамером, эти слагаемые соединены вместе,
давая выражение О1У~п s~6 А/ | ^1 Е (^|)) I, которое может быть хуже,
чем каждое из двух, указанных выше.

§ 7. Различно распределенные слагаемые 629
ность использовать D.10) без изменений. Действительно, как и
в предыдущем доказательстве, здесь можно определить в не-
некоторой окрестности нуля функцию
т2(Чг) GЛЗ)
k=i
Тогда
(^) G.14)
т. е. мы приходим к точно такой же форме, как и в случае рав-
равных компонент. Отсюда следует, что можно повторить вычис-
вычисления, которые привели к D.10), заменяя лишь lntp(?) на i|i#
(и полагая ст=1). Конечно, коэффициенты полиномов R/,. будут
зависеть теперь не только от моментов, но и от п. Точно так же
и в остаточный член войдет верхняя грань модуля г-й произ-
производной от фп в окрестности нуля. Однако благодаря требо-
требованию равномерности G.12) существует верхняя граница, не
зависящая от п. Так мы приходим к следующей теореме.
Теорема З1). Допустим, что выполняются условия G.10)
и G.12). Тогда имеет место разложение D.10) с остаточным
членом, равномерным относительно х.
Полиномы Rh зависят от моментов, входящих в G.12) и от
п, при этом как функции от п они ограничены. Условие G.10)
легко ослабить (см. задачу 12). Нет нужды говорить, что по-
подобным же образом можно получить асимптотические разло-
разложения для плотностей.
Предельная теорема 6.1 о вероятностях больших отклоне-
отклонений для последовательностей разнораспределенных случайных
величин принимает следующий вид.
Теорема 4. Предположим, что существует интервал —а, а,
на котором все характеристические функции coft аналитичны, и
что
Е(\Хп?)^Мо\. G.15)
где М не зависит от п.
Если х и п меняются так, что sn—>oo и х = о(Ysn)¦ т0
[с ошибкой O(x3/sn) равномерно no x при х>1].
') Это по существу теорема Крамера, но его условия были несколько-
более жесткими.

630 Гл. XVI. Асимптотические разложения
Доказательство. Мы можем повторить шаг за шагом
доказательство § 7. Доставим себе удовольствие отметить один
пункт, где требуются новые рассуждения. Определим на —а, а
аналитическую функцию (принимающую на этом интервале дей-
действительные значения)
ФЛ*) = 7Г 2 In «*(-&). G.17)
В вычислениях гр„ заменит i|j, a xsn заменит хв~\/ п . Основ-
Основное уравнение F.6) примет форму
К(*) = ~- G-18)
Мы рассмотрим х как независимую переменную, меняющуюся
вместе с п, как указано в теореме. Из разложения Тейлора для
tyn с тремя членами видно, что G.18) имеет единственный не-
непрерывный корень, такой, что s = \~O(s2). Дальнейшие вы-
числения, как в § 6. >
§ 8. Задачи
1. Покажите, что полиномы Эрмита ортогональны с весом п, т. е.
+ оо _ 1 2
1 Г Г 2"* , .„ , w Г 0 при тфп,
у 2я
1 и , \ и , \ j f 0 при т Ф п,
е Hm{x)Hn{x)dx = \ v ^ (8.1)
{ п\ при т~п.
Обратно, если Н„ — многочлен степени п с вещественными коэффициентами
и выполняется (8.1), то Я„ суть многочлены Эрмита, определенные фор-
формулой A.7).
2. Если / — симметричная плотность с дисперсией о2 и интегрируемой ха-
характеристической функцией ф, то у nfn* (х)-> l/у 2ла даже при отсутствии
третьего момента. Докажите это двумя путями — выведите из теоремы 2.1
и получите независимо, используя тот же метод.
3. Если |Х4< со, то доказательство теоремы 2.1 приводит к остаточному
члену О(\[п). То же верно по отношению к теореме 4.1.
4. Лемму 3.1. можно улучшить, если F имеет плотность, ограниченную
числом т. Обсудите детали.
5. Теорему Берри—Эссеена можно доказать с меньшими вычислениями,
если использовать в E.3) очевидное неравенство: при |а|<1с и |6|-^с имеем
|ая—Ь"\-^.п\а—Ь\сп~К Примените этот метод с Т — 2у под/р, что приводит к
снижению константы с 33/4 до 22/5.
6. Продолжение. Покажите, что оценку теоремы Берри—Эссеена можно
5 Р Ср
заменить на 7J"—л .г— ~i > где Ср — константа, зависящая только от р.

§ 8. Задачи 631
7. Формула F.7) влечет неравенство ')
8. Замените условие G.5) теоремы Берри (§ 7) условием Линдеберга
(используйте усечение).
9. Условие G.9) в теореме 7.2 можно заменить более слабым: существуют
такие постоянные а и М, что
для всех k. Аналогично можно усовершенствовать теорему 7.3 (см. сноску к
теореме 7.2).
10. Условие G.10) эквивалентно следующему: существуют такие положи-
положительные числа а и т)<1, что |@ft(?)[<r| для всех k и ?>а. [Используйте не-
неравенство (9.1) из гл. XV. Не нужно никаких вычислений.]
11. Условие предыдущей задачи выполнено, если распределения Uk имеют
плотности, которые в свою очередь имеют производные с I uk I < М.
12. Условие G.10) теоремы 7.2 можно заменить условием: при любом 6
|ш,(Е) ... <йл (?) I = о (-i) (»)
равномерно для ? ^ б>0.
13. Продолжение. Условие (* ) заведомо выполнено, если
п
1
log я
равномерно в некотором интервале
') Близкие неравенства получены Г. Черновым (С h е г п о f f H., Ann,
Mach. Statist, 23 A952), 493—502).

ГЛАВА XVII
БЕЗГРАНИЧНО ДЕЛИМЫЕ РАСПРЕДЕЛЕНИЯ
В этой главе представлено ядро ставшей теперь классиче-
классической области предельных теорем теории вероятностей. Эта об-
область подобна водохранилищу, образовавшемуся из бесчислен-
бесчисленных отдельных ручьев. Подготовительная работа проделана в
§ 1. Все дальнейшие результаты сравнительно просто вытекают
из основных теорем этого параграфа. Отсюда логичный путь —
прямо к схеме серий § 7. Однако мы снова выделим про-
простейшие ситуации для того, чтобы облегчить восприятие важ-
важных вопросов.
Основные результаты этой главы были получены другими
методами в гл. IX. Настоящее изложение не зависит от предше-
предшествующего и дает более детальную информацию.
Понятия безграничной делимости, устойчивости и т. д. чи-
читатель может найти в гл. VI.
§ 1. Теорема о сходимости
Пусть {Fn} — последовательность распределений вероятно-
вероятностей с характеристическими функциями ф„. Большая часть тео-
теории этой главы так или иначе связана с последовательностями
функций вида
1>п(?)=Сп[фп(?)-1-М, A.1)
где сп>0 и р„ — вещественная постоянная. Заметим, что
есп^п'х) является характеристической функцией обобщенного
распределения Пуассона [гл. XV, B.4)] и е*"—характеристиче-
е*"—характеристическая функция такого же распределения, но иначе центриро-
центрированного. Функции типа A.1) будем называть квазихарактери-
квазихарактеристическими.
В этом параграфе мы докажем важную теорему о сходимо-
сходимости, аналогичную теореме непрерывности для характеристиче-
характеристических функций (теорема 2, гл. XV, 3). Особенность нового слу-
случая в том, что, как правило, с„—><». Это необходимо приводит
к введению неограниченных мер. Однако дополнительных труд-
трудностей не возникает, так как мы будем иметь дело только с та-

§ 1. Теорема о сходимости 633
кими мерами М, что М{/}<оо для любого конечного интерва-
интервала/и что интегралы
-х+
М~(-х)= J j?M[dy} A.2)
сходятся при всех х>0. Типичными примерами могут служить
мера Лебега и более подходящая в данном случае мера x2F{dx},
порождаемая распределением вероятностей F. Функция М+ мо-
монотонна на 0, оо и обычно не ограничена в нуле. Она не опре-
определена на —оо, 0. Аналогично М~ существует только на —оо, 0.
Мы напомним определение 1 гл. VIII, 1: последовательность
мер Мп сходится к мере М тогда и только тогда, когда М„{1) —>
—* М{1} для любого ограниченного интервала непрерывности М.
Суть нижеследующей теоремы в том, что сходимость последо-
последовательности A.1) связывается с существованием такой меры Мг
что
cnx>Fn{dx)->M{dx). A.3)
Вне любой окрестности нуля A.3) можно переписать в виде
cnFn{dx}->±M{dx]. A.4)
Как и в случае собственной сходимости вероятностных распре-
распределений, мы будем требовать, чтобы «положительная масса не
исчезала на бесконечности». Аналитически это сводится к тре-
требованию, чтобы A.4) выполнялось и для неограниченных ин-
интервалов, т. е.
ca[l—Fa(x)]^M+(x), CaFn(-x)-+M-(-x), x>0 A.5)
во всех точках непрерывности. Так как М+(оо)=М~(—оо) =0г
то соотношение A.5) верно тогда и только тогда, когда левые
части равномерно малы при больших х. Это означает, что для
любого е>0 найдется т>0, такое, что
-x)]<e A.6)
при х>х и при всех п.
Определение. Назовем меру М канонической, если ин-
интеграл A.2) сходится. Мы скажем, что меры cnx2Fn{dx] соб-
собственно сходятся к М, если выполняются A.3) и A.5). [Усло~
$ие A.5) эквивалентно A.6).]

634 Гл. XVII. Безгранично делимые распределения
Примеры. а) Пусть Fn приписывает веса, равные '/г, ка-
каждой из двух точек ±l/|A«. Тогда nx2Fn{dx} = Fn{dx}, a Fn{dx}
сходится к вероятностной мере, сосредоточенной в нуле. Для
рп = 0 мы имеем i|)n(?) —*¦—Уг^2- Заметьте, что предельная функ-
функция не ограничена.
б) Обозначим через Fn распределение Коши с плотностью
—гт—гт ¦ Плотность меры nnx2Fn{dx\ сходится к 1, и
nnx2Fn{dx) собственно сходится к мере Лебега. Для |Зп = 0имеем
Рассмотрим теперь произвольную последовательность рас-
распределений вероятностей Fn с характеристическими функциями
фп. Выясним, при каких условиях
Фл (С) ^ ся [Фл (С) — 1 — /p«S] -> р(?) A.7)
при всех ?. Нас будут интересовать только непрерывные пре-
предельные функции. Для краткости мы положим
+ со
Ьп= J s\nx-Fa[dx}. A.8)
— со
Теорема. Непрерывная предельная функция ре A.7) су-
существует в том и только том случае, когда существуют кано-
каноническая мера М и число Ь, такие, что
cnx2Fn{dx)->M{dx) A.9)
в собственном смысле и
cn{bn — $n)^b. A.10)
В этом случае
Р(?) = Ф (?) + «?, A.11)
где
M{dx]. A.12)
Мера М однозначно определяется равенством A.12) !).
Пусть фп и с„ заданы. Из сказанного следует, что если {tyn}
сходится при некотором выборе C„, то они сходятся и при р„ =
= Ьп. Это не удивительно, поскольку такой выбор равносилен
нормировке i|)n условием 1тг|5пA)=0. Дополнительно о выборе
постоянных |3„ скажем в конце этого параграфа.
') При фиксированном ? подинтегральная функция считается непрерыв*
.ной, принимающей значение —V2S2 B нуле.

§ 1. Теорема о сходимости 635
Пример, в) Производные характеристических функций. Пусть F — вероят-
вероятностное распределение с характеристической функцией ср. Если F имеет ма-
математическое ожидание (х, то ср имеет производную ф' и ф'@)=г|л (см.
гл XV, 4). Обратное утверждение неверно, но из предшествующей теоремы
вытекает, что1) ф'@)=!ц существует тогда и только тогда, когда при t-> со
A.13)
t
f xF{dx}->\i. A.14)
-t
Заметим, что ф'@)=('(х тогда и только тогда, когда
Hm S^sl : XT* =o. A.15)
e->0 e
Доказательство. Пусть е пробегает последовательность еь ег •. ¦ .->¦
->0. Тогда соотношение A.15) можно рассматривать как частный случай A.7)
с с„ = е и
Ссответственно A.15) выполняется тогда и только тогда, когда
E~lx2F fe dxj -> 0 в собственном смысле и
-i-oo + со
е-1 J sinx-F[e~l dx}=e-1 J sin eny ¦ F {dy\ -> (i A.16)
— CO —CO
для любой последовательности 8п->0, В силу A.6) собственная сходимость
имеет место тогда и только тогда, когда верно A.13), и в этом случае A.16),
очевидно, эквивалентно A.14). >
Доказательство теоремы мы разобьем на ряд лемм. Первая
из них лишь формулирует определение собственной сходимо-
сходимости в терминах математических ожиданий. Мы будем постоянно
использовать обозначение A.7), так что
+ СО
Ч>„(9= \ \e^-\-iU\nx\cnFn{dx) + icn{bn-K)l- 0-17)
— сю
Лемма 1. Если cnx2Fn{dx}-+M{dx] в собственном смысле,
то для любой непрерывной ограниченной функции z, для кото-
которой x~2z(x) непрерывна в нуле, имеет место
+ СО +СО
сп J z(x)Fa{dx)-> j x-iZ(x)M\dx\. A.18)
— со —со
Доказательство. Пусть |xj</<oo — интервал непре-
непрерывности для М. Тогда часть левого интеграла в A.18),
') Этот результат был доказан А. Зигмундом в 1947 г. (при некоторых
ограничениях на гладкость ф) и в полной общности Питманом в 1956 г..
Методы этих авторов различны.

636 Гл. XVII. Безгранично делимые распределения
взятая по этому интервалу, сходится к соответствующей части
правого интеграла. В силу A.6) можно выбрать t столь боль-
большим, что часть интегралов в A.18), взятая по области |л:| ~^~ t,
меньше е (при всех п). Этим доказано A.18). >
Лемма 2. Если ipn(?) —*p(?) равномерно в области |?| -*С
^?о, то при §<h ^ ?0
—со -й
Заметим, что никаких предположений относительно г|)п(?) для
\t\ >?о не делается.
Доказательство. Умножая A.17) на lj2h и интегрируя
по промежутку ¦—h*Ct,^.h, получаем A.19). >
Лемма 3. В условиях предыдущей леммы существуют ка-
каноническая мера М и последовательность л4, n2, ... —> оо, такая,
что cnkx2Fnk {dx} —>M {dx} в собственном смысле.
Доказательство. Обозначим при любом п Mn{dx} =
= cnx2Fn{dx). Подинтегральное выражение слева в A.19) в
окрестности нуля эквивалентно l/eX2h2, а вне любой окрестности
нуля — строго положительно. Отсюда следует, что для каждого
конечного интервала / меры Мп{1) ограничены. По теореме о вы-
выборе (теорема 2 из гл. VIII, 6) существует последовательность
{п/(}, такая, что Мп/г сходится к предельной мере. Остается по-
показать, что справедливо условие A.6). Так как р@)=0, мы
можем выбрать h столь малым, что правая часть A.19) ста-
станет меньше 1/2в. В области \xh\>2 подинтегральное выраже-
выражение в левой части больше '/г, а при всех остальных х — по-
положительно. Поэтому левая часть A.19) не меньше, чем
^¦сп\\— FnBlh)-{-Fn(—2/л)], т. е. A.6) выполняется при x>2/h.
Лемма 4. Какова бы ни была каноническая мера М,
равенство A.12) определяет непрерывную функцию г|). При
этом различным каноническим мерам соответствуют различные
функции.
Доказательство. Интеграл в A.12) сходится, так как
подинтегральное выражение непрерывно, и его числитель огра-
ограничен, так как каждая каноническая мера удовлетворяет A.2).
Очевидно, что \]) непрерывна и при любом /г>0
+ СО
,hff\ t(C + fr) + ^(S —h) _ f „itx l — cosxh .. , , , n „m

§ 1 Теорема о сходимости 637
Справа стоит преобразование Фурье — Стилтьеса ограниченной
л и 1 1-—cos xh ..,, , ,-,
меры Ah \dx\ =- -^ М\ах). По теореме единственности
для характеристических функций мера Ah однозначно опре-
определяется левой частью A.20). В свою очередь мера Ah одно-
однозначно определяет меру М, за исключением, быть может, ато-
атомов в точке, где 1—cos xh = 0. Но знание двух мер Ла, и Лй,
с несоизмеримыми h, определяет М однозначно. Таким обра-
образом, М однозначно определяется по г|) (см. задачи 1—2). ^
Доказательство теоремы. Допустим, что tyn(?) -
для всех ? и что р — непрерывная функция. Так как функция
е п является характеристической, сходимость равномерна на
каждом конечном интервале (теорема 2 из гл. XV, 3). Поэтому
применимы леммы 2 и 3. Когда п пробегает последовательность
пи п2, ..., указанную в лемме 3, интегралы в A.17) сходятся
к \|)(?) в силу леммы 1. Мы видим, что предел имеет форму
A.11). Значение г|з A) действительно, поэтому b = Imp(l). Та-
Таким образом, \|) и Ъ определяются однозначно и не зависят
от последовательности {пк}. Это показывает, что сходимость
•фи к непрерывному пределу р эквивалентна условиям A.9) и
A.10) теоремы. >
Замечание о других способах центрирования. Выбор функ-
функции sin л: в A.8) и A.12) не является единственно возможным.
В самом деле, леммы 1—3 совершенно не зависят от этого
выбора, а лемма 4 приложима к любой функции вида
— со
если только подинтегральное выражение непрерывно и числи-
числитель ограничен1). При любом приемлемом значении г(х) дока-
доказательство теоремы осуществляется без изменения, если только
sin х заменить на х{х) в определении чисел Ьп [см. A.8)] и
функций г|зп(?) [см. A.17)].
При специальных предположениях можно указать функции
т (х), которые предпочтительнее, чем sin*. Так, если существуют
математические ожидания пгп распределений Fn, то желательно
заменить центрирующие константы Ьп на шп, т. е. иначе заменить
sin л: на х. При таком выборе числитель в A.21) становится
') См., например, G.2). Центрирование с помощью sin x имеет ту отличи-
отличительную черту, что каноническая форма ф характеризуется «внутренним»
свойством: ij; A) вещественно.

638 Гл. XVII. Безгранично делимые распределения
неограниченным и для того, чтобы провести доказательство
теоремы, мы должны усилить условие A.6), потребовав, чтобы
при всех достаточно больших t
сп J \x\Fn{dx}<e. A.22)
При этом условии существует интеграл от \x\~xM{dx) по любо-
любому интервалу, не содержащему какой-либо окрестности нуля.
В A.18) достаточно потребовать, чтобы \z(x) \ =О(\х\), х—*
—*±оо. Из сказанного вытекает, что если A.22) выполняется,
то теорема остается верной при замене sin x на х в A.12) и в
A.8). По той же причине, если для всех достаточно малых t
сп J \x\Fn{dx)<z, A.23)
\x\<t
то sin x можно заменить нулем. Подинтегральное выражение в
A.21) уже не будет ограниченным в окрестности нуля, но мера
М теперь такова, что интеграл от x~lM{dx} по любому конеч-
конечному интервалу конечен.
§ 2. Безгранично делимые распределения
Мы по-прежнему будем использовать одни и те же описа-
описательные термины как для распределений, так и для их характе-
характеристических функций. Имея это в виду, переформулируем опре-
определение, данное в гл. VI, 3, следующим образом.
Определение. Характеристическую функцию а> назы-
называют безгранично делимой тогда и только тогда, когда при ка-
каждом п существует характеристическая функция соп, такая, что
<оа„ = а. B.1)
Ниже будет показано, что ничто не меняется, если заменить
B.1) формально более слабым условием
Ф5 (С)^>(о (С). B.2)
Соотношения подобного рода охватываются теорией предыду-
предыдущего параграфа, так как оказывается, что B.2) эквивалентно
B.3)
Лемма. Пусть {гри} — последовательность характеристиче-
характеристических функций. Если предел в правой части B.3) является не-
непрерывной функцией, то каждое из соотношений B.2) и B.3)
влечет другое и со(?) =V&>

§ 2. Безгранично делимые распределения 639
Отсюда следует, в частности, что со не имеет нулей.
Доказательство. Мы начнем с того, что напомним
определение логарифма в комплексной области. Пусть a = reie —
тригонометрическое представление комплексного числа аФО.
Тогда log a = log r + iQ, где log r — хорошо известное действи-
действительное значение логарифма положительного числа г. Аргу-
Аргумент 0 определен только с точностью до кратных 2я, и в прин-
принципе эта неопределенность распространяется и на логарифмы.
Тем не менее в любом интервале |?|<?0, в котором <р(?)=?0,
характеристическая функция ср допускает единственное пред-
представление вида ф(?) =г(?)е*е®, такое, что 8 непрерывна и 8@) =
= 0. В таком интервале мы можем написать, не вызывая со-
сомнений, logqp = log r + iQ. Это единственный способ сделать
log ф непрерывным и обращающимся в нуль в нуле. Мы будем
использовать обозначение log ф только в указанном смысле.
В любом интервале |?|<?о. не содержащем нулей ф, непрерыв-
непрерывная функция log ф вполне определена, однако определение пе-
перестает действовать, как только ф(?о)=0. Аналогичное заме-
замечание применимо и к дробным степеням ф ').
Перейдем к доказательству. Пусть верно B.3). Тогда
фп(С)~*1 ПРИ каждом фиксированном ? и сходимость равно-
равномерна в каждом конечном интервале |?|<?о (теорема 2 из
гл. XV, 3). Поэтому logcp»(?) определен при всех достаточно
больших п. Так как при | г — 11 < 1
=2;_l+l?=i>i+ .... B.4)
то B.3) эквивалентно
log Ф^ @ = «log Фл (С) -^ Р (S). B.5)
Соответственно B.3) влечет B.2) и равенство со = еР.
Пусть теперь выполняется B.2). Тогда <о@) = 1 и потому
<в(?)=?0 в некотором интервале |?| <^?0- Так как сходимость
характеристических функций равномерна в каждом конечном
интервале (теорема 2 из гл. XV, 3), то при |?|-^?е и доста-
достаточно больших п фп(О=?0. Поэтому мы можем в интервале
|?| <?,о перейти к логарифмам, откуда следует B.3) с р(?) =
= logoo(?) (причем сходимость равномерна). Теперь, используя
леммы 2 и 3 § 1, мы видим, что существует последовательность
') В гл. XV, 2 мы привели пример двух действительных характеристиче-
характеристических функций, таких, что у>1 = (B- Он показывает, что при наличии у харак-
характеристической функции нулей ее квадратный корень не определен одно-
однозначно.

640 Гл. XVII. Безгранично делимые распределения
целых пи п2, .. . —* оо, такая, что при всех ?
л»[ф„4(?)-1]-р(С). B-6)
где предельная функция непрерывна. Но отсюда вытекает, что
фп__>ер по крайней мере для п, пробегающих последователь-
последовательность пи п2, ... . Предел p = log© в B.6) —один и тот же для
любой последовательности {nft}> так что B.2) верно при любом
стремлении п к бесконечности. * >
Отметим, что B.3) —специальный случай соотношения A.7)
предшествующей теоремы. Поэтому р имеет вид
р(?) = ф (?) + «?, B.7)
где
+ CO
еЧх— 1 — it Sin .
¦M[dx) B.8)
и М — каноническая мера. Таким образом, безгранично дели-
делимая характеристическая функция необходимо имеет вид ю = ер,
где р определяется по B.7) и B.8). Докажем теперь, что, об-
обратно, функция такого типа есть безгранично делимая харак-
характеристическая функция.
Допустим сперва, что каноническая мера М сосредоточена
в области |х|><5. В этом случае мы можем представить М
в виде
M{dx)=cx2Q{dx],
где G — распределение вероятностей с характеристической
функцией у. Тогда е^-1) будет характеристической функцией
обобщенного пуассоновского распределения и потому безгра-
безгранично делима. Она отличается от ер только связанным с цен-
центрированием множителем е{№. Следовательно, ер безгранично
делима, если мера М сосредоточена на |х|>6>0. Обозначим
теперь через М6 меру, получаемую из М отбрасыванием мас-
массы, расположенной внутри интервала |х|<6, и через \|зв(?) —
соответствующий интеграл B.8). Пусть а2 ^ 0—масса, припи-
приписываемая распределением М точке 0. Тогда при б —»0
Левая часть есть логарифм характеристической функции. По
теореме непрерывности то же самое верно и для предельной
функции гр. Далее n-'tp снова имеет форму B.8) с М, заменен-
замененным на п'хМ, так что n-1ip является логарифмом характеристи-
характеристической функции. Соответственно a>n==en 1ф будет характера-

§ 2. Безгранично делимые распределения 641
стической функцией и со = е* безгранично делима. Этим дока-
доказана
Теорема 1. Для того чтобы со была безгранично делимой
характеристической функцией, необходимо и достаточно, чтобы
существовали каноническая мера М и действительное число Ь,
такие, что со = ео, где р определяется по B.7) и B.8).
Эти формулы мы будем называть каноническим представле-
представлением со, хотя функция sin х в центрирующем слагаемом будет
заменяться на х или на 0, коль скоро это возможно. Мы будем
говорить, что М определяет со, что оправдано, если отвлечься
от произвольной центрирующей константы Ь.
Пример. В качестве применения покажем, что безгранично
делимое распределение U имеет дисперсию тогда и только тогда,
когда соответствующая каноническая мера М конечна. В самом
деле, по лемме 2 из гл. XV, 4 и ее следствию, U имеет диспер-
дисперсию тогда и только тогда, когда существует вторая производ-
производная г|/'. Использованные ранее рассуждения показывают, что
оправдано формальное дифференцирование, приводящее к ра-
равенству
J dx). B.9)
Обратно, если М — конечная мера, то существует, и притом
только одна, функция ip со второй производной B.9) и с ip@) =
= i|/@) =0. Эта функция имеет вид B.8), и потому е* является
характеристической функцией безгранично делимого распреде-
распределения с конечной дисперсией и нулевым математическим ожи-
ожиданием.
Точно так же можно показать, что U имеет момент порядка
2k в том и только том случае, когда интеграл от x'2h'2M{dx] no
всей прямой —оо, сю конечен. >
Следующая теорема лишь иначе формулирует отмеченный
нами факт, что предел со в B.2) безгранично делим.
Теорема 2. Пусть {ср„} — последовательность характери-
характеристических функций, такая, что в каждой точке cp*->co. Если
со — непрерывная функция, то она будет безгранично делимой
характеристической функцией ').
Легко описать со в терминах распределений Fn, соответ-
соответствующих ф„. Пусть р определяется формулами B.7) и B.8).
') Утверждение теоремы и ее доказательство сохраняются, если п про«
бегает какую-либо последовательность П1,п2, .,.-»со,

642 Гл. XVII. Безгранично делимые распределении
Согласно теореме § 1, соотношение B.3) выполняется тогда и
только тогда, когда nx2Fn{dx} —*¦ M{dx} в собственном смысле и
nbn ~*b, где
Ьа= J stox-FAdx). B.10)
— со
Теоретически этот критерий является исчерпывающим, но часто
практически важен не вопрос сходимости ср^->со, а вопрос о су-
существовании таких центрирующих констант C„, что
Обычно распределения Fn можно легко центрировать зара-
заранее таким образом, чтобы Ьп были малы. Приводимый ниже
критерий охватывает, как нам кажется, все практически инте-
интересные ситуации. В то же время он достаточно прост для при-
применений. Ниже мы предполагаем, что и = ер есть безгранично
делимая характеристическая функция, определяемая по B.7)
и B.8).
Теорема 3. Предположим, что1) ф„ (?)->• 1 при всех ? и
пЬ2п-±0. Тогда три следующих утверждения эквивалентны друг
другу:
а) имеет место B.11);
б) выполняются соотношения
п(Ьп~-$п)-±Ь, B.12)
л[фя(е)-1-ЗД->Р(«; B-13)
в) выполняется B.12) и nx2Fn{dx}-+M{dx} в собственном
смысле.
Доказательство. Достаточно рассмотреть случай Ь = 0.
Тогда р(?)=1ф(?)- В силу последней леммы соотношение B.11)
эквивалентно
Умножим обе стороны B.14) на er|3«s и рассмотрим мнимые ча-
части при ?=1. Так как грA) вещественно и рп -> 0, мы получаем
->0, B.15)
') Условие фп(?)-*-1 вводится только для того, чтобы избежать триви-
тривиальных усложнений следующего типа. Заменим ср„ (?) на ф„(?)е я'. Тогда
константы Ьп останутся прежними, {3„ заменится на Р„ + я и B.12) не будет
верно.

§ 3. Безгранично делимые распределения 643
что, очевидно, равносильно B.12). Из B.14) следует также, что
як@в"'*»:-1]->Ф@- B-16)
Но левая часть равна
я[фя(С)-1-^яС]«"'*»Е + лк1+йяС)е-'*»Е- 1]. B.17)
Второй член в B.17) стремится к нулю, так как пЬ2п-^>0. По-
Поэтому B.13) выполняется. Таким образом, из (а) следует (б).
Обратно, (б) влечет B.16) и, следовательно, B.14), что экви-
эквивалентно B.11). Наконец, (б) и (в) равносильны по теореме
§ 1. >
Среди возможных следствий доказанных теорем стоит отме-
отметить такие: 1) если и = е^ безгранично делима, то при любом
t>0 и а* = Ь1^ обладает этим же свойством; 2) лемма показы-
показывает, что со является пределом для en^i>n~ >, поэтому каждое
безгранично делимое распределение есть предел обобщенных
пуассоновских распределений; 3) если последовательность {уп}
безгранично делимых характеристических функций сходится
к непрерывной функции у, то последняя также безгранично
делима. Последнее утверждение непосредственно вытекает из
теоремы 2, так как каждая из функций уп может быть пред-
представлена в виде Ф", где срп — характеристическая функция.
Замечание о других канонических представлениях. Представление с ме-
мерой М — не единственное, которое можно встретить в литературе. В перво-
первоначальных исследованиях П. Леви использовалась мера Л, определяемая для
хфО равенством A{dx}=x~2M{dx]. Эта мера служит пределом для nFn{dx].
Она конечна на интервалах |х|>6>0, но может быть неограниченной в окрест-
окрестности нуля. Атом М в нуле, если он существует, не учитывается мерой Л.
В терминах этой меры B.8) принимает вид
^ f [eiix—\ + iis\nx]A{dx). B.18)
\х\>6
Это есть (с точностью до выбора центрирующей функции) первоначальное
каноническое представление, данное 77. Леви. Его основной недостаток в том,
что полное описание свойств меры Л оказывается слишком длинным.
Хинчин ввел ограниченную меру К, определяемую равенством K{dx}=
= A +xz)'xM{dx}. Эта ограниченная мера может быть произвольной. Поэтому
каноническое представление по Хинчину всего легче описать. Кроме того, оно
имеет дело только с ограниченными мерами. Это — большое преимущество,
однако искусственный выбор меры К приводит к трудностям в применениях.
Устойчивые распределения и пример C, е) показывают характер этих труд-
трудностей.

€44 Гл. XVII. Безгранично делимые распределения
§ 3. Примеры. Специальные свойства
Мы укажем несколько специальных распределений, а затем
рассмотрим такие свойства, как существование моментов или
положительность. Эти свойства помещены в разделе «примеры»
частично для того, чтобы сделать изложение более ясным, ча-
частично для того, чтобы подчеркнуть отсутствие связи между
отдельными пунктами. Никакая часть материала этого пара-
параграфа не используется в дальнейшем. Дополнительные приме-
примеры можно найти в задачах 6, 7 и 18.
Примеры, а) Нормальное распределение. Если мера М со-
сосредоточена в нуле и приписывает ему вес а2, то B.8) пре-
превращается в равенство ф(?) = —-н- °2?2 и е^ будет нормальным
распределением с нулевым математическим ожиданием и дис-
дисперсией о2.
б) Распределение Пуассона. Стандартное распределение
Пуассона с математическим ожиданием ос имеет характеристи-
характеристическую функцию оо = е* с *|з(?)=а(е»?— 1). Изменим параметры
так, чтобы получить распределение, сосредоточенное в точках
вида —6 +и/г1. При этом показатель степени превращается
в р(^)=а(е^'1— 1) —ibt,, что представляет собой частный слу-
случай B.7) с мерой М, сосредоточенной в одной точке h. Свойство,
состоящее в том, что мера М сосредоточена в одной точке,
характеризует класс нормальных распределений и класс пуас-
соновских распределений. Свертка конечного числа подобных
распределений приводит к каноническим мерам с конечным
числом атомов. В общем случае мера М может быть предста-
представлена, как предел подобных мер. Поэтому любое безгранично
делимое распределение может быть представлено как предел
сверток конечного числа распределений Пуассона с нормальным
распределением ').
в) Рандомизированное случайное блуждание. В гл. II, G.7)
мы встретились с семейством арифметических распределений,
приписывающих точкам г = 0, ±1, ±2, ... вероятности
C-1)
¦) В терминологии функционального анализа класс безгранично делимых
распределений можно описать как выпуклую оболочку совокупности нормаль-
нормальных и пуассоновских распределений. Они образуют положительный конус, а
нормальные и пуассоновские распределения являются крайними точками
В смысле Крейна и Мкльмана.

§ 3. Примеры. Специальные свойства 645
где параметры р, q, t положительны, р -f- <? = 1 и /г — функция
Бесселя, определенная в гл. II, G.1). Из того факта, что рас-
распределение {аг} удовлетворяет уравнению Чепмена — Колмого-
Колмогорова, вытекает его безграничная делимость. Соответствующую
характеристическую функцию а = е^ легко вычислить, так как
она отличается от разложения Шлёмильха [гл. II, G.8)] только
заменой переменных u = Ypl<Je'i^- Окончательный результат
Ф(?) =— tJ\-t(pei^J\-qe~1^) C.2)
показывает, что {ar{t)} можно рассматривать как распределе-
распределение разности двух независимых случайных величин, распреде-
распределенных по закону Пуассона с математическими ожиданиями pt
и qt соответственно. Безграничная делимость очевидна.
г) Показательное распределение и гамма-распределения.
Показательное распределение с математическим ожиданием,
равным единице, имеет характеристическую функцию со(?) =
= A—('?)"'. Здесь ij) = logco существует. Очевидно, что —п|/=
= со, т. е.
со
ф'@ = / \e^xe~xdx. C.3)
о
Интегрируя, получаем
? Х~Х e~xdx, C.4)
откуда видно, что со безгранично делима и соответствует кано-
канонической мере M{dx} — хе~х dx. Гамма-плотность gt(x) =
= е-ххг~{1Т{г) имеет характеристическую функцию ef*, соответ-
соответствующую мере tM.
д) Законы Коши, Бесселя и гиперболического косинуса. Из
вида характеристических функций в п. 6, 8, 9 табл. XV, 2 легко
вывести их безграничную делимость. Для плотности f(x) —
¦= nchx с характеристической функцией со (С) — ch ./2) имеем
— ¦ф" = ( — log со)" = -g- ясо2, следовательно, —ф" является
преобразованием Фурье — Стильтьеса конечной меры M{dx} =
— -j- n2f2* dx. Сравнение с B.8) показывает, что М есть канони-
каноническая мера, определяющая f. Далее /2* была вычислена в за-
задаче 6 из гл. 11,9. Мы получаем
M{dx}= eX^_e-x dx.

646 Гл. XVII. Безгранично делимые распределения
Мы покажем в § 4, что для закона Коши
М {dx) = 2л-1 dx.
Из примера гл. XIII, G, г) вытекает, что для распределения
Бесселя М {dx} = txe~x/0 (x) dx.
е) Пример П. Леей. Функция
+ со
Ф(?) = 2 2 2-*[cos2*?—1] C.5)
имеет вид B.8) с симметричной мерой М, приписывающей вес
2й точкам ±2Й, /г = 0, ±1, ±2, ... . Характеристическая функ-
функция сй = е* обладает любопытным свойством: со2(?) =соB?). Эта
функция была бы устойчивой, если бы при каждом п было
соп(?) =сй(ап?)> н0 последнее соотношение выполняется только
для /г = 2, 4, 8 В терминологии § 9 со принадлежит своей
собственной области частичного притяжения, но она не имеет
области притяжения (см. задачу 9).
ж) Рандомизация и подчиненность1). Если е* безгранично
делима, то при любом s>0 es^ также безгранично делима. Ка-
Каково бы ни было распределение G, сосредоточенное на 0, оо,
мы можем построить, рандомизируя параметр s, новую харак-
характеристическую функцию вида
is]. C.6)
Это новая характеристическая функция, но она не обязана
быть безгранично делимой. Обозначим преобразование Лапла-
Лапласа функции G через у. Так как |е*|<1, то вещественная
часть ф не положительна и C.6) равно у(—тИ?))- Выражения
этого типа всегда представляют собой, таким образом, харак-
характеристические функции. Допустим теперь, что G безгранично
делима. Тогда у(Х) — е~Р<-}-), и потому at = g-W-MD) является
характеристической функцией при любом />0. Отсюда следует,
что е-'е(-ТО) есть безгранично делимая характеристическая
функция.
В терминологии подчиненных марковских процессов со* пред-
представляет собой характеристическую функцию процесса X(Y(t)),
где Х(/) имеет характеристическую функцию е'*&) и у (t) имеет
преобразование Лапласа e~tpM. Мы дали простое аналитиче-
аналитическое доказательство того, что метод, описанный в гл. X, 7, дей-
действительно приводит к безгранично делимым распределениям.
J) Этот пример связан с преобразованиями Лапласа.

§ 3. Примеры. Специальные свойства 647
з) Разложения. Каждое представление M=Mi + M2 меры М
как суммы двух мер индуцирует представление & = е^1е^, где
сомножители безгранично делимы. В качестве типичного при-
примера рассмотрим разложение М на меру, сосредоточенную
на |х|^г), и меру, сосредоточенную на |xj>r)>0. В первом
интервале центрирующую функцию sin х естественно заме-
заменить на х, во втором заменим х~2М [dx\ на N{dx}. Иными сло-
словами, мы полагаем
МЭ= J *l?*~J~/?* M{dx), C,7)
Ф2(?)= J (e^x—\)N\dx) C.8)
И
ф (?) = ф, (?) -|- ф2 (?) -(- /р?. C.9)
Как мы неоднократно замечали, е*» является характеристиче-
характеристической функцией обобщенного распределения Пуассона U2, инду-
индуцированного таким распределением вероятностей, что F {dx} =
= cN {dx). Характеристическая функция е*1 бесконечно диффе-
дифференцируема и соответствует распределению, имеющему конеч-
конечные моменты всех порядков. Ограниченные меры М и N и
действительное число р могут быть выбраны произвольно, и
предшествующие формулы дадут нам безгранично делимую
характеристическую функцию е*. Мы проиллюстрируем сейчас
пользу подобного представления.
и) Положительные случайные величины. Мы покажем, что
распределение U с характеристической функцией е* сосредото-
сосредоточено на О, оо тогда и только тогда, когда ')
?' *~ 1 Р {dx} -+- Й?, C.10)
где b ^ 0 и Р — мера на открытом интервале 0, оо, такая, что
функция (l-)--*;) интегрируема по отношению к Р. Допустим,
что U сосредоточено на 0, оо. Используя обозначения предыду-
предыдущего примера, возьмем точку роста а распределения Р, поро-
порождающего обобщенное распределение Пуассона U2- Тогда а,
') Это было замечено П. Леви и доказано непосредственными вычисле-
вычислениями Г. Бакстером и Дж. Шапиро. Заметим, что C.10) отличается только
формой записи от преобразования Лапласа гл. XIII, G.3).

648 Гл. XVII. Безгранично делимые распределения
2а, За, ... будут точками роста ?Л> и если Ь — точка роста Uit
то Ь + па + р будет точкой роста для U (см. лемму 1 в гл. V, 4).
Таким образом, я>0, так что N сосредоточено на 0, оо. Ана-
Аналогичное рассуждение показывает, что U не может иметь нор-
нормальной компоненты, следовательно, М не имеет атома в нуле.
Мы видим, что ё^&) является пределом при tj —»¦ 0 функций
g>h(D+'*?. для распределений, соответствующих этим характе-
характеристическим функциям, р служит точкой роста. Поэтому вели-
величина р должна стремиться к неотрицательному пределу. Вводя
обозначение N {dx} = x~lP {dx}, получаем C.10), так что выска-
высказанное условие необходимо. Но мы уже видели, что распре-
распределение U с характеристической функцией е* есть предел рас-
I '
пределений, сосредоточенных на 0, оо. Это доказывает доста-
достаточность нашего условия.
к) Асимптотическое поведение. Разложение, указанное в
примере (з), полезно при анализе поведения хвостов распре-
распределения U. Распределение (А с характеристической функцией
е*1 имеет моменты всех порядков, так что 1 — Ui(x) стремится
к нулю быстрее любой степени х~п. При весьма слабых усло-
условиях регулярности отсюда следует, что 1 — U(x) ~ I — U2{x).
Поэтому мы можем ограничиться только обобщенным распре-
распределением Пуассона. Последнее может быть разложено на два
I i
таких же распределения, сосредоточенных на —оо, 0 и 0, °о
соответственно. Мы не будем развивать здесь эту линию даль-
дальше, так как асимптотическое поведение односторонних рас-
распределений лучше исследовать с помощью преобразований Лап-
Лапласа и тауберовых теорем. Подобные рассуждения показы-
показывают, например, непосредственно, что результат простой задачи
16 из гл. XIII, 11 верен и в общем случае: если Р@,х) ~хгЬ(х),
где 0<с<1 и L медленно меняется на бесконечности, то 1 —
§ 4. Устойчивые характеристические функции
В соответствии с определением гл. VI, 1 характеристическая
функция со называется устойчивой в том и только том случае,
когда со" (С) = (о (алС)г*п^ , т. е. когда юп и со отличаются только
параметрами сдвига и масштаба. Отсюда вытекает безгранич-
безграничная делимость, и поэтому мы можем начать с канонического
представления w = e*, где г|з определяется по B.8). Функциям
будет устойчивой в том и только том случае, когда для каждого

§ 4. Устойчивые характеристические функции 649
п найдутся вещественные постоянные а„>0 и Ьп, такие, что
яС. D-1)
Мы найдем явное выражение1) для всех таких функций \J).
Подстановка х = апу в B.8) показывает, что для D.1) не-
необходимо соотношение
nM{dy]=a\M{a-*dy). D.2)
Положим \х(х) — х~2М{—х, х). Тогда D.2) принимает вид
x) = [i(x). D.3)
Теперь легко проверить (это, впрочем, известно из леммы 3
гл. VIII, 2), что а„—*оо и an+i/an-*l. Поэтому из простой лем-
леммы 2 гл. VIII, 8 следует, что \х должно быть пропорционально
некоторой степени х, т. е. М{—х, х] = Сх2~а. Здесь 0<а^2,
так как функция М{—х, х] должна быть неубывающей и так
как х~2М {dx} интегрируемо на 1, оо. Значению а=2 соответ-
соответствует мера, сосредоточенная в нуле. При а<2 нуль есть точка
непрерывности для М и применение тех же рассуждений к
M @, х) и ЛТ {— х, 0} показывает, что справедлива
Лемма 1. Каноническая мера М, определяющая устойчи-
устойчивое распределение, или сосредоточена в нуле, или
М {—х, 0} = Cqx2~a, М @, х) = Срх2'а, х>0, D.4)
где 0<а<2, р > 0, q > 0 и Р + 9=1-
Мере ЛГ, сосредоточенной в нуле, соответствует нормальное
распределение [пример C, а)]. Для вычисления функции е$,
определяемой по D.4), мы могли бы использовать стандарт-
стандартную форму B.8). Однако, принимая во внимание специальный
вид меры М, предпочтительнее заменить центрирующую функ-
функцию sin х центрирующей функцией
х, если а > 1,
ха(х)= sinx, если а —1, D.5)
0, если а<1.
= f ^-'7fawMW. D.6)
Тогда
+ со
') Другой метод нахождения смотри в задачах 10—11.

650 Гл. XVII. Безгранично делимые распределения
При атИ и ?>0 подстановка y = Z,x показывает, что ф(?) = а?а
и ф(—?) = а?а> где а — комплексная постоянная и а сопря-
сопряжено с а.
Численное значение а представляет второстепенный интерес;
мы будем пользоваться им, но вычисление отложим. Чтобы сум-
суммировать получающиеся результаты, введем соглашение: в
символах «±» и « + » выбирается верхний знак при ?>0 и ниж-
нижний при ?<0.
Лемма 2. Пусть мера М определена как в D.4). Тогда
при а<1
, /*-\ ,f ar* ГA — а) Г яа ., , . па "| ,. _ч
Ф(?) = —|е|°С. а [cos -j- + г(/> —^)sin-g-J. D.7)
При 1< а < 2
¦ /?-\ i 5-ia^ Г B — а) Г па .. . . ita "I .. o.
Ф (C) = | С ГС \_a' [cos -^+ i(p-q) sin —J. D.8)
Наконец, при а = 1
* @=—i с i с [-=- ±/ iog i e i]. D.9)
Если мера М сосредоточена в нуле и приписывает ему вес С,
то il)(Q = -i-
Чтобы получить простую стандартную форму1), мы выберем
нормирующий множитель С так, чтобы вещественная часть
() стала равной —|?|а. Полагая р—q = b, мы получим тогда
I—|?|[l±/61og|?|], если а = 1.
Требование устойчивости D.1) выполняется при an = nlia и
2
6п = 0,за исключением случая а=1, когда а„ = п и Ъп = log п.
Мы нашли, таким образом, все устойчивые характеристические
функции. Основная часть доказанного результата может быть
выделена следующим образом.
') Иная стандартная форма указана в § 6.

§ 4. Устойчивые характеристические функции 651
Теорема. Логарифм любой устойчивой характеристиче-
характеристической функции имеет вид1) а^а.ъЮ +ibt,, где 0<а-<^2,
— 1 ¦< б ¦< 1, ы i|3a, б определено по D.10).
Здесь подразумевается, что а>0 и b вещественно. Приме-
Примечательная черта этой теоремы — ограничение на значения
б : — 1 <6 4Л.
Сравнивая с примером C, и), получаем следующий резуль-
результат.
Лемма 3. Устойчивое распределение сосредоточено на 0, <х>
тогда и только тогда, когда а<1, 6 = 1 и b > 0.
(Поведение хвостов описано в теореме 3 § 5; разложение
для плотностей см. в § 6. О распределениях, сосредоточенных
на 0, оо, см. теорему 1, гл. XIII, 6).
Добавление. Вычисление интеграла D.6)
Достаточно рассмотреть случай ?>0. Мы докажем, что при а<1
Г «'^-^-саП!-»),-^ DЛ1)
Аналогичный интеграл, взятый по интервалу —со,0, вычисляется заменой i
на —i, и комбинация двух интегралов дает D.7). Рассмотрим интеграл
D.11) как предел при Я->0 + интегралов
J eiu~Kxx-a dx. D.12)
С точностью до постоянного множителя последний интеграл представляет со-
собой характеристическую функцию гамма-плотности. По таблице гл. XV, 2
(п. 6) находим, что величина D.12) равна
_ .Qa = _
где 6 — аргумент X—it,, т. е. tg 6 = —?/сс. Очевидно, что при Л->0 9->—я/2,
и мы видим, что D.11) верно.
При 1<а<2 дифференцирование по Z, приводит интеграл D.6) к виду,
только что рассмотренному. Здесь D.8) проверяется элементарными выклад-
выкладками. При а=1 вещественная часть подинтегрального выражения равна
A—cos t,x)/x2 и соответствующий интеграл можно найти в таблице гл. XV,
2 (п. 5). Остается оценить только мнимую часть, а именно
оо Г со со
singx-gsinx^ = 1.m Г stnt* ^ ?in
J x2 e->o \ J x2 J x-
0 Lee
sin л;
2
dx
D.14)
') Нормальная характеристическая функция получается из D.10) при
а=2, так как коэффициент при 6 обращается в нуль

652 Гл. XVII. Безгранично делимые распределения
Подстановка ?,х=у приводит подинтегральное выражение в первом интеграле
к тому же виду, что и во втором интеграле. Поэтому D.14) принимает форму
dim fiH^rfx = ? Г -^- Clogfi. D.15)
(Здесь использован тот факт, что ¦ • -»1 при х-Ю.) Соотношение D.9)
доказано.
§ 5. Области притяжения
Назовем характеристическую функцию унитарной, если
|ф(?)| = 1 для всех ?, т. е. если соответствующее распределение
сосредоточено в одной точке [см. лемму гл. XV, E.4)]. На язы-
языке характеристических функций определение 2 гл. VI, 1 зву-
звучит следующим образом.
Характеристическая функция ф распределения F принадле-
принадлежит области притяжения неунитарной характеристической функ-
функции у, если существуют параметры а„>6 и р„, такие, что
E.1)
В гл. VI, 1 было показано, что предельная функция у необ-
необходимо устойчива. Однако этот результат легко доказать за-
заново, тем самым сохранив независимость излагаемой теории от
материала гл. VI, 1. Для сравнения с теоремами § 1 и 2 поло-
положим
1ях). E.2)
Кроме того, положим при х > О
х
\1{х)= \y*F{dy). E.3)
— X
Теорема 1. Для того чтобы F принадлежало некоторой
области притяжения, необходимо, чтобы для \х выполнялось со-
соотношение
\i(x)~x?-*L(x), E.4)
где 0<а-^2 и L медленно меняется на бесконечности, т. е. при
любом фиксированном х>0
L (tx) 1 , ._ г.
_^._>1, *->оо. E.5)
(i) Если а=2, то F принадлежит области притяжения нор-
нормального распределения.

§ 5. Области притяжения 653
(ii) Если а<2 и при х—* оо
1 — F (x) F {— х)
*Р 7
то F принадлежит области притяжения безгранично делимого
распределения, определяемого канонической мерой М, такой,
что для х>0
, E.7)
= дСх~а. E.8)
Если E.6) не выполняется, то F не принадлежит никакой обла-
области притяжения.
(Hi) Если а<2, то условие E.4) равносильно
?{x), х-+оо. E.9)
В предыдущем параграфе было показано, что каноническим
мерам вида E.7) и E.8) соответствуют устойчивые распределе-
распределения. Поэтому мы можем изложить содержание теоремы 1 по-
иному.
Теорема la. I) F принадлежит области притяжения нор-
нормального закона тогда и только тогда, когда \х медленно ме-
меняется (в частности, когда существует второй момент).
2) F принадлежит области притяжения не нормального
устойчивого закона тогда и только тогда, когда выполняются
E.4) и E.6), и 0<а<2. Условие E.4) эквивалентно E.9).
3) Только устойчивые распределения имеют область притя-
притяжения.
Функция, стремящаяся к конечному пределу, меняется мед-
медленно. Поэтому из первой части теоремы вытекает, что каждое
распределение, имеющее дисперсию, принадлежит области при-
притяжения нормального распределения. Однако эта область вклю-
включает и распределения, не имеющие дисперсии [см. пример D, а)
гл. VIII].
Полезно, может быть, напомнить теорему 2 гл. VIII, 9, в со-
соответствии с которой при 0<а<^2 условие E.4) эквивалентно
условию
Мы выведем теорему 1 из следующей леммы.

654 Гл. XVII. Безгранично делимые распределения
Лемма 1. Условия теоремы 1 необходимы и достаточны,
для существования констант ап и р„, таких, что
где функция р непрерывна.
Доказательство. Допустим, что E.11) выполняется. По
теореме § 1 существует каноническая мера М, такая, что
nx2Fn{dx] —* M{dx} в собственном смысле. Условия A.3) и A-4)
для собственной сходимости сводятся в настоящем случае
к тому, что во всех точках непрерывности х>0
JTx), E.12)
} anx)-+M~{—x). E.13)
По лемме 3, гл. VIII, 2 an+i/an~>U а лемма 2, гл. VIII, 8 пока-
показывает, что E.12) и E.13) влекут E.7) и E.8). Таким образом,
условия теоремы необходимы.
Допустим теперь, что выполняется E.4). Так как L — мед-
медленно меняющаяся функция, то можно найти такие константы
ап, что
-~L(aa)-+C, E.14)
где С>0 — заданная константа. Из условий теоремы тогда вы-
вытекают соотношения E.12) и E.13) с функцией М, определяе-
определяемой E.7) и E.8). Это означает, что nx2F{andx} —> M{dx} в соб-
собственном смысле, и по теореме § 1 наши условия достаточны
для E.11). Доказательство закончено. 1>
Лемма 2. Распределение F, удовлетворяющее условиям
теоремы 1, обладает абсолютными моментами любого порядка
Доказательство. Ясно1), что при (-+оо и любом е>0
1 — F (t) -+- F (— /) = О (t ~а+е). E.15)
Наше утверждение вытекает теперь из формулы гл. V, F.3) для
моментов. >
') Если t пробегает последовательность 2, 22, 23, ..., то E.15) легко про-
проверяется с помощью E.10). Так как левая часть монотонна, то E.15) верно
при любом стремлении t к со (другое доказательство см. в гл. VIII, 9).

§ 5. Области притяжения 655
Доказательство теоремы 1. Для доказательства тео-
теоремы нам достаточно установить, что исходное соотношение
E.1) эквивалентно условию E.11) леммы 1. В случае симме-
симметричных распределений мы можем принять |3„ = 0, и эквивалент-
эквивалентность выражений E.1) и E.11) вытекает из леммы § 2. По-
Поэтому для симметричных распределений теорема верна.
Более общим образом условия E.1) и E.11) эквивалентны,
когда применима теорема 3 § 2. В этой теореме предполагается,
что
+ ОО
nb2n-*0, где bn= f sin — F {dx}, E.16)
— oo
и что ф^д1^)-»-1. Последнее условие выполнено, так как
ап~^оо. Остается доказать, что мы можем принять условие
nbl -> 0.
Пусть F принадлежит некоторой области притяжения. Тогда
то же самое верно и для симметризованного распределения °F,
и нормирующие коэффициенты ап будут теми же самыми. Но
для °F теорема уже доказана, так что ап удовлетворяют соотно-
соотношению типа E.14). Более того, °F обладает абсолютными мо-
моментами любого порядка р<а. Поэтому то же самое верно и
для F [см. гл. V, F.3)]. В частности, при а>1 существует мате-
математическое ожидание, и в этом случае мы допускаем, что F
имеет нулевое математическое ожидание.
Теперь |sinx|<|x|P при 0<р<1 и | sin л:—х\<2\х\$ при
1 -^ р ^С 2. Выберем р<сс при а <^ 1 и 1<р<а при а>1. Обо-
Обозначим через ср абсолютный момент порядка р распределения F.
Тогда |6Я| < Ъс^а-Ъ и в силу E.14)
) EЛ7)
При 2р>а правая часть стремится к нулю, т. е. выполняется
E.16). >
Теорема 1 описывает предельные распределения в терминах
канонической меры М. Явный вид соответствующих характери-
характеристических функций был указан в лемме 2 § 4. Мы переформу-
переформулируем теперь наши результаты, особенно выделив способ вы-
выбора нормирующих постоянных.
Теорема 2. Пусть F удовлетворяет условиям теоремы 1.
При а>\ мы-предполагаем, что F имеет нулевое математиче-
математическое ожидание.

€56 Гл. XVII. Безгранично делимые распределения
Пусть \ = е^, где ty определено формулами D.7) — D.9) при
а<2, и ф(?) = — ^^ при а = 2. Пусть ап определены по E.14).
Тогда <p»(tjan) - у&) при аф\ и (ер (Цап)е~№^)п-> v(C) при
а=1.
Доказательство. Формулы D.7) — D.9) вытекают из
описанного в теореме 1 строения канонической меры, поэтому
в комментариях нуждается лишь способ выбора центрирующих
постоянных. Будем придерживаться тех же обозначений, что и
в стандартной форме безгранично делимых распределений [см.
B.7) и B.8)]. Тогда центрирующие постоянные в D.7) — D.9)
имеют вид Ь = 0 при а=1 и
Ь= J ^±M{dx} или Ь= | liIL?p? M {dx} E.18)
—со —со
в зависимости от того, что сс<1 или а>1. Наши центрирующие
постоянные в E.1) имеют вид |}п = 0 при аф\ и |in = bn при
а=1. Мы должны доказать B.12), а именно, что п(Ьп — Рп)—>&•
При а=1 обе стороны равны нулю. При а>1 наше утверждение
состоит в том,что
-Ьо
Г
——2—F{andx}-+ J —-2—M[dx). E.19)
Эта сходимость очевидна для интегралов, взятых по любому
конечному промежутку, а по теореме 2, гл. VI 11,9 интегралы,
взятые по области \x\~>t, равномерно малы при больших t.
Аналогичные соображения применимы и при а<1. %~-
Соотношение E.14) можно использовать двумя способами.
При данном распределении F оно позволяет определить числа
сп, а в случае, когда а„ известны, с его помощью можно сде-
сделать определенные заключения относительно L. Например, ка-
каждое устойчивое распределение принадлежит своей собственной
области притяжения с ап = п1/а. Из E.14) следует, что в этом
случае L(x) —>1 при х-*<х>. Сравнение E.6) и E.9) показы-
показывает, что верна
Теорема 3. Если G — устойчивое распределение с харак-
характеристической функцией ё^ из леммы 4.2, то при х —* оо
_> С/71=^, XaG(-X)-+Cq^-. E.20)
{Это утверждение верно и при а = 2.)

§ 6 Устойчивые плотности 657
Заключительные замечания. Область притяжения нормального закона не
следует смешивать с введенным Б В Гнеденко понятием «области нормаль-
нормального притяжения устойчивого распределения G с показателем а» Говорят,
что распределение F принадлежит указанной области, если оно принадлежит
области притяжения G при нормирующих коэффициентах а„ = п'а. Выделе-
Выделение этой области представляло собой первоначально серьезную задачу, од-
однако в нашей обстановке решение дается условием E 14), определяющим
нормирующие постоянные Если G удовлетворяет условиям теоремы 1, то
распределение F принадлежит области «нормального притяжения» G в том и
только том случае, когда xa[l— F(x)]->Cp и xaF(—x)->Cq при х->о~>. Здесь
с>0 — некоторая постоянная (Отметим попутно, используя введенную тер-
терминологию, что нормальное распределение обладает областью ненормального
притяжения )
§ 6 *. Устойчивые плотности
Невозможно, по-видимому, выразить устойчивые плотности
в «замкнутой» форме. Разложения в ряды для них были даны
независимо друг от друга Феллером A952) и Бергстремом
A953). В этих работах неявно содержатся результаты, устано-
установленные позже более сложными методами. Вывод этих разло-
разложений представляет собой хороший пример использования фор-
формулы обращения Фурье (хотя при этом применяется интегри-
интегрирование в комплексной области). Мы не будем рассматривать
случай а= 1.
При ?>0 мы можем представить устойчивые характеристи-
характеристические функции в форме е~"^а, где а — некоторое комплексное
число. В стандартной форме D.10) вещественная часть а рав-
равна 1. Для наших целей удобнее считать, что а по модулю рав-
равно единице, именно а = егпч/2, где y — вещественное число. Та-
Таким образом, мы полагаем
= — \1\а-е±Ыу!\ F.1)
где (как и в § 4) в символе «±» верхний знак выбирается при
?>0, а нижний — при ?<0. Для того чтобы функция е* была
устойчивой характеристической функцией, необходимы и доста-
достаточны условия
Г а, если 0 < а < 1,
|Y|<[2-a, если 1< а < 2. F'2)
Так как е* абсолютно интегрируема, то соответствующее рас-
распределение имеет плотность, которую мы обозначим р(х; а, у).
Мы вычислим ее, используя формулу обращения для интегра-
интегралов Фурье гл. XV, C.5). Так как р — вещественная функция
*) Этот параграф посвящен специальным вопросам. Его следует пропу-
пропустить при первом чтении.

658 Гл. XVII. Безгранично делимые распределения
и величина гр(—?) сопряжена с г|)(?), мы получаем
со
р(х; a, Y) = ^Re J e-^-^tlty/2dl F.3)
о
Так как
р(—х; а, у) = р(х; а, - у), F.4)
то эту функцию достаточно вычислить лишь для
а) Случай а<1. Рассмотрим подинтегральное выражение как
функцию комплексного переменного ?. При х>0 и Im ?,—*—оо
подинтегральное выражение стремится к нулю благодаря тому,
что главную роль в показателе играет линейный член. Мы мо-
можем заменить путь интегрирования отрицательной частью мни-
мнимой оси, что сводится к подстановке С = ~ е~1Я'1 и проведению
дальнейших выкладок так, как если бы все коэффициенты
были вещественны. Новое подинтегральное выражение имеет
вид е~'~с'а- Используя разложение е-°'а в ряд и формулу для
гамма-функции, мы получаем сразу
оо
/ \ п —¦' V г (*« + 1)
р / j?- ^ л?) — 1\е ' —^ —
F.5)
б) Случай 1<а<2. Формальную подстановку
легко обосновать так же, как это было сделано при а<1. Новое
подинтегральное выражение имеет вид e~l~cta ta~ ~1. Разлагая
е~с'а в степенной ряд, получаем
р(— х\ а, у) =
л-0
Заменяя индекс суммирования п на k—1 и применяя извест-
известную рекуррентную формулу T(s+ I) =sT(s), имеем
р{— х; а, у) =
Г(Аа
Таким образом, нами доказана
'г

§ 7. Схема серий 659
Лемма 1. Для х>0 и 0<а<1
Р(Х; а, Y) = J-5;li*^tiI(_x-)*sIn^-(Y-a). F.8)
k = \
Для х>0 и 1<а<2
со
p{x\aty) = — 24 k[ (— xf sin-^ (v — a). F.9)
*=i
Для х<0 значения р определяются в соответствии с F.4).
Отметим, что F.8) дает асимптотическое разложение для
х—>оо. Попутно из доказанных формул вытекает следующий
любопытный результат.
Лемма 2. Если а< 1 и х>0, то
^:a.Y"). F.10)
где y* = cc(y+ 1)— 1-
Простая проверка показывает, что значения y* попадают в
интервал, указанный в F.2). Тождество F.10) было впервые от-
отмечено (с другим доказательством) В. М. Золотаревым.
§ 7 *. Схема серий
Понятие схемы серий было описано в гл. VI, 3 следующим
образом. Каждому п соответствует конечное число, скажем гп,
независимых случайных величин Х^_ n{k= 1, 2, . .. , гп) с распре-
распределениями Fh, п и характеристическими функциями фЛ> „. Мы
образуем «суммы по строкам» S/, = Xi, „+ . . . Хг |Л. Обозначим
их распределения и характеристические функции через Un и
(On соответственно. По причинам, объясненным в гл. VI, 3, мы
интересуемся в первую очередь схемами, где влияние отдель-
отдельных компонент асимптотически пренебрежимо. Чтобы обеспе-
обеспечить это свойство, мы ввели условие гл. VI, C.3): величины
Xft, „ должны стремиться к нулю по вероятности равномерно
относительно k=\, . .., г„. В терминах характеристических функ-
функций это означает, что при любых числах е>0 и ?о>О для всех
достаточно больших п
I 1 — Ф*. „ (Q К е при | С |< Сэ. k=U .... г„. G.1)
Такие схемы мы назовем нулевыми схемами.
В подлиннике «треугольные схемы» (triangular arrays). — Прим. перев.

660 Гл. XVII. Безгранично делимые распределения
В § 1 и 2 мы имели дело со схемами серий, в которых рас-
распределения Fk,n не зависели от k. Такие схемы автоматически
оказываются нулевыми. Условие G.1) дает возможность приме-
применить прежние рассуждения почти без всяких изменений.
Теорема 1. Пусть {Х&, п) — нулевая схема и {р„} — после-
последовательность вещественных постоянных. Если распределения
случайных величин Sn + pw сходятся к распределению вероят-
вероятностей U, то последнее оказывается безгранично делимым.
Мы объединим доказательство этой теоремы с выводом не-
необходимых и достаточных условий сходимости. Для этого при-
применим новый способ центрирования, отчасти для разнообразия,
отчасти потому, что он упрощает общий критерий сходимости.
Центрирование математическими ожиданиями будет, ко-
конечно, наилучшим, коль скоро оно применимо. В общем случае
мы введем урезанные математические ожидания. Положим
— 1 при х<.'— 1,
х(х) = 1 х при —1<х<1, G.2)
I 1 при х"^> 1.
Мы будем использовать Е(т(Х)) вместо математического ожи-
ожидания X. Так как функция т непрерывна и монотонна, то
Е(т(Х + ^)) будет монотонной и непрерывной функцией от t.
Поэтому найдется такое значение t, что E(x(X + t)) =0. Для на-
нашей схемы серий это означает, что найдутся такие постоянные
th,n, для которых E(x(Xhy n + th, n)) =0 при всех k и п. Очевидно,
что {Xh,n + tk,n} снова будет нулевой схемой и что теорему до-
достаточно доказать для этой схемы. Таким образом, если мы по-
положим
)). G-3)
то можно, не ограничивая общности, считать bht n = 0 для всех
k и п. В этом случае величина
An=±E^{Xhn)) G.4)
будет служить заменой для дисперсии суммы S,,.
Доказательство теоремы 1. В предположении, что
bh, n = 0, мы имеем
+оо1
Ф*. »(?)-!= J [е** - 1 - «т (*)] Fk, „ [dx\. G.5)

§ 7. Схема серий 661
При 1*| <С 1 подинтегральное выражение по модулю не превос-
превосходит ('/гК2*2, а при \х\> 1 не превосходит 2+|?|. Таким об-
обG-6)
разом, при всех Z,
Ввиду G.1) мы можем (по крайней мере для достаточно боль-
больших п) перейти к логарифмам1). Тогда мы увидим, что при
фиксированном ? и гс->оо
2 log щ, „@ = 2 [ф*. я @ ~ 1 ] + о (Ля). G.7)
»i fti
Обозначим характеристическую функцию предельного рас-
распределения U через со. Левая часть G.7) представляет собой
логарифм характеристической функции Sn. Поэтому
2>g<pftiB(?)-r-fcBe->log©(?) G.8)
равномерно в каждом интервале j?|^?o, где со не имеет нулей.
Умножим обе части G.8) на 1/B/г) и проинтегрируем резуль-
результат по отрезку 1?|</г<?0- Интеграл от i§nZ, при этом исчезнет,
и из G.7) мы получаем
Г„ +оо ft
• G-9)
)
Ь-\ -oo -Л
Подинтегральное выражение в левой части больше, чем
lliOh2x2 при |х(<С1 и больше '/э при (х|3>1. В любом случае
оно больше lwh2x2{x). Следовательно, сумма в левой части
G.9) больше, чем 11ю№Ап, и из G.9) вытекает, что величины
Ап ограничены. Но тогда G.7) принимает вид
тп
2 [ф*. п&-Ц + /РлС -> log о (С). G.10)
*-]
Левая часть является квазихарактеристической функцией вида
A.1) с
^Yb>v Сп = Гп- G.11>
Таким образом, функция со безгранично делима по теореме § 1.
') Относительно логарифмов характеристических функций см. замечание-
в начале первого доказательства § 2.

662 Гл. XVII. Безгранично делимые распределения
Мы доказали теорему. Более того, как мы знаем, из G.10)
вытекает, что
i>x>Fktn[dx)-+M{dx), G.12)
где М — каноническая мера и сходимость понимается в соб-
собственном смысле. Обратно, если это верно, то из G.5) с оче-
очевидностью вытекает, что выполняется G.10) с рп = 0 и
log «>(?)= J е1Х-1-Ъ(*) M{dx] G.13)
— со
(это-специальный случай леммы 1.1). Таким образом мы уста-
установили
Критерий. Пусть {Х^ „} — нулевая схема серий, такая, что
bk: n = 0 при всех k и п.
Если имеет место собственная сходимость G.12), то распре-
распределения сумм Sn сходятся к безгранично делимому распределе-
распределению с характеристической функцией G.13). В противном случае
распределения Sn + pn не сходятся в собственном смысле ни при
каком выборе постоянных рп.
В применениях некоторые усложнения вносит принятая нами
центрировка. Поэтому мы сформулируем наш критерий заново.
В таком виде он будет применим к произвольным нулевым схе-
схемам. Функции М+ и М~ были определены в A.2).
Теорема 2. Пусть {Хй, „} — произвольная нулевая схема.
Если существует каноническая мера М, такая, что во всех точ-
точках непрерывности х>0,
k=\
2
fti
Уаг(т(Хл,я))-*Л1{-1, 1}+Л*+A)+ЛГ(-1), G.15)
то распределения сумм для схемы, серий {Xhi п — bh< „} сходятся
к распределению с характеристической функцией G.13).
В противном случае ни при каких константах р„ распределе-
распределения {Sn + Pn} не сходятся к распределению вероятностей.
Доказательство. При 6ft,n = 0 условия G.14) и G.15)
эквивалентны собственной сходимости в G.12). Следовательно,
для схем, центрированных так, что Е(т(ХЛ,„)) =0, утверждение
теоремы является лишь иной формой нашего критерия.

§ 8. Класс L 663
Рассмотрим теперь произвольную нулевую схему {Xh, n}- По-
Положим Yft)n = Xft,n — 0ft, „, где константы Qh,n выбраны так, что
E(x(Yft, „)) =0. Тогда 0ft,« —»0 равномерно по k(k—\,...,rn).
Поэтому {Yft, „} — нулевая схема, к которой применима наша
теорема. Мы должны показать, что условия теоремы полностью
эквивалентны соответствующим условиям для схемы {Y(., „}.
Функция распределения ?&, „ равна Fh,n(x + Qh,n), и соотноше-
соотношение G.14) очевидным образом выполняется, если в нем заме-
заменить х на x + 0ft>n. Таким образом, соотношения G.14) и соот-
соответствующие соотношения для {Yft] n} равносильны, и потому
условия G.14) необходимы. Для завершения доказательства до-
достаточно проверить, что из них следует
S Var(x(?,,„))-2 Уаг(т(Х,,„)) G-16)
2(**.я-е*,я)->о. G.17)
Положим
т (Yft, п) - х (Xk< п) + 0,, „ = гк, „. G.18)
Функция т(х — 0) —x{x)+Q равна нулю всегда, за исключе-
исключением случая, когда \х\ лежит между 1—0 и 1+0. Для этих
значений она не превосходит |0|. Отсюда выводим, что при
п —> оо
2E(|Zft,n|) ->0.
Последнее соотношение сильнее, очевидно, чем G.17). Легко ви-
видеть, что из него вытекает G.16).
Пример. Роль центрирования. Пусть величины Хй, „ (k —
= 1, 2, . . ., п) распределены нормально с математическим ожи-
ожиданием n-'!t и дисперсией п~1. Тогда величины Sn — n8/i распре-
распределены нормально и существует предельное распределение. Од-
Однако 2Е(Х1,„)= 1 + ]/"«-> со. Это показывает, что в теореме 1
существенно используется введенный там способ центрирова-
центрирования. В иных обстоятельствах члены высшего порядка в разло-
разложении логарифмов не будут пренебрежимо малыми (см. так-
также задачи 16 и 17).
§ 8 *. Класс L
Мы проиллюстрируем силу теоремы G.1), приведя про-
простое доказательство одной теоремы, установленной П. Леви.
Мы еще раз вернемся к частным суммам Sn = Xj+ ••• +ХП
*) Здесь рассматриваются специальные вопросы.

-664 Гл. XVII. Безгранично делимые распределения
последовательности взаимно независимых случайных величин.
Однако здесь в отличие от § 5 распределение Fn случайной ве-
величины Х„ может зависеть от п. Положим Sn = (Srt — bn)jan- Мы
желаем описать все возможные предельные распределения для
{S*} при условиях
Первое условие исключает сходящиеся ряды 2Х;г, которые рас-
рассматриваются в § 10. Ситуации, которые исключает второе усло-
условие, легче всего поможет уяснить
Пример. Пусть Хп имеет показательное распределение с ма-
математическим ожиданием я!. Положим, ап = п\ и Ьп = 0. Тогда
очевидно, что распределение Sn сходится к показательному
распределению с математическим ожиданием 1, но эта сходи-
сходимость имеет место исключительно благодаря подавляющей роли
слагаемого Х„. >
Следуя Хинчину, обычно говорят, что распределение принад-
принадлежит классу L, если оно является предельным распределением
для последовательности {Sn}> удовлетворяющей условиям (8.1).
При таком определении не ясно, что все распределения
класса L безгранично делимы. Мы выведем этот факт из сле-
следующей леммы.
Лемма. Характеристическая функция со принадлежи!
классу L тогда и только тогда, когда для любого s @<s<l)
отношение <fl(?)A»(s?) есть характеристическая функция.
[Отсюда следует, что со(?) =?0 при всех ?.]
Доказательство, а) Необходимость. Обозначим харак-
характеристическую функцию Sn через соп. Пусть п>пг. Случайная
величина Sn может быть представлена в виде суммы (am/an)Sm
и случайной величины, зависящей только от Xm+i,..., Х„ и нор-
нормирующих постоянных. Следовательно,
Фт, п (С). (8-2)
где фт, п — характеристическая функция. Пусть теперь п-+оо
ит->оо так, что amjan —*s<\ [этого возможно добиться в силу
(8.1)]. Левая часть (8.2) сходится к ©(?), а первый множитель
•справа — к co(s?) (так как сходимость характеристических
функций равномерна в каждом конечном интервале [теорема 2,
гл. XV, 3]). Из этого мы выводим прежде всего, что <в не имеет

§ 8. Класс L 66&
нулей. В самом деле, функции cpm>« ограничены, поэтому равен-
равенство со(?0) =0 влекло бы w(s?0) =0 и вообще co(sfe?0) =0 при всех
&>0, в то время как (a(skt,u) —*1. Соответственно отношение
co(?)/co(sQ будет непрерывной функцией, предельной для ха-
характеристических функций срт, „, а потому оно будет характе-
характеристической функцией.
б) Достаточность. Мы начнем с тождества
(8.3)
о (д?) = ©(?)_
В условиях леммы множитель —.,. .. .,¦ будет характеристи-
ческой функцией некоторой случайной величины Х&. Поэтому
со(?)—характеристическая функция для (Х4+ ••• +\п)/п. >
Мы не только доказали теорему, но и установили, что со яв-
является характеристической функцией п-и суммы в схеме серий.
Условие G.1), выделяющее нулевые схемы, тривиальным обра-
образом выполняется. Следовательно, функция ю будет безгранично
делимой. Чтобы отыскать каноническую меру М, определяющую
со, отметим, что отношение (o(?)/(o(s?) также безгранично де-
делимо. Это видно из формулы (8.3). Каноническая мера N, со-
соответствующая co(?)/co(s?), связана с М тождеством
N{dx}=M{dx\- s2M[s-ldx). (8.4)
В терминах функций М+ и М~, введенных в A.2), это соотно-
соотношение имеет вид
7V+ (х) = М+ (х) — М+ (x/s), N~ (— х) = М~ (— х) — М~ (— x/s).
(8.5)
Мы показали, что если каноническая мера М определяет ха-
характеристическую функцию со класса L, то функции N+ и N~,
определенные в (8.5), должны быть монотонны при каждом
0<s<l. Обратно, если это верно, то (8.4) определяет канони-
каноническую меру, соответствующую g)(?)/(d(s?). Нами доказана, та-
таким образом,
Теорема. Характеристическая функция ю принадлежит
классу L тогда и только тогда, когда она безгранично делима и
ее каноническая мера М такова, что две функции (8.5) моно-
монотонны при любом фиксированном 0<s<l.
Примечание. Легко проверить, что указанные функции мо-
монотонны тогда и только тогда, когда М+(ех) и М~(—ех) суть
выпуклые функции.

665 Гл. XVП. Безгранично делимые распределения
§ 9 *. Частичное притяжение.
«Универсальные законы»
Как мы уже видели, распределение F не обязано принадле-
принадлежать какой-либо области притяжения. Поэтому возникает во-
вопрос о том, существуют ли какие-нибудь общие законы асимп-
асимптотического поведения последовательности {F"*} сверток F с
собой. К сожалению, можно встретить практически любое мыс-
мыслимое поведение. Мы опишем здесь несколько возможностей
главным образом по причине их неожиданного характера.
Говорят, что характеристическая функция ф принадлежит об-
области частичного притяжения у, если существуют такие норми-
нормирующие постоянные аг и Ь, и такая последовательность нату-
натуральных чисел пг —* оо, что
]я (9Л)
Здесь предполагается, что \у\ не равен тождественно единице,
т. е. что соответствующее распределение не сосредоточено
в одной точке. Таким образом, соотношение (9.1) обобщает по-
понятие области притяжения, позволяя рассматривать пределы
подпоследовательностей.
По теореме 2.1 предел у будет обязательно безгранично де-
делимым. Приводимые ниже примеры показывают, что возможны
оба крайних случая: существуют как распределения, не принад-
принадлежащие никакой области частичного притяжения, так и рас-
распределения, принадлежащие области частичного притяжения
любого безгранично делимого закона.
Примеры, а) В примере C, е) указана характеристическая
функция ф, которая не является устойчивой, но принадлежит
своей собственной области частичного притяжения.
б) Симметричное распределение с медленно меняющимися
хвостами не принадлежит ни одной области частичного притя-
притяжения. Допустим, что функция L(x) = \ — F(x)+F(—х) мед-
медленно меняется на бесконечности [т. е. выполняется E.5)]. По
теореме 2, гл. VIII, 9 в этом случае
X
U{x) = J y2F[dy}=o(x4(x)), jc-*co. (9.2)
— X
Согласно критерию § 7, для того чтобы распределение F при-
принадлежало какой-либо области частичного притяжения, необхо-
*) Здесь рассматриваются специальные вопросы.

§ 9. Частичное притяжение 667
димо и достаточно условие: для п, пробегающих некоторую
подпоследовательность, функции я[1—F(anx)+F(—апх)] и
na~2U {апх\ сходятся во всех точках непрерывности. Из перво-
первого условия следует nL(an)~\, а из второго nL (an) ~^> оо.
в) Безгранично делимое распределение не обязано принадле-
принадлежать своей собственной области частичного притяжения. В са-
самом деле, из доказательства теоремы 2.1 следует, что если ср
принадлежит области притяжения у, то тем же свойством обла-
обладает безгранично делимая функция распределения е^~1. По-
Последний пример показывает, что функция е'?~1 может не при-
принадлежать ни одной области частичного притяжения.
г) Мы докажем сейчас одно утверждение, которое подгото-
подготовит нас к странностям последующих примеров. Рассмотрим про-
произвольную последовательность безгранично делимых характери-
характеристических функций к>г=е Г с ограниченными показателями.
Положим
со
Ч?)=2-^-Ыя*?)- (9-3)
Тогда возможно подобрать постоянные а^>0 и целые nk так,
что при всех ? при г-* оо
(^) (9.4)
Доказательство. Выберем в качестве {пк} монотонную
последовательность целых чисел, возрастающую столь быстро,
что Пк/пь-i—2h max|\|3ft|. Левая часть (9.4) не превосходит в
этом случае
Г-\
ft=l ft-r+l
Коэффициенты аг мы будем выбирать один за другим по сле-
следующему правилу. Положим а^=\. При данных aiy. .., ar_j вы-
выберем аг столь большим, чтобы величина (9.5) была меньше \jr
для всех |?|< г. Это можно сделать, так как первая сумма не-
непрерывно зависит от Z, и равна нулю при ? = 0.
д) Каждая безгранично делимая характеристическая функ-
функция (й — ё^ имеет область частичного притяжения. В самом деле,
мы знаем, что функция ю может быть представлена как предел
последовательности характеристических функций ayk = e^k обоб-
обобщенного пуассоновского типа. Определим 'к по (9.3) и положим
q = eK. Тогда ф будет характеристической функцией и, согласно
(9.4),
lim qA (J-) = Urn <?ф'(?) = и (?). (9.6).

'668 Гл. XVII. Безгранично делимые распределения
е) Другие возможности. Возьмем две безгранично делимые
характеристические функции еа и е®. Выберем \|)ft с четными ин-
индексами так, что i|Jfe—*a, a i|)ft с нечетными индексами так, что
4>2k+i —* р. Тогда ф = ек принадлежит области частичного при-
притяжения каждого распределения с характеристической функцией
вида em+q®~1, где p + q=\, и не принадлежит никаким другим
областям частичного притяжения. Этот пример легко обобщить.
В терминах выпуклых множеств можно утверждать, что суще-
существует распределение F, принадлежащее области частичного
притяжения любого распределения, расположенного в выпуклой
оболочке п заданных безгранично делимых распределений.
ж) Пусть дана последовательность безгранично делимых ха-
характеристических функций е% еа\ .... Тогда существует функ-
функция <р = ек, принадлежащая области частичного притяжения ка-
каждой из этих функций. Разобьем последовательность целых чи-
чисел на бесконечное число подпоследовательностей (например,
включая в n-ю подпоследовательность все те целые числа, ко-
которые делятся на 2п, но не делятся на 2П). Выберем i|v в при-
примере (г) так, что г|)г —¦ ап при г, пробегающем гс-ю подпоследо-
подпоследовательность. В этом случае, как показывает (9.4), функция
Ф = е^ обладает требуемым свойством.
з) «Универсальные законы» Деблина. Существуют функции
Ф, принадлежащие области частичного притяжения любой без-
безгранично делимой функции со. Действительно, из определения
(9.1) видно, что если ф принадлежит области частичного притя-
притяжения каждой из функций соь со2, • • • и соп —> со, то ф принадле-
принадлежит и области частичного притяжения со. Далее рассмотрим
безгранично делимые характеристические функции, у которых
соответствующие канонические меры сосредоточены в конеч-
конечном числе рациональных точек и приписывают каждой из них
рациональный вес. Множество этих функций счетно. Располо-
Расположим их в последовательность е°", еа\ .... Тогда каждая без-
безгранично делимая функция со будет пределом некоторой под-
подпоследовательности последовательности {ea>t}- Характеристиче-
Характеристическая функция ф, построенная по методу предыдущего примера,
принадлежит области частичного притяжения каждой из функ-
функций as, а потому и области частичного притяжения со.
[Примечание. Последний результат был получен в замечательной статье
Деблина A940), продолжившей работу Хинчина A937). Технические труд-
трудности, связанные с этой задачей, в то время были весьма значительными.
Явление, описанное в примере (б), было в частных случаях отмечено Гне-
денко, Хинчиным и Леви. Интересно отметить те трудности, с которыми
сталкиваются в отдельных примерах, если не принимают во внимание ос-
основной роли медленной изменчивости.]

§ 10. Бесконечные свертки 669
§ 10 *. Бесконечные свертки
Пусть Xi, Х2, . . • — независимые случайные величины с ха-
характеристическими функциями cpi, фг, . • . Как и в G.2), мы опре-
определим «непрерывную урезающую функцию» т равенствами:
т(х) =х при \х\-^, 1 и %(х) = ± 1 при !х|> 1. Основная теорема
о бесконечных свертках утверждает: распределения частных
сумм Xi+'-'+Xn сходятся к некоторому распределению ве-
вероятностей U тогда и только тогда, когда
со оо
2 Var(t(Xs))<oo, 2*Ч|Х*|>1} <оо A0.1)
и
>Ь, A0.2)
где b — некоторое число.
Частный случай конечных дисперсий был разобран в
гл. VIII, 5 с указанием примеров и применений. В общей форме
теорема появилась в гл. IX, 9, где сформулированный результат
был обобщен (была доказана сходимость ряда 2^,г — «теорема
о трех рядах»). Было показано, что упомянутая теорема яв-
является простым следствием основных теорем, касающихся схемы
серий, и поэтому нет необходимости повторять сделанные рас-
рассуждения1). Поэтому мы удовлетворимся примерами, иллю-
иллюстрирующими использование характеристических функций.
Примеры, а) Факторизация равномерного распределения.
Пусть Xfc= ±2~h с вероятностью 1/2. В примере A1, в) гл. I
было объяснено, что 2Xft можно интерпретировать как «число,
выбранное наудачу на отрезке от —1 до 1». Это равносильно
утверждению, что характеристическая функция (sin?)/? равно-
равномерного распределения представима в виде бесконечного произ-
произведения характеристических функций cos (?,/2h). Аналитическое
доказательство основано на тождестве
^ = cosf cos |... cos ^.i!^-. A0.3)
*) Здесь рассматриваются специальные вопросы.
') Прямая проверка того, что A0.1) и A0.2) обеспечивают равномерную
в каждом конечном интервале сходимость произведений фь фг, ..., предста-
представляет собой хорошее упражнение. (Необходимые оценки приведены в на-
начале § 7.) Необходимость этих условий менее очевидна. Однако она легко
вытекает из того факта, что схема серий с и-й строкой Xn, Xn+i, ,.-, Х-п+гп
должна удовлетворять условиям теоремы 7.2 с М=0.

670 Гл. XVII. Безгранично делимые распределения
которое доказывается по индукции, исходя из формулы sin 2а=
= 2 sin а cos а. При п—>оо последний множитель сходится к 1
равномерно в каждом конечном интервале. ?•
Отметим, что произведение четных членов снова соответ-
соответствует сумме независимых случайных величин. Мы знаем из
примера A1, г) гл. I, что эта сумма имеет сингулярное распре-
распределение канторовского типа г) [см. задачи 5,7 и 18].
б) Пусть Yfe имеет плотность -^е"^1 с характеристической
функцией 1/A + ?2). Ряд 2 Yft/A сходится. Для соответствую-
щей характеристической функции sh .- мы получаем канони-
каноническое разложение на множители (sh — гиперболический синус).
Используя задачу 7, гл. XV, 9, находим, что плотность V Ys/?
1 _ 1
равна 2 _|_ gX + g_x — 4 (ch {xj2) J .
§ 11. Многомерный случай
Развитая в этой главе теория без существенных изменений
переносится на многомерный случай. Мы не будем останавли-
останавливаться на деталях. В канонической форме для безгранично
делимых распределений лучше выделять нормальную компо-
компоненту и рассматривать только канонические меры, не имеющие
атома в начале координат. Прежние формулы не потребуют ни-
никаких изменений, если интерпретировать Х^х как скалярное про-
произведение (см. гл. XV, 7). Для определенности мы выпишем
формулу для двумерного случая.
Мера М является канонической, если по отношению к ней
интегрируема функция 1/A -\-x\-\-xQ и если она не имеет атома
в начале координат. Выберем подходящую одномерную центри-
центрирующую функцию, скажем t(x)=sinx, или функцию, указан-
указанную в G.2). Положим
у= Г '1а"+м-1-^Ы-ыы M{dxh A1Л)
где интеграл распространяется на всю плоскость. Тогда а — е^
будет двумерной безгранично делимой характеристической функ-
функцией. Наиболее общая безгранично делимая характеристическая
') Шоке дал привлекательное геометрическое доказательство, применимое
и к более общим бесконечным сверткам. Оно приведено в статье Tortrat A.,
/. Math. Pures. Appl, 39 A960), 231—273.

§ 12. Задачи 671
функция получается умножением на нормальную характеристи-
характеристическую функцию.
Переход к полярным координатам может сделать ситуацию
легче воспринимаемой. Положим
?, =<pcos<p, g2 = psinф, х= г cos0, г/ = /¦ sin9. A1.2)
Определим каноническую меру в полярных координатах следую-
следующим образом. Выберем при каждом 0, —я<0^я, одномерную
каноническую меру Л9, сосредоточенную на б, оо; выберем да-
далее конечную меру W на —я<0<1я (на окружности). Тогда М
можно определить с помощью рандомизации по параметру 0, и
(с тривиальными изменениями центрирующей функции) мы мо-
можем переписать A1.1) в форме
-л 0+
A1.3)
(В такой форме, добавляя к Ле атом в нуле, можно охватить и
случай нормальной компоненты.)
Пример. Устойчивые распределения. Положим, по аналогии
с одномерным случаем, Ле \dr\ = r~a+l dr. Можно было бы до-
добавить произвольный множитель С9, но это свелось бы к замене
меры W. Как мы видели в § 4, при такой мере Л9 A1.3) при-
принимает вид
л
|cos(cp-0)f(l+tgiL)lFH], A1.4)
где верхний (нижний) знак выбирается для ф — 0>О (ф — 0<О).
Из A1.4) ясно, что е^ — строго устойчивая характеристическая
функция. Так же, как и в § 4, можно установить, что других
строго устойчивых функций нет. В SP2 существуют, однако,
устойчивые распределения ?*1>в с логарифмическим членом в по-
показателе.
При ос=1 и равномерном распределении W мы получаем ха-
характеристическую функцию е~ач> симметричного распределения
Коши в Ж* [см. пример G, г) гл. XV и задачи 20—22]. >
§ 12. Задачи
I. При доказательстве леммы 1.4 было установлено, что если i|; пред-
представляется в канонической форме A.12), то функция

672 Г л XVII Безгранично делимые распределения
пропорциональна некоторой характеристической функции Докажите обратное
если ур непрерывна и х(?)/%@)—характеристическая функция (при любом
выборе Л), то г|з отличается от A 12) только на линейную функцию
Указание Докажите, что все решения однородного уравнения линейны.
2. Функция ф представляет собой логарифм безгранично делимой харак-
характеристической функции тогда и только тогда, когда при каждом б>0 функ-
чия
6
~~ IK J * (S ~ S) ds = % {0
-б
пропорциональна некоторой характеристической функции и \|)@)=0, \|)(—?) —
Указание Отличие этой задачи от предыдущей задачи и леммы 14 в
том, что вместо распределения, сосредоточенного в ±h, здесь используется
равномерное распределение См следующую задачу
3. Пусть R — произвольное симметричное распределение вероятностей с
конечной дисперсией Если о) — безгранично делимая характеристическая
функция и гр = log (о, то функция
пропорциональна некоторой характеристической функции Верно и обратное
утверждение (см задачи 1 и 2)
4 Пусть w — безгранично делимая характеристическая функция. Тогда
существуют такие постоянные а и Ь, что |logo)(?)|<a+6?2 при всех ?.
5. Дробовой эффект в вакуумных лампах В примере (Зз) гл VI мы
имели дело со схемой серии, в которой Х&, п обладает характеристической
функцией
Е/(*А)
где h=i/Vn. Покажите, что характеристические функции сумм Sn = Xi, „
4- .., +Х„, „ сходятся к пределу * , где
= a J
е* является характеристической функцией случайной величины Х(/). Диф-
Дифференцированием получаем теорему Кемпбелла гл. VI, C,5).
6. Пусть 6'=2Х11/л, где случапные величины Ха независимы и имеют
одну и гу же плотность '/г^'Н. Покажите1), что случайная величина U без-
безгранично делима и что соответствующая каноническая мера равна
') Характеристическая функция ш равна бесконечному произведению,
которое совпадает с хорошо известным каноническим произведением для
, я (?)
функции
в
Ъ \ — е~я '

§ 12. Задачи 673
[Не требуется никаких вычислений, кроме суммирования геометрической про-
прогрессии.]
7. Пусть P(s)=lphsk, где рк > О и 2/^=1. Допустим, что Р@)>0 и что
log p ' разлагается в степенной ряд с положительными коэффициентами.
Если ф — характеристическая функция какого-либо распределения F, то
Р(ф)—безгранично делимая характеристическая функция. Опишите соот-
соответствующую каноническую меру М в терминах F" *.
Интересный частный случай: если 0 <Ja<6<l, то функция
1 — Ь 1 — яср
1 — а 1 -— 6ф
будет безгранично делимой характеристической функцией.
7а. Интерпретируйте Р(ф) в терминах рандомизации и подчиненных про-
процессов, принимая во внимание тот факт, что Р — производящая функция
безгранично делимой целочисленной случайной величины.
8. Пусть Y — положительная устойчивая случайная величина с показа-
показателем а<1, и пусть X — устойчивая величина с показателем C. Докажите,
что XY ;a—устойчивая величина с показателем а|3 [см. пример B, ж) гл. VI.
О характеристических функциях произведений см. гл. XV, (9.4)].
9. Пусть (о — такая характеристическая функция, что м2(?) =и(а?) и
ц>3(?) =со(&?). Тогда со устойчива.
[Пример C, е) показывает, что одного первого условия недостаточно.
Показатели степени 2 и 3 могут быть заменены любыми двумя взаимно про-
простыми числами.]
10. Покажите, что простая лемма 2 гл. VIII, 8 применима не только
к монотонным функциям, а и к логарифмам характеристических функций.
Выведите отсюда, что если при всех п со" (?) =co(an?), то log со(?) =Л?а при
50, где А — комплексная постоянная.
11. Продолжение. Используя результат задачи 23 из гл. VIII, 10, пока-
покажите (не применяя теорию устойчивых распределений), что если со —устой-
—устойчивая характеристическая функция, то при ?>0 или log a>(?) =Л?а+('&?;, или
log м(?) =AZ,-\-ib'C, log t,, где b — вещественное число.
12. Пусть F сосредоточено на 0, со и 1—F(x)~x aL(x) с 0<^а<1, где
L — медленно меняющаяся на бесконечности функция. Докажите, что
13. Продолжение. Опираясь на результаты § 5, докажите обратное
утверждение, а также докажите, что А = —ГA— a)ei!Xa'2.
14. Продолжение. Докажите индукцией по k следующее утверждение:
для того чтобы при ж->ообыло 1—F(x) ~ ах ~aL(x), где L — медленно меняю-
меняющаяся функция и &<а<А-Н, необходимо и достаточно, чтобы при
было
1 „„
iпПа
Тогда автоматически А = — аТ (А — о) е , где Y{k—о) определяется по
индукции из формулы ГB—а) = A—а)ГA—а).

674 Гл. XVII. Безгранично делимые распределения
15. Сформулируйте (слабый) закон больших чисел для схемы серий как
частный случай общей теоремы § 7.
16. Пусть {Xft, „} — нулевая схема, в которой суммы по строкам имеют
предельное распределение с канонической мерой М. Тогда при х>0
Р{тах[Х1<я ХГд> „]<*}->в-Л+(лг).
Сформулируйте обратное утверждение.
17. Пусть {Xk, п} — нулевая схема из симметричных случайных величин,
в которой суммы по строкам имеют предельное распределение с канониче-
канонической мерой М, имеющей атом веса ст2 в нуле. Покажите, что распределение
случайной величины Srt = 2X/; n — о сходится к распределению, опреде-
определяемому мерой М * без атома в нуле и такой, что Mt (х) = 2AI+ (]/ х) при
х > 0.
18. Пусть 0<г,<1 и 2л.,<со. При любых вещественных о,- бесконечное
произведение
1 —Л1 —г2
сходится и представляет собой безгранично делимую характеристическую
функцию. Указание. В соответствии с задачей 7 каждый множитель без-
безгранично делим.
19. Используйте метод примера (9, г) для построения распределения F,
такого, что lim sup F"*(x) = l и lim inf F"*(x) =0 во всех точках.
20. Возьмем в A1.4) в качестве W равномерное распределение. Тогда
так что е*—симметричное устойчивое распределение.
21. Возьмем в A1.4) в качестве W распределение с весами 'Д в четырех
точках 0, я, '/2я,— '/гЯ. Тогда A1.4) определяет двумерную характеристи-
характеристическую функцию пары независимых одномерных устойчивых случайных ве-
величин.
22. Пусть W в A1.4) сосредоточено в двух точках а и ст+я. Тогда
A1.4) задает вырожденную характеристическую функцию такой пары, что
Xi sin сг—Х2 cos а—О.
Вообще любой дискретной мере W соответствует свертка вырожденных рас-
распределений. Объясните A1.4) с помощью предельного перехода.

ГЛАВА XVIII
ПРИМЕНЕНИЕ МЕТОДОВ ФУРЬЕ
К СЛУЧАЙНЫМ БЛУЖДАНИЯМ
В этой главе в значительной степени повторяются вопросы,
уже разобранные в гл. XII (по этой причине применения све-
сведены до минимума). Была предпринята серьезная попытка по-
построить эту главу независимо от других и сделать ее доступной
при минимуме предварительных сведений (исключая анализ
Фурье из гл. XV). Излагаемая теория совсем не связана с со-
содержанием двух предшествующих глав.
§ 1. Основное тождество
Всюду в этой главе Хь Х2,. . . обозначают взаимно независи-
независимые случайные величины с одним и тем же распределением F
и характеристической функцией ф. Как обычно, мы полагаем
S0 = 0 и Sn = Xi+ ••• + X,J; последовательность {Sn} образует слу-
случайное блуждание, порожденное F.
Пусть А— произвольное множество на вещественной пря-
прямой и А' — его дополнение (в большинстве применений А' бу-
будет конечным или бесконечным интервалом). Если / — подмно-
подмножество (интервал) из А' и если
(l.l)
то мы скажем, что вход ') в А' происходит в момент п в точке I.
Так как вход в А' не обязан быть достоверным событием,
то момент вхождения N может оказаться несобственной случай-
случайной величиной, равно как и точка Sn первого вхождения. Для
совместного распределения пары (N, SN/) мы примем обозначение
#n{/}, л=1, 2, ... A.2)
Таким образом, #„{/} есть вероятность события A.1). Дополни-
Дополнительное соглашение, что #„{/} = 0 при IaA позволяет определить
распределение A.2) для всех / на числовой прямой. Вероятно-
Вероятности A.2) будут называться вероятностями достижения. Их
изучение неотделимо от изучения случайного блуждания до
') Иногда мы будем говорить «достижение А'». — Прим. перге.

676 Гл. XVШ. Применение метода Фурье
момента первого вхождения в Л', т. е. иными словами, от слу-
случайного блуждания, ограниченного множеством А. Положим для
IczA и /г=1, 2, ...
0„{/}=Р{81бЛ, ..., SB_,6A Se6/}, A.3)
т. е. Gn(I) есть вероятность того, что в момент п блуждание
приводит в IczA и что до момента п не произошло вхождения
в А'. Мы распространим это определение на все множества /,
считая Gn{/} = 0 при IczA'.
Отметим, что, согласно нашему определению,
0„{Л} = 1-Р{МО}. A.4)
Случайная величина N будет собственной тогда и только тогда,
когда эта величина стремится к нулю при п —> оо. Рассматривая
положение Sn блуждающей точки в моменты п — 1, 2, ..., ви-
видим, что при IczA'
На+Л1)= JQa{dy)F{I-y), A.5a)
А
а при IczA
О„+1{/}= J0n{dy}F{I-y}. A.56)
А
Условимся теперь обозначать буквой Go распределение вероят-
вероятностей, сосредоточенное в нуле. Тогда соотношения A.5) верны
при п = 0, 1, 2, ... и с их помощью можно последовательно вы-
вычислить все вероятности Я„ и Gn. Эти два соотношения можно
объединить в одно. Разобьем произвольное множество / на чис-
числовой прямой на компоненты IA' и IA и применим A.5) к этим
компонентам. Вспоминая, что Нп и Gn сосредоточены на Л' и Л
соответственно, получаем для /г = 0, 1, ... и произвольного /
Я„+1{/}-гС/!+1{/)= jOn[dy)F{I-y). A.6)
А
Интеграл в правой части представляет собой свертку Gn*F.
Частный случай Л=0, оо разбирался в гл. XII, 3. Соотноше-
Соотношение гл. XII, C.5) играло там ту же роль, что A.5) здесь. Мы
могли бы повторить здесь прежний путь и вывести интеграль-
интегральное уравнение типа Винера — Хопфа, аналогичное гл. XII, C.9).
Оно снова имело бы только одно вероятностное решение (хотя
эта единственность решения не абсолютна). Однако на этот раз
предпочтительнее опираться на мощный метод анализа Фурье.
Нас интересует распределение пары (N, Sn). Так как
N — целочисленная случайная величина, то мы будем использо-
использовать производящую функцию для N и характеристическую для

§ 1. Основное тождество 677
Sn- Соответственно этому положим
оо оо
(s, ?) = 2«я J elUHn\dxV Y(«. ?) = 2«" J *<t*GB{flfx}. A.7)
0 A
J
n=l A' n=0 A
(Для ясности здесь указана существенная часть области инте-
грирования; можно было бы взять интеграл в пределах от —оо
до оо. Во втором ряде член с п —0 равен 1.)
Так как полные массы распределений Gn и Нп не превосхо-
дят единицы, то оба ряда в A.7) сходятся во всяком случае при
|s|<l. Для таких s мы выводим из A.6) основное тождество
%-\-у = \-\-т A.8)
или
1—X==Y[1—5ф]- A-9)
(Другое доказательство см. в задаче 10.)
В принципе % и у могут быть вычислены, исходя из A.5),
и поэтому тождество A.9) может на первый взгляд показаться
избыточным. В действительности прямые вычисления редко
можно довести до конца. В то же время непосредственно из A.9)
можно извлечь много ценной информации.
Пример. Пусть F обозначает двустороннее показательное рас*
пределение с характеристической функцией ф(?) = 1/A + ?2), и
пусть А — —а, а. В силу свойств показательного распределения,
обсуждавшихся в первой главе, кажется правдоподобным, что
распределения Я„ должны быть показательными и одинаковы-
одинаковыми. Если это было бы верно, то по причинам симметрии мы
имели бы соотношение
где 2P(s) — производящая функция для момента N, первого
вхождения во множество \х\~^а. Так как правая часть A.9) об-
обращается в нуль при ?=±/j/"l—s, то для этих ? величина
A.10) должна быть равна единице. Таким образом,
P(s)= - , Н е . . A.11)
Исходное допущение легко проверить, опираясь на A.5а), и без
всяких вычислений: если F имеет показательную плотность, то
то же самое будет верно для Яп+1 при любом виде Gn. Этим
строго обосновывается окончательный результат, содержащий-
содержащийся в формулах A.10) и A.11). Прямое вычисление было бы
сложнее. (Другие примеры см. в задачах 3—6.) >

678 Гл. XVIII. Применение метода Фурье
§ 2 *. Конечные интервалы.
Вальдовская аппроксимация
Теорема. Пусть А=—a, b — конечный интервал, содержа-
содержащий точку нуль, и пусть пара (N, Sn ) соответствует достиже-
достижению дополнения А' к А.
Тогда случайные величины N u Sn будут собственными. Ряд
для производящей функции
со со
S/P(N>«} = Ss4H) BЛ)
л-0 л-0
сходится при некотором1) s>l, и потому N имеет моменты всех
порядков. Величина Sn имеет математическое ожидание тогда
и только тогда, когда распределение F, определяющее случайное
блуждание, имеет математическое ожидание ц. В последнем
случае
Е (SN) = ц • Е (N). B.2)
Доказательство. Пусть г — фиксированное число. При
\т<«< (v + l)f тривиально верно неравенство
0„{Л}<Р{— a<Skr<b при k = l, .... v]. B.3)
Событие, стоящее в правой части, может произойти только если
| Sftr — S(ft_i)r|<a + 6. Эти v событий взаимно независимы и
имеют одну и ту же вероятность ii = P{Sr| <a + 6}. Таким обра-
образом, Gn(A)^.r\v ^ц11Г-1. Следовательно, ряд в правой части
B.1) во всяком случае сходится при 0 < s < ц~11т. Величину x\~llr
можно сделать больше единицы, выбирая г достаточно боль-
большим. Из сказанного следует, в частности, что Gn{A}^-0. В силу
A.4) отсюда вытекает, что N—собственная случайная величина.
Далее, при />0
<SP{N = «}P{|XJ>/}=P{|X1|>i}. B.4)
л-1
Математическое ожидание (x = E(Xt) существует тогда и только
тогда, когда правая часть интегрируема на 0, оо. Если она инте-
интегрируема, то интегрируема и левая часть и E(Sn ) существует.
С другой стороны, неравенство |Х4|>^ + а + 6 влечет неравен-
неравенство |Sn1>? Поэтому из существования E(Sn ) следует суще-
*) Параграф не используется в дальнейшем.
') Это утверждение известно статистикам как лемма Стейна. Другое до-
доказательство см. в задаче 7.

§ 2. Конечные интервалы 679
ствование \.i = E(Xi). Мы знаем, что A.9) выполняется для всех
s, для которых ряд B.1) сходится. Если математические ожида-
ожидания существуют, то
?(SN) = -^-^- = <p'(O)-Y(l, 0) = u,-E(N). B.5) >
Тождество B.2) было получено (при слабых ограничениях)
А. Вальдом. Для случая полуконечного интервала оно согла-
согласуется с гл. XII, B.7). Данное в указаном разделе доказатель-
доказательство (с привлечением мартингалов) без изменений приложимо
и к случаю конечного А. Это доказательство можно видоизме-
видоизменить так, чтобы оно приводило к тождеству B.7).
Чтобы избежать использования мнимого аргумента, входя-
входящего в характеристическую функцию, введем обозначение
+ 0О
= J e-^F{dx). B.6)
Тождество Вальда1). Если f{X)<oo при Х0<Х<Хи то
в этом интервале
е (rN (*) • e~"SN) = х (Г1 W. 'Х> = 1 • B.7)
Доказательство. Из самого вывода тождества A.9) оче-
очевидно, что оно выполняется при тех мнимых значениях аргумен-
аргумента ?, при которых у и % апалитичны. Формальная подстановка
в A.9) s=f~1(X) и \, = iX приводит к B.7). Чтобы оправдать ее,
достаточно показать, что ряд B.1) сходится для s=f~l(X). Те-
Теперь если f(r\) <oo, то
fa(r\). B.8)
Поэтому ряд B.1) сходится в точке s = f~l(l), если f(k)>f(r\).
Так как выбор г) паходится в нашем распоряжении, тотем самым
B.7) доказано для всех точек, кроме тех, где / достигает своего
минимума. Но, будучи выпуклой функцией, / может иметь не
') Вальд применял B.7) в связи с последовательным анализом. Это было
еще до 1945 г. и до того времени, когда началось систематическое изучение
общих случайных блужданий. Естественно поэтому, что его условия были
жесткими, а методы — трудными. Однако их влияние на статистическую ли-
литературу все еще продолжается. Рассуждения в тексте используют одну идею
Миллера (Н. D. Miller A961)).

680 Г л XVIII. Применение метода Фурье
более одной точки минимума. Для нее B.7) верно по непре-
непрерывности. &
Покажем, как применяется B.7) к построению оценок для
распределения N. Положим
pk = P[N = k,SN>b}, ^ = P(N = *,SN<-a} B.9)
и обозначим соответствующие производящие функции через
P{s) и Q{s). (Тогда P + Q будет производящей функцией для
N.) Допустим теперь, что а и b велики по сравнению с матема-
математическим ожиданием и дисперсией F. Тогда Sn, по-видимому,
будет близко к Ь или —а. Если бы только эти числа были воз-<
можными значениями Sn, to тождество B.7) имело бы вид
Естественно ожидать, что при сделанных предположениях B.10)
будет приближенно выполняться. Функция f выпукла, и обычно
можно найти такой интервал So<s<sb что на нем уравнение
sf(X) = \ B.11)
имеет два корня Ki(s) и ^(s), непрерывно зависящих от s. Под*
ставляя их в B.10), мы получаем два линейных уравнения для
производящих функций Р и Q и таким образом можем найти
(по крайней мере приближенно) распределение N и вероятности
выхода вправо или влево.
Примеры, а) Биномиальное случайное блуждание. Пусть Р
имеет атомы веса р и q в точках +1 и —1 соответственно
(p + q = \). Тогда ¦—а и b действительно будут единственно воз-
можными значениями Sn, и потому описанный выше метод бу->
дет точным. Уравнение B.11) имеет два корня, такие, что х} —
= e~xi определяются равенствами
Упомянутый метод приводит к формулам
Легко видегь, что этот результат лишь обозначениями отли-
отличается от формул 1, гл. XIV, D.11) для вероятностей разоре-
разорения1) и что линейные уравнения, полученные из B.10), эквива-
эквивалентны граничным условиям, использованным в 1, гл. XIV, 4.
') Достаточно заменить 11г на Q, г на а и а на а + Ь соответственно.

§ 3. Факторизация Винера — Хопфа 681
б) Арифметические распределения с конечным числом атсм
мов приводят к алгебраическому уравнению B.11) для е~х.
В 1, гл. XIV, 8 было описано, как можно найти точные выра-
выражения для Р и Q, используя все корни этого уравнения. Более
того, было указано, как простое видоизменение нашей неслож-
несложной аппроксимации приводит к точным неравенствам для веро-
ятностей рп и <7д. Этот метод годится и для произвольных рас-
распределений, сосредоточенных на конечном интервале.
§ 3. Факторизация Винера — Хопфа
Вернемся к обозначениям § 1 и выберем Л = — оо, 0. Тогда
(N, Sn) будет точкой первого входа в открытый интервал
Л' = 0, оо и
Z(s, ?) = E(sVssn). C.1)
Следующая лемма может быть не так интересна сама по себе,
но она дает ключ ко всем дальнейшим результатам. [Это лишь
иная формулировка гл. XII, (9.3).]
Лемма 1 '). При \s\<\
со оо
S \^*[dx). C.2)
п = \ 0 +
Доказательство. Переходя в A.9) к логарифмам2}, по-
получаем
Предполагая s достаточно малым, разложим логарифмы в
ряд по степеням % и (\— 1) соответственно. Первое разложение
имеет положительные коэффициенты, так что первый логарифм
представляет собой преобразование Фурье — Стильтьеса некото-
некоторой мерой, сосредоточенной на 0, оо. С другой стороны, у—1
есть разность преобразований, соответствующих двум мерам,
') Принадлежит Г. Бакстеру (Q. Baxter). Упрощенное (но все еще тех-
технически сложное) доказательство было дано Спицером (S р i t г е г F., Trans.
Amer. Math. Soc, 94 A960), 150—169).
2) Логарифм характеристической функции определяется однозначно по
непрерывности в окрестности начала, где она не имеет нулей (см. первое
доказательство гл. XVII, 2). При |s|<l ни один из членов в C.3) не может
обратиться в пуль.

682 Гл. XVIII. Применение метода Фурье
сосредоточенным на —со, 0. То же самое ноэтому верно и для
log у. Левая часть C.3) есть преобразование меры 2 ti~1s"Fn*-
Приравнивая друг другу компоненты, сосредоточенные на 0, сю,
приходим к C.2). Из аналитичности обеих частей этого соотно-
соотношения вытекает, что оно верно при всех |s|<l. р-
В качестве простого следствия получается
Лемма 2. Пусть (N, Sjj)—точка первого входа в —ее, 0.
Определим % по аналогии с C.1). Тогда при |s|<l
s, 9 = log * =^y I eilxFn*{dx). C.4)
Доказательство. Равенство крайних членов устанавли*
вается вычитанием C.2) из C.3). Другое тождество получается
заменой 0, оо на —с», 0 в лемме 1. >
Подставляя C.4) в A.9), получаем при |s|<l
1 _sq,(?) = [l _X(S, СI • [1 -i(s, Q]. C.5)
Это тождество по непрерывности распространяется и на значе-
значение s= 1. Положим для краткости а(?) = %A, ?) и а(?)=хA, ?) ¦
Тогда а и а будут преобразованиями Фурье — Стильтьеса слу-
случайных величин (возможно, несобственных) SN и S^. Мы имеем
1 __ ф = A—а)A— а). C.6)
Положительная и отрицательная оси входят в эту формулу не^
сколько несимметрично. Но это легко поправить. Чтобы не от-
отклоняться в сторону, мы отложим соответствующее рассуждение
до § 6. Здесь мы сформулируем теорему о факторизации в про-
простейшей форме.
Теорема о факторизации. Для произвольной харак-
характеристической функции ф при \s\*Cl имеют место тождества
C.5) и C.6).
Примечательная черта этой факторизации в том, что в нее
входят два (возможно, несобственных) распределения, сосредо-
сосредоточенных на двух непересекающихся интервалах.
Аргументы, приводящие к этой теореме, показывают также,
что факторизация единственна и определяет распределения ле-
лестничных величин. До того как мы углубимся в обсуждение этой

§ 3. Факторизация Винера — Хопфа 683
теоремы и ее связей с результатами гл. XII, мы рассмотрим не-
несколько примеров.
Примеры, а) Биномиальное случайное блуждание. Для клас-
классического случайного блуждания с p^-q факторизация C.5)
имеет вид
\—pelt — qe-4 = {\ — еЩХ—д — де-1*). C.7)
Отсюда видно, что вход в —оо, 0 имеет вероятность 2д и
v( 9 Цг
В соответствии с определением у C.8) можно интерпретировать
следующим образом: математическое ожидание числа заходов
в состояние /е^СО до первого входа в 0, оо равно —¦(— • В ча-
к Р \ р I
стности, при р = 9 = 1/2 получаем занятный результат: до полу-
получения первой положительной суммы Sn каждая точка k-^.0 по-
получается в среднем дважды. [См. пример B,6) гл. XII и зада-
задачи 1 и 2 в гл. XII, 10.]
б) Двустороннее показательное распределение. Если F
имеет плотность -^е~и\, то C.6) принимает форму
1
Справа встречаются характеристические функции односторон-
односторонних показательных распределений.
в) Формула Хинчина — Полячека. Пусть F представляется
в виде свертки сосредоточенного на 0, оо показательного рас-
распределения с математическим ожиданием \/а и некоторого рас-
распределения В, сосредоточенного на —оо,0. Обозначим характе-
характеристическою функцию В через |3, а соответствующее математи-
математическое ожидание через —Ь<0. Допустим, что математическое
ожидание F, равное а~х — Ь, положительно. Тогда C.6) прини-
принимает вид
Последний множитель соответствует несобственному распреде-
распределению с плотностью аВ(х) и полной массой ab. Этот же резуль-
результат был получен прямыми методами в гл. XII, 4 (см. задачу 8).

684 Гл. XVIII. Применение метода Фурье
г) Ограниченные арифметические распределения. В исполь-
используемой здесь терминологии мы можем сказать, что вычисления,
проделанные в примере D,в) гл. XII, приводят к факторизации
C.5) для случая F, сосредоточенного в конечном числе целых
точек.
д) Распределение лестничной случайной величины в показа-
показательном случайном блуждании. В случайном блуждании, свя-
связанном с одним важным примером теории очередей [гл. VI, (9,д)],
распределение F представлялось в виде свертки двух показа-
показательных распределений и
tU-т^Ж- (ЗЛ1)
К счастью, в этом примере можно произвести факторизацию
явно для всех s<l. В самом деле, как легко проверить,
(^Н^) <зл2>
где
2p(s) = а + b — У {а -+- bf — Aabs. C.13)
При ?=0 отсюда выводим, что возрастающие и убывающие ле-
лестничные моменты имеют производящие функции b~^p(s) и
a']p(s) соответственно.
К C.12) можно прийти эвристически. Отсутствие памяти,
внутренне присущее показательному распределению, имеет след-
следствием то, что при каждом п функция #„ имеет плотность вида
bn-e'bx. В этом случае % должно иметь форму B(s)/(b — it,). По
той же причине естественно ожидать, что %(s, ?,) =А (s)/(a+'i?,).
Подставляя эти выражения в C.5), видим, что A(s)=B(s) =
=P(s). >
§ 4. Обсуждение результатов. Применения
Отметим, что результаты предыдущего параграфа лишь обо-
обозначениями отличаются от результатов, полученных комбинатор-
комбинаторными методами в гл. XII. [Факторизация C.6) эквивалентна
гл. XII, C.11), в то время как C.3) совпадает с гл. XII, (9.3).]
Последующие замечания должны пояснить связь между двумя
подходами.
Тождество C.4), записанное для положительной полуоси,
дает

§ 4. Обсуждение результатов 685
где у — комбинация производящей функции и преобразований
Фурье — Стильтьеса для
&„{/} = P{Si>0,...,SB>0, Sn?/}. D.2)
Мы покажем сейчас, что левая часть D.1) построена аналогично
по функциям
Ln{/}=P{0<Sn, S1<Sn,...,Sn_1<Sn€/}. D.3)
В самом деле, D.3) означает лишь, что (п, Sn) является лест-
лестничной точкой (как они были определены в гл. VI, 8; там же
было показано, что эти точки образуют процесс восстановления).
Теперь % представляет собой преобразование для первой лест-
лестничной точки, a %h — для k-й. Поэтому 2 X* соответствует веро-
вероятностям Ln{I) попадания какой-либо лестничной точки в /.
Имея совпадающие преобразования, распределения D.2) и
D.3) сами совпадают. Это уже было доказано в гл. XII, 2 ком-
комбинаторными методами, так что здесь мы имеем новое комбина-
комбинаторное доказательство леммы 21). Наглядная и элементарная
природа отмеченного принципа двойственности вполне объяс-
объясняет его привлекательность. Кроме того, комбинаторные методы
можно иногда применять в ситуациях, не поддающихся аналити-
аналитическим методам (тому примером могут быть симметрично за-
зависимые случайные величины). С другой стороны, использова-
использование преобразований Фурье сильно упрощает формулы и более
тонкие рассуждения, включающие использование тауберовых
теорем, были бы невозможны без преобразований Фурье.
Речь о применениях мы начнем с новой интерпретации
%(«,?), которая играет важную роль в теории очеред&й [см.
гл. VI, (9.5)].
Теорема2). Характеристическая функция для
Un = max[0,S1>...,Sn] D.4)
равна коэффициенту при sn в разложении функции
со оо
л-1 О
Доказательство. Существует однозначно определяемый
первый индекс O^v-^n, такой, что Sv = Un. Он выделяется
>) По историческим причинам аналитическое доказательство обычно ис-
использует более глубокие методы комплексного переменного. Этим оба под-
подхода разобщаются больше, чем это необходимо и естественно.
2) Соотношение D.Ь) по существу совпадает с гл. XII, B,6). Уточнение
см. в теореме 5.2 и задаче 9.

686 Гл. XVIII. Применение метода Фурье
следующими требованиями. Во-первых, S0>Sj для /<v, и, во-вто-
во-вторых, при k>\ разности S/j — Sv неположительны. Первое усло-
условие касается только величин Хь ..., Xv, второе — величин
Xv+i,. . . , Х„. Поэтому
v-0
D-6)
где Lo обозначает распределение вероятностей, сосредоточенное
в нуле. Из мультипликативного свойства производящих функ-
функций следует, что 2S"P {U,, ?/} имеет преобразование Фурье —
Стильтьеса, равное левой части D.5). Справедливость D.5) вы-
вытекает теперь из C.2) и C.4). Ь-
В гл. XII, 8 было показано, каким образом соотношение D.6)
может быть использовано для отыскания распределения вероят-
вероятностей случайной величины Un — положения максимума и для
вывода предельной формы этого распределения — закона арк-
арксинуса.
Перейдем к формулам для математических ожиданий не-
нескольких случайных величин. Напомним в этой связи, что суще--
ствует два существенно различных типа случайных блужданий
(см. гл. XII, 3).
а) Уход к +оо имеет место, когда Sg —точка достижения
I
полупрямой ¦—оо,0 имеет несобственное распределение, т. е.
когда %A,0)<1. Для момента N достижения полупрямой 0, оо
мы получаем, исходя из самого определения
E(N)= 2 Р {N > п) =2 On {-оо. 0} =v(l, 0). D.7)
л = 0 О
Полагая для краткости
an = P{Sn>0}, D.8)
выводим из C.4) при 5 = 1 и ? = 0
со
2^^L<°°- D-9)
Если все математические ожидания существуют, то, дифферент
цируя A.9), находим
то есть
E(SN)=E(N)-E(X1). D.10)

§ 5. Уточнения 687
Это соотношение было установлено в гл. XII, 2, где также было
показано, что E(Sn) существует в том и только том случае
когда Е(Х4) существует и положительно.
б) Осциллирующее случайное >блуждание. Если сс(О) =
= а@) = 1, то с вероятностью единица происходит хотя бы одно
(а следовательно, и бесконечно много) попадание на каждую
полуось. Из D.7) заключаем, что E(N)=oo. Устойчивость коле-
колебаний приводит к тому, что моменты достижения полуосей имеют
бесконечное математическое ожидание (так как это происходит
при бросании монеты).
При каких условиях точки SN и S^ имеют конечные матема-
математические ожидания? Если E(Sn)<oo, to характеристическая
функция а дифференцируема. Из C.6) ясно, что существование
производных а' и а' влечет как дифференцируемость ф, так и
равенство <р'@)=0. Поделим теперь C.6) на ?2 и устремим с,
к нулю. Тогда правая часть стремится к a'@)Z'@)=—E(Sn)X
XE(Sn). Как было показано в гл. XV, D.8), из ограниченности
правой части вытекает, что F имеет второй момент. Таким обра-
образом, Е(Х-,) =ф'@) =0 и Xj имеет конечную дисперсию а2, такую,
что
D.11)
§ 5 *. Уточнения
Основная цель этого параграфа — проиллюстрировать ме-
методы, пригодные для явных вычислений и для использования
тауберовых теорем. Мы начнем с уточнения предыдущего ре-
результата.
Теорема I1). Если E(Xi)=0 и Е (X?) = а2 < со, то
E(Sn) = ^-'' E(Sn) = -^C- E-1)
где
причем последний ряд сходится (по крайней мере условно).
*) Материал не используется в дальнейшем.
') Впервые доказана (более глубокими методами) Спицером (см. сноску
в § 3). Сходимость E.2) важна в связи с уточненным законом арксинуса
[гл. XII, (8.7)].

Гл. XVIII. Применение метода Фурье'
Доказательство. Дифференцируя C.2) по ? и полагая
0, получим
/1 = 1 0
По центральной предельной теореме распределение Z*1" * (а ]/"«. х)
сходится к нормальному, причем таким образом, что сходятся
и все моменты порядка ^2. Отсюда легко следует, что коэффи-
коэффициент при sn в последнем ряде эквивалентен о/]/~2лд. По таубе-
ровой теореме 5 гл. XIII, 5 заключаем, что
_,у E, 0) |Л~5 > -?=¦. E.4)
Далее —/j('(s, 0)—>-E(Sn ) при s—>-l. Предел может быть конеч-
конечным или бесконечным, но во всяком случае он отличен от нуля.
Отсюда следует, что дробь, стоящая в левой части E.4), стре--
мится к конечному пределу. Величина, обратная этой дроби,
встречается в соотношении двойственности для %. Поэтому ука-
указанный предел отличен от нуля. Но в силу C.2)
log
1 - X (*. 0)
Мы доказали, что правая часть имеет конечный предел с. От-
Отсюда и из элементарных тауберовых теорем для степенных ря-
рядов') вытекает E.2). Доказательство закончено.
Теорема 2. Если E(Xi)=fx<0, то точки максимумов \Jn
имеют предельное распределение, преобразование Лапласа ко-
которого задается формулой
соШ = ехр 7,— ? —I r ал . E.6)
Доказательство. Формула D.5) остается верной и при
Z, = i%, X^-0. Преобразование Лапласа для Un равно коэффи-
коэффициенту при sn в
e-'-x-\\Fn*{dx}. E.7)
') См., например, гл. 1 книги Титчмарша «Теория функций», ГИТТЛ, М.,
1951.

§ 6 Возвращения в нуль 689
Как легко видеть, условие (х<0 влечет сходимость1) последнего
ряда при s= 1, так что при s—>- 1 величина E.7) ~ со(Х) A — s)~\
где со определена по E.6). Величины ?/„ не убывают. Интегри-
Интегрирование по частям тривиально показывает, что соответствующие
преобразования Лапласа образуют монотонную последователь-'
ность. Тауберова теорема 5 гл. XIII, 5 гарантирует сходимость
коэффициентов при sn в E.7) к со (Я.). >
§ 6. Возвращения в нуль
В предыдущих вычислениях можно отметить небольшую
асимметрию, связанную с тем обстоятельством, что отрицатель-
отрицательная полуось бралась замкнутой. Это не играег никакой роли,
если исходное распределение F непрерывно, а в общем случае
положение можно исправить. Положим
r» = P(S0<0,..., V^CS^O). «>0, F.1)
fe = PlS!<0 S,_1<0, Se = 0}, л>1. F.2)
Событие F.1) означает возвращение в нуль до попадания на
О, оо. После возвращения в нуль восстанавливается исходная
ситуация. Другими словами, F.1) определяет рекуррентное
событие и F.2) задает распределение для его времени возвраще-
возвращения. Так как 2 f« <^Р № ^СО}, то рекуррентное событие невоз-
невозвратно (исключая тот тривиальный случай, когда распреде-
распределение F сосредоточено в нуле). Пусть r(s) и f(s) обозначают
производящие функции для {/¦„} и {/п}- Согласно основному соот-
соотношению для рекуррентных событий,
r^ = T=7W F-3)
Теперь г„ — масса, приписываемая нулю мерой Gn, и потому
y(s, ?) =r(s) +yi(s, ?), где Yi — преобразование Фурье — Стиль-
тьеса меры, сосредоточенной на открытом интервале —оо, 0.
Выделение множителя r(s) приводит C.5) к симметричной
форме
) [ f)][ ( mn
где х~ — преобразование для точки достижения открытого ин*
тервала —оо,0. Для s = l получаем
1 -«(?)]•[!-«-(?)], F.5)
') В самом деле, подставим в C.2) ?=0 и s=l. Получим, что при уходе
случайного блуждания в — сю ряд 2 п~хР {Sn > 0} сходится. Другие дока-
доказательства см. в теореме гл. XII, 7.2 и задаче 16 гл. XII, 9.

690 Гл. XVIII. Применение метода Фурье
где а и а~ — суть преобразования для точек достижения откры-
открытых полупрямых. Такова симметричная запись факторизации
Винера — Хопфа.
Пусть теперь желательно считать замкнутой правую полу-
полупрямую. Тогда достаточно соединить два первых множителя в
F.5). Получится выражение
/(!)+[!-/(!)]«(?) F.6)
для преобразования точки достижения полупрямой 0, оо. Эта
формула имеет очевидное вероятностное истолкование: с вероят-
вероятностью /A) первое достижение происходит в нуле и с вероят-
вероятностью 1—/A) первые достижения полупрямых 0, оо и 0, оо
одинаковы. [Этот факт был использован в гл. XII, A.10).] По
причинам симметрии из наших формул следует, что вероятности
fn и гп не изменяются, если все неравенства F.1) и F.2) заме-
заменить обратными. (Этот факт был установлен в гл. XII, 2 обра-
обращением порядка случайных величин.) В заключение уместно
заметить, что рассуждения, приводящие к C.2), применимы и к
подсчету массы, сосредоточенной в нуле. Можно показать, что
-P{Sfl = 0). F.7)
[Это то же самое, что и XII, (9.6).]
§ 7. Критерии возвратности
Материал этого параграфа не связан с предшествующей тео-
теорией; он посвящен методу, развитому Чжуном и Фуксом A950)
и позволяющему определить, является ли случайное блуждание
возвратным или невозвратным. Несмотря на наличие указанных
в гл. XII критериев и методов, метод, основанный на анализе
Фурье, сохраняет и методологический, и исторический1) интерес.
Кроме того, в настоящее время это единственный метод, приме-
нимый в многомерном случае. В дальнейшем F обозначает одно-
одномерное распределение с характеристической функцией t$ = u + iv.
За соответствующими определениями читатель отсылается к
гл. VI, 10.
') Тот факт, что условие E(Xj)=O влечет возвратность, был установлен
Чжуном и Фуксом. Интересно отметить, что в 1950 г. эта задача доставляла
серьезные затруднения и многие попытки решить её закончились неудачей.
Внимание к этой задаче было привлечено неожиданным открытием обман-
обманчиво «безобидного» случайного блуждания, в котором Р < Sn > -j > -> 1.
(См. 1, гл. X, 3 и задачу 15 в 1 гл. X. 8.)

§ 7. Критерии возвратности
Критерий. Распределение F будет невозвратным в том и
только том случае, когда при некотором а>0 интеграл
а
J A-
1 — SU
остается ограниченным при s-*-1.
(Мы увидим, что в противном случае интеграл стремится
к оо.)
Доказательство. Определим для 0<s<l конечную меру
со
Us=%sttFn*. G.2)
л = 0
Распределение F будет невозвратным тогда и только тогда, ко-
когда (J{I) остается ограниченным для некоторого открытого ин-
интервала, содержащего нуль (в этом случае U,{I) остается огра-
ничейным для любого конечного интервала/). Равенство Парсе-
валя гл. XV, C.2), примененное к Fn* и треугольной плотности
(номер 4 в гл. XV, 2), дает
2 J
/A)фE)Л G.3)
—со —а
Следовательно,
[ } a J
G'4)
(так как действительная часть — четная функция). Пусть / озна-
означает интервал \х\<.2/а На / подинтегральное выражение в
крайнем левом интеграле G.4) будет >'/з. так что величина
?/,{/} ограничена. Поэтому условия теоремы достаточны. Ее не-
необходимость устанавливается сходным образом на основе ра-
равенства Парсеваля с характеристической функцией 1 — ^~
{номер 5 в гл. XV, 2). При этом G.4) заменяется соотношением
а
f (\ ]х] \lJ \dx\- 2 Г 1-co
cosg? 1~su

69'2 Гл. XVIII. Применение метода Фурье
Для невозвратного распределения F левая часть остается orpaj
ничейной, так что интеграл G.1) с а=72й ограничен. >
Применения, а) Пусть существует производная1) ф'@)=1ц.
Тогда F невозвратно при цфО и возвратно при [д, = 0. В частно-
частности, если F имеет математическое ожидание ц, то условие jli == О
необходимо и достаточно для возвратности.
Для доказательства заметим, что при фиксированных сс>0,
¦П>0 и s-vl
а
h^-i-^- G-6)
Так как и — четная функция, то и'@)=0 и v'@)=\i. При
берем t) = 2|jx| и берем а столь малым, чтобы при |s|>72 под-
интегральное выражение в G.1) не превосходило умноженного
на фиксированную константу подинтегрального выражения в
G.6). Так как интеграл G.6) ограничен, то F невозвратно.
Пусть теперь |и = 0. Тогда мы можем выбрать г) сколь угодно
малым, а а>0 таким, чтобы отношение подинтегральных выра-
выражений в G.1) и G.6) превосходило некоторую положительную
константу. Так как интеграл G.1) может быть сделан сколь
угодно большим, то F возвратно. [Более сильное утверждение
см. в задаче П.]
б) Из указанного критерия ясно видно, что F возвратно,
если для любого а>0
а
rrrf? = oo, G.7)
J A—ИJ 4- V2 "Ь~ '
о
и невозвратно, если при некотором а>0
[^Ц<со- G-8)
Применения см. в задачах 11—14.
в) Невырожденное двумерное распределение с нулевыми
математическими ожиданиями и конечными дисперсиями ком-
компонент является возвратным. Для доказательства заметим, что
наш критерий без изменений применим к двумерным характе-
характеристическим функциям. Положим г =?i-|-&2' Из формулы
Тейлора видно, что в некоторой окрестности нуля разность 1 —и
') По поводу существования ср'(О) см. пример A,в), гл. XVII.

§ 8. Задачи 693
лежит между двумя положительными кратными г2 и потому
подинтегральное выражение в G.7) больше некоторого кратного
г) Каждое трехмерное распределение невозвратно. В самом
деле, из формулы Тейлора для косинуса ясно видно, что для
любой характеристической функции величина A — и)/г2 больше
некоторой положительной постоянной. Трехмерный аналог G.8)
следует сравнить с интегралом от 1/г2, который в трехмерном
случае расходится.
§ 8. Задачи
1. Распространите пример § 1 на случай несимметричного интер-
интервала —а, Ъ. (Выведите два линейных уравнения для двух производящих
функций, соответствующие двум границам. Явное решение затруднительно.)
2. Покажите, что в примере § 1 Е (N) = 2Р' A) = 1 2~'г~^'' ^каза'
ние. Используйте дифференцирование A.10).
Задачи 3—6 касаются симметричного биномиального блуждания, т. е.
cp(?)=cos?. Используются обозначения § 1.
3. Пусть А состоит из двух точек: 0 и 1. Покажите элементарным путем,
что
Y(s,?) =
Проверьте A.9).
4. Если в предыдущем примере поменять ролями А и Л', то
Дайте вероятностное объяснение.
5. Пусть А состоит из одной точки 0. Тогда % зависит только от s, и
Y будет суммой двух степенных рядов, расположенных по степеням е ^ и е~'*°
соответственно. Используя эту информацию, найдите % и у непосредственно
из A.9).
6. Если А' состоит из одной точки 0, то % = sq> и у=1-
7. Докажите сходимость B.1), показав, что урезание F в точках ±(а + Ь)
не влияет на задачу, так что применимы неравенства типа B.8).
8. Допустим, что в примере C, в) (формула Хинчина — Полячека) ab>\.
Покажите, что существует единственное положительное число х, лежащее

694 Гл. XVIII. Применение метода Фурье
между 0 и а, такое, что
ар (— Ы) — а — к.
Докажите, что
axgpg
[Сравните с примерами 5,а—б, гл. XIII.]
9. Пусть Un = max [0, Si Sn] и Vn = Sn—Un. Слегка изменяя рассу-
рассуждения, использованные при выводе D.5), покажите, что двумерная характе-
характеристическая функция для пары (Un, Vn) равна коэффициенту при sn в ')
О "I
\
ехр
У —
•^Н ft
/1 = 1
L 0
10. Другое доказательство тождества A.9). Покажите, что (в обозна-
обозначениях § 1) п
ft = l Л'
а) прямыми вероятностными рассуждениями,
б) по индукции.
со
Возьмите Us= 2 s>lFn:^- Покажите, что ( * ) равносильно A.9).
0
11. Допустим, что в некоторой окрестности нуля |1—ф(?)|<Л-|?|. Тогда
F возвратно, за исключением случая, когда оно имеет математическое ожи-
ожидание ц=рО
a lit,
Указание.
Интеграл G.7) превосходит dt, x2F {dx). Подстановка
о -1/Е
t,— \jt и перемена порядка интегрирования показывают, что этот интеграл
расходится (за исключением случая, когда существует \i).
12. Используя критерий G.8), покажите, что если при некотором р>0
и <->оо t
Г
t
то распределение F невозвратно ').
13. Распределение с характеристической функцией <р(^) = е~'/.—г- cos (л! Q
невозвратно.
Указание. Используйте G.8) и замену переменных 5 = —j- t.
14. Асимметричное устойчивое распределение с показателем а=1 невоз-
невозвратно. Однако распределение Коши возвратно.
') Результат получен впервые аналитическим путем Спицером, S p i t-
z er F., Trans. Amer. Math. Soc, 82 A956), 323—339.
2) Отсюда видно, что при слабых условиях регулярности F невозвратно,
если абсолютный момент какого-либо порядка р<1 расходится. Затруднения,
возникающие при отказе от условий регулярности, показаны в статье
.Shepp L. A., Bull. Amer. Math. Soc, 70 A964), 540—542.

ГЛАВА XIX
ГАРМОНИЧЕСКИЙ АНАЛИЗ
В этой главе даны дополнения к теории характеристических
функций, изложенной в гл. XV, также даны применения гармо-
гармонического анализа к случайным процессам и стохастическим ин-
интегралам. Обсуждение формулы суммирования Пуассона в § 5
практически не зависит от остального материала. Глава как це-
целое не зависит от гл. XVI—XVIII.
§ 1. Равенство Парсеваля
Пусть U — распределение вероятностей с характеристической
функцией
a(?)=*J e^U\dx\. A.1)
— СО
Интегрируя это выражение по какому-либо другому распределе-
распределению F, получаем
+ ОО -\ СО
A.2)
+ 0О
— СО
-\ со
dt}= J <p(x)U{dx),
— со
где ф — характеристическая функция F. Это одна из форм ра-
равенства Парсеваля, из которого были выведены основные резуль-
результаты гл. XV, 3. Удивительно количество новой информации, ко-
которую можно получить, переписывая равенство Парсеваля в
эквивалентных формах и рассматривая специальные случаи.
Этот метод, который мы постоянно будем использовать, можно
проиллюстрировать простым примером (имеющим и самостоя-
самостоятельный интерес).
Пример. Формула "
-I оо ^со
J e-iaho(QF{c&}= J q(x)U{a+dx} A.3)

696 Гл. XIX. Гармонический анализ
отличается от A.2) только обозначениями. Рассмотрим частный
случай, когда F— равномерное распределение на —t,t и ф(х) =
• Эта функция не превосходит по абсолютной величине
tx
единицы и стремится к нулю при /->-оо при всех хФО. По тео-
теореме об ограниченной сходимости получаем
t
f e-"*o>(?)rf?. A.4)
— t
Эта формула позволяет узнать, будет ли а точкой непрерывно-
непрерывности и, если а — атом, позволяет определить его вес. Наиболее
интересный результат получается применением A.4) к симме-
тризованному распределению °U с характеристической функ-
функцией |со|2. Если Р\, Pi, . . . суть веса атомов И, то °U имеет атом
веса 2 Р\ в нуле (см. задачу 8 в гл. V, 11). Поэтому
Эта формула показывает, в частности, что характеристические
функции непрерывных распределений «в среднем» малы. >
Приведем теперь полезный и «гибкий» вариант формулы
Парсеваля A.2). Пусть А и В — произвольные распределения
вероятностей с характеристическими функциями а и р соответ-
соответственно. Тогда
+ со 4 оо
E — t)A[ds) B{dt}= f a(x)Hx)U{dx}, A.6)
где р — величина, комплексно сопряженная с р. Справедливость
A.6) проверяется непосредственно интегрированием
[dx] A.7)
по А и В. Может создаться обманчивое впечатление, что A.6)
общее A.2). На самом деле A.6) есть специальный случай ра-
равенства Парсеваля A.2), соответствующий F=A*~B, где ~В —
распределение с характеристической функцией р (т. е. ~В (х) =
= 1 —В(—х) во всех точках непрерывности). Действительно, F
имеет характеристическую функцию ф = аC, так что правые ча-
части A.2) и A.6) идентичны. Левые части отличаются лишь
формой записи. Лучше всего это можно показать, вводя две не-

§ 2. Положительно определенные функции 697
зависимые случайные величины X и Y с распределениями А и В
соответственно. Тогда левая часть A.6) представляет собою
прямое определение математического ожидания Е(со(Х — Y)),
а левая часть A.2) выражает это математическое ожидание в
терминах распределения F разности X — Y. (Мы еще вернемся
к формуле Парсеваля в § 7.)
§ 2. Положительно определенные функции
В 1932 г. С. Бохнер доказал важную теорему, которая делает
возможным описание класса характеристических функций по
их «внутренним» свойствам. Путь рассуждений указывается сле-
следующим простым критерием.
Лемма 1. Пусть со — ограниченная непрерывная комплекс-
позначная функция, интегрируемая1) на —оо, оо. Определим и
равенством
±
B.1)
Для того чтобы функция со была характеристической, необхо~
димо и достаточно, чтобы было со@) = 1 и и(х) ^-0 при всех х.
При этих условиях и является плотностью вероятности, соответ-
соответствующей СО.
Доказательство. Теорема об обращении интеграла
Фурье [гл. XV, C.3)] показывает, что высказанные условия не-
необходимы. Выберем теперь произвольную четную плотность / с
интегрируемой характеристической функцией ср^О. Умножим
B.1) на q>(tx)eiax и проинтегрируем по х. Применяя к паре /, ср
формулу обращения гл. XV, C.5), получаем
-boo -J-OO
J и (х) ф (tx) eia* dx = J со (Q / (i=iL) ^. B.2)
— OO —CO
Правая часть представляет собой математическое ожидание со
по отношению к некоторому распределению вероятностей и по-
потому не превосходит максимума |со|. При а = 0 подинтегральное
выражение слева не отрицательно и стремится к и(х) при ?->0.
Из ограниченности интеграла вытекает интегрируемость и.
Переходя в B.2) к пределу при ?->0, получаем
a>(a) B.3)
') Как и всегда, это означает абсолютную интегрируемость.

698 Гл XIX Гармонический анализ
(в левой части применяется теорема об ограниченной сходимо-
сходимости; в правой части распределение, по которому интегрируется со,
сходится к распределению, сосредоточенному в точке а).
Полагая а = 0, видим, что и — плотность вероятности, которой
соответствует характеристическая функция со. 8>
Условие интегрируемости, появляющееся в лемме, выглядит
более ограничительным, чем оно в действительности является.
В самом деле, по теореме непрерывности непрерывная функ-
функция со будет характеристической в том и только том случае,
когда при каждом е>0 со (?)<?-* есть характеристическая функ-
функция. Из леммы следует, что ограниченная и непрерывная функ-
функция с со(О)=1 является характеристической тогда и только то-
тогда, когда при всех х и е>0
-1 со
J е-^а>A)е-^с%>0. B.4)
Этот критерий имеет совершенно общий характер, однако
его трудно применять в частных случаях. К его недостаткам
относится и произвольный выбор «множителя сходимости» е"^2.
Поэтому мы сформулируем критерий в новой форме.
Лемма 2. Ограниченная непрерывная функция со будет ха-
характеристической в том и только том случае, если со@) = 1 и для
любого распределения вероятностей А и всех х
+ СО
J *-(Е*©(С)°Л{а[С}>0, B.5)
— оо
где °А=А -Х--А —распределение, полученное симметризацией.
Доказательство, а) Необходимость. Пусть а — харак-
характеристическая функция А. Тогда °А имеет характеристическую
функцию |aj2, и необходимость B.5) вытекает из равенства
Парсеваля A.3).
б) Достаточность. Как показывает B.4), условие B.5) яв-»
ляется достаточным уже в том случае, когда в качестве А выби-
выбираются нормальные распределения с произвольными диспер-
дисперсиями. >
Мы видели, что B.5) можно переписать в виде A.6) с В=А.
В частности, если А сосредоточено в конечном числе точек
tu 4,...,'пИ приписывает им веса ри р% ¦ ¦ ¦, рп, то B.5) при-

§ 2. Положительно опреде тенные функции 699
нимает форму
2 со (tj- tk) e-ul'r'*)pjPk > 0. B.6)
Если это неравенство верно при любом выборе tj и р}, то
B.5) выполняется для всех дискретных распределений с конеч-
конечным числом атомов. Так как каждое распределение может быть
представлено как предел подобных дискретных распределений,
условие B.6) оказывается необходимым и достаточным. Обо-
значим Z} = PjC~lx i< тогда оно принимает вид
2©(*;-**)г;г*>0. B-7)
Для окончательной формулировки нашего критерия введем один
часто используемый термин.
Определение. Комплекснозначная функция1) вещест-
вещественного переменного t называется положительно определенной,
если B.7) выполняется при любом выборе вещественных чи-
чисел ti, ... ,tn и комплексных чисел zu . . . , zn.
Теорема. (Бохнер.) Непрерывная функция от со является
характеристической функцией некоторого распределения веро-
вероятностей в том и только в том случае, когда она положительно
определена и со@)=1.
Доказательство. Мы показали раньше, что эти усло-
условия необходимы и что они достаточны, если со ограничена. До-
Доказательство заканчивается ссылкой на следующую далее лем-
лемму, которая утверждает, что все положительно определенные
функции ограничены. >
Лемма 3. Если со положительно определена, то
щ@)>0, |<о(*)|<со(О). B.8)
Доказательство. Пусть ^2 = 0 и z2=l. При п = 2 полу-
получаем из B.7)
+ o)(^)^ + co(—^)^>0. B.9)
Полагая Zi = 0, видим, что со@) >-0. Кроме того, B.9) пока-
показывает, что <в(—^) комплексно сопряжено с a(/i). При
Zi = X'(u(ti) левая часть B.9) становится квадратным много-
') Об «обобщенных» положительно определенных функциях (эквивалент-
(эквивалентных распределениям в смысле Л. Шварца) в произвольных пространствах,
см. Гельфанд и Виленкин A964).

700 Гл. XIX. Гармонический анализ
членом относительно Я, не принимающим отрицательных значе-
значений. Поэтому его "дискриминант не положителен, откуда и вы-
вытекает второе из неравенств B.8). >
§ 3. Стационарные процессы
К важным следствиям приводит применение последней тео-
теоремы к случайным процессам со стационарными ковариациями.
Под этим понимается семейство случайных величин {Х(}, опре-
определенных на некотором пространстве при всех —оо<^<оо и
таких, что
Cov(X5+b X,)=p@ C.1)
при любых s. До сих пор мы рассматривали только действитель-
действительные случайные величины, но теперь мы введем комплексные
случайные величины, что сделает обозначения более простыми
и более симметричными. Комплексная случайная величина —¦
это просто пара действительных случайных величин, записанная
в форме X=U-MV. Мы не делаем никаких предположений от-
относительно совместного распределения величин U и V. Случай-
Случайная величина X=U — iV называется комплексно сопряженной
с X, и произведение XX играет здесь ту же роль, что и X2 для
вещественных случайных величин. Отсюда некоторая асиммет-
асимметрия в определении дисперсии и ковариации: если
E(X)=E(Y)=0,
то мы полагаем
Cov (X, Y)=E(XY). C.2)
Тогда Var(X) = E(jX|2)>0.
Теорема. Пусть {Х(} — такое семейство случайных величин,
что функция _
р@=Е(Х,+Д.) C.3)
не зависит от s и непрерывна1). Тогда р положительно опреде-
определена и потому
= J eMR{dl}, C.4)
— со
где R — мера на вещественной прямой, приписывающая всей
прямой массу р@).
') Непрерывность существенна: для взаимно независимых случайных ве-
величин Х( мы имеем р(^)=0 для всех t фО; эта функция не допускает пред-
представления C.4) (см. задачу 2).

§ 3. Стационарные процессы 701
Если случайные величины Xt вещественны, то мера R сим-
симметрична и
+ 00
р(*)= J cosM?{flfA,}. C.5)
— со
Доказательство. Выберем произвольно точки tu ..., tn
и комплексные числа г4, . . . , г„. Тогда
2 Р @ - ta) z?u = 2 Е (X,yX,ft) г/* =
= Е (S X, .г/Х,^) = Е (| S Х,уг, |2) > 0, C.6)
и C.4) вытекает из критерия предшествующего параграфа.
Если р вещественно, то соотношение C.4) выполняется также
и для «отраженной» меры, получаемой заменой х на —х. По
теореме единственности R симметрично. >
Меру R называют спектральной мерой1) случайного про-
процесса. Множество ее точек роста называют спектром {\t}-
В большинстве применений случайные величины центрированы
так, что Е(Х(} = 0. В этом случае p(^)=Cov (Xf+s, XS). По этой
причине р называют обычно ковариационной функцией процесса.
Центрирование Xt никак не влияет на те свойства процесса, ко-
которые мы будем изучать.
Примеры, а) Пусть Zu . . ., Zn — попарно некоррелированные
случайные величины с нулевыми математическими ожиданиями
и дисперсиями а\, ..., а2п. Положим
Xt = Z/V + . .. + 1пеап\ C.7)
где числа Хи . . . , Хп вещественны. Тогда
ayV+ ... 4-oyV, C8)
так что мера R сосредоточена в п точках Хи ..., Хп. Мы увидим
позже, что общие процессы можно трактовать как предельный
случай процессов, указанных в этом примере.
Если процесс C.7) — вещественный, его можно представить
в виде
X, = Ui cos Vj* + • ¦ • + Ur cos vrt -4- Vj sin vj* + ... + Vr sin vrt, C.9)
где Uj и Vj — вещественные попарно некоррелированные случай-
случайные величины и
В теории связи говорят также о «спектре мощностей».

702 Гл. XIX. Гармонический анализ
Типичный пример см. в гл. III, G.22). Соответствующая кова-
риация pt--=olcosvlt-Jr ¦¦¦ -\-ofcosvrt. Аналогичное замеча-
замечание применимо и к другим примерам.
б) Марковские процессы. Если случайные величины Х( нор-
нормальны и процесс марковский, то p(t) =e~aitl [см. гл. III, (8.14)].
Спектральная мера пропорциональна распределению Коши.
в) Пусть X( = Ze"Y,rfle Y и Z — независимые вещественные
случайные величины и E(Z)=0. Для такого процесса мера R
пропорциональна распределению вероятностей Y. >
Теоретически не играет роли вопрос о том, описывается ли
процесс в терминах ковариационной функции р(/) или эквива-
эквивалентным образом в терминах спектральной меры R. Однако
с практической точки зрения описание в терминах спектральной
меры обычно проще и предпочтительнее. В применениях к тео-
теории связи спектральное описание имеет технические преимуще-
преимущества при проектировании приборов и измерениях, но мы не бу-
будем задерживаться на этом обстоятельстве. Более важным преи-
преимуществом с нашей точки зрения является то, что линейные
операции над Xt (часто называемые фильтрами) лучше описы-
описываются в терминах R, чем в терминах р.
г) Линейные операции. Начнем с простейшего примера слу-
случайных величин Y(, определяемых равенством
У, = 2*Л-т4. (ЗЛО)
где си и ift — постоянные (та вещественны) и сумма содержит
конечное число членов. Ковариационная функция для Yt опреде-
определяется двойной суммой
PY @ = 2 w('-*,+**)¦ (ЗЛ1>
а соответствующая спектральная мера R\ равна
#y \dl) = \2с}е~~ixix\2R{dl). C.12)
В отличие от C.11) последнее соотношение допускает интуитив-
интуитивную интерпретацию: составляющая R, соответствующая частоте
Я, умножается на «частотную характеристику фильтра», опре-
определяемую данным преобразованием C.10).
Этот пример имеет значительно более широкую область при-
применимости, чем это может показаться на первый взгляд. При-
Причина этого в том, что интегралы и производные суть пределы
сумм вида C.10) и потому аналогичное замечание применимо
и к ним. Пусть, например, Xt — сигнал, подаваемый на вход
стандартной электрической цепи. Тогда выходной сигнал Y; мо-
может быть представлен в виде некоторого интеграла, содержа-

§ 4 Ряды Фурье 703
щего Xt, и спектральная мера R\ опять может быть выражена
через R и частотную характеристику. Последняя зависит от
строения цепи. Поэтому наш результат может быть использован
в двух направлениях: именно, чтобы описать процесс на выходе
и чтобы строить цепи, выходной сигнал которых обладает за-
заданными свойствами. >
Перейдем к теореме, обратной к доказанной выше. Мы пока-
покажем, что для любой меры R на числовой прямой найдется ста-
стационарный процесс Xt со спектральной мерой R. Поскольку пре-
преобразование Xt —> aXt переводит R в a2R, мы можем, не огра-
ограничивая общности, считать R вероятностной мерой. Возьмем в
качестве выборочного пространства Я,-ось вместе с мерой R,
и обозначим Х( случайную величину Xt(k) =eitx. Тогда
Е(Х,+,Х\)=р@- C.13)
Мы построили, таким образом, модель стационарного процесса
с заданной спектральной мерой. Приятной неожиданностью яв-
является тот факт, что в подобной модели возможно выбрать в ка-
качестве выборочного пространства вещественную прямую. Мы
вернемся к этой модели в § 8.
Легко видоизменить модель так, чтобы получить случайные величины
с нулевыми математическими ожиданиями. Пусть Y— случайная величина, не
зависящая от всех Х( и принимающая значение ±1 с вероятностью
по '/г каждое. Положим Х^ = YX^. Тогда Е (Х^) = 0 и E(X^+iX^) =
= Е (Y ) E(XfJ 5XS.) Таким образом, (Х^| является стационарным процессом
€ ковариационной функцией р.
§ 4. Ряды Фурье
Арифметическое распределение, приписывающее точке п ве-
вероятность ф„, имеет периодическую, с периодом 2я, характери-
характеристическую функцию
2ф„е'яс- D.1)
— со
Вероятности фп выражаются с помощью формулы обращения
которая легко выводится из D.1) [см. гл. XV, C.14)].
Возьмем теперь произвольную функцию ф с периодом 2я и
определим числа щ с помощью D.2). Задача состоит в том,

704 Гл. XIX. Гармонический анализ
чтобы узнать, является ли ср характеристической функцией, т. е.
задают ли числа <р„ распределение вероятностей. Метод опи-
опирается на исследование семейства функций /,, определенных при
0<г<1 равенством
-г СО
Ш = 2ф,/'!|^. D.3)
— со
Несмотря на их простоту, наши рассуждения приведут к важ-
важным результатам относительно рядов Фурье и характеристиче-
характеристических функций распределений, сосредоточенных на конечных ин-
интервалах.
В последующем удобнее рассматривать основной интервал
—я, я как круг (т. е. отождествить точки я и —я). Для интег-
интегрируемой ф число cp/j будет называться k-ы коэффициентом
Фурье функции ф. Ряд D.1) называют «формальным рядом
Фурье», соответствующим ф. Он не обязан сходиться, но так как
последовательность {фи} ограничена, то ряд D.3) сходится к не-
непрерывной (и, более того, дифференцируемой) функции fr. При
г —* 1 функции fr могут стремиться к пределу а|\ даже если ряд
D.1) расходится. В этом случае говорят, что ряд «суммируем по
Абелю» к функции \|э.
Примеры, а) Пусть фп = 1 для п = 0, 1, 2, .., , но фя=0 для
и<0. Члены ряда D.1) не стремятся к нулю, и потому ряд
расходится при любом ?. С другой стороны, правая часть D.3)
есть сумма членов геометрической прогрессии, следовательно,
Предел при г —> 1 существует во всех точках, кроме ?=0.
б) Важный частный случай D.3) получается, когда cpn = 72jt
при всех п;
-ТОО
^^e"". D-5)
Сумма членов с л^О указана в D.4). По соображениям сим-
симметрии получаем
или
Эта функция постоянно используется в теории гармонических
функций [где pr{t — I) называют ядром Пуассона]. Для удоб-

§ 4. Ряды Фурье 705
ства ссылок мы сформулируем ее основное свойство в следую-
следующей лемме.
Лемма. При фиксированном 0<г<1 функция рг есть плот-
плотность некоторого распределения Рг на единичной окружности.
При г —* 1 последнее сходится к распределению вероятностей, со-
сосредоточенному в точке с t = 0.
Доказательство. Ясно, что р, ^0. Из D.5) видно, что
интеграл от рг но —п, л равен единице, так как при пфО интег-
интеграл от егп( равен нулю. При г —> 1 в каждом открытом интер-
интервале, не содержащем t—Q, pr{t) ограниченно сходится к нулю.
Следовательно, Рг имеет нредельное распределение, сосредото-
сосредоточенное в / = 0. >
Теорема 1. Непрерывная функция ф, имеющая период 2я,
будет характеристической тогда и только тогда, когда ее коэф-
коэффициенты Фурье D.2) неотрицательны и ф@)=1. Если эти ус-
условия выполнены, ряд Фурье D.1) сходится к ф.
[Иными словами, формальный ряд Фурье с неотрицатель-
неотрицательными коэффициентами D.2) сходится к непрерывной функции
в том и только том случае, когда 2 Фй<°°. Последнее условие
влечет D.1).]
Доказательство. В силу D.2) и D.5) функция fr из
D.3) может быть представлена в виде
D.8)
Справа стоит свертка ф и распределения вероятностей Рг, по-
поэтому при г —* 1
Ы?)(?) D.9)
Далее если ш — верхняя грань | ф |, то
2|я| D.10)
Так как члены последнего ряда неотрицательны, то переходом
к пределу при г —> 1 получаем неравенство 2ф,-С^ Поэтому
ряд 2 Фле'л? сходится и из D.3) с очевидностью вытекает, что
/г(?) сходится к его сумме. Таким образом, D.1) верно. Дока-
Доказательство закончена, >

706 Гл. XIX. Гармонический анализ
Заметим, что D.9) — прямое следствие свойств свертки и
не зависит от предположения о неотрицательности коэффициен-
коэффициентов ф„. То есть нами попутно доказана
Теорема 2!). Если ф непрерывна и имеет период 2я, то
D.9) выполняется равномерно относительно Z,.
(Обобщение на случай разрывных функций см. в задачах 5
и 6.)
Следствие 1. (Фейер.) Любая непрерывная периодическая
функция ф может быть представлена как предел равномерно
сходящейся последовательности тригонометрических много-
многочленов.
Другими словами, для любого е>0 найдутся числа a_N, . .,
..., Ол', такие, что
N
Ф^—З^ <*„«"« <e D.11)
при всех ?.
Доказательство. Выберем г так, что \\т — ф | < у е.
Так как ряд в D.3) мажорируется геометрической прогрессией,
то можно выбрать N столь большим, что сумма всех членов
с «>ЛГ при всех Z, по абсолютной величине меньше уе. >
Полноты ради укажем следующий результат.
Следствие 2. Две интегрируемые периодические функции
с одинаковыми коэффициентами Фурье могут отличаться друг
от друга только на множестве меры нуль (т. е. их интегралы
совпадают).
Доказательство. Для интегрируемой периодической
функции ф с коэффициентами Фурье фп положим
D.12)
') Теорема может быть сформулирована по-другому: ряд Фурье непре-
непрерывной периодической функции ср суммируем по Абелю к ср. Теорема (и ме-
метод доказательства) легко распространяется на другие методы суммиро-
суммирования.
Указанное явление было впервые замечено Л. Фейером (для суммирова-
суммирования по Чезаро, см. задачу 8) в то время, когда расходящиеся ряды все еще
представлялись чем-то таинственным. Открытие Фейера было сенсационным
и по историческим причинам в учебниках до сих пор употребляют суммиро-
суммирование по Чезаро, хотя метод Абеля более удобен и делает доказательства
единообразными.

§ 5. Формула суммирования Пуассона 707
Тогда ф непрерывна и периодична, и интегрирование по частям
показывает, что ее коэффициенты Фурье равны Ф„=—крпМ-
В силу последней теоремы Ф однозначно определяется по ф„. t>
§ 5 *. Формула суммирования Пуассона
Пусть / — плотность вероятности с интегрируемой характе-
характеристической функцией ф1). При слабых условиях регулярности
(например, если существует второй момент) для любого Я>0
выполняется соотношение
S/(/wA)<oo. E.1)
— оо
Мы можем поэтому ввести арифметическую меру, приписываю-
приписывающую вес f(nn/%) точке пп/К. Ее преобразование Фурье—Стиль-
тьеса будет рядом Фурье с периодом 2Х. Следующая ниже тео-
теорема показывает, что этот ряд может быть выражен и в терми-
терминах характеристической функции ф. На первый взгляд результат
может показаться только забавой, но его частные случаи ока-
оказываются важными и полезными.
Теорема 1. Пусть плотность вероятности f имеет интегри-
интегрируемую характеристическую функцию ф. Тогда при каждом
фиксированном X
+ СО -f-CO
Ф (С + 2Щ = ~ 2 f (пл/Х) е1» («А) 5, E.2)
если только справа или слева стоит непрерывная функция.
В этом случае выполняется и E.1).
Доказательство2). Левая часть представляет собой
функцию с периодом 2Я. Вычислим формально ее коэффициенты
Фурье, а заодно покажем, что эта функция интегрируема. Пере-
делывая формулу D.2) для нашего случая (интервал —Я, Я),
*) Здесь рассматриваются важные, но специальные вопросы. Содержание
параграфа не используется в дальнейшем и практически не зависит от
предыдущих параграфов.
') Формула обращения интегралов Фурье [гл. XI, C.5)] показывает, что
интегрируемость ер влечет существование непрерывной плотности, и поэтому
всюду в этом разделе подразумевается, что / непрерывна.
2) Иное доказательство см. в задачах 12—13. Задача 13 показывает, что
условие непрерывности не является излишним,

708 Гл. XIX. Гармонический анализ
получаем для и-го коэффициента Фурье левой части выражение
^. E.3)
* = -oo Bft — 1) Я
Интервалы Bk—l)A.-*Cs< Bk+\)\ попарно не пересекаются
и в сумме покрывают всю вещественную ось. Поэтому пра-
правая часть равна (по теореме обращения интегралов Фурье
гл. XI, 3)
+
2^ J q>(s) е-'
Далее в теореме 1 предыдущего раздела было показано, что
функция с неотрицательными коэффициентами Фурье непре-
непрерывна тогда и только тогда, когда ряд из этих коэффициентов
сходится. Далее непрерывная функция однозначно определяется
своими коэффициентами Фурье, так что E.1) и E.2) верны. ^
Рассмотрим интересный частный случай, когда характери-
характеристическая функция ф тождественно равна нулю вне интервала
—а, а, где а^СХ. Для —Х<?,<% левая часть E.2) сводится
к ср(?), так как все члены с /гфО исчезают. Поэтому левая часть
служит периодическим продолжением ср и, следовательно, непре-
непрерывна. При ? = 0 получаем
откуда видно, что E.2) представляет собой характеристическую
функцию. Иными словами, если характеристическая функция ф
равна нулю для |?|>а, то все ее периодические продолжения
с периодом, К ^ а снова будут характеристическими функциями.
Мы получаем, таким образом, метод построения бесконечного
числа характеристических функций, совпадающих на некотором
конечном интервале.
Этот результат используется в теории передачи сообщений
(под названием «sampling theorem») и приписывается то Най-
квисту, то Шеннону. Мы придадим ему форму теоремы.
Теорема 2. Допустим, что плотность вероятности f имеет
характеристическую функцию, равную нулю вне —а, а. Тогда f

§ 5. Формула суммирования Пуассона 709
однозначно определяется по значениям у-f (я 4-1 при любом
к ' Г Т.
фиксированном Я ^ «. Эти значения индуцируют арифметическое
распределение ').
В следующем параграфе будет доказана теорема, в некото-
некотором смысле двойственная только что приведенной.
Примеры, а) Рассмотрим плотность f(x) = (l — cosx)/nx2
с характеристической функцией qp(?)=l — |?| для |?|^1 и
ф(?)=0 для |?|>1. При А=1 из E.5) получаем хорошо извест-
известное соотношение
E-6>
Периодическое продолжение ф с периодом 2А = 2 изображено
на рис. 2 в гл. XI, 2. Выбирая больший период, можно по-
построить сколько угодно других характеристических функций. На-
Например, значению К = 2 соответствует характеристическая функ-
функция, представленная на том же рис. 2 ломаной линией с вер-
вершинами —3, —1, А, 1, 3, С, 5, 7, Е, 9, ... . Для каждого Я мы
получаем тождество, аналогичное E.6).
[То обстоятельство, что эти периодические продолжения суть
характеристические функции, было использовано в гл. XV, 2 (iii)
для построения примера двух действительных характеристиче-
2 2
ских функций с Ф1=Фг.]
б) Простой пример к E.2) указывается в задаче 11. >
Как часто бывает в подобных ситуациях, E.2) можно пере-
переписать в форме, кажущейся более общей. В самом деле, при-
применяя E.2) к плотности f{x + s), мы получаем другую запись
') Явная формула для f(x) может быть получена следующим путем.
Внутри интервала —X <^?<СЛ характеристическая функция <р совпадает с ха-
характеристической функцией арифметического распределения {(я/К)f(пя/Х)}, но
вне этого интервала ср всюду равна 0. По формуле обращения
— оо —Л
Эта формула применима в более широком классе случаев, чем можно думать
на основании теоремы 2. [См. теорему 16 в книге W h 111 a k e r J. M., Inter-
polatory function theory, Cambridge Tracts 33, 1935. Многомерный аналог см,
Peter sen D. P., Middleton D., Information and Control, 5 A962),
279—323.]

710 Гл. XIX. Гармонический анализ
формулы суммирования Пуассона:
+ СО +0О
— ОО —00
в) Для нормальной плотности и ? = А. из E.7) выводим
. E.8)
Это — знаменитая формула теории тэта-функций. Мы ссылались
на нее в гл. X, 5. [Беря производные по х в гл. X, E.8) и гл. X,
E.9), мы видим, что эквивалентность этих выражений следует
из E.8) с Х = (л/а)У1 и s = xY~t. Доказательство, данное в
гл. X, 5, элементарнее.]
г) Для плотности f (x) = лг1A+"я2)~1 с характеристической
функцией ф(?) =е~1?1 мы получаем из E.2), полагая ? = 0,
Это не что иное, как разложение гиперболического котангенса
на элементарные дроби.
д) Плотности на окружности длины 2л можно получить, «на-
«наматывая» действительную ось на окружность, как это объяснено
в гл. 11,8. При этом плотности f на прямой ставится в соответ-
соответствие плотность на окружности, задаваемая рядом в правой
части E.7) с Я=7г и ? = 0. Соотношение E.7) дает представле-
представление этой плотности в терминах первоначальной характеристи-
характеристической функции.
Для частного случая нормальной плотности с нулевым мате-
математическим ожиданием и дисперсией t получаем
2 cosns- Eл°)
Слева стоит плотность на окружности, по правая часть дает
для нее более полезное выражение. Оно показывает, что эти
плотности обладают полугрупповым свойством. >
§ 6. Положительно определенные последовательности
Пусть F — распределение вероятностей на открытом интер-
интервале —я, л и ф — его характеристическая функция. Как и в §4,
мы отождествим точки —я и я и будем интерпретировать F

§ 6. Положительно определенные последовательности 711
как распределение на окружности. По аналогии с D, г) мы оп-
определяем коэффициенты Фурье щ распределения F равенством
(P*=i \e-lktF[dt], k = 0, ±1, .... F.1)
-я
так что 2яфь = ф(—k). Покажем, что распределение F одно-
однозначно восстанавливается по коэффициентам ср^. Отвлекаясь от
тривиального изменения масштаба, мы видим, что наше утверж-
утверждение эквивалентно следующему: распределение, сосредоточен-
сосредоточенное на —X, X, однозначно определяется по значениям <р(ил/Я),
принимаемым характеристической функцией в точках с абс-
абсциссами, кратными л/Х. Этим объясняется формальное разли-
различие между спектральной теорией стационарных последователь-
последовательностей {Х„} и спектральной теорией стационарных процессов
{Xt} (с непрерывным временем). (Высказанное выше утвержде-
утверждение двойственно теореме 2 предыдущего параграфа, в соответ-
соответствии с которой характеристическая функция, равная нулю вне
—X, X, однозначно определяется по значениям f(nn/K) соответ-
соответствующей плотности.
Теорема 1. Распределение F на окружности однозначно
определяется своими коэффициентами Фурье щ.
Доказательство. Как и в D.3), положим при 0<г<1
+ ОО
—оо
Вычисления, подобные тем, которые привели к D.8), показы-
показывают, что теперь
Л
F.3)
где рг — плотность распределения Рг (см. лемму в § 4). Таким
образом, fr есть плотность свертки Pr^F, которая сходится к F
при г—>\. Поэтому F восстанавливается по fr (см. также за-
задачу 10). >
Лемма 1. Пусть {фп} — произвольная ограниченная после-
последовательность комплексных чисел. Для того чтобы существо-
существовала мера F с коэффициентами Фурье ф„, необходимо и доста-
достаточно, чтобы при каждом г< 1 функции fr [см. F.2)] удовлетво-
удовлетворяли условию
F.4);

712 Гл. XIX. Гармонический анализ
Доказательство. Необходимость, очевидно, следует из
F.3) и положительности рг. Умножая теперь F.2) на e~ih^ и
интегрируя, получаем
я
<P*-'|S| = iJ МО *-'«<«• F-5)
—я
Полагая k = 0, видим, что ф0>0. Не ограничивая общности, до-
допустим, что фо=1/гл. Тогда F.5) показывает, что fr есть плот-
плотность некоторого распределения Fr на окружности и что щг[ '
/ фф Ф F П б й
есть k-й коэффициент Фурье Fr. По теореме о выборе найдется
такая последовательность значений г—* 1, что Fr сходятся к не-
некоторому распределению F. Из F.5) вытекает, очевидно, что
числа щ удовлетворяют F.1). Доказательство закончено. >
Поступая так же, как и в § 2, мы установим аналог тео-
теоремы Бохнера (принадлежащий Герглотцу).
Определение. Последовательность {ф^} называется поло-
положительно определенной, если при любом выборе чисел z±, ... , zn
2j tyj-kZjZk -^ 0* F-6)
Лемма 2. Если последовательность {ф„} положительно оп-
определена, то ф0 ^ 0 и |ф„ |4^ ф0.
Доказательство повторяет доказательство леммы 2.3 (см.
также задачу 14).
Теорема 2. Последовательность {фп} представляет собой
последовательность коэффициентов Фурье некоторой меры F на
окружности в том и только том случае, когда она положитель-
положительно определена.
Доказательство, а) Простые вычисления показывают,
что для фь, задаваемых F.1), левая часть F.6) равна интегралу
по мере F от -я— У е"';'г;- . Поэтому условие F.6) необ-
необходимо.
б) Для доказательства достаточности положим zk = rhem
при it^O и zk = 0 при /г<0. Хотя последовательность zh беско-
бесконечна, соотношение F.6) для нее выполняется (что можно уста-
установить простым предельным переходом). Левая часть F.6) при
этом равна
S ,й/ F.7)

§ 7. ^-теория 713
Внутренняя сумма справа равна /-|я|A—г2), так что функция
F.7) равна fr(t)l(l — г2). По лемме 1 числа cpft суть коэффи-
коэффициенты Фурье некоторой меры. >
Из теоремы 2 сразу получаем следующий аналог теоремы § 3.
Теорема 3. Пусть {Хп} — последовательность случайных
величин, заданных на некотором пространстве вероятностей, и
пусть
E(XvXv) F.8)
не зависит от v. Тогда существует, и притом только одна мера R
на окружности, такая, что числа рп суть ее коэффициенты Фурье.
Доказательство. Очевидно,
2 9]-*г?и = 2 Е (XjZjXkzk) = Е A2 Xjzj |2), F.9)
т. е. последовательность {р„} положительно определена. >
Как и в § 3, построением случайных величин с заданными
ковариациями можно доказать утверждение, обратное теореме 3.
Мы вернемся к этому в § 8.
Примеры, а) Последовательности независимых случайных
величин соответствует равномерная спектральная мера.
б) Марковские процессы. Из построений § 4 видно, что плот-
плотности, определенной при фиксированном г и действительных 9
как p*(t— 8), соответствуют коэффициенты Фурье
В гл. 111,8 было показано, что нормальная стационарная
марковская последовательность имеет ковариации вида
pn = rl"l с 0О<1.
Сходные рассуждения показывают, что ковариации произволь-
произвольной стационарной марковской последовательности имеют вид
F.10). При г<1 спектральная мера имеет плотность pr(t — 0),
а при г=\ она сосредоточена в точке 8. >
§ 7. ?2-теория
Для целей теории вероятностей мы ввели характеристические
функции, определив их как некоторые преобразования мер. Од-
Однако в равной степени естественны и другие подходы к гармо-
гармоническому анализу. В частности, возможно ввести преобразова-
преобразования Фурье для функций (а не для мер!). Формула обращения
интегралов Фурье делает правдоподобным предположение о том,

714 Гл. XIX. Гармонический анализ
что на этом пути можно достичь большей симметрии. Оказы-
Оказывается, что простота и красота теории становятся наибольшими,
когда рассматриваются лишь функции с интегрируемым квад-
квадратом. Мы разберем сейчас этот случай. Он интересен и сам
по себе и по тем обширным применениям, которые он находит
в теории случайных процессов.
Определим норму ||и||^-0 комплекснозначной функции и дей-
действительного аргумента х равенством
+ оо
||«|Р= J \и(х)\Чх. G.1)
Две функции, отличающиеся на множестве меры нуль, мы бу-
будем рассматривать как идентичные (другими словами, мы будем
иметь дело с классами эквивалентности, но присоединимся к
обычному и безвредному неправильному словоупотреблению).
При этом соглашении ||ы||=0 тогда и только тогда, когда ц=0.
Класс всех функций с конечной нормой обозначим L2. Расстоя-
Расстояние между и и v из L2 определяется как \\и — о||. При таком
определении L2 становится метрическим пространством и после-
последовательность функций ип из L2 сходится в этой метрике1) то-
тогда и только тогда, когда \\ип — «II —>0. Эта сходимость2) будет
обозначаться символами и = \. i. m. ип или цп-±Л±+ц. Отметим
без доказательства, что метрическое пространство L2 полно в
том смысле, что каждая последовательность Коши3) {ип} имеет
(единственный) предел w€L2.
Скалярное произведение (и, и) двух функций определяется
равенством
+ СО
(и, v)= J u(x)vjx)dx. G.2)
•) Этот тип сходимости называют «сходимостью в среднем квадратич*
ном».
1. т.
2) Поточечная сходимость ип к пределу v не влечет un->v [см. пример
B, г) гл. IV]. Однако если известно, что и = \. i. m. un существует, то u=v,
В самом деле, по лемме Фату
+ СО +СО
I" \u(x) — v (х) |2 dx < lim Г 1 и (х) — ип (х) |2 dx = 0.
—od —аз
3) {ип} называют последовательностью Коши, если \\ип—ит||->0 при
л, т-> со,

§ 7. ^-теория 715
Оно существует для любых двух функций из L2, так как по
неравенству Шварца
|(«, гОР<||и|НМ|. G.3)
В частности, (и, м)=||ы||2. При указанном определении скаляр-
скалярного произведения L2 становится гильбертовым пространством.
Аналогия между скалярным произведением G.2) и ковариа-
цией двух случайных величин с нулевыми математическими
ожиданиями очевидна и позже будет нами использована.
После этих предварительных замечаний перейдем к нашей
основной задаче — определению преобразований вида
+ оо
u{t) = -^= J u{x)e**dx. G.4)
В случае когда и — плотность вероятности, и лишь множителем
У~2я отличается от характеристической функции. Чтобы избе-
избежать недоразумений, назовем и преобразованием Планшереля
функции и. Определение G.4) применимо только к интегрируе-
интегрируемым функциям. Однако мы расширим область определения и
до всего пространства L2. Для краткости назовем функцию и,
принадлежащую L2, «хорошей», если и и, и и интегрируемы.
Сначала мы покажем, что для «хороших» функций спра-
справедлива формула обращения
+ СО
и @ = 7= J ?(9*-'E'rf? G.5)
— со
(Это легко вывести из предыдущих результатов, но доказатель-
доказательство столь просто, что его стоит привести.) Умножая G.4) на
1 —itt — — z2l2
е * 2 ъ и интегрируя, получим
+°° -IV-Uv T /t-x\dx
^/„(^„(iJL)^, G.6)
где и обозначает стандартную нормальную плотность. При е —> О
интеграл слева стремится к интегралу в G.5), в то время как
свертка справа стремится к u(t). Таким образом, G.5) для
«хороших» функций выполняется.
Пусть теперь v — другая «хорошая» функция. Умножим G.5)
на функцию v, комплексно сопряженную с о, и произведем ин-
интегрирование. Мы получим соотношение
(и, ») = («, v), G.7)

716 Гл. XIX. Гармонический анализ
которое будем называть равенством Парсеваля. Для v = u оно
сводится к
G.8)
откуда видно, что преобразование Планшереля на множестве
«хороших» функций изометрично.
Теперь все готово для последнего шага, а именно для рас-
распространения преобразования Планшереля на все L2. Предпо-
Предположим, что для некоторой функции u?L2 существует сходя-
сходящаяся к ней в принятой нами метрике последовательность «хо-
«хороших» функций и<п). В силу G.8) преобразования w<") образуют
последовательность Коши и M<n> —> и, если функция и — «хоро-
«хорошая». Если и не является «хорошей», то мы желаем опреде-
определить и как единственный предел последовательности м'п). Иными
словами, мы желаем определить преобразование Планшереля по
принципу:
если м(™> —> и, то мы полагаем и = \. i. m.«(n'. G.9)
Так как две последовательности Коши можно соединить в
одну, предел и не зависит от выбора последовательности {u<n>}.
Чтобы оправдать принцип G.9), остается показать, что он со-
согласуется с первоначальным определением G.4), когда функ-
функция и интегрируема. Для таких функций положим ие(х) =
— и(х)е-г2х2/2 и обозначим ие преобразование Планшереля иЕ.
Беря в G.4) свертку с нормальной плотностью, мы видим, что
равенство G.6) остается верным, если и и и поменять местами.
Левая часть тогда становится равной иЕ (t), так что ие пред-
представляется как свертка ограниченной непрерывной функции и
с нормальной плотностью. Отсюда следует, что ие интегрируема
и uE(t) —>¦«(/) при е —> 0. Функции иг—«хорошие» и иг '" *"'->к.
Поэтому иг '' Ш:->- и (см. примечание 2 на стр. 714). Тем самым
доказано, что принцип G.9) совместим с G.4).
Так как множество интегрируемых функций плотно в L2, мы
доказали заодно, что каждая функция из L2 может быть пред-
представлена как предел «хороших» функций. Соответственно каж-
каждая функция из L2 обладает преобразованием Планшереля и,
определенным по G.9). При этом G.8) и G.9) выполняются
всегда. Далее и{—t) служит преобразованием Планшереля
для и, т. е. каждая функция из IJ представляется как преоб-
преобразование некоторой другой функции. Другими словами,
отображение а->а является изометричным отображением D
на себя.

§ 7. IJ-теория . 717
Примеры, а) Функция и(х) = (sin х) /х не интегрируема, но
принадлежит L2. Так как и — характеристическая функция рав-
равномерной на —1, 1 плотности, то следует ожидать, что
~ \V^ при |?|<1,
I 0 при |С|>1.
Для формальной проверки рассмотрим последовательность ха-
характеристических функций и{"} (х) = и(х) е~х~"г, сходящуюся к и.
Преобразования ы<п) представляются в виде свертки функции
G.10) и нормальных плотностей и потому сходятся к G.10).
б) Интегрируемая в квадрате функция и оказывается авто-
автоматически интегрируемой на любом конечном интервале. Если
определить функции «("), полагая и^{х) =и{х) при \х\<п и
«(«)(*) =0 при |*| ^ п, то «(") будут интегрируемыми и «<">—>«
в нашей метрике. Далее,
п
?<"> (С) = -^ J я (х) е'^ rfj:. G.11)
Следовательно, и является пределом преобразований G.11) в
том смысле, что
|| и — и(л)||->0.
Наряду с аппроксимацией, получаемой «урезанием», можно
было бы с таким же успехом использовать и аппроксимацию
и(х)е~х21п из предыдущего примера. >
Подведем итог: преобразование Планшереля и определено
для каждой функции и € L2, при этом всегда выполняется равен-
равенство Парсеваля G.7). Преобразование Планшереля «кососим-
метрично» в том смысле, что преобразование и равно п.
Как уже упоминалось в другой связи, равенство Парсеваля
G.7) можно переписать в других формах, которые выглядят бо-
более общими. Одна из возможностей состоит в замене v(x) на
v(x)e~iKx (преобразование функции v(x+X)). В специальном
случае u = v получаем
+ со -Ьоо
\u{x)feiXxdx= J u{x)u{x-\-%)dx. G.12)
—оо —оо
Это замечательное соотношение широко используется в теории
прогнозирования случайных процессов. Пусть дана произволь-
произвольная интегрируемая функция f ^ 0. Тогда можно выбрать и
так, что |w|2=f и из G.12) вытекает следующее утверждение;

718 Гл XIX Гармонический анализ
функция ф является характеристической функцией для некото-
некоторой плотности вероятностей тогда и только тогда, когда')
Ф(А,)= | u(x)u(x + k)dx, G.13)
— со
где ||ы|| = 1. Выбор и возможен не единственным способом. (Ре-
(Решение одной из задач теории прогнозирования случайных про-
процессов связано с возможностью выбрать функцию и, равной
нулю на полупрямой.)
Изложенная выше /Лтеория интегралов Фурье без суще-
существенных изменений переносится на ряды Фурье. Норма ||ы|| и
скалярное произведение определяются так же, как в G.1) и
G.2) с той лишь разницей, что интегралы берутся по «основ-
«основному» промежутку —л, л. Роль «хороших» функций играют ко-
конечные тригонометрические многочлены вида
и (jc) = 2 иае1а*. G.14)
Их коэффициенты Фурье равны, очевидно,
{*)e-lnxdx. G.15)
Каждой «хорошей» функции соответствует конечная последо-
последовательность {ип} ее коэффициентов и обратно, каждой конечной
последовательности комплексных чисел соответствует «хорошая»
функция. Соотношения G.14) и G.15) определяют преобразова-
преобразование Фурье и={ип} и обратное преобразование. Умножение и ин-
интегрирование показывают, что для двух «хороших» функций
J и(х)(v(x)dx = 2л^икщ. G.16)
Рассмотрим теперь гильбертово пространство § бесконечных
последовательностей и={ип), v = {vn} и т. д. Определим норму
и скалярное произведение равенствами
Ци|| = 2|яяР. (i ») = 2йЛ- G.17)
Это пространство обладает свойствами, сходными со свойствами
L2. В частности, конечные последовательности образуют всюду
') Этот специальный случай равенства Парсеваля встречается еще в клас-
классической работе Винера, но часто называется критерием Хинчина (и рассма*
тривается так, как будто он требует отдельного доказательства),

§ 8. Случайные процессы и стохастические интегралы 719
плотное множество. Можно показать, что существует взаимно
однозначное соответствие между последовательностями и = {ип}
из ф и функциями и из L2(—я, я). Каждой последовательности
{ип}, для которой 2 I un p < со, соответствует функция с интег-
интегрируемым квадратом и коэффициентами Фурье ип. Верно и об-
обратное утверждение. Отображение и -«->-{«„} снова изометрично.
Снова имеет место равенство Парсеваля (и, v) = (и, v). Ряд
п
Фурье G.14) не обязан сходиться, но его частные суммы 2 u.kellix
—и
образуют последовательность непрерывных функций, сходящую-
сходящуюся к и в метрике L2. Это же верно и по отношению к другим
непрерывным аппроксимациям: так, 2 иАг'h xelkx сходится к а
при г —> 1.
Рассмотрим, как и выше, специальный случай равенства
Парсеваля
я
±- J u
G.18)
При u = v получаем, что последовательность {ф„} является после-
последовательностью коэффициентов Фурье некоторой плотности ве-
вероятностей на —я, я в том и только том случае, когда она до-
допускает представление
Фя=1Х+А. где 2j|b*P = 1. G.19)
Ковариация такого вида встречалась в гл. III, G.4) (см. также
задачу 17).
§ 8. Случайные процессы и стохастические интегралы
Ради упрощения обозначений мы рассмотрим в этом пара-
параграфе лишь последовательности {Хп} случайных величин. Од-
Однако, и это станет очевидным из дальнейшего, все изложение
пригодно и для семейств, зависящих от непрерывного парамет-
параметра. Отличие лишь в том, что спектральные меры не будут со-
сосредоточены на конечном промежутке, и суммы должны быть
заменены интегралами.
Пусть {Хп} обозначает бесконечную в обе стороны последо-
последовательность случайных_величин, заданных на некотором вероят-
вероятностном пространстве © и имеющих конечные вторые моменты.
Эта последовательность предполагается стационарной «в широ-
широком смысле»'), т. е.
E(XvXv) =pn
') У автора — «in restricted sense». — Прим. перев.

720 Гл. XIX. Гармонический анализ
не зависит от v. По теореме 6.3 существует единственная мера R
на окружности —я, я, такая, что
я
\e-laxR[dx) л = 0, ±1, .... (8.1)
Мы рассмотрим теперь более детально отмеченную еще в § 3
идею о том, что окружность вместе со спектральной мерой R
могут быть использованы для построения конкретного представ-
представления случайного процесса {Хл}. (Представления, пригодного
во всяком случае для изучения свойств, зависящих только от
вторых моментов.) Мы будем применять терминологию гильбер-
гильбертовых пространств и рассмотрим два гильбертовых простран-
пространства.
а) Пространство Ьц- Построим пространство функций, опре-
определенных на окружности, повторяя (с заменой прямой на ок-
окружность —я, я и меры Лебега на меру R) рассуждения, ка-
касающиеся L2 (см. § 7). Норма и скалярное произведение (комп-
лексно-значных) функций на окружности определяются при
этом равенствами
я я
H«II2===2S \\u{x)\2R{dx], (а, ъ) = ± j u(x)^{x)R{dx}. (8.2)
-я -я
Примем основное соглашение: считать две функции равными,
если они отличаются друг от друга на множестве R-меры нуль.
Последствия этого соглашения серьезны. Так, если R сосредо-
сосредоточено в двух точках 0 и 1, то «функция» в нашем понимании
вполне определяется своими значениями в этих точках. Напри-
Например, функция sin плх равна нулю. Однако даже в этих крайних
случаях использование обычных формул для непрерывных функ-
функций и ссылки на их графики не принесут никакого вреда. Точно
так же осмысленно (и упрощает язык) применение термина
«ступенчатая функция».
Пространство Гильберта Ьц состоит из всех функций, за-
заданных на окружности и имеющих конечную норму. Если
\\ип—и||->0, то мы назовем последовательность {ип} сходя-
сходящейся к и в нашей метрике (или в среднем квадратичном по от-
отношению к мере R). Гильбертово пространство L% есть полное
метрическое пространство. Непрерывные функции образуют в
нем плотное множество (определения см. в § 7).
б) Гильбертово пространство •?>, натянутое на {Х„}. Обозна-
Обозначим символом ф0 совокупность случайных величин с конечными

§ 8. Случайные процессы и стохастические интегралы 721
вторыми моментами, заданных на произвольном, но фиксиро-
фиксированном пространстве выборок®. По неравенству Шварца E(UV)
существует для любой пары таких случайных величин. Есте-
Естественно обобщить (8.2), рассматривая вместо круга простран-
пространство <5 и беря вместо меры R основное распределение вероят-
вероятностей в <5. Мы опять условимся отождествлять две случайные
величины, если они отличаются друг от друга на множестве
меры пуль. Определим скалярное произведение как E(UV) и
норму U как положительный корень из E(UU). Тогда фо пре-
превращается в гильбертово пространство. Это — полное метриче-
метрическое пространство. Последовательность принадлежащих ему
случайных величин Un называют сходящейся к U, если
E(|Un — U|2) ->0.
Изучая последовательность {Хп}, обычно интересуются толь-
только случайными величинами, которые являются функциями Xft, a
во многих случаях ограничиваются лишь линейными функциями,
т. е. рассматривают конечные линейные комбинации 2 ар?„ и
их пределы. Получаемые таким образом случайные величины
образуют подпространство § пространства ф0, называемое гиль-
гильбертовым пространством, натянутым на величины Xft. В нем
скалярные произведения, нормы и сходимость определены, как
только что было описано, и § является полным метрическим
пространством.
В настоящем контексте математические ожидания Е(Х„) не
играют никакой роли, но, так как термин «ковариация» звучит
лучше, чем «скалярное произведение», мы примем обычное пред-
предположение, что Е(Х„)=0. Единственная цель этого предположе-
предположения — добиться совпадения рп и ковариации. Никакое центри-
центрирование не нужно, если согласиться назвать E(XY) ковариацией
X и Y. Мы подходим теперь к решающему моменту. Мы пока-
покажем, что для наших целей возможно взять пространство L%
(простое для интуитивного восприятия) в качестве конкретной
модели •?>. В самом деле, по определению ковариация pj-k =
= Cov (Xj, Xfe) любой пары X равна скалярному произведению
функций exi% и eihx в Z./?. Отсюда следует, что ковариация двух
линейных комбинаций U = 2#/ • Х„ и V = 2^Aift равна
скалярному произведению соответствующих линейных комбина-
комбинаций u = ^iajeix и v = ^Ьке1"кХ. Определения сходимости в
рассматриваемых пространствах позволяют распространить ото-
отображение на все случайные величины. Мы получаем, таким об-
образом, важный результат: отображение Хй-«->ег'йж порождает
взаимно однозначное соответствие между случайными величи-

722 Гл. XIX. Гармонический анализ
нами из ¦§> и функциями из L#; это соответствие сохраняет
скалярные произведения и нормы (и, следовательно, сходимость).
Иными словами, эти пространства изометричны'). Теперь мы в
состоянии изучать § и {Хп}, рассматривая лишь конкретное про-
пространство L%. Эта процедура, помогая интуиции, в то же время
имеет и теоретические преимущества. Так как функции на
окружности — объект хорошо знакомый, то сравнительно просто
построить последовательность {и'™)} с заданными структурными
свойствами. Функциям и(™> соответствуют некоторые случайные
величины Zn, определенные на пространстве выборок 25. Если
известны коэффициенты Фурье «<п>, то 2п возможно выразить
явно в виде предела конечных линейных комбинаций величин Xft.
Если совместные распределения X нормальны, то и распределе-
распределение Z будет нормальным.
На практике указанная процедура часто производится в об-
обратном порядке. Если данный процесс {Xft} — сложный, то наша
цель — выразить его в терминах величин Zn, образующих более
простой случайный процесс. Несколько простых примеров луч-
лучше пояснят задачу, чем теоретические рассуждения.
Примеры, а) Представление {Х„} в терминах независимых
случайных величин. Рассмотрим случай, когда спектральная
мера R имеет плотность г. Для простоты допустим, что г строго
положительна и непрерывна2). Выберем функцию у так, что
\у(х)\2 = г{х). (8.3)
Ряд Фурье у сходится в /Анорме, как это было объяснено в § 7.
Обозначая коэффициенты Фурье у через у&, имеем 2|у/г|2<°° и,
') Читателям, знакомым с теорией гильбертовых пространств, полезно
иметь в виду связь изложенного со стандартной спектральной теоремой для
унитарных операторов. Линейный оператор, отображающий $ на себя таким
образом, что Xn->Xn+i, называют оператором сдвига, и LR служит моделью
области действия этого оператора. Обратно, пусть дан произвольный уни-
унитарный оператор Т на гильбертовом пространстве ©о и произвольный эле-
элемент Хо?§о- Тогда последовательность элементов Хп = 7"пХо можно рассматри-
рассматривать как стационарную последовательность и Г — как оператор сдвига в под-
подпространстве ф, натянутом на эту последовательность. Если Хо можно вы-
выбрать так, что ф = фо. мы получаем стандартную спектральную теорему
для Т (с тем отличием, что для «разложения единицы» взято конкретное
представление, основанное на выборе Хо). Если -f) С .§о> то ?H можно пред-
представить как прямую сумму двух инвариантных подпространств и можно по-
повторить рассуждения. Таким путем возможно прийти к общей теории спе-
спектральных разложений, включая теорию кратности спектра.
2) Эти ограничения используются лишь затем, чтобы избежать скучных
объяснений того, как понимать г(х)/у(х) при г(х) =у(х) =0 и как понимать
сходимость рядов.

§ 8. Случайные процессы и стохастические интегралы 723
по равенству Парсеваля G.19),
+ СО _
Р„ = 2 Ъ+пЪ- (8.4)
k=— со
Рассмотрим теперь бесконечную в обе стороны последова-
последовательность «("', определенную соотношением
«<">(*) =~- (8.5)
Подставляя и^п1 в (8.2), видим, что
1М»>|| = 1 и («(»>, ы(™))=0 (8.6)'
при пг'фп. Отсюда вытекает, что соответствующие случайные ве-
величины Zn некоррелированы и имеют единичные дисперсии.
В частности, если Х^ нормальны, то Z& взаимно независимы.
Интересно отметить, что пространство, натянутое на случай-
случайные величины X/;, содержит стационарную последовательность
{Zn} из некоррелированных величин. Явное выражение Z4 в тер-
терминах Х/; может быть получено из разложения Фурье функций
и(п\ Однако предпочтительнее идти в обратном направлении —>
выразить Xft в терминах Zn, так как структура последователь-
последовательности {Zn} проще, чем структура {Xft}. Мы имеем
V N
^ yneinx. (8.7)
n~-N n=-N
Сумма справа представляет собой отрезок ряда Фурье для у и
сходится (в метрике гильбертова пространства) к у. Отсюда сле-
следует, что величина (8.7) стремится к eihx. При нашем отображе-
отображении ы<п+й> соответствует Zn+h, так что ряд Еуг^+ь сходится и
мы можем написать
х*= Е чпг,г+и- (8.8)
Мы получили, таким образом, явное выражение Xh в форме
«скользящих средних» стационарной последовательности некор-
некоррелированных величин Zn.
Очевидно, что представление (8.8) не единственно. Возникает
естественный вопрос, возможно ли выразить Xft только через
Zft, Zfc_i, Zfe_2, ... (через «прошлое» процесса {Zn}) или, что то
же самое, возможно ли функцию у в (8.3) выбрать так, что
Yn = 0 при я^-1. Эта проблема имеет фундаментальный харак-
характер для теории прогнозирования случайных процессов, но она

724 Гл. XIX. Гармонический анализ
лежит вне рамок этой книги. Типичные примеры см. в гл. III
G.5) и задаче 18.
б) Соответствующий процесс с независимыми приращениями.
Для каждого t, —л<^<^я положим
1 при x^Ct
р ^ (8.9)
0 при х>^ к '
и обозначим Yj соответствующую случайную величину в ф. Оче-
Очевидно, что ковариация приращений Yt—^s Для непересскаю-
|
щихся интервалов равна 0; более того, D(\t)=R{—я, t}, так
что Y; — процесс с некоррелированными приращениями и дис-
дисперсией, определяемой по R. Если Х( нормально распределены,
то приращения процесса Y4 будут независимы.
Итак, для каждой стационарной последовательности {Х/{}
существует связанный с ней указанным образом процесс с не-
некоррелированными приращениями. Явное выражение для Y* в
терминах Xfe можно получить стандартным путем — разлагая
функцию yt в (8.9) в ряд Фурье. Однако снова предпочтитель-
предпочтительнее идти в обратном направлении.
в) Стохастические интегралы. Представление какой-либо
случайной величины U в терминах Х/г определяется (как мы ви-
видели) разложением Фурье функции, соответствующей U. По
сравнению с этим представление в терминах Y( может пока-
показаться «слишком простым». Оно связано с графиком функции,
соответствующей рассматриваемой случайной величине. Для
простоты мы предположим эту функцию непрерывной.
Рассмотрим сначала «ступенчатую функцию» w, т. е. функ-
функцию вида
w = alyti + a2(ytt — yli)-\- ... +аа(у„ — у(п_^ (8.10)
где а}—-постоянные и —к<^1<^<- • .<^п-1<я. Соответствую-
Соответствующая случайная величина получается заменой в (8.10) Jf на Y,..
Теперь каждая непрерывная функция W может быть равномер-
равномерно аппроксимирована ступенчатыми функциями ш<п> вида (8.10).
Равномерная сходимость оДп> к w влечет сходимость в Z,#- норме,
а следовательно, и сходимость соответствующих случайных ве-
величин W(™' к W. Это дает нам рецепт отыскания образа W про-
произвольной непрерывной функции w с помощью простого пре-
предельного перехода: надо аппроксимировать w ступенчатыми
функциями типа (8.10) и заменить jt на Y, Напомним, что
(8.10) определяет функцию, а не число (так же как и w яв-

§ 8. Случайные процессы и стохастические интегралы 725
ляется функцией, а не числом). Но (8.10) выглядит как рима-
нова сумма, и формально наша процедура напоминает опреде-
определение интеграла Римана. Поэтому общепринятым стало обозна-
обозначение
я
§ (8.11)
указывающее на описанный выше предельный переход. Случай-
Случайная величина (8.11) называется стохастическим интегралом от
непрерывной функции w. Название это до некоторой степени
произвольно, и обозначение — не более как краткое выражение
предельного перехода, который был строго определен выше. По
определению функция eint соответствует случайной величине Х„,
и потому мы можем написать
я
Х„= J elntd\t. (8.12)
-я
Это есть основное спектральное представление произвольной ста-
стационарной последовательности {Х„} в терминах соответствую-
соответствующего процесса с некоррелированными приращениями.
Обозначение стохастического интеграла, пожалуй, более на-
наглядно, чем логично, но мы не будем касаться этого вопроса.
Наша цель состояла в том, чтобы показать, как это полезное
понятие и важное представление (8.12) могут быть получены
средствами анализа Фурье. Этим иллюстрируются возможности
канонического отображения, использованного в этом разделе
(и введенного впервые Крамером). >
Изложенная теория использует только вторые моменты {Хп}
н практически применима лишь в случаях, где эти моменты в
самом деле значимы. Таков случай, когда процесс является нор-
нормальным, так как нормальные распределения полностью опре-
определяются своими ковариациями. В других применениях можно
верить, что процесс «не слишком отклоняется от нормального»
(подобно тому как регрессионный анализ основывался на вере
в универсальную приложимость методов, развитых для нор-
нормального закона). К сожалению, один лишь факт существова-
существования прекрасной теории никоим образом не оправдывает этой
веры. Так, в примере C, в) выборочные функции процесса строго
периодичны. Будущее отдельной реализации вполне опреде-
определяется ее заданием на полном периоде. Однако методы про-
прогноза, опирающиеся на /Атеорию, не принимают во внима-
внимание этот факт и отождествляют все процессы с одной и той же

726 Гл. XIX. Гармонический анализ
спектральной мерой. Наблюдатель, получающий последователь-
последовательность .... 1, —1, 1, —1, ..., может однозначно предсказать сле-
следующий член ряда, но /Аметоды заставляют его предсказывать
появление нуля. Эти методы, таким образом, не являются уни-
универсально приложимыми. Однако они дают идеальное средство
изучения нормальных процессов.
§ 9. Задачи
1. Любопытные примеры характеристических функций. П>сть th(x) =
= 1 ——!¦ для \х\ < h и Xh(x) =0 для \x\>h. Положим
+ оо
а(х)= 2 anxh(x-n). (9.1)
п= — со
Когда ап вещественны и А=1, график а представляет собой ломаную линию
с вершинами (п,ап). При Л<'/2 график а состоит из отрезков оси х и боко-
боковых сторон равнобедренных треугольников с вершинами (п,ап).
Покажите без вычислений, что из 2|а„1< оо вытекает
+ ОО +СО
^ J «w.-'C^Iz^^-'1* (9.2)
—оо —оо
Выведите отсюда, что а является -характеристической функцией в том и толь-
только том случае, когда ао=1 и сумма ряда в (9.2) неотрицательна при всех ?.
Приведите примеры. Обобщите результат на другие гп. (См. задачи 15—16.)
2. Ковариационная функция р [см. C.1)] непрерывна всюду тогда и толь-
только тогда, когда она непрерывна в нуле. Последнее верно в том и только том
случае, когда Е((Х( — ХоJ)->О при /->0.
3. Пусть {Х(} — стационарный процесс со спектральной мерой R. Поло-
Положим для Л>0
а) Найдите спектральную меру этого процесса и покажите, что предел
при h->0 существует тогда и только тогда, когда R имеет второй момент
(т. е. x2R{dx} определяет конечную меру).
б) В последнем случае при фиксированном t и Л->0, е-Ю Var(Xj ' — ^-tj ~^^
(в терминологии гильбертовых пространств, применявшейся в § 8, это зна-
значит, что при Л-»0 (Х^Щ — последовательность Коши, и потому существует
предел X,).
4. Если ср — характеристическая функция распределения F, то
+ со
/*.(*) =2^ J «-fc|tl«P (С) «-'**</?
— СХЭ
есть плотность некоторого распределения F^ причем F%-*F [это аналог D.3)],

§ 9. Задачи 727
5. К теореме 4.2. Если ср непрерывна всюду, кроме нуля, где она имеет
разрыв первого рода, то D.9) выполняется при всех
С^О и fr@)->-i[q>@+) —ф@—)].
6. Продолжение. Если ср может быть представлена как разность двух
монотонных функций, то во всех точках fr (?) -> it [Ф (? +) — Ф (? —)]•
7. Ограниченная периодическая функция ц> с неотрицательными коэффи-
коэффициентами Фурье фп необходимо непрерывна и 2ф„<оо. Пример фп = 1/я по-
показывает, что утверждение неверно, если предполагается только интегрируе-
интегрируемость ф.
8. Суммируемость по Чезаро. Заменим D.3) на
fr (?) = Вряа„е"*
где ап=\—о\т Л- i ПРИ W<^2!V и а„=0 при |гс|>2#. Покажите, что с за-
заменой pT(t) на
при этом сохраняется теория § 4 (qrf(t) снова плотность вероятности).
9. Продолжение. Докажите более общее утверждение, что эта теория
сохраняется, если в качестве ап взять коэффициенты Фурье симметризованной
плотности вероятности, заданной на окружности.
10. Покажите, что следствие 4.2 вытекает из теоремы 6.1 и что, обратно,
эта теорема может быть доказана методами, использованными в D.12).
11. Покажите, используя формулу суммирования Пуассона E.2), что
+оо
1 V1 / 1 . , я!\ пп
Zesp(tn2)cos
где п обозначает стандартную нормальную плотность [это — решение задачи
об отражающем экране, см. гл. X, E, е)].
12. Другой вывод формулы суммирования Пуассона. Пусть ф — характе-
характеристическая функция распределения F. Используя пример § 4 (и без всяких
вычислений), покажите, что при 0 < г < 1
+0
= J
(9.3)

728 Гл. XIX. Гармонический анализ
Отсюда следует, что левая часть есть характеристическая функция. Полагая
гг->1, выведите отсюда, что если F имеет плотность /, то
(94)
в предположении 2/(—Я+2Ая) < со. Покажите, что (9.4) равносильно E.7).
12а. Продолжение. Полагая ?,=Х=0, выведите из (9.4), что ряд
2"~ S Ф (п) суммируем по Абелю к ? fBkn) в предположении, что послед-
последний ряд сходится.
13. К теореме 5.1. Пусть g (х) = -^ <?"' х ' и
Покажите, что / — плотность вероятности с характеристической функцией
Выведите (без вычислений) из E.2), что ф(?)!>0 при всех g и что ф инте-
интегрируема (см. следствие теоремы 3 из гл. XV, 3). Мы получили, следователь-
следовательно, пример непрерывной плотности f с интегрируемой характеристической
функцией ф и такой, что 2f(n)= со (пример принадлежит Б. Вейссу).
14. Последовательность {ф„} положительно определена тогда и только
тогда, когда последовательность {фи?1'"'} положительно определена.при лю-
лю, {ф} рд
бом г,0<г<1. Для этого необходимо и достаточно условие 2фяг'"'е
К
15. Выведите (без вычислений) из задач 1 и 14 следующую теорему (от-
(отмеченную Л. Шеппом). Пусть {(рп) — положительно определенная последова-
последовательность. Обозначим через а кусочно-линейную функцию с вершинами гра-
графика (и, ф„). Тогда а — положительно определена.
16. Пусть ф — характеристическая функция. Обозначим через а, кусочно-
линейную функцию с вершинами графика (п, ф (и)). Тогда а — характери-
характеристическая функция (это лишь иная формулировка задачи 15 и частный слу-
случай задачи 1 с /г = 1). Используйте задачу 1 и опишите другие любопытные
характеристические функции, которые можно получить из ф.
17. При г<1 ковариации F.9) марковских последовательностей удовле-
удовлетворяют G.19) с И? = У~1—/•2rfce'*9 ПрИ k~^>Q и uh=0 при k<0. Найдите
другие представления.
18. Продолжение. Пусть {Хп} — марковская последовательность с кова-
со
риациями р/) = г|л|<>"г8. Если г<1, то Х„ = У 1 — г2 2 rV*eZn_ k, где ве-
личины Zfc не коррелированы. При г=\ имеем Х„ = е Zo.

Л ИТЕРАТУРА
Некоторые книги в приводимом списке появились (или должны появить-
появиться) после завершения работы над этим томом
А. Общие курсы
Hennequin P L, Tortrat A, Theorie des Probabihtes of Quelques
Applications, Masson, Paris, 1965, 457
Krickeberg K, Wahrscheinhchkeitstheone, Taubner, Stuttgart, 1963,
200
Л о э в М , Теория вероятностей, ИЛ, М , 1962
Неве Ж, Математические основы теории вероятностей (готовится к печати
з 1968 г).
Б. Специальные темы
Bochner S, Harmonic Analysis and the Theory of Probability, Univ of Ca-
California Press, 1955, 176
ГеньфандИ М.ВиленкинН Я, Обобщенные функции Выпуск чет-
четвертый Некоторые применения гармонического анализа Оснащенные
гильбертовы пространства, Физматгиз, М , 1961
Грена н дер У, Теория вероятностей и алгебраические структуры, «Мир», М.
Luk acs E, Characteristic Functions Griffin, London, 1960, 216
Lnkacs E, Laha R G, Applications of Characteristic Functions Griffin,
London, 1954, 202
В. Случайные процессы (теория)
Чж)н Кай-лай, Однородные цепи Маркова, «Мир», М, 1964
Дынкин Е Б, Основания теории марковских процессов, Физматгиз, М,
1959
Дынкин Е Б, Марковские процессы, Физматгиз, М , 1963
Ито К, Макин X, Диффузионные процессы и их траектории, «Мир»,
М, 1967
KempermanJ H В, The Passage Problem for a Stationary Markov Chain.
University of Chicago Press, 1961, 127
Levy Paul, Processus Stochastiques et Mouvement Browmen 2nd ed Gaut-
" hier—Villars, Pans, 1965, 438 pp
Спицер Ф, Принципы случайного блуждания, «Мир», М, 1968.

730 Литература
Скороход А. В., Случайные процессы с независимыми приращениями,
«Наука», М., 1964.
Я г л о м А. М., Введение в теорию стационарных случайных функций. Вый-
Выйдет в изд. «Наука» в 1969 г.
Г. Случайные процессы (приложения и примеры)
Barucha-Reid А. Т., Elements of the Theory of Stochastic Processes and
Their Applications. McGraw-Hill, New York, 1960, 468.
Benes V. E., General Stohastic Processes in the Theory of Queues. Addison—
Wesley, Reading, 1963, 88.
Grenander U., Rosenblatt M., Statistical Analysis of Stationary Time
Series, John Wiley, New York, 1957, 300.
Хинчин А. Я-, Математические методы в теории массового обслуживания,
Физматгиз, М., 1963.
Р г a b h u N. U., Stochastic Processes. Macmillan, New York, 1965, 233.
P r a b h u N. U., Queues and Inventories, John Wiley, New York, 1965, 275.
Riordan J., Stochastic Service Systems, John Wiley, New York, 1962, 139.
W a x N. (editor), Selected Papers on Noise and Stochastic Processes, Dover,
New York, 1954, 337.
Bartlett M. S., Stochastic Population Models in Ecology and Epidemology,
1960, 90.
К о к с Д., С м и т У., Теория очередей, «Мир», М., 1966.
Н а п n a n E. J., Time Series Analysis, 1960, 152.
Мог an P. A. P., The Theory of Storage, 1959, 111.
Takacs L., Stochastic Processes, 1960, 137.
Д. Книги, имеющие исторический интерес
Крамер Г., Математические методы статистики, ИЛ, М., 1948.
Дуб Дж., Вероятностные процессы, ИЛ, М., 1956.
Гнеденко Б. В., Колмогоров А. И., Предельные теоремы для серии
независимых случайных величин, Гостехиздат, М., 1949.
Колмогоров А. Н., Основы понятия теории вероятностей, Гостехиздат,
М., 1936.
Levy P., Calcul des Probabilites. Gauthier — Villars, Paris, 1925, 350.
Levy P., Theorie de l'Addition des Variables Aleatoires. Gauthier — Villars,
Paris, 384.
E. Полугруппы и общий анализ
Хилле Э., Филлипс Р., Функциональный анализ и полугруппы, ИЛ, М.,
1962.
Karlin S., Studden W., Tchebycheffian Systems and Applications to
Analysis. Interscience, New York, 1966.
И о с и д а К.. Функциональный анализ, «Мир», М., 1967.

ОТВЕТЫ НА ЗАДАЧИ
Глава I
\1ч ~2 с
(iii) -^-г~а'*' при всех х
(lv) ae~ax при х > О
2. (О -к-^Г ПРИ
(il) -i при 1 < t < 5
(ili) |(l_i|!)npH \x\<2
(iv) 1-|приО<х<2
11 1
vl) -j + з" •* "г Tjf •* р ' '
3. (i) Л A — е~ах) при О < х < h
и h~l (еаЛ — 1) е~ах при х > h
(ii) /г A — <?-« (^+Л)) при — Л < ж < О
и А A — е-аН) е~ах при х > О.
1 2 1
4. (i) 1 Л, если Л < 1, но ^=-, если h > 1
(ii) У"апе* A — 9i0^0/2)), где 91 есть стандартное нормальное распре-
распределение.

732 Ответы на задачи
5. (i) l—x-> при х> 1;
(И) х2 {х + 1)~2 при х > 0.
8. Р {Z < дг} = 1 — е~ах при * < * и = 1 при х > L
т~\
15. /,= 2(n + J~1J-"-*+1. При т=1, л = 2 получаем /> = ^.
о
П. л^" — (л— l)tn.
1 1
18.
1 1
(i) 2 J uU J A — z) dz = -1
0
J J
0 jr
A1) Плотность равна 2< —^2 при 0<^<1 и B —О2 при 1<
(Ш) Плотность равна 2t2 при 0<^<1 и снова B — ?J при
19
чению.
I. 2 x A—x)dx—-^. Две из шести перестановок приводят к пересе-
о
:нию.
20. Хп: 41og-^j при х < j-; Х12 и Х21: 4 log 2 при х < ^-; 4 log ^— при
1 1 v ., . 1 1 л, 1 1 * ,
-j < л < -у ; Х22: 4 log Ах при -j- < х < у; 4 log — при -^- < х < 1.
1 3 9
Математические ожидания равны т^-, -г^-, -гг-.
16 16 16
t-h
л
0
2 11 2 1
25. Функции распределения —arcsin — х и —х2; плотности ¦ ¦— и
я 2 4 я У4 — Х2
у х при 0 < л: < 2.
26. 2я"' arcsin -^ х.
28. a) log 1,
б) |- log l + V^--»", ГДе о < * < 1.
). — f sin26d0==— { V\ — y*dy = 2я [arcsinx-\-xV\— x2], где
29.
я
о < cose < х
0 < х < 1.

Ответы на задачи 733
я/2
о
30
I. F (t) = — [ V (—!—) A — cos 20) dd.
я J \ cos 0 /ч
4. ?'?<*) =
Глава II
10. Хе-и — \ке-М + (\л — Я)
12. Плотность равна 1 — -н- *2 при 0 < ? < 1 и -_¦ B — ?J при всех 1 < t < 2.
Математическое ожидание равно тт^-.
Глава III
6. а) <?-* и l — e-^ — e-^ + e-^-^-^ при л>0, г/>0.
б) E(Y|X)=. A + fljrJ .
Var (Y | X) = A + длJ +
7. Если / имеет математическое ожидание ц и дисперсию а2, то Е (X) =
= Е (Y) = у ц, Var (X) = Var (Y) = i- аг + -i- ц»,
Cov(X, Y) = i-a2-i^.
8. Плотность равна 2^2 в единичном квадрате. Для выборки объема п она
равна (п — 1)! х.2х\ ... x"nz\ в (п—1)-мерном единичном кубе.
9. -х- е~{х+у) при у > х > 0 и -тг- е~у+ 2ж при у > х, х < 0. Если i/ < x, по-
о о
меняйте х и (/ местами.
11. Двумерная нормальная плотность с дисперсиями от, п и ковариацией
V /и/я. Условная плотность, очевидно, имеет математическое ожидание — t
п
п — m
и дисперсию тп ¦ .
12. Сумма Xj+ ••• +X« имеет гамма-плотность /х п [см. гл. ll, 2.2J.
Т' Т

734 Ответы на задачи
Поэтому из C.1)
При m — 2, n = 4 мы получим пример (З.а).
14. а) 4лс(/, когда х -\- у < 1, л: > О, г/ > О
4*1/ — 4 (х + г/ — IJ, когда х-\-у> 1, 0 <х, у <\
Ах B — х — (/), когда у > I, х-\-у <2, х > О
4у B — х — у), когда х > 1, лг+ У < 2, г/ > 0.
б) 2 A — х — г/J при 0 < х, у < 1, х + «/ < 1
2A — jkJ при х>0, у <0, х+г/>0
2(l + i/J при х>0, 2/.<0,
При л: < 0 по симметрии.
15. 2^-(
2я
16. | f (p) p dp J g- (J//-2 + P2 — 2/-PCOS0) dO.
17. а) Х„ = I U cos Tj- ял -{- V sin у ял
б) ^U+nV(—1)"
в) Я f U cos -к- ял -{- V sin -=- яи) +
18. a) Var (Yn+1) — Var (Yn) = Var (С„) — 2 Cov (Yn, С„) +1, откуда
б) а2 — 2аар + 1=0
л-1
1 ( 1 1\ v !
В)а = т(а+-). Ул+1 = й —-
ft-о
1 / 1 \2
19.
Глава VI
7. Не обязательно. Необходимое условие л[1—F(e)+F(—&)]-> 0.
8. При л: > 0 плотности равны 1 и -<тA — е~ *)•
¦9. ^V(x) = 1—ре~'е(. Число моментов восстановления всегда распределено
геометрически.
14. V представляет собой свертку Z и показательного распределения.

Ответы на задачи 735
15. V = A + B*V, wA{dx} = [l — G(x)]F{dx} и В {dx} = О (х) F {dx\
18. Плотность арксинуса g(y) = — A^—-
Глава VII
6. а) [п\рк(\—р)п~к- Распределение F сосредоточено в р.
б) —г—г> плотность /(л:) = 1.
п -(-1
в) тя-

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Абелевы теоремы 511
Абсолютная непрерывность 174, 176
Абсолютно беспристрастная последо-
последовательность 265, 295
¦— монотонные функции 279, 280,
505
Аварии 78, 228
Автобусы (очереди на автобусы,
ожидание) 37, 76, 88, 236
Аддитивные функции множества 136
Алгебра множеств 143, 144, 150
, порождения 204
Арифметическое распределение 173;
см. также Решетчатое распределе-
распределение
Арксинуса распределения 70
— — в процессах восстановления 539
— — в случайном блуждании 483
— — обобщенное 604
Арцела — Асколи теорема 329
Асимптотическая пренебрежимость
223, 594
Асимптотически несмещенная оценка
277
— плотное (множество) 184
Атомические меры 172
Атомы (мер) 172
— при свертке 183—184
Банаха пространство 313, 414, 557
Башелье процесс; см. Броуновское
движение
Безгранично делимые полугруппы
524
распределения 220, 351,516,632
в/ 670, 674
Бернулли испытания и случайный
выбор 53
Берштейна полиномы (в Ж2 300) 278
Бесконечная дифференцируемость
312, 353
Бесконечные свертки 324, 379, 669,
674
Бесселевы функции 79—80, 598
— —.безграничная делимость 221,
518, 646
— — в стохастических процессах 81,
385
— —, Лапласа преобразование 503,
504, 550
— --, распределения, связанные с ни-
ними 80 и ел., 187, 207, 208
— —, характеристическая функция
573
Бета-интеграл 67
— плотность 70
в задаче восстановления 538
Борелевская алгебра 143, 150
Борелевское множество 143
, аппроксимация 145, 156
— —, измеримое по 146
• , соглашения об обозначениях
160
Бохнера интеграл 521—522
Броуновское движение 127, 394, 544
в Яг 218, 407
— —, непрерывность траекторий 226,
365, 395
, первое прохождение 217, 403,
545
— —, подчиненность 411
с упругой силой 397
Бэровские функции 134, 139, 148, 161
Бюффона задача об игле 83
Вальда тождество 469, 492, 679
Вейбула распределение 73
Вейерштрасса теорема об аппрокси-
аппроксимации 278
Вероятность вхождения; см. Вероят-
Вероятность достижения
Вероятностные меры и пространства
142, 168
Ветвящиеся процессы 298, 507, 542
Взаимные пары функций 575
Видимость в ^-направлении 23
Винера процесс; см. Броуновское
движение
Винера — Хопфа интегральное урав-
уравнение 470
— — факторизация 456, 465, 494,
681, 690
Вложенные процессы восстановления
241, 446
Водохранилище; см. Хранение запасов
Возвращение в нуль 490, 689
Возраст; см. Длительность
Вполне монотонные функции 282, 504,
517
— — — абстрактные 520
— .интерполяция 531
Вращения 103, 113
Время возвращения 231
— — максимальное 238, 453
— жизни; см. Длительность, Время
возвращения
Выборка, медиана, экстремумы 32
— среднее значение, дисперсия 111

Предметный указатель
737
Выпуклые функции 193
и мартингалы 271
Вырожденное распределение 108, 113
Вырожденные процессы 118
Гамеля уравнение 358, 366
Гамма-плотность 24, 66
— распределение 23, 66, 500
— —, безграничная делимость 220,
355, 518, 645
— — как предел порядковых стати-
статистик 39
— —, подчинение 412
— —, приближение 276
— — рандомизированное 80
— функция 66, 86
Гармонические функции 298
Гейгера счетчики 238, 240, 439, 453,
536
Гёльдера неравенство 195
Гильбертовы пространства 715, 720
Гиперболические функции и плотно-
плотности 87, 574, 603, 645, 670, 710
Гравитационные поля 216, 272
Граничные условия 400, 546
— значения 299
Грина функция 396, 545, 567
Группировка данных 17
Гюйгенса принцип 71
Двойные орбиты 51
Двойственность 461
Двустороннее преобразование Лап-
Лапласа 499
Двусторонняя показательная плот-
плотность 69
, факторизация 682
— — —, характеристическая функ-
функция 573
Дисперсия 18, 65, 171
— инфинитезимальная 397
— условная 96
Диффузия в генетике 398
— в 5?1 394, 532, 544, 567
— в 5? ' 407
— с упругой силой 397
Длина случайных цепей 262
Длительность, диффузия 404—405
—, мертвый период 238
—, период занятости 452, 553
—, процесс восстановления 234, 273,
441
—, процесс размножения 561
Дробная доля 186, 327
Дробовый эффект 223, 672
Естественный масштаб в диффузии
395
Жордана разложения 173
Задача о разорении 228, 250, 388,
538
, оценки 444, 479
Задержки в движении 237, 445, 454,
544, 567
Законы больших чисел 274, 290, 346,
502, 586
-^ для мартингалов 299
— для серий 378, 674
— ¦ для стационарных последо-
последовательностей 301
— , обратная теорема 292
— нуля или единицы 157
Заражение 79
Значащие цифры 85
Иенсена неравенство 193, 271
Измеримое пространство 144
Измеримость 146
Изометрия 722
Индикатор множества 132
Интегральное уравнение Абеля 51
Интегрирование по частям 189
Интервал непрерывности 303
Инфинитезимальная скорость и дис-
дисперсия 397
Ионизация 385
Исчезающие на бесконечности функ-
функции 303
«Исчезновение», случайные блужда-
блуждания 490
Каноническая мера 633
Кантора тип распределения 54, 177,
670
— — — (свертки) 186
Квазиустойчивость 215
Квазихарактеристические функции
632
Ковариация 91
—, матрица 107
— процесса 116, 700, 725
Колмогорова дифференциальные ура-
уравнения 293, 553
— неравенство 296, 301
— Смирнова теорема 57, 405
— теорема о трех рядах 379
Компактность в схеме серий 370

738
Предметный указатель
Конкордантные (согласованные) функ-
функции 266, 298
Координатные случайные величины
17, 91
Корреляция 91
Коши — Леви теорема 595, 600
— распределение 71, 87, 292, 599
в Ш" 94, 97, 128, 599, 671
и броуновское движение 218,
411
— —, случайное блуждание 259, 693
, устойчивость 216, 634, 645
Крамера оценка для вероятности ра-
разорения 229, 444, 471, 480
Критерий значимости 201
Кронекера лемма 299
— символ 554
— ядро 260, 554
Круг, распределение на нем 46, 83,
88, 104
— — равномерное на нем 327, 333
—, теорема покрытия 44
Кэмпбелла теорема 224, 347, 672
Лапласа второй закон распределения
70
— преобразование 288, 495, 534
Лапласа преобразование вйг 519
двустороннее 499
— — для полугрупп 520
— Стильтьеса преобразование 489
Лебега интеграл 135
— мера 51, 142, 159
— Никодима теорема 176
— пополнение 159
— Стильтьеса интеграл 136, 139, 166
— теорема о разложении 179
Леви каноническое представление
643
— Крамера теорема 600
— метрика 345
— Парето распределение 219
—, примеры 272, 382, 646
Лежандра формула удвоения 86
Лестничные величины 241, 457, 481
— — в процессе ожидания 248
Линдеберга условие для диффузии
395
— условия 320, 346, 592
Линейные операций над стохастиче-
стохастическими процессами 702
— приращения в скачкообразных
процессах 387
Линейный функционал 151
Логарифм комплесных чисел 639
Логарифмическое распределение 86
время возвращения
Логистическое распределение и раз-
развитие 73
Локально компактные пространства
152, 156, 303
Ляпунова условие 346
Мажорированная сходимость 141
Максвелла распределение 49, 68, 103
Максимальная оценка 479
— характеристическая функция 685,
694
— частная сумма 242, 250, 383, 470,
477, 487
Максимальное
238, 453
Максимальный член 207, 215, 337,
347
— —, влияние на сумму 532; см. так-
также Порядковые статистики, Ре-
кордные значения
Марковские процессы с дискретным
временем 122, 129, 258, 274
и мартингалы 298
, спектральная функ-
функция 713, 728
Марковские процессы с дискретным
временем, эргодические теоремы
330
с непрерывным временем 125,
383, 700
в процессах восста-
восстановления 436
в счетных простран-
пространствах 553
и полугруппы 413, 521
¦— — —, эргодические теоремы
446, 564
Марковское свойство 22; см. Строго
марковское свойство
Мартингалы 265, 295
— в процессах восстановления 431
— в случайных блужданиях 466
—, неравенства 295, 296, 301
Масштабные параметры 64, 171
Медиана 32, 172
Медленно меняющиеся функции; см.
Правильно меняющиеся функции
Мера скорости (speed measure) 395
«Мертвый» период 240
Метод ограничений 403
Метрики 345; см. также Банахово
пространство, Гильбертово про-
пространство
Минимальное решение, Винера — Хоп-
фа уравнение 469
, дифференциальное уравнение

Предметный указатель
739
Колмогорова 555
, диффузия 402
, полумарковские процессы 568
, скачкообразные процессы 393
— —, уравнение восстановления 255
Миттаг-Леффлёра функция 519
Момент регенерации 231
Моменты 18, 170, 189
— восстановления 231, 432
— в процессах восстановления 442
—, неравенство 195
—, проблема однозначности 283, 290,
532, 527
в 31т 606
—, производящие функции 499
—, сходимость 306, 328
—, Хаусдорфа проблема 281
Монотонной сходимости принцип 140
свойства 414
Найквиста формула 708
Направляющий процесс 411
Невозвратные случайные блуждания
253
Невозвратные случайные блуждания,
свойства 257, 465, 483, 690, 694
, уравнение восстановления и
теорема для них 252 449, 450, 494
Невозможность систем игры 270, 271
Независимость случайных величин
19, 92, 95, 153, 169
— — ¦—, комплексные величины 570
—, критерий для нее 170
Независимые приращения 123, 224,
352, 365, 380, 724
— —, разрывы 366, 380
Неймана тождество 82
Нелинейное восстановление 454
Непосредственная интегрируемость по
Риману 426
Непрерывность полугрупп 416; см.
также Фиксированные разрывы
Несмещенная оценка 277
Несобственные (дефектные} распре-
распределения 162, 164, 260
в процессах восстановления
234
Неудачи 29
Норма 313, 413, 714, 720
—, топология, порождаемая 345
Нормальное распределение 65, 87,
574
в #г Ю8, 597
вырожденное 112
двумерное 93, 96, 129
Нормальное распределение марков-
марковское 122
.область притяжения 377, 652
~g—• характеристические свойства
частное 128, 206
Нормальные полугруппы 360, 368,
381
Нормальный стохастический процесс
Носитель 64
Нулевая схема серий 222, 659
Нулевое множество 158, 175 714
720
Область притяжения 214
¦ .критерий для нее 373, 382 514
652
— — нормальная 657
частичная 382, 646, 656
Обобщенный пуассоновский процесс
225, 365, 388
и полугруппы 357, 360
—• — —,подчинение в нем 412
, разорение в нем 228, 250,
538
Образование колонн 59, 567
Обратное уравнение для диффузии
396, 398 и ел., 407, 545 и ел.
— полугрупп 417, 420 и т. д.
— полумарковских процессов
568
, минимальное решение 392, 555
и т. д.
— —, скачкообразный процесс 390,
554 и т. д.
Обрывающийся (terminating) или не-
невозвратный (transient) процесс 234,
440 и ел.
Обслуживание больных 229
Обслуживающие устройства; см. Оче-
Очереди
Одновершинные [унимодальные] рас-
распределения 197, 603
— —,свертки 208
Оператор перехода 414
— сдвига 722
Операторы, связанные с распределе-
распределениями 311
Операционное время 227, 409
Орбиты двойные 51
Орнстейна — Уленбека процесс 127,
397
Ортогональные матрицы 114
Остаточные события 157

740
Предметный указатель
Остающееся время ожидания 236
— — —, предельная теорема 434,
436, 453, 540
Осциллирующие случайные блужда-
блуждания 258, 464, 687
Отношение правдоподобия 267
Отражающий экран 402, 406, 532
Оценка 60
Очереди 75, 76, 87, 88, 248
— параллельные 31, 32, 35, 60; см.
также Периоды занятости
Ошибки округления 37, 84
Парадокс контроля 235, 436
Парадоксы 24, 38, 235, 436
Параметры расположения 64, 171
Парето распределение 70
Парсеваля равенство 530, 695, 716,
719
•— — как критерий Хинчина 718
Первое возвращение 459, 491, 566,
689
Первые прохождения, диффузия 217,
403, 544
, марковские цепи 562
— —, процесс размножения и гибели
82, 88, 551, 565
Периодограмма 101
Периоды занятости 246, 251, 553
— — и ветвящийся процесс 542, 517
Петербургская игра 293
Пирсона система распределений 67,
70
Планшереля преобразование 715
— теорема 582
Плотность 16, 64, 174
Повторные математические ожидания
203
Поглощающие экраны 402 и т, д.,
532, 546 и т. д
Поглощение (физическое) 41, 48,
385
¦ Подчиненные процессы 408, 518, 525,
646, 673
и показательная формула 419
Пойа критерий 577, 581
— урновая схема 266, 285, 297
Показательная формула для полу-
полугрупп 287, 409, 417
Показательное распределение 21, 58,
98
— — двумерное 128
двустороннее 69, 187
и равномерное распределение
62, 98
Показательное распределение как
предел 39, 62, 434; см. также Гам-
Гамма-распределения
Положительно определенные матри-
матрицы 107
— — последовательности 710
функции 697
Полугруппы 286, 413, 520
— со сверткой 353
— устойчивые 366
Полумарковский процесс 553, 568
Полумартингалы 271
Полярные координаты 92
Пополнение мер 159
Популяция, рост 39&, 401
—,случайное рассеивание 319
Порядковые статистики 32, 36, 129
, предельные теоремы 39, 62,
87
— —, применение к статическому
оцениванию 60
Потенциал 558
Потеря энергии 385, 387; см. Столк-
Столкновение частиц
Потерянные вызовы 239, 566
Правильно меняющиеся функции 334,
348
Приложение к астрономии 51, 115
170—171, 261, 272, 388
Принцип инвариантности 400
— отражения 218, 547, 548
Притяжение; см. Область притяжения
Проекция 90
— случайных векторов 47, 49, 62
Произведение мер и пространств 153
Производящие операторы 354, 420,
522, 545
— функции, интерпретация с помо-
помощью «исчезновения» 490
— —, характеризация 279
Произвольная остановка 270
Пропуски (пробелы) большие 236,
445, 536
— малые 273
Прохождение света через вещество
41, 47, 62
в звездных системах 261, 388
и принцип Гюйгенса 71
через сферу 47
Процесс авторегрессии 116, 123
— восстановления с запаздыванием
234, 431
Прочность на разрыв 22
Прошедшее время ожидания 236, 453
, предельные теоремы 436, 540
Прямое уравнение, диффузия 400, 544

Предметный указатель
741
Прямое уравнение, диффузия, мини-
минимальное решение 393, 556
— —, полугруппы 417
— —, скачкообразный процесс 387,
391
— — (счетность) 554
Прямоугольная плотность 36, 70
Псевдопуассоновский процесс 409
— —.показательная формула 417
— —, полугруппа 526
— — с линейными приращениями
387
Пуанкаре задача о рулетке 84
Пуассона формула суммирования 85,
405, 707, 727
— ядро 704
Пуассоновские ансамбли 28; см. так-
также Гравитационные поля
¦— распределения, аппроксимация с
их помощью 346
как крайние точки 644
— —, разность 207, 645
— —, формула Тейлора 286
Пуассоновский процесс 24
— — как предел в процессах восста-
восстановления 434
, supremum 299
Равномерное распределение 36, 327
Равностепенная непрерывность 307,
329
Радиация звездная 261
Радона — Никодима производная 174
¦— — теорема 176
Развитие логистическое 73
Разложение единицы 722
Размножения и гибели процессы 549,
567
— — — — и диффузия 567
— — — —, периоды занятости в них
552; см. также Рандомизованные
случайные блуждания
— процесс 60, 325, 559
— — двусторонний 561
Разности (обозначения) 277
Разрывы фиксированные 227, 380
Рандомизированное случайное блу-
блуждание 81, 549, 644
Рандомизация и подчиненные процес-
процессы 409
—.полугруппы 288, 419
—, симметрично зависимые случай-
случайные величины 283
Распределение роета 97
Расслоение 78
Расстояние между распределениями
345
— по вариации 345
Расхождение; см. Эмпирическое рас-
распределение
Регистрация 240, 439
Регрессия 94, 112
Регулярное стохастическое ядро 331
Резольвенты 495, 527, 557
— и полная монотонность 529
Рекордные значения 29, 58, 59; см^
также Порядковые статистики
Решающая функция 269
Решетчатые распределения 173, 184
• , характеристические функции
572, 583
— —, центральная предельная теоре-
теорема для 591, 617
Римана — Лебега теорема 586
Рисса теорема о представлении 152
Рулетка 37, 84
Самовосстанавливающиеся совокуп-
совокупности 234
Свертка ядер 261
Свертки, бесконечные 324, 379, 669,
674
¦ , поведение Fn* 347
— на окружности 86, 333
— плотностей 19, 65, 95
— распределений 179
— — (сингулярных распределений)
186
Свободный пробег 22, 29
Сглаживание 115, 181, 613
Сдвиг, оператор 287, 313
—, полугруппы 355, 421
— принцип 499
Сепарабельность 328
Сервостохастический процесс 130
Серии 62; см. также Рекордные зна-
значения
Сжатие 414, 521
Сильная непрерывность в нуле 416,
521
— сходимость 314, 416
Симметризация 186
—.неравенства 188
Симметрично зависимые величины
283, 489
— — —, центральная предельная тео-
теорема 346
Симметричные события 157
Сингулярные (вырожденные) распре-
распределения 54, 137, 177
— —, свертки 186, 670

742
Предметный указатель
Скалярное произведение 714
Скачкообразный процесс 389
•• с бесконечным числом скачков
393, 554
Скользящее среднее 115, 723
Скрытая периодичность 101
Слабая сходимость 304
Случайная величина 16, 91, 145, 165
комплексная 569
Случайное рассеивание 319
Случайные блуждания в Я1 240, 252,
456, 575
и эмпирическое распре-
распределение 56, 62
— простые (Бернулли) 270,
381, 460, 462, 491, 503, 680
— — сопряженные 474
в Ш г 50, 598
— —,центральная предельная
теорема 319
— импульсы 240
— направления 46, 61, 62
.сложение 48, 71, 186, 262, 598
— разбиения 37, 98, 101; см. Теоре-
Теоремы о покрытии
(расщепления частиц) 40, 61,
129
— суммы 75, 199, 208
, характеристическая функция
576
, центральная предельная тео-
теорема для них 323, 605
— цепи 261
Случайный вектор 48, 50; см. также
Случайные направления
— выбор 14, 36, 32
— — и бросание монеты 53; см. так-
также Теоремы о покрытии, Случай-
Случайные разбиения
Смеси 74, 98, 196, 208
—, преобразование 503
Снедекора плотность 69, 70
Снос в диффузии 397
— в случайных блужданиях 465, 686
Собственное распределение 164
.сходимость 304, 344, 633
Совместное распределение 91
Совпадения 273
•Сопряженные случайные блуждания
474
Спектр мощностей 701
Спектральная мера 701, 726 (задан-
(заданная 703)
, представление для унитарных
операторов 722
•Статистика 32
Стационарность, мера и вероятность
262, 274, 332
—, приращение 225, 352
—.процесс 114, 129, 700. 710 (закон
больших чисел 301) (Ср. Эргоди-
ческая теорема)
Стационарный режим 27, 263, 388
в процессах восстановления
434
Столкновение частиц 261, 385, 387
Стохастическая ограниченность 310,
369
Стохастические интегралы 724
Стохастическое разностное уравнение
128
— ядро 199, 259, 330
Строго марковское свойство 38
— устойчивые распределения 211
Структура (алгебраическая) 414
Стыодента плотность 69, 72
Субмартингал 271, 296
Субстохастическое ядро 260
Сумма случайных векторов 48, 186,
262, 598
Суммируемость по Абелю 704, 706,
728
Чезаро 706, 727
Суперпозиция процессов восстановле-
восстановления 434
Схемы серий 222, 272, 369, 659, 674
Сходимость в среднем квадратичном
714
— мер 304, 326, 344
— операторов 314, 353, 414
— по вероятности, 290, 309
— сильная 314, 416
— слабая 305
Счетно-аддитивные функции (о-адди-
тивные) 137, 150—151, 163
Счетчики; см. Гейгера счетчики, Оче-
Очереди
Тауберовы теоремы 508
, применение 486, 514, 535, 540,
687
Тейлора формула обобщенная 286
Телефонные вызовы 78, 228
потерянные 239, 266; см. также
Периоды занятости
Теорема непрерывности, квазихарак-
квазихарактеристические функции 634
, Лапласа преобразования 496
, полугруппы 327
, характеристические функции
580, 582, 604

Предметный указатель
743
Теорема об аппроксимации в среднем
141
— о продолжении 149, 156
среднем значении 138
трех рядах 379
Теоремы о выборе 325
покрытии 42, 61, 101, 273, 538
Теория надежности 73
— страхования 229; см. также Зада-
Задача о разорении
Типы распределений 64, 171
— —, сходимость 307
Точка роста 172, 184
Точки первого вхождения в процес-
процессах восстановления 236, 434, 435,
492; см. также Лестничные величи-
величины
— —¦ — в случайных блужданиях
490, 492, 675
Транспортные задачи 59, 237, 445,
454, 544, 567
Треугольная плотность 43, 70, 573
Треугольника неравенство 313
Тэта-функции 405, 406, 710
Универсальные законы Дёблина 568
Унимодальность но Хинчину 603
Унитарные операторы в гильберто-
гильбертовом пространстве 722
Упругая сила 397
Уравнение восстановления 232, 425,
436, 453
для всей прямой 253, 448, 494
, процесс 25, 230, 272, 431, 453
Уравнения восстановления, теоремы
424, 427, 441
Условные распределения и математи-
математические ожидания 95, 200
Устойчивые полугруппы 366
— распределения в процессах восста-
восстановления 440
— Й2 647, 671
— —, плотности 657
— —, подчиненность 412, 518
— —, положительные 514, 673
— —.произведения 219, 519
с показателем Vs 72, 87, 216,
381, 503
Фату теорема 140
Фиксированные разрывы 380
Фильтр 116, 702
Фишера Z-статистика 69
Фоккера — Планка уравнение 356,
386, 391
Формула обращения и проблема мо-
моментов 281
, преобразование Лапласа 288
506, 507, 530
, характеристические функции
581, 584, 599
— удвоения 86
Фубини теорема 141, 155, 181
Функции интервалов 136, 162
Функционал линейный 151
Фурье коэффициенты 705, 708
— обращение 581, 583
— ряд 703, 719, 727
— преобразование 570, 608; см. так-
также Планшереля преобразование
— Стильтьеса преобразование 570
Характеристические функции 569
¦ в Я г 596
— —, логарифм 639
периодические 703, 706
•— —, производная в нуле 635
— —, факторизация 578, 669, 708;
см. также Пуассона формула сум-
суммирования
Хи-квадрат 68
Хилле — Иосида теорема 526, 545
Хинчина критерий 718
— Полячека формула 478, 539, 683,
693
Хольцмарка распределение 215, 217,
272
Хранение и управление запасами 228,
229, 247
Центральная предельная теорема 315,
346, 350, 588, 605
— — —, необходимые и достаточные
условия 379, 654, 662
— — —, приложения 257, 264, 319
— — —, процессы восстановления
438
Центрирование 64, 171, 660
— безгранично делимых распределе-
распределений 637
Цепи, прочность 22
— случайные 261
Цифры, распределение 52, 85
Частицы, притяжение 382, 646, 666-
—.расщепление 40, 61, 129
— — быстрыми частицами 385, 387;
ср. Столкновения частиц
—, упорядочение 107, 167
Частные (маргинальные) распределе-
распределения 90, 169, 196
— —, заданные 206

744
Именной указате гь
характеристика фильтра
Частотная
702
Чебышева неравенство 191, 276
— — обобщение 299
— на мартингалы 301
— Эрмита многочлен 609
Чепмена — Колмогорова уравнение
дискретное время !27
, непрерывное время 384
, полугруппы 416, 528
Шаг 174
Шварца неравенство 192
Шаемильха формула 82
Шум 346, см также Дробовой
фект
Эджворта разложение 611, 620
Эквивалентные функции 158, 714
Экраны, см Поглощающие экраны,
556
эф-
Граничьые условия
Эмпирические распределения 55
Эндоморфизм 414
Эргодические стохастические ядра
332
— теоремы, дискретное время 263,
274, 330
, непрерывное время 446, 562,
см Стационарный режим
Эрлангова плотность 66
Эрмита полиномы 609, 630
— разложение 620
Ядра 199, 259, 330
Якоби тэта-функция 405, 406, 710
— о*-аддитивность 137
— алгебра 143
— конечная мера 144
ИМЕННОЙ УКАЗАТЕЛЬ
Амбарцумян В А 261, 388
Андре (Andre D ) 218
Аннекен (Hennequin P L) 131, 729
Байес (Bayes T ) 77
Бакстер (Baxter G) 472, 481, 490,
647, 681
Бартлетт (Bartlett M S ) 730
Баруча-Рид (Barucha-Reid A T)
399, 730
Бенеш (Benes E V) 446, 730
Бенфорд (Benford F ) 85
Бергстрем (Bergstrom -H ) 657
Бернштейн С Н 103, 505
Берри (Berry А С) 607, 620, 621,
625, 627, 630
Бикель (Bickel P J ) 455
Биллингслей (Billingsley P) 57, 323,
406
Блекуэлл (Blackwell D) 424, 449
Блюм (Blum J R) 346
Воль (ВоЫ) 327
Боттс (Botts T А) 131
Бохнер (Bochner S) 383, 411, 520,
697, 699, 712, 729
Брело (Brelot M ) 299
Будро (Boudreau Р Е ) 248
Бурбаки (Bourbaki N ) 131
Бюльман (Buhlman H ) 285
Вальд (Wald A) 283, 465, 474
Вебер (Weber H ) 504
Вейль (Weyl H ) 327
Веисс (Weiss В ) 728
Виленкин Н Я 699, 729
Ёинер (Wiener N ) 426, 718
Винтнер (Wintrier A ) 209
Волд (Wold H ) 597
больфовиц (Wolfowitz J) 252, 153,
447, 449
Гальтон (Galton F) 97
Гейтлер (Heitkr W ) 385
Гельфанд И М 699, 729
Герглотц (Herglotz Q ) 712
Гири (Geary R С ) 111
Гнеденко Б В 57, 62, 337, 607, 618,
657, 668, 730
Гренандер (Grenander U) 102, 729,
730
Гринвуд (Greenwood M ) 79
Гриффин (Griffin J S ) 248
Гуд (Good D J ) 542
Гумбел (Gumbel E J ) 206

Именной указатель
745
Дарлинг (Darling D А ) 533
Дворецкий А 333
Дерман (Derman С ) 564
Деблин (Doblin W) 215, 668
Джильберт (Gilbert E ) 273
Донскер (Donsker M ) 57, 406
Дуб (Doob J L) 130, 206, 266 297,
299 431, 730
Дынкин Е Б 383, 395, 540, 729
Зигмунд (Zjgmund
Золотарев В М 659
635
Иахав (Yahav J. A ) 455
Ибрагимов И А 209
Ито (По К) 395, 400, 729
Кантор (Cantor G ) 326
Карамата (Karamata J) 215, 302, 334,
339 512
Карлеман (Carleman T) 282, 587
Карлин (Carlm S ) 283, 449, 730
Кац (Кае М ) 103, 248, 406
Кельвин (Kelvin) 403
Кемперман (Kemperman J H В ) 472,
729
Кендалл (Kendall D С) 244, 288,
542
Кенуй (Quenomlle М Н ) 50
Кимура (Kimura M ) 399
Кингман (Kingman J F С) 231
Кифер (Kiefer J ) 252, 447
Кокс (Сох D R ) 730
Колмогоров А Н 155, 156, 206, 224,
292, 299, 395, 607, 618, 730
Королюк В С 56, 57, 62
Коши (Cauchy A ) 215, 581
Крамер (Cramer H) 597, 607, 620,
628, 625, 730
Крикеберг (Knckeberg К) 729
Ламперти (Lamperti A) 238
Ландау Л Д 385
Ландау (Landau F) 405, 513
Лаха (Laha R G ) 729
Лебег (Lebeque H ) 152
Леви Поль (Levy Paul) 215, 224, 226,
266, 320, 365, 380, 400, 568, 647,
663, 668, 729, 730
Ле Кам (Le Cam L ) 346
Линдеберг (Lindeberg J W) 585
Линдли (Lmdley D V) 244, 456
Литтл (Little J D С) 544
Литтльвуд (Littlcuood J F) 195,
512
Лоэв (Loeve M) 131, 132, 266 °S5
297, 323, 383, 729 " '
Лукач (Lukacs F) 111 729
Лундберг (Lundberg F) 229
Маккин (McKean H P) 395 400,
729
Макшейн (McShane E J) 131
Манде чьбройт (Mandelbrot В ) 219.
348
Марков А 283
Маршалл (Marshall A W) 301
Мидлтон (Middlelon D ) 709
Миллс (Mills FI D ) 130
Моран (Moran P A P ) 730
Мюнц (Muntz С ) 300
Неве (Neveu J) 131, 297, 729
фон Нейман (Neumann J ) 62
Нейман (Neyman J) 228
Нелсон (Nelson E ) 128 411
Ньюэл (Newell G F ) 59
Орей (Orey С ) 449
Орнштейн (Ornstein D ) 257
Пайк (Руке R ) 229, 457, 539, 568
Петерсен (Petersen D P) 709
Петров В В 625
Пинкхэм (Pinkham R S ) 86
Питман (Pittman E J ) 635
Пойа (Polya G) 79, 195, 215, 228
Поллард (Pollard H ) 424, 449, 520
Поляк (Pollak H O) 273
Полячек (Pollaczek F) 250
Порт (Port S С ) 339
Прабу (Prabhu H U ) 730
Прохоров Ю В 57, 406
Раит (Wright S ) 399
Райт (Wright E M ) 327
Рвачева Е Л 57
Реньи (Renyi A ) 406
Риордан (Riordan J ) 730
Рисе (Rlesz M ) 288
Рихтер (Richter W ) 625
Роббинс (Robbins H E) 128, 323,
423
Розенблат (Rosenblatt M) 102, 346,
730

746
Именной указатель
Рой (Roy S.) 423
Ройден (Royden H. L.) 283
Рэй (Ray D.) 395
Рэлей (Rayleigh) 50
Севидж (Savage J. L.) 157, 285
Серпинский (Sierpinski W.) 327
Скеллам (Skellam J. G.) 320
Скитович В. П. 104
Скороход А. В. 57, 730
Смирнов Н. В. 57, 62, 405
Смит (Smith W. L.) 423, 449, 568,
730
Снелл (Snell J. L.) 431
Спарре-Андерсен (Sparre-Andersen Е.)
456, 481, 486, 489
Спицер (Spitzer F.) 197, 374, 386,
395, 569, 575, 580, 615
Стадден (Studden W.) 283, 730
Стейн (Stein С.) 678
Стивене (Stevens W. L.) 44, 102
Стильтьес (Stieltjes) 283
Сыоэлл (Sewall) 399
Такач (Takacs L.) 542, 730
Тамаркин Я. Д. 273, 301
Таннер (Tanner J. С.) 237
Тейчер (Teicher H.) 346
Титчмарш (Titchmarsch E. С.) 688
Тортра (Tortrat A.) 676
Троттер (Trotter H. Р.) 320, 411
Угахери (Ugaheri Т.) 274
Уилкс (Wilks S. S.) 59
Уильямсон (Williamson R. Е.) 431
Уиттекер (Whittaker J. M.) 709
Уокс (Wax N.) 730
Уолл (Woll J. W.) 411
Уоллес (Wallace D. L.) 621
Уолш (Walsh J. W.) 71
Фишер (Fisher R. A.) 102, 337, 399
Фреше (Frechet H.) 207
Фукс (Fuchs W. H. Y.) 690
Халмош (Halmos P. R.) 131, 270
Хант (Hunt G.) 266
Харди (Hardy G. H.) 195, 327, 512
Харрис (Harris Т. Е.) 298
Хаусдорф (Hausdorff F.) 281
Хелли (Helly E.) 326
Хилле (Hille E.) 286, 288, 354, 476
520, 575, 601, 730
Хинчин А. Я. 215, 224, 291, 474 643
664, 668, 730
Хобби (Hobby C.) 457
Хопф (Hopf E.) 471, 472
Хыоитт (Hewitt E.) 157, 285
Чандрасекар (Chandrasekhar S.) 50
Чернов (Chernoff H.) 346, 631
Чжоу (Chow S.) 423
Чжун (Chung K. L.) 134, 208, 256,
257, 288, 420, 449, 553, 690, 729
Шапиро (Shapiro J. M.) 647
Шварц (Schwartz L.) 699
Шеллинг (Schelling H.) 264, 285
Шеннон (Shannon C.) 708
Шепп (Shepp L.) 87, 197, 694, 728
Шоке (Choquet G.) 429, 670
Шохат (Shohat J. A.) 283, 301
Эйнштейн A. (Einstein A.) 395
Эйнштейн (Einstein A. Jr.) 228
Эссеен (Esseen G.) 607, 618, 620,
621
Эсшер (Esscher F.) 625
Эрдёш (Erdos P.) 406, 424
Фейер (Fejer L.) 706
Филлипс (Phillips R. S.) 288, 354,
520, 525, 730
де Финетти (Finetti В.) 61, 224, 283
Юл (Jule G. U.) 79
Я ноши (Janossy L.) 385

ОГЛАВЛЕНИЕ
Предисловие к русскому изданию 5
Предисловие ¦ 8
Глава 1. Показательные и равномерные плотности 13
§ 1. Введение 13
§ 2. Плотности. Свертки 16
§ 3. Показательная плотность 21
§ 4. Парадоксы, связанные с временем ожидания. Пуассоновский
процесс 24
§ 5. Устойчивость неудач 29
§ 6. Времена ожидания и порядковые статистики 32
§ 7. Равномерное распределение 36
§ 8. Случайные разбиения ... 40
§ 9. Свертки и теоремы о покрытии 42
§ 10. Случайные направления 46
§ 11. Использование меры Лебега 51
§ 12. Эмпирические распределения 55
§ 13. Задачи 58
Глава II. Специальные плотности. Рандомизация 64
§ 1. Обозначения и определения 64
§ 2. Гамма-распределения 66
§ 3. Распределения математической статистики, связанные с гамма-
распределениями .67
§ 4. Некоторые распространенные плотности 69
§ 5. Рандомизация и смеси 74
§ 6. Дискретные распределения 76
§ 7. Бесселевы функции и случайные блуждания 79
§ 8. Распределения на окружности 83
§ 9. Задачи 86
Глава III. Многомерные плотности. Нормальные плотности и процессы 89
§ 1. Плотности 89
§ 2. Условные распределения , 95
§ 3. Возвращение к показательному и равномерному распределениям 98
§ 4. Характеризация нормального распределения 102
§ 5. Матричные обозначения. Матрица ковариаций 106
§ 6. Нормальные плотности и распределения Ю8 .
§ 7. Стационарные нормальные процессы 114
§ 8. Марковские нормальные плотности 122
§ 9. Задачи 128

748 Оглавление
Глава IV. Вероятностные меры и пространства 132
§ 1. Бэровские функции 132
§ 2. Функции интервалов и интегралы в1' 135
§ 3. Вероятностные меры и пространства 142
§ 4. Случайные величины. Математические ожидания 145
§ 5. Теорема о продолжении 149
§ 6. Произведения пространств. Последовательности независимых
случайных величин 153
§ 7. Нулевые множества. Пополнение 158
Глава V. Вероятностные распределения в Хг 160
§ 1. Распределения и математические ожидания 161
§ 2. Предварительные сведения 170
§ 3. Плотности 174
§ За. Сингулярные распределения 177
§ 4. Свертки 179
§ 5. Симметризация 186
§ 6. Интегрирование по частям. Существование моментов 189
§ 7. Неравенство Чебышева 191
§ 8. Дальнейшие неравенства. Выпуклые функции 192
§ 9. Простые условные распределения. Смеси 196
§ 10. Условные распределения 200
§ 10а. Условные математические ожидания 203
§ 11. Задачи 206
Глава VI. Некоторые важные распределения и процессы 210
§ I. Устойчивые распределения в Й1 210
§ 2. Примеры 216
§ 3. Безгранично делимые распределения вй1 220
§ 4. Процессы с независимыми приращениями 224
§ 5. Обобщенные пуассоновские процессы и задачи о разорении 228
§ 6. Процессы восстановления 230
§ 7. Примеры и задачи 234
§ 8. Случайные блуждания 240
§ 9. Процессы массового обслуживания 244
§ 10. Возвратные и невозвратные случайные блуждания 252
§ П. Общие марковские цепи 258
§ 12. Мартингалы 265
§ 13. Задачи 272
Глава VII. Законы больших чисел. Применения в анализе .... 275
§ 1. Основная лемма. Обозначения 275
§ 2. Полиномы Бернштейна. Абсолютно монотонные функции . . . 278

Оглавление 749
§ 3. Проблемы моментов 280
§ 4. Применение к симметрично зависимым, случайным величинам 283
§ 5. Обобщенная формула Тейлора и полугруппы 286
§ 6. Формулы обращения для преобразования Лапласа ..... 298
§ 7. Законы больших чисел для одинаково распределенных слу-
случайных величин 290
§ 8. Усиленный закон больших чисел для мартингалов 295
§ 9. Задачи 300
Глава VIII. Основные предельные теоремы 302
§ 1. Сходимость мер 302
§ 2. Специальные свойства 307
§ 3. Распределения как операторы 311
§ 4. Центральная предельная теорема 315
§ 5. Бесконечные свертки 324
§ 6. Теоремы о выборе 325
§ 7. Эргодические теоремы для цепей Маркова 330
§ 8. Правильно меняющиеся функции 334
§ 9. Асимптотические свойства правильно меняющихся функций 339
§ 10. Задачи 344
Глава IX. Безгранично делимые распределения и полугруппы .... 349
§ 1. Общее знакомство с темой 349
§ 2. Полугруппы со сверткой . 352
§ 3. Подготовительные леммы . 356
§ 4. Случай конечных дисперсий 358
§ 5. Основная теорема 361
§ 6. Пример: устойчивые полугруппы 366
§ 7. Схемы серий 369
§ 8. Области притяжения 373
§ 9. Различные распределения. Теорема о трех рядах 378
§ 10. Задачи 381
Глава X. Марковские процессы и полугруппы 383
§ 1. Псевдопуассоновский тип 384
§ 2. Вариант: линейные приращения 387
§ 3. Скачкообразные процессы 389
§ 4. Диффузионные процессы в 5?1 . • 394
§ 5. Прямое уравнение. Граничные условия 400
§ 6. Диффузия в многомерном случае 407
§ 7. Подчиненные процессы 408
§ 8. Марковские процессы и полугруппы 413
§ 9. «Показательная формула» в теории полугрупп ........ 417
§ 10. Производящие операторы. Обратное уравнение 420

750 Оглавление
Глава XI Теория восстановления . . . 423
§ 1. Теорема восстановления 423
§ 2. Уравнение t,=F*t, . . 429
§ 3. Устойчивые процессы восстановления 431
§ 4. Уточнения 436
§ 5. Центральная предельная теорема 438
§ 6. Обрывающиеся (невозвратные) процессы 440
§ 7. Применения 444
§ 8 Существование пределов в случайных процессах 446
§ 9. Теория восстановления на всей прямой 448
§ 10 Задачи 453
Глава XII. Случайные блуждания в 52! 456
§ 1. Обозначения и соглашения 457
§ 2 Двойственность 461
§ 3. Распределение лестничных высот Факторизация Винера—Хопфа 466
§ 4 Примеры . 472
§ 5. Применения . . 477
§ 6. Одна комбинаторная лемма 480
§ 7. Распределение лестничных моментов 481
§ 8 Закон арксинуса 484
§ 9. Различные дополнения 489
§ 10 Задачи 491
Глава XIII. Преобразование Лапласа. Тауберовы теоремы. Резольвенты 495
§ 1. Определения. Теорема непрерывности 495
§ 2. Элементарные свойства 500
§ 3. Примеры 502
§ 4 Вполне монотонные функции. Формулы обращения 504
§ 5 Тауберовы теоремы 508
§ 6. Устойчивые распределения 514
§ 7. Безгранично-делимые распределения 516
§ 8 Многомерный случай . 519
§ 9. Преобразования Лапласа для полугрупп 520
§ 10. Теорема Хилле—Иосида 526
§ 11 Задачи 530
Глава XIV. Применение преобразования Лапласа 534
§ 1. Уравнение восстановления: теория 534
§ 2. Уравнение типа уравнения восстановления: примеры 536
§ 3. Предельные теоремы, включающие распределения арксинуса . . 539
§ 4 Периоды занятости и соответствующие ветвящиеся процессы 542

Оглавление 751
§ 5. Диффузионные процессы 544
§ 6. Процессы размножения и гибели. Случайные блуждания . . . 549
§ 7. Дифференциальные уравнения Колмогорова 553
§ 8. Пример: чистый процесс размножения 559
§ 9. Вычисление Я(оо) и времен первого прохождения 562
§ 10. Задачи 566
Глава XV. Характеристические функции 569
§ 1. Определение. Основные свойства 569
§ 2. Специальные плотности. Смеси 573
§ 3. Единственность. Формулы обращения . 579
§ 4. Свойства регулярности 584
§ 5. Центральная предельная теорема для одинаково распределен-
распределенных слагаемых 588
§ 6. Условие Линдеберга 592
§ 7. Характеристические функции многомерных распределений . . . 596
§ 8. Две характеризаиии нормального распределения 600
§ 9. Задачи 603
Глава XVI. Асимптотические разложения, связанные с центральной
предельной теоремой 607
§ 1. Обозначения 608
§ 2. Асимптотические разложения для плотностей 609
§ 3. Сглаживание 613
§ 4. Асимптотические разложения для распределений . 616
§ 5. Теорема Берри—Эссеена 620
§ 6. Большие отклонения . 622
§ 7. Различно распределенные слагаемые 626
§ 8. Задачи 630
Глава XVII. Безгранично делимые распределения , . 632
§ 1. Теорема о сходимости 632
§ 2. Безгранично делимые распределения 638
§ 3. Примеры. Специальные свойства 644
§ 4. Устойчивые характеристические функции 648
§ 5. Области притяжения 652
§ 6. Устойчивые плотности 657
§ 7, Схема серий .659
§ 8. Класс L • 663
§ 9. Частичное притяжение. «Универсальные законы» 666
§ 10. Бесконечные свертки 669
§ 11. Многомерный случай 670
§ 12. Задачи 671

752 Оглавление
Глава XVIII. Применение методов Фурье к случайным блужданиям . 675
§ I. Основное тождество . . . . 675
§ 2 Конечные интервалы Вальдовская аппроксимация 678
§ 3 Факторизация Винера—Хопфа 681
§ 4. Обсуждение результатов Применения 684
§ 5. Уточнения 687
§ 6 Возвращения в нуль 689
§ 7. Критерии возвратности 690
§ 8 Задачи 693
Глава XIX Гармонический анализ 6У5
§ 1 Раренство Пррсеваля 695
§ 2 Положительно определенные функции 697
§ 3 Стационарные процессы 700
§ 4. Ряды Фурье 703
§ 5 Формула сумлшрования Пуассона 707
§ 6. Положительно определенные последовательности 710
§ 7. /Атеория 713
§ 8 Случайные процессы и стохастические интиралы 719
§ 9. Задачи 726
Предметный указатель . . . . . . 736
Именной указатель 744