Α. Η. Ширяев
ВЕРОЯТНОСТЬ-1
Элементарная теория вероятностей.
Математические основания. Предельные теоремы
Издание третье,
переработанное и дополненное
Допущено Министерством образования России в качестве
учебника для студентов высших учебных заведений
по физико-математическим направлениям и специальностям
Москва
Издательство МЦНМО, 2004

УДК 519.21(075.8)
ББК 22.171
Ш64
Ширяев А. Н.
Ш64 Вероятность. В 2-х кн. — 3-е изд., перераб. и доп. — М.: МЦНМО,
2004.
ISBN 5-94057-036-4
Кн. 1.-520 с.-ISBN 5-94057-105-0
Настоящее издание (в двух книгах «Вероятность— 1» и «Вероятность — 2»)
представляет собой расширенный курс лекций по теории вероятностей.
Первая книга «Вероятность— 1» содержит материал, относящийся к
элементарной теории вероятностей, и может служить пособием для первичного ознакомления с
предметом. Большой материал отводится математическим основаниям теории
вероятностей, базирующимся на аксиоматике Колмогорова, рассматриваются основные
вопросы предельных теорем теории вероятностей.
Вторая книга «Вероятность —2» посвящена случайным процессам с дискретным
временем.
Книги рассчитаны на студентов физико-математических специальностей
университетов. Могут служить учебным пособием для аспирантов и справочным пособием
для специалистов.
Табл. 9. Ил. 42. Библиогр. 136 назв.
ББК 22.171
ISBN 5-94057-105-0
9"785940"571056»>
ISBN 5-94057-036-4
ISBN 5-94057-105-0 (кн. 1)
© Ширяев А. Н., 2004
© МЦНМО, 2004

К столетию со дня рождения
Андрея Николаевича Колмогорова
(1903-1987)
ОГЛАВЛЕНИЕ
КНИГА ПЕРВАЯ. ВЕРОЯТНОСТЬ - 1
Предисловие к третьему изданию 7
Предисловие ко второму изданию 9
Предисловие к первому изданию 11
Введение 14
Глава I. Элементарная теория вероятностей 20
§ 1. Вероятностная модель эксперимента с конечным числом исходов 21
§ 2. Некоторые классические модели и распределения 36
§ 3. Условные вероятности. Независимость 43
§ 4. Случайные величины и их характеристики 53
§ 5. Схема Бернулли. I. Закон больших чисел 67
§ 6. Схема Бернулли. II. Предельные теоремы (локальная, Муавра—
Лапласа, Пуассона) 78
§ 7. Оценка вероятности «успеха» в схеме Бернулли 94
§ 8. Условные вероятности и математические ожидания
относительно разбиений 100
§ 9. Случайное блуждание. I. Вероятности разорения и средняя
продолжительность при игре с бросанием монеты 109
§ 10. Случайное блуждание. II. Принцип отражения. Закон арксинуса 120
§11. Мартингалы. Некоторые применения к случайному блужданию 128
§ 12. Марковские цепи. Эргодическая теорема. Строго марковское
свойство 136
Глава II. Математические основания теории вероятностей 160
§ 1. Вероятностная модель эксперимента с бесконечным числом
исходов. Аксиоматика Колмогорова 161
§ 2. Алгебры и σ-алгебры. Измеримые пространства 171
§ 3. Способы задания вероятностных мер на измеримых
пространствах 191
§4. Случайные величины. I 214
§ 5. Случайные элементы 221

4 ОГЛАВЛЕНИЕ
§ 6. Интеграл Лебега. Математическое ожидание 226
§7. Условные вероятности и условные математические ожидания
относительно σ-алгебр 266
§ 8. Случайные величины. II 300
§9. Построение процесса с заданными конечномерными
распределениями 314
§ 10. Разные виды сходимости последовательностей случайных
величин 324
§11. Гильбертово пространство случайных величин с конечным
вторым моментом 338
§ 12. Характеристические функции 352
§ 13. Гауссовские системы 380
Глава III. Близость и сходимость вероятностных мер.
Центральная предельная теорема 396
§ 1. Слабая сходимость вероятностных мер и распределений 397
§ 2. Относительная компактность и плотность семейств
вероятностных распределений 407
§ 3. Метод характеристических функций в доказательстве
предельных теорем 413
§4. Центральная предельная теорема для сумм независимых
случайных величин. I. Условие Линдеберга 421
§ 5. Центральная предельная теорема для сумм независимых
случайных величин. II. Неклассические условия 433
§ 6. Безгранично делимые и устойчивые распределения 438
§ 7. «Метризуемость» слабой сходимости 447
§8. О связи слабой сходимости мер со сходимостью случайных
элементов почти наверное 452
§ 9. Расстояние по вариации между вероятностными мерами.
Расстояние Какутани—Хеллингера и интегралы Хеллингера.
Применение к абсолютной непрерывности и сингулярности мер ... 460
§ 10. Контигуальность (сближаемость) и полная асимптотическая
разделимость вероятностных мер 470
§11.0 скорости сходимости в центральной предельной теореме 475
§ 12. О скорости сходимости в теореме Пуассона 479
§ 13. Фундаментальные теоремы математической статистики 481
Библиографическая справка (главы I—III) 492
Список литературы 496
Предметный указатель 502
Указатель обозначений 516

ОГЛАВЛЕНИЕ
5
КНИГА ВТОРАЯ. ВЕРОЯТНОСТЬ -2
Предисловие 527
Глава IV. Последовательности и суммы независимых случайных
величин 528
§ 1. Законы «нуля или единицы» 529
§ 2. Сходимость рядов 534
§ 3. Усиленный закон больших чисел 540
§ 4. Закон повторного логарифма 551
§ 5. О скорости сходимости в усиленном законе больших чисел и о
вероятностях больших уклонений 557
Глава V. Стационарные (в узком смысле) случайные
последовательности и эргодическая теория 562
§ 1. Стационарные (в узком смысле) случайные
последовательности. Сохраняющие меру преобразования 563
§ 2. Эргодичность и перемешивание 567
§ 3. Эргодические теоремы 570
Глава VI. Стационарные (в широком смысле) случайные
последовательности, ^-теория 578
§ 1. Спектральное представление ковариационной функции 579
§ 2. Ортогональные стохастические меры и стохастические интегралы 589
§3. Спектральное представление стационарных (в широком смыс-
. ле) последовательностей 595
§4. Статистическое оценивание ковариационной функции и
спектральной плотности 607
§ 5. Разложение Вольда 614
§ 6. Экстраполяция, интерполяция и фильтрация 623
§ 7. Фильтр Калмана—Бьюси и его обобщения 634
Глава VII. Последовательности случайных величин, образующие
мартингал 646
§ 1. Определения мартингалов и родственных понятий 647
§2. О сохранении свойства мартингальности при замене времени на
случайный момент 659
§ 3. Основные неравенства 671
§ 4. Основные теоремы о сходимости субмартингалов и мартингалов 688
§5. О множествах сходимости субмартингалов и мартингалов 697
§ 6. Абсолютная непрерывность и сингулярность вероятностных
распределений на измеримом пространстве с фильтрацией 706

6
ОГЛАВЛЕНИЕ
§7. Об асимптотике вероятности выхода случайного блуждания
за криволинейную границу 721
§8. Центральная предельная теорема для сумм зависимых
случайных величин 726
§ 9. Дискретная версия формулы Ито 740
§ 10. Вычисление вероятности разорения в страховании. Мартин-
гальный метод 746
§11.0 фундаментальных теоремах стохастической финансовой
математики. Мартингальная характеризация отсутствия арбитража 751
§ 12. О расчетах, связанных с хеджированием в безарбитражных
моделях 767
§ 13. Задачи об оптимальной остановке. Мартингальный подход 776
Глава VIII. Последовательности случайных величин,
образующие марковскую цепь 786
§ 1. Определения и основные свойства 787
§ 2. Обобщенное марковское и строго марковское свойства 800
§3. О проблематике предельных, эргодических и стационарных
распределений вероятностей для марковских цепей 809
§4. Классификация состояний марковских цепей по
алгебраическим свойствам матриц переходных вероятностей 812
§ 5. Классификация состояний марковских цепей по
асимптотическим свойствам переходных вероятностей 819
§6. О предельных, стационарных и эргодических распределениях
для счетных марковских цепей 833
§7. О предельных, стационарных и эргодических распределениях
для конечных марковских цепей 841
§ 8. Простое случайное блуждание как марковская цепь 842
§ 9. Задачи об оптимальной остановке для марковских цепей 856
Очерк истории становления математической теории вероятностей .. 875
Библиографическая справка (главы IV—VIII) 899
Список литературы 904
Предметный указатель 910
Указатель обозначений 924

Предисловие к третьему изданию
Если принять во внимание, что первое издание нашей книги
«Вероятность» вышло в 1980 г., второе — в 1989 г., а настоящее, третье,—
в 2004 г., то можно сказать, что издания выходят примерно с десяти-
пятнадцатилетним интервалом. (На английском языке книга издавалась в
1984 и 1996 гг. и на немецком — в 1988 г.)
Время показывает, что отбор материала для первых двух изданий таков,
что он сохраняет свою актуальность и сейчас. Это определило то, что мы
сохранили структуру предшествующих изданий, внеся, однако, в
настоящие книги «Вероятность— 1» и «Вероятность — 2» ряд существенных
изменений и дополнений.
Прежде всего это относится к последней, восьмой, главе, посвященной
изложению теории марковских цепей с дискретным временем. По
существу, эта глава написана заново. Теперь в ней содержится больше
материала, приводятся подробные доказательства многих утверждений,
ранее изложенные лишь в конспективной форме. Особое внимание уделено
строго марковскому свойству и концепциям стационарных и эргодических
распределений. Специальный параграф отведен для изложения теории
оптимальных правил остановки марковских цепей.
Новый материал добавлен также и в седьмую главу, относящуюся
к теории мартингалов с дискретным временем. В § 9 приводится
дискретный вариант формулы К. Ито, что может рассматриваться как введение
в стохастическое исчисление для броуновского движения, где формула
замены переменных Ито играет исключительно важную роль. В § 10 этой
главы показывается, как методы теории мартингалов позволяют просто
получать оценки вероятностей разорения страховых компаний, эволюция
капитала которых описывается моделью Крамера—Лундберга. Материал
§ 11 относится к «теории арбитража» в стохастической финансовой
математике. Здесь приводятся две «фундаментальные теоремы теории
арбитража», дающие в мартингальных терминах условия отсутствия
арбитражных возможностей и условия, гарантирующие существование
такого портфеля ценных бумаг, который позволяет достичь поставленной
финансовой цели. В § 12 приводится ряд важных результатов «финансовой
инженерии» относительно расчетов рациональных (справедливых)
стоимостей опционов и структуры «хеджирующих» портфелей ценных бумаг.
Общей теории оптимальных правил остановки для произвольных
случайных последовательностей отведен § 13 этой главы. Излагаемый материал
служит хорошей иллюстрацией того, как понятия и результаты теории

8
ПРЕДИСЛОВИЕ К ТРЕТЬЕМУ ИЗДАНИЮ
мартингалов «работают» в разнообразных проблемах «стохастической
оптимизации».
В другие главы также внесен ряд изменений и дополнений.
Отметим здесь новый материал, относящийся-к теоремам о монотонных
классах (§ 2 главы II), основанный на детальном изложении понятий и
свойств «π-λ-систем», и § 13 главы III, посвященный некоторым
фундаментальным теоремам математической статистики.
Новым в настоящем издании является «Очерк истории становления
математической теории вероятностей», помещенный в конце книги
«Вероятность — 2».
В ряд параграфов внесены новые задачи.
Автор глубоко признателен Т. Б. Толозовой за большой труд по
научному редактированию книги и руководству издательства Московского
центра непрерывного математического образования как за предложение о
новом издании, так и за быстрое и эффективное осуществление проекта по
изданию книги.
Москва, 2003 А. Ширяев
Математический институт
им. В. А. Стеклова РАН,
Московский государственный
университет им. М. В. Ломоносова

Предисловие ко второму изданию
В предисловии к первому изданию, вышедшему в 1980 г., отмечалось,
что основу книги составили лекции, читаемые автором на
механико-математическом факультете Московского университета им. М. В. Ломоносова
и частично изданные ротапринтным способом под названием
«Вероятность, статистика, случайные процессы, I, II» издательством МГУ. Наш
первоначальный замысел при написании первого издания настоящей
книги состоял в том, чтобы пособие содержало три части: «Вероятность»,
«Математическая статистика», «Теория случайных процессов»,
соответствующие программе трехсеместрового курса лекций для математических
специализаций университетов. Однако в ходе работы над книгой этот
замысел осуществить полностью не удалось, поскольку принятый характер
изложения потребовал бы значительно большего объема. В связи с этим в
предисловии к первому изданию говорилось, что «достаточно полно здесь
представлена лишь теория вероятностей и теория случайных процессов
с дискретным временем».
Практически весь текст первого издания входит и в настоящее.
Изменения, исправления носят, как правило, редакционный характер с учетом
также и тех замечаний, которые были получены мною от советских и
зарубежных читателей, знакомых с книгой по русскому изданию и переводам
на английский и немецкий языки [98], [99]. Автор искренне признателен
всем им за внимание, советы и доброжелательную критику.
В настоящее, второе, издание добавлен новый материал: в главе III это
§ 5» §§ 7—12, в главе IV — § 5, в главе VII — § 8. Наиболее существенно
дополнена третья глава. Здесь читатель найдет изложение ряда вопросов,
относящихся к более углубленному изучению таких тем, как меры близости
вероятностных мер, метризуемость слабой сходимости, контигуальность
вероятностных мер. В эту же главу добавлены доказательства ряда важных
результатов о скорости сходимости в центральной предельной теореме
и в теореме Пуассона об аппроксимации биномиального распределения
пуассоновским, которые в первом издании присутствовали лишь в виде
формулировок.
Отметим также новый материал о вероятностях больших уклонений
(глава IV, § 5) и центральную предельную теорему для сумм зависимых
случайных величин (глава VII, § 8).
За последние несколько лет вероятностная литература, издаваемая
Главной редакцией физико-математической литературы издательства
«Наука», пополнилась учебниками Б. А. Севастьянова [97], 1982 г., Ю. А. Ро-

10
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
занова [95], 1985 г., учебным пособием А. А. Боровкова [7], 1986 г., и
учебником Б. В. Гнеденко [15], 1988 г. В 1985 г. и 1986 г. издательство
МГУ издало учебное пособие Я. Г. Синая [128]. Представляется, что
эти издания вместе с настоящим, во многом отличаясь и дополняя друг
друга, охватывают довольно обширный материал, в существенном
достаточно полно удовлетворяющий современным требованиям, предъявляемым
к преподаванию теоретико-вероятностных дисциплин студентам физико-
математических специализаций.
В учебнике Б. В. Гнеденко приводится много хорошо подобранных
примеров в том числе и прикладного содержания, дается большой материал
методологического характера и обширный очерк истории теории
вероятностей. Учебное пособие А. А. Боровкова [7], пожалуй, наиболее сходно
с настоящей книгой по стилю изложения. Специального упоминания
заслуживают главы 9 («Элементы теории восстановления»), 11 («Факторизаци-
онные тождества») и 17 («Функциональные предельные теоремы»),
которые отличают пособие [7] от настоящего и [15], [95]. Учебник Ю. А.
Розанова содержит большой материал, касающийся разнообразных
математических моделей, которые теория вероятностей и математическая статистика
предлагают для описания случайных явлений и их эволюции. В основу
учебника Б. А. Севастьянова положен двухсеместровый курс его лекций
в МГУ. Материал заключительных четырех глав этого учебника охватывает
тот необходимый минимум, который входит в университетскую
программу годового курса по теории вероятностей и математической статистике.
В нашем пособии, возможно в большей степени, нежели чем в отмеченных
выше, значительное место уделено теоретико-множественным аспектам и
математическим основаниям теории вероятностей.
В учебниках Б. В. Гнеденко и Б. А. Севастьянова в конце каждой
главы, а в настоящем пособии — в конце каждого параграфа добавлены
упражнения и задачи, которые вместе, например, с задачниками А. В.
Прохорова, В. Г. Ушакова, Н. Г. Ушакова «Задачи по теории вероятностей» —
М.: Наука, 1986, и А. М. Зубкова, Б. А. Севастьянова, В. П. Чистякова
«Сборник задач по теории вероятностей» — М.: Наука, 1988, могут быть
использованы читателем для самоконтроля, а преподавателями для
проведения семинарских занятий со студентами.
Москва, октябрь 1988
А. Ширяев

Предисловие к первому изданию
В основу настоящего учебного пособия положен трехсеместровый курс
лекций, который читался автором в течение ряда лет на
механико-математическом факультете Московского государственного университета и
был частично издан ротапринтным способом под названием «Вероятность,
статистика, случайные процессы, I, II», изд-во МГУ.
В соответствии с традицией первая часть курса (примерно один
семестр) отводится на элементарную теорию вероятностей (глава I).
Изложение начинается с построения вероятностных моделей с конечным числом
исходов и введения основных вероятностных понятий таких, как
элементарные события, события, вероятность, независимость, случайные
величины, математические ожидания, корреляция, условные вероятности и др.
Многие вероятностно-статистические закономерности хорошо
прослеживаются уже на примере простейшего случайного блуждания,
порожденного схемой Бернулли. В связи с этим для этого случая излагаются как
классические результаты (закон больших чисел, локальная и интегральная
теоремы Муавра и Лапласа), так и более современные результаты
(например, закон арксинуса).
Завершается первая глава рассмотрением зависимых случайных
величин, образующих мартингал и марковскую цепь.
Главы II—IV являются расширенным изложением второй части курса
(второй семестр). Здесь излагается (глава II) ставшая общепринятой
аксиоматика теории вероятностей А. Н. Колмогорова и дается математический
аппарат, составляющий арсенал средств современной теории
вероятностей (σ-алгебры, меры и способы их задания, интеграл Лебега, случайные
величины и случайные элементы, характеристические функции, условные
математические ожидания относительно σ-алгебр, гауссовские системы и
др.). Следует отметить, что два результата теории меры —теорема Карате-
одори о продолжении меры и теорема Радона—Никодима — принимаются
без доказательства.
Третья глава посвящается вопросам слабой сходимости
вероятностных распределений и методу характеристических функций в
доказательстве предельных теорем. Вводятся понятия относительной компактности
и плотности семейства вероятностных распределений и доказывается (для
случая числовой прямой) теорема Ю. В. Прохорова об эквивалентности
этих понятий.
К этой же части курса отнесено рассмотрение свойств «с вероятностью
единица» для последовательностей и сумм независимых случайных вели-

12
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ
чин (глава IV). Приводятся доказательства законов «нуля или единицы»
(Колмогоров, Хьюитт и Сэвидж), критерии сходимости рядов и даются
условия справедливости усиленного закона больших чисел. Закон
повторного логарифма формулируется для произвольных последовательностей
независимых одинаково распределенных случайных величин с конечным
вторым моментом и доказывается в предположении, что эти величины
имеют гауссовское распределение.
Наконец, третья часть курса (главы V—VIII) отводится случайным
процессам с дискретным временем (случайным последовательностям). Главы
V и VI посвящены теории стационарных случайных последовательностей,
где стационарность понимается как в узком, так и в широком смысле.
Изложение теории стационарных в узком смысле случайных
последовательностей ведется с привлечением понятий эргодической теории:
сохраняющее меру преобразование, эргодичность, перемешивание. Приводится
простое доказательство (данное А. Гарсиа) максимальной эргодической
теоремы, что позволяет дать и простое доказательство эргодической теоремы
Биркгофа—Хинчина.
Рассмотрение стационарных в широком смысле случайных
последовательностей начинается с доказательства спектрального представления
для ковариационной функции. Затем вводятся ортогональные
стохастические меры, интегралы по ним и доказывается спектральное представление
для самих последовательностей. Рассмотрен также ряд статистических
задач: оценивание ковариационной функции и спектральной плотности,
экстраполяция, интерполяция и фильтрация. В эту же главу включен также
материал, относящийся к фильтру Калмана—Бьюси и его обобщениям.
В седьмой главе рассматриваются основные результаты теории
мартингалов и родственных понятий. Излагаемый здесь материал стал включаться
в традиционные курсы теории вероятностей лишь сравнительно недавно.
В последней главе, посвященной марковским цепям, основное внимание
уделяется вопросам асимптотического поведения цепей Маркова со
счетным множеством состояний.
В конце каждого параграфа приводятся задачи, значимость которых
может быть различной: в одних предлагается доказать утверждения,
сформулированные, но не доказанные в основном тексте, другие содержат
утверждения, используемые в последующем изложении, третьи преследуют
цель дать дополнительные сведения к рассматриваемому кругу вопросов
и, наконец, некоторые носят характер простых упражнений.
При составлении курса и настоящего пособия автор использовал
разнообразную литературу по теории вероятностей. В историко-библиографи-
ческой справке указываются как источники приводимых результатов, так и
дополнительная литература, относящаяся к рассматриваемому материалу.

ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ 13
В книге применяется следующая нумерация и система ссылок. Каждый
параграф содержит свою нумерацию теорем, лемм и формул (без указания
номера главы и параграфа). При ссылке на соответствующий результат
из другого параграфа той же главы применяется двойная нумерация, где
первая цифра указывает номер параграфа (так, ссылка на формулу (2.10)
означает формулу (10) из § 2). При ссылке на результаты из другой главы
используется тройная нумерация (так, формула (Н.4.3) означает формулу
(3) из § 4 главы II).
Автор пользуется здесь случаем поблагодарить А. Н. Колмогорова,
Б. В. Гнеденко, Ю. В. Прохорова, которые его учили и у которых он
учился теории вероятностей и советами которых он имел возможность
пользоваться. Автор приносит также свою признательность сотрудникам
кафедр теории вероятностей и математической статистики
механико-математического факультета МГУ и сотрудникам отдела теории вероятностей
Математического института им. В. А. Стеклова АН СССР за обсуждения
и советы.
А. Ширяев

Введение
Предметом теории вероятностей является математический анализ
случайных явлений —эмпирических феноменов, которые (при заданном
«комплексе условий») могут быть охарактеризованы тем, что
для них отсутствует детерминистическая регулярность
(наблюдения над ними не всегда приводят к одним и тем же исходам)
и в то же самое время
они обладают некоторой статистической регулярностью
(проявляющейся в статистической устойчивости частот).
Поясним сказанное на классическом примере «честного»
подбрасывания «правильной» монеты. Ясно, что заранее невозможно с
определенностью предсказать исход каждого подбрасывания. Результаты отдельных
экспериментов носят крайне нерегулярный характер (то «герб», то
«решетка»), и кажется, что это лишает нас возможности познать какие-либо
закономерности, связанные с этими экспериментами. Однако, если
провести большое число «независимых» подбрасываний, то можно заметить, что
для «правильной» монеты будет наблюдаться вполне определенная
статистической регулярность, проявляющаяся в том, что частота выпадания
«герба» будет «близка» к 1/2.
Статистическая устойчивость частот делает весьма правдоподобной
гипотезу о возможности количественной оценки «случайности» того или
иного события Л, осуществляющегося в результате экспериментов. Исходя
из этого, теория вероятностей постулирует существование у события Л
определенной числовой характеристики Ρ (Л), называемой вероятностью
этого события, естественное свойство которой должно состоять в том,
что с ростом числа «независимых» испытаний (экспериментов) частота
появления события Л должна приближаться к Ρ (Л).
Применительно к рассмотренному примеру это означает, что
вероятность события Л, состоящего в выпадании «герба» при бросании
«правильной» монеты, естественно считать равной 1/2.
Число подобных примеров, в которых интуитивное представление о
численном значении вероятности того или иного события складывается
весьма легко, можно без труда приумножить. Однако все они будут носить
сходный характер и сопровождаться не определенными (пока) понятиями
типа «честное» подбрасывание, «правильная» монета, «независимость»
и т.п.

ВВЕДЕНИЕ
15
Призванная изучать количественные характеристики «случайности»,
теория вероятностей, как и всякая точная наука, стала таковой лишь тогда,
когда было четко сформулировано понятие вероятностной модели, когда
была создана ее аксиоматика. В этой связи естественно сейчас хотя бы
кратко остановиться на основных исторических вехах теории вероятностей.
Подробный «Очерк истории становления математической теории
вероятностей» приведен в книге «Вероятность —2».
Возникновение теории вероятностей как науки относится к
середине XVII века и связано с именами Паскаля (1623—1662), Ферма
(1601—1665), Гюйгенса (1629—1695). Хотя отдельные задачи,
касающиеся подсчета шансов в азартных играх, рассматривались ранее — в
XV—XVI вв. итальянскими математиками (Кардано, Пачоли, Тарталья
и др.), первые общие методы решения таких задач были, по-видимому,
даны в знаменитой переписке между Паскалем и Ферма, начавшейся в
1654 г., и в первой книге по теории вероятностей «De Ratiociniis in Aleae
Ludo» («О расчетах в азартных играх»), опубликованной Гюйгенсом в
1657 г. Именно в этот период вырабатывается важное понятие
«математическое ожидание», устанавливаются теоремы сложения и умножения
вероятностей.
Истинная история теории вероятностей начинается с работы Я. Бер-
нулли (1654—1705) «Ars Conjectandi» («Искусство предположений»),
опубликованной в 1713 г., в которой была доказана (и вполне строго)
первая предельная теорема теории вероятностей —«закон больших чисел»,
и работы Муавра (1667—1754) «Miscellanea Analytica Supplementum»
(примерный перевод может быть таков: «Аналитические методы» или
«Аналитическая смесь»), 1730 г., в которой впервые была
сформулирована и доказана (в симметричной схеме Бернулли) так называемая
«центральная предельная теорема».
Я. Бернулли принадлежит заслуга введения в науку «классического»
определения понятия «вероятность события» как отношения числа
возможных результатов испытаний, благоприятствующих рассматриваемому
событию, к числу всех возможных результатов испытаний.
Я. Бернулли был, вероятно, первым, кто делал четкое различие между
понятиями «вероятность» события и «частота» его появления и кто
осознал важность рассмотрения бесконечных Последовательностей повторных
испытаний.
Муавру принадлежит заслуга в определении таких понятий, как
«независимость», «математическое ожидание», «условная вероятность».
В 1812 г. выходит большой трактат Лапласа (1749—1827) «Theorie Analy-
tique des Probabilites» («Аналитическая теория вероятностей»), в которой
он излагает свои собственные результаты в области теории вероятностей,

16
ВВЕДЕНИЕ
а также результаты своих предшественников. В частности, он обобщил
теорему Муавра на общий (несимметричный) случай схемы Бернулли,
раскрыв тем самым более полным образом значение результата Муавра.
Весьма значителен вклад Лапласа, состоящий в применении
вероятностных методов к теории ошибок наблюдений. Именно им была высказана
плодотворная идея, что ошибка наблюдений должна рассматриваться как
суммарный эффект сложения большого числа независимых элементарных
ошибок. Отсюда следовало, что при достаточно общих условиях
распределение ошибок наблюдений по крайней мере приближенно должно быть
нормальным.
К этому же периоду в развитии теории вероятностей, когда центральное
место в исследованиях занимали предельные теоремы, относятся работы
Пуассона (1781-1840) и Гаусса (1777-1855).
С именем Пуассона в современной теории вероятностей связано
понятие распределения и процесса, носящих его имя. Гауссу принадлежит
заслуга создания теории ошибок и, в частности, обоснование одного из ее
основных принципов — метода наименьших квадратов.
Следующий важный период в развитии теории вероятностей связан
с именами П. Л. Чебышева (1821—1894), А. А. Маркова (1856—1922),
А. М. Ляпунова (1857—1918), создавших эффективные методы
доказательства предельных теорем для сумм независимых произвольно
распределенных случайных величин.
Число публикаций Чебышева по теории вероятностей невелико — их
всего четыре, но их роль в теории вероятностей и в создании классической
русской школы теории вероятностей трудно переоценить.
«С методологической стороны основной переворот, совершенный
Чебышевым, заключается не только в том, что он впервые с полной
настойчивостью выдвинул требование абсолютной строгости
доказательства предельных теорем... но главным образом в том, что Чебышев
всюду стремился получить точные оценки отклонений от предельных
закономерностей, возможных при хотя бы и большом, но конечном числе
испытаний, в виде безусловно правильных при любом числе испытаний
неравенств» (А. Н. Колмогоров [30]). До Чебышева основной интерес
в теории вероятностей был связан с подсчетом вероятностей случайных
событий. Им же впервые была ясно осознана и использована вся сила
понятий «случайная величина» и «математическое ожидание случайной
величины».
Лучшим выразителем идей Чебышева был его ближайший ученик
Марков, которому принадлежит несомненная заслуга доведения до полной
ясности результатов своего учителя. Значительным вкладом Маркова в
теорию вероятностей явилось начатое им исследование предельных теорем

ВВЕДЕНИЕ
17
для сумм зависимых случайных величин и создание одного из новых
разделов теории вероятностей — теории зависимых случайных величин,
связанных, как теперь принято говорить, в цепь Маркова.
«...Классический курс исчисления вероятностей А. А. Маркова и его
оригинальные мемуары, являющиеся образцом точности и ясности
изложения, в наибольшей степени содействовали превращению теории
вероятностей в одну из самых совершенных областей математики и широкому
распространению направления и методов Чебышева» (С. Н. Бернштейн [3]).
Для доказательства центральной предельной теоремы теории
вероятностей (о сходимости к нормальному закону) Чебышев и Марков применили
так называемый метод моментов. При более общих условиях и более
простым методом — методом характеристических функций эта теорема была
получена Ляпуновым. Последующее развитие теории показало, что метод
характеристических функций является мощным аналитическим средством
доказательства самых разнообразных предельных теорем.
Современный период в развитии теории вероятностей начинается с
установления аксиоматики. Первые работы в этом направлении
принадлежат С. Н. Бернштейну (1880—1968), Р. Мизесу (1883—1953), Э. Борелю
(1871 — 1956). В 1933 г. вышла книга А. Н. Колмогорова «Основные
понятия теории вероятностей», в которой была предложена аксиоматика,
получившая всеобщее признание и позволившая не только охватить все
классические разделы теории вероятностей, но и дать строгую основу
для развития ее новых разделов, вызванных запросами естествознания и
связанных с бесконечномерными распределениями.
Изложение в настоящих книгах «Вероятность— 1» и «Вероятность —
2» основано на аксиоматическом подходе Колмогорова. При этом, чтобы
формально-логическая сторона дела не заслоняла интуитивных
представлений, наше изложение начинается с элементарной теории вероятностей,
«элементарность» которой состоит в том, что в соответствующих
вероятностных моделях рассматриваются эксперименты лишь с конечным числом
исходов. После этого мы даем изложение основ теории вероятностей в ее
наиболее общем виде («Вероятность— 1»).
Начиная с 20—30 годов прошлого столетия в теории вероятностей
бурно развивается один из ее новых разделов — теория случайных
процессов, занимающаяся изучением семейств случайных величин,
эволюционирующих во времени. Была создана теория марковских процессов, теория
стационарных процессов, теория мартингалов, теория предельных теорем
для случайных процессов, теория информации.
Основное внимание в книге «Вероятность — 2» уделяется
случайным процессам с дискретным временем — случайным
последовательностям. Однако тот материал, который излагается во второй главе книги

18
ВВЕДЕНИЕ
«Вероятность— 1», дает основательную базу (прежде всего логического
характера), необходимую при изучении общей теории случайных
процессов.
Хотя настоящее издание книг «Вероятность— 1» и «Вероятность —
2» посвящено теории вероятностей, уместно будет сейчас сказать
несколько слов о математической статистике и, более общим
образом, о статистике и их взаимоотношениях с теорией вероятностей.
Во многих странах (например, в Великобритании) Теория
вероятностей рассматривается как «интегральная» часть Статистики,
обслуживающая ее математические аспекты. При этом Статистика
предполагается состоящей из следующих разделов: описательная статистика
и математическая статистика. (Многие энциклопедические издания
отмечают, что первоначальное значение слова статистика — это
«наука о состоянии государства» (по латыни status — состояние). На ранних
этапах ее называли «политической арифметикой», цель которой
состояла в оценивании тех или иных показателей, характеризующих состояние
общества, экономики и т. д., и выявлении разного рода количественных
свойств массовых явлений по неполным данным.)
Описательная статистика занимается организацией представлений
статистических данных («статистического сырья») в удобных для анализа
формах. (Ключевыми словами здесь являются, например, такие:
популяция, выборка, частотные распределения и их гистограммы, относительные
частотные распределения и их гистограммы, частотные полигоны и др.).
В настоящее время имеется большое число пакетов статистических
программ (MINITAB, SAS, SPSSX и др.), которые позволяют
представлять даже очень большие массивы статистических данных в удобных для
анализа формах (в виде различных диаграмм, гистограмм и т. п.).
Математическая статистика призвана, собственно говоря,
заниматься математической обработкой «статистического сырья»,
оцениванием выборочных характеристик, выборочных распределений и вынесением
статистических выводов с указанием степени их надежности. (Ключевые
слова: оценивание — точечное и интервальное, различение гипотез,
непараметрические тесты, дисперсионный анализ, регрессионный анализ,
статистика процессов, ...)
В России традиционным образом математическая
статистика рассматривается как естественный раздел теории вероятностей,
занимающийся «обратными вероятностными задачами», т. е. задачами
определения той вероятностной модели, которая наиболее адекватным
образом отвечает полученным статистическим данным.
Подобный взгляд на математическую статистику (как часть теории
вероятностей) дает возможность придать методам и заключениям статистики

ВВЕДЕНИЕ
19
строгую математическую базу и облечь статистические выводы в
форму строгих теоретико-вероятностных утверждений. (См., например, § 13
«Фундаментальные теоремы математической статистики» в гл. III,
«Вероятность— 1».) В этой связи уместно будет напомнить, что первая
предельная теорема теории вероятностей — закон больших чисел возникла
у Я. Бернулли в «Ars Conjectandi» [134], собственно говоря, именно из
желания получить математическое обоснование использования
«частоты» для оценивания «вероятности успеха» в «схеме Бернулли». (См. по
этому поводу «Вероятность— 1», гл. I, § 7.)
В заключение настоящего введения приведем текст Я. Бернулли из «Ars
Conjectandi» (глава вторая из части четвертой):
«Относительно того, что твердо известно и не подлежит сомнению,
мы говорим, что знаем или понимаем, относительно всего прочего — что
только догадываемся или предполагаем.
Делать о какой-либо вещи предположения — все равно, что измерять
ее вероятность. Поэтому искусство предположений (Ars conjectandi sive
stochastice) у нас определяется как искусство возможно точнее измерять
вероятности вещей затем, чтобы в наших суждениях или действиях мы
могли всегда выбирать или следовать тому, что будет найдено лучшим,
более удовлетворительным, спокойным и разумным».
Латинскому словосочетанию ars conjectandi (искусство
предположений) соответствует греческое στοχαστική τέχνη (второе слово часто
опускается). Это словосочетание происходит от греческого στόχοζ — цель,
догадка, предположение [134, с. 27, 75, 83].
В настоящее время слово «стохастический» широко используется как
синоним слова «случайный». Так, выражения «стохастические процессы»
и «случайные процессы» рассматриваются как равноправные. Нелишне
будет отметить, что теория случайных процессов и статистика
случайных процессов входят ныне в число основных интенсивно
развивающихся разделов теории вероятностей и математической статистики.

Глава 1
ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
§ 1. Вероятностная модель эксперимента с конечным числом исходов 21
§ 2. Некоторые классические модели и распределения 36
§ 3. Условные вероятности. Независимость 43
§ 4. Случайные величины и их характеристики 53
§ 5. Схема Бернулли. I. Закон больших чисел 67
§ 6. Схема Бернулли. II. Предельные теоремы (локальная, Муавра—
Лапласа, Пуассона) 78
§ 7. Оценка вероятности «успеха» в схеме Бернулли 94
§ 8. Условные вероятности и математические ожидания
относительно разбиений 100
§ 9. Случайное блуждание. I. Вероятности разорения и средняя
продолжительность при игре с бросанием монеты 109
§ 10. Случайное блуждание. II. Принцип отражения. Закон арксинуса 120
§11. Мартингалы. Некоторые применения к случайному блужданию 128
§ 12. Марковские цепи. Эргодическая теорема. Строго марковское
свойство 136

Мы называем элементарной теорией вероятностей ту
часть теории вероятностей, в которой приходится иметь дело с
вероятностями лишь конечного числа событий.
А. Н. Колмогоров. «Основные понятия теории вероятностей» [32]
§ 1. Вероятностная модель эксперимента
с конечным числом исходов
1. Рассмотрим некоторый эксперимент, результаты которого (при
данном «комплексе условий») описываются конечным числом различных
исходов (явлений) ω\,..., ω^. Для нас несущественна реальная природа этих
исходов, важно лишь то, что их число N конечно.
Исходы ω\, ..., o>yv будем также называть элементарными
событиями, а их совокупность
Ω = {ωι, ...,ωΝ)
(конечным) пространством элементарных событий или
пространством исходов.
Выделение пространства элементарных событий представляет собой
первый шаг в формулировании понятия вероятностной модели
(вероятностной «теории») того или иного эксперимента. Рассмотрим несколько
примеров описания структуры пространства элементарных событий.
Пример 1. При однократном подбрасывании монеты пространство
исходов Ω состоит из двух точек:
Ω = {Γ,Ρ},
где Г —«герб», Р —«решетка». (Мы предполагаем, что «комплексом
условий» исключаются возможности типа «монета стала на ребро», «монета
исчезла», ..., но в то же самое время предполагается возможность
достоверным образом регистрировать результат подбрасывания.)
Пример 2. При /z-кратном подбрасывании монеты пространство
элементарных событий
Ω = {ω: ω = (αι, ..., α„), а, = ГилиР}
и общее число Ν(Ω) исходов равно 2я.
Пример 3. Пусть сначала подбрасывается монета. Если выпадет
«герб», то бросается шестигранная кость (с цифрами 1, 2, 3, 4, 5, 6), если

22
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
же выпадает «решетка», то снова подбрасывается монета. Пространство
элементарных событий данного эксперимента будет таким:
Ω = {Π, Г2, ГЗ, Г4, Г5, Г6, РГ, РР}.
Замечание. При изложении теории вероятностей «комплекс условий»,
как правило, не упоминается и «по умолчанию» предполагается данным.
Между тем, это понятие важно уже на уровне и элементарной теории
вероятностей, поскольку разные «комплексы условий» для одного и того же
эксперимента могут приводить к весьма разным вероятностным моделям
(«теориям»). (В этой связи см. далее текст в начале п. 3, дающий некоторые
пояснения, в чем здесь дело.)
2. Рассмотрим теперь более сложные примеры, связанные с разными
способами выбора η шаров из урны, содержащей Μ различных шаров.
Пример 4. Выбор с возвращением. Так называют эксперимент,
в котором на каждом шаге извлеченный шар возвращается обратно.
В этом случае каждая выборка из η шаров может быть записана в виде
(αϊ, ..., ая), где я,- — номер шара, извлеченного на /-м шаге. Понятно, что
в случае выбора с возвращением каждое а,· может принимать любое из
Μ значений 1, 2, ..., А/. Описание пространства элементарных событий
существенно зависит от того, считаем ли мы выборки тождественного
состава, такие как, скажем, (4, 1, 2, 1) и (1, 4, 2, 1), различными или
одинаковыми. В связи с этим принято различать два случая:
упорядоченные выборки и неупорядоченные выборки. В первом случае выборки,
состоящие из одних и тех же элементов, но отличающиеся порядком
следования этих элементов, объявляются различными. Во втором случае
порядок следования элементов не принимается во внимание и такие
выборки объявляются тождественными. Чтобы подчеркнуть, какие
конкретно выборки мы рассматриваем, будем для упорядоченных
выборок использовать обозначение (αϊ, ..., ая), а для неупорядоченных —
[аь ..., ап].
Итак, в случае упорядоченных выборок с возвращением
пространство элементарных событий Ω имеет следующую структуру:
Ω = {α;: α; = (αι, ..., ая), at = 1, ..., Μ},
и число различных исходов (выборок), называемых в комбинаторике
размещениями из Μ по η с повторениями, равно
Ν(Ω) = Μη. (1)
Если же рассматриваются неупорядоченные выборки с
возвращением (в комбинаторике — сочетания из Μ по η с повторениями), то
Ω = {α;: и> = [аи ..., а„], а/= 1, ..., М}.

§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
23
Понятно, что число Ν(Ω) (различных) неупорядоченных выборок меньше,
чем число упорядоченных. Покажем, что для этого случая
ед = сй+л_„ (2)
где С1Ь = тгттгти ~~<<нисл0 сочетаний из k элементов по /».
Будем вести доказательство по индукции. Обозначим Ν(Μ> η) число
интересующих нас исходов. Ясно, что для всех k ^ Μ
N(k4 l) = k = Clk.
Предположим теперь, что N(ky п) = С£+п_{, й^М, и покажем, что эта
формула остается справедливой при замене η на η + 1. При рассмотрении
неупорядоченных выборок [а\9 ..., ап+\\ можно считать, что их элементы
расположены в порядке неубывания: а\ <^а^^... <α„+ι. Очевидно, что
число неупорядоченных выборок с а\ = 1 равно N(My я), с αϊ =2 равно
Ν(Λί - 1, η) и т. д. Следовательно,
N{M,n+l) = N(M,n) + N(M-l,n) + ... + N(l,n) =
= Сд|+/1_1 + Сд|_ 1+я_1 +... + CJJ =
~ νυΜ+/ι иМ+л-1/ "Τ" V^Af-1+л " иМ-1+л-1/ τ ...
...+(cs,'-c:)+c:-csu,
где мы воспользовались следующим легко проверяемым свойством
биномиальных коэффициентов Clk:
С* +С* = Сл+1.
(Это свойство лежит в основе подсчета биномиальных коэффициентов из
«треугольника Паскаля».)
Пример 5. Выбор без возвращения. Будем предполагать, что п^М
и что извлеченные шары обратно не возвращаются. В этом случае также
рассматриваются две возможности, связанные с различением
упорядоченных и неупорядоченных выборок.
В случае упорядоченных выборок без возвращения (в
комбинаторике— размещений из Μ по η без повторений) пространство исходов
Ω = {α;: ω = (α{, ..., α„), акфаи кф1\ щ = 1, ..., Λί},
а число элементов этого множества равно М(М- 1)...(Λί-/ι + 1). Это
число обозначается (М)п или Апм и называется «числом размещений из
Μ по п».

24
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
В случае неупорядоченных выборок без возвращения (в
комбинаторике—сочетаний из Μ по η без повторений) пространство исходов
Ω = {α;: ω=[α\, ...,α„], акфщ, кф1\ α,· = Ι, ..., Μ}
состоит из
ОД = сь (3)
элементов. Действительно, из неупорядоченного набора [αϊ,..., α„],
состоящего из различных элементов, можно получить ровно п\ упорядоченных
наборов. Следовательно, Ν(ίϊ) · п\ = (М)п и, значит, Ν(ίϊ) = ^-~ = Спм.
Результаты о числе исходов в случае /ζ извлечений из урны с Μ шарами
сведем в таблицу 1:
Таблица 1
ΛΡ
(Щп
Упорядоченный
UM+rt-l
Неупорядоченный
С
возвращением
Без
возвращения
^^ыбор
Набору^
Для случая Λί = 3 и /ζ = 2 структура соответствующих пространств
элементарных событий приводится в таблице 2:
Таблица 2
(1,1) (1.2) (1,3)
(2, 1) (2, 2) (2, 3)
ί (3, 1) (3, 2) (3, 3)
(1,2) (1,3)
(2, 1) (2, 3)
(3, 1) (3, 2)
Упорядоченный
[1,1] [2. 2] [3,3]
[1,2] [1,3]
[2,3]
[1,2] [1,3]
[2,3]
Неупорядоченный
С
возвращением
Без
возвращения
V44>Bbi6op
НаборХ^

§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
25
Пример 6. Размещение дробинок по ячейкам. Рассмотрим вопрос
о структуре пространства элементарных событий в задаче размещения
η дробинок (шаров и т. п.) по Μ ячейкам (ящикам и т. п.). В статистической
физике подобная задача возникает, например, при изучении распределения
η частиц (это могут быть протоны, электроны, ...) по Μ состояниям (это
могут быть энергетические уровни).
Пусть ячейкам присвоены номера 1, 2,..., А/, и предположим сначала,
что дробинки различимы (имеют номера 1, 2, ..., п). Тогда
распределение η дробинок по Μ ячейкам полностью описывается (упорядоченным)
набором (αϊ,..., α„), где α,- —номер ячейки, куда попала дробинка с
номером /. Если же рассматриваемые дробинки неразличимы, то их
распределение по Μ ячейкам полностью описывается (неупорядоченным) набором
[αϊ, ...,α„], где α,-— номер ячейки, в которую попала дробинка на /-м шаге.
Сравнивая рассматриваемую ситуацию с примерами 4 и 5, видим, что
имеют место следующие соответствия:
(упорядоченные выборки) <-+ (различимые дробинки),
(неупорядоченные выборки) <-+ (неразличимые дробинки),
означающие, что случаю упорядоченных (неупорядоченных) выборок в
задаче выбора η шаров из урны с Μ шарами соответствует (один и только
один) случай расположения различимых (неразличимых) дробинок в задаче
размещения η дробинок по Μ ячейкам.
Аналогичный смысл имеют следующие соответствия:
, ~ ν (в ячейке может находиться\
(выбор с возвращением) <-+ \ * Л ~
г ^ ' \любое число дробинок )
, ~ ~ ν (в ячейке может находиться\
(выбор без возвращения) «-* \ ~ -> ., -> ~
г * ~* > уне более одной дробинки )
Из этих соответствий можно сконструировать соответствия типа:
(-, ^ \ /неразличимые дробинки в задаче\
неупорядоченные выборки\ / „ -> \
в задаче выбора без воз- - ^ Размещения по ячейкам когда
lie ячейке не может находиться I
™ ' \более одной дробинки I
и т. д., что дает возможность использовать примеры 4 и 5 для описания
структуры пространства элементарных событий в задаче распределения
различимых и неразличимых дробинок по ячейкам с запретом (в ячейке
может находиться не более одной дробинки) или без запрета (в ячейке
может находиться любое число дробинок).
Таблица 3 показывает структуру расположения двух дробинок по трем
ячейкам. В случае различимых дробинок они обозначаются Б (белая)

26
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и Ч (черная). В случае неразличимых дробинок их наличие в ячейке
обозначается знаком +.
Таблица 3
1бч1 1 Иб1ч1 Иб| |ч!
1Ч1Б1 II 1БЧ1 11 1Б1Ч1
1чПИ ГТч1б1 ГТТбч]
1б1ч1 1 1б1 |ч!
1ч|б| 1 1 |б1ч!
1ч1 1б1 1 1ч1б1
Различимые дробинки
!++[ ±J I 1++JJ 1 1 L++I
Ш+ЛЕШ
G+J+J
1+1+1 1 1+1 1+1
п+ш
Неразличимые дробинки
Без
прета
я
С
запретом
\ Разме-
\ ще-
_ \ ние
Тип\
дро- \
бинки \
Указанная выше двойственность между рассматриваемыми задачами
позволяет очевидным образом найти число исходов в задаче размещения
дробинок по ячейкам. Соответствующие результаты, включающие в себя
также и результаты таблицы 1, сведены в таблицу 4.
Таблица 4
Ν(Ώ) в задаче размещения η дробинок по Μ ячейкам
Г\ Тип дро-
>ν бИН-
Раз-\ ки
ме- N.
|щение >ν
Без
запрета
С
запретом
Различимые дробинки
Мп
(статистика
Максвелла—Бол ьцма на)
№п
Упорядоченные
выборки
Неразличимые
дробинки
(статистика
Бозе—Эйнштейна)
(статистика
Ферми—Дирака)
Неупорядоченные
выборки
С
возвращением
Без
возвращения
^\Выбор
Набор4^
Ν{Ω) в задаче выбора η шаров из урны с Μ шарами

§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
27
В статистической физике говорят, что различимые (неразличимые)
частицы, не подчиняющиеся принципу запрета Паули («не больше одной
частицы в каждой ячейке»), удовлетворяют (физической) статистике
Максвелла—Больцмана (соответственно —статистике Бозе—Эйнштейна).
Если же частицы неразличимы и подчиняются принципу запрета, то —
статистике Ферми—Дирака (см. табл. 4). Известно, например, что
электроны, протоны и нейтроны подчиняются статистике Ферми—Дирака,
фотоны и пи-мезоны — статистике Бозе—Эйнштейна. Известно также, что
случай различимых частиц, подчиняющихся принципу запрета, в физике
не встречается.
3. Наряду с понятием пространства элементарных событий введем
теперь важное понятие события, лежащее в основе построения всякой
вероятностной модели («теории») рассматриваемого эксперимента.
Экспериментаторы обычно интересуются не тем, какой конкретно
исход имеет место в результате испытания, а тем, принадлежит ли исход
тому или иному подмножеству всех исходов. Все те подмножества Л (ΙΩ,
для которых по условиям эксперимента возможен ответ одного из двух
типов: «исход ω £ Л» или «исход ω £ Л», — будем называть событиями.
Например, пусть осуществляется трехкратное подбрасывание монеты.
Пространство всех исходов Ω состоит из восьми точек:
Ω = {ΓΓΓ, ΓΓΡ, ...,ΡΡΡ},
и если «комплекс условий» позволяет записать (зафиксировать,
«измерить» и т. п.) результаты всех трех подбрасываний, то, скажем, множество
Л = {ГГТ,ГТР, ГРГ, РГГ}
является событием, состоящим в том, что выпадет по крайней мере два
«герба». Однако если «комплекс условий» позволяет зафиксировать лишь
только результат первого подбрасывания, то рассматриваемое
множество Л уже нельзя называть событием, поскольку нельзя дать ни
утвердительного, ни отрицательного ответа на вопрос о том, принадлежит ли
конкретный исход ω множеству Л.
Отправляясь от некоторой заданной системы множеств, являющихся
событиями, можно образовывать новые события, отвечающие
конструкциям высказываний с логическими связками «или», «и» и «не», чему на языке
теории множеств соответствуют операции «объединения», «пересечения»
и «дополнения».
Если А и В —два множества, то под их объединением, обозначаемым
ЛиВ, понимается множество, состоящее из точек, входящих или в Л, или
Ββ:
Л U В = {а; £ Ω: ω £ Л или ω € В}.

28
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
На языке теории вероятностей Л и В — событие, состоящее в том, что
произошло хотя бы одно из событий Л или В.
Пересечение двух множеств Л и В, обозначаемое А Г\В или АВ, есть
множество, состоящее из точек, входящих и в Л, и в В:
ΑηΒ={ω€ΪΙ: ω€Α ио;€В}.
Событие Α Π β состоит в том, что одновременно произошло и событие Л,
и событие В.
Так, если Л = {ГГ, ГР, РГ} и В = {РР, РГ, ГР}, то
Л U В = {ГГ, ГР, РГ, РР} (= Ω),
ЛПВ = {РГ, ГР}.
Если Л — некоторое подмножество Ω, то под его дополнением,
обозначаемым в дальнейшем Л, понимается множество точек из Ω, не входящих
в Л.
Если через В \ А обозначать разность множеств β и Л (т. е. множество
точек, входящих в β и не входящих в Л), то Л = П\Л. На языке теории
вероятностей Л—это событие, состоящее β ненаступлении события Л.
Так, если событие Л = {ГГ, ГР, РГ}, то Л = {РР} — событие, состоящее в
том, что подряд выпадут две «решетки».
Множества Л и Дне имеют общих точек, и, следовательно,
множество А Г) А является пустым. Для пустого множества будем использовать
обозначение 0. В теории вероятностей множество 0 называется
невозможным событием. Множество Ω естественно назвать необходимым, или
достоверным, событием.
Объединение Л и β множеств Л и β в том случае, когда они не
пересекаются (АВ = 0), называется суммой множеств Л и β и обозначается
Л + β.
Если рассматривается некоторая система s/q множеств Л С Ω, то с
помощью теоретико-множественных операций и, Π и \ можно из элементов
я/о построить новую систему множеств, которые также являются
событиями. Присоединяя к этим событиям достоверное и невозможное события
Ω и 0, получаем систему множеств я/, которая является алгеброй, т. е.
такой системой подмножеств множества Ω, что
1)Ω£^,
2) если Л £ si, В е &/, то множества АиВ, АпВ, А\В также
принадлежат я/.
Из сказанного следует, что в качестве систем событий
целесообразно рассматривать такие системы множеств, которые являются алгебрами.
Именно такие системы событий мы и будем рассматривать далее.
Остановимся на некоторых примерах алгебр событий:

§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
29
a) ^={Ω, 0} — система, состоящая из Ω и пустого множества (так
называемая тривиальная алгебра);
b) д/ = {А, Л, Ω, 0} —система, порожденная событием А\
c) д/={А: А С Ω} — совокупность всех (включая и пустое множество 0)
подмножеств Ω.
Нетрудно заметить, что все эти алгебры событий получены по
следующему принципу.
Будем говорить, что система множеств
9 = {Du...,Dn}
образует разбиение множества Ω, a D/ являются атомами этого
разбиения, если множества D/ непусты, попарно не пересекаются и их сумма
равна Ω:
Di+... + Dn = (l.
Если, например, множество Ω состоит из трех точек, Ω = {1, 2, 3}, то
существует пять различных разбиений:
0,={D,} с D, ={1,2,3};
#2 = Pi,A>} cD,={l,2},D2 = {3};
03 = {Di,A>} cD1={l,3},D2 = {2};
@4 = {DuD2} cD,={2,3},D2 = {l};
05 = {Db D2, D3} с D, ={1}, D2 = {2}, D3 = {3}.
(По поводу общего числа разбиений конечного множества см. задачу 2.)
Если рассматривать всевозможные объединения множеств из 0, то
вместе с пустым множеством 0 полученная система множеств будет
алгеброй, которая называется алгеброй, порожденной разбиением 0, и
обозначается а(0). Таким образом, элементы алгебры а(&) составляются
из пустого множества и сумм множеств, являющихся атомами
разбиения Of.
Итак, если Sf — некоторое разбиение, то ему однозначным образом
ставится в соответствие алгебра S6^ot(3f).
Справедливо и обратное утверждение. Пусть S6 — некоторая алгебра
подмножеств конечного пространства Ω. Тогда найдется, и притом
единственное, разбиение 0, атомы которого являются элементами алгебры 3S, и
такое, что £В=а(@). В самом деле, пусть множество Dg^h обладает тем
свойством, что для всякого В е S6 множество D Π В или совпадает с D, или
является пустым множеством. Тогда совокупность таких множеств D
образует разбиение ® с требуемым свойством ot{3f) =^. В случае примера а)
в качестве & берется тривиальное разбиение, состоящее лишь из одного

30 ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
множества D\ = Ω; в случае Ь) 0 = {Л, А}. Самое мелкое разбиение Sf,
составленное из одноточечных множеств {и;,·}, и;, € Ω, порождает алгебру
в примере с), т. е. алгебру всех подмножеств Ω.
Пусть &\ и @2 — Два разбиения. Будем говорить, что разбиение ^2
«мельче» разбиения Θ\, и записывать это в виде &\ **@2> если a(^i)C
Са№).
Покажем, что если пространство Ω состоит, как было предположено
выше, из конечного числа точек ω\9 ..., α;#, то общее число N(si/)
множеств, составляющих систему si из примера с), равно 2N.
Действительно, каждое непустое множество А е si может быть представлено в виде
А = {0;,·,, ...,α;^}, где ц-.Gil, l^k^N. Поставим в соответствие этому
множеству последовательность, состоящую из нулей и единиц:
(0, ...,0, 1,0 0, 1, ...),
где на местах с номерами /ь ..., /* стоят единицы, а на остальных — нули.
Тогда при фиксированном k число различных множеств А вида {о;/,,..., ш1к)
совпадает с числом способов, которыми можно k единиц (k неразличимых
дробинок) разместить по N местам (по N ячейкам). Согласно таблице 4
(см. правую нижнюю клетку), число таких способов равно Cjy. Отсюда (с
учетом пустого множества) находим, что
W(^) = l+C; + ... + C# = (l + 1)"=2".
4. Пока мы сделали два первых шага к построению вероятностной
модели («теории») эксперимента с конечным числом исходов: выделили
пространство исходов Ω и некоторую систему s/ его подмножеств,
образующих алгебру и называемых событиями. (Пару <? = (Ω, si) иногда
идентифицируют с экспериментом) Сделаем теперь следующий шаг, а
именно припишем каждому элементарному событию (исходу, явлению) ω\ £ Ω,
/ = 1, ...,yV, некоторый «вес», обозначаемый ρ(ω{) (или pi) и
называемый вероятностью исхода и;,·, который будем считать удовлетворяющим
следующим условиям:
a) 0^ ρ(ωι) ^ 1 (неотрицательность),
b) ρ(ω\) + ... +р(и>н)=1 (нормированность).
Отправляясь от заданных вероятностей p(ujt) исходов о;,· определим
вероятность Р(А) любого события A es/ по формуле
Р(Л)= Σ ρ№· <4>
{i:u>i£A)
Определение. Принято говорить, что «вероятностное пространство»
(Ω, si, Р),

§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
31
где Ω = {«*>ь ···» <*>#}» & — некоторая алгебра подмножеств Ω и Р =
= {Р(Л); А €&?}, определяет (задает) вероятностную модель («теорию»)
эксперимента с (конечным) пространством исходов (элементарных
событий) Ω и алгеброй событий si. (Ясно, что Ρ({ω<}) = ρ(ω{), i = 1, ..., Ν.)
Из определения (4) вытекают следующие свойства вероятностей:
Р(0) = О, (5)
Ρ(Ω) = 1, (6)
Р(ЛиВ) = Р(Л) + Р(В)-Р(ЛпВ). (7)
В частности, если Л П В = 0, то
Р(Л + В) = Р(Л) + Р(В), (8)
и
Р(Л) = 1-Р(Л). (9)
5. При построении вероятностных моделей в конкретных ситуациях
выделение пространства элементарных событий Ω и алгебры событий я/,
как правило, не является сложной задачей. При этом в элементарной
теории вероятностей в качестве алгебры si обычно берется алгебра всех
подмножеств Ω. Труднее обстоит дело с вопросом о том, как задавать
вероятности элементарных событий. В сущности, ответ на этот вопрос
лежит вне рамок теории вероятностей, и мы его подробно не рассматриваем,
считая, что основной нашей задачей является не вопрос о том, как
приписывать исходам те или иные вероятности, а вычисление вероятностей
сложных событий (событий из s/) по вероятностям элементарных событий.
С математической точки зрения ясно, что в случае конечного
пространства элементарных событий с помощью приписывания исходам ω\, ..., ω^
неотрицательных чисел р\у ..., рм, удовлетворяющих условию р\ + ... +
+ Рл/ = 1» мы получаем все мыслимые (конечные) вероятностные
пространства.
Правильность же назначенных для конкретной ситуации значений
Pi,...,pyv может быть до известной степени проверена с помощью
рассматриваемого далее закона больших чисел, согласно которому
в длинных сериях «независимых» экспериментов, происходящих при
одинаковых условиях, частоты появления элементарных событий «близки»
к их вероятностям.
В связи с трудностью, связанной с вопросом приписывания исходам
значений их вероятностей, отметим, что существует много практических
ситуаций, в которых из соображений симметрии или однородности
представляется разумным рассматривать все мыслимые исходы как равновоз-
можные. Поэтому, если пространство элементарных исходов Ω состоит из

32 ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
точек ω\, ...,(*;#, где N < оо, то полагают
ρ(ω\) = ... = ρ(ωΝ) = 1/Ν,
и, следовательно, для любого события А е si
P(A) = N(A)/Ny (10)
где N(A) — число элементарных событий, составляющих А.
Такой способ задания вероятностей носит название классического.
Ясно, что в этом случае подсчет вероятностей Ρ (Л) сводится к подсчету
числа исходов, приводящих к событию А. Делают это обычно
комбинаторными методами, в связи с чем комбинаторика, имеющая дело с
конечными множествами, занимает значительное место в вероятностном
исчислении.
Пример 7. Задача о совпадениях. Пусть урна содержит Μ шаров,
занумерованных числами 1, 2,..., М. Производится выбор с возвращением
объема /ζ, при этом рассматриваемые выборки считаются упорядоченными.
Ясно, что в этом случае
Ω = {α;: α; = (αι, ..., ал), α,· = 1, ...,Αί}
и Ν(Ω) = Μη. В соответствии с классическим способом задания
вероятностей будем считать все Мп исходов равновероятными и поставим
следующий вопрос: какова вероятность события
Α = {ω: а,фаь /^/},
т. е. события, заключающегося в отсутствии повторений? Понятно, что
Ν(Α) = Λί(Λί- 1)...(Λί-/ζ+1) и, значит,
™-ф-(>-*)(.-|)...(--тг). <">
Эта задача допускает следующую интересную интерпретацию. Пусть
в классе находится η учеников. Будем считать, что день рождения каждого
ученика приходится на один из 365 дней и любой день равновозможен.
Спрашивается, какова вероятность Язб5(я) того, что в этом классе с η
учениками найдутся по крайней мере два ученика, дни рождения которых
совпадают? Если рассматривать выбор дня рождения как выбор шара из
урны с Μ = 365 шарами, то, согласно (11),
Язб5(я)=1--зб5^·

§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
33
Следующая таблица дает значения вероятностей Рзб5(я) Для
некоторых п:
Ι Π
\Рш(п)
η
\Р365(П)\
Π 4
0,01636
| 70
10,99916
16
0,28360
22
0,47569
100
1-3,07249· ΙΟ"7
23
0,50730
40
0,89123
64
0,99711
При достаточно больших Μ
"■Φ-Σ4'-η)~-ηΣ*~
k=\
k=\
1 n(n-\)
Μ 2 '
и, значит,
Рм(п)=\-
(М)п
п(п-\)
\-е ТА (=РМ(П))9 М-
►00.
Ниже приводится график функции Рзб5(я)· В том же самом масштабе
график приближения Рзб5(я) практически совпадает с графиком функции
Рзь5(п)· На интервале [0, 60] максимальное их отличие равно примерно
0,01 (в окрестности значения η = 30).
10 20 30 40 50 60 η
Графики Рзб5(я) и Рзб5(я)
10 20 30 40 50 60 η
График Рзб5(л) - Рхя(п)
Интересно отметить, что (вопреки ожидаемому!) размер класса, где с
вероятностью 1/2 найдутся по крайней мере два ученика с совпадающими
днями рождения, не столь уж велик: он равен всего лишь 23.
Пример 8. Выигрыш в лотерею. Рассмотрим лотерею, устроенную
по следующему принципу. Имеется Μ билетов, занумерованных числами
1, 2, ..., Λί, из которых η билетов с номерами 1, 2, ..., η являются
выигрышными (М^2п). Вы покупаете η билетов, и спрашивается, какова
вероятность (обозначим ее Р) того, что по крайней мере один билет будет
выигрышным?

34
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Поскольку порядок, в котором извлекаются билеты, не играет роли с
точки зрения наличия или отсутствия в купленном наборе выигрышных
билетов, то следует считать, что пространство элементарных событий имеет
такую структуру:
Ω = {ατ. ω = [αϊ, ..., α„], aki=-a\, кф1\ α, = 1, ..., Λί}.
Согласно таблице 1, N(Q) = Спм. Пусть теперь
Αο — {ω: ω = [α\, ..., α„], акфщ, кф1\ щ =/ζ+ 1, ..., Λί}
— событие, состоящее в том, что среди купленных билетов нет
выигрышных. Опять-таки, согласно таблице 1, N(An) = CnM_n. Поэтому
"^■^-^-('-йО-^-О-и^тт)
и, значит,
^_,-PHrt-i-(i-S)(i-BiT)...(i-„=^FT).
Если Λί = /ζ2 и /z-*oo, то Р(Ло)—►£"* и
/>_>l_e-i «0,632,
где сходимость довольно быстрая: уже при я= 10 вероятность Ρ = 0,670.
6. Задачи.
1. Установите справедливость следующих свойств операций Пии:
Al)B = BuA, АпВ = ВГ)А (коммутативность),
A U (В U С) = (A U В) U С, Α Π (В Π С) = (А η β) Π С (ассоциативность),
АП(ВиС) = (АпВ)и(АПС), Аи(ВпС) = (ЛиВ)П(ЛиС)
(дистрибутивность),
ЛиЛ=/4,/4пЛ=/4 (идемпотентность).
Показать также, что
ЛиЯ = ЛпВ, АпВ = АиВ.
2. Пусть множество Ω состоит из N элементов. Показать, что общее
число d(N) различных разбиений множества Ω определяется формулой
ά(Ν) = β~ιΣ^. (12)
(Указание. Доказать, что
d(N) = J2 CN-\d(k)> гдей(0)=1,
k=0

§ 1. ВЕРОЯТНОСТНАЯ МОДЕЛЬ
35
и затем проверить, что ряды в (12) удовлетворяют этим рекуррентным
соотношениям.)
3. Доказать, что для любой конечной системы множеств Ль .··, Ап
Р(Л1и...иЛ„КР(Л1) + ... + Р(Л,1).
4. Пусть А и В —два события. Показать, что ABUBA есть событие,
состоящее в том, что произойдет в точности одно из событий А или В.
При этом
Р(АВиВА) = Р(А) + Р(В)-2Р(АВ).
5. Пусть Ль ..., Ап — события и величины So, Si, ..., Sn определены
следующим образом: So = 1,
5г = 5^Р(ЛЛ1п...пЛЛг), Ur^/z,
Jr
где суммирование распространяется по неупорядоченным подмножествам
/г = [йь ..., kr\ множества {1, ..., /ζ}, к\фк·^ /^/.
Пусть Вт — событие, состоящее в том, что одновременно произойдет β
точности т событий из Ль ..., Л„. Показать, что
г=т
В частности, для т = 0
P(fi0)=l-Si+S2-...±S„.
Показать также, что вероятность того, что одновременно произойдет
по крайней мере т событий из Ль ···, Л„, равна
η
P(fim) + ... + P(Sn) = £(-ir'"C?_-1,Sf.
r—m
В частности, вероятность того, что произойдет по крайней мере одно из
событий Ль ..., Л„, равна
P(fii) + ... + P(fi„) = Si-S2 + ...=FS„.
Доказать справедливость следующих свойств:
(а) неравенства Бонферрони: для всякого &=1,2, ... такого, что
2Жя,
Si-S2 + ...-Sak<PiU A-)<si-S2 + ... + Sak-i;

36
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
(Ь) тождество Пуанкаре:
Ρ
\r=\ / r=\
(с) неравенство Фреше:
(d) неравенство Гумбела:
Crn+ -Sr+X Crn-Sr , 2 .
6. Показать, что Р(Л Π Β η С) ^ Р(Л) + Ρ(β) + Р(С) - 2 и, по индукции,
р Π^ρΣ^)-^-1)·
7. Исследуйте асимптотику вероятностей Рм(я) из примера 7 при
разных предположениях относительно η и Μ (типа: л = л:М, Λί —>оо, или
/z=jt\/M, Λί—юо, где х — фиксировано). Сравните результаты с локальной
предельной теоремой из § 6.
§ 2. Некоторые классические модели и распределения
1. Биномиальное распределение. Предположим, что монета
подбрасывается η раз и результат наблюдений записывается в виде
упорядоченного набора (αϊ, ..,, α„), где α,- = 1 в случае появления «герба» («успех»)
и а/=0 в случае появления «решетки» («неуспех»). Пространство всех
исходов имеет следующую структуру:
Ω = {ω: ω = (α\, ..., α„), а;=0или1}.
Припишем каждому элементарному событию ω = (α\, ..., ап)
вероятность («вес»)
ρ(ω) = ρ^αίςη~^α\
где неотрицательные числа ρ и q таковы, что p + q = \. Прежде всего
покажем, что этот способ задания «весов» ρ(ω) действительно является
корректным. Для этого нам достаточно проверить, что Σ Ρ(ω) = 1·

§2. НЕКОТОРЫЕ КЛАССИЧЕСКИЕ МОДЕЛИ 37
Рассмотрим все те исходы ω = (α\, ..., ап)у для которых Σ щ = й, где
i
& = 0, 1, .··» л. Согласно таблице 4 (размещение й неразличимых «единиц»
по η местам), число таких исходов равно С*. Поэтому
Итак, пространство Ω вместе с системой si всех его подмножеств и
вероятностями Ρ (Л) = Σ ρ(ω), Α € я/ (в частности, Ρ({α;}) = ρ(ω), ω £ Ω)
определяет некоторую вероятностную модель. Естественно назвать ее
вероятностной моделью, описывающей η-кратное подбрасывание
монеты.
В случае я= 1, когда пространство элементарных исходов состоит лишь
из двух точек ω= 1 («успех») иы = 0 («неуспех»), вероятность /7(1) = /?
естественно назвать вероятностью «успеха». Далее мы увидим, что
рассматриваемая нами вероятностная модель, описывающая /z-кратное
подбрасывание монеты, может быть получена как результат η «независимых»
испытаний с вероятностью «успеха», на каждом шаге равной р.
Введем в рассмотрение события
Ak = {u;: ш = (аи ...,α„), αι+... + α„ = Α}, й = 0, 1, ...,/!,
означающие, что произойдет в точности k «успехов». Из сказанного выше
следует, что
Р(А0 = С*рУ"Л (1)
η
причем Σ P(Ak)= l.
Набор вероятностей (Р(Ло), ..., Р(Ап)) называется биномиальным
распределением (числа «успехов» в выборке объема п).
Это распределение играет исключительно важную роль в теории
вероятностей, возникая в самых разнообразных вероятностных моделях.
Обозначим Pn(k) = P(Ak), k = Qr 1, ..., п. На рис. 1 воспроизведены
биномиальные распределения для случая ρ = - («симметричная» монета)
и л = 5, 10, 20.
Приведем еще одну модель (в сущности эквивалентную
предшествующей), описывающую случайное блуждание некоторой «частицы».
Пусть частица выходит из нуля и через единицу времени делает шаг на
единицу вверх или вниз (рис. 2).
Таким образом, за η шагов частица может переместиться максимум на
η единиц вверх или η единиц вниз. Понятно, что каждая «траектория» ω

38
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
0,3
0,2
0,1
-
1
/г = 5
1
0 12 3 4 5
Рп(к)
0,3
0,2
0,1 I-
_J_
/г=10
_L_
0 1 2345678910 k
Pn{k)
0,3 Υ
0,2
0,1
uA
/г = 20
_Li_^
0 5 8 10 12 15 20 k
Рис. 1. Графики биномиальных вероятностей Pn{k) для η = 5, 10, 20
движения частицы может быть полностью описана набором (αϊ,..., α„), где
а,- = + 1, если на /-м шаге частица сдвигается вверх, и а,- = —1, если
сдвигается вниз. Припишем каждой траектории а; «вес», ρ(ω) = ρ^ω)ςη^^ω\
где ι/(α;) — число «+1» в
последовательности α; = (αι, ..., α„), т. е.
ν(ω) =
(а\+... + ап) + п
Рис. 2.
а неотрицательные числа ρ н q
таковы, что ρ + q = 1.
Поскольку ]^ ρ(α;)=1, то
набор вероятностей ρ(α;) вместе
с пространством Ω траекторий
ω = (αϊ,..., αη) и его подмножествами действительно определяет некоторую
вероятностную модель движения частицы за η шагов.
Поставим следующий вопрос: какова вероятность события Л*,
состоящего в том, что за η шагов частица окажется в точке с ординатой,
равной й? Этому условию удовлетворяют все те траектории ω, для которых
ν(ω) — (η — ν(ω)) = й, т. е.
I'M = -2- ·
Число же таких траекторий (см. табл. 4) равно СлЛ+* , и, значит,
ρ (Л*) = с^^+^У""^2.

§2. НЕКОТОРЫЕ КЛАССИЧЕСКИЕ МОДЕЛИ
39
Таким образом, биномиальное распределение (Р(Л_Л), ..., Р(Ло), ...
.., Р(Ап)) описывает, как говорят, распределение вероятностей
положения частицы за η шагов.
Заметим, что в «симметричном» случае (p=zq = 1/2), когда вероятность
отдельной траектории равна 2~л,
P(Ak) = C%+k)'2.2-n.
Рассмотрим асимптотику этих вероятностей при больших п.
Если число шагов равно 2/z, то из свойств биномиальных
коэффициентов следует, что среди вероятностей Р(Л^), |й|^2п, максимальной
является вероятность
PHo) = C2V2-2".
Из формулы Стирлинга (см.
формулу (6) в п. 4)
п\~\/Ъте~ппп. *)
Поэтому
гп —
'2л"(л!)2 * 'у/т
и, значит, при больших η
Ρ(Λο)<
ι ι ι
1
A
4
V У
III..
1
-4-3-2-101234
Рис. 3. Возникновение
биномиального распределения
y/πη'
Рис. 3 дает представление о возникновении биномиального
распределения при движении частицы за 2/z шагов (в отличие от рис. 2 временная
ось здесь направлена вверх).
2. Мультиномиальное распределение. В обобщение
предшествующей модели предположим, что пространство исходов имеет следующую
структуру:
Ω = {ατ. о; = (аь ..., α„), щ = Ьи ..., Μ,
где Ь\,..., ftr — заданные числа. Пусть щ(ω) — число элементов в
последовательности ω = (αϊ,..., α„), равных &,·,/= 1,..., г, и вероятность исхода α;
определяется формулой
где р,->0 и pi +... + рг = 1. Заметим, что
£/>(«) = Σ £,(«,,..., л,)/»*...ρ*.
ω€Ω /rti^O /ir^Ol
_ Ι Л|+...+Лг=Л J
*) Соотношение f(n) ~ g(/z) означает, что f(n)/g{n) —► 1 при /г -* оо.

40
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где через C„(/Zi, ..., пг) обозначено число упорядоченных
последовательностей (flj,..., α„), у которых элемент Ь\ встречается П\ раз,..., элемент Ьг
встречается пг раз. Поскольку число способов, которыми η\ элементов b\
можно расположить на η местах, равно С£!, 1%2 элементов b<i на п — п\
местах — C%Lni и т. д., то
1 =
Сп(п\, ..., пг) = Сп1 -Cn2_ni ...Crt[_(/Ii+ +л г_,) =
~~ П\\(П-П\)\ П2\ (П - П\ - П2)\ '" ' ~ П\\...ПГ\
Поэтому
\ /i,+...f/ir=/i /
и, следовательно, рассматриваемый способ задания вероятностей является
корректным.
Пусть
Ащ /1г = {^· νχ(ω) = η{, ..., ι/Γ(α;) = /ζΓ}.
Тогда
Ρ(Α», яг) = Ся(пь...,яг)р?1...р?'. (2)
Набор вероятностей {Р(ЛЛ| Лг)} носит название мультиномиального
(полиномиального) распределения.
Подчеркнем, что возникновение этого распределения и его частного
случая — биномиального распределения — связано с выбором с
возвращением.
3. Многомерное гипергеометрическое распределение появляется
в задачах, где имеет место выбор без возвращения.
Для примера рассмотрим урну, содержащую Μ различных шаров,
занумерованных, скажем, числами 1, 2, ..., Λί, из которых М\ шаров имеют
«цвет» Ьи ···» Мг шаров имеют «цвет» br, М\ +... + ΛίΓ = Λί.
Предположим, что осуществляется выбор без возвращения объема п<М.
Пространство элементарных событий
Ω = {α;: а; = (аь ...,α„), ak^ah кф1\ α/ = 1,...,Λί}
и Ν(Ω) = (Μ)η. Будем считать элементарные события равновозможными
и найдем вероятность события ВПх „г, состоящего в том, что П\ шаров
имеют цвет Ь\у ..., пг шаров имеют цвет Ьг, п\+ ... + пг = п. Нетрудно
показать, что
ЩВп пг) = Ся(пи ..., nr)(Mi)ni...(Mr)n„

§2. НЕКОТОРЫЕ КЛАССИЧЕСКИЕ МОДЕЛИ
41
и, значит,
Р(/*"' п'} ~ щп) - с* * (ά)
Набор вероятностей {Р(ВП1 Пг)} носит название многомерного
гипергеометрического распределения. В случае г = 2 это распределение
называют просто гипергеометрическим в связи с тем, что так
называемая производящая функция этого распределения есть гипергеометрическая
функция.
Структура многомерного гипергеометрического распределения
довольно сложна. Так, вероятность
Р(Я*,л2) = -^А Л1+Я2 = я, М,+М2 = А/, (4)
содержит девять факториалов. Однако легко видеть, что если М-*оо,
М\ —► оо, но так, что -tj· —► ρ (и, следовательно, -гр —»1 - р), то
P(Bni,ni)^Q+nipn4l-pr. (5)
Иначе говоря, при сделанных предположениях гипергеометрическое
распределение аппроксимируется биномиальным, что интуитивно
понятно, поскольку при больших Μ и М\ (конечный) выбор без возвращения
должен давать почти тот же результат, что и выбор с возвращением.
Пример. Используем формулу (4) для нахождения вероятности
угадывания шести «счастливых» номеров в известной лотерее «спортлото»,
суть которой состоит в следующем.
Имеется 49 шаров, занумерованных числами 1, 2, ..., 49, из которых
шесть шаров «счастливых» (скажем, красного цвета; остальные —белого).
Производится выбор без возвращения шести шаров. Спрашивается,
какова вероятность того, что все шесть вытащенных шаров являются
«счастливыми». Полагая Μ = 49, М\ = 6, П\ = 6, /гг = 0, видим, что интересующее
нас событие
β6 о = {6 шаров — «счастливые»}
имеет, согласно (4), вероятность
P(B6,o) = -i-«7,2.10-8.
4. Числа п\ с ростом η растут чрезвычайно быстро. Так,
101 = 3628800,
151=1307 674368000,

42
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
а 100! содержит 158 знаков. Поэтому как с теоретической, так и с
вычислительной точки зрения важна следующая формула Стирлинга:
n! = V2^(J)"exp(1^), О<0„<1, (6)
доказательство которой имеется в большинстве руководств по
математическому анализу (см. также задачу 1 в § 8 гл. VIII).
5. Задачи.
1. Доказать утверждение (5).
2. Показать, что для полиномиального распределения {Р(АП{ Пг)}
максимальное значение вероятности достигается в точке (k\9 ..., йг),
удовлетворяющей неравенствам: яр,- - 1 < й,-^ (я + г - 1)р,·, / = 1, ..., г.
3. Одномерная модель Изинга. Пусть имеется я частиц,
расположенных в точках 1, 2, ..., я. Предположим, что каждая из частиц относится
к одному из двух типов, причем частиц первого типа щ и второго —Я2
(Я1+Я2 = я). Будем считать все я! расположений частиц равновозмож-
ными.
Построить соответствующую вероятностную модель и найти
вероятность СОбыТИЯ АП(ГП\\, ГП\2, Ш2Ь ^22) = W\\ =Я2ц, ..., ^22 = ^22^ ГДе Уц —
число частиц типа /, следующих за частицами типа / (/, / = 1, 2).
4. Используя вероятностные соображения, доказать справедливость
следующих тождеств:
£(-1)"-*С£ = С:_,. т>«+1,
т
J2k(k-\)Ckm = m(m-l)2m-2, m>2,
*=о
т
С™=^ Cicn-L где(Кт<я,0<Л<яи пола-
/=о гаем С/=0при/<0или />/.
5. Пусть N — размер некоторой популяции, который требуется оценить
«минимальными средствами» без простого пересчета всех элементов этой
совокупности. Подобного рода вопрос интересен, например, при оценке
числа жителей в той или иной стране, городе и т. д.
В 1786 г. Лаплас для оценки числа N жителей во Франции предложил
следующий метод.

§3. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ 43
Выберем некоторое число, скажем, М, элементов популяции и пометим
их. Затем возвратим их в основную совокупность и предположим, что
они «хорошо перемешаны» с немаркированными элементами. После этого
возьмем из «перемешанной» популяции η элементов. Пусть среди них
X элементов оказались маркированными.
Показать, что соответствующая вероятность PnmAX = rn) задается
формулой гипергеометрического распределения (ср. с (4)):
/"»л г*п—т
ryv,M;/iV* =ГП}= ™ .
Считая Λί, η и т фиксированными, найдем максимум этой вероятности
по yv, т. е. найдем «наиболее правдоподобный» объем всей популяции,
приводящий (при заданных Μ и п) к тому, что число X маркированных
элементов оказалось равным т.
Показать, что наиболее правдоподобное значение (обозначим его Ν)
определяется формулой ([ · ] — целая часть):
N = [Mnm~l].
Так полученная оценка N для N называется оценкой максимального
правдоподобия.
(Продолжение этой задачи см. в § 7 (задача 4).)
6. (Ср. с задачей 2 в § 1.) Пусть Ω содержит N элементов и d(N) есть
число различных разбиений Ω, обладающих тем свойством, что каждое
подмножество разбиения имеет нечетное число элементов. Показать, что
d(l) = l, d(2) = l, d(3) = 2,
d(4) = 5, d(5) = 12, d(6) = 37
и, вообще,
A d(n)xn ^cShx l
§ 3. Условные вероятности. Независимость
1. Понятие вероятности события дает нам возможность ответить на
вопрос такого типа: если урна содержит Μ шаров, из которых М\ шаров
белого цвета и Мг- черного, то какова вероятность Ρ (А) события Л,
состоящего в том, что вытащенный шар имеет белый цвет? В случае
классического подхода Ρ(Λ) = Λίι/Λί.

44
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Вводимое ниже понятие условной вероятности позволяет отвечать
на вопрос следующего типа: какова вероятность того, что второй
извлеченный шар белого цвета (событие В), при условии, что первый шар также
имеет белый цвет (событие Л)? (Рассматривается выбор без возвращения.)
Естественно здесь рассуждать так: если первый извлеченный шар имел
белый цвет, то перед вторым извлечением мы имеем урну с Μ — 1 шаром,
из которых М\ - 1 шаров имеют белый цвет, а Мг- черный; поэтому
интуитивно представляется целесообразным считать, что интересующая
нас (условная) вероятность равна -~—р.
Дадим теперь определение условной вероятности, согласующееся с
интуитивными представлениями о ней.
Пусть (Ω, £/, Р) — (конечное) вероятностное пространство и А —
некоторое событие (т. е. А е я/).
Определение 1. Условной вероятностью события В при условии
события А с Р(Л)>0 (обозначение: Р(В\А) ) называется величина
Р(АВ)
Р(А)
(1)
В случае классического способа (§ 1, п. 4) задания вероятностей
Р(Л) = «,Р(Л5) = ^ и, значит,
p<flw=w· (2)
Следующие свойства условных вероятностей непосредственно
вытекают из определения 1:
Р(А\А) = 1,
Р(0|Л) = О,
P(B\A) = l, BDA,
Ρ(β, + β2\Α) = Ρ(β, \Α) + Р(В2 \А).
Из этих свойств следует, что при «закрепленном» множестве А
условная вероятность Р(-1Л) обладает на пространстве {ΪΪΓιΑ, л/ΓιΑ), где
s/nA — {BnA: Be я/}, теми же свойствами, что и исходная вероятность
Р() на (Ω, si).
Отметим, что
Ρ(β|Λ) + Ρ(5|Λ) = 1,
однако, вообще говоря,
Р(В\А) + Р(В\А)^\,
Р(В\А) + Р(Б\Л)ф\.

§3. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ 45
Пример 1. Рассмотрим семьи, имеющие двух детей. Спрашивается,
какова вероятность того, что в семье оба ребенка мальчики, в
предположении, что:
a) старший ребенок — мальчик;
b) по крайней мере один из детей — мальчик?
Пространство элементарных событий (исходов) здесь, очевидно,
таково:
П = {ММ,МД,ДМ,ДД},
где МД означает, что старший ребенок — мальчик, младший — девочка,
и т.д.
Будем считать, что каждый исход равновозможен:
Р(ММ) = Р(МД) = Р(ДМ) = Р(ДД) = \.
Пусть А — событие «старший ребенок — мальчик», В — «младший
ребенок — мальчик». Тогда A U В есть событие «по крайней мере один из
детей — мальчик», А В — «оба ребенка — мальчики» и интересующая нас
в вопросе а) вероятность есть условная вероятность Р(АВ | Л), а в
вопросе Ь) — условная вероятность Р(АВ \ A U В).
Легко находим, что
Р(АВ) 1/4 _ 1
Р(ЛВ|Л) =
Ρ (А) 1/2 Г
PMflMuffl- Р<Л*> - !/4_1
2. Следующая простая, но важная формула (3), носящая название
формулы полной вероятности, является основным средством при
подсчете вероятностей сложных событий с использованием условных
вероятностей.
Рассмотрим некоторое разбиение @ = {А\У ..., Ап) с Р(Л/) >0, / =
= 1,...,/ζ (часто такое разбиение называют также полной группой
несовместимых событий). Ясно, что
и, значит,
Но
В = ВА\+... + ВАп
P(B)^P(BAi).
ι = 1
Р(ВЛ/) = Р(В|Л/)Р(Л).

46
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Тем самым имеет место формула полной вероятности
η
Р(В) = £Р(В|Д.)Р(А). (3)
В частности, если 0 < Ρ (Л) < 1, то
Р(В) = Р(В\А) Р(Л) + Р(В\А) Р(Л). (4)
Пример 2. В урне имеется Μ шаров, среди которых т «счастливых».
Спрашивается, какова вероятность извлечь на втором шаге «счастливый»
шар (предполагается, что качество первого извлеченного шара неизвестно,
рассматривается случай выбора без возвращения объема η = 2 и все
исходы равновозможны). Пусть А — событие «первый шар — счастливый»,
В — «второй шар — счастливый». Тогда
т(т — 1)
P(R\A\ P(BA)- At(Af — 1) _m-l
Μ
т(М - т)
р/д|Т1-Р(ДЛ)- Af(Af — 1) _ т
ПЛ|л;- рдо ~ д|-т — Af — 1
Р(В) = Р(ВИ)Р(Л) + Р(В|Л)Р(Л) = ^.2 + ^.^ = 2.
Интересно отметить, что вероятность Р(А) также равна m/Af. Таким
образом, то обстоятельство, что качество первого шара осталось
неизвестным, не изменило вероятности того, что извлеченный на втором шаге
шар оказался «счастливым».
Из определения условной вероятности (Р(Л)>0)
Р(АВ) = Р(В\А)Р(А). (5)
Эта формула, носящая название формулы умножения вероятностей,
обобщается (по индукции) следующим образом: если рассматриваются
события Ль ..., Л„_1 такие, что Р(Л1 ...Л,,_1)>0, то
Р(Л1...ЛЛ) = Р(Л1)Р(Л2|Л1)...Р(ЛЛ|Л,...Л^1) (6)
(здесь А\...Ап=А\ ПЛ2П...ПЛ,,).

§3. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ 47
3. Предположим, что события А и В таковы, что Р(Л) >0 и Р(В) >0.
Тогда наряду с (5) справедлива также формула
Р(ЛВ) = Р(Л|В)Р(В). (7)
Из (5) и (7) получаем так называемую формулу Байеса:
р(ад=™. да
Если события Ль ..., Ап образуют разбиение Ω, то из (3) и (8) следует
так называемая теорема Байеса:
Ρ(Λι|Β)= ЯР<*>Р<В'*> . (9)
Σ P(Aj)P(B\A})
/=ι
В статистических применениях события А\, ..., Л„, образующие
«полную группу событий» (А\ + ... + Д, = Ω), часто называют «гипотезами», а
Ρ (Л/) — априорной *) вероятностью гипотезы Л/. Условная вероятность
Р(Л,|В) трактуется как апостериорная вероятность гипотезы Л/ после
наступления события В.
Пример 3. Пусть в урне находятся две монеты: А\ —симметричная
монета с вероятностью «герба» Г, равной 1/2, и Л2 — несимметричная
монета с вероятностью «герба» Г, равной 1/3. Наудачу вынимается и
подбрасывается одна из монет. Предположим, что выпал герб. Спрашивается,
какова вероятность того, что выбранная монета симметрична.
Построим соответствующую вероятностную модель. В качестве
пространства элементарных событий (исходов) естественно здесь взять
множество ίϊ = {Α\Γ, Л]Ρ, Л2Г, Л2Р}, описывающее все исходы выбора и
подбрасывания (Л ι Г означает, что вынута монета Л ι и в результате
подбрасывания выпал герб, и т. д.). Вероятности рассматриваемых исходов должны
быть заданы так, чтобы, согласно условиям задачи,
Р(Л,) = Р(Л2) = 1/2
и
Р(Г|Л,) = 1/2, Р(Г|Л2) = 1/3.
Этими условиями вероятности исходов определяются однозначно:
Р(Л,Г)= 1/4, Р(Л,Р)= 1/4, Р(Л2Г) = 1/6, Р(Л2Р) = 1/3.
Тогда, согласно формуле Байеса, интересующая нас вероятность
Р(А in- РИРРСГИР _3
П И j Р(Д1)Р(ГИ,) + Р(у*2)Р(ГИ2)"5
*) A priori —до опыта, a posteriori — после опыта.

48
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и, значит,
Р(Л2|Г) = 2/5.
4. Вводимое в этом пункте понятие независимости играет в
определенном смысле центральную роль в теории вероятностей: именно это
понятие определило то своеобразие, которое выделяет теорию вероятностей
в общей теории, занимающейся исследованием измеримых пространств
с мерой.
Если Л и В — два события, то естественно сказать, что событие В
не зависит от Л, если знание того обстоятельства, что совершилось
событие Л, никак не влияет на вероятность совершения события В. Иначе
говоря, будем говорить, что «В не зависит от Л», если
Р(В|Л) = Р(В) (10)
(здесь мы предполагаем, что Ρ (Л) > 0).
Поскольку
Р(В|Л)--р(ЛГ
то из (10) находим, что
Р(ЛВ) = Р(Л)Р(В). (11)
Точно так же, если Ρ(β)>0, то естественно сказать, что «Л не зависит
от В», если
Р(Л|В) = Р(Л).
Отсюда снова получаем соотношение (11), которое, заметим,
симметрично относительно Л и β и имеет смысл также и тогда, когда вероятность
этих событий может быть равна и нулю.
Исходя из этого, примем следующее
Определение 2. События А и В называются независимыми или
статистически независимыми (относительно вероятности Р), если
Р(ЛВ) = Р(Л)Р(В).
В теории вероятностей часто приходится рассматривать независимость
не только событий (множеств), но и систем событий (множеств).
Приведем соответствующее
Определение 3. Алгебры (и, более общо, системы подмножеств Ω)
я/\ и jab называются независимыми или статистически независимыми
(относительно вероятности Р), если независимы любые два множества А\
и Лг, принадлежащие соответственно si\ и л^.

§3. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ 49
Для примера рассмотрим две алгебры
^={ЛЬ Ль 0, Ω} и ^2 = {Л2, Л2, 0, Ω},
где А\ и Л2 — некоторые множества из Ω. Нетрудно показать, что si\ и
srf2 независимы тогда и только тогда, когда независимы события А\ и Л2.
Действительно, независимость st\ и я^ означает независимость
шестнадцати пар событий: А\ и А2, А\ и Л2, ..., Ω и Ω. Следовательно, А\ и
Л2 независимы. Обратно, если А\ и Л2 независимы, то надо показать,
что независимы остальные пятнадцать пар событий. Проверим, например,
независимость А\ и Л2. Имеем
Р(Л1Л2) = Р(Л1)^Р(Л1Л2) = Р(Л1)-Р(Л1)Р(Л2) =
= Р(Л,)(1-Р(Л2)) = Р(Л1)Р(Л2).
Независимость остальных пар проверяется аналогичным образом.
5. Понятие независимости двух множеств и двух алгебр множеств
распространяется на случай любого конечного числа множеств и алгебр
множеств.
Определение 4. Говорят, что множества А\,..., Ап независимы или
статистически независимы в совокупности (относительно
вероятности Р), если для любых k = 1, ..., η и 1 < /ι < /2 <...</*< я
P(All...Alk) = P(All)...P(Aik). (12)
Определение 5. Алгебры множеств л^,..., srfn называются
независимыми или статистически независимыми в совокупности (относительно
вероятности Р), если независимы любые множества Ль ..., Л„,
принадлежащие соответственно д^, ..., sin.
Отметим, что из попарной независимости событий, вообще
говоря, не следует их независимость. Действительно, если, например, Ω =
= {α;ι, α;2, ω$, ω^} и все исходы равновозможны, то события
Л = {а;ьа;2}, В = {шишъ), С = {ш\уиц)
попарно независимы, но в то же время
Р(ЛВС)=Л^)3 = Р(Л)Р(В)Р(С).
Отметим также, что из того, что для некоторых событий Л, β и С
Р(ЛВС) = Р(Л)Р(В)Р(С),
вовсе не следует попарная независимость этих событий. В самом деле,
пусть пространство Ω состоит из 36 упорядоченных пар (/, /), где /, / =
= 1, 2, ..., 6, и все эти пары равновозможны. Тогда для Л = {(/, /):/'= 1, 2

50
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
или 5}, В = {(»', /'): / = 4, 5 или 6}, С = {(»', /'): / + / = 9} имеем
Р(АВ) = ±*\=Р(А)Р(В),
Р(ЛС) = ^^1=Р(Л)Р(С),
Р(ВС) = ±ф± = Р(В)Р(С),
но в то же время
Р(ЛВС)=^ = Р(Л)Р(В)Р(С).
6. С точки зрения понятия независимости рассмотрим подробнее
классическую модель (Ω, si, Ρ), введенную в § 2 и приведшую к
возникновению биномиального распределения.
В этой модели
Ω = {α;: α; = (αι, ..., α„), а/=0, 1},
*/ = {А: ACQ}
иР(М) = рМс
p(o;) = pE«»y«-E«i. (13)
Пусть событие А С Ω. Будем говорить, что это событие зависит от
испытания в k-Pi момент времени, если оно определяется лишь значением а*.
Примером таких событий являются события
Ak = {<ju: α*=1}, Ak = {oj: ak = Q}.
Рассмотрим последовательность алгебр si\, ·**£, · · ·, ^п таких, что ^ =
= {Ak> Aky 0, Ω}, и покажем, что в случае (13) эти алгебры независимы.
Ясно, что
P(Ak)= Σ />И= £ ρΊ2αί(}η-Σαί =
{u>:ak=\} {ω:α*=1}
= ρ V^ рй\ +·..+α*-1 +α*+1 +·..+α* χ
(Я| α*_ι,α*+ι απ)
/ι-Ι
x^(rt-l)-(flI+...+flft_l+flft+I+...+fl„):::::/? ^- Ci.ipV'^^P.
/=0
и аналогичный подсчет показывает, что P(Ak) = q и при кф1
Р(Л*Л/) = Р2, Р(Л*Л/) = р<7, Р(Л*Л/) = <72·
Отсюда легко выводится, что алгебры ^4 и ^, й^/, независимы.

§3. УСЛОВНЫЕ ВЕРОЯТНОСТИ. НЕЗАВИСИМОСТЬ 51
Аналогично показывается, что независимы алгебры si\, ·**£, ··, ^п- Это
дает основание назвать рассматриваемую модель (Ω, д/, Р) моделью,
отвечающей η независимым испытаниям с двумя исходами и
вероятностью «успеха» р. Я. Бернулли был первый, кто систематически изучал эту
модель и доказал для нее справедливость закона больших чисел (§ 5).
В связи с этим эту модель называют также схемой Бернулли (с двумя
исходами — «успехом» и «неуспехом» —и вероятностью «успеха» р).
Детальное рассмотрение вероятностного пространства в схеме
Бернулли показывает, что оно имеет структуру «прямого произведения
вероятностных пространств», состоящую в следующем.
Предположим, что задан набор (Ωι, BS\, Pi), ..., (Ω„, 0&η, Ρ„)
конечных вероятностных пространств. Образуем пространство Ω = Ωι ΧΩ2Χ
χ...χΩ„ точек ω = (α\, ..., α„), где α/£Ω,·. Обозначим я/= Β8\®ί%2®
0... Θ&η — алгебру подмножеств Ω, состоящую из сумм множеств вида
А = В\ χ В2 х ... χβ/ι с β/G^,·. Наконец, для ω = (α\, ..., ап) положим
ρ(ω) = р\(а\)...рп(ап) и определим Р(Л) для множеств А = В\ хВ2х ...
... χ Вп формулой:
Р(Л)= Σ Pi(fli)-P-(fl-)-
{αι€θ| апеВп}
Нетрудно проверить, что Ρ(Ω)= 1 и, следовательно, тройка (Ω, л^, Р)
определяет некоторое вероятностное пространство. Это пространство
называют прямым произведением вероятностных пространств
(Ωι,Λι,Ρι), ..., (Ω„,Λ„,Ρ„).
Отметим одно легко проверяемое свойство прямого произведения
вероятностных пространств: относительно вероятности Ρ события
Αι={ω: a{eBi}y ..., Αη = {ω: αη eBn},
где β/G^·, являются независимыми. Точно так же алгебры множеств
пространства Ω
&/{={Αι: Α\={ω\α\€Βχ), BiG^i},
*/п = {Ап:Ап = {и>:ая€Ва},Ва€Яп}
являются независимыми.
Из приведенных конструкций видно, что схема Бернулли
(Ω, szt, Ρ) с Ω = {α;: α; = (αι, ..., α„), αχ=0, 1},
Λί = {Α: А С Ω} и Ρ (Μ) = ρΣ «и^-Е «ι

52
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
может быть получена как прямое произведение вероятностных
пространств (Ω/, Яи Pi)» / = 1, 2, ..., л, где
Ω, = {0, Ι}, ^,={{0}, {1}, 0,Ω,},
Pi«l» = P. Pi({0}) = ^7.
7. Задачи.
1. Привести примеры, показывающие, что, вообще говоря, равенства
Р(В|Л) + Р(В|Л)=1,
Р(В\А) + Р(В\А) = 1
неверны.
2. Урна содержит Μ шаров, из которых М\ шаров белого цвета.
Рассматривается выбор объема п. Пусть Bj — событие, состоящее в том,
что извлеченный на /*-м шаге шар имел белый цвет, а ^- событие,
состоящее в том, что в выборке объема η имеется в точности k белых
шаров. Показать, что как для выбора с возвращением, так и для выбора
без возвращения
P(B}\Ak) = k/n.
3. Пусть Ль ..., Ап — независимые события. Показать, что тогда
р(ил/) = 1-ПР(А).
4. Пусть Ль ..., Ап — независимые события с Р(Л,-) = р/. Показать,
что вероятность Pq того, что ни одно из этих событий не произойдет,
определяется формулой
η
5. Пусть Л и В — независимые события. В терминах Ρ (Л) и Ρ (В)
выразить вероятности событий, состоящих в том, что произойдет β
точности £, по меньшей мере k и самое большее k из событий Л и β
(* = 0, 1,2).
6. Пусть событие Л таково, что оно не зависит от самого себя, т. е. Л
и Л независимы. Показать, что тогда Р(Л) равно 0 или 1.
7. Пусть событие Л таково, что Ρ (Л) равно 0 или 1. Показать, что Л и
любое событие В независимы.
8. Рассматривается электрическая схема, изображенная на рис. 4.
Каждое из реле Л, β, С, D и £, работающих независимо, находится в
открытом состоянии (и, значит, не пропускает электрический сигнал)

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ 53
или в закрытом состоянии (и тогда сигнал пропускается) с вероятностями
ρ и q соответственно. Спрашивается, какова вероятность того, что сигнал,
поданный на «вход», будет получен на
«выходе»? Какова условная вероятность того, А У|Ч^
что реле Ε было открыто, если на «выходе» I .в
был получен сигнал? mf J ε \ -
Q Пусть РМ+ЙЬО. Показать, что Вход V^ I ?/ Выход
9. Пусть Р(Л + В)>0. Показать, что
Р(А\А + В)= ?{А)
сфо
Р(А) + Р(В)' Рис 4
10. Пусть событие А не зависит от со-
оо
бытии Вп, О 1, при этом 6,0/^ = 0, ιφ]. Тогда события А и (J Вп
являются независимыми.
11. Показать, что если Р(Л \С)>Р(В\С) и Р(Л |С)> Р(В|С), то
Р(А)>Р(В).
12. Показать, что
Р(А\В) = Р(А\ВС)Р(С\В) + Р(А\ВС)Р(С\В).
13. Пусть X и Υ — независимые биномиальные величины с параметрами
η и р. Показать, что
nkr*m—k
P(X = k\X + Y = m)=^£—, й = 0, l,...,min(m, n).
14. Пусть Л, В, С — попарно независимые равновероятные события,
причем Л Π Β Π С = 0. Найти максимально возможное значение для
вероятности Р(Л).
15. В урну, где находился один белый шар, добавили либо белый, либо
черный шар (с одинаковыми вероятностями). После этого случайным
образом вытащили один шар. Он оказался белым. Какова условная вероятность
того, что оставшийся в урне шар тоже белый?
§ 4. Случайные величины и их характеристики
1. Пусть (Ω, s&\ Р) — вероятностная модель некоторого эксперимента
с конечным числом исходов Ν(ίϊ) и алгеброй s/ всех подмножеств Ω.
Можно заметить, что в рассмотренных выше примерах, связанных с
подсчетом вероятностей тех или иных событий Л е si, собственно природа
пространства элементарных событий Ω не представляла интереса.
Основной интерес представляли лишь некоторые числовые характеристики,
значения которых зависели от элементарных событий. Так, мы интересовались

54
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
вопросами о том, какова вероятность определенного числа успехов в серии
из η испытаний, каково распределение вероятностей числа дробинок по
ячейкам и т. п.
Вводимое сейчас (и далее — в более общем виде) понятие случайной
величины призвано определить величины, характеризующие результаты
«измерений» в случайных экспериментах.
Определение 1. Всякая числовая функция ξ = ξ(ω), определенная на
(конечном) пространстве элементарных событий Ω, будет называться
(простой) случайной величиной. (Происхождение термина «простая»
случайная величина станет понятным после введения общего понятия случайной
величины в § 4 гл. II.)
Пример 1. В модели двукратного подбрасывания монеты с
пространством исходов Ω = {ΓΤ, ГР, РГ, РР} определим случайную величину ξ = ξ(ω)
с помощью таблицы
ω
in
гг
2
ГР
1
РГ
1
РР
0
Здесь ξ(ω) по своему смыслу есть не что иное, как число «гербов»,
отвечающее исходу ω.
Другим простейшим примером случайной величины ξ является
индикатор (иначе — характеристическая функция) некоторого множества
Лея/:
ξ = ΐΛ(ω).
где *)
М ' \θ, ω?Α.
Когда экспериментатор имеет дело со случайными величинами,
описывающими те или иные показания, то основной вопрос, который его
интересует, — это вопрос о том, с какими вероятностями эта случайная
величина принимает те или иные значения. С этой точки зрения интерес
представляет не распределение вероятностей Ρ на (Ω, si), а распределение
вероятностей на множестве значений случайной величины. Поскольку в
рассматриваемом случае Ω состоит из конечного числа точек, то множество
значений X случайной величины ξ также конечно. Пусть Х = {хи ..., jcm},
где (различными) числами х\у ..., хт исчерпываются все значения ξ.
*) Для индикатора /^М используются также обозначения /(А), 1а- По поводу часто
используемых далее свойств индикаторов см. задачу 1.

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ 55
Обозначим ЗС — совокупность всех подмножеств множества X, и пусть
В € ЗС. Множество В можно также интерпретировать как некоторое
событие, когда пространство исходов есть X — множество значений ξ.
Рассмотрим на (X, ЗС) вероятность Ρξ(), индуцируемую случайной
величиной ξ по формуле
Ρξ(Β) = Ρ{ω: ξ(ω)εΒ}, ВеЗС.
Ясно, что значения этих вероятностей полностью определяются
вероятностями
Ρξ(χι) = Ρ{ω: ξΜ = *,·}, xt€X.
Набор чисел {Ρξ(χ\)> ..., Ρξ(χη)} называется распределением
вероятностей случайной величины ξ.
Пример 2. Случайная величина ξ, принимающая два значения 1 и О
с вероятностями («успеха») ρ и («неуспеха») q, называется бернуллиев-
ской *). Ясно, что для нее
Ρξ(χ) = ρχςι-\ х = 0, 1. (1)
Биномиальной (или биномиально распределенной) случайной
величиной ξ называется случайная величина, принимающая η + 1 значение
О, 1, ..., η с вероятностями
Pt(x) = Cxnpxqn-\ x = 0, 1.....Λ. (2)
Заметим, что в этих и во многих приводимых далее примерах мы не
конкретизируем структуру основного вероятностного пространства (Ω, stf\ Р),
а интересуемся лишь значениями случайных величин и их распределениями
вероятностей.
Вероятностная структура случайных величин ξ полностью описывается
распределением вероятностей {Р$(*,·), / = 1, ..., т}. Вводимое ниже
понятие функции распределения дает эквивалентное описание вероятностной
структуры случайных величин.
Определение 2. Пусть xeR1. Функция
Ρξ(χ) = Ρ{ω:ζ(ω)ζχ}
называется функцией распределения случайной величины ξ.
Ясно, что
ад- Σ р*ы
*) Обычно в вероятностной литературе вместо выражений «бернуллневская»,
«биномиальная», «пуассоновская», «гауссовская», ... случайная величина, используемых здесь,
говорится о случайных величинах, имеющих распределение Бернулли, биномиальное,
Пуассона, Гаусса, ...

56
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где/7с(л:-) = Нгп/7с(«/).
yU
Если считать, что Х\ < Х2 <... < хт* и положить /^(jco) = 0, то
Ρξ(Χι) = Ρξ(Χί)-Ρξ(Χί-ι), / = 1, ..., т.
Приводимые далее графики (рис. 5) дают представление о Ρξ(χ) и F^(x)
для биномиальной случайной величины ξ.
Непосредственно из определения 2 следует, что функция распределения
Ρξ = Ρξ(χ) обладает такими свойствами:
(l)F€(-oo) = OfF€(+oo) = l;
Ρξ(χ)1 (2) F^(jc) непрерывна справа (^(jc+) =
n =^(jc)) и кусочно постоянна.
I - Наряду со случайными величинам ча-
п сто приходится рассматривать случайные
векторы ξ = (ξι, ..., ξΓ), компоненты ко-
<Г
ι
торых являются случайными величинами.
Например, при рассмотрении
мультиномиального распределения мы имели дело со
случайным вектором ν = (щ,..., vr), где ι/,· =
= ι/ι(ω) — число элементов в последователь-
I т- ностиа; = (аь • •-,β/ι), равных ft,·, / = 1,..., г.
11 ι_β_ Набор вероятностей
0 12 η
Рис.5. '«('ι. ·...*,) =
= Ρ{ω: ξ\(ω)=Χ\, ...,?гМ = 4
где jc,- eXi (Xi —область допустимых значений ξ/), называется
распределением вероятностей случайного вектора ξ, а функция
где jc/ Е/?1, называется функцией распределения случайного вектора
Так, для упомянутого выше вектора v = {v\, ...,vr)
Pvifiu .... Яг) = Ся(Яь ..., ηΓ)ρΐι...ρ?
(см. (2) § 2).
2. Пусть ξι, ..., ξΓ — некоторый набор случайных величин,
принимающих значения в (конечном) множестве X С/?1. Обозначим через ЗС алгебру
всех подмножеств X.

§ 4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ 57
Определение 3. Случайные величины ξι, ..., ξΓ называются
независимыми (в совокупности), если для любых х\у ..., хг еХ
или, что эквивалентно, для любых В\, ..., ВГ^ЗС
Ρ{ξι€βι,...,ξΓ€θΓ} = Ρ{ίι€βι}...Ρ{ίΓ€θΓ}.
Простейший пример независимых случайных величин можно получить,
рассматривая схему Бернулли. Именно, пусть
Ω = {α;:α; = (α1,...,αη), α,· = 0, Ι}, ρ(ω) = ρΖ *Ч«~Ъ *
и ξ/Μ = α/ для ω = (α\, ..., α„), / = 1, ..., п. Тогда случайные величины
ξι, &♦···♦ 6ι являются независимыми, что вытекает из установленной в § 3
независимости событий
Α{={ω: α! = 1}, ..., Αη = {ω: αη = 1}.
3. В дальнейшем нам не раз придется сталкиваться с вопросом о
распределении вероятностей случайных величин, являющихся
функциями /(ξι, ..., ξΓ) от случайных величин ξι, ..., ξΓ. Рассмотрим сейчас лишь
вопрос об отыскании распределения суммы случайных величин ζ = η +ξ.
Если ξ принимает значения в множестве Х = {х\,..., Xk), а η — в
множестве У = {«/ь ···, 1//}* то случайная величина ζ = ξ + η принимает значения
в множестве Z = {z: z = Xi+yh / = 1, ..., й, /' = 1, ..., /}, и ясно, что
ЭД = Р{С = *} = Р^ + 77 = г}= Σ р{£ = *ь *? = #/}·
Особо важен случай независимых случайных величин ξ и ту. Тогда
Ρ{ξ=*/^=^} = Ρ{ξ=*/}Ρ{^,},
и, значит, для любого z€Z
k
р№ = Σ pd*i)Pv(yi) = Σ *WM* - *<)· (3)
Если, например, ξ и η — независимые бернуллневские случайные
величины, принимающие каждая значения 1 и 0 с вероятностями ρ н q
соответственно, то Ζ = {0, 1, 2} и
Ρζ(0) = Ρξ(0)Ρν(0) = ς2,
Яс(1) = />«(0)Я„(1) + Ρξ(\)Ρη(0) = 2pq,
Ρζ(2) = Ρξ(1)Ρη(1) = ρ2.

58
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
По индукции легко устанавливается, что если ξι, &» ···» ζη —
независимые бернуллиевские случайные величины с Р{& = 1} = /?, Р{& = 0} = <7,
то случайная величина ζ = ξ\ + ... + ξη имеет биномиальное распределение
PQ(k) = Cknpkqn-\ * = 0, 1,...,/г. (4)
4. Перейдем теперь к важному понятию математического
ожидания, или среднего значения, случайных величин.
Пусть (Ω, &4\ Р) — (конечное) вероятностное пространство и ξ=ξ(ω) —
некоторая случайная величина, принимающая значения в множестве
X = {Х[, ..., Xk). Если положить А{? = {α;: ξ = jc/}, / = 1, ..., й, то, очевидно,
ξ можно представить в таком виде:
k
ξΗ = Σ>/(Α·), (5)
/=1
где множества Ль ..., Ak образуют разбиение пространства Ω (т. е. они
попарно не пересекаются и их сумма равна Ω; см. п. 3 § 1).
Обозначим pi; = P{£ = jt/}. Интуитивно ясно, что если наблюдать за
значениями случайной величины ξ в «п повторных независимых
экспериментах», то значение Х\ должно встретиться примерно пр\ раз, / = 1,..., k.
(Полезно сопоставить это высказывание с утверждениями законов
больших чисел, формулируемых далее в §§ 5, 12.) Таким образом, «среднее
значение» этой случайной величины, подсчитанное по результатам η
экспериментов, есть примерно
! k
-[np\X\+... + npkxk] = J2 piXi'
/ = 1
Это замечание делает понятным следующее
Определение 4. Математическим ожиданием или средним зна-
k
чением случайной величины ξ= ]Г */ДА) называется число
k
Ε£ = Σ>Ρ(Α·). (6)
/=1
Поскольку Αι = {ω: ξ(ω) = χ,·} и Ρξ(χι) = Ρ(Α), то
k
Εξ = £>/>ξ(*/). (7)
ι=1

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ 59
Вспомнив определение функции распределения F$ = Ft(x) и обозначив
находим, что Ρξ(χι) = ΔΡξ(χι) и, следовательно,
k
Εξ = ^χ/Δ^(χ/). (8)
/=ι
Прежде чем переходить к рассмотрению свойств математических
ожиданий, заметим, что часто приходится иметь дело с различными
представлениями случайной величины ξ в виде
/
«")=Σ*/7<β/>.
где В\ +... + В/ =Ω, но среди xfj могут быть, вообще говоря, одинаковые
/
значения. В этом случае Εξ можно подсчитывать по формуле Σ x'P(Bj),
не переходя к представлению (5), где все xt различны. Действительно,
£ *}Р(Я,) = *,· Σ P(Bj) = xiP(Ai)
и, значит,
/ k
Σ*/ρ<β/>=Σ*'ρ<Λ'>·
5. Сформулируем основные свойства математических ожиданий:
1) £Ьш£5*0, то Εξ^Ο.
2) Ε(αξ + йту) = αΕξ + ϋΕη, α, ft — постоянные.
3) £с/ш ξ ^ ту, то Εξ ^ Е/у.
4)|Ei|<E|e
5) £слы ξ и η независимы, то Εξτ/ = Εξ· Е/у.
6) (Ε|ξτ/|)2 ^ Εξ2 · Е/у2 (неравенство Коши—Буняковского,
называемое также неравенством Коши—Шварца или неравенством Шварца).
7) Если ξ = 1(A), то Εξ = Ρ(Λ).
Свойства 1) и 7) очевидны. Для доказательства 2) пусть
ί = £>,/(>!,). Ч = 5>//(Я/).
Тогда
αξ + Ьц = α ^ *//(Λ/ Π Вi) + * Σ У!1^ n fl/) = Σ<α*' + WHi Π By)
'./ './' <\/

60
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Ε(αξ + ϋη) = Σ(αΧί + by,) Р(Д ηВ;) =
ч
= J2axiP(Ai) + Y^byjP(B}) =
= fl£ */P(A) + * £ ^Р(ву) = аЕ^ + 6Еч.
Свойство 3) следует из 1) и 2). Свойство 4) очевидно, поскольку
т=
Σ*.·ρ(Λι) <Σι*'ΐρ^'>=Εΐίΐ·
Для доказательства свойства 5) достаточно заметить, что
Е& = Ε (£ *,/(Л,·)) (Σ УАВ1)) =
= Ε J] x,y}I(Ai Л By) = Σ xiyfiAi η β/) =
= Σ x,y,P(A,) Ρ(Β,) = (Σ χ,Ρ(Α,)) (Σ УМ*!)) = Εξ· Еч,
где мы воспользовались тем, что для независимых случайных величин ξ
и ту события
Л/ = {α;: ξ(ω) = */} и β, = {а;: гу(а;) = у})
являются независимыми: Ρ(Λ,·Πβ/·) = ΡΗι·)Ρ(β/·).
Чтобы доказать свойство 6), заметим, что
ξ2 = Σ>?/(Λ·), if = £#<*/>
и
i /
Пусть Εξ2 > 0, Ету2 > 0. Положим
Поскольку г^^ + т?2, то 2ΕΙΦ/ΚΕΙ2 + Έ.ή2 = 2. Значит, E|ffj|<l и
(Е|^|)2<Е^2-Е^.

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ 61
Если же, скажем, Εξ2 = 0, то это означает, что Σ xfP(Ai) = Q и, сле-
довательно, среди значений, принимаемых случайной величиной ξ, есть
значение 0, причем Ρ{ω: ξ(α;) = 0} = 1. Поэтому, если по крайней мере
одно из значений Εξ2 или Εη2 равно нулю, то, очевидно, Ε|ξ77| = 0 и,
следовательно, неравенство Коши—Буняковского также выполняется.
Замечание. Свойство 5) обобщается очевидным образом на любое
конечное число случайных величин: если ξι, ..., ξΓ независимы, то
Εξ,...ξΓ = Εξ,...ΕξΓ.
Доказательство здесь то же, что и для случая п = 2, или по индукции.
Пример 3. Пусть ξ — бернуллиевская случайная величина,
принимающая значения 1 и 0 с вероятностями ρ н q. Тогда
Εξ=1·Ρ{ξ=1} + 0·Ρ{ξ = 0} = ρ.
Пример 4. Пусть ξι, ..., ξ„ — п бернуллиевских случайных величин с
Ρ{ξ/ = Η = Ρ, Ρ{ξ/ = 0} = <7, ρ + <7 = 1. Тогда для
5„=ξι + ... + ξ„
находим, что
ESn = np.
К этому результату можно прийти и другим путем. Нетрудно понять,
что ESn не изменится, если предположить, что бернуллиевские случайные
величины ξι, ..., ξη независимы. При этом предположении, согласно (4),
P{Sn = k} = Cknpkqn-k, й = 0, 1,...,/ι.
Поэтому
es„=ς kP{sn=k)=ς kCnP у-*=Σ k ■ ¥-^- ρ ν*=
*=0 Α=0 *=0
nP L.(k-\)\{(n-\)-{k-\))\p q
np 2^ i\((n-i)-iy.pq np-
1=0
Впрочем, первый способ приводит к результату быстрее, нежели
последний.

62 ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
6. Пусть ξ = Σ XiI(Ai)y где Л/ = {ω: ξ(ω) = JC/}, и φ = ν>(ξΜ) —
некоторая функция от ξ (ω). Если Bj={ω: ν?(ξ(ω)) = *//Κ το (/β/Μ = /(β/))
у
и, следовательно,
у у
Но ясно также, что (/^.(0;) = /(Лу))
Поэтому наряду с (9) для подсчета математического ожидания случайной
величины φ = φ(ξ) можно пользоваться формулой
Εφ(0 = Υ^φ(Χι)Ρξ(^
}
7. Следующее важное понятие дисперсии случайной величины ξ
характеризует степень разброса значений ξ относительно ее
математического ожидания.
Определение 5. Дисперсией случайной величины ξ (обозначается Οξ)
называется величина
D£ = E(£-E£)2.
Величина σ = +^/θξ называется стандартным отклонением.
Поскольку
Ε(ξ - Εξ)2 = Ε(ξ2 - 2ξ ■ Εξ + (Εξ)2) = Εξ2 - (Εξ)2,
ΤΟ
Οξ = Εξ2-(Εξ)2.
Ясно, что ϋξ^Ο. Из определения дисперсии также следует, что
D(a + ϋξ) = 62D£, a, b — постоянные.
В частности, Da = 0, D(b£) = b2u£.
Пусть ξ и η — две случайные величины. Тогда
0(ξ + η) = Ε((ξ-Εξ) + (η-Εη))2 = ϋξ + Όη + 2Ε(ξ-Εξ)(η-Εη).
Обозначим
<Χ>ν(ξ,η) = Ε(ξ-Εξ)(η-Εη).

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ 63
Эта величина называется ковариацией случайных величин ξ и η. Если
D£ > О, Όη> О, то величина
nit п\ - covfc q)
называется коэффициентом корреляции случайных величин ξ и η.
Нетрудно показать (см. далее задачу 7), что если ρ(ξ, η) = ±1, то величины
ξ и 77 линейно зависимы:
η = αξ + ϋ,
где α > 0, если ρ(ξ, ту) = 1, и а < О, если ρ(ξ, ту) = -1.
Сразу отметим, что если ξ и η независимы, то независимы ξ - Εξ и
η-Εη, а значит, по свойству 5) математических ожиданий
Οθν(ξ,τ7) = Ε(ξ-Εξ)Ε(77-Ετ7) = 0.
С учетом введенного обозначения для ковариации находим, что
D(£ + 77) = D£ + Dt7 + 2cov(£, η) (10)
Если ξ и η независимы, то дисперсия суммы ξ + η равна сумме
дисперсий:
D« + 4) = D€ + D4. (11)
Как следует из (10), свойство (11) остается выполненным и при
меньшем предположении, нежели независимость ξ и η. Именно, достаточно
предположить, что величины ξ и η некоррелированы, т. е. Οθν(ξ, η) = 0.
Замечание. Из некоррелированности ξ и η, вообще говоря, не следует
их независимость. Вот простой пример. Пусть случайная величина а
принимает значения 0, π/2 и π с вероятностями 1/3. Тогда ξ = sin α и η = cos α
некоррелированы; в то же время они не только зависимы (относительно
вероятности Р):
Ρ{ξ=1,η=\} = 0ΪΙ/9 = Ρ{ξ=1}Ρ{η=1},
но и, более того, функционально зависимы: ξ2 + η2=1.
Свойства (10), (11) очевидным образом распространяются на
произвольное число случайных величин ξι, ..., ξ„:
°(Σ ч =Σ D&+2 Σ cov&> ί/>· (12>
В частности, если величины ξι, ..., ξ„ попарно независимы (достаточно,
на самом деле, их попарной некоррелированности), то
\,=1 / ;=|
D6- (13)

64
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Пример 5. Если ξ — бернуллиевская случайная величина,
принимающая два значения 1 и 0 с вероятностями ρ и q, то
Οξ = Ε(ξ-Εξ)2 = Ε(ξ- р)2 = (\ - р)2р + p2q = pq.
Отсюда следует, что если ξι, ...,ξη — последовательность независимых
(одинаково распределенных) бернуллиевских случайных величин и S„ =
= ξι+... + &ь то
DSn = npq. (14)
8. Рассмотрим две случайные величины ξ и η. Предположим, что
наблюдению подлежит лишь случайная величина ξ. Если величины ξ и η
коррелированы, то можно ожидать, что знание значений ξ позволит
вынести некоторые суждения и о значениях ненаблюдаемой величины η.
Всякую функцию / = /(ξ) от ξ будем называть оценкой для η. Будем
говорить также, что оценка /* = /*(ξ) оптимальна в среднеквадрати-
ческом смысле, если
Efa-/W = infE(4-/(i))2.
Покажем, как найти оптимальную оценку в классе линейных оценок
λ(ξ) = α + 6ξ. Для этого рассмотрим функцию g(a, ϋ) = Ε(η- (α + 6ξ))2.
Дифференцируя g(a, b) no а и Ь, получаем
dJ^ = -2E[r1-(a + bOl
^»_2E[(4-(e+*€))ei.
откуда, приравнивая производные к нулю, находим, что оптимальная в
среднеквадратическом смысле линейная оценка есть λ*(ξ) = α* + 6*ξ, где
α·=Ε„-*·Ε€, *· = 52!&ώ (15)
Иначе говоря,
λ*(0 = Εί? + 22^)(ξ_Ε0. (16)
Величина Е(г7 — Α*(ξ))2 называется среднеквадратической ошибкой
оценивания. Простой подсчет показывает, что эта ошибка равна
Α*=Ε(η-Χ4ξ))2 = ϋη-^^^=Οη-[\-ρ2(ξ,η)}. (17)
Таким образом, чем больше (по модулю) коэффициент корреляции
ρ(ξ, η) между ξ и η, тем меньше среднеквадратическая ошибка
оценивания Δ*. В частности, если \ρ(ξ,η)\ = 1, то Δ*=0 (ср. с результатом

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ ХАРАКТЕРИСТИКИ 65
задачи 7). Если же случайные величины ξ и η не коррелированы (т. е.
р(£» Г7) = 0), то λ*(ξ) = Ε77· Таким образом, в случае отсутствия корреляции
между ξ и η лучшей оценкой η по ξ является просто Εη (ср. с задачей 4).
9. Задачи.
1. Проверить следующие свойства индикаторов 1д = /лМ:
/0 = 0, /Ω=1, /д = 1-/л,
1ав = /л · /β. Iaub = /л + h - Ιαβ,
Га\в=1а(1-1в), Iaab = Va-Ib)2 = Ia+Ib (mod 2),
Ό,,-'-Πο-'*). fo-ήο-ω· 't*-t'*·
где Л Δ β — симметрическая разность множеств А и В, т. е. множество
(A\B)U(B\A).
2. Пусть ξι, ..., ξη — независимые случайные величины и
ξπιίη = min(£i ,...,£„), £max = max(£i, ..., ξ„).
Показать, что
p^min ^ χ)=Π Pte > *>. ρ{6«χ < 4=Π ρ& < *>·
/=1 /=1
3. Пусть ξι, ···» ξη — независимые бернуллиевские случайные
величины с
Ρβ·=0} = 1-λ,·Δ,
Ρ{6 = 1} = λ,·Δ,
где Δ — малое число, Δ > 0, λ,· > 0. Показать, что
Р{£. +... + & -l>=(Y>Wo(A2),
-ι>-(ς4
4=1 '
Ρ{ξι+...+ξ„>1} = 0(Δ2).
4. Показать, что inf Е(£ —α)2 достигается при а = Е£ и, следо-
вательно,
inf E(f-a)2 = D£
-oo<a<oo
5. Пусть ξ — случайная величина с функцией распределения /^(лг) и
те — медиана /^(*), т. е. такая точка, что

66
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Показать, что
inf Ε|ξ-α| = Ε|ξ-/η*|.
-οο<α<οο ' ' |Ъ '
6. Пусть Ρξ(χ) = Ρ{ξ = χ} и ^(a:) = P{^<jc}. Показать, что*для а>0 и
—оо<Ь <оо
Если у > 0, то
% (у)=Ρξ (+VU) - Ft(-Vy) + Pd-Vy).
Пусть ξ+ = max(£, 0). Тогда
(о, *<o,
FMx)-
/="«(0), * = 0,
[Ρξ(χ), χ>0.
7. Пусть ξ и η—две случайные величины с D£>0, Οη>0 κ ρ=ρ(ξ, η) —
их коэффициент корреляции. Показать, что \р\ < 1. При этом, если \р\ = 1,
то найдутся такие константы а и Ь, что η = αξ + δ. Более того, если р= 1,
то
τ,-Ετ^ξ-Εξ
(и, значит, а > 0), если же ρ = -1, то
»7-Е>?= ξ-Εξ
(и, значит, α < 0).
8. Пусть ξ и 77 —две случайные величины с Εξ = Ετ7=0, ϋξ = Οη = 1 и
коэффициентом корреляции ρ = ρ(ξ, η). Показать, что
Етах(£2, т^КИ-чЛ-Р2·
П
9. Используя равенство /-—= ПО ~ АО» Доказать формулу Ρ(β0) =
U At ί=\
= 1 - S\ + S2 -... ± Sn из задачи 5 § 1.
10. Если ξι, ..., ξη — независимые случайные величины, φ\ = </?ι(ξι, ···
♦ .♦,6) и </?2 = <?2(6н-ь ...,ξ/ι) —две функции от ξι, ...,& и &+ь ...,ξιι
соответственно, то случайные величины φ\ и <р2 независимы.

§5. СХЕМА БЕРНУЛЛИ. 1. ЗАКОН БОЛЬШИХ ЧИСЕЛ 67
П. Показать, что случайные величины ξι, ..., ξ„ независимы тогда и
только тогда, когда для всех х\, ..., хп
^ι ь(*и —**n) = Fb{xx)...Fill{xn)t
где F€l еД*ь .··. Χη) = Ρ{ξ\ <*ь -~>ξη<Χη}-
12. Показать, что случайная величина ξ не зависит от самой себя (т. е.
ξ и ξ независимы) в том и только том случае, когда ξ = const.
13. При каких условиях на ξ случайные величины ξ и sin ξ независимы?
14. Пусть ξ и η — независимые случайные величины и η^Ο. Выразить
вероятности Ρ{ξη<ζ} и Р|- <ζ| через вероятности Ρξ(χ) и Pv(y).
15. Пусть ξ, η, ζ — случайные величины, |ξ| ^ 1, \η\ ^ 1, \ζ\ ^ 1. Доказать
справедливость неравенства Белла: \Εξζ-Εηζ\ ^ 1 - Εξη. (См.,
например, [136].)
16. В п урн независимым образом бросаются k шаров. (Для каждого
шара вероятность его попадания в каждую конкретную урну равна \/п.)
Найти математическое ожидание числа непустых урн.
§ 5. Схема Бернулли. I. Закон больших чисел
1. В соответствии с данными выше определениями тройка
(Ω, Λί, Ρ) с Ω = {ω: ω = (α\, .... ял), α,·=0, 1},
s* = {A\ Л С Ω}, Ρ({ω)) = ρΕ«ς"-Σ« {= ρ(ω))
называется вероятностной моделью, отвечающей п независимым
испытаниям с двумя исходами, или схемой Бернулли.
В этом и следующем параграфах мы изучим некоторые предельные
(в указываемом ниже смысле) свойства схем Бернулли, которые
оказывается удобным ввести в терминах случайных величин и вероятностей
событий, связанных с ними.
Введем случайные величины ξι,..., ξ„, полагая для ω = (αι,..., α„), что
ζί (ω) = α,-, / = 1,..., п. Как мы уже видели, бернуллиевские величины ξ,- (α;),
1- = 1, ..., л, независимы и одинаково распределены:
Р{& = 1} = Р, Р«/ = 0} = ?, ί = 1 я.
Понятно, что случайная величина ξ,- характеризует результат испытания на
'-м шаге (в /-й момент времени).
Положим So (ω) = 0 и
S* = £i + ... + £b *=1, .... п.

68
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Как было найдено выше, ESn=np и, следовательно,
Е- = р. (1)
Иначе говоря, среднее значение частоты появления «успеха», т. е.
величины Sn/n, совпадает с вероятностью «успеха» р. Отсюда естественно
возникает вопрос о том, как велики отклонения частоты Sn/n появления
«успеха» от его вероятности р.
Прежде всего отметим, что не приходится рассчитывать на то, что
при достаточно малых ε>0 и даже при больших значениях η отклонения
частоты Sn/n от вероятности ρ будут меньше ε для всех ω, τ. е. что будет
выполнено неравенство
l^^-pke. *€Ω. (2)
Ι η Ι
Действительно, при 0 < ρ < 1
р{т = 1}=р^1==1'-^=1}=^·
P{f=0} = P{£1=0,...,6I = 0} = <A
откуда следует, что неравенство (2) не выполняется при достаточно малых
ε>0.
Однако мы замечаем, что при больших η вероятности событий | — = 1 >
и | — =0 > малы. Естественна поэтому мысль, что суммарная вероятность
исходов ω9 для которых —— - ρ >ε, будет при достаточно больших η
также мала.
В связи с этим постараемся оценить вероятность события
г |S/,(a;) Ι ϊ
{ω:|_12_ρ|>β},
для чего воспользуемся следующим неравенством, открытым П. Л. Чебы-
шевым.
Неравенство Чебышева. Пусть (Ω, si, Ρ) — некоторое
вероятностное пространство и ξ = ξ(ω) — неотрицательная случайная
величина. Тогда для всякого ε>0
Ρ{ξ>ε)<ψ (3)
Доказательство. Заметим, что
€ = €/(€ ^ ε) + ξΙ(ξ <ε)> ξΙ(ξ >ε)> εΙ(ξ > ε),
где 1(A) — индикатор множества А.

§5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
69
Поэтому по свойствам математических ожиданий
Εξ>€Ε/(ξ>ε) = εΡ{ξ>εΙ
что и доказывает (3). D
Следствия. Пусть ξ — произвольная случайная величина. Тогда
для ε>0
Ρ{\ζ\>ε)<ψ.
Ρ{\ξ\>ε) = Ρ{ξ2^Η^9 (4)
Воспользуемся последним неравенством, взяв £ = Sn/n. Тогда с
учетом (14) § 4 получим
рЛ5л -К-1 ^ \ п ' _ Dsn _ npq _ pq
V\\ n -Р\*еП—#— -^2"^?^^2·
Итак,
ρ{Ιτ-<Ή«3«ώ· <5>
откуда видно, что при больших η вероятность отклонения частоты «успеха»
Sn/n от его вероятности ρ больше чем на ε достаточно мала.
Обозначим для всех /ζ ^ 1 wO^k^n
Pn(k) = Cknpkq"-k.
Тогда
Ρ{||-Η>ε}= Σ ^<*).
и, в сущности, в (5) мы установили, что
Σ '-<*>< 0<ώ· (6)
т. е. доказали некоторое неравенство, которое можно было бы получить и
аналитически, без использования вероятностной интерпретации.
Из (6) ясно, что
Σ Λ,(*)-0, я-оо. (7)
{*1М*>

70
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
J_L
1_Ll
0 1
пр
ηρ—ηε
ηρ+ηε
Графически это утверждение можно пояснить следующим образом.
Изобразим биномиальное распределение {Рп(к)> 0^й<я}, как это
сделано на рис. 6 (при ρ = 1/2).
\pn(k) Тогда с ростом η вся
картина «расплывается», в
то же время «сжимаясь» по
высоте. При этом сумма
величин Pn(k) no k таким, что
np — ne^k^np + /ζε,
стремится к единице.
Будем представлять
последовательность случайных
величин So, Si, ..., Sn как траекторию некоторой блуждающей частицы.
Тогда результат (7) означает следующее.
Проведем прямые kp, k(p+e) и k(p — e). Тогда «в среднем»
траектория движется вдоль прямой kp, и для любого ε>0 можно утверждать,
что для достаточно больших η с большой вероятностью точка S„,
характеризующая положение частицы в момент /ζ, будет лежать в интервале
[п(р-е), п(р + е)]\ см. рис. 7.
Рис. 6.
Рис. 7.
Утверждение (7) хотелось бы записать в таком виде:
Р(|— -рЬ4-*0,
till η r\ J
►00.
(8)
Однако надо иметь в виду, что здесь существует определенная тонкость.
Дело в том, что эта запись была бы вполне оправданной, если бы Ρ была
вероятностью на некотором пространстве (Ω, si), на котором определена
бесконечная последовательность независимых бернуллиевских случайных

§5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
71
величин £ь &» ··· Эти объекты действительно можно построить и тем
самым придать утверждению (8) совершенно строгий вероятностный смысл
(см. далее следствие 1 к теореме 1 § 9 в гл. II). Пока же, если желать
придать смысл аналитическому утверждению (7), пользуясь языком
элементарной теории вероятностей, то можно утверждать лишь следующее.
Пусть (Ω(/ι), я/(п\ Р(/|)), О 1, — последовательность схем Бернулли
таких, что
Ω{η) = {ω{η): ω{η) = (af\ ..., а<,л)), а!л) = 0, 1},
^(л) = {Л: ЛСП(л)},
где для каждого η ^ 1 ξ^\ ..., ffl — последовательность независимых
одинаково распределенных бернуллиевских случайных величин.
Тогда
р(«){„(«).. |5*Я(<,;<Я))-р|^е}= Σ Pn(k)^Q> n^oo. (9)
на->н
Утверждения типа (7)—(9) носят название
«Закон больших чисел Я. Бернулли».
Отметим, что доказательство Я. Бернулли именно и состояло в
установлении утверждения (7), что было сделано им вполне строго с
использованием оценок для «хвостов» биномиальных вероятностей Pn(k) (при тех й,
для которых —ρ\^е). Непосредственное вычисление суммы
вероятностей «хвостов» биномиального распределения Σ Pn(k) пред-
ставляет для больших η довольно трудоемкую задачу, к тому же
получаемые формулы мало пригодны для практической оценки того, с какой
вероятностью частоты Sn/n отличаются от ρ меньше чем на ε. Именно
поэтому большое значение имели открытые Муавром и Лапласом (для
произвольного 0 < ρ < 1) простые асимптотические формулы для вероятностей
Pn(k), что позволило не только заново доказать закон больших чисел, но
и получить его уточнения — так называемые локальные и интегральные
предельные теоремы, суть которых состоит в том, что при больших η и

72
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
по крайней мере для k~np
Pn(k)~ ' е Tw ,
y/2impq
2. Следующий параграф посвящен точным формулировкам и
доказательствам этих результатов. Сейчас же мы остановимся на вопросе о том,
каков реальный смысл закона больших чисел, какова его эмпирическая
интерпретация.
Пусть производится большое число, скажем, N, серий экспериментов,
каждая из которых состоит из «п независимых испытаний с
вероятностью интересующего нас события С, равной р». Пусть Sln/n — частота
появления события С в /-й серии и Νε — число серий, в которых частоты
отклоняются от ρ меньше чем на ε:
ς1
η r
<e.
Νε равно числу тех /, для которых
Тогда из закона больших чисел можно заключить, что
75Г~Ъ. (10)
где/>£ = р{|^-р|<г}.
Важно при этом подчеркнуть, что попытка уточнить соотношение (10)
неминуемо приводит к необходимости использования некоторой
вероятностной меры точно так же, как оценка отклонения частоты Sn/n от ρ
оказывается возможной лишь после привлечения вероятностной меры Р.
3. Рассмотрим полученную выше оценку
р{||-НЧ= Σ *.<*><ά <»>
Hi-Η
для ответа на следующий, типичный для математической статистики
вопрос: каково наименьшее число наблюдений я, гарантирующее
выполнение (для любого 0 < ρ < 1) неравенства
р{\%-р\^е}*1-а, (12)
где α — заданное (обычно малое) число?

§5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
73
Из (11) следует, что таким числом является наименьшее целое я, для
которого
">го· (13)
Если, например, а = 0,05 и ε = 0,02, то число наблюдений, равное
12500, гарантирует выполнение неравенства (12) независимо от значения
неизвестного параметра р.
Далее мы увидим (п. 5, § 6), что это число наблюдений сильно
завышено; это объясняется тем, что неравенство Чебышева дает слишком грубую
оценку сверху вероятности Ρ{~~~Ρ^ε}·
4. Обозначим
C(n,e) = {ur. |Μ4-/,|<ε}.
Из доказанного закона больших чисел следует, что для всякого ε > 0 при
достаточно больших η вероятность множества C(/z, ε) близка к единице.
В этом смысле траектории (реализации) ω из C(/z, ε) естественно назвать
типичными (или (я, £)-типичными).
Поставим следующий вопрос: каково число N(C(n, ε)) типичных
реализаций и вес ρ(ω) каждой типичной реализации?
С этой целью заметим сначала, что общее число точек N(Q) = 2Л, и если
р = 0 или 1, то множество типичных траекторий С(л, ε) состоит
соответственно всего лишь из одной траектории (0, 0, ..., 0) или (1, 1, ..., 1). Но
если ρ = 1/2, то интуитивно понятно, что «почти все» траектории (за
исключением траекторий типа (0, 0,..., 0) или (1, 1,..., 1)) будут типичными,
следовательно, их число должно быть близко к 2я.
Оказывается, что на поставленный вопрос можно дать исчерпывающий
ответ для произвольных 0 < ρ < 1; при этом выясняется, что как число
типичных реализаций, так и их веса ρ(ω) определяются некоторой
специальной функцией от ρ («энтропией»).
Чтобы глубже раскрыть содержание соответствующего результата,
полезно рассмотреть несколько более общую схему из п. 2 § 2, нежели схема
Бернулли.
Пусть (рь р2, ..., рг) — некоторое конечное распределение
вероятностей, т. е. набор неотрицательных чисел, удовлетворяющих условию р\ +
+... + рг = 1. Энтропией этого распределения называется величина
г
// = -Σ р, In pif (14)
где In — натуральный логарифм и 0 · In 0 = 0. Ясно, что Η ^ 0, причем Η = 0
тогда и только тогда, когда все вероятности р/, кроме одной, равны нулю.

74
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Функция f(x) = -x In jc, O^Jt^ 1, выпукла кверху, и, как хорошо известно
из свойств выпуклых функций,
f(Xl) + ... + f(Xr)
^
'(
Х\ +...+Хг
У
Следовательно,
и=- Σpt In pi ^ ~~r
Pl+.-. + p,
/=1
*-in('l + ;- + *)=inr.
1п2Ь—
Иначе говоря, энтропия достигает своего максимального значения при
рх =... = рг = 1/г (см. рис. 8 для функции Я = #(р) в случае г = 2).
Если рассматривать распределение вероятностей (рь рг, ..., рг) как
вероятности появления некоторых событий, скажем, А\, Α<ι,..., Лг, то
совершенно понятно, что «степень неопределенности» в свершении того или
иного события различна для различных распределений. Если, например,
Ρι = 1, р2 = ... = рг=:0, то ясно, что такое распределение не обладает
никакой неопределенностью: с полной
уверенностью можно сказать, что в результате опыта
произойдет событие А\. Однако если р\ = ... = рг =
= 1/г, то такое распределение обладает
максимальной неопределенностью в том смысле, что
невозможно отдать предпочтение в свершении тому
или иному событию.
Важно поэтому было бы иметь
количественную характеристику меры неопределенности
различных распределений вероятностей, что
позволяло бы их сравнивать с этой стороны. Такой
удачной характеристикой меры неопределенности как раз и оказалась
энтропия //, играющая существенную роль в статистической механике,
теории кодирования и теории связи, что видно из следующих рассмотрений.
Предположим, что пространство исходов
Ω = {ω: ω = (αι, ..., α„), α£· = 1 г}
и ρ(ω) = ρ\χ^ω)... рг , где ι/ι (ω) — число элементов / в
последовательности ω, a (pi, ..., pr) — некоторое распределение вероятностей.
Для е > 0 и /ζ = 1, 2, ... положим
\щ(ш)
Рис. 8. График
функции Н(р) = —р In ρ —
-(l-p)ln(l-p)
Ясно, что
C(n,e) = L>:
Pi \< ε, / = 1,
.,у
Р(С(п.е))>1-Х;р{|!2Ы-А|>е}·
/=1

§5. СХЕМА БЕРНУЛЛИ. 1. ЗАКОН БОЛЬШИХ ЧИСЕЛ
75
и для достаточно больших η в силу закона больших чисел, примененного
к случайным величинам
вероятности Р< -^- — ρ,- μ^ε> достаточно малы. Тем самым при
больших η вероятность события C(/z, ε) близка к единице. Поэтому, как и в
случае г = 2, траектории, входящие в C(/z, ε), будем называть типичными.
Если все pi > О, то для любого ω Gil веса
Поэтому, если ω —типичная траектория, то в силу (14)
±(-^ In Pk) -hU- ± \*&-ρ>\ In рк*-е ± In pk.
Отсюда следует, что для типичных траекторий вероятность ρ(ω)
близка к е~пН и — поскольку в силу закона больших чисел при больших η
типичные траектории «почти» исчерпывают Ω — число таких траекторий
должно быть порядка епН. Эти соображения приводят к следующему
предложению.
Теорема (Макмиллан). Пусть р/>0, / = 1, ..., г, и 0<ε< 1. Тогда
существует ηο = ηο(ε; рь ..., рг) такое, что для всех п>По:
a) *»<"-«> ^ N(C(ny ει)) ^ enW+€\
b) £>-"("+*> ^ ρ(ω) ^ е-п(н-*\ ω е C(/z, ει),
c) Р(С(я, е0)= Σ РИ~* 1. ^^οο,
о;€С(/1,е,)
где
ει=πιίηίε, εί-2^ In pk\ J.
Доказательство. Утверждение с) следует из закона больших чисел.
Для доказательства остальных утверждений заметим, что если и>е С (/ζ, ει),
то
npk-ε\η<vk(uj)<npk + e\n, k= 1, ..., r,

76
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и, значит,
рМ = ехр{- Σ uk 1п Р*}<ехр{-л ^ pk In pk-exn ^ In р*}<
<exp{-*(//-£)}.
Аналогично
рИ>ехр{-я(// + 0}.
Следовательно, Ь) и подавно выполнено.
Далее, поскольку
P(C(n,ei))>yV(C(nfci)). min p(u;),
w€C(«,ei)
TO
чсл.ок-^ьаги--,!-^-.**»
min
u;€C(/i,£|)
in p(o/) -я (//+§)
и аналогично
N(C(n, ε,)) ^ p(c(^gi» > p(C(n, ε,))e"("-f ).
v v " max p(u;) v v "
w€C(/i,e,) r
Поскольку P(C(/z, ει))—► 1, /ζ—*oo, то найдется /гι такое, что для п>П\
Р(С(я, ει))> 1 -ε и, значит,
yV(C(/z^,))^(l-^exp{/z(w-|)}=exp{/z(W-^+(^+ln(l-^)}.
Пусть /Z2 таково, что для η > ti2
«+ln(l-e)>0.
Тогда для /ζ ^ по = тах(п\, Пг)
yV(C(/z, ει))^^(//-ε). D
5. Закон больших чисел для схемы Бернулли позволяет дать простое
и изящное доказательство известной теоремы Вейерштрасса о
равномерном приближении непрерывной функции полиномами.
Пусть / = /(р) —непрерывная функция на отрезке [0, 1]. Введем
полиномы
η
Bn(p) = Y,f(l)cknpk(\-p)n~k, 0<р<1, 00, (15)
*=о
называемые полиномами Бернштейна по имени автора (С. Н. Берн-
штейна) приводимого доказательства теоремы Вейерштрасса.

§5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
77
Если ξι, ···» ζη — последовательность независимых бернуллиевских
случайных величин с Р{& = 1} = р, Ρ{ξ/=0} = <7 и S„=£i + ... + £„, то
Ef(Sn/n) = Bn{p).
Поскольку непрерывная на отрезке [0, 1] функция / = /(/?) равномерно
непрерывна, то для всякого ε > О найдется δ > 0 такое, что | f(x) — /(*/)| ^ ε,
коль скоро \x-y\^S. Ясно также, что такая функция ограничена, |/(х)| ^
<Λί<οο.
Учитывая это и неравенство (5), находим
\f(p)-Bn(p)\ =
<
Σ[Λρ)-/(ί)]^ν-
< Σ |лр>-/(£)|с*рУ-*+
НЬ>И
+ Σ |/(p)-/(i)|cipV-*<
Отсюда следует, что для полиномов Бернштейна (15)
»m max \f(p)-Ba(p)\ = 0,
что и составляет утверждение теоремы Вейерштрасса.
6. Задачи.
1. Пусть ξ и η — случайные величины с коэффициентом корреляции р.
Показать справедливость следующего двумерного аналога неравенства
Чебышева:
Ρ{|ξ- Εξ| ^ey/Όξ или \η- Εη\ >ey/D^} ζ 1(1 + >/Γ7).
(Указание. Воспользоваться результатом задачи 8 из § 4.)
2. Пусть / = f(x) — неотрицательная четная функция, неубывающая при
положительных х. Тогда для случайной величины ξ = ξ(ω) с \ξ(ω)\ ^ С
РШ>г)>§М.
В частности, для f(x)=x2

78
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
3. Пусть ξι, ···» £л — последовательность независимых случайных
величин с D& ^ С. Тогда
р(|&±^±6._Е«,+- + Ы|>Л< С 6
II η η I J ηε2
(С теми же оговорками, какие были сделаны к соотношению (8), из
неравенства (16) следует справедливость закона больших чисел в более общей
ситуации, нежели в схеме Бернулли.)
4. Пусть ξι,..., ξΛ — независимые бернуллиевские случайные величины
с Ρ{ξ/= 1} = р>0, Ρ{ξ/ = — 1}= 1 - р. Имеет место следующая оценка
Бернштейна: существует а > 0 такое, что
\Sn
P{\f-(2p-\)\>e}^2e-
IVieS,, =&+... + £, И£>0.
5. Пусть ξ —неотрицательная случайная величина, а>0. Найти точную
верхнюю грань для P{jc^a}, если известно, что
(О Εξ = 20;
(и) Εξ = 20, ϋξ = 25;
(iii) Εξ = 20, ϋξ = 25 и ξ симметрична относительно своего среднего
значения.
§ 6. Схема Бернулли. II. Предельные теоремы
(локальная, Муавра—Лапласа, Пуассона)
1. Как и в предыдущем параграфе, пусть
5„=ξι+... + ξ„.
Тогда
и в силу (14) § 4
Е—= р, (1)
(τ-') -Ч- <2>
Из формулы (1) следует, что — ~ р, где знак эквивалентности ~ получил
точную интерпретацию в законе больших чисел в виде оценки
вероятностей Р{— — ρ^ε>. Естественно думать, что напрашивающемуся из (2)
«соотношению»
\*±-р\~Ж (3)
Ι η Ι ν η ν '

§6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ 79
также можно придать точный вероятностный смысл, рассматривая,
например, вероятности типа
p{|f-HW?}· ««'·
или, что то же, вероятности
'{|
Sn — E5/i I
у/ds; I
ζχ
(поскольку ES„ = np и DS„=npq).
Если обозначить, как и выше, для η > 1
Pn(k) = Cknpkq
Ь rxk^n — k
O^k^n,
то вероятность
'{I
Sn — ES/ι I
<*
} - Σ *■<*>·
(4)
Поставим задачу об отыскании удобных асимптотических формул при
п—>оо для вероятностей Ял(й) и их сумм для тех й, которые удовлетворяют
условиям в правой части (4).
Следующий результат дает ответ не только для этих значений k (т. е.
таких, что \k - пр\ = 0(y/npq))t но и для тех, которые удовлетворяют
условию \k-np\ = o(npq)2fi.
Локальная предельная теорема. Пусть О < ρ < 1, тогда
равномерно по всем k таким, что \k - пр\ =o(npq)2/3,
Pn(k)<
т.е. при п—юо
sup
{k:\k-np\^<p(n)}
y/2nnpq
Pn(k)
(k-npY
> 2npq
y/bmpq
e 2npq
0,
(5)
(6)
где φ(η) — любая неотрицательная функция такая, что φ(η) =
= o(npq)2/3.
Доказательство существенно использует формулу Стирлинга (6) § 2
п\.
<2>ime-nnn(\+R(n)),
где R(n) -> 0, η -+ оо.

80
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Согласно этой формуле, если η —► оо, k —► оо, η - k —► оо, то
л ~ ft! (л - /г)! " y/2Kk'2n(n-k)e-kkk · е-(л-*)(л - £)л"* Х
l+R{n) = 1 l+g(n, fe, n-fe)
χ('+««('+«-*»-1^Π)·(ί)·(ι.ί)-
где очевидным образом определяемая функция ε = ε(/ζ, ft, n — k)—*0 при
/ζ —► оо, ft —► оо, /ζ — ft —► оо.
Поэтому
р.(*)-оу-'= , ■ ,/'γΟ'+«>.
Обозначим /) = -. Тогда
л
V ' у/2жпр(\-р)\р) \\-pJ V '
= . l = exph In ζ + in-k) In lz£*l.(l+£) =
V2™p(l - β) Hl Ρ ν ' 1-ρ/ ν '
у/2жпр(\ - ρ) ν\ Vn ρ \ η) 1-pJ/ v ;
= /9 ' . м ехр{-яЯ(р)}.(1+е),
у/2тгпр(\ - ρ)
где
//(*) = * In - + (l-*)ln j^·.
Рассматриваемые значения ft таковы, что \k-np\=o(npq)2^, а значит,
ρ — β —► 0, η —юо.
Поскольку для 0 <лг < 1
//'(*) = In --In -j^-,
//"(*) = ! + '
χ 1 —дс
Н'"(х) = —\ + · '
*2^ (1-х)2*

§6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
81
то, представив Н(р) в виде Н(р + (р - р)) и воспользовавшись формулой
Тейлора, найдем, что для достаточно больших η
Н(р) = Н(р) + НШР- P) + ?H»(p)(f>- Р)2 + 0(\р- р\*) =
= \(-p+\)(P-pf + 0(\p-p\\
Следовательно,
P^=J2Jpn-p)M-U{p-p)2+n0{lp-pl3)}(l+£)·
Заметим, что
η (k \2 (k-npf
2pq
2npq
Поэтому
где
Pn(k) =
ι (k-np)'
1 Ой ЙЛ
y/bmpq
е *w(l+e'(n,k,n-k)),
1 +ε'(η, k, n-k) = (\ + φ, Α, „-Α))^(|ρ-^)^|ί^|Ι
и, как легко видеть,
sup |ε'(/ζ, й, η — k)\ —► 0, /ζ —► оо,
если sup брать по тем й, для которых
\k-np\^ φ(η), φ(η) = 0(npq)2/3.
D
Следствие. Утверждению локальной предельной теоремы
можно придать следующую эквивалентную форму: для всех xeR1
таких, что x = o(npq)l/by a np + Xy/npq — целые числа из множества
{О, 1,...,п},
Рп(пр+ Xy/npq) <
1 е-*П
y/bmpq
т. е. при η —► оо
sup
{χ:\χ\ζψ(η)}
Pn(np+Xy/npq)
yjbmpq
►О,
(7)
(8)
где ip(n) = o(npq)l/e.

82
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
С учетом замечаний, сделанных по поводу формулы (8) § 5, полученные
результаты на вероятностном языке можно переформулировать
следующим образом:
ι (Ь-пр?
P{S,, = fe}~ . е *w, \k-np\ = o(npq)2/3, (9)
у/2-пη pq
p{s1m=*}~vihe-"*- "°,"Μ),/β· (10)
(В последней формуле величины np+Xy/npq предполагаются
принимающими значения 0, 1, ..., п.)
L п п 1
Если положить tk = . и Atk = tk+\ — tk = t , то последней фор-
y/npq R *+1 y/npq ^ v
муле можно придать такой вид:
Ясно, что Δ/* = —== —► (), /ζ —*оо, и множество точек {М как бы
y/npq '
«заполняет» всю числовую прямую. Естественно поэтому думать, что (11)
можно использовать для получения «интегральной» формулы
p(fl<^£0L I f^2/2^ -οο<α^<οο.
I y/npq J у/ъ, I
Перейдем к точным формулировкам.
2. Пусть для -оо < а ^ Ь < оо
Рп(а,Ь]= Σ Pninp+Xy/npq),
a<x^b
где суммирование распространяется по тем jc, для которых np + Xy/npq--
целые числа.
Из локальной теоремы следует (см. также (11)), что для всех /ь
определенных из равенства k = np + tky/npq и удовлетворяющих условию \tk\ ^
<Г<оо,
Рп(пр +tky/npq) = ^L· е~Щ\ +e(tk9 л)], (12)
где
sup \e(tk, я)|-~+0, л—юо. (13)

§6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
83
Следовательно, для фиксированных а и b таких, что —Т ^а^Ь ^ 7\
где Τ < оо,
a<tk<t> a<tk^b a<tk^b
= -4= ^-'^dx + flJV. 6) + /?<2)(α,ί>), (14)
где
Из известных свойств интегральных сумм
sup |/?J!)(a, ft)|-*Of я-юо. (15)
Ясно также, что
η h\\<f сип \<?(ί. η\\. V^
sup |Λ®(α,*)|< sup |е(**,я)|. V 4=e~'J/2< sup |е(/л, /ι)| χ
-Τζα&ζΤ \tk\*T |£j^r ν2π ι^ι^τ-
1 г —*2
-^ $ *-*V*ite+ sup |^>(α.*)|
ν2π _Jr -Τζα&^Τ
►Ο, (16)
где сходимость правой части к нулю следует из (15) и того известного из
математического анализа факта, что
1 С -г2/9 ... ^ 1 Г -г2/
-г
Обозначим
4= Ϊ е-х*ах4-}= \ e-x'2dx=\. (17)
1 *
1 г __<»/
Тогда из (14)—(16) вытекает, что
sup \Рп(а, Ь]-(Ф(Ь)-Ф(а))\^>09 л->оо. (18)
Покажем сейчас, что этот результат справедлив не только для
конечных 7\ но и для 7 = 00. В силу (17) для заданного ε>0 можно найти такое

84
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
конечное Τ = Τ(ε), что
1
у/Ъ:
\ e-x^2dx>\-
-т
(19)
Согласно (18), можно найти также такое Ny что для всех n>N и Т = Т(е)
sup |Ря(а,*]-(Ф(*)-(Ф(а))|<|.
(20)
Отсюда и из (19) следует, что
и, значит,
Ρ„(-Γ,η>ι-|,
/>„(-оо, -Т\ + Р„(Т, оо)<^,
где Р„(-оо, η= lim />„(S, η и Р„(Т, оо)= lim />Л(Г, S].
S|—oo Stoo
Таким образом, для любых -оо^-Т^а^Ь^Т^оо
Pn(a,6]-4=S^2/2djcNK(-^rl-4= S e-*ftdx\ +
+ Ря(а,-η-4= S *"*2/2^ + k(rf*]-4= S^2/2^<
< | + /M-oo, -η + 4= S e~x2/2 dx+pn^ °°) + 4= I e~x*/2 dx <
4 ν 2π _*_ λ/2π *
^ £ . ε . ε . ε
С учетом (18) отсюда легко выводится, что Рп(а, b] стремится к
Ф(Ь) - Ф(а) равномерно по всем — оо ^ а < b ^ оо.
Итак, доказана
Интегральная теорема Муавра—Лапласа. Пусть 0< ρ < 1,
Pn(k) = Cknpkqn-\ Рп(а9Ь]= Σ Pn(np+Xy/npq).
а<х^Ь
Тогда
sup
Pn^b]--±=\e-x2'2dx
V 2π i
► 0, я-*оо. (21)
С точностью до тех же самых замечаний, которые были сделаны по
поводу соотношения (8) § 5, результат (21) можно на вероятностном языке

§6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
85
сформулировать следующим образом:
sup
.{«.
О
}-
1
>/2π
b
x2'2dx
► 0, n-
Из этой формулы сразу следует, что для любых -оо ^ А < В ^ оо
В-пр\ ж{А~пР
оо.
■*■<*<«>-[#(5?М;
W
■)]
► О, /I-
►оо.
(22)
Пример. Правильная кость подбрасывается 12000 раз.
Спрашивается, какова вероятность Ρ того, что число шестерок будет лежать в
интервале (1800, 2100].
Искомая вероятность равна
'- Σ
1800<*<2100
С*
12000
(i)'(i)
12000—Λ
Понятно, что точное вычисление этой суммы «на руках» представляет
весьма трудоемкую задачу. Если же воспользоваться интегральной
теоремой, то найдем, что интересующая нас вероятность Ρ примерно равна
(я= 12000, ρ = |, А = 1800, β = 2100)
1800-2000
12000. i. §,
= Ф(д/б) - Ф(-2л/б)» Ф(2,449) - Ф(-4,898) к 0,992,
где значения Ф(2,449) и Ф(-4,898) взяты из таблиц для функции Ф(х) (так
называемой нормальной функции распределения; см. далее п. 6).
3. Нанесем биномиальные вероятности Pn(np + Xy/npq) (x
предполагается таким, что np+Xy/npq — целое число) на график (рис. 9).
Тогда локальная теорема говорит о том, что для x = o(npq)l/b
вероятности Pn(np + Xy/npq) хорошо «ложатся» на кривую — *>~х /2
у/Ъгпрд
Pn(np+Xy/npq)
--Т--ГТ
y/2-irη pq
τ-τ-,.
Рис. 9.
χ

86
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Интегральная же теорема говорит о том, что вероятность Рп(а, Ь] =
= P{dy/npq < Sn-np < by/npq) = Р{пр Λ-ayJnpq < Sn < np + by/npq)
ь
хорошо аппроксимируется интегралом
а
Обозначим
Fn(x) = Pn(-oo,x] (=р{^<*}).
Тогда из (21) следует, что
sup \Р„(х)-Ф(х)\-+0, /ζ—>оо.
(23)
Интересно было бы понять, насколько быстро с ростом η происходит
стремление к нулю в (21) и (23). Приведем результат, относящийся сюда и
являющийся частным случаем так называемой теоремы Берри—Эссеена
(§ 11 гл. III):
sup |/=·β(*)-Φ(χ)|<
—OO^Jf^OO
P2W
(24)
Важно подчеркнуть, что порядок оценки \/y/npq не может быть
улучшен, а это означает, что аппроксимация Fn(x) с помощью функции Ф(х)
может быть плохой при значениях р, близких к нулю или единице, даже
при больших п. Возникает поэтому вопрос о том, а нельзя ли при малых
значениях ρ или q найти для интересующих нас вероятностей лучшую
аппроксимацию, нежели так называемая нормальная, даваемая
локальной и интегральной теоремами. С этой целью заметим, что, скажем, при
р= 1/2 биномиальное распределение {Pn(k)} имеет симметричную форму
Рп(к)
0,3
0,2 μ
ο,ι
\.J\\\L·
|4Ρ = 1/2,/ι=10
0 2 4 6 8 10
Рп(к)\
0,3
0.2
0,1
К р = 1/4,/1=10
^-ϊ-ττ
0 2 4 6 8 10
Рис. 10.
(рис. 10, слева). Однако при малых значениях ρ биномиальное
распределение приобретает асимметричную форму (см. рис. 10, справа), и поэтому
не приходится ожидать, что нормальная аппроксимация будет хорошей.

§6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
87
4. Оказывается, что при малых значениях ρ хорошую аппроксимацию
для {Рп{к)} дает так называемое пуассоновское распределение
вероятностей.
Пусть
^Й)_\0, А = п+1,п + 2
и предположим сейчас, что ρ является функцией от я, ρ = р(п).
Теорема Пуассона. Пусть р(п)—>0, п—*оо, причем так, что
пр(п) —► λ, где λ > 0. Тогда для любого k = 0, 1, ...
Pn(k)-^irky я->оо, (25)
где
** = Г4г' * = 0,l, ... (26)
Доказательство весьма просто. Поскольку по предположению р(п) =
= -+oi-J, то для любого фиксированного fe = 0, l, ... и достаточно
больших η
Но
п(л-1)...(л-А+1)[£+о(1)]* =
л(л-1)...(л-£+1)гх , /14ΐΛ λ*
м/с
[1-ϊ+0(ϊ)]',"*-*β"λ· П^°°·
что и доказывает (25). D
Набор чисел {π^, й = 0, 1, ...} образует так называемое пуассонов-
оо
ское распределение вероятностей (я>>0, Σ π^=1). Отметим, что все
рассматриваемые выше (дискретные) распределения были
сосредоточены лишь в конечном числе точек. Пуассоновское распределение — это
первый встретившийся нам пример (дискретного) распределения,
сосредоточенного в счетном числе точек.
Приведем следующий результат (Ю. В. Прохоров), показывающий,
с какой скоростью величины Pn(k) сходятся к π^ при я—>оо: если

88
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
пр(п) = \, то *)
оо
Y,\Pn(k)-*k\<™-mln{2, X). (27)
5. Вернемся к предельной теореме Муавра—Лапласа. Покажем, как
из нее следует закон больших чисел (с оговорками, сделанными в § 5 к
формуле (8)). Поскольку
II я Ч J II y/npq I V pq у
то из (21) ясно, что для ε > О
откуда
Р{|^"р1<е}"*1, 'ϊ^oo,
что и составляет утверждение закона больших чисел.
Из (28)
eyjn/pq
ρ{ψ±-ρ\^ε)~-±= $ e-*ftdx, я-оо, (29)
-ey/n/pq
в то время как неравенство Чебышева давало лишь оценку
p{|f-'N»'-S·
В п. 3 § 5 было показано, что для числа наблюдений, необходимого для
справедливости соотношения
р{|^-р|<е}>1-а,
неравенство Чебышева дает следующую оценку:
где [х] — целая часть числа х. Так, при ε = 0,02, а = 0,05 необходимо
12500 наблюдений. Воспользуемся теперь для решения той же задачи
аппроксимацией (29).
*) Доказательство несколько более слабого результата дано в § 12 гл. III.

§6. СХЕМА БЕРНУЛЛИ. И. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
89
Определим число k(a) из соотношения
1
4. $ .-"·-.-!-*
>2е\/п. ·
Поскольку ει/— ^2б>/л, то, определяя (наименьшее целое) η из
неравенства
2eyfn^k(a), (30)
получим, что
р{|^-р|<е}>1-а. (31)
Из (30) находим, что η = П2(а) с
•*>-[^]·
гарантирует выполнение (31), где точность аппроксимации легко может
быть установлена из (24).
Беря ε = 0,02, а = 0,05, находим, что на самом деле достаточно лишь
2500 наблюдений, а не 12 500, как это следовало из неравенства Чебышева.
Значения k(a) находятся по таблицам. Приведем ряд значений k(a) для
некоторых значений а:
а 0,50 0,3173 0,10 0,05 0,0454 0,01 0,0027
k(a) 0,675 1,000 1,645 1,960 2,000 2,576 3,000
6. Введенная выше функция
*w=7bj/~'72d'· (32)
участвующая в интегральной теореме Муавра—Лапласа, играет
исключительно важную роль в теории вероятностей. Эта функция называется
нормальным или гауссовским распределением вероятностей на числовой
прямой с {нормальной или гауссовской) плотностью
Ψ(χ) = ^=β-*2'\ xeR1.
Мы уже встречались с (дискретными) распределениями,
сосредоточенными в конечном и счетном множестве точек. Нормальное
распределение принадлежит другому важному типу (непрерывных) распределений,
возникающих в теории вероятностей. Отмеченная выше его
исключительная роль объясняется прежде всего тем, что при достаточно общих
предположениях распределение суммы большого числа независимых случайных

90
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
величин (не обязательно бернуллиевских!) хорошо аппроксимируется
нормальным распределением (§ 4 гл. III). Остановимся сейчас на некоторых
простейших свойствах функций φ(χ) и Ф(х), графики которых приведены
рис. 11 и 12.
-3-2-1 0 0,67 1,96 2,58
Рис. 11. График плотности <р(х) нормального распределения
Функция φ(χ) является симметричной колоколообразной кривой,
убывающей с ростом |л:| очень быстро: φ(\) = 0,24197, ν>(2) = 0,053991,
φ(3) = 0,004432, φ(4) = 0,000134, φ(5) = 0,000016. Максимум этой кривой
достигается в точке х = 0 и равен (2π)-1/2 «0,399.
ι х
Кривая Ф(х) = -= § e~l I2 dt быстро приближается с ростом χ
к единице: Ф(1) = 0,841345, Ф(2) = 0,977250, Ф(3) = 0,998650, Ф(4) =
= 0,999968, Ф(5) = 0,999997.
По поводу таблиц функций φ(χ) и Ф(х), а также других основных
функций, используемых в теории вероятностей и математической
статистике, см. [6].
Полезно отметить, что при расчетах, наряду с функцией Ф(л:), часто
используется родственная ей функция ошибок
9 х
erf(x) = -т= \ е~{2 dt, x> 0.
V* о
Очевидно, что (х > 0)
Φ(χ) = Ι[ΐ+βιί(^)], егад = 2Ф(л/2*)-1.

§6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
91
ФМ=^Ь S е-***у
1,28'
Рис. 12. График функции нормального распределения Ф(х)
7. В конце п. 3 § 5 было отмечено, что оценка сверху для вероятности
ω: — -ρ\^ε>, даваемая неравенством Чебышева, является
достаточно грубой. Получение этой оценки основывалось на неравенстве
Чебышева Р{Х ^ε}^ -—у- для неотрицательных случайных величин X ^0.
Можно попытаться, однако, воспользоваться неравенством Чебышева в
форме
Р{Х >е} = P{X2k > ε2*} ζ ^-. (33)
Но можно пойти и дальше, а именно воспользоваться «экспоненциальной»
формой неравенства Чебышева: если X ^ 0 и λ > 0, то
Р{Х ^ε} = Р{ехх $> еХе} ζ ЕеХ{Х-£). (34)
В силу произвольности λ > 0 ясно, что
Ρ{Χ>ε}ζ inf EeX{*-€). (35)
Посмотрим, к чему приводит этот путь в случае X = Sn/n, S„=£i +
+ ...+6,,Ρ{6 = 1} = Ρ.Ρ{6 = 0} = <7,ί£ΐ.

92
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Обозначим <^(λ) = Еех^. Тогда
<р(Х)=1-р + рех
и в предположении независимости величин ξι, &»··.» £л
EeXSn = [ip(\)}n.
Поэтому (0<а< 1)
р{«!>«}< inf Εβλ(^Η = inf β-[*-Μ*)] =
I n J λ>ο λ>ο
..... -л sup[as-ln y?(s)]
= inf e-«l«-|n *<*>]=e *><> (36)
s>0
Аналогично
^<α}<* ·<·' (37)
Функция f(s) = as - ln[l - ρ + pe$] при ρ < α < 1 достигает максимума
в точке So (/'(so) = 0), определяемой из равенства
csn = ДО - Р)
р(\-аУ
Поэтому
sup f(s) = H(a),
s>0
где
//(α) = α1π - + (1-α)1η |^
— функция, уже рассмотренная выше при доказательстве локальной
теоремы (п. 1).
Итак, при ρ ^ а ^ 1
Р{^>а}^е-пн{а\ (38)
и поскольку Н(р+х)^ 2jc2, 0 ^ ρ + λ: ^ 1, то при ε > О, 0 ^ ρ ^ 1
Ρ{^-ρ>ε}<β-2< (39)
Аналогичным образом устанавливается, что для а^ ρ ^\
Р{^^а}^е~пн{а\ (40)
и, следовательно, для всякого ε > 0, 0 < ρ < 1
Ρ{^-/Χ-ε}^-2< (41)

§6. СХЕМА БЕРНУЛЛИ. II. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
93
Тем самым
ρ{|^-ρ|>ε}<2ί>-2< (42)
Отсюда вытекает, что число наблюдений пз(а)> гарантирующее
выполнение при любых 0 ^ ρ ^ 1 неравенства
р{|^-р|<е}>1-а, (43)
определяется формулой
где [х] — целая часть числа х. Пренебрегая «целыми частями» и сравнивая
т(а) с П\(а) = -—2 » находим, что
"з(а) 2α In 2
α
Отсюда видно, что при α|0 оценка минимального необходимого
числа наблюдений, полученная с помощью экспоненциального неравенства
Чебышева, является более точной, чем оценка, найденная из обычного
неравенства Чебышева, особенно при малых а. Воспользовавшись без
труда устанавливаемым соотношением
4= Τ е-»*'2 dy ~ -yL- е~*г1\ * ^ оо,
о
можно показать, что й2(а)~2 In -, α |0. Тем самым
α
яз(а)
Неравенства типа (38)—(42) носят название неравенств для
вероятностей больших уклонений. Объяснение этому названию следующее.
Интегральная теорема Муавра— Лапласа дает возможность просто
оценивать вероятности событий {\Sn — пр\ ^ Ху/п), характеризующих
«стандартное» уклонение (на величину порядка у/п) Sn от пр. Неравенства
же (39), (41) и (42) дают оценку для вероятностей событий {ω: \Sn — пр\ ^
<лл}, описывающих уклонения порядка большего, нежели у/п, а именно
порядка п.
Мы продолжим рассмотрение вопроса о вероятностях больших
уклонений в более общих случаях в § 5 гл. IV.

94 ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
8. Задачи.
1. Пусть п = 100, ρ = 1/10, 2/10, 3/10, 4/10, 5/10. Используя таблицы
(например, из [6]) биномиального и пуассоновского распределений,
сравните значения вероятностей
P{10<S,oo<12}, P{20<S100^22},
Р{33 < S100 ^ 35}, P{40 < Sioo ^ 42},
P{50<S100^52}
с соответствующими значениями, даваемыми нормальной и пуассоновской
аппроксимациями.
2. Пусть ρ = 1/2 и Zn = 2S„ - η (число превышений единиц над нулями
в η испытаниях). Показать, что
sup|\/7r/zP{Z2,i = j}-e~j /4"|-->0, /z-+oo.
/
3. Доказать, что в теореме Пуассона (с р = Х/п) имеет место следующая
скорость сходимости:
sup|/>„(ft)-^|-|<^-.
(Для доказательства полезно ознакомиться с § 12 гл. III.)
§ 7. Оценка вероятности «успеха» в схеме Бернулли
1. В рассмотренной выше схеме Бернулли (Ω, si, P) с Ω = {α;:α; =
= (*ь ...,*«), *,·=(), 1}, */ = {А:АСП1 Ρ({ω}) = ρ(ω), где
ρ{ω) = ρ^Χιηη"Σχι9
предполагалось, что число ρ (вероятность «успеха») известно.
Представим теперь, что ρ заранее не известно и мы хотим его
определить по наблюдениям за исходами эксперимента, или, что то же, по
наблюдениям за случайными величинами ξι,..., ξη, где ξι(ω) =jc/. Эта
задача, являющаяся типичной для математической статистики, допускает
различные постановки. Ниже мы рассматриваем две такие постановки:
задачу оценивания и задачу построения доверительных интервалов.
Следуя обозначениям, принятым в математической статистике,
неизвестный параметр ρ обозначим через Θ, считая a priori, что значения
θ принадлежат множеству Θ = [0, 1]. Часто говорят, что набор S* =
= (Ω, si, Ре\ 0€θ) с Рв(М) = 0^ *'0 -0)Л~^ *' задает вероятностно-
статистическую модель (отвечающую «п независимым испытаниям» с

§7. ОЦЕНКА ВЕРОЯТНОСТИ «УСПЕХА» В СХЕМЕ БЕРНУЛЛИ 95
вероятностью «успеха» 0£θ), а всякую функцию Τη = Τη(ω),
принимающую значения в Θ, называют оценкой.
Если Sn =ξ\ +... + ξη и Τ* = —, то из закона больших чисел следует,
что оценка Т* является состоятельной в том смысле, что (ε > 0)
Ре{\Т;~в\>е)-*0, п^оо. (1)
Кроме того, эта оценка является несмещенной: для всякого 0€θ
Е*Г;=0, (2)
где Е# — математическое ожидание, отвечающее вероятности Ρθ.
Свойство оценки быть несмещенной является вполне естественным:
оно отражает тот факт, что всякая разумная оценка должна, по
крайней мере «в среднем», приводить к желаемому результату. Однако легко
заметить, что оценка Т* не является единственной несмещенной оценкой.
Например, такой же будет всякая оценка
Ιη~ η ·
где b\ +... + bn = п. При этом для таких оценок также будет выполняться
закон больших чисел (1) (по крайней мере, если \bi\ </C <оо), и тем самым
эти оценки Τп так же «хороши», как и Т*.
В этой связи возникают вопросы о том, как сравнивать различные
несмещенные оценки, какую из них назвать наилучшей, оптимальной.
По самому смыслу оценок естественно было бы считать, что оценка тем
лучше, чем меньше ее отклонение от оцениваемого параметра.
Основываясь на этом, назовем оценку Тп эффективной (в классе несмещенных
оценок Тп), если
ΌθΤη = \η\ϋθΤη, 0£θ, (3)
где ΌβΤη —дисперсия оценки Тп, т. е. величина Εθ(Τη - θ)2.
Покажем, что рассмотренная выше оценка Т* является эффективной.
Имеем
π г*-Π (sn\_VeSn *0(1-0)_ 0(1-0) ш
Поэтому, для того чтобы установить, что оценка Т* эффективна,
достаточно показать, что
\ηίΟθΤη>θ-^. (5)
При 0 = 0 или 1 это неравенство очевидно. Пусть теперь 0£ (0, 1) и

96
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Ясно, что Pfl(M) = Рв{и>), где
η
Обозначим
Тогда
Поскольку
Ц(и>) = \пв-щ£/х1+\п(1-в)-^(1-Х1)
де θ(\-θ) '
и в силу несмещенности оценки Тп
θ = ΕθΤη = Σ Τη(ω)ρθ(ω),
ω
то после дифференцирования по θ получим, что
дре(ш)
ω ω
дре(и)
ω
Значит,
1 = Εθ[(Τη-θ)δ-ψ>]
и, согласно неравенству Коши—Буняковского,
1<Εβ[Γ„-*]2·Εβ[^]2,
откуда
Ем-°г>ш (6)
где величина /„(#) = Ея —ijjr^l носит название информации Фишера.

§7. ОЦЕНКА ВЕРОЯТНОСТИ «УСПЕХА» В СХЕМЕ БЕРНУЛЛИ 97
Из (6) получаем частный случай так называемого неравенства Рао—
Крамера для несмещенных оценок Тп
1?!°вТ^ш (7)
В рассматриваемом случае
Ιη(θ) = Εθ[ де j =E6
Σ(&-*)'
θ(\-θ)
2
ηθ(\ -0) __ η
[0(1-0)]2 ~ 0(1-0)'
что и доказывает неравенство (5), из которого, как уже отмечалось, следует
эффективность несмещенной оценки T* = Sn/n для неизвестного
параметра 0.
2. Очевидно, что, рассматривая в качестве «точечной» оценки для 0
величину Т*у мы совершаем некоторую ошибку. Может даже
случиться, что численное значение Т*у подсчитанное по наблюденным значениям
Х\> .··,*/!, будет довольно сильно отличаться от истинного значения 0.
Поэтому целесообразно было бы указывать еще и величину погрешности.
Довольно бессмысленно надеяться, что для всех элементарных
событий ω величины Τ* = Τ*(ω) мало отличаются от истинного значения
неизвестного параметра 0. Однако из закона больших чисел мы знаем,
что для всякого δ>0 при достаточно больших η вероятность события
{|0 — Т*\ > δ} будет достаточно мала.
Согласно неравенству Чебышева,
Ρ9{|0-7·;|>5}<^ = ^^
и, значит, для всякого λ > О
ρ,||0_γ;|<α^Ξ^}^ι-1.
Если взять, к примеру, λ = 3, то найдем, что с Р^-вероятностью, большей,
1 8
чем 0,8888 (1 - ^ = о «0,8888), осуществится событие
и тем более — событие
поскольку 0(1 — 0)< -.
\>-т:\<ъу/Щ£
i'-r;i<5^.

ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Таким образом,
ρ°{\θ-™^}=ρ°{τ;-^θ^+&η}>0*
Иначе говоря, можно утверждать, что истинное значение параметра θ при-
[3 3 1
Т* - ψγζ, Τ* + ψγζ с вероятностью, большей, чем
0,8888. Иногда это утверждение символически записывают в такой форме:
в~т;±£= (> 88%).
где «^ 88 %» означает «более чем в 88 % случаев».
Интервал
т* _ т* -I-
п 2у/п9 п^2у/2
является примером так называемых
доверительных интервалов для неизвестного параметра.
Определение. Множество вида
[ψ\(ω), φ2(ω)1
где φ\(ω) и ^(α;)—две функции элементарных событий, назовем
доверительным интервалом надежности 1 -δ (или с уровнем
значимости 5), если для всех θ G θ
Ρθ{Φ\(ω)ζθ^>ψ2(ω)}>\-δ.
Приведенные выше рассуждения показывают, что интервал
п 2у/п' п ^ 2у/Я
имеет надежность 1 - -j. На самом деле надежность доверительного
интервала значительно выше, что связано с тем, что использованное
неравенство Чебышева дает лишь грубую оценку вероятностей событий.
Для получения более точных результатов заметим, что
где ф\ =ψι(Τ*, ή) и Ф2=:Ф2(ТЦ> я) — корни квадратного уравнения
(0_ г;)2 = ^0(ΐ-0),
описывающего эллипс, расположенный так, как это изображено на рис. 13.
Пусть теперь

§7. ОЦЕНКА ВЕРОЯТНОСТИ «УСПЕХА» В СХЕМЕ БЕРНУЛЛИ 99
Тогда в силу (24) § 6
suplfJW-ΦΜΚ-
1
у/пО(\-0)'
Поэтому, если a priori известно, что
Ο<Δ^0Ο-Δ<1,
где Δ — некоторая константа, то
1
sup\Fg(x)-<b(x)\^
Δ^ή
и, значит,
ρ^*.(Γ;,«χ»<Λ(ί·;,η))-ρ.|ι»-7·;κλ^^2| =
Ад/я"
Пусть λ* — то наименьшее λ, для которого
(2Φ(λ)-1)
Δν/π
<\-δ\
где δ* — заданный уровень значимости. Обозначая 5 = 5*
находим, что λ* есть корень уравнения
φ(λ) = ι-|.
В случае больших η можно пренебречь членом
2/Ау/п и считать, что λ* удовлетворяет
соотношению
Ф(А*) = 1-у.
В частности, если λ*=3, то 1-δ* = 0,9973...
Так что с вероятностью, примерно равной 0,9973,
Ау/п9
Рис. 13.
п-з^ЩЕ^п+з^Щй,
или, после итерирования и отбрасывания членов порядка 0(п~3^),
Т* - sJliSLzM ^ θ ^ γ* + 3 J г" <* ~ г").
(8)
(9)

100
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Отсюда следует, что доверительный интервал
г* — Τ* + ι (\0)
имеет (при больших п) надежность 0,9973 (тогда как неравенство Чебы-
шева давало надежность лишь, примерно, равную 0,8888).
Отсюда можно сделать следующий практический вывод. Пусть
производится большое число N серий экспериментов, в каждой из которых по
η наблюдениям оценивается параметр Θ. Тогда примерно в 99,73 % случаев
из N в каждой серии оценка будет отличаться от истинного значения
3
параметра не больше чем на о~т=. (См. по этому поводу также конец § 5.)
3. Задачи.
1. Пусть a priori известно, что параметр θ принимает значения в ©о С
С [0, 1]. Выяснить, когда существует несмещенная оценка для параметра 0,
принимающая значения лишь в множестве ©о.
2. В условиях предыдущей задачи найти аналог неравенства Рао—
Крамера и рассмотреть вопрос об эффективных оценках.
3. В условиях первой задачи рассмотреть вопрос о построении
доверительных интервалов для Θ.
4. В дополнение к задаче 5 в § 2 исследовать вопрос о несмещенности
и эффективности оценки #, считая N достаточно большим, Ν >Λί, Ν >/ζ.
Построить, по аналогии с доверительными интервалами для параметра θ
(см. формулы (8) и (9)), доверительные интервалы [Ν — α(Ν), Ν + b(N)]
для N такие, что
PN,M,n{N-a(N)^N^N + b(N)}*l-a,
где а — некоторое малое число.
§ 8. Условные вероятности и математические
ожидания относительно разбиений
1. Пусть (Ω, £/, Р) — конечное вероятностное пространство и
9 = {Du...%Dk)
— некоторое разбиение Ω (Д £^, Р(Д)>0, /= 1, ..., й, и D\ + ... +
+ Dfc = 0). Пусть, далее, А — событие из si и P(A\D-t) — условная
вероятность события А относительно события Д·.

§8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 101
С набором условных вероятностей {Р(Л | Д), / = 1, ..., £} можно
связать случайную величину
k
πΗ = £Ρ(Λ|Α)/ο,Μ (Π
ι=1
(ср. с (5) § 4), принимающую на атомах разбиения Д значения Р(Л|Д).
Чтобы подчеркнуть, что эта случайная величина связана именно с
разбиением 0, ее обозначают
Р(Л|0)илиР(Л|0)М
и называют условной вероятностью события А относительно
разбиения Sf.
Это понятие, а также вводимые далее более общие понятия условных
вероятностей относительно σ-алгебр, играют важную роль в теории
вероятностей, что постепенно будет раскрываться последующим
изложением.
Следующие два свойства условных вероятностей очевидны:
Р(Л + В|0) = Р(Л|0) + Р(В|0); (2)
если 0 — тривиальное разбиение, состоящее из одного множества Ω, то
Р(А\9) = Р(А). (3)
Определение условной вероятности Р(Л \Sf) как случайной величины
дает возможность говорить о ее математическом ожидании, используя
которое можно следующим компактным образом записать формулу полной
вероятности (3) § 3:
ЕР(Л|0) = Р(Л). (4)
Действительно, поскольку
k
Р(Л|0)И = £Р(Л|А-)/о>),
i=l
то по определению математического ожидания (см. (5) и (6) § 4)
k k
ЕР(Л|0) = £ Р(Л|Д)Р(Д) = ]Г Р(ЛД) = Р(Л).
ι = 1 /=1
Пусть теперь η = η(ω) —случайная величина, принимающая с
положительными вероятностями значения у\, ..., yk\
k
/=1

102
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где Dj = {uj: η(ω) = μ^}. Разбиение ^ = {Db...,D^} называется
разбиением, порождаемым случайной величиной η. Условную вероятность
Ρ (Л \&η) будем в дальнейшем обозначать Ρ (Л 177) или Ρ (Л |77)М и
называть условной вероятностью события А относительно случайной
величины η. Условимся также под Ρ (A |77 = *//) понимать условную
вероятность Р(Л |Dy), где Dj,={ω: η(ω) = yj}.
Аналогичным образом, если η\, щ, ..., г)т — случайные величины и
Sfm,m η„ — разбиение, порожденное величинами η\, щ, ..., ηη, с атомами
Dyuy2 Ут = {и: IK И = 0ь ^И = 02, .··, г)т{и)=ут).
то Р(Л|^|э7/2 ηηι) обозначается Р(Л \ηχ, щ, ..., ηη) и называется
условной вероятностью события А относительно случайных величин
Щу т, ···» Vm-
Пример 1. Пусть ξ и η — две независимые одинаково распределенные
случайные величины, принимающие каждая значения 1 и 0 с
вероятностями ρ и q. Найдем для й = 0, 1, 2 условную вероятность Ρ (Л 177) события
А = {α;: ξ + η = k) относительно η.
С этой целью отметим сначала следующий общий полезный факт: если
ξ и г; — две независимые случайные величины, то при P{q = y}>0 имеем
P£ + r] = Z\r] = y) = P{j: + y = zy (5)
В самом деле,
= P{i + y = z}P{y=y}
Используя эту формулу, находим, что
Ρ(Α\η)(ω) = Ρ(ζ + η = Ιι\η)(ω) =
= Ρ(ξ + η = Ιι\η = 0)Ι{η=0)(ω) + Ρ(ξ + η = Ιι\η=1)Ι{η=1)(ω) =
= Ρ{ξ = *}/{ч=о»И + Ρ{ξ = * - 1}/<„=.)И.
Итак,
<7/<„=о>И, й = 0,
P« + 4 = A|»7)(w)»^p/{l|_o»(«) + 9Vi}(w), *=1, (6)

§8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 103
или, что то же самое,
Ρ(ξ + η = 1ι\η)=1ρ(\-η)+ςη, k=l, (7)
IP»?, k = 2.
2. Пусть ξ — ξ(ω) — случайная величина, принимающая значения в
множестве X - {х\,..., */}:
, (8)
' Ρ(·) —-!-~ Εξ
£ = Σ xi'Ai' Аi ~<ω: ^ = */*·
(31>
(10)
и ^ = {Db ..., D*} —некоторое разбиение. По- P(-\D) ■ Ε(ζ|0)
добно тому как для ξ по вероятностям Р(Л;), !„ |(И)
/ = 1,...,/, было определено математическое | {
ожидание Р(. 19) ■ Ε(ζ | 0)
Е€ = £*/РИ/>. (8) Рис14·
/=1
так и с помощью условных вероятностей Р(А) | 0), / = 1,..., /, естественно
определить условное математическое ожидание случайной
величины ξ относительно разбиения 0, обозначаемое Ε(ξ|0) или Ε(ξ|^)(α;),
формулой {
Е«|*) = 5>уРИ/|*). (9)
/=1
Согласно этому определению, условное математическое ожидание
Ε(ξ|^)(α;) является случайной величиной, принимающей для всех
элементарных событий ω, принадлежащих одному и тому же атому Д·,
/
одно и то же значение £ XjP(Aj\Di). Это замечание показывает, что
к определению условного математического ожидания Ε(ξ|0) можно было
бы подойти иначе. А именно, сначала определить E(£|D/) — условное
математическое ожидание ξ относительно события D, формулой
/=1
а затем положить по определению
/
Ε(ξ|^)(α;) = ^Ε(ξ|0/)/οι.(α;) (11)
(см. диаграмму на рис. 14).

104
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Полезно отметить, что значения Ε (ξ | D) и Ε(ξ|0) не зависят от
способа представления случайной величины ξ.
Приводимые далее свойства условных математических ожиданий
непосредственно вытекают из их определения:
Ε(αξ + ϋη\@) = αΕ(ξ\@) + ϋΕ(η\@), а, Ь — константы; (12)
Ε(ξ|Ω) = Εξ; (13)
Е(С|0) = С, С —константа; (14)
если ξ = /,4(α;), то
Ε(ξ\9) = Ρ(Α\9). (15)
Последнее равенство показывает, в частности, что свойства условных
вероятностей можно получать непосредственно из свойств условных
математических ожиданий.
Следующее важное свойство обобщает формулу полной
вероятности (4):
ΕΕ(ξ|0) = Εξ. (16)
Для доказательства достаточно заметить, что, согласно (4),
/ / /
ЕЕ(^|^) = Е^х/Р(Л/|^) = ^л:/.ЕР(Л/|^) = ^л:/Р(Л/) = Ее
/=1 /=1 /=1
Пусть 0 = {Di, ..., Dk) — разбиение и η = η(ω) — некоторая случайная
величина. Будем говорить, что случайная величина η является измеримой
относительно этого разбиения, или ^-измерима, если @η =$0, т. е. η = η(ω)
может быть представлена в виде
к
где у\ могут быть и равными. Иначе говоря, случайная величина
^-измерима тогда и только тогда, когда она принимает постоянные значения на
атомах разбиения Sf.
Пример 2. Если 0 — тривиальное разбиение, 0 = {Ω}, то величина η
будет ^-измеримой в том и только том случае, если η = С, где С —
постоянная. Всякая случайная величина η измерима относительно разбиения &η.
Предположим, что случайная величина η является ^-измеримой. Тогда
Ε{ξη\9)=ηΕ(ξ\9) (17)
и, в частности,
Ε(η\®) = η (Ε(η\®η) = η). (18)

$8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 105
Для доказательства (17) заметим, что если ξ= J2 xjUr T0
/=ι
/ k
и, значит,
Ik I k k
Ε(ί4ΐ^)=ΣΣχ'*ρΗ/°^)=ΣΣ^ Σ ри/ДРт)/0ти=
/=1 i=\ j=\ i=l m=l
Ik Ik
=Σ Σ ^РИ/Аια·)/αΗ=Σ Σ ^лри/ιа)/о,и- (19)
/=1 i=l j=\ i=\
С другой стороны, учитывая, что /£ = //>, и /ο,/ο,, =0, / фт, получаем,
Ф&\т-
Г *
Σ
L/=
=
- k
Σ^<
./=1
•
[")
Σ*/
-/=1
ι *
•Σ
I m=I
Р(Лу|0)
Σ */ρ<
L/=i
=
Α/1 Α»)
■/д» =
k I
=ΣΣ^/ρ(Λ/·ι/)')/^α;)ί
/=1 /=1
что вместе с (19) доказывает (17).
Установим еще одно важное свойство условных математических
ожиданий. Пусть 0ι и 02 — Два разбиения, причем 0ι =$ 02 (разбиение 02
«мельче» разбиения 0ι). Тогда справедливо «телескопическое» свойство:
Ε[Ε(ξ|02)|0,] = Ε(ξ|01). (20)
Для доказательства предположим, что
0, ={D„, ..., Dim}, 02 = {£>2b ..., £>2„}.
Тогда, если ξ= ]Γ jty/^, то
/=ι
/
и достаточно лишь установить, что
Е[РИ/|^г)|^1] = РИ/|^1). (21)

106
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Поскольку
η
ТО
η
q = \
η
= JlP(Aj\D2q)
q=\
m
Υ^Ρ(02η\0Χρ)Ι0χρ
lp=\
m
= Σ7^ Σ P(Aj\D2q)P(D2q\Dlp) =
m
=Σ7^ρ^/ΐβιρ)=ρΗ/ΐ^).
p=l
что и доказывает (21).
В том случае, когда разбиение Sf порождается случайными величинами
Ци ···» Щ (9 = 9т Vk), условное математическое ожидание Ε(ξ|^ Vk)
будет обозначаться Ε(ξ|ι/ι, ..., η^ (или Ε(ξ|77ΐ, ..., щ)(и)) и называться
условным математическим ожиданием случайной величины ξ
относительно гуь ..., ife.
Непосредственно из определения Ε(ξ|ΐ7) следует, что если ξ и η
независимы, то
Е«|Ч) = Е£ (22)
Из (18) следует также, что
Ε(η\η) = η. (23)
Свойство (22) допускает следующее обобщение. Пусть случайная
величина ξ не зависит от разбиения @ (т. е. для любого Д Ε ^ случайные
величины ξ и /о, независимы). Тогда
Ε(ξ\9) = Εξ. (24)

§8. УСЛОВНЫЕ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ 107
Из (20) в качестве частного случая получаем следующую полезную
формулу:
Е[Е«|Чый)1Ч1] = ЕК|ч1). (25)
Пример 3. Для случайных величин ξ и η, рассмотренных в примере 1,
найдем Е(^ + г7|г7). В силу (22) и (23)
Ε(ξ + η\η) = Εξ + η=ρ+η.
Этот результат можно получить и отправляясь от (8):
2
Ε(ζ + η\η) = ^2ίΡ(ζ + η = ί\η) = ρ(1-η) + ηη + 2ρη=ρ + η.
Пример 4. Пусть ξ и 77 — независимые одинаково распределенные
случайные величины. Тогда
£№ + ν) = £(η\ξ + η)=^. (26)
Действительно, считая для простоты, что ξ и η принимают значения
1, 2, ..., га, находим, что (1 ^й^га, 2</<2т)
Ρ(ξ=*|ξ+„ = /).- Ptf-M+Ί-Ο _ Ptf=M=<-*>
Ρ{ξ + η = 1] Ρ{ξ + η = 1}
P{j = k}P{v = l-k} _ P{n = k}P{j = l-k}
= Ρ(η = ^ξ + η = ί).
Ρ{ξ + η = 1} Ρ{ξ + η = 1)
Этим доказано первое равенство в (26). Для доказательства второго
достаточно заметить, что
2Ε(ξ\ξ + η)^Ε{ξ\ξ + η) + Ε(η\ξ + η)^Ε(ξ + η\ξ + η)^ξ + η.
3. Еще в § 1 отмечалось, что каждому разбиению 9 = {D\, ..., D*}
конечного множества Ω соответствует алгебра <x{9f) подмножеств Ω. Точно
так же и обратно, всякая алгебра 98 подмножеств конечного
пространства Ω порождается некоторым разбиением Φ (3§=α(@)). Тем самым между
алгебрами и разбиениями конечного пространства Ω существует
взаимно однозначное соответствие. Это обстоятельство следует иметь в виду
в связи с вводимым в дальнейшем понятием условного математического
ожидания относительно специальных систем множеств, так называемых
σ-алгебр.
В случае конечных пространств понятия алгебр и σ-алгебр совпадают.
При этом оказывается, что если 9В — некоторая алгебра, то вводимое
в дальнейшем (§ 7 гл. II) условное математическое ожидание Ε{ξ\38)
случайной величины ξ относительно алгебры SS просто совпадает с

108 ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Ε (ξ I Of) — математическим ожиданием ξ относительно разбиения 3f такого,
что 38=а(@). В этом смысле в случае конечных пространств в дальнейшем
мы не будем различать Ε(ξ\38) и Ε(ξ|^), понимая всякий раз, что Ε(ξ\39)
есть по определению просто Ε(ξ|0).
4. Задачи.
1. Привести пример двух случайных величин ξ и η, которые не являются
независимыми, но для которых
Ε(ξ|/7) = Εξ.
(Ср. с утверждением (22).)
2. Условной дисперсией ξ относительно разбиения 3f называется
случайная величина
D(£|0) = E[(£-E(£|0))2|0].
Показать, что дисперсия
D£ = ED(£|0) + DE(£|0).
3. Отправляясь от (17), доказать, что для всякой функции / = f{q)
условное математическое ожидание Ε(ξ|^) обладает следующим
свойством:
Е[/(ч)Е«|Ч)] = ЕКЛч)].
4. Пусть ξ и η — случайные величины. Показать, что inf Ε(η— f(£))2
достигается на функции /*(ξ) = Ε(ΐ7|ξ). (Таким образом, оптимальной в
среднеквадратическом смысле оценкой η по ξ является условное
математическое ожидание Ε(η\ξ).)
5. Пусть ξι,...,ξ/i, τ — независимые случайные величины, причем
величины ξι,...,ξ,ϊ одинаково распределены, а г принимает значения
1,2, ...,/ζ. Показать, что если ST =ξι + ...+ξτ — сумма случайного
числа случайных величин, то
E(St|t) = tE6, D(St|t) = tD6
и
Εδτ = Ετ.Εξι, DST = Er.Dfi + Dr.(Efi)2.
6. Доказать равенство (24).

§9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. I
109
§ 9. Случайное блуждание. 1. Вероятности разорения
и средняя продолжительность при игре
с бросанием монеты
1. Значение установленных в § 6 предельных теорем для схемы Бер-
нулли далеко не исчерпывается тем, что они дают удобные формулы для
подсчета вероятностей P{Sn ~ k) и Ρ {А < Sn ^ В}. Роль этих теорем состоит
также и в том, что они носят универсальный характер, т. е. остаются
справедливыми не только для независимых бернуллиевских случайных
величин ξι, ξ2» ···» принимающих всего лишь два значения, но и для величин
гораздо более общей природы. В этом смысле схема Бернулли явилась
той простейшей моделью, на примере которой были подмечены многие
вероятностные закономерности, присущие и гораздо более общим моделям.
В настоящем и следующем параграфах будет рассмотрен ряд новых
вероятностных закономерностей, подчас носящих крайне неожиданный
характер. Все рассмотрения будут вестись снова для блужданий,
описываемых схемой Бернулли, хотя многие выводы остаются справедливыми и для
блужданий более общего вида.
2. Рассмотрим схему Бернулли (Ω, ΰί, Ρ), где Ω = {α;: ω = (jci , ..., xn)y
jt/ = ±l}, stf — система всех подмножеств Ω и Ρ({ω}) = pt/^qn~t/(u'\
i/(u>) = ^4j . Пусть £/(u;)=Xi, / = 1, ...,/z. Тогда, как уже известно,
последовательность ξι,..., ξ„ является последовательностью независимых
бернуллиевских случайных величин,
Pte = i) = p. Pte = -i> = ?. p + ? = i.
Положим So=0, Sk—ξι +...+ξ*, 1 ^k^n. Последовательность (Sk)k^n
можно рассматривать как траекторию случайного блуждания некоторой
«частицы», выходящей из нуля. При этом S^+i = S* + £*+b т.е. если в
момент k частица находится в точке Sk то в момент k +1 она
сдвигается либо на единицу вверх (с вероятностью р), либо на единицу вниз
(с вероятностью q).
Пусть А и β —два целых числа, А <0^В. Одна из интересных задач,
связанных с рассматриваемым случайным блужданием, состоит в
исследовании вопроса о том, с какой вероятностью блуждающая частица
выйдет за η шагов из интервала (Л, В). Интересен также вопрос о том,
с какой вероятностью выход из интервала (Л, В) произойдет в точке А или
в точке В.
Естественность этих вопросов становится особенно понятной, если
воспользоваться следующей игровой интерпретацией. Пусть имеются
Два игрока (первый и второй), у которых начальные капиталы равны

по
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
соответственно (-Л) и В. Если ξ/ = + 1, то будем считать, что второй игрок
платит единицу капитала первому; если же & = —1, то, наоборот, первый
платит второму. Таким образом, 5/ι:=ξ\+...+ξΐι можно интерпретировать
как величину выигрыша первого игрока у второго (если S* < 0, то этот
выигрыш есть на самом деле величина проигрыша первого игрока второму)
за k «ходов».
В тот момент времени й^/г, когда впервые Sk = B (S^=y4), капитал
второго (первого) игрока становится равным нулю, иначе говоря,
происходит его разорение. (Если k </z, то следует считать, что игра прекращается
в момент времени й, хотя само блуждание остается определенным до
момента η включительно.)
Прежде чем переходить к точным постановкам, введем ряд
обозначений.
Пусть χ — целое число из интервала [Л, β], и для 0 ^ k ^ η пусть S£ =
= x + Sk,
τί = ηιίη{0</<*: Sf=A или β}, (1)
где условимся считать т£ = й, если А < Sf < В для всех 0 ^ / ^ k.
Для каждого O^k^n и хе[А, В] момент η£, называемый
моментом остановки (см. § 11), является целочисленной случайной величиной,
определенной на пространстве элементарных событий Ω (зависимость т£
от ω явно не указывается).
Ясно, что для всех / < k множество {ω:τξ = 1} есть событие, состоящее
в том, что случайное блуждание {Sf, 0</<А}> начинающееся в нулевой
момент в точке х, выйдет из интервала (Л, В) в момент /. Понятно также,
что для / ^ k множества {α;: τ£ = /, Sf = А} и {а;: т£ = /, Sf = В} имеют смысл
событий, состоящих в том, что блуждающая частица выйдет из интервала
(Л, В) в момент / в точках А и В соответственно.
Обозначим для всех 0 ^ k ^ η
®ί= Σ<ω:τ£
и пусть
α*(*) = Ρ«). Α(χ) = Ρ(Λί)
— вероятности выхода частицы за время [0, k] из интервала (А, В)
соответственно в точках А и В. Для этих вероятностей можно получить
рекуррентные соотношения, из которых последовательно находятся а\(х), ..., ап(х)
Ηβι(χ),...,β„(χ).
= l,Sf=A),
•■l,Sf=B),
(2)

§9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. I
ill
Итак, пусть А <х<В. Ясно, что αο(χ) — βο(χ):=0. Пусть теперь 1 <
^.k^n. Тогда по формуле (3) § 3
= P(«i|Sf = Jt+l)P{i, = l} + P(«J[|5f=JC-l)P{ii=-l}-
= pP(&xk\Sxl=x + l)+qP(0xk\Sx]=x-l). (3)
Покажем, что
P(«i|Sf=x + l) = P(«J[J:|), P(^|5f=^r-l) = l
*:,')·
С этой целью заметим, что множество SBxk
можно представить в виде
Οί = {ω: (*, * + ξι,...,*+ξι+...+ξ*)£β£},
где Вх — множество траекторий вида
(х, х + х\, ...,х + х\+... + хк)
с Х[ =±1, которые за время [0, &] впервые
выходят из интервала (Л, В) в точке В (рис. 15).
Представим множество β£ в виде β£·*+1 + Рис 15 Пример τρ36ΚΤ0-
+ BXtX \ где β£*+1 и β£·* ι —те траектории рии из множества Вх
из β£, для которых Х\ = + 1 и JCj = — 1
соответственно.
Заметим, что каждая траектория (jc, jc + 1, х + 1+ *2, ..., χ+ 1 4-*2 +
+ ...+**) из β£**+1 находится во взаимно однозначном соответствии с
траекторией (х +1, χ +1 + *2, · · ·»* + 1 + х2 + · · · + *k) из β£+|. То же
справедливо и для траекторий из β£*-1. Учитывая эти обстоятельства, а также
независимость, одинаковую распределенность величин ξι, ..., ξ* и
формулу (6) § 8, находим, что
Ρ(ΛΪ|δί=*+1) = Ρ(Λ£|€, = 1) =
= Ρ((χ,χ+6,...,χ+ξι+...+6)€β£|ίι = 1) =
«Р{(х+1,х+1+6,...,ж + 1+6 + ...+&)€Я£,,> =
= Ρ{(Λ:+1,Λ: + 1+ξ1,...,Λ:+1+ξ1+...+ξΑ_1)6β^ί} = Ρ(^ί11).
Точно так же
P(*iisf=*-i)«p(a£i).
Таким образом, в силу (3) для χ е (-4, β) и k < л
&(χ) = ρ&_ι(* + 1) + ?/?*_ι(χ-1), (4)

112
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где
Аналогично
/?/(В) = 1, /?/(Л) = 0, 0</<я. (5)
ak(x) = pak-\(x + 1) + qak-\(x - 1) (6)
Поскольку ао(х) = /?о(х) = 0, х£(Л, В), то полученные рекуррентные
соотношения можно (по крайней мере в принципе) использовать для
отыскания вероятностей а\(х)у ..., ап(х) и β\(χ),..., βη(χ)- Оставляя в стороне
конкретное вычисление этих вероятностей, зададимся вопросом об их
значениях при больших п.
С этой целью заметим, что поскольку Щ_х CSSxk> k^n, то /?*_i(jt)^
^Pk(x) < 1. Естественно поэтому рассчитывать (а так оно и есть, см. далее
п. 3), что при достаточно больших η вероятность βη(χ) близка к решению
β(χ) уравнения
/?(*) = р/?(х+1) + ?/?(*-1) (7)
с граничными условиями
β(Β) = 1, /?(Л) = 0, (8)
получаемыми формальным предельным переходом из (4) и (5).
Для решения задачи (7), (8) предположим сначала, что рфц. Нетрудно
заметить, что рассматриваемое уравнение имеет два частных решения а
и b(q/p)x, где а и Ь — константы. Будем поэтому искать общее решение
β(χ) в виде
fi{x) = a + b{q/p)x. (9)
С учетом (8) находим, что для всех А < χ ^ В
Покажем, что это есть единственное решение рассматриваемой
задачи. С этой целью достаточно показать, что все решения задачи (7), (8)
могут быть представлены в виде (9).
Пусть β(χ) — некоторое решение с /5(Л) = 0, /5(B) = 1. Всегда можно
найти такие константы а и 5, что
a + b(q/p)A = /5(Л), u + b(q/p)A+x =β(Α + 1).

§9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. I
113
Тогда из (7) следует, что
${А + 2) = й + Ь{д/р)А+2
и вообще
β(χ) = ά + Β(ς/ρ)χ.
Тем самым найденное решение (10) есть единственное решение
рассматриваемой задачи.
Аналогичные рассуждения показывают, что единственное решение
уравнения
а(х) = ра(х +1) + qа(х - 1), χ € (А, В), (11)
с граничными условиями
а(Л)=1, а(В) = 0
задается формулой
а(х)-Шв-Ь/рГ
QW- /~/.лЯ /„/„V4'
Λ<χ<β.
(12)
(13)
(?/р)*-(?/рг
Если же ρ = ^ = 1/2, то единственными решениями /3(jc) и а(х) задач
(7), (8) и (11), (12) являются соответственно
х-А
β{χ) =
В-А
а(х) =
В-х
(14)
(15)
0«»
Рис. 16. График β(χ) —
вероятности достижения
точки В раньше точки 0,
когда частица выходит
из точки χ
В-А'
Заметим, что при любых 0< ρ ^ 1
α(χ) + β{χ) = 1. (16)
Величины а(х) и β(χ) хотелось бы назвать
вероятностями разорения первого и
второго игрока соответственно (когда начальный
капитал первого есть χ - А, а второго В-х) при
неограниченном числе ходов, что, конечно, предполагает существование
бесконечной последовательности независимых бернуллиевских
случайных величин ξι, ξ2» ·» где ξ/ = +1 трактуется как выигрыш первого игрока,
а ξι = — 1 — как его проигрыш. Рассмотренное в начале этого параграфа
вероятностное пространство (Ω, я/у Ρ) оказывается слишком «бедным» для
того, чтобы на нем существовала такая бесконечная последовательность
независимых случайных величин. В дальнейшем мы увидим (§ 9 гл. II),
что такую последовательность действительно можно построить и что

114
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
величины β(χ) и а(х) в самом деле являются вероятностями разорения
при неограниченном числе шагов.
Обратимся к ряду следствий, вытекающих из полученных формул.
Если положить Л = 0, О^х^В, то по своему смыслу функция β(χ)
будет вероятностью того, что частица, вышедшая из состояния х, достигнет
точки В раньше, чем точки 0. Из формул (10) и (14) следует (рис. 16), что
(х/В, Р=Я = \/2,
β(*)=\ (Я/Р)х~\ „,· (17)
Далее, пусть выполняется неравенство q > ρ, означающее, что для
первого игрока игра является неблагоприятной. Его предельная вероятность
разорения α = α(0) задается формулой
(q/p)B-(q/p)A'
Предположим сейчас, что условия игры изменены: капиталы игроков
по-прежнему равны (—Л) и В, но плата каждого игрока теперь равна 1/2,
а не 1, как раньше. Иначе говоря, пусть теперь Ρ{ξχ· = 1/2} = /?, Ρ{ξ/ =
= —1/2} = <7. Обозначим в этом случае предельную вероятность разорения
первого игрока через а\/2. Тогда
(д/р)2В -1
ai/2~(Q/p)2B-(q/p)2A'
и, значит,
(q/p)B +1
если q > p.
Отсюда вытекает такой вывод: если для первого игрока игра
неблагоприятна (т. е. q > ρ), то увеличение ставки в два раза уменьшает
вероятность его разорения.
3. Обратимся теперь к вопросу о том, как быстро ап(х) и βη(χ)
сходятся к предельным значениям а(х) и β(χ).
Будем считать для простоты χ = 0 и обозначим
ап =α„(0), βη =А,(0). 7л = 1 - («л + Д.).
Ясно, что
ln = P{A<Sk<B, O^k^nl
где {А < Sk < S, 0 ^ k ^ п} обозначает событие
Π {A<Sk<B}.
0<k<n

§9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. I
115
Пусть п = гт, где г и т — целые числа, и
C2 = £m+1 + ···+ξ2/π»
Cr = £m(r-1)+1 + ... + £rm·
Тогда, если С = \А\ + В, то нетрудно убедиться в том, что
{A<Sk<B, U*^rm}C{|Ci|<C, ...,|Сг|<С},
и, значит, в силу независимости величин Сь ···» Сг и их одинаковой
распределенности
7«<P{|Cil<C,...,|Cr|<C} = nP{|C|<C} = (P{|Ci|<C»r. (18)
i=l
Заметим, что DO =m[l — (ρ — <7)2]. Поэтому при 0< ρ < 1 для достаточно
больших т
P{|Cil<C}<ei, (19)
где ει < 1, поскольку если P{|Ci | ^ С) = 1, то D£i ^ С2.
Если же р = 0 или р = 1, то для достаточно больших т вероятность
P{|Ci| <С} = 0, и, следовательно, (19) выполнено при всех 0< ρ < 1.
Из (18) и (19) следует, что для достаточно больших η
Ίη^ε\ (20)
гдее = е|/т<1.
Согласно (16), а + /? = 1. Поэтому
(а-ая) + (/?-/?я) = 7я,
и так как α ^ а„, /3 ^ /?„, то
0<β-βη^Ίη<εη
с ε< 1. Аналогичные оценки справедливы и для разностей а(х)-ап(х) и
β(χ)-βη(χ).
4. Обратимся теперь к вопросу о средней длительности случайного
блуждания.
Пусть mk(x) = Εη£ — математическое ожидание момента остановки т£,
k^n. Поступая, как и при выводе рекуррентных соотношений для /?*(*),

m ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
получаем, что для χ £ (Л, В)
mk(x) = Er*k= Σ /pW = /> =
= Σ i[pP{rxkil=i-\}+qP{rxk:l=i-i}} =
= Σ (/ + ΐ)[ρΡ{τ^1'=/}+?ΡΚΓ11 = /}] =
= pmk-\(x + 1) +qmk-x(x - 1) +
Итак, для Jt e (Л, β) и O^k^n функции ntk(x) удовлетворяют
рекуррентным уравнениям
mk(x) = 1 + pmk-x(x + 1) + qmk.{(x - 1), (21)
где mo(x) = 0. Из этих уравнений вместе с граничными условиями
mk(A) = mk(B) = Q (22)
можно последовательно найти т\(х), ..., тп(х).
Поскольку rrik(x) ^rrik+\(x), то существует предел
m(jc)= lim mn(x),
η—юо
который в силу (21) удовлетворяет уравнению
т(х) = 1 + рт(х +1) + qm(x - 1) (23)
с граничными условиями
т(Л) = т(В) = 0. (24)
Чтобы найти решение этого уравнения, предположим сначала, что
т(х) <оо, хе(А,В). (25)
Тогда, если рфц, то частное решение имеет вид _ и общее решение
(см. (9)) записывается в виде

§9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. I
117
Отсюда с учетом граничных условий т(А) = т(В) = 0 находим, что
т(х) = -±-~[Ββ{χ)+Αα{χ)-χ]9 (26)
где β(χ) и а(х) определяются из формул (10) и (13). Если же ρ =q = 1/2,
то общее решение уравнения (23) имеет вид
m(x) = a + bx -х2,
и поскольку т(А) = т(В) = 0, то
т(х) = (В-х)(х-А). (27)
Отсюда, в частности, вытекает, что если начальные капиталы игроков
равны (В = — А), то
т(0)=В2.
Возьмем В = 10, и пусть каждый ход в игре осуществляется через 1
секунду, тогда (предельное) среднее время до разорения одного из игроков
довольно велико —оно равно 100 с.
Формулы (26) и (27) были получены в предположении, что т(х) < оо,
хе(А, В). Покажем теперь, что и на самом деле т(х) конечны при всех
х£(Л, В). Ограничимся рассмотрением случая х = 0. Общий случай
разбирается аналогичным образом.
Пусть р = <7 = 1/2. С последовательностью So, Si, ..., Sn и моментом
остановки τη = τ% свяжем случайную величину STn =ST/I(u;), определенную
следующим равенством:
η
δτ.Μ-Σ^Η/ίτ^Η. (28)
*=о
Наглядный смысл величины ST/I ясен — это есть значение случайного
блуждания в момент остановки тп. При этом, если тп<п, то ST/I =Л или В;
если же тп = /ζ, то А < ST/I ^ В.
Докажем, что при ρ = q = 1/2
EST„=0, (29)
ES2„ = Er„. (30)
Для доказательства первого равенства заметим, что
BSTn=J2 E[S*/{T„=ft>M] = ]r E[S„/{t„=*»(u;)] +
η η
+ Σ E[(S* -S„)I{Trl=k)(w)) = ES„ + Σ E[(S* -S„)I{T„=k)(w)}, (31)
*=o k=o

118
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где, очевидно, ES„=0. Покажем, что
η
Y^E[(Sk-Sn)I{Tn=k)(u>)}=0.
Для 0^k<n имеем {τη >k} = {A <S\ <β, ..., A <Sk <B}. Событие
{ω: А < S\ < β,..., А < Sk < В} может быть, очевидно, представлено в виде
{ω: (€ь....6к)€М (32)
где Ak — некоторое подмножество множества {—1, + 1}*. Иначе говоря, это
множество определяется лишь значениями случайных величин ξι, ..., & и
не зависит от значений величин &+ι, ..., ξη. Поскольку множество
{тя = *} = {тя>*-1}\{тя>*},
то оно также является множеством вида (32). В силу независимости
случайных величин ξι, ..., ξη и в силу задачи 10 к § 4 отсюда вытекает, что
для любого 0^k<n случайные величины Sn-Sk и /{T/I=fc} независимы,
а значит,
Ε [(Sn - Sk)I{Tn=k)] = Ε [Sn - Sk] · Е/{Гл=,} = 0,
что и доказывает формулу (29).
Тем же методом доказывается и формула (30):
ESl = Σ tSlkr„=k) = Σ, E«S" + <5* - 5л)]2/{г„=*>) =
η
= Σ lZS2nI{T„=k) + 2ESn(Sk - Sn)I{Tn=k) + E(S„ - Sk)2I{Tn=k}] =
= ES„2 - £ E(S„ - s*)2/(r.«*} = « - £> - А) Р{тя = k) =
fc=0 fc=0
л
= £аР{тя = А> = Етя.
fc=0
Итак, для p = q = \/2 имеют место формулы (29), (30). В случае же
произвольных ρ η q (p + q = \) аналогично устанавливается, что
ESTn=(p-q)Erny (33)
E[Sr/I-r,EeI]2 = DeIEr/I, (34)
где Εξι = ρ - <7, D£i = 1 - (ρ - q)2.

§9. СЛУЧАЙНОЕ БЛУЖДАНИЕ. I
119
С помощью полученных соотношений покажем, что lim т„(0) =
л—+оо
= т(0) < оо.
Если p = q = 1/2, το в силу (30)
Етл^тах(Л2, В2). (35)
Если же ρ Φ q, το из (33)
Егл<та^)) (36)
откуда ясно, что т(0) < оо.
Заметим также, что в случае ρ = q = 1/2
Ετη = ES2Tn = Α2αη + Β2βη + E[S2nI{A<Sn<B)I{Tn=n}]
и, значит,
А2ап + β2/?„ ^ Етп ^ А2ап + В2/?„ + тах(Л2, В2) · Ίη.
Отсюда и из неравенств (20) следует, что математические ожидания Етп
сходятся при η —► оо к предельному значению
,ηφ) = Α*α + Β2β = Α2.Έ^-Β2·Έ^ = \ΑΒ\
экспоненциально быстро.
Аналогичный результат справедлив и в случае p^q:
экспоненциально быстро Етп —► га(0) = —-~—.
5. Задачи.
1. Показать, что в обобщение (33) и (34) справедливы следующие
формулы:
ESxTXn=x + (p-q)ETxn,
E[SxXn-TxnEb]2 = Ob.Erxn+x2.
2. Исследовать вопрос о том, к чему стремятся величины α(χ), β(χ) и
m(jc), когда уровень А [ -оо.
3. Пусть в схеме Бернулли p = q = 1/2. Каков порядок E|S„| при
больших /ζ?
4. Два игрока независимым образом подбрасывают (каждый свою)
симметричные монеты. Показать, что вероятность того, что у них после η под-
п
брасываний будет одно и то же число гербов, равна 2~2" Σ (ΡηΫ* Вывести
η
отсюда равенство Σ (Ρη)2 = ^ξη (см· также задачу 4 в § 2).

120
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Пусть ση — тот первый момент, когда число гербов у одного
игрока совпадает с числом гербов у другого (совершается η подбрасываний,
ση = я +1, если указанного момента не существует). Найти математические
ожидания Ε min(art, n).
§ 10. Случайное блуждание. II. Принцип отражения.
Закон арксинуса
1. Как и в предыдущем параграфе, будем предполагать, что ξι, ...
• · ·» &л — последовательность независимых одинаково распределенных
бернуллиевских случайных величин с
Pte = i)=p. Pte=-i>=?.
δ* = ξι+... + &, 1<*<2я; So = 0.
Обозначим
σ<ιη = min{l ^ k ^ 2/z: S* = 0},
полагая σ<ιη = oo, если S^ ^ 0 при всех 1 ^ k ^ 2/z.
Наглядный смысл σ2« вполне понятен — это момент первого
возвращения в нуль. Свойства этого момента и будут изучаться в настоящем
параграфе, при этом будет предполагаться, что рассматриваемое случайное
блуждание симметрично, т. е. p=q = 1/2.
Обозначим для 0 < k ^ η
u2k = P{S2k = 0}, /2* = Ρ{σ2„ = 2*}. (1)
Ясно, что wo = 1 и
„ _ Г* o-2fc
W2fc — ^2k'Z
Наша ближайшая цель — показать, что для 1 ^ k ^ η вероятность /2*
определяется формулой
f2k=2frU2{k-\)· (2)
Понятно, что для 1 ^ й ^ η
{a2«=2*} = {S1^0fS2^0f ...,Sak-i^0,S2fc = 0}f
и в силу симметрии
/2fc = P{Si^0f...fS2*-i^0fS2* = 0} =
= 2P{S,>0, ...,S2*_i>0,S2* = 0}. (3)

§10. СЛУЧАЙНОЕ БЛУЖДАНИЕ. II
121
Назовем путем длины k последовательность чисел (So,..., Sk) и
обозначим через Lk(A) — число путей длины k, для которых выполнено
свойство А. Тогда
kk = 2 2J L2n(S\ > 0, ..., S2fc_i > 0, S2k = 0, S2fc+i = CL2k+\ · · ·.
(fl2*+' α2η) ..., S2„ = α2*+ι +... + α2η) · 2"2" =
= 2L2*(S, > 0, ..., Sak-i > 0, S2k = 0) · 2"2*, (4)
где суммирование распространяется по всем наборам (α2*+ι, .·, я2л) с
а/ = ±1.
Следовательно, отыскание вероятности /2* сводится к подсчету числа
путей L2k(Si > 0, ..., S2*_i > 0, S2k = 0).
Лемма 1. Пусть a, b — ч&ше неотрицательные числа, а — Ь>0 и
k = a + b. Тогда
Lk(S{>0, ...fSA-i>0,S* = a-fc) = ^pC2. (5)
Доказательство. Действительно,
L*(Si>0, ...,S*_!>0,S* = a-ft) =
= L*(Si = lf S2>0, ...,S*_i>0, S* = a-fc) = Z*(Si = l, S* = a-fc)-
- L^(Si = 1, S* = a - ft; Э/, 2 < / < Λ — 1, такое, что S,· ^ 0). (6)
Иначе говоря, число положительных путей (Si, S2, ..., S*), выходящих
из точки (1, 1) и заканчивающихся в точке (k, a —ft), совпадает с числом
всех путей, идущих из точки (1, 1) в точку (k, a — ft), за вычетом тех путей,
которые касаются или пересекают временную ось. *)
Заметим теперь, что
Lk(S\ = 1, Sk = a-b\ 3/, 2 ^ / ^ й — 1, такое, что S/ ^ 0) =
= Z*(Si=-l,Sik = a-fc), (7)
т.е. число путей, идущих из точки а = (1, 1) в точку /3 = (й, а-Ь) и
касающихся или пересекающих временную ось, совпадает с числом
всех путей, идущих из точки а* = (1, -1) в точку β —(k, a —ft).
Доказательство этого утверждения, носящего название принципа отражения,
следует из легко устанавливаемого взаимно однозначного соответствия
между путями A = (Si,..., Sa, Sa+i, ..., Sk), соединяющими точки α и β,
*) Путь (Si, ..., Sk) называется положительным (неотрицательным), если все 5/ >0
(Si ^ 0); путь называется касающимся временной оси, если 5/ ^ 0 или 5у < 0 для всех
Ι^/^fc и найдется такое 1</<&, что St=0, и называется пересекающим временную
ось, если найдутся такие два момента времени ι и у, что S,- > 0, а S,- < 0.

122
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и путями В = (—Si, ..., — SQy Sa+b ···» Sk), соединяющими точки α* и β
(рис. 17); α —первая точка, где пути А и В обращаются в нуль.
Из (6) и (7) находим
' β Lk(Sl>Qy ...,S*_!>0, S* = a-6) =
= Lk(S\ = l,Sk = a-b)-
__ na—\ pa _ a — Dna
Рис. 17. К принципу отражения что и доказывает утверждение (5). D
Возвращаясь к подсчету вероятности
/гь находим, что, согласно (4) и (5) (с а = й, ft =й - 1),
/a* = 2L2*(Si > 0, ..., Sak-i > 0, S2k = 0) · 2"2* =
= 2L2*-i(Si >0, ..., S2fc-i = 1)·2" = 2·2~ · 2^_ | ^26-1 — 2ku2(k-\)·
Итак, формула (2) доказана.
Приведем еще одно доказательство этой формулы, основанное на
следующем замечании. Непосредственная проверка показывает, что
2fcW2(*-l) = w2(*-l) - U2k- (8)
В то же самое время ясно, что
{а2п = Щ = {σ2„ > 2(* - 1)} \ {σ2„ > 2*},
{a2rt>2/} = {S,^0,...,S2/^0}
и, значит,
{a2lI = 2*} = {Si^0f...fS2(ik-i)^0}\{Si^0f...fS2fc^0}.
Поэтому
/2* = P{S,^0,...)S2,t-1)^0}-P{S1^0 S2ft#0},
и, следовательно, в силу (8) для доказательства равенства /2* = ότ«2(*-ΐ)
достаточно показать, что
L2k(Si ф0 S2kφ0) = L2k(S2k = 0). (9)
С этой целью заметим, что очевидным образом
L2k(Si φ 0, ..., S2* φ 0) = 2L2*(S, > 0,..., S2k > 0).
Поэтому для проверки (9) нужно лишь установить, что
2L2*(S, > 0 S2k > 0) = L2k(Si > 0,..., S2k > 0) (10)
£*v^-

§ 10. СЛУЧАЙНОЕ БЛУЖДАНИЕ. II
123
И
Z-2fc(Si>0, ...fS2*>0) = L2*(S2fc = 0). (11)
Равенство (10) будет доказано, если показать, что между путями Л =
= (Si,..., S2*), У которых по крайней мере одно S/ = 0, и положительными
путями В = (Si, ..., S2k) можно установить взаимно однозначное
соответствие.
Пусть А = (Si,..., S2k) — неотрицательный путь, у которого первое
обращение в нуль происходит в точке а (т.е. Sa = 0). Выпустим из точки
(а, 2) траекторию (на рис. 18 она обозначена штриховыми линиями) (Sa +
+ 2,Sfl+i+2, ...,S2* + 2). Тогда путь B = (Si,..., Sfl_,, Sfl + 2,..., S2* + 2)
является положительным. Обратно, пусть B = (Si, ..., S2*) — некоторый
положительный путь и b — тот последний момент времени, для которого
Sb- 1 (рис. 19). Тогда путь Л = (Si, ..., S&, Sb+\ -2,..., S*-2) является
α b
Рис. 18. Рис. 19.
неотрицательным. Из приведенных конструкций следует, что между
положительными путями и неотрицательными путями, у которых по крайней
мере одно S; = 0, существует взаимно однозначное соответствие. Тем
самым формула (10) доказана.
Установим теперь справедливость равенства (11). В силу симметрии
и (10) достаточно показать, что
i-2*(Si>0, ...,S2ik>0) + Lak(S1^0f .... S^X)
и 3/, 1 < / < 2й, такое, что St· = 0) = L2fc(S2* = 0).
Множество путей (S2^ = 0) можно представить в виде суммы двух
множеств ^i и ^2, где <€\ — те пути (So, ..., S2*), у которых только один
минимум, а #2 — пути, у которых минимум достигается по меньшей мере в
двух точках.
Пусть CiG^i (рис. 20) и 7 — точка минимума. Поставим пути С\ =
= (So, Si, ···» 5гл) в соответствие положительный путь С*, полученный
следующим образом (рис. 21). Отразим траекторию (So, Si, ..., S/) около
вертикальной линии, проходящей через точку /, и полученную траекторию

124
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
сместим вправо и вверх, выпустив ее из точки (2й, 0). Затем сместим
начало координат в точку (/, -т). Полученная траектория С* будет
положительным путем.
Точно так же, если путь Сг £ ^2» то тем же приемом ему можно
поставить в соответствие некоторый неотрицательный путь С£.
Обратно, пусть С* = (Si > 0, ..., S2k > 0) — некоторый положительный
путь с S2fe = 2m (см. рис. 21). Поставим ему в соответствие путь С\,
полученный следующим образом. Пусть ρ — та последняя точка, где Sp = m.
Отразим (Sp, ..., S2m) около вертикальной прямой х= ρ и сместим
отраженную траекторию вниз и влево так, чтобы ее правый конец совпал
с точкой (0, 0). Поместим затем начало координат в левый конец
полученной траектории (это будет в точности траектория, изображенная на
рис. 20). Полученный путь Ci = (So, ..., S2k) имеет единственный
минимум, и S2fc = 0. Аналогичная конструкция, примененная к пути (Si ^0, ...
• ·., S2k ^ 0 и 3/, 1 ^ i ^ 2й, с S/ = 0), приводит к пути, у которого по меньшей
мере два минимума и S2^ = 0. Тем самым установлено взаимно однозначное
соответствие, которое и доказывает требуемый результат (11).
(26, 2т)
Рис.21.
Итак, равенство (9), а следовательно, и формула /2fc = W2(fc-i) — ^26 =
1
2£"2(*-i) установлены.
Из формулы Стирлинга
1
и2к = СЬ-2-2к~-щ, й^оо.
1
Поэтому
Отсюда следует, что математическое ожидание времени первого
возвращения в нуль
η η
Ε min(a2rt) 2л) = ^ 2k Ρ{σ2η = 2k) + 2nu2n = Σ "2(*-ι> + 2nu2n
является довольно-таки большим.

§ 10. СЛУЧАЙНОЕ БЛУЖДАНИЕ. II
125
оо
Более того, J2 U2(k-\) = 00. Следовательно, предельное значение сред-
него времени возвращения блуждания в нуль (при неограниченном числе
шагов) равно оо.
Это обстоятельство поясняет многие неожиданные свойства
рассматриваемого симметричного случайного блуждания. Например, естественно
было бы ожидать, что за время 2/z среднее число ничьих при игре двух
равносильных противников (р = <7 = 1/2), т. е. число тех моментов
времени /, для которых S,=0, должно быть пропорционально 2/г. Однако на
самом деле среднее число ничьих имеет порядок у/2п (см. (17) в § 9 гл. VII).
Отсюда вытекает, в частности, что, вопреки ожидаемому, «типичные»
реализации блуждания (So, Si, ..., S„) должны иметь не синусоидальный
характер (примерно половину времени частица проводит на положительной
стороне и другую половину — на отрицательной), а характер длинных
затяжных волн. Точная формулировка утверждения дается так называемым
законом арксинуса, к изложению которого мы сейчас и приступим.
2. Обозначим P2k,2n вероятность того, что на отрезке [0, 2/z] частица
проводит 2k единиц времени на положительной стороне *).
Лемма 2. Пусть uq = 1 и 0 ^ k ^ п. Тогда
P2k,2n = U2k U2n-2k · (12)
Доказательство. Выше было установлено, что hk — ^2{k-\)-^2k-
Покажем, что
k
"2* = Σ /2гЫ2<Л-г). (13)
Поскольку {S2k = 0} С {σ2η ^ 2й}, то
{S2k = 0} = {S2k = 0} П {σ2 ^ 2k} = Σ <S2* = °)η {°2η = 2/}.
Следовательно,
U2k = P{S2k = 0}= 53 P{S2k = 0, σ2η = 21} =
= Σ ρ(52* = 0|σ2* = 2/)Ρ{σ2,, = 2/}.
*) Мы говорим, что в интервале [т — 1, т] частица находится на положительной стороне,
если по крайней мере одно из значений Sm_i или 5Ш положительно.

126
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Но
P(Sak = 0|a2« = 20 = P(S2* = 0|Si^0f...fS2/-i^0fS2/=0) =
= P(S2/+ (&/+!+...+&ik)=0|Si^0f...fS2/-1^0fS2/=0) =
= P(S2/+ (&/+!+...+&fc) = 0|S2/=0) =
= P{6/+i+... + 6ik = 0} = P{S2(*-i)=0}.
Поэтому
U2k= Σ р{52(Л-/)=0}Р{а2л=2/},
что и доказывает формулу (13).
Перейдем к доказательству формулы (12). При й = 0ий = яее
справедливость очевидна. Пусть теперь 1 <&<я— 1. Если частица проводит
2k моментов времени на положительной стороне, то она проходит через
нуль. Пусть 2г — момент первого возвращения в нуль. Возможны два
случая: когда S/ ^ 0, / ^ 2г и S/ ^ 0, / ^ 2г.
Число путей, относящихся к первому случаю, равно, как нетрудно
видеть,
(1 · 2272г)22^-^2(^г),2(л_г) = i · 22nf2rP2(k-r),2{n-ry
Во втором случае соответствующее число путей равно
ι
2
Следовательно, для 1 ^ k ^ η - 1
1 k 1 k
P2k,2n = 2 Σ krP2(k-r),2(n-r) + 2 Σ krP2k2{n-r)· (14)
Предположим, что формула P2k,2m = U2mU2m-2k верна для т=1,...,я—1.
Тогда из (13) и (14) находим, что
ι k ι k
P2k2n = 2U2n~2k Σ hrU>2k-2r+ 2U2k Σ hr^2n-2r-2k —
r=\ r=\
1 ■ ! π
= 2U2n-2kU2k + 2U2kU2n~2k ~ U2k^2n-2k· «-J
Пусть теперь 7(2я) — число единиц времени в интервале [0, 2/г],
которое частица проводит на положительной стороне. Тогда для χ < 1
•2 П f2rP2k,2(n-r)·

§ 10. СЛУЧАЙНОЕ БЛУЖДАНИЕ. II
127
Поскольку при k —► оо
то
P2k,2n = U2kU2(n-k) ~ /., , ч .
Ky/k(n-k)
если й —► оо, /ζ — k —► оо.
Поэтому
Σ '«■- Σ άΚ('-;)]"'Λ-°· —*
{'4<Ι<'} Μ<Μ
откуда
У^ ^2* 2л ^ i —»0. /I-*0O.
Но из соображений симметрии
H4}
- \ =2π arcsin y/x- ^.
Тем самым доказана следующая
Теорема (закон арксинуса). Вероятность того, что доля
времени, проводимого частицей на положительной стороне, меньше или
равна х, стремится к 2π_1 arcsin y/x:
У^ P2k,2n -* 2π"! arcsin y/x. (15)
Заметим, что подынтегральная функция w(/) = (/(l -t))~1/2 в интеграле
π0 ν^Ο^Ο
представляет U-образную кривую, уходящую в бесконечность в точках
/=0и/ = 1.
Отсюда следует, что при больших η
Η°<Ψ**}>?{{<ΨΦ*1

128
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
т. е., образно говоря, более вероятно, что доля времени, проводимого
частицей на положительной стороне, будет близка к нулю (или единице),
нежели к естественно ожидаемому значению 1/2.
Пользуясь таблицами арксинуса и тем обстоятельством, что на самом
деле скорость сходимости в (15) очень быстрая, находим, что
PJ^fp^ 0,024} «0,1,
Р{%)<0,1}«0,2,
р{2М<0,2}«0,3,
Р{^<0,6б}«0Д
Таким образом, если рассматривается временной интервал [0, 1000], то
вполне может случиться, что примерно в одном случае из десяти частица
будет проводить всего 24 единицы времени на положительной стороне, но
большую часть времени —976 единиц—на отрицательной стороне.
3. Задачи.
1. С какой скоростью Ε min(a2rt, 2/z) —»оо при /ζ—>οο?
2. Пусть тп = min{l ^k^n: S*= 1} и τ„=οο, если Sk < 1 при всех
l^k^n. К чему стремится Ε гтп(т„, η) при /ζ—юо для симметричного
(р = <7 = 1/2) и несимметричного {рфц) блужданий?
3. Основываясь на идеях и методах § 10, показать, что для
симметричного (p = q = 1/2) случайного блуждания Бернулли {S*, k ^ η) с So = 0,
Sk = ξι +... + ξ^ имеют место следующие формулы (N — положительное
целое число):
PJmax Sk^N, Sn<N\ = P{Sn>N)y
P{max SkZN} = 2P{Sn>N}-P{Sn = N),
Pfmax Sk = N\ = P{Sn = N} + P{Sn = N + \}.
§ 11. Мартингалы. Некоторые применения
к случайному блужданию
1. Рассмотренные выше бернуллиевские величины ξι,...,ξπ
образовывали последовательность независимых случайных величин. В этом
и следующем параграфах будут введены два важных класса зависимых
случайных величин, образующих мартингал и марковскую цепь.

§11. МАРТИНГАЛЫ. ПРИМЕНЕНИЯ К СЛУЧАЙНОМУ БЛУЖДАНИЮ 129
Теория мартингалов будет детально излагаться в гл. VII. Сейчас же
будут даны лишь некоторые определения, доказана одна теорема о
сохранении мартингального свойства для моментов остановки и дано ее
применение к выводу так называемой теоремы о баллотировке. В свою очередь эта
последняя теорема будет использована для иного доказательства
утверждения (5) § 10, полученного выше с применением принципа отражения.
2. Пусть (Ω, st, Ρ) — конечное вероятностное пространство, 9\^92^
^... =^ 9п — некоторая последовательность разбиений.
Определение 1. Последовательность случайных величин ξ = (&)ι^k^n
называется мартингалом (относительно разбиений 9\ ^9<ι ^... =$9п),
если:
1) ξ* являются ^-измеримыми,
2) Ε(6+ι|**) = &, 1<*<я-1.
Чтобы подчеркнуть, относительно какой системы разбиений
случайные величины ξ = (ξι, ...,ξ„) образуют мартингал, будем использовать
также запись
часто опуская для простоты обозначений указание на то, что 1 ^ k ^ п.
В том случае, когда разбиения 9k порождаются случайными
величинами ξι, ...,&, т.е.
#* = % &.
вместо того, чтобы говорить, что ξ = (ξ*, 9k) — мартингал, будем просто
говорить, что сама последовательность ξ = (ξ^) образует мартингал.
Остановимся на некоторых примерах мартингалов.
Пример 1. Пусть щ,..., ηη — независимые бернуллиевские случайные
величины с
P{7fo = l} = P{7fc = -l}=l/2,
S* = i7i+... + tfe и 9k = 9m щ.
Заметим, что структура разбиений 9k проста:
0,={D+,D-},
где Ω+ = {ω: ηι= + 1), Ω^ = {ω: 771 = — 1};
02=={D++, D+-, D-+, D—},
где Ω++ = {ω: ηχ = + 1, rfc = +l}, ..., D~ ={ω: η\=-\, т = -\}\ и т.д.
Нетрудно понять также, что 9т r)k'=L9sx 5*·
Покажем, что последовательность (S^, 9k)\^k^n образует мартингал.

130
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Величины Sk являются ^-измеримыми и в силу (12), (18) и (24) § 8
E(Sk+i\®k) = E(Sk+Vk+i\@k) = E(Sk\m + E(Vk+\\@k) = Sk + EVk+l=Sk,
что и есть требуемое мартингальное свойство.
Если положить So = 0 и взять ί% = {Ω} — тривиальное разбиение, то
последовательность (S*, @k)o^k^n также будет мартингалом.
Пример 2. Пусть η\, ..., ηη — независимые бернуллиевские
случайные величины с Р{77/ = 1} = р, Pfa/= -1} = <7. Если ρφη, то каждая из
последовательностей ξ = (&) с
6=(^) \ ξί* = 5ιι-/ζ(ρ-η),Γηε5ίι = ηι+...+ηιΐ,
образует мартингал.
Пример 3. Пусть η — некоторая случайная величина, 3f\ ^... ^ @п и
6k = E(4|«k). (2)
Тогда последовательность ξ = (&, i%)i^^/i образует мартингал. В самом
деле, ^-измеримость Ε(η\^) очевидна и, согласно (20) § 8,
E(6+i|«k) = E[E(4|«k+I)|«k] = E(4|«k) = 6k.
В связи с этим заметим, что если ξ = (&, 9*)1<*<л — произвольный
мартингал, то в силу формулы (20) § 8
^ = Е(^+11^Λ) = Ε[Ε(α+21^^-ы) I^^] = Е(^+21^>fe) =... = E(^rt I^^). (3)
Таким образом, множество всех мартингалов ξ = (&, Φ*)ι<*<π
исчерпывается мартингалами вида (2). (Заметим, что в случае бесконечных
последовательностей ξ = (ξ*, @k)i&\ это, вообще говоря, уже не так; см.
задачу 6 в § 1 гл. VII.)
Пример 4. Пусть η\, ..., ηη — последовательность независимых
одинаково распределенных случайных величин, S^ = 771 +... + 77* и &\ =@s„,
@2 = @s„,s„-x, ···» @n = @s„ s,· Покажем, что последовательность ξ =
= (&.^i<«*cii = 7r.fc = !zT 6 = |^^,.·.,6=S, образует
мартингал. Во-первых, ясно, что Sk *4 ^fc+i и ξ* — ^-измеримы. Далее, в
силу симметрии для / ^ п - k + 1
E(f7/|ft) = E(i7i|ft) (4)
(ср. с (26) § 8). Поэтому
(л-* + 1)ЕЫ«к)= £ E(i7/|«k) = E(S„.*+i|«k) = S„.*+i.
/=1

§11. МАРТИНГАЛЫ. ПРИМЕНЕНИЯ К СЛУЧАЙНОМУ БЛУЖДАНИЮ 131
Значит,
и мартингальность последовательности ξ = (&, &k) следует из примера 3.
Замечание. Из установленного результата о мартингальном свойстве
последовательности ξ = (&, 0*)ι<*<π понятно, почему иногда говорят,
что последовательность (Sk/k)\^k^n образует обращенный мартингал.
(Ср. с задачей 5 в § 1 гл. VII.)
Пример 5. Пусть щ,..., щ — независимые бернуллиевские случайные
величины с
Pfoi = + l> = P{iK = -l>=l/2f
Sk = *l\ + --- + Vk- Пусть А и В —два целых числа, Л<0<В. Тогда для
всякого 0 < λ < π/2 последовательность ξ = (&, 9k) с ^ = ^s, sk и
ξ, = (cos A)"* exp{/A(s* - ^) } (5)
образует комплексный мартингал (т. е. действительная и комплексная
части ξ/г — мартингалы).
3. Из определения мартингала следует, что математическое ожидание
E£k одно и то же для всех к:
Ε6 = Εξι.
Оказывается, что это свойство остается для мартингалов
справедливым, если вместо (детерминированного) момента k брать так называемые
моменты остановки.
Для соответствующей формулировки введем такое
Определение 2. Случайная величина г=г(а;), принимающая значения
1, 2,..., /ζ, будет называться моментом остановки (относительно
разбиений (&k)\^k^n* ®\ =^^2^···^^/ι)» если для любого &= 1,..., η случайные
величины /{r=fe}(u;) являются ^-измеримыми.
Если трактовать разбиение 9k как разбиение, порожденное
наблюдениями за k шагов (например, ^ = &η ^ — разбиение, порожденное
величинами η\9 ..., ^), то ^-измеримость величины 1{τ=^(ω) означает,
что осуществление или неосуществление события {г = k) определяется
лишь наблюдениями за k шагов (и не зависит от «будущего»).
Если &k = OL(&k), то ^-измеримость величин 1{τ=^(ω) эквивалентна
предположению, что
{г = *}€«*. (6)
С конкретными примерами моментов остановки мы уже встречались:
таковыми являются моменты т£, σ2Λ, введенные в §§ 9 и 10. Эти моменты

132
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
являются частным случаем моментов остановки вида
тА = min{0 <k^n: & £ Л},
ал=ггип{(КА:^/г: &еЛ},
являющихся моментами (соответственно первого после нуля и первого)
достижения множества А некоторой последовательностью ξο»ξι»···»6ι·
4. Теорема 1. Пусть ξ='(&» ^λ)ι<λ<λ —мартингал и г —
некоторый момент остановка относительно разбиений (@k)\^k^n·
Тогда
Е«г| *,) = £,, (8)
где
^ = Σ&7<τ=*> (9)
u
Ε«τ = Εί,. (10)
Доказательство (ср. с доказательством формулы (29) § 9). Пусть
Oe^i. Тогда, пользуясь свойствами условных математических ожиданий
и принимая во внимание мартингальное свойство (3), находим, что
,_ЕКт/о)__1
1 ^^,. ΙΛ„ , , 1
= ΡΤΟ) Σ Е[Е(6,|ЭДт=/}/0]= рщ Σ E[E(6,/{T=/}/D|0/)] =
; /=ι ; ι=\
= РЩ Σ EMWol = ρφ)Ε(6,/ο) = Ε«« 1°).
а следовательно,
E«T|^,)=E(e,i*)=ei.
Равенство Εξτ = Εξι следует отсюда очевидным образом. D
Следствие. Для мартингала (S*, &k)\^k^n из примера 1 и любого
момента остановки τ (относительно (@k)) справедливы формулы
ESr = 0, ES* = Er, (11)
называемые тождествами Вальда (ср. с (29) и (30) § 9; см. также
задачу 1 и теорему 3 β § 2 гл. VII).
Используем теорему 1 для доказательства следующего утверждения.

§11. МАРТИНГАЛЫ. ПРИМЕНЕНИЯ К СЛУЧАЙНОМУ БЛУЖДАНИЮ 133
Теорема 2 (о баллотировке). Пусть η\, ..., ηη —
последовательность независимых одинаково распределенных случайных величин,
принимающих конечное число значений из множества {О, 1, ...},
Sk = r)\+--- + r1k, 1 <*<л. Тогда
P(Sk<k для всех \^k^n\Sn) = (\-^y, (12)
где а+ = тах(а, 0).
Доказательство. На множестве {ω: Sn^n} формула очевидна.
Будем поэтому доказывать (12) для тех элементарных исходов, для которых
Sn<n.
Рассмотрим мартингал ξ = (&, 0*)ι<*<π> введенный в примере 4, с & =
=1?й "*-*-» *·
Определим
T = min{l ^й</г: ξΛ^ 1},
полагая г = /ζ на множестве
{& < 1 для всех 1 ^ й ^ п) = { max -/ < 1).
ll^/^/i * >
Понятно, что на этом множестве ξτ =ξη = S\ = 0 и, значит,
{,ж?<1}-{жт1<1'5-<я}£^=о>· <,з)
Рассмотрим теперь те исходы, для которых одновременно Sn < η и
с
max -/-^l. Обозначим σ = я + 1 - т. Нетрудно видеть, что
ι^/^л *
а = тах{1 <й^я: S*^A}
и, значит (поскольку Sn < я), σ < η, Sa ^ σ и 5σ+ι < σ + 1. Следовательно,
tyr+i=Sa+i -5σ<(σ+1)-σ=1,τ. е. ησ+\=0. Поэтому σ^5σ = 5σ+1 <
< σ + 1, а следовательно, Sa = σ и
τ~η+1-τ~ σ "'·
Тем самым
{max f- > 1, S„ < я} С {ξτ = 1}. (14)
Из (13) и (14) находим, что
{max %->l,Sn<n\ = teT=l}n{S„<n}.

134
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Поэтому на множестве {Sn < η}
Ρ (max 5t > i \Sn) = Ρ(ξτ = 1 |S||) = EKr |S„)f
где последнее равенство следует из того, что ξτ принимает лишь два
значения: 0 или 1.
Заметим теперь, что Ε (ξτ \ Sn) = Ε (ξτ \ &\) и в силу теоремы 1 Ε (ξτ \ &\) =
= ξι =S„//i. Следовательно, на множестве {Sn <ri)
P(Sk<kju\* всех 1<A</i|S„)=1-— . D
Применим эту теорему для получения другого доказательства леммы 1
из § 10 и объясним ее название как теоремы о баллотировке.
Пусть ξι, ..., ξη — последовательность независимых бернуллиевских
случайных величин с
Ρβ = 1} = Ρβ = -1}=1/2,
Sk = ξι + · · · +ξ* и α, b — целые неотрицательные числа такие, что α - b > 0,
α н- b = /г. Покажем, что тогда
P(S,>0f...,S„>0|S„ = a-fc) = ^. (15)
В самом деле, в силу симметрии
P(Si>0,...,S„>0|S„ = a-ft) = P(S1<0,...tS„<0|S„ = -(a-fc)) =
= P(Si + l<l, ...,S« + n<n|S«+n = n-(a-fc))) =
= Pfai <1, ..., 171 +... + iy„ < /ι|t|i Η-... + ?|я = /ι — (a — fr)) =
- Γι п-{а-Ь)Л+ _a-b _a-b
L π J ~" я ~~" а + б*
где мы положили ^ = ξΛ+ 1 и воспользовались равенством (12).
Из (15) очевидным образом выводится формула (5) § 10, установленная
в лемме 1 § 10 с применением принципа отражения.
Будем интерпретировать ξ/ = + 1 как голос, поданный на выборах за
кандидата Л, а ξ/ = —1 —за кандидата В. Тогда Sk есть разность числа
голосов, поданных за кандидатов Л и В, если в голосовании приняло
участие k избирателей, а Р(Si > 0, ..., Sn > 01 Sn = a — b) есть вероятность
того, что кандидат А все время был впереди кандидата В, при условии,
что в общей сложности А собрал а голосов, В собрал b голосов и а - b > 0,
а + 6 = п. Согласно (15), эта вероятность равна (а — Ь)/п.
5. Задачи.
1. Пусть % ^ $1\ ^... =^ &п — последовательность разбиений, 0о = {Ω};
щ ~ ^-измеримая величина, 1 ^ k ^ я. Доказать, что последовательность

§ П. МАРТИНГАЛЫ. ПРИМЕНЕНИЯ К СЛУЧАЙНОМУ БЛУЖДАНИЮ 135
£ = (&· 4к)к*<л с
k
& = 5>/-E(i»|ft-i)]
/=ι
является мартингалом.
2. Пусть величины г^ь ···, Щ таковы, что Ε(η^η\9 ..., ^_ι) = 0.
Доказать, что последовательность £ = (&)к*<л с ξι =171 и
ί*+ι=ζΖ ^H-i/ifab ·> *7;)>
ι = 1
где /ι — некоторые функции, образует мартингал.
3. Показать, что всякий мартингал £ = (&> &k)\^k^n имеет
некоррелированные приращения: если a<b <c <dy то
cov(&-&,&-&) = 0.
4. Пусть ξ = (ξι,..., ξη) — некоторая случайная последовательность
такая, что ξ/г — ^-измеримы (^ι ^ ^2 ^ ··· ^ ^л)· Доказать, что для того,
чтобы эта последовательность была мартингалом (относительно системы
разбиений (0*)), необходимо и достаточно, чтобы для лкЯЗого момента
остановки г (относительно (9k)) Εξτ = Εξι. (Выражение «для любого
момента остановки» можно заменить на выражение «для любого момента
остановки, принимающего два значения».)
5. Показать, что если ξ = (ξ^, &k)\^k^n — мартингал и г — момент
остановки, то для любого k
6. Пусть ξ = (ξ*, 0*) и *7= fa*, #Λ) — два мартингала, ξι =171 =0.
Доказать, что
η
Εξηηη = Σ Ε(ξ*-&-ι)(*7*-ΐ7*-ι)
fc=2
и, в частности,
fc=2
7. Пусть η\, ...,ηη — последовательность независимых одинаково
распределенных случайных величин, Ε 77/ = 0. Показать, что последовательно-

136
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
сти£ = (&) с
= ехр{А(щ+... + 1ц)}
ς* (Ε exp{Ar7i})*
являются мартингалами.
8. Пусть 77ь ...» щ — последовательность независимых одинаково
распределенных случайных величин, принимающих значения в конечном
множестве Υ. Пусть /0(ί/) = Ρ{77ι = */}>0, */£К и /ι (#) — неотрицательная
функция с Σ fi(y) = l. Показать, что последовательность ξ = (&, ^) с
образует мартингал. (Величины &, называемые отношениями
правдоподобия, играют исключительно важную роль в математической статистике.)
§ 12. Марковские цепи. Эргодическая теорема.
Строго марковское свойство
1. В рассмотренной выше схеме Бернулли с Ω = {ω: ω = (χ\, ..., χη),
jt; = 0, 1} вероятность каждого исхода ω задавалась формулой P({u;}) =
= р(и;), где
ρ{ω) = ρ(χι)...ρ(χα) (1)
с р(дг) = pxqx~x. При этом условии случайные величины ξ\,...,ξη с
ξί(ω) = Χί оказывались независимыми и одинаково распределенными с
Р&=х) = ... = Р{Ь=х)=р{х), х = 0, 1.
Если вместо (1) положить
ρ{ω) = ρι(χχ)...ρη{χη),
где p,-(jt) = pf (1 -р;)!~*, 0<р/< 1, то тогда случайные величины ξι, ...,£„
также будут независимыми, но уже, вообще говоря, разнораспределен-
ными:
Ρ{ξι=*} = ΡιΜ. .... Ρ{6ι=*} = Ρπ(*).
Рассмотрим одно обобщение этих схем, приводящее к зависимым
случайным величинам, образующим так называемую цепь Маркова.

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 137
Будем предполагать, что
Ω = {α;: ω = (χ0, Х\, ...,*„), */€*},
где X — некоторое конечное множество. Пусть заданы также
неотрицательные функции ро(х), р\(х, у), ..., Рп(х> у) такие, что
Σ>ο(*) = 1,
(2)
Σ pk(x,y) = U й=1,...,я; xgX.
уех
Для каждого исхода u; = (jto, Х\, ..., хп) положим Ρ({ω}) = ρ(ω), где
ρ(ω) = ρ0(Χο)Ρ\(Χο, Х\)...рп(Хп-\, хяУ (3)
Нетрудно проверить, что Σ ρ(ω) = 1 и, следовательно, набор этих чи-
сел ρ(ω) вместе с пространством Ω и системой всех его подмножеств
определяет некоторую вероятностную модель (Ω, s/, Ρ), которую принято
называть моделью испытаний, связанных в цепь Маркова.
Введем в рассмотрение случайные величины ξο» ξι» ···» ζη с ξί{ω) = Χί
для ω = (χ\, ..., χη). Простой подсчет показывает, что
Ρ{ξο = α} = ρ0(α). (4)
Ρ{£ο = αο, ...^k = ak} = po(ao)p\(ao, ax)...pk(ak-X, ak).
Установим теперь справедливость для рассматриваемой вероятностной
модели (Ω, si, P) следующего важного свойства условных вероятностей:
Ρ(&+ι=β*+ι|& = β*. ....& = ao) = P(&+i=aik+i 1& = β*) (5)
(в предположении Р{& = а*, ..., ξο = Яо} > 0).
В силу (4) и определения условных вероятностей (§ 3)
Ης*+ι==α*+ι|ξ6 = αΛ, ..., ξ0 = α0)=—рт-— τ—-τ— =
Ро(Др)Р1(Др> a\)---Pk+\(ak> flfe+i) /л Л ч
= п ,„ ч—--т; —: = Phi flb я*+1/·
Po(eo)---P*(e*-i.a*)
Аналогичным образом проверяется равенство
Ρ(&+ι = α*+ι |& = ^л) = Pk+\(ak, α*+ι), (6)
что и доказывает свойство (5).
Пусть 9\ = @ξ0 ξΛ — разбиение, порожденное величинами &. ..., &, и

138
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Тогда в соответствии с обозначениями, введенными в § 8, из (5) следует,
что
Р(6+! =а*+1 |Я£) = Р(6к+1 =аА+» I&)· (7)
или
Ρ(ξ*+ι=α*+1|ξο, ...·ξ*) = Ρ(6+ι=ΛΛ+ι|ξ*).
Замечание. Прервем наше изложение, чтобы сделать важное для
всего дальнейшего замечание в связи с формулами (5) и (7) и событиями
нулевой вероятности.
При установлении формулы (5) предполагалось, что Ρ{ξ* = α*, ...
..., ξ0 = а0} > 0 (а значит, и Р{& = а*} > 0). Нужно это было, в сущности,
лишь потому, что (пока!) условные вероятности Р(А\В) определялись
только в предположении Р(В)>0.
Но заметим, что если В = {& = аь ..., £о = Яо} и Ρ(β) = 0 (а, значит,
и Р(С) = 0 для С = {& е α*}), то «путь» {ξο = я<ь · · ·» & = ak) должен
рассматриваться как нереализуемый и тогда вопрос о том, что есть условная
вероятность события fa+\ =α^} при условии этого нереализуемого
«пути», с практической точки зрения не представляет интереса.
В этой связи и для определенности мы будем далее определять
условную вероятность Р(А\В) формулой
phud-W -"р<в>>0'
[0, если Ρ (В) = 0.
При таком определении формулы (5) и (7) становятся справедливыми
и без всяких оговорок типа Р{& = α*, ..., ξο = αο} > 0.
Подчеркнем, что отмеченная трудность, связанная с событиями нулевой
вероятности, весьма типична для вероятностных рассмотрений. В § 7 гл. II
будет приведено общее определение условных вероятностей (относительно
произвольных разбиений, σ-алгебр, ...), которое и весьма естественно, и
«работает» в ситуациях «нулевой вероятности».
Если воспользоваться очевидным равенством
Р{АВ\С) = Р(А\ВС)Р(В\С),
то из (7) получаем, что
Ρ(ξη = αη, ...,&+ι =α*+ι|#!) = Ρ(& = β*. ...,6+ι=α*+ι|&), (8)
или
Ρ(6ι = 0Λ. ....&+! =α*+ι|ξο. ....&) = Ρ(6ι=β*. ...,6+ι =α*+ιΙ&)· (9)

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 139
Это равенство допускает следующую наглядную интерпретацию. Будем
трактовать & как положение «частицы» в «настоящем», (£о, ..., &-ι) — в
«прошлом» и (&+ь ...,ξ/ι) — в «будущем». Тогда (9) означает, что при
фиксированных «прошлом» (ξο»···»^-ι) и «настоящем» & «будущее»
(&+ь ···» £л) зависит лишь от «настоящего» & и не зависит от того,
каким способом частица попала в точку ξ*, τ. е. не зависит от «прошлого»
(ξο. .··>&-!)·
Пусть Б = {£„ = <*„, ...,&+ι =α*+ι}, Н = {& = я*}. П = {6-1=я*-ь ...
# э ξ0 = αο}. Тогда из (9) следует, что
Р(Б|НП) = Р(Б|Н),
откуда легко находим, что
Р(БП|Н) = Р(Б|Н)Р(П|Н). (10)
Иначе говоря, из соотношения (7) следует, что при фиксированном
«настоящем» Η «будущее» Б и «прошлое» Π оказываются
независимыми. Нетрудно показать, что справедливо и обратное: из выполнения (10)
для любого й = 0, 1,..., η — 1 следует выполнение свойства (7) для всякого
й = 0, 1 я—1.
Свойство независимости «будущего» и «прошлого», или, что то же,
независимость «будущего» от «прошлого» при фиксированном
«настоящем», принято называть марковским свойством, а соответствующую
последовательность случайных величин ξο> ···» ξη— марковской цепью.
Таким образом, если «веса» ρ(ω) элементарных событий задаются
формулой (3), то последовательность ξ = (ξο» ···» ξη) с ξι(ω) = Χι, будет
образовывать марковскую цепь.
В этой связи понятно следующее
Определение. Пусть (Ω, л^, Р) — некоторое (конечное) вероятностное
пространство и ξ = (ξο» ··, ξη) — последовательность случайных величин
со значениями в (конечном) множестве X. Если выполнено условие (7),
то последовательность ξ = (ξο» ···» ξη) называется (конечной) марковской
цепью.
Множество X называется фазовым пространством или
пространством состояний цепи. Набор вероятностей (ро(х))> jcgX, с ро(х) =
~Ρ{ξο = χ] называют начальным распределением, а матрицу \\pk(x, у)\\,
х> У £ X, с pk(Xy у) = Р(& = у |&_1 = х) — матрицей переходных
вероятностей (из состояний χ в состояния у) в момент й = 1, ..., п.
В том случае, когда переходные вероятности pk(x, у) не зависят от й,
Pk(x, у) = р(х, у), последовательность ξ = (ξο,..., ξη) называется
однородной марковской цепью с матрицей переходных вероятностей \\р(х, у)\\.

140
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Заметим, что матрица \\р(х> у)\\ является стохастической: ее
элементы неотрицательны и сумма элементов любой ее строки равна единице,
Σρ(*,ίί)=1,*€Χ.
у
Будем считать, что фазовое пространство X состоит из конечного
множества целочисленных точек (X = {0, 1,..., Ν}, X = {0, ± 1, ..., ±Ν} и т. д.),
и обозначать, согласно традиции, р,- = po(i) и рц — р(/, /).
Понятно, что свойства однородных марковских цепей полностью
определяются начальными распределениями р,- и переходными
вероятностями pij. В конкретных случаях для описания эволюции цепи вместо явного
выписывания матрицы ||р/у|| используют (ориентированный) граф,
вершинами которого являются состояния из X, а стрелка
Рч
идущая из состояния i в состояние / и с числом рц над ней, показывает,
что из точки / возможен переход в точку / с вероятностью рц. В том
случае, когда рц = 0, соответствующая стрелка не проводится.
Пример 1. Пусть Х = {0, 1, 2} и
/1 0 0\
||р/7||= 1/2 0 1/2.
\2/3 0 1/3/
Этой матрице соответствует следующий граф:
1/2 1/2
Отметим, что здесь состояние 0 является «поглощающим»: если
частица в него попала, то она в нем и остается, поскольку роо = 1. Из состояния 1
частица с равными вероятностями переходит в соседние состояния 0 и 2;
состояние 2 таково, что частица остается в нем с вероятностью 1/3 и
переходит в состояние 0 с вероятностью 2/3.
Пример 2. Пусть Х = {0, ±1, ..., ±УУ}, ро= 1, рт^Р-ы-ы = 1 и для
\i\<N
(ρ, /=i + l,
q, i = i~l (Π)
0 в остальных случаях.

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 141
Переходы, соответствующие такой цепи, можно графически изобразить
следующим образом (N = 3):
Эта цепь отвечает исследованной выше игре двух игроков, когда
капитал каждого равен /V и на каждом шаге первый игрок с вероятностью ρ
выигрывает у второго +1 и проигрывает —1 с вероятностью q. Если
трактовать состояние / как величину выигрыша первого игрока у второго, то
достижение состояний N и — N означает разорение второго и первого
игроков соответственно.
В самом деле, если η\, щ, ..., ηη — независимые бернуллиевские
случайные величины с Ρ{ηι = + 1} = р, Р^, = — 1} = <7 и 5ιι=η[ + ...+77* —
величина выигрыша первого игрока у второго, то последовательность
So, Si, ..., Sn c So = 0 будет образовывать марковскую цепь с ро=1 и
матрицей переходных вероятностей (11), поскольку
P(Sfc+i = /|Sfc = /fe, Sk-\ =/*-ι, ..., S\ =/ι) =
= P(S*+7te+i =/|Sfc = /b Sfc_i =4_i, ..., Si =/i) =
= P(Sk +17*+1 = / ISk = ik) = Ρ{η*+ι = / - '*}·
Марковская цепь So, Si, ..., Sn имеет весьма простую структуру:
Sfc+i = Sk + ι7λ+ι . О < А < я - 1,
где Т7ь т^, ..., ηη — последовательность независимых случайных величин.
Те же рассуждения показывают, что если ξο» *7ь ···» Ήη — независимые
случайные величины, то последовательность ξο» ξι, ···» ξη с
6+1 = /*«Ы7*+1), 0<А<я-1, (12)
также образует марковскую цепь.
В этой связи полезно отметить, что так построенную марковскую цепь
естественно рассматривать как вероятностный аналог
(детерминированной) последовательности х = (х0, ..., хл), управляемой рекуррентными
соотношениями
Приведем еще один пример марковской цепи типа (12), возникающей
в задачах теории «очередей».
Пример 3. Пусть на стоянку такси в единичные моменты времени
прибывают (по одной в каждый момент) машины. Если на стоянке нет

142
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
ожидающих, то машина немедленно уезжает. Обозначим через щ число
ожидающих, приходящих в момент k на стоянку, и будем предполагать, что
V\у ···» Ήη — независимые случайные величины. Пусть & —длина очереди
в момент й, ξο = 0. Тогда, если ξ^ = /, то в следующий момент k + 1 длина
очереди ξ^+ι станет равной
_ если/ = 0,
1 '-ife+i, если i ^ 1.
Иначе говоря,
6+1=(&-1)+ + %+ь 0<*<я-1,
где а+ = тах(а, 0), и, значит, последовательность ξ = (ξο, ·.., ξη) образует
цепь Маркова.
Пример 4. Этот пример относится к теории ветвящихся процессов.
Под ветвящимся процессом с дискретным временем будем понимать
последовательность случайных величин ξο, ξι» ···, ξ/ь где ξ^ интерпретируется
как число частиц, существующих в момент времени й, а процесс
гибели-размножения частиц происходит следующим образом: каждая частица
независимо от других частиц и от «предыстории» превращается в / частиц
с вероятностями pj, / = 0, 1, ..., М.
Будем считать, что в начальный момент времени имеется всего лишь
одна частица, ξο = 1. Если в момент k было ξ* частиц (с номерами
1,2, ...,ξ*), то, согласно описанию, ξ^+ι представляется в виде
случайного числа случайных величин:
где η^ —число частиц, произведенных частицей с номером /. Разумеется,
если ξ* = 0, то и ξ^+ι =0. Считая, что все случайные величины η^\ k ^ 0,
/ ^ 1, независимы между собой, находим
Ρ(ξ*+ι =/*+ι |ξ* = /*, ξ*-ι =/λ-ι, ···) =
Отсюда видно, что последовательность ξο, ξι, ..., ξη образует марковскую
цепь.
Особый интерес представляет случай, когда каждая частица или
погибает с вероятностью q, или превращается в две с вероятностью р,
p + q=z\. Для этого случая легко подсчитать, что
Р// = P(6k+i = /|€ik = 0

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 143
задается формулой
:i/2pi/2qi-i/2< /=0, ...,2ί,
0ii = \o
Рч: ...
в остальных случаях.
2. Будем обозначать через ξ = (&, Д Р) однородную марковскую цепь
с вектором (строкой) начальных вероятностей П=||р/|| и матрицей
переходных вероятностей Р= \\ρη\\. Ясно, что
Λ/ = ΡΚι = /Ί& = 0 = ... = Ρ(6. = /Ί6.-ι=0-
Обозначим
рУ = Р(6 = /1& = 0 (=P(6k+/ = /lu = 0· / = 1,2,...)
— вероятность перехода за k шагов из состояния / в состояние / и
Р(Р = ?& = }}
— вероятность нахождения частицы в момент времени k в точке /. Пусть
также
п^И/Л р<*) = 11р1*,Ц.
Покажем, что переходные вероятности pff удовлетворяют
«уравнению Колмогорова—Чепмена»
α
или, в матричной форме,
р(*+0 _ р(£) . р(/) ^ /j 4)
Доказательство соотношения (13) весьма просто и основано на
формуле полной вероятности и марковском свойстве:
PiiH)-P(ξkн^i\ξo = i) = Σ^P(ξk^^i,ξk = a\ξo = i) =
а
=Σ ρ(&+/=/ΐ6-β)Ρ(&=αΐ&-ο=Σ ^W*'·
α α
Особо важны следующие два частных случая уравнений (13):
обратное уравнение
C-E^J (15)

144
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и прямое уравнение
α
(см. рис. 22 и 23). В матричной форме прямые и обратные уравнения
О 1 /+1
Рис. 22. К обратному уравнению
О k k+\
Рис. 23. К прямому уравнению
записываются соответственно следующим образом:
p(fc+l) = р(6) .ρ
p(fc+l) =p.p(^
Аналогично для (безусловных) вероятностей pj** получаем, что
или, в матричной форме,
ρΓ·=ΣρΜ/.
rf'+O^nW.pW.
(17)
(18)
(19)
В частности,
Βί*+ !> = Βί*>. ρ (прямое уравнение)
Βί*+|) = tf*. Р<*> (обратное уравнение).
Поскольку Р<!> = Р, tf0* = Π, то
Р<*>=Р*, Βί*>=ΙΙ·1Ρ*.
Тем самым для однородных марковских цепей вероятности перехода за
k шагов р^ являются элементами й-х степеней матриц Р, в связи с чем
многие свойства этих цепей можно изучать методами матричного анализа.
Пример. Рассмотрим однородную марковскую цепь с двумя
состояниями 0 и 1 и матрицей
\Р\о Р\\)

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 145
Нетрудно подсчитать, что
р2= ( Ρο6 + ΡοιΡιο ΡοιίΡοο + Ριι)^
\Рю(Роо + Ри) Ри + PoiPio j
и (по индукции)
1
2-роо-Ри
Л-рп 1 — РооЛ
\\-Pw 1-роо/
(Роо + Рп-!)'1
2-роо-Ри
( 1-Роо -(1-РооА
V-(l-pii) 1-рц У
р« ) ^
2-роо-Ри
(/i)_ 1-P11
ri0 2-роо-Рц·
/1-ри 1 - рооЛ
\\- ρχχ 1-Аю/ '
i:m An) _ 1 - POO
11ГП Ρ-χ 0
η r" 2-ροο-Ριι
(в предположении, что |/?оо + Ри - 1| < 1).
Отсюда видно, что если элементы матрицы Ρ таковы, что |роо + Ри -
- 11 < 1 (в частности, если все вероятности перехода р,·,· положительны),
то при η —► оо
(20)
*—HW~ HU \* — HU * — ΗΌΌ/
и, значит,
lim
η
Таким образом, если |роо + Ρι ι — 1| < 1, то поведение
рассматриваемой марковской цепи подчиняется следующей закономерности: влияние
начального состояния на вероятность нахождения частицы в том или ином
состоянии исчезает с ростом времени (р|?* сходятся к предельным
значениям π,, не зависящим от / и образующим распределение вероятностей:
Щ ^ 0, πι ^ 0, πο + πι = 1); если к тому же все элементы рц > 0, то тогда
предельные значения πο > 0, π\ > 0 (ср. далее с теоремой 1).
3. Следующая теорема описывает широкий класс марковских
цепей, обладающих так называемым свойством эргодичности: пределы
7Ty = lim pW не только существуют, не зависят от /, образуют
распределение вероятностей (π7· ^ 0, £ π/ = 1), но и таковы, что π7· > 0 при всех /
(такие распределения называются эргодическими\ подробнее см. § 3 в
гл. VIII).
Теорема 1 (эргодическая теорема). Пусть Ρ = ||рц|| —матрица
переходных вероятностей марковской цепи с конечным
множеством состояний Х = {1, 2, ..., Ν}.
а) Если для некоторого щ
mm pi,
(Яо)>0, (21)

146
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
то найдутся числа πι, ..., π# со свойством
π,>0, 5>/==1 (22)
такие, что для каждого j GX и любого i e X
ρ^-π,, л->оо. (23)
b) Обратно, если существуют числа πι,..., π#, удовлетворяющие
условиям (22) и (23), то найдется по такое, что выполнено
условие (21).
c) Числа (πι, ..., π„) мз а) удовлетворяют системе уравнений
*ί = Σ**Ρ*ί> / = 1,...,M (24)
α
Доказательство, а) Обозначим
т}л) = min р£\ М}л) = max pjf.
Поскольку
Р?+'> = Е^Й' (И)
α
ТО
m<n+1) = min p#+,) = min £ piap$>mm £ pia mm p«} = mf,
α α
откуда ШуЛ) </7ΐ^+1\ и аналогично Л^л) ^МуЛ+1\ Поэтому для
доказательства утверждения (23) достаточно показать, что
AfJ^-m^-^O, /z^oo, / = 1,...,М
Пусть ε = ггип/э/· pijo) > 0. Тогда
р?+я)=Е p^piS-Σ [^-«pgipS+'Σ ρ?/Ί3=
α
Ho ρ£ο) -epg >0, поэтому
α
и, значит,
т^+л)^т<л)(1-г) + гр<;л).

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 147
Аналогичным образом
Объединяя эти неравенства, получаем
А|(«о+«) - mf°+») <ζ (Mf _ mJ«))( ι _ e)
и, следовательно,
Μ*"***) _ w(*»o+«) < (Af(«) _ w(«))(1 - ε)* j О, Д -> oo.
Итак, по некоторой подпоследовательности {/ζ#} Afу - my —► 0 при
Πβ —► оо. Но разность ΛίуЛ) — туЛ) монотонна по /ζ, а значит, Л/уЛ) — т^ —► О
при л—>оо.
Если обозначить π,· = Κπι /тгуЛ\ то из полученных оценок вытекает, что
для п^по
\pff-*l\ZMf>-mf>*(\-e)W*A-1,
т.е. сходимость р\У к предельным значениям π,·, происходит с
геометрической скоростью.
Ясно также, что т{р ^ mfo) ^ ε > О, η ^ /ίο и, значит, π7· > 0.
b) Условие (21) непосредственно следует из (23), поскольку число
состояний конечно и π} > 0.
c) Уравнения (24) вытекают из (23) и (25). D
4. Система уравнений (ср. с (24))
*/ = Σ *«**/· / = !.···. * <24*)
α
играет большую роль в теории марковских цепей. Всякое ее
неотрицательное решение Q = (q{, ..., qu), удовлетворяющее условию Σ Q<* = U
а
принято называть стационарным или инвариантным распределением
вероятностей для марковской цепи с матрицей переходных вероятностей
II Pij ||. Объяснение этого названия состоит в следующем.
Возьмем распределение Q = (<7i, ..., qN) в качестве начального, т. е.
пусть Pj = qj, / = 1, ...,yV. Тогда
Pf^Y^VoPaj^qj
а
и вообще p^ = qj. Иначе говоря, если в качестве начального
распределения взять Q = (<7b ..., <7#), то это распределение не будет изменяться

148
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
со временем, т. е. для любого k
Ρ«* = /ϊ = ΡΚό = /ϊ. / = ι.....Μ
Более того, марковская цепь ξ = (ξ, Q, Ρ) с таким начальным
распределением Q = (qu ..., qN) будет стационарной: совместное распределение
вектора (&, &+ь ..., &+/) не зависит от k для любого / (предполагается,
что k + l^ri).
Условие (21) гарантирует как существование пределов π7 = lim pl"\ не
зависящих от /, так и существование эргодического распределения, т. е.
распределения (πι, ..., π#) с π7· >0. При этом распределение (πι, ..., π#)
оказывается также и стационарным распределением. Покажем сейчас,
что этот набор (πι, ..., π#) является единственным стационарным
распределением.
В самом деле, пусть (πι, ..., π#) — еще одно стационарное
распределение. Тогда
4 = Σ*°Ρ°1 = ''' = Σ*°Ρ*1'
α α
И ПОСКОЛЬКУ Ра] —>Кр ТО
α
Отметим, что стационарное распределение вероятностей (и к тому же
единственное) может существовать и для неэргодических цепей.
Действительно, если
то
и, следовательно, пределы Игл р\У не существуют. В то же самое время
система
4/ = Σ4αΡ«η /' = 1.2,
α
превращается в систему
<72 = <7ь
единственное решение (<7ь Я2) которой, удовлетворяющее условию q\ +
+ <72= 1, есть (1/2, 1/2).

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 149
Отметим также, что для рассмотренного выше примера в п. 2 система
(24*) с Xj = <7/ имеет вид
<7ο = <7οΡοο + <7ιΡιο,
Ц\ =<7οΡοι +<7ιΡιι,
откуда, учитывая условие <7ο + <7ι = 1, находим, что единственное
стационарное распределение (<7о, Я\) совпадает с уже найденным:
= \-Р\\ а _ 1 -Роо
Рассмотрим теперь некоторые следствия, вытекающие из эргодической
теоремы.
Пусть А — некоторая группа состояний, А СХ, и
-б
''<·>-<- $:
Введем величину
^(я)дмй)+-+^(б.)
АУ ' л + 1
— долю времени, проводимого частицей в множестве Л. Поскольку
Ε№(ωι&=»Ί=ρ«*€Λΐίο=ο=Σ 'ί? (-/^и»,
/6-4
ТО
Ε
μ«)ι&=«·]=^τΣλ(*,η)
*=о
и, в частности,
Из анализа известно (см. также лемму 1 в § 3 гл. IV), что если после-
do 4-... + CLn i-τ Ik)
довательность ап —► а, то ——— ► α, /ζ —► оо. Поэтому если р:у.; ->π7·,
й —► оо, то
Ει/{Λ(/ι) -+ π/, Е^(/г) ->тг^, где τΑ = ^ π7·.
/ей
Для эргодических цепей на самом деле можно доказать большее, а
именно, что для величин /л(£о), ···» МбО» ··· справедлив
Закон больших чисел. Если ξο» £ь ··· —конечная эргодическая
марковская цепь, то для всякого ε>О, любого множества АСХ и

150
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
произвольного начального распределения
Ρ{Μ/ζ)-π,4|>ε}-+0, л-*оо. (26)
Прежде чем переходить к доказательству, заметим, что
непосредственное применение результатов § 5 к бернуллиевским величинам /л(£о), ···
···» МбО» ··· невозможно, поскольку они, вообще говоря, являются за-
висимыми. Однако доказательство можно провести по тому же пути, что и
в случае независимых величин, если снова воспользоваться неравенством
Чебышева и тем обстоятельством, что для эргодических цепей с конечным
числом состояний найдется такое 0<р< 1, что
\plf-irj\^Cpn. (27)
Рассмотрим состояния / и / (которые могут и совпадать) и покажем,
что для ε > 0
Р(И/>(я)-?Г/1> г|£о = 0-^0, п^оо. (28)
В силу неравенства Чебышева
■чщ»)-«,|>.|&-о<Е^;Г'1'1»-'1.
Поэтому надо лишь показать, что
Е{К)(л)-^|2|£0 = /}-^0, /!-+оо.
Простой подсчет показывает, что
ν ' I L*=o J J ν ' *=ο /=ο
где
"#" = £{[/</>(&)/</>(&)] Ι6> = »} - π/ Ε [/{Λ(&) \ξ0 =/]-
-π/Ε[/{Λ(ξ/)|ξο = /] + π? = ρ<;)ρΧ)-π/·ρ<*)-π/·ρ<;)+π2,
s = mm(k, /)и* = |*-/|.
В силу (27)
Поэтому
Ι<·'Ί < с, bs+p'+/+Д

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 151
где С\ — некоторая постоянная. Следовательно,
^+υ *=ο /=ο i/I+l' *=ο /=ο
^ 4d 2(az + 1)_ 8d
*(л+1)*' 1-ρ - («+1)(1 -ρ) ~"U- я-*°°·
откуда и следует справедливость соотношения (28), из которого очевидным
образом вытекает требуемое соотношение (26).
5. В § 9 для случайного блуждания So, Si, ..., порожденного схемой
Бернулли, были выведены рекуррентные уравнения для вероятностей и
математических ожиданий времени выхода на ту или иную границу.
Аналогичные уравнения сейчас будут выведены и для марковских цепей.
Пусть ξ = (ξο, ξι, · · ·) — марковская цепь с матрицей переходных
вероятностей \\pij\\ и фазовым пространством Х = {0, ±1, ..., ±Ν}. Пусть А и
β—два целых числа, -Ν ^Α^Ο^Β^Ν, и хеХ. Обозначим через S&k+\
множество тех траекторий (*о, Х\,. · ·, **), */ € X, которые впервые выходят
из интервала (Л, В) через верхнюю границу, т. е. покидают множество
(Л, В), попадая в множество (В, В + 1, ..., Ν).
Положим для А ^ χ ^ В
Pk(x) = Ρ((ξο, · · ·, ω € Λ*+ι Ι6) = χ).
С целью отыскания этих вероятностей (первого выхода марковской
цепи из множества (Л, В) через верхнюю границу) воспользуемся методом,
примененным при выводе обратных уравнений.
Имеем
/ш=р((&, ...,ω^+ιΐ&=*)=
У
где, как нетрудно убедиться, опираясь на марковское свойство и
однородность цепи,
Ρ((&,...,6θ€*Η-ι|& = ^ξι=*) =
= Р((*. ίΛ 6. ....&)€*+! 16> = *.ίι=0) =
=ρ((^6.....ω€Λ*ΐξι=ιο=
Поэтому для Л<х<Ви1^&^л
&(*) = Σ pXyPk-\(y).
У

152 ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
При этом ясно, что
и
Аналогичным образом выводятся и уравнения для а^(х) —вероятностей
первого выхода из интервала (Л, В) через нижнюю границу.
Пусть Tfc = min{0^/ ^k: ξι £(Α, β)}, причем т* = &, если множество
{•} = 0. Тогда тот же самый метод, примененный к т*(х) = Е{т*|£о = *}»
приводит к следующим рекуррентным уравнениям:
тк(х)=1+^,ть-1(У)Рху
у
(здесь 1 ^ k ^ /ζ, Α < χ < В). При этом
m*(jt) = 0,· χ£(Ά,Β).
Понятно, что если матрица переходных вероятностей задается
формулой (11), то уравнения для а^(х), /?*(*) и rrik{x) превращаются в
соответствующие уравнения из § 9, где они получены, по существу, тем же самым
методом, что и здесь.
Наиболее интересны применения выведенных уравнений в предельном
случае, когда блуждание осуществляется неограниченно во времени. Так
же, как и в § 9, соответствующие уравнения можно получить формальным
предельным переходом из выведенных выше уравнений, полагая й—юо.
Для примера рассмотрим марковскую цепь с состояниями {0, 1, ..., В}
и переходными вероятностями
Роо = 1, Рвв = 1
и для 1 < / < β — 1
{Pi>0, / = ι + 1,
ти /' = *'.
<7/>0, / = /-1,
где Pi + n + qi = l.
Этой цепи соответствует граф
ι
Г\
гв-\

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 153
Отсюда видно, что состояния 0 и β являются «поглощающими», в любом
же другом состоянии / частица остается с вероятностью г,·, переходит на
единицу вправо с вероятностью pt и влево с вероятностью ц\.
Найдем а(х) = lim <*k(x) — предельную вероятность того, что частица,
k—>оо
выходящая из точки jc, достигнет нулевого состояния раньше, чем
состояния В. Предельным переходом при k—>oo в уравнениях для ak(x) получим,
что для 0 < / < В
<*(/) = 4i<*ti - О + riaU) + Ρ Mi + 1)
с граничными условиями
α(0) = 1, α(β) = 0.
Поскольку г7- = 1 — q-j - ph то
Pj(a(j + 1) - α(/)) = qj(aU) - a(j - 1))
и, следовательно,
α(/>1)-α(/)==Ρ/·(α(1)-1),
где
Но а(/ + 1) - 1 = Σ(α(/ + 1) - а(/)). Поэтому
/=о
а(/ + 1)-1=(а(1)-1)£Л.
/=о
Если / = β— 1, то а(/ + 1) = а(В) = 0, и, значит,
Σ α·
ι=0
откуда
в-\ β-1
Σ Pi Σ Ρ/
Σ p/ Σ л
i=0 i=0
(Ср. с соответствующими результатами § 9.)

154
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Пусть теперь m(x) = \'m\k ntk(x) — предельное значение среднего
времени блуждания до попадания в одно из состояний 0 или В. Тогда т(0) =
= т(В) = 0,
m(x)=\+Y^m(y)pxy
у
и, следовательно, для рассматриваемого примера
m(j) = 1 + q}m(j - 1) + r}m(j) + p}m(j + 1)
для всех /' = 1, ..., β — 1. Чтобы найти m(/), обозначим
M(/) = m(/)-m(/-l), / = 1,...,β.
Тогда
Ρ/Αί(/ + 1) = 9/·Αί(/)-1, / = 1 β-1,
и последовательно находим, что
М(/ + 1) = Р/М(1)-/?,·,
где
7 Р\'"Р\ ' Pjl Pj-\ ρι-\...ρ\\
Поэтому
/-1 /-1 /-1 /-1
i=0 i=0 /=0 i=0
Осталось лишь найти m(l). Ho m(S) = 0, значит,
и для 1 < / ^ В
т(/) =
m(l) =
/'-«
-Σ*·
/=0
β-1
Σ Ri
/=0
β-1
Σ λ
i=0
θ-1
Σ *i
ι=0
Β-\
Σ λ
ί=0
/-ι
-Σ*·
i=0
(Ср. с соответствующими результатами из § 9, полученными там для случая
0=0, pi = p,qi=q.)
6. В этом пункте будет рассмотрено одно усиление марковского
свойства (8), заключающееся в том, что оно остается справедливым при
замене момента времени k на случайный момент (см. далее теорему 2).

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 155
Важность этого так называемого строго марковского свойства будет
проиллюстрирована, в частности, на примере вывода рекуррентных
соотношений (38), играющих существенную роль для классификации состояний
марковских цепей (гл. VIII).
Пусть ξ = (ξο» ···» in) — однородная марковская цепь с матрицей
переходных вероятностей \\ρη\\, 9* = (£д)о<*<л "~ система разбиений, 0f =
= %, ξΛ. Через 8В\ будем обозначать алгебру а(^), порожденную
разбиением &\.
Придадим прежде всего марковскому свойству (8) несколько иную
форму. Пусть В е 3fik. Покажем, что
Ρ(ξ/ι=α/ι, ...,6+ι=α*+ι|βη{ξ* = α*}) =
= Ρ(ξ« = α«,...,6+ι=α*+ι|6 = α*) (29)
(предполагается, что Ρ(βη{ξ^ = α^})>0). Действительно, множество В
можно представить в виде
где сумма Σ* берется по некоторым наборам (ag, ..., a*k). Поэтому
Ρ(ξ*-α*,...,ξ*+ι-α*+ι|βη{ξ*-α*})- Р(йк = вЛ)пЯ) "
- Р({& = аА}Пв) * (30)
Но в силу марковского свойства
Ρ({6ι=απ, ...,^ik=flik}ntto = flo. —.6к = А*}) =
χΡ{ξο = αο> •••.6 = А*}. если α*=α£,
О, если акфа\,
Ρ(ξη = αη% .··, &+ι =α*+ι |ξ* = α*) х
χ Ρ{ξο = flo» · · ·» & = α*Ь если ak=a*h,
О, если акфа\,
Ρ(ξ/ι=β/ι, ..., &+l=fl*+ll& = fl*) Χ
х Ρ ({& = ^} Π В), еслиа* = а£,
^0, если акфа\.

156
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Тем самым сумма ]£* в (30) равна
Ρ(6ι=αΛ, ...,&+! =flik+i 16 = flik)P({6k = fl*}nfl)f
что и доказывает формулу (29).
Пусть г — момент остановки (относительно системы разбиений 9* =
= (щ)о^к^п\ см. определение 2 в § 11).
Определение. Будем говорить, что множество В из алгебры Вёп
принадлежит системе множеств Щ, если для каждого 0 ^ k ^ η
ВГ){т = к}е&1 (31)
Нетрудно проверить, что совокупность 9&\ таких множеств В образует
алгебру (называемую алгеброй событий, наблюдаемых до момента г).
Теорема 2. Пусть ξ = (ξο, · · ·» ξπ) — однородная марковская цепь с
матрицей переходных вероятностей \\ρη\\, τ — момент остановки
(относительно &>\ ВеЩ и Α = {ω:τ + 1^η}. Тогда, если Р{ЛпВП
Π (ξΤ = αο)} > 0, то выполнены следующие строго марковские
свойства:
Ρ(ξτ+/=α/, ...,ξτ+ι=αιΗηβη(ξτ = α0)) =
= Ρ(ξτ+/=α/,...,ξτ+1=α,μη{ξτ=α0)}), (32)
и (в предположении Ρ (Л η {ξτ = αο}) > 0)
Ρ(ξτ+/=α/. ...·ξτ+ι=αιΗη{ξτ=α0}) = ρβοβ|...ρβ/_|β/. (33)
Доказательство проведем для простоты лишь в случае 1 = 1.
Поскольку В Π (г = k) £ «^f, то, согласно (29),
Ρ(ξτ+ι=αι,Ληβη{ξτ = α0})= £ Р{&+1 =аь & = а0, т = й, В} =
= Σ p&k+\=a\\ik = abT = k,B)P{ik = a^r = k,B} =
= Σ р(&+1=Я1|6 = ао)Р{& = яо,т = й, В} =
= Ρα0α, 5Ζ P{& = fl0, Τ = Λ, β} = Ρα0α, Р(Л П β Π {ξτ = α0}),
что доказывает и (32), и (33) (в случае (33) надо взять В = Ω). D
Замечание 1. В случае / = 1 строго марковское свойство (32), (33)
эквивалентно, очевидно, тому, что для любого С СХ
Р(£г+1€С|ЛпВп{£г = а0}) = Ра0(С), (34)

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 157
где
ai£C
В свою очередь (34) может быть переформулировано следующим образом:
на множестве А = {т^п- 1}
Р«г+1€С|Я$) = Р€т(С). (35)
что является одной из обычно используемых форм строго марковского
свойства в общей теории однородных марковских процессов.
Замечание 2. Свойства (32) и (33) остаются справедливыми (если
воспользоваться соглашениями, описанными в замечании 1) и без
оговорок, что вероятности событий Α Π Β Π {ξτ = αο} и Α Π {ξτ = αο} должны быть
положительными.
7. Пусть ξ = (ξο> ···, ζη) — однородная марковская цепь с матрицей
переходных вероятностей \\ρη\\,
/f = P(& = U/^«\ U/<*-l|& = /) (36)
и для / φ j
//*) = Ρ(6 = Λ6^/Μ</<*-ΐ|€ό = 0 (37)
— вероятности первого возвращения в состояние / в момент времени k и
первого попадания в состояние / в момент k соответственно.
Покажем, что
/# = ΣΛΜ"*. гдер]? = 1· (38)
*=1
Наглядный смысл этой формулы ясен: чтобы за η шагов попасть из
состояния / в состояние /, надо сначала за k шагов (l^k^n) впервые
попасть в состояние /', а затем за оставшиеся n-k шагов из / попасть
в /. Дадим теперь строгий вывод.
Пусть / фиксировано и
T; = min{l ^k^n: & = /},
полагая ту- = η + 1, если {·} = 0. Тогда //** = Ρ (77 = k |ξο = 0 и
рУ = Р(6. = /|& = 0= Σ Р(6. = Агу = А|€о = 0 =
1^К«
= Σ Р«г/+«-* = Л т, = А |& = Ϊ), (39)

158
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где последнее равенство следует из того, что ξτ,+/ι-Λ = ξ/ι на множестве
{ту = k). Далее, для всякого 1 ^ k ^ η множество {ту = к) = {ту = й, ξΤ/. = /}.
Поэтому, если Ρ{ξο = U ту = k) > О, то в силу теоремы 2
Ρ(ξτ.+„_* = /1ξ0 = /, т} = k) = Ρ(ξτ/+ϋ-* = /1ξο = h r} = й, ξτ/ = /) =
= Р«г/+я-* = /|€гу = /") = р}Г*)
и, согласно (37),
pS)=Ep«r,+«-*=/iu=i.r/=ft)P(r/=ftieo=o=E''ir*)C
что и доказывает соотношение (38).
8. Задачи.
1. Пусть ξ = (ξο,.. ·, ξη) — марковская цепь со значениями в X и / = f(x)
(хеХ) — некоторая функция. Будет ли последовательность (/(£о)» · · ·» Κζη))
образовывать марковскую цепь? Будет ли марковской цепью «обратная»
последовательность (£,, ξ„_ι, ..., ξο)?
2. Пусть Р= \\pij\\, 1 ^/, / <г, — стохастическая матрица и λ —
собственное число этой матрицы, т. е. корень характеристического уравнения
det ||Р — А£|| =0. Показать, что λι = 1 является собственным числом, а все
остальные корни Аг,..., Аг по модулю не больше 1. Если все собственные
числа Αι, ..., Аг различны, то рху допускают представление
pjf = π, + αι7(2)λ§ +... + αι7(Γ)λ*.
где π7·, α,·,·(2),..., а,·/(г) выражаются через элементы матрицы Р. (Из этого
алгебраического подхода к анализу свойств марковских цепей, в частности,
вытекает, что при |Аг| < 1, ..., |АГ| < 1 для каждого / существует предел
lirn р^\ не зависящий от /.)
3. Пусть ξ = (ξο» ···» ξ/ι) —однородная марковская цель с множеством
состояний X и матрицей переходных вероятностей Р=||р*у||. Обозначим
Τφ(χ) = Ε[φ(ξι)\ξθ = Χ] (=J>fo)p*,).
У
Пусть неотрицательная функция φ = φ(χ) удовлетворяет уравнению
Τφ(χ) = φ(χ), хеХ.
Доказать, что последовательность случайных величин
с=(<*,#!) с о*=¥>«*)
образует мартингал.

§ 12. МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 159
4. Пусть ξ = (ξ/ι, Ц Ρ) и ξ = (ξ„, ft, P) —две марковские цепи,
отличающиеся начальными распределениями Π=(ρι, ..., рг) и П = (рь ..., рг).
Пусть ПИ^Р^.
min ρ,·/ ^ ^ > О» Т0
рГ), ffrt) = (p
(л)
р;'). Показать, что если
ΣίΡ^-Ρ^Κ^Ι-Γβ)".
/=1
5. Пусть Ρ и (J- стохастические матрицы. Показать, что PQ и
аР + (1 — <*)(? с 0 ^ α ^ 1 также являются стохастическими матрицами.
6. Рассматривается однородная марковская цепь (ξο, ..., ξη) со
значениями в X = {0, 1} и матрицей переходных вероятностей
('-/.%)■
Ί-Ρ
где0<р<1,0<<7<1. Положим Sn = ξο + ··· + ζη- В обобщение теоремы
Муавра—Лапласа (§ 6) показать, что
Sn~
р+д
и
прд(2-р-д)
(p+qf
► Φ(χ), η —► оо.
Убедиться в том, что в случае ρ +<7 = 1 величины £о»
сформулированное утверждение сводится к тому, что
ξη независимы и
Sn- рп
<*
}-Ф(х),
/z-+oo.

Глава II
МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Вероятностная модель эксперимента с бесконечным числом
исходов. Аксиоматика Колмогорова 161
§ 2. Алгебры и σ-алгебры. Измеримые пространства 171
§ 3. Способы задания вероятностных мер на измеримых
пространствах 191
§ 4. Случайные величины. I 214
§ 5. Случайные элементы 221
§ 6. Интеграл Лебега. Математическое ожидание 226
§7. Условные вероятности и условные математические ожидания
относительно σ-алгебр 266
§ 8. Случайные величины. II 300
§ 9. Построение процесса с заданными конечномерными
распределениями 314
§ 10. Разные виды сходимости последовательностей случайных
величин 324
§11. Гильбертово пространство случайных величин с конечным
вторым моментом 338
§ 12. Характеристические функции 352
§ 13. Гауссовские системы 380

Теория вероятностей как математическая дисциплина может и должна
быть аксиоматизирована совершенно в том же смысле, как геометрия и алгебра.
Это означает, что, после того как даны названия изучаемым объектам и их
основным отношениям, а также аксиомы, которым эти соотношения должны
подчиняться, все дальнейшее изложение должно основываться исключительно
лишь на этих аксиомах, не опираясь на обычное конкретное значение этих
объектов и их отношений.
А. Н. Колмогоров. «Основные понятия теории вероятностей» [32]
§ 1. Вероятностная модель эксперимента
с бесконечным числом исходов.
Аксиоматика Колмогорова
1. Введенные в предшествующей главе модели позволили нам дать
вероятностно-статистическое описание тех экспериментов, число исходов
которых конечно. Так,тройка (Ω, si, Ρ) с Ω = {ω: α;=(αι, ...,α„), α,·=0,1},
si={А: А СΩ} и Ρ ({ω}) = ρΣ aiqn-T. <ч _ это модель эксперимента,
состоящего в я-кратном «независимом» подбрасывании монеты с вероятностью
выпадания «герба», равной р. В этой модели число N(Q) всех исходов, т.е.
число точек множества Ω, конечно и равно 2п.
Зададимся теперь вопросом о построении вероятностной модели для
эксперимента, состоящего в бесконечном «независимом» подбрасывании
монеты с вероятностью выпадания «герба», на каждом шаге равной р.
В качестве множества исходов естественно взять множество
Ω = {α;: α; = (αι, α<ι, ...), а/=0, 1},
т. е. пространство всех последовательностей ω = (а\, аг, ...), элементы
которых принимают два значения 0 или 1.
Чему равна мощность Ν(Ω) множества Ω? Хорошо известно, что
всякое число а£[0, 1) может быть однозначно разложено в (содержащую
бесконечное число нулей) двоичную дробь
«=^ + | + - («-=0,1).
Отсюда можно вывести, что между точками Ω множества ω и точками а
множества [0, 1) существует взаимно однозначное соответствие, а значит,
мощность множества Ω равна мощности континуума.
Таким образом, если желать строить вероятностные модели,
описывающие эксперименты типа бесконечного подбрасывания монеты, то
приходится привлекать к рассмотрению пространства Ω довольно сложной
природы.

162 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Попытаемся теперь понять, как разумно следовало бы задавать
(приписывать) вероятности в модели бесконечного числа «независимых»
подбрасываний «правильной» (p = q = 1/2) монеты.
Поскольку в качестве Ω можно взять множество [0, 1), то
интересующая нас задача может рассматриваться как задача о значениях
вероятностей в модели «случайного выбора точки из множества [0, 1)». Из
соображений симметрии ясно, что все исходы должны быть «равновоз-
можными». Но множество [0, 1) несчетно, и если считать, что его
вероятность равна единице, то получается, что «вес» ρ(ω) каждого исхода
и>е [0, 1) непременно должен быть равен нулю. Однако из такого способа
задания вероятностей (р(о;) = 0, а;€ [0, 1)) мало что следует. Дело в том,
что обычно мы интересуемся не тем, с какой вероятностью произойдет тот
или иной исход, а тем, какова вероятность того, что исход эксперимента
будет принадлежать тому или иному заданному множеству исходов
(событию) Л. В элементарной теории вероятностей по «весам» ρ(ω) можно было
найти вероятность Р(Л) события Л: Р(Л) = Σ ρ(ω). В рассматриваемом
сейчас случае при ρ(ω) = 0, ω £ [0, 1), мы не можем определить, например,
вероятность того, что «случайно выбранная точка из [0, 1)» будет
принадлежать множеству [0, 1/2). В то же самое время интуитивно ясно, что эта
вероятность должна была бы быть равной 1/2.
Эти замечания подсказывают, что при построении вероятностных
моделей в случае несчетных пространств Ω вероятности надо задавать не для
отдельных исходов, а для некоторых множеств из Ω. Та же аргументация,
что и в первой главе, показывает, что запас множеств, на которых задается
вероятность, должен быть замкнутым относительно взятия объединения,
пересечения и дополнения. В связи с этим полезно следующее
Определение 1. Пусть Ω — некоторое множество точек ω. Система si
подмножеств Ω называется алгеброй, если
b) A,Besi ^ AuBesi, A n Be я/,
c) А в si => А € si.
(Заметим, что в условии Ь) достаточно требовать лишь, чтобы либо
AuBes/, либо AnBes/, поскольку Лив = Л ПВ, ЛпВ=ЛиВ.)
Для формулировки понятия вероятностной модели нам необходимо
Определение 2. Пусть s/ — алгебра подмножеств Ω. Функция
множеств μ = μ(Α), AGs/, принимающая значения в [0, оо], называется
конечно-аддитивной мерой, заданной на si, если для любых двух
непересекающихся множеств Л и В из si
μ(Α+Β) = μ(Α) + μ(Β).
(О

§ 1. АКСИОМАТИКА КОЛМОГОРОВА
163
Конечно-аддитивная мера μ с μ(Ω)<οο называется конечной, а в
случае μ(Ω) = 1 — конечно-аддитивной вероятностной мерой или
конечно-аддитивной вероятностью.
2. Дадим теперь определение вероятностной модели (в расширенном
смысле) экспериментов с исходами («явлениями») из множества Ω.
Определение 3. Совокупность объектов
(Ω, si, Ρ),
где
a) Ω — множество точек ω;
b) si — алгебра подмножеств Ω;
c) Ρ — конечно-аддитивная вероятность на si,
называется вероятностной моделью, вероятностной «теорией»
{эксперимента) в расширенном смысле.
Оказывается, однако, что для построения плодотворной
математической теории эта вероятностная модель является слишком широкой.
Поэтому приходится вводить ограничения как на классы рассматриваемых
подмножеств множества Ω, так и на классы допустимых вероятностных мер.
Определение 4. Система & подмножеств Ω называется σ-алгеброй,
если она является алгеброй и, кроме того, выполнено следующее свойство
(усиление свойства Ь) из определения 1):
Ь*) если Апе&, я=1, 2, ..., то
[JAne^, р|л„е^
(при этом достаточно требовать, чтобы либо (J Ап е#, либо f] An €#).
Определение 5. Пространство Ω вместе с σ-алгеброй его
подмножеств & называется измеримым пространством и обозначается (Ω, &).
Определение 6. Конечно-аддитивная мера μ, заданная на алгебре si
подмножеств множества Ω, называется счетно-аддитивной (σ-адди-
тивной) или просто мерой, если для любых попарно непересекающихся
00
множеств Ль Лг, ... из Л таких, что ]£ Ап Gsi,
(ОО \ 00
Σλ„ =Х>(л„).
п=\ ) л=1
Мера μ называется σ-конечной, если пространство Ω можно
представить в виде
ОО
Ω = ^Ω„, 9,nesi,
л=1
сМф„)<оо, /!=1,2, ...

164 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Мера (подчеркнем — счетно-аддитивная мера) Ρ на алгебре s/,
удовлетворяющая условию Ρ(Ω) = 1, будет называться вероятностной
мерой или вероятностью (определенной на множествах алгебры s/).
Остановимся на некоторых свойствах вероятностных мер.
Если 0 — пустое множество, то
Р(0) = О.
Если А, В 6s/, то
Ρ (Л U В) = Р(Л) + Р(В) - Р(Л Π В).
Если А, В 6s/ и В С А, то
Р{В)£Р(А).
Если Ап б s/, η = 1, 2, ..., и (J An б s/, то
Р(Л,иЛ2и...КРИ1) + Р(Л2)+...
Первые три свойства очевидны. Для доказательства последнего доста-
оо оо _ _
точно заметить, что (J Л„=£ Вп, где В\ =Ль Вп=-А\ П...ПЛ„_1 ПЛ„,
/2=1 л=1
/ζ ^ 2, β/ Π By = 0, / ^ у, и, значит,
р( О Л0 =Ρ(Σ вЛ =Σ ρ(β*κΣ ρ(^)·
\я=1 / \л=1 / /1=1 /1=1
Приводимая ниже теорема, имеющая многочисленные применения, дает
условия, при которых конечно-аддитивная функция множеств является в
то же самое время и счетно-аддитивной.
Теорема. Пусть Ρ — конечно-аддитивная функция множеств,
заданная на алгебре si, с Ρ(Ω) = 1. Тогда следующие четыре условия
эквивалентны'.
1) Ρ σ-аддитивна (Ρ — вероятность);
2) Ρ непрерывна сверху, т. е. для любых множеств А\, А<^, ...6s/
оо
таких, что Ап САп+\, (J An6s/,
/ι=1
lim Р(ЛЛ)
4Q 4
3) Ρ непрерывна снизу, т. е. для любых множеств А\, A<i, ...6 s/
оо
таких, что АпЭАп+\, f] An6s/,
/ι=1
limP(4) = p(f| лЛ

§ 1. АКСИОМАТИКА КОЛМОГОРОВА
165
4) Ρ непрерывна в «нуле», т. е. для любых множеств А ь Л2,... £ s&
оо
таких, что Ап+\ САп> f] Л„ = 0,
ПтР(Лл) = 0.
Доказательство. 1) => 2). Поскольку
оо
(J Лл=Л1+(Л2\Л1) + (Лз\Л2) + ...,
л=1
ТО
р(0 А") =рИ1) + рИ2\^.) + РИз\Л2) + ...=
= Р(Л,) + Р(Л2)-Р(Л,) + РИз)-РИ2) + ...=НгпР(Ля).
2) => 3). Пусть η > 1, тогда
Ρ(Αη) = Ρ(Αι\(Αι\Αη)) = Ρ(Αι)-Ρ(Αι\Αη).
Последовательность множеств {А\\Ап}п^\ является неубывающей (см.
таблицу на с. 167) и
и<мл.>=ллПЛ|.·
л=1 п=1
Тогда в силу 2)
lirn Р(Л, \Ля) = ΡШ(Л,\ЛЛ) J
и, значит,
Игл Ρ(Λ„) = Ρ(Λ,)-Ηπι Р(Л,\Л„) =
= P(Ai)-Pm(Al\An))=P(Ai)-p(Ai\f\AA^
= Р(Л,)-Р(Л1) + РтлЛ=РтлЛ
3) => 4). Очевидно.

166 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
4) => 1). Пусть множества А\, Лг, ...€&/ попарно не пересекаются и
£ Ап£я/. Тогда
п=\
ρ ΣΜ=Ρ Σ»0+ρ Σ*·
w=l
w = l
Vi=«+1
и поскольку ]ζ A· i 0, л —► oo, то
Σ Р(Л,·) = lim J] Р(Л,) = Игл Ρ Σ Л< И
i=l
/=1
л = 1
= lim
л
Σ*-ρΣ*
W=l
\/=л+1
-iP^HP^iP)-
а
Σ"
3. Теперь можно сформулировать ставшую общепринятой систему
аксиом Колмогорова, лежащих в основе построения вероятностных моделей
экспериментов с исходами (явлениями) из множества Ω.
Основное определение. Набор объектов
(Ω, ^\ Р),
где
a) Ω — множество точек ω,
b) & — σ-алгебра подмножеств Ω,
c) Ρ — вероятность на &%
называется вероятностной моделью (эксперимента) или
вероятностным пространством. При этом пространство исходов Ω называется
пространством элементарных событий, множества А из & — событиями,
а Р(А) — вероятностью события А.
Из данного определения видно, что аксиоматика теории вероятностей
существенно опирается на аппарат теории множеств и теории меры. В
связи с этим полезна таблица (см. с. 167—168), показывающая, как
различные понятия интерпретируются в теории множеств и в теории
вероятностей. Примеры наиболее важных для теории вероятностей измеримых
пространств и способы задания вероятностей на них будут даны в
последующих двух параграфах.
Замечание. При построении моделей экспериментов, призванных
описывать вероятностные связи «явлений с условиями», следует (согласно
замечанию в § 1 гл. I) оговаривать, при каком «комплексе условий» эти

§ 1. АКСИОМАТИКА КОЛМОГОРОВА
167
Таблица 1
Обозначения
ω
Ω
9
Ае&
Α=Ω\Α
AuB
АПВ
(или АВ)
0
АпВ = 0
А+В
А\В
ААВ
оо
U А.
л=1
оо
Σ An
n=l
Интерпретация теории
множеств
элемент, точка
множество точек
σ-алгебра подмножеств
множество точек
дополнение множества Л,
т. е. множество точек а>, не
входящих в А
объединение множеств А и
В, т. е. множество точек а>,
входящих или в А, или в В
пересечение множеств А и В,
т. е. множество точек а>,
входящих и в Л, и в В
пустое множество
множества Л и θ не
пересекаются
сумма множеств, т. е.
объединение непересекающихся
множеств
разность множеств Л и β,
т. е. множество точек,
входящих в Л, но не входящих в В
симметрическая разность
множеств, т. е. множество
(Α\Β)Ό(Β\Α)
объединение множеств А \,
Л2, ..., т. е. множество точек
а>, входящих или в А\у или в
л2,...
сумма, т. е. объединение
попарно непересекающихся
множеств Ль Лг, ...
Интерпретация теории
вероятностей
исход, элементарное событие
пространство исходов,
элементарных событий;
достоверное событие
σ-алгебра событий
событие (если исход ω € Л, то
говорят, что наступило
событие Л)
событие, состоящее в
ненаступлении события Л
событие, состоящее в том,
что произошло по крайней
мере одно из событий Л
или В
событие, состоящее в том,
что одновременно
произошло и Л, и θ
невозможное событие
события Л и θ несовместны
(не могут наступать
одновременно)
событие, состоящее в том,
что произошло одно из двух
несовместных событий
событие, состоящее в том,
что произошло Л, но не
произошло В
событие, состоящее в том,
что произошло одно из
событий Л или θ, но не оба
одновременно
событие, состоящее в
наступлении по крайней мере
одного из событий Л ι, Лг, ...
событие, состоящее в
наступлении одного из
несовместных событий Ль Лг, ...

168 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
оо
П An
л=1
Ап Τ А (или
Α = \ιπ\ϊΑη)
η ' '
Αη 1А (или
А = \\т[Ап)
η * '
lim An
η
(или lim sup Л„,
или {An 6. 4.})
[ lim An
η
(или lim inf An)
пересечение множеств Ль
Лг, ..., т. е. множество
точек а>, входящих и в Л ι, и в
л2,...
возрастающая
последовательность множеств Л„,
сходящаяся к Л, т.е. А\ СЛ2С ...
иЛ=0 А,
я=1
убывающая
последовательность множеств Ля,
сходящаяся к Л, т. е. Л) ЭЛгЭ ···
и Л = Π Λ„
оо оо
множество Π (J Ak
п—\ k—n
оо оо
множество (J Π Ak
n=l k=n
Продолжение
событие, состоящее в том,
что одновременно
произошли события Ль Лг, ...
возрастающая
последовательность событий,
сходящихся к событию Л
убывающая
последовательность событий, сходящихся
к событию Л
множество исходов а>,
которые бесконечное число раз
(бесконечно часто)
встречаются в последовательности
Ль Л2, ...
событие, состоящее в том,
что произойдут все события
Ль Лг, ... за исключением,
быть может, только
конечного числа
эксперименты рассматриваются. Как правило, мы этого не делаем,
придерживаясь той точки зрения, что каждый раз должно быть ясно, в чем
эти «условия» заключаются.
4. Задачи.
1. Пусть il = {r: г€ [О, 1]} —множество рациональных точек на [0, 1],
я/ — алгебра множеств, каждое из которых является конечной
суммой непересекающихся множеств А вида {г: а<r<6}, {r: a^r<b},
{r:a<r^b}, {na^r^b}, и Р(Л) = 6-а. Показать, что Р(Л), Аея/,
является конечно-аддитивной, но не счетно-аддитивной функцией
множеств.
2. Пусть Ω — некоторое счетное множество и & — совокупность всех
его подмножеств. Положим μ(/4) = 0, если А конечно, и д(Л) = оо, если
А бесконечно. Показать, что функция множеств μ конечно-аддитивна, но
не счетно-аддитивна.
3. Пусть μ — конечная мера на σ-алгебре <^\ Ап £ «£", η = 1, 2, ..., и
A =lim Ап, (т.е. A =lim Лл = Игд Ап). Показать, что μ(Α) = 1\τη μ(Αη).
п η п п

§ 1. АКСИОМАТИКА КОЛМОГОРОВА
169
4. Доказать, что Р(Л Δ В) = Р(Л) + Р(В) - 2Р(Л Π В). (Ср. с задачей 4
§ 1 гл. I.)
5. Показать, что «расстояния» р\{Ау В) и ρ<ι(Α, В), определенные по
формулам
р,(Л, β) = Ρ(ΛΔΒ),
[О, если Р(ЛиВ) = 0,
удовлетворяют «неравенству треугольника».
6. Пусть μ — конечно-аддитивная мера на алгебре я/, множества
оо
А\, Л 2, ... €d попарно не пересекаются и А = £ Л/ е я/. Тогда μ(/1) ^
/=1
/=1
7. Доказать, что
lim sup An = lim inf Л„, lim inf An = lim sup Л„,
lim inf Л„ С lim sup Л„, lim sup(>lrt U Bn) = lim sup An U lim sup β„,
lim inf(y4rt Π B„) = lim inf An Π lim inf B„,
lim sup An Π lim inf Вя С lim sup(>lrt П Вп) С lim sup An Π lim sup Bn.
Если Л„ t А или Л„ Ι Л, то
lim inf Л„ = lim sup Л„.
8. Пусть {хп} — числовая последовательность и Ля = (-оо, хл).
Показать, что χ = lim sup xn и А = lim sup Л„ связаны следующим образом:
(-оо, х)САС(—оо, jc]. Иначе говоря, Л равно или (—оо, jc), или (—оо, х].
9. Привести пример, показывающий, что для мер, принимающих
значение +оо, из счетной аддитивности не вытекает, вообще говоря,
непрерывность в «нуле» 0.
10. Проверить неравенство Буля: Р(Л ПВ) ^ 1 - Р(Л) - Р(В).
И. Пусть Л1,...,Л„ — некоторые события из «£". Говорят, что эта
система событий является перестановочной (exchangeable или
interchangeable), если вероятности Р(Л,·, ...Л/,) одни и те же (= pi) для любого
выбора индексов 1 ^ i\ <... < // ^ η и всех 1 < / ^ п. Доказать, что для таких
событий имеет место следующая формула:
Y[J Л,J =/*/>!-<
с2р2 + с2рз-... + (-1),|-|р-.

170 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
12. Пусть (Ak)k^\ —бесконечная последовательность
перестановочных событий, т. е. для любого η ^ 1 и любого набора индексов 1 </j < ...
...</„ вероятности Р(Л/, ...Л/я) имеют одно и то же значение (=рл).
Доказать, что
р(шап) = р1 Π л J =дг^ ,?,·,
rjyep0 = l,AHPn) = Pn+\-Pn,&4Pn) = &l(&j-l(Pn))J>2.
13. Пусть (Ля)л^1 —некоторая последовательность множеств, 1(Ап) —
индикатор множества Лл, η ^ 1. Показать, что
/film Ό = ШП 1(А'п)ч I(Ш АЛ = ΪΙϊχΤ /(Лл),
V „ / „ V/I//I
(оо \ оо
(JA, <]Г/(ЛЛ).
л=1 / л=1
14. Показать, что
™П 'Ил).
15. Доказать, что
Р(Пт Лл)^Пт Р(ЛЯ), P(lim Л„КИт Р(Л„).
16. Пусть Л* = Ит Лл и Л*=ИтЛл. Показать, что Р(ЛЯ-Л*)->0,
Р(Л*-Ля)-+0.
17. Пусть множества Лл —► Л (в том смысле, что А=А* = Л*). Показать,
что Р(ЛЛЛл)-+0.
18. Пусть множества Ля сходятся к множеству Л в том смысле, что
Р(ЛЛЛ*) = Р(ЛЛЛ*) = 0. Показать, что тогда также Р(ЛЛЛл)->0.
19. Доказать, что симметрическая разность ААВ множеств Л и β
удовлетворяет следующему свойству:
/(Л Δ В) = /(Л) + 1(B) (mod 2).
(Вывести отсюда, что Ρ (Л Δ β) = Ρ (Л) + Ρ (β) - 2Р(Л Π β); ср. с
задачей 4.) Проверить также следующие свойства симметрической разности:
(ААВ)АС=АА(ВАС), (ААВ)А(ВАС) = ААС,
А&В = С & А = ВАС.

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
171
§ 2. Алгебры и σ-алгебры. Измеримые пространства
1. Алгебры и σ-алгебры являются составными элементами при по-,
строении вероятностных моделей (экспериментов). Приведем примеры и
ряд результатов, относящихся к этим объектам.
Пусть Ω — некоторое пространство элементарных событий. Очевидным
образом системы множеств
Λ = {0, Ω}, &*={А: ACQ)
являются и алгебрами, и σ-алгебрами. При этом ^* —тривиальная, самая
«бедная» σ-алгебра, а «^* — самая «богатая» σ-алгебра, состоящая из
всех подмножеств Ω.
В случае конечных пространств Ω σ-алгебра «£"* вполне обозрима, и,
как правило, именно ее рассматривают в элементарной теории в качестве
системы «событий». В случае же несчетных пространств класс &*
оказывается слишком широким, поскольку на системе таких множеств не всегда
удается «согласованным образом» задать вероятность.
Если А С Ω, то система
^={/1, Л, 0, Ω}
является также примером алгебры (и σ-алгебры) и называется алгеброй
(σ-алгеброй), порожденной множеством А.
Эта система множеств является частным случаем систем, порождаемых
разбиениями. А именно, пусть
9 = {DUD29 ...}
— некоторое счетное разбиение Ω на непустые множества:
Ω = Οι+02+...; AnDy = 0, ίφ}.
Тогда система л^ = а(^), образованная из множеств, являющихся
объединением конечного или счетного числа элементов разбиения (с
присоединенным пустым множеством), является алгеброй (и σ-алгеброй).
Следующая лемма имеет важное значение, поскольку в ней
устанавливается принципиальная возможность построения наименьших алгебры
и σ-алгебры, содержащих заданную систему множеств.
Лемма 1. Пусть £ — некоторая система множеств из Ω. Тогда
существуют наименьшая алгебра, обозначаемая а(<?), и
наименьшая σ-алгебра, обозначаемая σ(<?), содержащие все множества из S.
Доказательство. Класс &* всех подмножеств пространства Ω есть
σ-алгебра. Таким образом, по крайней мере одна алгебра и одна
σ-алгебра, содержащие <?, существуют. Образуем теперь систему α(<?) (σ(^)),

172 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
состоящую из тех множеств, которые принадлежат любой алгебре (σ-алге-
бре), содержащей £. Нетрудно проверить, что такая система есть алгебра
(σ-алгебра) и к тому же наименьшая. D
Замечание 1. Систему а(<?) (соответственно σ(<?)) часто называют
(наименьшей) алгеброй (соответственно σ-алгеброй), порожденной
системой множеств S.
Как уже было отмечено, понятие σ-алгебры играет в теории
вероятностей важную роль, входя в «основное определение» вероятностного
пространства (п. 3 § 1). В этой связи понятно желание дать
конструктивный способ получения σ-алгебры a(si), порожденной, скажем, некоторой
алгеброй si'. (Лемма 1 устанавливает, что такая σ-алгебра существует, но
не дает ее эффективного построения.)
Один из мыслимых и представляющихся естественными способов
образования a(si) из si мог бы быть следующим.
Пусть & — некоторая система подмножеств Ω. Обозначим & систему
подмножеств Ω, состоящую из множеств, входящих в &, дополнений к ним
и конечных или счетных объединений множеств из £. Положим sio = si,
si\ = sSo, ^2 = ^ит.д. Понятно, что при каждом η система sin содержится
в a(si), и можно было бы ожидать, что при некотором η sin = a(si) или,
по крайней мере, (J sin = a(si).
Однако это, вообще говоря, не так. Действительно, возьмем Ω = (0, 1 ] и
в качестве алгебры si рассмотрим систему подмножеств Ω, порожденную
пустым множеством 0 и конечными суммами интервалов вида (а, Ь] с
рациональными концами а и Ь. Нетрудно убедиться, что в рассматриваемом
оо
случае система множеств (J sin строго меньше σ-алгебры a(si).
В дальшейшем наш основной интерес будет связан не с тем, как,
скажем, из алгебры si сконструировать наименьшую σ-алгебру a(si),
а с вопросом о том, как установить, что та или иная заданная система
множеств является σ-алгеброй.
Для получения ответа на такой вопрос нам понадобится важное понятие
«монотонного класса».
Определение 1. Система Л подмножеств Ω называется
монотонным классом, если из того, что Ап £ jM, η = 1, 2, ..., и Ап | А или Ап [ А,
следует, что А е Ji.
Пусть & — некоторая система множеств. Будем обозначать через μ(<?)
наименьший монотонный класс, содержащий &. (Доказательство
существования такого класса проводится так же, как и в лемме 1.)
Лемма 2. Для того чтобы алгебра si была в то же время и
σ-алгеброй, необходимо и достаточно, чтобы она была монотонным
классом.

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
173
Доказательство. Каждая σ-алгебра является, очевидным образом,
монотонным классом. Пусть теперь si является монотонным классом и
η
An€&iyn=\y2y ... Ясно, что В п = (J Ai,e si и Вп С Вп+\. Следовательно,
/=1
оо
по определению монотонного класса Вп | (J Л,- es/. Аналогично устанав-
/=1
оо
ливается, что f] Ai es/. D
/ = 1
Используя эту лемму, докажем справедливость следующего результата,
проясняющего связь понятий <«т-алгебра» и «монотонный класс».
Теорема 1. Пусть si— алгебра. Тогда
μΚ)=σ(^). (1)
Доказательство. Из леммы 2 μ(&ΐ) С a(si). Поэтому достаточно
показать, что μ{ΰί) является σ-алгеброй. Но система ^ = μ(Λ^)
—монотонный класс, поэтому опять-таки по лемме 2 достаточно только установить,
что μ№) является алгеброй.
Возьмем АеЛ н покажем, что тогда А^Л. С этой целью применим
часто используемый в дальнейшем принцип подходящих множеств,
состоящий в следующем.
Обозначим
лГ={В: ВеЛ, ВеЛ)
все те множества, которые обладают интересующим нас свойством. Ясно,
что s/СЛСЛ. Установим, что ^—монотонный класс.
Пусть Вп £ Л, тогда Вп £ Л, Вп е Л, и поэтому
lim Τ Вп е Л, lim Τ Вп е J(, lim | Вп е Л, lim | Вп £ Л.
Следовательно,
lim Τ Вп = lim | Вп G Лу lim | Вп = lim | Вп е Лу
lim Τ Βη = lim | Bn G Л, lim | Вп = lim Τ Вп е Л,
а значит, ^—монотонный класс. Но Л<^Л и ^ — наименьший
монотонный класс. Поэтому Л = Л, и если А еЛ = μ(&?)> то и А еЛ, т. е.
класс Л замкнут относительно операции взятия дополнения.
Покажем теперь, что класс Л замкнут относительно взятия
пересечения.
Пусть АеЛ и
ЛА={В: ВеЛ.АпВеЛ}.

174 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Из равенств
lim | (Л П Вп) = Л η lim j Bn, lim Τ {Α Π Βη) = А η lim T Srt
следует, что λ£λ —монотонный класс.
Далее, легко проверяется, что
(АеЛГв) *> (ВеЛГА). (2)
Пусть теперь Аея/, тогда поскольку srf — алгебра, то для всякого
Вед/ множество А Г) В е si и, значит,
rfCJtACJf.
Но Μ а — монотонный класс, а ^ — наименьший монотонный класс.
Значит, Л а = Λί Для любого Аед/. Но тогда из (2) вытекает, что для Аед/
и BeJi
Поэтому, если Л £ л^, то для любого BeJK
АеЛГв-
В силу произвольности Л £ ^ отсюда следует, что
Значит, для всякого BeJt
jMb =«^,
т. е. если Вб^иСбД то СпВеЛГ.
Итак, класс ^ замкнут относительно операций взятия дополнения
и пересечения (а значит, и объединения). Следовательно, Λ = μ(£/) —
алгебра, что и завершает доказательство теоремы. D
Анализ проведенного доказательства показывает, что при
рассмотрении систем множеств, образованных по принципу подходящих
множеств, было важно то, что эти системы замкнуты относительно
некоторых теоретико-множественных операций.
С этой точки зрения, во всей проблематике «монотонных классов»
оказывается полезным выделение так называемых «ъ-систем» и «Х-систем»
множеств, которые, в сущности, и были использованы в доказательстве
теоремы 1. С помощью этих понятий можно дать еще ряд утверждений
(теорема 2), которые относятся к рассматриваемой проблематике и
часто оказываются более удобными, нежели непосредственное обращение к
проверке того, что та или иная система множеств является «монотонным
классом».

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
175
Определение 2 («π-λ-системы»). Пусть Ω — некоторое
пространство. Система & подмножеств Ω называется ^-системой, если она
замкнута относительно взятия конечных пересечений: если Ль .... Ап £ &,
Система Jif подмножеств Ω называется Х-системой, если
(Αα)Ω£.Ζ\
{\ь){А9В€#нАСВ) => (B\AbSf)%
(\с)(Апе#уп>\уиАп1А) => {AeSf).
Система Θ подмножеств Ω, являющаяся одновременно π-системой и
λ-системой, называется π-Χ-системой или d-системой Дынкина.
Замечание 2. Полезно отметить, что группа условий (Afl), (А&), (Ас),
определяющая λ-систему, равносильна (задача 9) группе условий (АД
(ΚΙ (ΚΙ где
{Х'ь) еытАе&,тоАе&,
(А£) если AneJfy О 1, АппАт = 0 для тфп, то f| An GJif.
Отметим также, что всякая алгебра, очевидно, является π-системой.
Если £ — некоторая система множеств, то через π(<?), Х(£) и d(£)
обозначаются соответственно наименьшие π-, λ- и d-системы,
содержащие £.
Роль π-λ-систем проясняется в приводимой ниже теореме. Чтобы
полнее раскрыть смысл этой теоремы, заметим, что каждая σ-алгебра
является Х-системой. Обратное же, вообще говоря, не верно. Так, если
Ω = {1, 2, 3, 4}, то система
JSf = {0f Ω, (1, 2), (1, 3), (1, 4), (2, 3), (2, 4), (3, 4)}
является λ-системой, но не σ-алгеброй.
Однако оказывается, что если дополнительно потребовать, чтобы
λ-система была в то же самое время и π-системой, то тогда эта π-
λ-система уже будет и σ-алгеброй.
Теорема 2 (о π-λ-системах). а) Всякая π-Χ-система £ является
σ-алгеброй.
b) Пусть £ есть π-система множеств. Тогда Χ(£) = ά(£) = σ(£).
c) Пусть £ есть ^-система множеств, <£ есть какая-то Х-си-
стема u£Q<£. Тогда а(£)С&.
Доказательство, а) Система £ содержит Ω (в силу (Afl)) и замкнута
по отношению к взятию дополнений и конечных пересечений (согласно
(Х'ь) и предположению, что £ является π-системой). Тем самым система
множеств £ является алгеброй (в соответствии с определением 1 из
§ 1). Чтобы теперь доказать, что £ является также и σ-алгеброй, надо
(в соответствии с определением 4 из § 1) убедиться в том, что если

176 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
множества В\, В2, ... принадлежат <?, то тогда и их объединение (J Вп
η
также принадлежит £.
Положим А\=В\ и Ап = ВппА\Г)...пАп-\. Тогда, согласно (λ£),
Π Ап е £. Но f| Bn = f| Д,, следовательно, и f) Bn € £.
Итак, всякая π-λ-система является σ-алгеброй.
b) Рассмотрим λ-систему \(£) и σ-алгебру σ(£). Как уже отмечалось,
всякая σ-алгебра является λ-системой. Тогда поскольку σ(£) Э £, то
σ(£) = λ(σ(<?) D λ(<?). Тем самым λ(<?) С σ(£).
Если теперь показать, что система \(£) является также и π-системой,
то тогда, согласно утверждению а), получим, что Х(£) есть σ-алгебра,
содержащая £. Но так как σ(£) есть минимальная σ-алгебра,
содержащая <?, и по доказанному \(£) Qa(£)y то \(£) = σ(£).
Итак, обратимся к доказательству того, что Х(£) является
π-системой.
Как и при доказательстве теоремы 1, воспользуемся принципом
подходящих множеств.
Пусть
£\={Ве\(£): ВпАеХ(£) для всех Ае£}.
Если β £ <?, то ВпАе£ (поскольку £ есть π-система). Значит, £С£Х.
Но система £\ есть λ-система (в силу самого определения £\). Поэтому
\(£)С\(£\) = £\. С другой стороны, по определению системы £\ имеет
место включение £\ С\(£).
Таким образом, £\ = \(£).
Пусть теперь
£2 = {Ве Х(£): В Π А е \(£) для всех А е Х(£)}.
Как и £\, система £2 является λ-системой.
Возьмем множество В £ £. Тогда по определению системы £\ для всех
Ае£\=\(£) находим, что ВпАе\(£). Следовательно, из определения
системы £2 видим, что £С£2 и \(£) С \(£2) = £2. Но \(£)Э£2. Поэтому
\(£)=£2, и, значит, для любых Л и β из \(£) множество АпВе\(£),
т. е. система \(£) является π-системой. Итак, Х(£) является π-λ-системой
(а значит, \(£) = d(£)), и, как уже было отмечено выше, отсюда следует,
что \(£) = σ(£).
Тем самым утверждение Ь) установлено.
c) Из того, что £ С j£f и JSf есть λ-система, находим, что Х(£) С \{£g) =
= -Sf. Из b) следует, что Х(£) = σ(£). Поэтому σ{£) С&. D
Замечание 3. Результаты теоремы 2 могут быть выведены
непосредственно и из теоремы 1 (задача 10).

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
177
Сформулируем два утверждения, доказательство которых служит
хорошей иллюстрацией применения принципа подходящих множеств и
теоремы 2 о π-λ-системах.
Лемма 3. Пусть Ρ и Q — две вероятностные меры, заданные на
измеримом пространстве (Ω, &). Пусть £ — некоторая τ-система
множеств из & и меры Ρ и Q совпадают на множествах из £.
Тогда эти меры совпадают и на σ-алгебре σ(&). В частности, если
si есть алгебра и меры Ρ и Q совпадают на ее множествах, то они
совпадают и на множествах из а(я/).
Доказательство. Воспользуемся принципом подходящих
множеств, беря в качестве таковых множества -Sf =_{Л £σ(<?): Р(Л) = 0(Л)}.
Ясно, что ΩΞ-if. Если Л €JSf, то, очевидно, и Л GJSf, поскольку Р(Л) =
= 1 -Р(Л) = 1 -0(Л) = 0(Л). Если Ль Л2, ... есть система
непересекающихся множеств в Jif, тогда в силу счетной аддитивности мер Ρ
иО
р(ил")==Ер(л")=Е0(л")=а(и^)·
Тем самым выполнены свойства (λα), (\'b), (\'с), и, значит, JSf является
А-системой.
По условию леммы <?Cj£f и £ является π-системой. Тогда из
утверждения с) теоремы 2 следует, что σ(<?) С j£f. В силу же самого определения
подходящих множеств это свойство и означает, что меры Ρ и Q совпадают
на σ-алгебре σ(<?). D
Лемма 4. Пусть si\, л^,..., sin — независимые {относительно
меры Р) алгебры событий. Тогда относительно этой меры будут
независимы и σ-алгебры а(я/\), σ(Λ^), ..., σ(^η).
Доказательство. Отметим прежде всего, что в общих
вероятностных моделях независимость множеств и систем множеств (алгебр, σ-ал-
гебр, ...) определяется точно так же, как и в элементарной теории
вероятностей (см. определения 2—5 в § 3 гл. I).
Пусть Л2, ..., Ап —множества из л^, ..., stfn соответственно и
^1 = {леаИ): Р(ЛПЛ2П...ПЛЛ) = Р(Л)ПР(Л,)|.
(3)
Покажем, что j£f является λ-системой.
Ясно, что ΩΕ-Sf, т.е. выполнено свойство (Ха). Пусть Л и β
принадлежат &х и Л СВ. Тогда поскольку
η
Ρ(ΑηΑιη...ηΑ„) = Ρ[Α) Д РИ*)
*=2

178 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
и
Р{ВпА1П...пАп) = Р{В)ЦР{Ак),
k=2
то, вычитая из второго соотношения первое, находим, что
η
Р((В\А)ПА{Г)...Г)Ап) = Р(В\А) Ц Р[Ак).
k=2
Значит, выполнено свойство (λ&). Наконец, если множества Вь€а(д/\)у
k ^ 1, и Bk Τ В, то Bk Π Ak Π... Π Αη Τ Β Π Лг Π... Π А п. Поэтому в силу
непрерывности сверху вероятности Ρ (см. теорему в § 1) из Р^пЛгП...
η
... C\An) = P(Bk) Π Ρ(Λ/) предельным переходом (&—>оо) находим, что
ι=2
η
Р(ВПЛ2П...ПЛЛ) = Р(В)ПР(Л/),
i=2
т. е. выполнено свойство (Ас).
Таким образом, система Jifi является λ-системой и Jifj Э^ь Применяя
утверждение с) из теоремы 2, находим, что JSfi 2σ(^1).
Тем самым показано, что системы σ(^), λ^, ..., я/п являются
независимыми.
Проводя аналогичные рассмотрения для системы л^, ..., д£, σ(^ί)
приходим к тому, что независимыми будут и системы σ(^), λ^, ..., л^,
σ(^), или, равносильно, системы ^, ..., д/п, σ(^\), σ(Λ^).
Продолжая этот процесс, приходим к независимости системы,
состоящей из σ-алгебр σ(β/\)% σ(^), ..., а(д/п). D
Замечание 4. Проанализируем еще раз, что же нужно требовать от
системы множеств, чтобы она образовывала σ-алгебру.
С этой целью будем говорить, что система множеств & является
π*-системой, если она замкнута относительно взятия счетного пересечения:
оо
Л1, Л2, ...£<? => Р| Л„£<?.
Тогда из определения σ-алгебры следует, что если некоторая алгебра
£ является в то же самое время и ^-системой, то она будет и σ-ал-
геброй.
Подход же, основанный на понятии «π-λ-система», несколько иной.
Здесь мы отправляемся не от понятия «алгебра», а от понятия «λ-систе-
ма». И, как следует из утверждения а) теоремы 2, если эта Х-система
является в то же самое время ^-системой, то она будет и σ-алгеброй.
Ясно, в чем состоит разница в этих подходах.

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
179
Когда мы проверяем, что некоторая система является σ-алгеброй,
начиная при этом с проверки того, что эта система является алгеброй,
это означает, что мы делаем эту проверку, привлекая к рассмотрению
лишь конечные суммы (или пересечения) множеств. «Спешность»
(а именно в ней-то «все дело») возникает тогда, когда мы осуществляем
проверку того, что эта система множеств является также и π*-системой.
При «λ-π-подходе» проверку свойства, что интересующая нас система
множеств является σ-алгеброй, мы начинаем прежде всего с установления
того, что эта система является \-системой, свойства (Хс) или (\'с) которой
связаны уже со «счетными» операциями. Зато на втором этапе — при
проверке того, что эта система является π-системой, —мы оперируем лишь
с конечными пересечениями или суммами множеств.
Завершим изложение результатов о «монотонных классах»
приведением одной из их функциональных версий. (Примером применения может
служить доказательство леммы теоремы 1 в § 2 гл. VIII.)
Теорема 3. Пусть i есть ^-система множеств из & и Ж—
совокупность тех действительнозначных &-измеримых функций,
для которых выполнены следующие свойства:
(h\) если Ае#, то функция Ια £ Ж\
(hi) если /£«#*, heJlfy то f+geJifu с[еЖ для всякого
действительного числа с;
(Лз) если функции hn е Ж, η ^ 1, 0 ^ hn | Λ, то h € Ж.
Тогда класс Ж содержит и все ограниченные функции,
являющиеся измеримыми относительно σ-алгебры σ(£).
Доказательство. Пусть Jif = {Л G«f: Ια €Ж). Из (Λι) следует, что
SC. <£. Но система Jif в силу (hi) и (Лз) является (задача 11) λ-системой.
Поэтому, согласно утверждению с) теоремы 2, находим, что a((?)Cj£f.
Таким образом, если Α £σ(<?), то функция 1а£Ж. По свойству (hi) отсюда
вытекает, что все простые функции (т. е. функции, являющиеся конечными
линейными комбинациями функций вида /д., где Л/ £ σ(<?)) тоже
принадлежат классу Ж. Наконец, в силу свойства (Л/) получаем, что и всякая
ограниченная а(<?)-измеримая функция принадлежит классу Ж. О
Замечание 5. Пусть Х\,..., Хп — случайные величины на (Ω, <^), &х =
^σ(Χ\* ---,Хп) и / = /М — ^-измеримая функция. Тогда найдется такая
борелевская функция F = F(x\, ..., хп), что f((J) = F(X\((J), ..., Хп(и)).
Для доказательства этого утверждения достаточно воспользоваться
теоремой 3, беря в качестве подходящего множества функций Ж
множество неотрицательных борелевских функций F = F(x\,..., хп) и в качестве
множества S совокупность множеств
δ = {ω\ Xi(uj)^xu ...,Xn(u)^xn\XieRy /=!,..., я}.

180 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Применяя теорему 3, получаем, что всякая неотрицательная
^-измеримая функция f = f(uj) представлена в виде f(<J) = F(X\(u)), ..., Χ„(α;)).
Общий случай (не обязательно отрицательных) функций / сводится к
рассмотренному предварительным переходом к представлению / = /+ — /-.
Перейдем к рассмотрению наиболее важных для теории вероятностей
измеримых пространств (Ω, &).
2. Измеримое пространство (/?, 3$(R)). Пусть /? = (-оо, оо)
—действительная прямая и
(а, ft] = {х е R: а < χ ^ ft}
для всех —оо ^ а < ft < оо. Условимся под интервалом (а, оо] понимать
интервал (а, оо). (Это соглашение необходимо для того, чтобы дополнение
до интервала (—оо, ft] было интервалом того же вида, т. е. открытым слева
и замкнутым справа.)
Обозначим через si систему множеств в /?, состоящую из конечных
сумм непересекающихся интервалов вида (а, ft]:
η
Aesi, если Л = ^(а/, ft;], /z<oo.
i=l
Нетрудно проверить, что эта система множеств, в которую мы
включаем также и пустое множество 0, образует алгебру, которая,
однако, не является σ-алгеброй, поскольку если Лл = (0, 1 — \/п]ед/, то
ил„ = (0, \)t*.
η
Пусть BS(R) — наименьшая σ-алгебра a(si), содержащая систему si.
Эта σ-алгебра, играющая важную роль в математическом анализе,
называется борелевской алгеброй множеств числовой прямой, а ее
множества — борелевскими.
Если обозначить через J систему интервалов / вида (a, ft], а через
а(У) — наименьшую σ-алгебру, содержащую У, то нетрудно проверить,
что а(У) будет совпадать с борелевской алгеброй. Иначе говоря, к
борелевской алгебре можно прийти от системы »/, минуя обращение к
алгебре si, поскольку а(У) = а(а(У)).
Заметим, что
оо оо
(a, ft)» [J (а,Ь-±\, а<Ь, [а, Ь] = f| (a- l-, b], a<b,
/1=1 п=1
{a}=f|(a-i,a].
/1=1

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
181
Тем самым в борелевскую алгебру наряду с интервалами вида (а, Ь] входят
одноточечные множества {а}, а также любое из шести множеств
(а, Ь\ [а, 6], [а, 6), (-оо, 6), (-оо, 6], (а, оо). (4)
Отметим также, что при конструировании борелевской алгебры SS(R)
можно было бы отправляться не от интервалов вида (а, Ь], а от любого из шести
указанных интервалов, поскольку все наименьшие σ-алгебры,
порожденные системами множеств в /?, состоящими из конечных сумм
непересекающихся интервалов одного и того же типа из (4), совпадают с σ-алге-
брой BS(R).
Иногда приходится иметь дело с σ-алгеброй S8(R) множеств на
расширенной числовой прямой /? = [—оо, оо]. Так называют
наименьшую σ-алгебру, порожденную системами множеств в /?, состоящими из
конечных сумм непересекающихся интервалов вида
(а, Ь] = {х £ R: а<х^Ь}у -оо ^ а < b ^ оо,
где под (—оо, Ь] понимается множество {х е R: — оо ^ χ ^ Ь).
Замечание 1. Для измеримого пространства (/?, BS(R)) часто
используются также обозначения (/?, SS), (/?\ BS\).
Замечание 2. Введем на числовой прямой R метрику
(эквивалентную обычной евклидовой метрике \х- у\) и обозначим через
3&o(R) наименьшую σ-алгебру, порожденную конечными суммами
непересекающихся открытых множеств вида Sp(x°) = {χ еR: р\(х, х°) <р}, р>О,
x°GR. Тогда 0§o(R) = Bg(R) (см. задачу 7).
3. Измеримое пространство (Rny B8(Rn)). Пусть Rn = /? χ ... χ R —
прямое, или декартово, произведение η экземпляров (копий) числовой
прямой, т.е. множество упорядоченных наборов jt = (jtb ..., jt„), где
-oo<*fc<oo, й=1,...,л. Множество / = /|Х...х/я, где /* = (α*, Ьц],
т. е. множество {х £ /?л: Xk € /*, й = 1, ..., я}, назовем прямоугольником,
h — сторонами этого прямоугольника. Через У обозначим
совокупность всех множеств, состоящих из конечных сумм непересекающихся
прямоугольников /. Наименьшая σ-алгебра а(У), порожденная системой
прямоугольников У, называется борелевской алгеброй множеств в Rn
и обозначается BS(Rn). Покажем, что к этой борелевской алгебре можно
было бы прийти и иначе.
Наряду с прямоугольниками / = /ι χ ... χ Ιη рассмотрим
прямоугольники В = В\ χ ... χ Вп с борелевскими сторонами (Bk — борелевское
множество числовой прямой, стоящей на й-м месте в прямом произведении

182 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
/?х...х/?). Наименьшая σ-алгебра, содержащая все прямоугольники с
борелевскими сторонами, обозначается
Λ(/?)β...βΛ(Λ)
и называется прямым произведением σ-алгебр BS(R). Покажем, что на
самом деле
3g(Rn) = Be(R)®...®BS(R).
Иначе говоря, наименьшие σ-алгебры, порожденные системами множеств,
образованными из конечных сумм непересекающихся прямоугольников
/ =Λ χ ... χ /„, и системами множеств, образованными из конечных сумм
непересекающихся прямоугольников В = В\ χ ... χ Βη с борелевскими
сторонами, совпадают.
Доказательство существенно опирается на следующее предложение.
Лемма 5. Пусть S — некоторый класс множеств из Ω,
множество В С Ω, и пусть по определению
£Г)В = {АГ)В: Ае£} (5)
и σ{<£ П В) — наименьшая σ-алгебра подмножеств β, порожденная
системой &Г\В. Тогда
σ(<?ηβ) = σ(<?)ηβ. (6)
Доказательство. Поскольку <?Са(<?), то
<?ηβςσ(<?)Πβ. (7)
Но σ(<?)Πβ является σ-алгеброй в β, поэтому из (7) следует, что
σ((?ηβ)ςσ(<?)ηβ.
Для доказательства обратного включения снова воспользуемся
принципом подходящих множеств.
Обозначим
%={Λ(Ξσ(<?): АГ)Веа(£Г)В)}.
Поскольку σ((?) и σ(<?Πβ) являются σ-алгебрами, то % также σ-алгебра,
причем, очевидно,
<?С%Са(<?),
откуда #)Са(%)=%Са(<?) и, значит, σ(<?)=%. Поэтому для каждого
множества А е σ(<?)
АпВеа(£Г)В)
и, следовательно, σ(ί?) Π β С σ(<? Π β). D

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
183
Доказательство совпадения σ-алгебр BS(Rn) и &&<&...®В8. Для
η = 1 их совпадение очевидно. Докажем теперь, что они совпадают для
/1 = 2.
Поскольку BS(R2)C.BS(^BS, то достаточно показать, что борелевский
прямоугольник В\ χ В2 принадлежит 3S(R2).
Пусть R2 = R\ χ /?2, где R\ и R2 — «первая» и «вторая» действительные
прямые, В8\=В$\х R2, ^2 = Λιχ ^2, где ^ι χ R2 (Я ι х ^г) есть
совокупность множеств вида В\ χ R2 (/?ι х Вг) ζ В\€В$\ (В2еВ$2). Пусть также
./ί и с^2 — совокупности интервалов в R\ \iR2\iJ\=J\ xR2y ^2 = R\ хУ2.
Тогда, если В\ = β ι χ R2y Вг = # ι х ^2, то в силу (6)
В\ хВ2 = В\ПВ26@{nB2 = a(Si)nB2 =
= σ(β\ П Β2) £ ^(^ η/2) = σ(^1 χ Λ),
что и требовалось доказать.
Случай произвольного η > 2 рассматривается аналогичным образом.
D
Замечание. Пусть B8^Rn) — наименьшая σ-алгебра, порожденная
системами множеств, образованными конечными суммами
непересекающихся открытых «шаров»
Sp(x°) = {χеRn: Ря(х, х°)<р}9 х°eR\ P>О,
в метрике
η
k=\
гдех = (хь ...,*„), х° = (*?> •••>*2)·
Тогда 3§Q(Rn) = BS{Rn) (задача 7).
4. Измеримое пространство (/?°°, BS(R°°)) играет значительную роль
в теории вероятностей, поскольку оно служит основой построения
вероятностных моделей экспериментов с бесконечным числом шагов.
Пространство R°° — это пространство упорядоченных числовых
последовательностей
Jt = (jtl, *2, ···)> -00<Jtfc<00, &=1,2, ...
Обозначим через Ik и В* соответственно интервалы (а*, 6*) и борелев-
ские множества й-й числовой прямой (с координатой Xk). Рассмотрим

184 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
цилиндрические множества
J(l\ x...xln) = {x: х = (хи *2, ...),Χ\£ΐ\, ...,хлб/л}, (8)
J{BX χ...χδ„) = {^: х = (х\,Х2> ...)>х\еВи ...,*„ £β„}, (9)
S(Bn) = {x: х = (хи ...,*«) €вя}, (10)
где Вп — борелевское множество из 3S(Rn). Каждый из «цилиндров»
У(В\ χ ... χ Вп) или J(Bn) может рассматриваться также как цилиндр с
основаниями в /?л+1, /?л+2, ..., поскольку
У(В{ x...xBn) = J?(Bi χ...χβ„χ/?),
J(Bn) = J?(Bn+\
гдеВл+1=Влх/?.
Множества, составленные из конечных сумм непересекающихся
цилиндров J{1\ χ ... χ /я), образуют алгебру. Точно так же алгебру образуют
множества, составленные из объединений непересекающихся цилиндров
У(В\ χ ... χ Βη). Система цилиндров У(Вп) также образует алгебру.
Обозначим BS(R°°), #ι(/?°°) и @2(R°°) наименьшие σ-алгебры, содержащие
все множества (8), (9) и (10) соответственно. (Часто σ-алгебру 3S\(R°°)
обозначают BS(R) ®BS(R) ® ...) Понятно, что 3>(R°°) С Я\ (R°°) С SS2(R°°).
На самом же деле все эти три σ-алгебры совпадают.
Для доказательства обозначим для каждого /z = 1, 2, ...
Vn = {ACRn: {χ: (хи ..., хп)е A}e<%(R°°)}.
Пусть BneBS(Rn). Тогда
BneVn.
Но ifrt — σ-алгебра, а значит,
W) С *(%) = *„.
Отсюда можно сделать заключение, что BS2(R°°) C<%(R°°).
Итак, &(R°°) = 0i (R°°) = BS2{R°°).
В дальнейшем множества из BS(R°°) будем называть борелевскими
множествами (в /?°°).
Замечание. Пусть B8q(R°°) — наименьшая σ-алгебра, порожденная
системами множеств, образованными конечными суммами
непересекающихся открытых «шаров»
Sp(x°) = {χ е /?°°: Роо(х, х°) < pi х° g /?°°, ρ > 0,

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
185
в метрике
оо
Ροο(χ^°)=Σ2"*Λίχ*·χ2).
гдех = (*ь*2, ...) и jc° = (jc?, лс§, ...)· Тогда ^(/?00)=^o(/?0°) (задача 7).
Приведем несколько примеров борелевских множеств в R°°:
(a) {х € R°°: sup л:л > α}, {jc е Λ°°: inf xn < a}\
(b) {x e R°°: lim xn ^ a}, {x £ /?°°: lim xrt > a}, где, как обычно,
lim xn = inf sup Jtm, lim *„ = sup inf jcm;
(c) {* 6 R°°: Jcrt —►} — множество тех jc g /?°°, для которых lim xn
существует и конечен;
(d) {χ e R°°: lim хя > a};
(e)jjcG/?00: Σ Ы>а\\
(ϊ) <x€R°°: Σ Xk = 0 по крайней мере для одного п^1>.
Чтобы убедиться, например, в том, что множества из (а) входят в
систему ^(/?°°), достаточно заметить, что
{х: sup Jcrt>a} = (J {x: xn>a}e3S(R°°),
η
{χ: inixn<a} = [j{x: xn<a}€&(R°°).
Π
5. Измеримое пространство (/?r, SS(RT)), где Τ — произвольное
множество. Пространство RT — это совокупность действительных функций
* = (**)» определенных для / £ Г. *) В основном нас будет интересовать
тот случай, когда Τ — некоторое несчетное подмножество числовой
прямой. Для простоты и определенности можно сейчас предположить, что
Г = [0,оо).
Введем в рассмотрение три типа цилиндрических множеств:
Л tn(Ii х...х/„) = {*: xtx€lu ...,xt„€lnh (Η)
Л tABi*-xBn) = {x: xtleBu ...,xtneBn}, (12)
Л /Лвл) = {^:(^п-.»^)^^Ь (13)
где /fc — множества вида (α^, ft*], β* — борелевские множества на числовой
прямой, а Вл — борелевское множество в Rn.
*) В дальнейшем для функции из RT используются также обозначения: x = (xt)ter*

186 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Множество Jtx tn(I\ χ ... χ /„) есть не что иное, как множество тех
функций, которые в моменты t\, ..., tn «проходят через окна» Λ, ..., /л, а
в остальные моменты принимают
произвольные значения (рис. 24).
Обозначим через S$(RT), 3B\(RT)
и 3&2(RT) наименьшие σ-алгебры,
содержащие все цилиндрические
множества (11), (12) и (13)
соответственно. Ясно, что
BS(RT)CB8x(RT)CB82{RTY (14)
На самом же деле все три σ-алгебры
совпадают между собой. Более
того, исчерпывающим образом можно
описать и структуру их множеств.
Теорема 4. Пусть Τ — несчетное множество. Тогда &§(RT) =
= &8\(RT) =1%2(RT) и любое множество A e&t(RT) имеет следующую
структуру: найдутся не более чем счетное множество точек
t\,h, ... из Τ и борелевское множество В из ^(/?°°) такие, что
Рис. 24.
А = {х: (xtl,xt2, ...)eB).
(15)
Доказательство. Обозначим через & совокупность множеств
вида (15) (при различных наборах (t\, t<i, ...) и множествах В из &(R°°)).
Если А\, Л2, ...£<? и отвечающие им наборы есть T^ = (t\l\ tf\ ...),
T*® = (tf*\ tf\ ...)» то множество 7*ioo)=U T^ можно взять в качестве
k
единой системы такой, что все Л,- будут представлены в виде
Ai={x: (Jfr,, Jf-rs, )£β/}>
где Bt — некоторые множества из (одной и той же) σ-алгебры BS(R°°),
а т/ е Г<°°>.
Отсюда следует, что система множеств S образует σ-алгебру. Понятно,
что эта σ-алгебра содержит все цилиндрические множества вида (13) и,
поскольку S$2{RT) есть наименьшая σ-алгебра, содержащая эти
множества, то вместе с (14) это дает
BS{RT) С Я\ (RT) С Я<1(ЯТ) С S.
(16)
Рассмотрим множество А из <?, представимое в виде (15). Если
зафиксировать набор (/ь /г» ···)♦ то тогда те же рассуждения, что и в случае
пространства (/?°°, ^(/?°°)), показывают, что множество А будет
элементом σ-алгебры, порожденной цилиндрическими множествами (11). Но эта

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
187
сг-алгебра, очевидно, принадлежит σ-алгебре 3&(RT), что вместе с (16) и
доказывает оба утверждения теоремы. D
Итак, любое борелевское множество Л из σ-алгебры BS(RT)
определяется ограничениями, наложенными на функции x = (xt), t £ 7\ не более
чем в счетном числе точек t\9 /2, ··· Отсюда следует, в частности, что
множества
А\ =={*: xt <С для всех / £ [0, 1]},
у42 = {*: Xt =0 по крайней мере для одного / £ [0, 1]},
Лз = {х: Xt непрерывна в фиксированной точке to€ [0, 1]},
зависящие от «поведения» функций в несчетном числе точек, не обязаны
быть борелевскими. И действительно, все три указанных множества не
принадлежат #(/?10,1').
Покажем это для множества А\. Если А\ £^(/?'0,11), то, согласно
доказанной теореме, можно найти такие точки (/{*, t$, ...) и множество
В°Е^(/?°°), что
{х: sup xt < С, t £ [0, 1]} = {х: (л>, jc,0, ...)€S0}·
/ ' 2
Ясно, что функция */, = С-1 принадлежит Ль и, следовательно,
(У^> yt°> ...)£β°. Образуем тогда функцию
Гс-1, /е«<\/20,...),
' \с+1, tatm...).
Понятно, что
(*/»» #*2°> •••) = (2/о, ZfO, ...),
и, значит, функция z = (zt) принадлежит множеству
{х: (xto,xto9 ...)£β°}.
Но ясно также, что она не принадлежит множеству {х: sup xt < С}.
Полученное противоречие показывает, что А\ $.Se(R^).
В связи с неизмеримостью множеств Ль Л2 и Лз по отношению к
сг-алгебре B8(R^X^) в пространстве всех функций jt = (**), / £ [0, 1],
естественно рассмотреть более узкие классы функций, где эти множества
могут оказаться измеримыми. Интуитивно понятно, что так будет, если
в качестве исходного пространства рассмотреть, например, пространство
непрерывных функций.
6. Измеримое пространство (С, SS(Cj). Пусть Г = [0,1] и С —
пространство непрерывных функций л: = (*/), 0^/^1. Относительно

188 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
равномерной метрики р(х, y) = sup \xt — yt\ это пространство является
метрическим. В пространстве С можно ввести две σ-алгебры: В8(С) —
σ-алгебру, порожденную цилиндрическими множествами, и σ-алгебру
^о(С)» порожденную открытыми (в метрике р(х, у)) множествами.
Покажем, что на самом деле обе эти σ-алгебры совпадают: В8(С) = &8ъ(С).
Пусть В = {jc : xto < b) — некоторое цилиндрическое множество.
Нетрудно убедиться, что это множество является открытым. Отсюда вытекает, что
{x:xtx<bu..., Xt„<bn}e@o(C) и, значит, S8(C)CS8q(C).
Обратно, рассмотрим множество Вр = {у: yeSp(Jt0)}, гдех° есть
некоторая функция из С nSp(x°) = \xeC: sup \xt —x?\<p[—открытая сфера
с центром в х°. В силу непрерывности функций из С
Вр = {уеС: yeSp(x°)} = {yeC: тах|у,-х,°|<р} =
= П^€С:|Л4-^|<р}€Л(С), (17)
/*
где tk — рациональные точки отрезка [0, 1]. Поэтому В8ц(С) С 98(C).
Пространство (С, ЗВц(С), р) является польским, т. е. полным и сепара-
бельным; [5], [87].
7. Измеримое пространство (Д 38(D)), где D — пространство
функций x = (xt)y t e [О, 1], являющихся непрерывными справа (xt =Xt+) для
всех / < 1 и имеющих пределы слева (в любой точке / > 0).
Так же, как и в случае пространства С, в D можно задать метрику
d = d(x, у) так, что σ-алгебра B&o(D), порожденная открытыми
множествами, будет совпадать с σ-алгеброй 98(D), порожденной
цилиндрическими множествами. При этом (D, B8(D), d) станет сепарабельным
пространством; [5], [87]. Эта метрика d = d(jc, у), введенная А. В. Скороходом,
определяется следующим образом:
d(x, #) = inf {ε>0: ЗАеЛ: sup \xt - ^wl + sup \t - λ(/)| <e), (18)
где Л —множество строго возрастающих непрерывных на [0, 1] функций
А = А(/)сА(0) = 0, А(1)=1.
8. Измеримое пространство ( Π ^ь Η &t )· Наряду с пространс-
твом (/?r, 98(RT)), являющимся прямым произведением Τ копий числовой
прямой с системой борелевских множеств, в теории вероятностей
рассматривают также измеримые пространства ( Π ^ь Η &t)» образованные
следующим образом.

§2. АЛГЕБРЫ И σ-АЛГЕБРЫ
189
Пусть Τ — произвольный набор индексов и (Ω/, &t) — измеримые
пространства, teT. Обозначим Ω = Π Ω* — множество всех функций u; = (u;/),
teT
t е 7\ таких, что ut е Ω, для каждого / е Т.
Совокупность всех конечных объединений непересекающихся
цилиндрических множеств
Λ *„(βιχ...χβ,,) = {ω: ujtleBu...,ujtneBn}y
где Bti е &tn образует, как нетрудно показать, алгебру. Наименьшую σ-ал-
гебру, содержащую все цилиндрические множества, обозначают Щ <Fti
teT
а измеримое пространство (Π Ω,, Щ &t) называют прямым
произведением измеримых пространств (Ω,, #t), teT.
9. Задачи.
1. Пусть S&\ и 9&ъ —две σ-алгебры подмножеств пространства Ω. Будут
ли σ-алгебрами системы множеств
Я{ПЯ2 = {А: АеВ8х нАе&2},
BS\\J0S2 = {A'. AeSS{ или АеЯ2}?
2. Пусть &={D\9 D2, ...} —некоторое счетное разбиение Ω \\Я=а(@).
Какова мощность σ-алгебры Я?
3. Показать, что
Se(Rn)®Se(R) = SS(Rn+x).
4. Доказать, что множества (b)—(f) (см. п. 4) принадлежат &(R°°).
5. Доказать, что множества А2 и Лз (см. п. 5) не принадлежат
^(fll0·1!).
6. Доказать, что функция (18) действительно задает метрику.
7. Доказать, что ^(Яя)= W). О 1, и ^0(/?00) = ^(/?00).
8. Пусть С = С[0, сю) — пространство непрерывных функций x=.(xt),
определенных для t^O. Показать, что относительно метрики
оо
p(x,y) = y22~nn\\n\sup |х,-*/,|, 1], х,уеС,
„=1 Lo<i<« J
это пространство является (как и в случае С = С[0, 1 ]) польским, т. е.
полным сепарабельным метрическим пространством, и σ-алгебра &о(С)>
порожденная открытыми множествами, совпадает с σ-алгеброй ВВ(С),
порожденной цилиндрическими множествами.
9. Доказать равносильность групп условий (λα), (λ*,), (\с) и (λα), (λ{,),
(К) (см. с. 175).
10. Вывести теорему 2 из теоремы 1.

190 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
11. Доказать, что в теореме 3 система JSf является λ-системой.
12. Говорят, что σ-алгебра является счетно-порожденной или сепа-
рабельной, если она порождается некоторым счетным классом
подмножеств.
Показать, что σ-алгебра 3$ борелевских подмножеств Ω = (0, 1]
является счетно-порожденной.
Показать на примере, что возможна ситуация, когда две σ-алгебры
&\ и <^2 таковы, что &\ С <^2> <^2 — счетно порождена, но &\ такой
не является.
13. Показать, что для того, чтобы σ-алгебра ё? была
счетно-порожденной, необходимо и достаточно, чтобы έ? = σ(Λ) для некоторой случайной
величины X (определение σ(Χ) см. в п. 4 § 4).
14. Дать пример сепарабельной σ-алгебры, у которой есть несепара-
бельная под^-алгебра.
15. Показать, что Х\9Х2, ... — независимая система случайных величин
(§§ 4, 5), если σ(Χη) и σ(Χ\, ..., Хп-\) независимы при каждом п^ 1.
16. Привести пример, показывающий, что соединение двух σ-алгебр
не есть σ-алгебра.
17. Пусть si\ и л^—две независимые системы множеств, каждая из
которых является π-системой. Показать, что тогда и а(я/\) и σ(Λ^) также
независимы. Привести пример двух независимых систем si\ и л^, не
являющихся π-системами, для которых а(я/\) и σ(^) уже зависимы.
18. Пусть & есть λ-система. Тогда (А, В е -Sf, Α η В = 0) => (A U В €
£.Sf).
19. Пусть &\ и «^2 — две σ-алгебры подмножеств в Ω. Положим
W,*2) = 4 sup |Ρ(>Μ2)-Ρ(Λι)Ρ<Λ2)|.
Показать, что эта величина, характеризующая степень зависимости между
&\ и «^2» имеет следующие свойства:
(а)0^№,ЛК1;
(b) d(«^i, «^2) = 0» если и только если &\ и «^ независимы;
(c) d(«^b ^2) = 1» если и только если пересечение &\ и «^ содержит
множество, вероятность которого равна 1/2.
20. Применяя метод доказательства леммы 1, доказать существование
и единственность классов λ(<?) и π(<?), содержащих систему множеств &.
21. Пусть si есть некоторая алгебра множеств, обладающая тем
свойством, что любая последовательность (Ап)п^\ непересекающихся
оо
множеств Апе&/ такова, что (J Ап £ я/. Доказать, что тогда si является
σ-алгеброй.

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
191
22. Пусть (&п)п^\ есть возрастающая последовательность сг-алгебр:
оо
/лС«?я+1, п ^ 1. Показать, что |J &n есть (вообще говоря, только лишь)
л=1
алгебра.
23. Пусть & есть алгебра (или σ-алгебра) и некоторое множество
С не принадлежит β'. Рассмотрим наименьшую алгебру
(соответственно σ-алгебру), порожденную множествами из #и{С}. Показать, что все
элементы этой алгебры (соответственно σ-алгебры) состоят из множеств
вида (ЛпС)и(ВпС), где Л, Ве&.
24. Пусть /?=/? U {-оо} U {оо} — расширенная числовая прямая. Бо-
релевская σ-алгебра BS(R) может быть определена (ср. с
определением в п. 2), как σ-алгебра, порожденная множествам [—оо, х], xeR, где
[-оо, χ] = {-оо}и (—оо, х]. Показать, что эта σ-алгебра BS(R) совпадает
также с любой из σ-алгебр, порожденных множествами
(a) [-оо, jc), χ 6 /?, или
(b) (jc, oo], xeR, или
(c) всеми конечными интервалами и {—оо} и {оо}.
§ 3. Способы задания вероятностных мер
на измеримых пространствах
1. Измеримое пространство (/?, BS(R)). Пусть Ρ = Р(Л) —
вероятностная мера, определенная на борелевских множествах А числовой
прямой. Возьмем А = (—оо, х] и положим
F(jc) = P(-oo,jc], xeR. (1)
Так определенная функция обладает следующими свойствами:
1) F(x) — неубывающая функция;
2) F(-oo) = 0, F(+oo) = 1, где
F(-oo) = lim F(x), Ζ^+οο) = lim F(x)\
xl—oo jfjoo
3) F(x) непрерывна справа и имеет пределы слева в каждой точке
xeR.
Первое свойство очевидно, последние два вытекают из свойства
непрерывности вероятностной меры.
Определение 1. Всякая функция F = F(x), удовлетворяющая
перечисленным условиям 1)—3), называется функцией распределения (на
числовой прямой R).
Итак, каждой вероятностной мере Ρ на (/?, BS(R)) соответствует (в
силу (1)) некоторая функция распределения. Оказывается, что имеет место
и обратное утверждение.

192 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Теорема 1. Пусть F = F(x) — некоторая функция
распределения на числовой прямой R. Тогда на (R, SS(R)) существует и
притом единственная вероятностная мера Ρ такая, что для любых
—оо^а <Ь <оо
P(a,b]=F(b)-F(a). (2)
Доказательство. Пусть л^ —алгебра множеств А из R, являющихся
конечными суммами непересекающихся интервалов вида (а, Ь\.
η
Определим на этих множествах функцию множеств Ро, полагая
η
РоИ)=Σ ι^**) - wi. л € ^. (3)
На алгебре ^ эта формула определяет по F, и, очевидно, однозначно,
конечно-аддитивную функцию множеств. Поэтому, если показать, что
на этой алгебре эта функция к тому же счетно-аддитивна, то
существование и единственность требуемой меры Ρ на BS(R) будет непосредственно
вытекать из следующего общего результата теории меры (приводимого
здесь без доказательства, по поводу которого см., например, [42], [70]).
Теорема Каратеодори. Пусть Ω — некоторое пространство, si —
алгебра его подмножеств и 38 = a(si) — наименьшая σ-алгебра,
содержащая si. Пусть μο — σ-конечная мера (как σ-аддитивная
функция множеств) на (Ω, si). Тогда существует и притом
единственная мера μ на (Ω, SS), являющаяся продолжением μο, т. е. такая,
что
μ(Α)=μ0(Α), Aes/.
Итак, покажем, что функция Ро счетно-аддитивна (т. е. является
вероятностной мерой) на алгебре si. Согласно теореме из § 1, для этого
достаточно проверить непрерывность Ро в 0, т. е. проверить, что
Ро(Л„)|0, An 10, Anesi.
Пусть Ль Лг, ... —некоторая выбранная последовательность
множеств из si со свойством Ап 10. Предположим сначала, что все множества
Ап принадлежат некоторому замкнутому интервалу [-N, Ν], Ν <оо.
Поскольку Ап состоят из конечного числа сумм интервалов вида (а, Ь]
и поскольку в силу непрерывности справа функций F(x)
ρ0(α', b] = F(b) - F(a!) - F(b) - F(a) = P0(a, b]

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
193
при о! i α, то для каждого Ап найдется множество Bnejrf такое, что его
замыкание [Вп] С Ап и
Ръ{Ап)-Ръ(Вп)^е2-\
где ε —некоторое заранее заданное число, большее нуля.
По предположению f] Л„ = 0, а значит, и f] [β„] = 0. Но множества
[Вп] замкнуты, поэтому найдется такое конечное по = по(е), что
по
ηΐβ"]=0· (4)
/1=1
(В самом деле, [-Ν, Ν] — компакт, а система множеств {[-Ν, Ν] \ [Вп]}п>[
образует открытое покрытие этого компакта. Тогда по лемме Гейне—
Бореля (см., например, [1], [33]) существует конечное подпокрытие:
по
\J([-N,N}\[Bn)) = [-N,N),
/1=1
по
а значит, f] [β„] = 0.)
/ι=1
Учитывая (4) и то, что АПо Cy4„0_i С... С Ль находим
по \ / п0 \ / /ίο \
Ano\f)Bk)+Р0 ПВИ=РоГлЛП^Н
/ ίο \ До «о
U=l / k=\ k=\
Поэтому Р0(Ап) 10, η -+ оо.
Откажемся теперь от предположения, что все Ап С [—yv, Ν] для
некоторого N. Зададим ε > О и выберем такое Ν, что Ро[—Ν, Ν] > 1 - ε/2. Тогда,
поскольку
Л„=ЛЛП[-Л^+ЛЛП[-Л^],
то
РоИ„) = Р0(Ап Π [-yv, yV]) + Ро(ЛлП[-УУ,УУ]) ^ P0(An Π [-yv, yV]) + ε/2,
и, применяя предшествующие рассуждения (с заменой Ап на Ап Π [-Ν, УУ]),
получаем, что для достаточно больших η Ρο(Λ„ Π [-Ν, Ν])<ε/2. Тем самым
снова Р0(Лл)|0, дг-^оо. D

194 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Итак, между вероятностными мерами Ρ на (/?, 8В{Щ) и функциями
распределения F на числовой прямой R существует взаимно
однозначное соответствие. Меру Р, построенную по функции F, принято называть
вероятностной мерой Лебега—Стилтьеса, отвечающей функции
распределения F.
Особо важен случай, когда
F(x)={
(О, х<0,
х, О ^ χ ^ 1,
1, х>\.
В этом случае соответствующую вероятностную меру (обозначим ее λ)
называют мерой Лебега на отрезке [0, 1]. Ясно, что λ(α, b] = b-α, где
Ο^α ^ b ^ 1. Иначе говоря, мера Лебега интервала (a, b] (a также любого
из интервалов (а, 6), [а, ft], [а, Ь)) равна просто его длине b - α.
Обозначим
#([0, 1]) = {ЛП[0, 1]: Л €<£(/?)}
совокупность борелевских множеств отрезка [0, 1]. Наряду с этими
множествами часто приходится рассматривать так называемые лебеговские
множества отрезка [0, 1]. Мы говорим, что множество Λ С [0, 1] относится
к системе ^([0, 1]), если можно найти такие борелевские множества Л и В,
что Л С Λ С β и А(В\Л) = 0. Нетрудно проверить, что система ^([0, 1])
является σ-алгеброй. Именно ее и называют системой лебеговских
множеств отрезка [0, 1]. Ясно, что ^([0, 1])с£([0, 1]).
Меру λ, определенную пока лишь на множествах из ^([0, 1]),
естественным образом можно продолжить и на систему лебеговских множеств
Щ[0, 1]). А именно, если Ае J([0, 1]) и Л САСВ, где Л, ВеЩО, 1]),
А(В\Л) = 0, то положим А(А) = А(Л). Так определенная функция множеств
λ = λ(Λ), Λ £ .#([0, 1]), является, как нетрудно проверить, вероятностной
мерой на ([0, 1], .#([0, 1])). Ее называют лебеговской мерой (на системе
лебеговских множеств).
Замечание 1. Проведенная процедура пополнения (продолжения)
меры применяется и оказывается полезной не только в рассмотренном
случае. Например, пусть (Ω, &> Р) — некоторое вероятностное пространство.
Обозначим через βρ совокупность всех подмножеств Λ пространства Ω,
для которых можно найти такие множества Л и В из «£", что Л С А С β и
Р(В\Л) = 0. Естественным образом (с помощью равенства Р(А) = Р(В))
вероятностная мера определяется и для множеств А£#р. Полученное
таким образом новое вероятностное пространство (Ω, #р, Р) называется
пополнением пространства (Ω, &, Р) относительно меры Р.

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
195
Если вероятностная мера Ρ такова, что <#ρ = ^, то она называется
полной, а соответствующее пространство (Ω, β\ Р) — полным
вероятностным пространством.
Замечание 2. Кратко остановимся на идее доказательства теоремы
Каратеодори, считая, что μο(Ω) = 1.
Пусть А — множество из Ω и Ль Л2, ... — множества из si, накрыва-
оо
юшие множество А в том смысле, что А С (J Ап. Определим внешнюю
л=1
меру μ*(А) множества Л, полагая
оо
μ*Η) = ίηί5>0(Λ,),
л=1
где inf берется по всем указанным покрытиям (Ль Л2, ...) множества Л.
Внутренней мерой μ* (Л) множества Л будем называть величину
МЛ) = 1-/ЛЛ).
Обозначим si совокупность тех множеств Л из Ω, для которых
μ*(Α) = μ*(Α). Система si является, как нетрудно показать, σ-алгеброй
(задача 12), и, следовательно, ^Ca(^)c/. Припишем множествам
Л из si «меру» μ(Α)9 полагая ее равной μ*(Л) (=μ*^)). Эта функция
множеств μ(/4), Aesi, действительно является мерой (задача 13), т. е.
является счетно-аддитивной функцией множеств (при этом вероятностной,
поскольку μ(Ω) = μο(Ω) = 1).
Устанавливаемое равенством Ρ (α, b] = F(b) - F(a) соответствие между
вероятностными мерами Ρ и функциями распределения F дает
возможность конструирования разных
вероятностных мер с помощью задания F(x)\
соответствующих функций
распределения.
Дискретные меры. Так называ- ΓδΤΫΤΤ
J AF(*2)
J AF(*3>
ют меры Ρ, для которых соответ- j χ χ χ
ствующая функция F = F(x) являет- ' 2 3
ся кусочно постоянной, меняющей Рис· 25·
свои значения в точках хь*2, ...
(д^(*/)>0, где AF(x) = F(x)-F(x-)) (рис. 25). В этом случае мера Ρ
сосредоточена в точках агь аг2, ...:
P({xk}) = AF(xk) > О, £ Р«**» = L

196 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Набор чисел (р\, р2, ...)» гДе P* = P({*fc})> называют дискретным
распределением вероятностей, а соответствующую функцию
распределения F = F(x) — дискретной.
Приведем таблицу наиболее употребительных типов дискретных
вероятностных распределений с соответствующими наименованиями.
Таблица 2
Распределение
Дискретное равномерное
Бернуллиевское
Биномиальное
Пуассоновское
Геометрическое
Отрицательно-биномиальное
(распределение Паскаля)
Вероятности pk
-J-, fc = l,2,...,yV
/ν
Ρι = ρ, Po = q
CknPkqn-\
fc = 0, 1, ..., л
^ А-0 1
qk-xp, *=1,2, ...
ΓΓ_Ιnrnk~r
fc = r, r + 1, ...
Параметры
# = 1,2, ...
O^p^l, q = \ - ρ
0^/7^1, <7 = l-/7,
n = 1, 2, ...
λ>0
0</7^1, q = \-p
0</7^1, q = \-p,
r=l,2, ...
Абсолютно непрерывные меры. Так называются меры, для которых
соответствующая функция распределения F = /^(л:) такова, что для неко^
торой неотрицательной функции / = /(/), t e /?, имеет место равенство
F(x)= J f{t)dU (5)
— оо
где под интегралом сейчас понимается интеграл в смысле Римана (а в
общем случае —в смысле Лебега (см. § 6)).
Функция / = /(χ), χ е /?, называется плотностью функции
распределения F = F(x) (плотностью распределения вероятностей или просто
плотностью), а сама функция F = F(x) — абсолютно непрерывной.
Понятно, что всякая неотрицательная функция / = /(*), интегрируемая
оо
по Риману и такая, что § f(x)dx= 1, определяет формулой (5) некото-
— оо
рую функцию распределения. В таблице 3 приведены особо важные для
теории вероятностей и математической статистики примеры разных типов
плотностей / = f(x) с указанием их наименований и параметров (плотность
f(x) считается равной нулю для не указанных в таблице значений х).
Сингулярные меры. Так называют меры, функции распределения F(x)
которых непрерывны, но точки их роста (х — точка роста F(x), если

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
197
Тип распределения
Плотность
Таблица 3
Параметры
Равномерное на [а, Ь]
Нормальное, или
гауссовское
Гамма
Бета
Экспоненциальное
(гамма-распределение
са=1,/?=1/А)
Двустороннее
экспоненциальное
Хи-квадрат, χ2
(гамма-распределение
са = л/2, β = 2)
с η степенями свободы
Стьюдента,
/-распределение
с η степенями свободы
^-распределение
Коши
Ь-а
, а^х О
1 (*-?>
е ~~*σ*~, xeR
χα-\6-χ/β
Γ(α)β<*
xQ-l(\-x)P-1
Β(α, β)
Xe~Xx, x^O
Λ^_Α|χ-α| xeR
1
2«/2 Г(л/2)
х2~*е~2, χ^Ο
Γ(1)(, + ί)ΐ
-, xeR
m\i
©
JC2
/m n\ / mx\
0
m*\ i"±£L
jc^O
π(χ2 + ^)
, xeR
a, beR\ a<b
me/?, σ>0
α>0, β>0
α>0, /3>0
λ>0
λ>0, aeR
л=1,2, ...
лг = 1, 2, ...
m, л = 1, 2, ...
0>O
Fi* Η- ε) — F(x — ε) > 0 для любого ε > 0) образуют множество нулевой
меры Лебега. Опуская подробности относительно структуры таких функций
(см., например, [70]), приведем лишь один «классический» пример.
Возьмем отрезок [0, 1] и построим функцию F(x) с помощью
следующего приема, принадлежащего Г. Кантору.
Разделим отрезок [0, 1] на три равные части и положим (рис. 26)
1/2, хе(1/3, 2/3),
Fl(x)={01 х = 0,
1, *=1,
доопределяя ее в остальных точках с помощью линейной интерполяции.

198 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Далее, каждый из интервалов [0, 1/3] и [2/3, 1] снова делим на три
части и определяем функцию (рис. 27)
f 1/2. χ €(1/3, 2/3),
1/4, χ €(1/9, 2/9),
/r2W = ^3/4, x €(7/9, 8/9),
О, jc = 0,
J, *=1,
со значениями в остальных точках, полученными линейной интерполяцией.
Продолжая этот процесс, построим последовательность функций Fn(x),
/z=l,2, ..., которые сходятся к некоторой неубывающей непрерывной
ι
1
0
/:
1/3
/
ι
2/3
/"j
1
F2(x)
1
0
~~JA
f 1 1 1 1 1 1 1 1 1 _
1 2 1
9 9 3
2 7 8 1
3 9 9
Рис. 26.
Рис. 27.
функции F(x) (называемой канторовой), точки роста которой образуют
множество лебеговской меры нуль. Действительно, из конструкции F(x)
видно, что общая длина интервалов (1/3, 2/3), (1/9, 2/9), (7/9, 8/9), ...,
на которых функция принимает постоянные значения, равна
3^9^27^ 3 ^ Ы
(6)
л=0
Обозначим через Jf множество точек роста канторовой функции F(x).
Из (6) следует, что \{Jf) = 0. В то же самое время, если μ — мера,
соответствующая канторовой функции F(x), то μ(Λ^) = 1. (В этом случае говорят,
что мера сингулярна по отношению к лебеговской мере λ.)
Не останавливаясь более на вопросе о возможных типах функций
распределения, ограничимся лишь замечанием о том, что на самом деле
указанными тремя типами исчерпываются все такие функции. Точнее,
произвольная функция распределения может быть представлена в виде
a\F\ +а2/72 + аз^з» где F\ — дискретная, F<i — абсолютно непрерывная,
Fz — сингулярная функции распределения, а/ — неотрицательные числа,
αϊ + Q.2 + аз = 1 (задача 16).

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР 199
2. Теорема 1 устанавливает взаимно однозначное соответствие между
вероятностными мерами на (/?, 8&{Щ) и функциями распределения на R.
Анализ доказательства этой теоремы показывает, что на самом деле
справедлив более общий результат, позволяющий, в частности, ввести так
называемую меру Лебега на всей числовой прямой.
Пусть μ — некоторая σ-конечная мера на (Ω, si), где si — алгебра
подмножеств Ω. Оказывается, что утверждение теоремы Каратеодори о
продолжении меры μ с алгебры s/ на наименьшую σ-алгебру a(si) остается
справедливым и для σ-конечных мер, что и дает возможность обобщения
теоремы 1.
Назовем мерой Лебега—Стилтьеса на (/?, &§(R)) всякую (счетно-
аддитивную) меру μ такую, что для любого ограниченного интервала /
его мера μ(Ι) < оо. Обобщенной функцией распределения на числовой
прямой R назовем всякую неубывающую непрерывную справа функцию
G = G(x) со значениями в (—оо, оо).
Теорема 1 допускает обобщение в том смысле, что формула
μ(α, b] = G(b) - G(a), a < ft,
снова устанавливает взаимно однозначное соответствие между мерами
Лебега—Стилтьеса μ и обобщенными функциями распределения G.
В самом деле, если G(+oo) - G(—оо) < оо, то доказательство,
примененное в теореме 1, проходит без всяких изменений, поскольку этот случай
сводится к случаю, когда G(+oo) — G(-oo) = 1 и G(—оо) = 0.
Пусть теперь G(+oo) — G(—оо) = оо. Положим
TG(jc), И*:/!,
G„(x)=<G(/z), *>/!,
[G(-/z), x<-n.
Определим на алгебре si конечно-аддитивную меру μο так, что на
(а, Ь] значение μο(α, b] = G(ft) - G(a), и пусть μη — уже построенные (по
теореме 1) счетно-аддитивные меры, соответствующие функциям Gn(x).
Очевидно, что на s/ μη Τμο· Пусть теперь А\, Лг, ... —
непересекающиеся множества из si и А = Σ Ап е si. Тогда (задача 6 из § 1)
оо
И если ]Г д0(Лл) = оо, то μο(Α)= Σ μο(Αη). Предположим теперь, что
л=1 /1=1

200 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Σ μο(Λ«)<οο. Тогда
оо
/хоИ) = Нт μη(Α) = \\π\ ]Г μη(ΑΜ).
Согласно сделанному предположению, Σ μο(Αη) < оо. Поэтому
<0,
]Г(Мл(Л*)-/хоИ*))
0<:μο(Α)-Σμο(Αιι) = 1\π\
k=\
поскольку μη ^ μο·
Итак, σ-конечная конечно-аддитивная мера μο является
счетно-аддитивной на si, и, значит (по теореме Каратеодори), она может быть
продолжена до счетно-аддитивной меры μ на σ(^).
Особо важен тот случай, когда G(jc)=jc. Отвечающая этой обобщенной
функции распределения мера λ называется мерой Лебега на (/?, BS(R)).
Как и в случае отрезка [0, 1], на числовой прямой R вводится
система лебеговских множеств ЩЯ) (Λ £ ,#(/?), если существуют борелевские
множества А и В такие, что Л С Λ С β, Α(β \ А) = 0), для которых
определяется также лебеговская мера λ (λ(Λ) = λ(/4), если А С Λ С β, Ae£g(R)
иА(В\Л) = 0).
3. Измеримое пространство (Rn, &B(Rn)). Как и в случае
действительной прямой, предположим, что Ρ — некоторая вероятностная мера на
(R\ BS(Rn)).
Обозначим
Fn(xu ···, х„) = Р((-оо, χι] χ ... χ (-οο, *„]),
или, в более компактной форме,
Fn(x) = P(-oo,xl
где х = (х\, ..., xn)i (-оо, jc] = (-oo, jci] χ ... χ (-οο, χη].
Введем разностный оператор Aaibt: Rn —►/?, действующий по формуле
(α/<*/)
Δα^.^ίΧι, ...)Xrt) = /7rt(Xb ..., Χ/-1, ft/, *i+l, •••)^/i)-
Простой подсчет показывает, что
balbl...ba.b.Fa(x\9 ..., хя) = Р(а, Ь], (7)
где (α, ft] = (ab ft^ χ ... χ (α„, ft„]. Отсюда, в частности, видно, что, в
отличие от одномерного случая, вероятность Ρ (α, ft], вообще говоря, не равна
разности Fn(b) — Fn(a).

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
201
Поскольку Ρ (α, Ь] ^0, то из (7) следует, что для любых а = (аь .... ап),
Ь = (Ьи ···. ьп)
&aibl...ba.b.Fa{Xu -**п)>0. (8)
Из непрерывности вероятности Ρ вытекает также, что Fn(x\, ..., хп)
непрерывна справа по совокупности переменных, т. е. если x^k) | х, х^ =
= (^,..,Ато
Fn(x(k))lFn(x), *->оо. (9)
Ясно также, что
F«(+oof ...,+оо) = 1 (10)
limFn(xu ...,*„) = (), (11)
если по крайней мере одна из координат у у принимает значение -оо.
Определение 2. Всякую функцию F — Fn(x\, ..., хп),
удовлетворяющую условиям (8)—(11), будем называть n-мерной функцией
распределения (в пространстве Rn).
Используя те же самые рассуждения, что и в теореме 1, можно доказать
справедливость следующего результата.
Теорема 2. Пусть F = F(x\, ..., хп) — некоторая функция
распределения в Rn. Тогда на (Rny B8(Rn)) существует и притом
единственная вероятностная мера Ρ такая, что
Ρ(α,*] = Δβι6ι...ΔβΛ^(χι,...,χ„). (12)
Приведем некоторые примеры /z-мерных функций распределения.
Пусть F\ ..., Fn — одномерные функции распределения (на R) и
Fn(xu...,xn) = Fl(xl)...Fn(xn).
Ясно, что эта функция непрерывна справа и удовлетворяет условиям
(10), (11). Нетрудно проверить также, что
ΔΜι...&a.bmFnix\.....*«) = Π IF*^)" F*<fl*>l > °·
Следовательно, Fn(x\y ..., χη) — некоторая функция распределения.
Особо важен случай, когда
Fk(xk)={
f0, xk<Q,
Xk, 0<**<1,
1, х*>1.

202 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
В этом случае для всех 0 < х* < 1, А = 1, ..., я,
Fn(xu ...,Хп) = х\...хп.
Соответствующую этой /z-мерной функции распределения вероятностную
меру называют n-мерной мерой Лебега на [0, 1]л.
Большой запас /z-мерных функций распределения получается в виде
Х\ Х„
Fn(xx,...,xn)= ξ ··· § Ш\ tn)dtx...dt„,
— ОО — ОО
где fn(t\, ..., tn) — неотрицательные функции с
ОО 00
$ ... $ Ш tn)dtx...dtn = \,
—оо —оо
а интегралы понимаются в смысле Римана (и в более общем случае —
в смысле Лебега). Функции / = fn(t\, ..., tn) называют плотностями
n-мерной функции распределения, n-мерной плотностью
распределения вероятностей или просто n-мерными плотностями.
В случае η = 1 функция
f(x) = -—e Т^, xeR,
с σ > 0 есть плотность (невырожденного) гауссовского, или нормального,
распределения. Существуют естественные аналоги этой плотности и в
случае п> 1.
Пусть Е= ||г/у || — некоторая неотрицательно определенная
симметрическая матрица порядка η χ η:
η
Σ Π/λ/λ/^Ο, λ;£/?, /=1,...,/Ζ,
i./=I
В том случае, когда R — положительно определенная матрица, ее
детерминант |R| = det R>0, и, следовательно, определена обратная матрица
А = \\αη||. Тогда функция
Ш\^'^Хп) = Щф ехР {""2 Еа//^"т/^"т/)}» (13)
где m/G/?, / = 1, ..., /г, обладает тем свойством, что интеграл (Римана)
от нее по всему пространству равен 1 (это будет доказано в § 13), и,
следовательно, в силу ее положительности она является плотностью.

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
203
Эта функция называется плотностью n-мерного (невырожденного)
гауссовского, или нормального, распределения (с вектором средних
значений m = (mi, ..., тп) и матрицей ковариаций Е = Л-1).
В случае η = 2 плотность /2(*ь *2) может быть приведена к виду
/(*Ь*2):
2πσισ2\/Τ — Ρ2
exp
( L
I 2(1-
-(^-Ш!)2
2(1-/*)
2 Ах\-тх)(х2-т2) + (*2 - ю2)2
σ!σ2 -2
]}. (И)
где σ/ >0, \р\ < 1. (Смысл параметров т,, σ, и ρ будет объяснен в § 8.)
Приводимый рис. 28 дает представление о виде двумерной гауссовской
плотности.
Замечание. Как и в случае /ζ = 1, теорема 2 допускает обобщение
на (аналогичным образом определяемые) меры Лебега—Стилтьеса в
(/?л, 3S(Rn)) и обобщенные функции распределения в Rn. В том случае,
когда обобщенная функция
распределения Gn(x\, ...,хл) равна χι... хл,
соответствующая мера называется
мерой Лебега на борелевских
множествах пространства Rn. Ясно, что
для нее
А(а,*] = Д(^-а,),
/=1
т. е. мера Лебега «прямоугольника»
(a, b] = (au bi]x...x(ani bn]
Рис. 28. Плотность двумерного
нормального распределения
равна его «объему».
4. Измеримое пространство (/?°°, SS(R°°)). В случае пространств /?л,
п^ 1, вероятностные меры строились по следующей схеме: сначала для
элементарных множеств — прямоугольников вида (a, ft], затем
естественным образом на множествах вида Л = ^Z (аь Μ и» наконец, с помощью
теоремы Каратеодори — на множествах из &8(Rn).
Аналогичная схема построения вероятностных мер «работает» и в
случае пространства (/?°°, S8(R°°)).
Обозначим через
J?n(B) = {xeR°°: (*!,...,*«)€«}, Be&(Rn)y
Цилиндрическое множество в пространстве R°° с «основанием» B€&S(Rn).
Как мы сейчас увидим, именно цилиндрические множества естественно

204 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
считать теми элементарными множествами в /?°°, по значениям
вероятностей которых определяется вероятностная мера на множествах из
BS{R°°).
Пусть Ρ — некоторая вероятностная мера на (/?°°, BS(R°°)). Обозначим
для п = 1,2, ...
/>„(β) = Ρ(Λ(β)), Be38(Rn). (15)
Последовательность вероятностных мер /*ι, /*2, · · ·, определенных
соответственно на (/?, B8(R)), (/?2, ^(/?2)),..., обладает следующим очевидным
свойством согласованности: для любого я= 1, 2, ... и BeBS(Rn)
Pn+l(BxR) = Pn(B). (16)
Весьма примечательно, что имеет место и обратный результат.
Теорема 3 (Колмогорова о продолжении мер в (/?°°, SS(R°°))).
Пусть Р\, />2, ... — последовательность вероятностных мер на
(/?, 3S(R)), (/?2, BS(R2)), ..., обладающих свойством
согласованности (16). Тогда существует и притом единственная вероятностная
мера Ρ на (/?°°, B8(R°°)) такая, что для каждого /z= 1, 2, ...
P(J?n(B)) = Pn(B\ BeSS(Rn). (17)
Доказательство. Пусть Вп €S8(Rn) и Jn{Bn) — цилиндр с
«основанием» Вп. Припишем этому цилиндру меру Р(^п(Вп)), полагая ее равной
Рп(Вп).
Покажем, что в силу условия согласованности такое определение
является корректным, т. е. значение Р(Уп(Вп)) не зависит от способа
представления цилиндрического множества Уп(Вп). В самом деле, пусть один
и тот же цилиндр представлен двумя способами:
Л(ВЙ) = Л+*(ВЛ+*).
Отсюда следует, что если (х\, ..., х/,+^)£/?/|+*, то
(*!,..., χ„)£β ^ И ^efi^ (18)
и, значит, в силу (16)
Рп(Вп)^Рп^((хи...,хп^): (xu...,xn)eBn)=...
... = Pn+k((x\,...,Xn+k): (x\,...,xn)eB) = Pn+k(Bn+k).
Обозначим J2/(R°°) совокупность всех цилиндрических множеств Вп =
= Jn(Bn), Вп € SS(Rn), η =1, 2... Нетрудно видеть, что ^(/?°°) — алгебра.
Пусть теперь В\ ..., Bk — непересекающиеся множества из ^(/?°°).
Без ограничения общности можно считать, что все они таковы, что для

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
205
некоторого η β, = ^„(flf), / = 1., ..., й, где β",..., В% — непересекающиеся
множества из @(Rn). Тогда
ρ(έ ё) =ρ(έ sn(B?)\ =яЛ ς βλ =ς ρη(Β?)=Σ ρ(£<)>
т. е. функция множеств Ρ — конечно-аддитивна на алгебре srf(R°°).
Покажем, что Ρ непрерывна в «нуле» (а, значит, и σ-аддитивна на
£f(R°°)\ см. теорему в § 1), т. е. если последовательность множеств Вп [ 0,
η ->оо, то Рфп) -> 0, η -> оо.
Предположим противное, т.е. пусть Игл Ρ(Βη) = δ>0. Без ограничения
общности можно считать, что последовательность {Вп} такова, что
S„={jc: (απ хя) е Bnl Вп е BS(Rn).
Воспользуемся следующим свойством (см. задачу 9) вероятностных мер
Рп на (/?л, BS(Rn))\ если BneBS(Rn), то для заданного δ>0 можно найти
такой компакт Ап е BS(Rn), что АпСВпн Рп(Вп \ Ап) ^ δ/2η+ι. Поэтому,
если Ап = {х: (хи ..., хп) £ Л„}, то
Ρ(Βη\Αη) = Ρη(Βη\Αη)ζδ/2η+ι.
^ п
Образуем множество Сп = f] Ль и пусть Сп таковы, что
k=\
Сп = {х: (*ь ...,хп)еСп).
Тогда, учитывая, что множества Вп убывают, находим
η η
P(Bn\Cn)^J2P(Bn\Ak)^P(Bk\Ak)^6/2.
fc=l fc=l
Но по предположению lim Р(ВЛ) = 5>0, иу значит, Hm P(Cn)^S/2>0.
Покажем, что это противоречит тому, что Сп 10.
Действительно, выберем в множествах Сп по точке х(/|) = (х\п\ х%\ ...).
Тогда для каждого η > 1 (xf\ ..., х{пп)) £ Cn.
Пусть (ηι) — некоторая подпоследовательность последовательности (п)
такая, что *{л,)—>*р где jcJ — некоторая точка в Сь (Такая
подпоследовательность существует, поскольку все *{л,)€Сь a С ι —компакт.) Из
последовательности (/гι) выберем подпоследовательность (яг) такую, что
(*irt2\ 4Л2)) -> (*?, 4)€ С2· Аналогичным образом пусть (лг<л*\ ..., x{^k)) ->
-* Uj,..., xl) e Ck- Образуем, наконец, диагональную последовательность
(ю*), где rrik есть й-й член в последовательности (я^)· Тогда для любого

206 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
/ = 1,2, ... xjmk)—>x? при т*-+оо, причем точка (jcJ, х$, ...)£С„ для
любого /2=1, 2, ..., что, очевидно, противоречит предположению о том,
что Сп 10, /ζ —► оо.
Итак, функция множеств Ρ на алгебре stf(R°°) является σ-аддитивной
и, значит, по теореме Каратеодори может быть продолжена до
(вероятностной) меры на (/?°°, BS(R°°)). О
Замечание. В рассмотренном сейчас случае пространство R°° есть
счетное произведение прямых, R°°=RxRx ... Естественно поставить
вопрос о том, а верна ли теорема 3 для случая, когда вместо (/?°°, B8(R°°))
берется прямое произведение измеримых пространств (Ω/, ^), / = 1,2, ...
В приведенном выше доказательстве можно усмотреть, что
единственное свойство числовой прямой топологического характера, которое было
существенно использовано, состояло в том, что в любом множестве из
&&{Rn) можно найти компакт, вероятностная мера которого сколь
угодно близка к вероятностной мере этого множества. Известно, однако, что
это свойство присуще не только пространствам (Rn, B8(Rn)), но и любым
полным сепарабельным метрическим пространствам с σ-алгебрами,
порожденными открытыми множествами.
Таким образом, теорема 3 остается справедливой, если считать, что
Ри ^2» ··· —последовательность согласованных вероятностных мер на
(Ωι, ^ι), (Ωι χ Ω2, &\ ®<^2)> ···, где (Ω/, &) — полные сепарабельные
метрические пространства с σ-алгебрами ^·, порожденными
открытыми множествами, а вместо (/?°°, ^(/?°°)) рассмотреть пространство
(Ωι χΩ2χ..., ^i<g>^2®·..)·
В § 9 (теорема 2) будет показано, что результат теоремы 3 также
остается справедливым и в случае произвольных измеримых пространств
(Ω„, &п), если меры Рп, О 1» сконструированы некоторым специальным
образом. В общем же случае (без каких-либо предположений
топологического характера о структуре рассматриваемых измеримых пространств
или о структуре семейства мер {Рп}) теорема 3 может быть и неверна, что
показывает следующий пример.
Рассмотрим пространство Ω = (0, 1], которое, очевидно, не является
полным, и построим в нем последовательность σ-алгебр &\ С ^2 Я · · · по
следующей схеме. Пусть для всех η = 1, 2, ...
, v fl, 0<ω<\/η,
Ы") = \о, iAkuki,
% = {Λ€Ω: Α = {ω: φη(ω)£Β), Be3S(R)}
и &п =a{^fi,..., tfn} — наименьшая σ-алгебра, содержащая системы
множеств %,..., Уя. Ясно, что &\ С ^2 £ · · · Пусть & = a((J &п) — наимень-

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
207
шая σ-алгебра, содержащая все &п. Рассмотрим измеримое пространство
ю &п) и определим на нем вероятностную меру Рп следующим образом:
г, г / / ч / чч η/η П> если (1, ..., 1)еВл,
10 в противном случае,
где Вп £ ^(/?л). Нетрудно убедиться в том, что семейство мер {Рп} является
согласованным: если А е&п, то Рп+\(А) = Рп(А). Можно, однако,
утверждать, что на (Ω, &) не существует вероятностной меры Ρ такой, чтобы
ее сужение Р\&п (т. е. мера Р, рассматриваемая лишь на множествах
из &п) совпадало с Рп, /2=1,2, ... В самом деле, допустим, что такая
вероятностная мера Ρ существует. Тогда
Ρ{ω: φι(ω) = ...=φη(ω)=\} = Ρη{ω: φι(ω) = ... = φα(ω)=1}=1 (19)
для любого п = 1, 2, ... Но
{а;: φ\(ω) = ... = φη(ω)=1} = (0, 1/я)|0,
что противоречит (19) и предположению о счетной аддитивности (а значит,
и непрерывности в «нуле» 0) функции множеств Р.
Приведем теперь пример вероятностной меры в (/?°°, BS(R°°)). Пусть
F\(x), ^(х), ... —последовательность одномерных функций
распределения. Определим функции G\(x) = F\(x), G2(jcl X2i = F\(x\)F2(x^ ··· и
соответствующие им вероятностные меры на (/?, BS(R)), (/?2, Se(R2)), ...
обозначим Р\, Р2> ... Тогда из теоремы 3 следует, что в (/?°°, B8(R°°))
существует такая мера Р, что
P{xeR°°: (*i, ...,*„)€В} = Р„(Я), BeSS(Rn),
и, в частности,
P{xeR°°: Xi^au...,xn^an} = Fl(al)...Fn(an).
Возьмем в качестве F/(jc) — бернуллиевское распределение:
(О, jc<0,
Fi(x) = lq, 0<х<1,
[ι, χ>ι.
Тогда можно утверждать, что в пространстве Ω всех числовых
последовательностей jc = (jci, *2* ...), дс/ = 0, 1, с σ-алгеброй #(/?°°)ηΩ его бо-
релевских подмножеств существует вероятностная мера Ρ такая, что для
любого η ^ 1
Р{х: *1=аь ...,χ„=α„} = ρΣ«γ»-Σ*ι.

208 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Заметим, что именно этого результата нам не хватало в первой главе, чтобы
сформулировать закон больших чисел в форме (8) § 5 гл. I.
5. Измеримые пространства (/?r, SS(RT)). Пусть Τ — произвольное
множество индексов / € Τ и /?/ — числовая прямая, соответствующая
индексу /. Рассмотрим произвольный конечный неупорядоченный набор
т= [t\, ..., tn] различных индексов /,·, /,· е 7\ η^ 1, и пусть Рт —
вероятностная мера на (/?r, BS(RT)) с RT = /?,, χ ... χ Rtn.
Будем говорить, что семейство вероятностных мер {Рг}, где г пробегает
множество всех конечных неупорядоченных наборов, является
согласованным, если для любых наборов т= [t\, ..., tn] и σ= [s\, ..., s*] таких,
что аСту
Pa{(xSi, .... JfsJ: (JfsP ...,xSk)€B} =
= Ρτ{(*ί„ ...,*.): (jcSi,...,jcsJgB} (20)
для любого β G ^(/?σ).
Теорема 4 (Колмогорова о продолжении мер в (RT, BS(RT))).
Пусть {РТ} — семейство согласованных вероятностных мер на
(/?r, B8(RT)). Тогда существует и притом единственная
вероятностная мера Ρ на (/?r, SS(RT)) такая, что
P(Sr(B)) = Pr(B)) (21)
для всех неупорядоченных наборов τ— [t\, ...,/„] различных индексов
tteTyBeB8(RT) a J?T(B) = {xeRT: (хи% ..., xtn)eB}.
Доказательство. Пусть множество BeB8(RT). Согласно теореме 3
из § 2, найдется не более чем счетное множество S = {s\, 52, ...}С Τ такое,
чтоВ=={л:: (jcS|,jcS2, ...)GB}, где BeSS(Rs), /?5=/?s, *Rs2x ··♦ Иначе
говоря, В = c/s(ZJ) — цилиндрическое множество с «основанием» В е&(RS).
На таких цилиндрических множествах В = *?$(В) определим функцию
множеств Р, полагая
P(J?s(B)) = Ps{B\ (22)
где Ps — та вероятностная мера, существование которой гарантируется
теоремой 3.
Мы утверждаем, что Ρ — именно та мера, о существовании которой
говорится в теореме. Чтобы установить это, надо, во-первых, проверить,
что определение (22) корректно, т. е. приводит к одному и тому же значению
Ρ (β) при разных способах представления β, и, во-вторых, что эта функция
множеств счетно-аддитивна.
Итак, пусть B = ^Si(B\) и В = ^52(^2)· Ясно, что тогда В = *?sxos2(Bs)
с некоторым В$ €^(/?5,и52), и поэтому достаточно лишь убедиться в том,

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
209
что если SCS' hB€^s), to /V(S') = />s(S)> где
Но в силу условия согласованности (20) это равенство непосредственно
вытекает из теоремы 3, что и доказывает независимость значений Ρ (В) от
способа представления множества В.
Далее, для проверки свойства счетной аддитивности функции
множеств Ρ предположим, что {Вп} — некоторая последовательность
попарно непересекающихся множеств из BS(RT). Тогда найдется такое не
более чем счетное множество S С 7\ что для любого η^ 1 Вп = У$(Вп), где
Вп € 3S(RS). Поскольку Ps — вероятностная мера, то
Ρ(Σ &)=Ρ(Σ ·*<*■>)=4Σ Β") -
=Σ ρδ(β«)=Σ ρ(·^(β«))=Σ ρ(^>·
Наконец, свойство (21) непосредственно следует из самой конструкции
меры P. G
Замечание 1. Подчеркнем, что Τ —любое множество индексов. При
этом в силу замечания к теореме 3 настоящая теорема остается в силе, если
вместо числовых прямых Rt рассматривать любые полные сепарабельные
метрические пространства Ω, (с σ-алгебрами, порожденными открытыми
множествами).
Замечание 2. Исходное семейство вероятностных мер {РТ}
предполагалось заданным для всех неупорядоченных наборов r = [t\, ..., tn]
различных индексов. В этой связи важно подчеркнуть, что эти меры Рт как
функции от г = [t\, ..., tn] являются, в сущности, функциями множеств,
составленных из (разных) точек {t\}, ..., {/„}. (Скажем, неупорядоченные
наборы [а, Ь] и [6, а] надо рассматривать как тождественные, поскольку
они задают одно и то же множество, состоящее из точек {а} и {Ь}.) Иногда
же в качестве исходного берут семейство вероятностных мер {Рт}> где
τ пробегает множество всех упорядоченных наборов r = (t\, ..., tn)
различных индексов. (Тогда наборы (а, Ь) и (6, а), составленные из одних и тех
же точек, нужно рассматривать как разные, поскольку для упорядоченных
наборов важен порядок следования их элементов.) В этом случае для
справедливости теоремы 4 к условию (20) надо добавить еще одно условие
согласованности:
Р(Ь мИ/, х ... х At.) = P{tll tin)(Atii x ...xAtJ9 (23)
где (/ь ..., in) — произвольная перестановка чисел (1, ..., /г), Ati €@(Rt,),

210 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
очевидность которого как необходимого условия существования
вероятностной меры Ρ следует из (21) (с заменой Р\и tn](B) на Я</, /„)(£)).
В дальнейшем мы всегда будем предполагать, что рассматриваемые
наборы г являются неупорядоченными. Если Τ — множество на
числовой прямой (или некоторое вполне упорядоченное множество), то
без ограничения общности можно считать, что рассматриваемые наборы
т = [/ь ..., tn] таковы, что t\ <t2<...<tn. (Если, скажем, множество г
состоит из числовых точек {αϊ}, {аг}, ..., {ал}, то г всегда может быть
представлено в виде т = [/ь fe» ···. *л]» гДе Ί <*2<··· <tn, при этом
t\ =min(ai, ..., α„), ..., tn = max(ai, ..., αη).) Таким образом, все
«конечномерные» вероятности в этом случае достаточно задавать лишь для
таких наборов r = [t\, ..., /„], у которых t\ </2<··· <tn-
Рассмотрим сейчас тот случай, когда Τ = [0, оо). В этом случае RT есть
пространство всех действительных функций χ = (xt)t^o. Важным примером
вероятностной меры на (R^°°\ BS^R}0^)) является так называемая вине-
ровская мера, строящаяся следующим образом.
Рассмотрим семейство {<pt(y\x)}t^o гауссовских плотностей (по у при
фиксированном х)
φιϋ\χ) = -^=β-*-*№, y<=R,
и определим для каждого набора г = [/ι,..., /„], t\ <t2<...<tn, и множеств
В = Λ χ ... χ /„, Ik = (αΛ, bk\ меру Рт(В) по формуле
Pr(B) = Pr(Ilx...xIn) =
= § ··· ^φίΜι\°)ψί2-ίΛα2\α\)'''φί„-ίη.Μη\^η^\)(ίαι...άαη (24)
/. in
(интегрирование понимается в смысле Римана). Затем для каждого
цилиндрического множества Ju ,я (Λ χ ... χ /„) = {χ е RT: xti £ Λ,..., xtn £ /„}
определим функцию множеств Ρ, полагая
Ρ(Λ /.(Λ χ...χ/«)) = Ρ[/, «(Λ χ...χ/«).
Наглядный смысл такого способа приписывания меры цилиндрическому
множеству Jtx t„(I\ х ··· х D состоит в следующем.
Множество Jtx t„(l\ x ... х /л) — это множество всех функций,
проходящих в моменты /ι,..., in через «окна» /j,..., /„ (см. рис. 24, § 2). Будем
интерпретировать <ptk-tk-x(a>k\a>k-\) dak как вероятность того, что частица,
выходящая из точки а*_ь за время tk — tk-\ попадет в dak -окрестность
точки ak. Тогда то, что в (24) рассматривается произведение плотностей,
означает определенную независимость приращений смещений движущейся
«частицы» на интервалах времени [0, t\], [Λ, /г], ..., [tn-\, tn]·

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
211
Так построенное семейство мер {Рт} является, как нетрудно проверить,
согласованным и, следовательно, может быть продолжено до меры на
(#|о.°°), щ^°°))). Полученная таким образом мера играет важную роль
в теории вероятностей. Эта мера была введена Н. Винером и называется
винеровской мерой.
6. Задачи.
1. Пусть /7(jc) = P(-oo, χ]. Показать справедливость следующих
формул:
Р(а, b] = F(b)-F(a), Ρ(α, b) = F(b-)-F(a),
P[ayb] = F(b)-F(a-)y Ρ[α, b) = F(b-)-F(a-)y
P({x}) = F(x)-F(x-l
где F(x-) = lim F(y).
у U
2. Убедиться в справедливости формулы (7).
3. Провести доказательство теоремы 2.
4. Показать, что функция распределения F = F(x) на R имеет не более
чем счетное число точек разрыва. Что можно сказать о соответствующем
результате для функций распределения в Rn?
5. Показать, что каждая из функций
о^у)4х: х+у^
\0, х + #<0,
G(jc, у) = [х + у] — целая часть χ + у,
является непрерывной справа, возрастающей по каждой переменной, но
не является (обобщенной) функцией распределения в R2.
6. Пусть μ — мера Лебега—Стилтьеса, отвечающая некоторой
непрерывной обобщенной функции распределения. Показать, что если
множество А не более чем счетно, то μ(Α) = 0.
7. Пусть с — мощность континуума. Показать, что мощность борелев-
ских множеств в Rn равна с, а σ-алгебры лебеговских — 2е.
8. Пусть (Ω, «^, Ρ) — некоторое вероятностное пространство и si —
алгебра подмножеств Ω такая, что a(si) = &. Используя принцип
подходящих множеств, доказать, что для всякого ε > 0 и В е & можно найти
такое множество А £ si, что
Ρ(ΑΑΒ)ζε.
9. Пусть Ρ — вероятностная мера на (/?л, B8(Rn)). Доказать, что для
всякого е>0 и Be&S(Rn) можно найти компактное множество А\
и открытое Л2 такие, что А\С.ВСА2 и Ρ(/ΐ2\ΛιΧε. (Этот результат
используется в доказательстве теоремы 3.)

212 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
10. Проверить согласованность семейства мер {Рг}, построенных по
формуле Ρτ(β) = Ρ(ν#τ(β)), где Ρ —данная вероятностная мера (ср. с (21)).
11. Проверить, что приведенные в табл. 2 и 3 «распределения»
действительно являются распределениями вероятностей.
12. Показать, что система si из замечания 2 в п. 1 является σ-алгеброй.
13. Показать, что функция множеств μ(Α), Aesi, введенная в
замечании 2 п. 1, является мерой.
14. Привести пример, показывающий, что если мера μο является на
алгебре s/ конечно-аддитивной (но не счетно-аддитивной), то ее нельзя
продолжить до счетно-аддитивной меры на a(si).
15. Показать, что всякая конечно-аддитивная вероятностная мера,
заданная на алгебре si подмножеств Ω, может быть продолжена до конечно-
аддитивной вероятности на всех подмножествах из Ω.
16. Пусть Ρ — вероятностная мера на σ-алгебре & подмножеств
Ω. Пусть множество С С Ω, но С £ &. Показать, что меру Ρ можно
продолжить (с сохранением свойства счетной аддитивности) на σ-алгебру
a(^U{C}).
17. Показать, что носитель непрерывной функции распределения F
есть совершенное множество (т. е. носитель supp F есть замкнутое
множество, обладающее тем свойством, что если χ € supp F и ε > 0, то найдется
ι/£ supp F такое, что 0< \х — у\ <ε). Показать, что носитель
(произвольной) функции распределения является замкнутым множеством.
18. Доказать следующий фундаментальный результат (см. конец п. 1)
о структуре функций распределения: каждая функция есть выпуклая
комбинация
F = αϊ /\ι Н- a^Fabc + аз/7sc
дискретной (Т^), абсолютно непрерывной (Fabc) и сингулярной
непрерывной (Fsc) функций распределения; а, ^0, αϊ +а2 + аз= 1.
19. Показать, что для канторовской функции распределения F = F(x)
для каждой точки из канторова множества J/ точек ее роста
(совпадаем ^ OLk(x)
ющего с носителем supp F) имеет место представление x=J2 \) , где
ak(x) = 0 или 2, и что для таких точек F(x) = Σ ^f+ρ
20. Пусть С — некоторое замкнутое множество на /?. Построить
функцию распределения F, для которой носитель supp F = С.
21. Показать, что в биномиальном случае (п. 1 § 2) функция
распределения
Вп{т\ р) = Р> ^ т) = Σ CnPkQ
n-k
^пН Ч
k=0

§3. ЗАДАНИЕ ВЕРОЯТНОСТНЫХ МЕР
213
может быть выражена через (неполную) бета-функцию:
! ι
v г/ B(m+1, n — m) J v
22. Показать, что пуассоновская функция распределения F(n\ λ) =
η e-x\k
= Σ —τ-— выражается следующим образом через (неполную) гамма-
функцию:
F(n;A) = ^ $ x?e-*dx.
23. При описании формы плотностей распределений / = f(x) помимо
среднего значения и дисперсии стандартными характеристиками являются
параметр «скошенности» (skewness)
σό
и параметр «пикообразности» (peakedness, kurtosis)
04 = ^,
где μ* = § (х - μ)* f(x) dx, μ = ξ */(*) d*, σ2 = μ2·
Рассмотреть вопрос о значениях параметров аз и оц для
распределений, приведенных в таблице на с. 197.
24. Показать, что для случайной величины X с гамма-распределением
(из таблицы на с. 197) с /3= 1
EXk= r(* + Q)
Γ(α)
В частности, ΕΧ = α, ΕΧ2 = α(α+1) и, значит, DX = a.
Найти аналог этих формул, когда βφ\.
25. Показать, что для случайной величины X с бета-распределением
(из таблицы на с. 197)
cvk_ B(r + k,s)
ЕХ ^~в(^Г·
26. При рассмотрении биномиального распределения фиксируется
число испытаний η и рассматривается вероятность Prt{i/ = r} того, что
число «успехов» в этих η испытаниях равно г. Эти вероятности РЛ{1/ = г} =
~CnPrQn~r> O^r^/z, где ρ — вероятность единичного «успеха»,
образуют биномиальное распределение (п — задано).
Отрицательно-биномиальное (или обратно-биномиальное) распределение возникает, когда

214 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
рассматривается вопрос о том, какова вероятность того, что г «успехов»
впервые появятся на (случайном) шаге т = й (^г). Показать, что эта
вероятность Рг{т = й} задается формулой
Р'(г = й) = С£:!рУ-г, * = г,г+1, ....
с г = 1, 2, ... (р — вероятность единичного «успеха»). Набор этих
вероятностей Рг{т = й} для й = г, г+ 1, ... (г —задано) образует отрицательно-
биномиальное распределение. Показать, что (для заданного г) Err = rq/p.
§ 4. Случайные величины. I
1. Пусть (Ω, &) — некоторое измеримое пространство и (Я, B8(R)) —
числовая прямая с системой борелевских множеств BS(R).
Определение 1. Действительная функция ξ = ξ(α;), определенная на
(Ω, «^), называется ^-измеримой функцией или случайной величиной,
если для любого В е 3S(R)
{ω:ξ(ω)£Β}£&, (Ι)
или, что то же самое, если прообраз ξ~ι(Β) = {ω: ξ(ω)ζΒ} является
измеримым множеством в Ω.
В том случае, когда (Ω, #) = (Rn, BS(Rn)), ^(/?л)-измеримые функции
называют борелевскими.
Простейшим примером случайной величины является индикатор
Ια (ω) любого (измеримого) множества А е&.
Случайная величина ξ = ξ(α;), представимая в виде
оо
где £ Л/ =Ω, Л; £ <^\ будет называться дискретной. Если же в (2) сумма
конечна, то такая случайная величина будет называться простой.
Следуя той же интерпретации, что и в § 4 главы I, можно сказать, что
случайная величина есть некоторая числовая характеристика
эксперимента, значения которой зависят от «случая» ω. При этом требование
измеримости (1) важно, и вот по какой причине: если на (Ω, &) задана
вероятностная мера Р, то тогда имеет смысл говорить о вероятности
события {α;: ξ(ω)€Β}, состоящего в том, что значения случайной величины
принадлежат некоторому борелевскому множеству В.
В этой связи дадим такое
Определение 2. Вероятностная мера Ρξ на (/?, SS(R)) с
Ρξ(Β) = Ρ {ω: ξ(ω) € β}, Β G BS(R),

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. I
215
называется распределением вероятностей случайной величины ξ на
Определение 3. Функция
Fz(x) = P{uj: ξ(ω)^χ}, xeR,
называется функцией распределения случайной величины ξ.
Для дискретной случайной величины ξ мера Ρξ сосредоточена не
более чем в счетном числе точек и может быть представлена в виде
*w= Σ pi**)* (3)
где p(xk) = Ρ {ξ = Xk) = A^(^).
Очевидно, что верно и обратное: если Ρξ представимо в виде (3), то
ξ является дискретной случайной величиной.
Случайная величина ξ называется непрерывной, если ее функция
распределения /^(jc) непрерывна по xeR.
Случайная величина ξ называется абсолютно непрерывной, если
существует неотрицательная функция / = /^(jc), называемая плотностью,
такая, что
W= S /*Grt<fc. *e# (4)
—оо
(интеграл понимается в смысле Римана, а в более общем случае —в
смысле Лебега; см. далее § 6).
2. Установление того, что некоторая функция ξ=ξ(ω) является
случайной величиной, требует проверки свойства (1) для всех множеств Ве&.
Следующая лемма показывает, что класс таких «пробных» множеств
может быть сужен.
Лемма 1. Пусть S — некоторая система множеств такая, что
σ((?) = ^(/?). Для того чтобы функция ξ = ξ{ω) была ^-измеримой,
необходимо и достаточно, чтобы
{ω: ξ(ω)£Ε}<=:& (5)
для всех £ £ <?.
Доказательство. Необходимость очевидна. Для доказательства
достаточности опять воспользуемся принципом подходящих множеств
(§2).
Пусть $1 — система тех борелевских множеств D из SS(R), для
которых ξ~χφ)€&. Операция «взятия прообраза» сохраняет, как нетрудно
проверить, теоретико-множественные операции объединения, пересечения

216 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
и дополнения:
г1 (и β-) =U €"'<*-)·
г
(nfl-)-nr'(Be).
-ЧП n\^r\e-UR \ (6)
ξ-ι(Βα) = ξ~ι(Βα).
Отсюда следует, что система @ является σ-алгеброй. Значит,
gC$C3S(R)
и
a(g)Ca(@) = @CSg{R).
Но σ(£) = BS{R), следовательно, 9 = B8(R). Π
Следствие. Для того чтобы функция ξ = ξ(ω) была случайной
величиной, необходимо и достаточно, чтобы для любых xeR
{ω: ξ(ω)<χ}£#:
или
{ω: ξ(ω)^χ}£&.
Доказательство сразу следует из того, что каждая из систем множеств
£\ = {χ: χ < с, с е /?},
<?2 = {*: х ^ с, с е R)
порождает σ-алгебру SS(R), т.е. σ(<?ι) = σ(<?2) = ^(#) (см. § 2).
Приводимая ниже лемма дает возможность конструирования
случайных величин как функций от других случайных величин.
Лемма 2. Пусть φ = φ(χ) — борелевская функция, α ξ = ξ(ω) —
случайная величина. Тогда сложная функция η = φοξ, т.е. функция
η(ω) = φ{ξ{ω)), также является случайной величиной.
Доказательство следует из того, что для В е &B{R)
{ω: η(ω)£Β} = {ω: φ(ξ(ω))£Β} = {ω: ζ(ω)€φ-ι{Β)}€*9 (7)
поскольку φ~ι(Β) e B${R). D
Таким образом, если ξ — случайная величина, то такие функции, как,
скажем, ξη, ξ+ = max(£, 0), ξ~ = - min(£, 0), |ξ| также являются
случайными величинами, поскольку функции хп, х+, х~, \х\ являются борелевскими
(задача 3).
3. Отправляясь от заданной системы случайных величин {£„}, можно
оо
строить новые функции, например, ]П |£rt|, Hm ξη, lim ξη и т.д. Заметим,

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. I
217
что эти функции принимают свои значения, вообще говоря, уже в
расширенной числовой прямой /? = [—оо, оо]. Поэтому целесообразно несколько
расширить класс ^"-измеримых функций, допуская, чтобы они принимали
также значения ±оо.
Определение 4. Функция ξ = ξ(ω), определенная на (Ω, &) и
принимающая значения в /? = [—оо, оо], называется расширенной случайной
величиной, если для любого борелевского множества В € BS(R) (σ-алгебра
<%(R) = a(@(R), ±oo)) выполнено условие (1).
Следующая теорема, несмотря на ее простоту, является ключевой при
построении интеграла Лебега (§ 6).
Теорема 1. а) Для любой (в том числе и расширенной) случайной
величины ξ = ξ(ω) найдется последовательность простых случайных
величин ξι, &, ··· таких, что |ξΛ|<|ξ| и ξη(ω)-+ξ(ω) при /ζ—>оо для
всех ω Ε Ω.
b) Если к тому же ξ(ω) ^ О, α; € Ω, то найдется
последовательность простых случайных величин ξι, ξ2, ... таких, что ξ„(α;)|ξΜ,
η —»оо, для всех ω £ Ω.
Доказательство. Начнем с доказательства второго утверждения.
Положим для η = 1, 2, ...
Непосредственно проверяется, что построенная последовательность ξη(ω)
такова, что ξη(ω)ϊξ(ω) для всех ωΕΩ. Из этого утверждения вытекает
также справедливость первого утверждения, если только заметить, что
ξ может быть представлена в виде ξ = ξ+ — ξ~. □
Покажем теперь, что класс расширенных случайных величин замкнут
относительно поточечной сходимости. С этой целью заметим прежде всего,
что если ξι, ξ2, ... — последовательность расширенных случайных величин,
то функции sup ξ„, inf ξ„, lim ξ„ и ]im ξ„ также являются случайными
величинами (быть может, расширенными). Следует это непосредственно из
того, что
{a;: sup ξ„ >*} = |J {ω: ξη >x}e&,
η
{ω: inf £„<*} = (J {or. ξη<χ}£^
Π
и lim ξ„ = inf sup ξ„, lim ξ„ = sup inf ξ*,.

218 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Теорема 2. Пусть ξι, &» ··· —последовательность расширенных
случайных величин и £(u;) = lim ξη(ω), ω£Ω. Тогда ξ = ξ(ω) также
является расширенной случайной величиной.
Доказательство сразу следует из сделанного выше замечания и того,
что
{α;: ξ(ω) < х) = {а;: lim ξη(ω) < χ) =
= {ω: Шξn(ω) = \Mξn(ω)}n{Шξn(ω)<x} =
= Ω Π {lim ξ„(α;) < χ} = {lim ξ„(α;) < χ) (Ξ ^\
4. Остановимся еще на некоторых свойствах простейших функций от
случайных величин, рассматриваемых на измеримом пространстве (Ω, &)
]\_ принимающих, быть может, значения в расширенной числовой прямой
# = [-оо, оо] *).
Если ξ и η — две случайные величины, то ξ + η, ξ — η, ξη и ξ/η также
являются случайными величинами (в предположении, что они определены,
т.е. не возникает неопределенностей типа оо —оо, —, -}.
В самом деле, пусть {ξη} и {ηη} — последовательности случайных
величин, сходящиеся к ξ и η (см. теорему 1). Тогда
ξη±ηη-+ξ±η>
ξηηη-+ξη,
—τ" >ξ-
Каждая из функций в левых частях этих соотношений является простой
случайной величиной. Поэтому в силу теоремы 2 предельные функции
ξ±η, ξη и ξ/η также являются случайными величинами.
5. Пусть ξ = ξ(ω) — случайная величина. Рассмотрим множества из &
вида {ω: ξ(ω) £ β}, Be BS(R). Они образуют σ-алгебру, называемую σ-ал-
геброй, порожденной случайной величиной ξ. Будем ее обозначать «^
или σ(ξ).
Если <£ —некоторая борелевская функция, то из леммы 2 следует, что
функция η = φοξ также является случайной величиной, причем
«^-измеримой, т. е. такой, что {α;: η(ω) е В) е &^ В е B8(R) (см. (7)). Оказывается,
что справедлив и обратный результат.
*) В дальнейшем принимаются обычные соглашения относительно арифметических
операций в R: если а € /?, то а ± оо = ±оо, -— = 0; а · оо == оо, если а > 0, и а · оо = —оо, если
±оо
а < 0; 0 · (±оо) = 0, оо + оо == оо, —оо — оо = —оо

§4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. I
219
Теорема 3. Пусть η = η(ω) — ^ξ-измеримая случайная величина.
Тогда найдется такая борелевская функция φ, что η = φοξ, т.е.
η(ω) = φ(ξ(ω)) для каждого ω eft.
Доказательство. Пусть Φ — класс всех «^-измеримых функций
ητ=η(ω), а Φξ — ^-измеримых функций, представимых в виде ν>οξ, где
<р — некоторая борелевская функция. Ясно, что Φξ<ΙΦξ. Утверждение
теоремы состоит в том, что на самом деле Φξ = Φξ.
Пусть А € <^ξ и η(ω) = Ια (ω). Покажем, что η € Φξ. Действительно, если
А £ β"ξ, то найдется В £ &B(R) такое, что Α = {ω: ξ(ω) £ В}. Обозначим
-It
XaM-<ft xiB
Тогда />ιΜ = Χβ(ξΜ)£Φξ· Отсюда следует, что и любая простая ^ξ-из-
п _
меримая функция Σ q/^До;), Л,- €<^ξ, также принадлежит классу Φξ.
/=ι
Пусть теперь η — произвольная «^-измеримая функция. По
теореме 1 найдется последовательность {ηη} простых «^-измеримых функций
ηη=ηη(ω) таких, что ηη(ω)—>η(ω), п—юо, ω€ίϊ. Как только что было
установлено, существуют такие борелевские функции φη = φη(χ), что
ηη(ω) = φη(ξ(ω)). При этом φη(ξ(ω)) -> η(ω), π -+ οο, ω £ Ω.
Обозначим В = {χ GR: lim φη(χ) существует}. Это множество является
борелевским. Поэтому функция
_ ГНгп φη{χ),
г ..ν ,, *£β>
также является борелевской (см. задачу 6).
Но тогда, очевидно, η(ω) = lim φη(ξ(ω)) = φ(ξ(ω)) для всех ω£ Ω.
Следовательно, Φξ = Φξ. D
6. Рассмотрим измеримое пространство (Ω, &) и некоторое конечное
или счетное разбиение & = {D\, D2, · · ·} пространства Ω: D/ £ с^\ X] Д = Ω.
Образуем алгебру si, содержащую пустое множество 0 и множества
вида Σ "α, где слагаемые берутся в конечном или счетном числе. Очевидно,
α
что система si является монотонным классом, и поэтому, согласно лемме 2
§ 2, алгебра &/ является в то же самое время и σ-алгеброй, обозначаемой
σ(^) и называемой σ-алгеброй, порожденной разбиением Sf. Ясно, что

220 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Лемма 3. Пусть ξ — ξ(ω) является а(@)-измеримой случайной
величиной. Тогда ξ представила в виде
оо
£И = £*л/о*М. (8)
k=\
где Xk^Ry k^U т.е. ξ(ω) принимает постоянные значения на
элементах разбиения D^ k^l.
Доказательство. Возьмем некоторое множество Dk и покажем, что
на нем а(0)-измеримая функция ξ принимает постоянное значение.
С этой целью обозначим
Jtfc = sup [с: Dkf){u: £(u;)<c} = 0].
Поскольку {ω: ξ(ω)<χ^ = ^ {ω: ξ(ω)<ί}, где объединение берется по
всем рациональным г < Xk, то Dk Π {α;: ξ(ω) < Xk) = 0.
Пусть теперь с > х^ Тогда Dk Π {α;: ξ(ω) <с}ф0 и так как множество
{α;: ξ(ω) <с} имеет вид Σ DQ, где сумма берется по конечному или счет-
α
ному набору индексов, то
ΩΜΠ{ω: £(u;)<c} = D*.
Отсюда вытекает, что для всех с > Xk
Dkn{u;: ξ(ω)>ό) = 0
и поскольку {α;: ξ(ω)>χ^ = [} {ω: ξ(ω)^ί}, где объединение берется по
всем рациональным г > Xk, то
Dkn{u: ξ(α;)>χΛ} = 0.
Таким образом, Dkf\{u: ξ(ω)^χ^ = 0 и, значит,
DkC{uj: ξΜ = χ*},
что и требовалось доказать. D
7. Задачи.
1. Показать, что случайная величина ξ непрерывна, если и только если
Ρ{ξ = χ} = 0 для всех χ £ R.
2. Если |ξ| является ^"-измеримой, то верно ли, что ξ также
^"-измерима?
3. Доказать, что функции хпу х+ = max(jc, 0), х~ = — ггип(л:, 0), \х\ =
= а:++а:"" являются борелевскими.
4. Если ξ и η — ^"-измеримы, то {ω: ζ(ω)=η(ω)}ξ:&.

§5. СЛУЧАЙНЫЕ ЭЛЕМЕНТЫ
221
5. Пусть ξ и η — две случайные величины на (Ω, &) и множество А € &.
Тогда функция
ζ(ω)=ξ(ω)ΙΑ+η(ω)ΙΆ
также является случайной величиной.
6. Пусть ξι, ..., ξΛ — случайные величины и <^(λ:ι, ···» *п) — борелев-
ская функция. Показать, что функция φ(ξ\(ω), ..., ξη(ω)) также является
случайной величиной.
7. Пусть ξ и η — две случайные величины, принимающие
значения 1, 2, ..., N. Предположим, что &ξ = &η. Показать, что существует
такая перестановка (/ь /2, ..., /yv) чисел (1,2, ...,Ν), что для каждого
/ = 1, 2, ..., yV множества {α;: ξ = /} и {а;: η = / + /'} совпадают.
8. Привести пример случайной величины ξ, функция распределения
которой имеет плотность f(x) такую, что lim f(x) не существует и, следо-
х—>оо
вательно, f(x) на бесконечности не аннулируется.
9. Пусть ξ и η — ограниченные случайные величины (|ξ| ^с\, \η\ <С2)·
Доказать, что если для всех т, п ^ 1
Е£"у = Е£т.Е|д
το ξ и η независимы.
10. Пусть ξ и η — случайные величины и их функции распределения /^ и
Fv совпадают. Доказать, что если χ еR и {ω: ξ(ω) = χ}Φ 0, то существует
у € R такое, что {α;: ξ(ω) = χ} = {α;: η(ω) = */}.
11. Пусть £ — не более чем счетное подмножество /?, ξ — отображение
Ω —> £. Доказать, что ξ является случайной величиной на (Ω, с^") тогда и
только тогда, когда {α;: ξ (а;) = χ} £ & для каждого χ £ £.
§ 5. Случайные элементы
1. Наряду со случайными величинами в теории вероятностей и ее
приложениях рассматривают случайные объекты более общей природы,
например, случайные точки, векторы, функции, процессы, поля,
множества, меры и т. д. В связи с этим желательно иметь понятие случайного
объекта произвольной природы.
Определение 1. Пусть (Ω, &) и (£, <?)—два измеримых пространства.
Будем говорить, что функция X =Х(и;), определенная на Ω и принимающая
значения в £, есть &/&-измеримая функция, или случайный элемент
(со значениями в £), если для любого В е &
{ω: Χ(ω)£Β}£#.
(1)

222 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Иногда случайные элементы (со значениями в Е) называют также
Е-значными случайными величинами.
Рассмотрим частные случаи этого определения.
Если (£, S) = (/?, BS(R)), то определение случайного элемента совпадает
с определением случайной величины (§ 4).
Пусть (£, £) = (/?", B8(Rn)). Тогда случайный элемент Χ(ω) есть
«случайная точка» в Rn. Если π^ — проекция Rn на k-ю координатную ось, то
Χ(ω) можно представить в виде
*ИИЫ").....6.М). (2)
где ξ^ = πΛοΧ.
Из условия (1) вытекает, что & —обычные случайные величины.
Действительно, для любого В е &B(R)
{ω: &Μ£β} =
= {ω: ζχ{ω) £/?, ..., 6-ιΜ £/?, &{ω) £β, &+ιΜ £/?, ...9ξη{ω) £/?} =
= {ω: X(u)e(Rx...xRxBxRx...xR)}e&,
поскольку множество Rx...xRxBxRx...xRe BS(Rn).
Определение 2. Всякий упорядоченный набор случайных величин
(77ιΜ, ..., щ(и)) будем называть n-мерным случайным вектором.
В соответствии с этим определением всякий случайный элемент Χ(ω)
со значениями в Rn является /z-мерным случайным вектором.
Справедливо и обратное: всякий случайный вектор Χ(ω) = (ξ\(ω), ..., ξη(ω)) есть
случайный элемент в Rn. Действительно, если Bk€SS(R), k = 1, ..., /ζ, то
η
{ω: Χ{ω)€(Βιχ...χΒη)) = 1[{ω: Ъ(и)ьВк}еР.
k=\
Но наименьшая σ-алгебра, содержащая множества В\х...хВп, совпадает
с B8(Rn). Тогда из очевидного обобщения леммы 1 из § 4 сразу получаем,
что для любого В е B8(Rn) множество {α;: Χ(ω) £ В} принадлежит β'.
Пусть (£, <?) = (Ζ, Βδ(Ζ)), где Ζ — множество комплексных чисел
ζ = χ + iy9 jc, у £ /?, a ^(Z) — наименьшая σ-алгебра, содержащая
множества вида {z: z = x + iy, α\<χιζϋ\, а2<у^Ь2}. Из предыдущего
рассмотрения следует, что комплекснозначная случайная величина Ζ(ω)
представляется в виде Ζ(ω) = Χ(ω) + ίΥ(ω), где Χ(ω) и Υ(ω) — случайные
величины. Поэтому Ζ(ω) называют также комплексными случайными
величинами.
Пусть (£, <?) = (/?r, SS(RT)), где Г — некоторое подмножество числовой
прямой. В этом случае всякий случайный элемент Χ =Χ(ω), представимый,

§5. СЛУЧАЙНЫЕ ЭЛЕМЕНТЫ
223
очевидно, в виде X = (&)*ег с & =π, оХ, называют случайной функцией
с временным интервалом Т.
Так же, как и для случайных векторов, устанавливается, что всякая
случайная функция является в то же самое время случайным процессом
в смысле следующего определения.
Определение 3. Пусть Τ — некоторое подмножество числовой
прямой. Совокупность случайных величин Χ = (ξ()ί£Τ называется случайным
(стохастическим) процессом с временным интервалом Т.
Если Г = {1,2, ...}»τοΧ = (ξι,ξ2» ···) называют случайным процессом
с дискретным временем или случайной последовательностью.
Если Г = [0, 1], (-оо, оо), [0, оо), ..., τοΧ = (ξ()(£τ называют
случайным процессом с непрерывным временем.
Используя структуру σ-алгебр BB(RT) (§ 2), нетрудно показать, что
всякий случайный процесс X = (ξί)ί£τ (в смысле определения 3) является в то
же самое время случайной функцией (случайным элементом со значениями
в/?г).
Определение 4. Пусть Χ = (ξ()(£Τ — случайный процесс. Для каждого
фиксированного u>eil функция (ξί(ω))ί£τ называется реализацией или
траекторией процесса, соответствующей исходу ω.
По аналогии с определением 2 § 4 естественно следующее
Определение 5. Пусть X = (&)*€г — случайный процесс.
Вероятностная мера Рх на (/?r, 3S(RT)) с
Ρχ(Β) = Ρ{ω: Χ(ω)£ΒΙ BeB8(RT\
называется распределением вероятностей процесса X. Вероятности
Pt t.{B) = P{w: (&,....,&.)€в>
с t\ < t<i <... < tn, ti e 7\ называются конечномерными вероятностями
(или распределениями вероятностей). Функции
Ftx tA*\> ...,χη) = Ρ{ω: ξ*!<*ι, ....&<*,!}
с t\ < t<i < ... < tn, ti-G 7\ называются конечномерными функциями
распределения процесса X = (ξ* )*ег·
Пусть (£, S) = (С, ^о(С)), где С — пространство непрерывных функций
x — (xt)ter на Τ = [О, 1] с σ-алгеброй BSq(C), порожденной открытыми
множествами (§ 2). Покажем, что всякий случайный элемент X пространства
(С, B$q(C)) есть в то же самое время случайный процесс (с непрерывными
траекториями) в смысле определения 3.
В самом деле, согласно § 2, множество А = {хеС: xt<a) есть открытое
множество в 3Sq(C). Поэтому
{α;: ξ,(ω) <а} = {ω: Х(ш)еА}е&.

224 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
С другой стороны, пусть Χ = (ξ/Μ)/€7' есть случайный процесс (в
смысле определения 3), траектории которого при каждом ω£Ω являются
непрерывными функциями. В соответствии с (17) § 2
{xeC:xeSp(x°)} = f){xeC: \xtk-xl\<p],
где tk — рациональные точки отрезка [0, 1]. Поэтому
{a;: X(u;)eSp(X0(uj))} = f){uj: |6Да;)-ξ° М| <р}£^,
tk
а значит, и {α;: Χ(ω) £ β} £ ^ для любого В £ ВВъ(С).
Аналогичные рассуждения показывают также, что всякий случайный
элемент пространства (D, S$b(D)), введенного в § 2 (п. 7), может
рассматриваться как случайный процесс с траекториями из пространства функций
без разрывов второго рода, и наоборот.
2. Пусть (Ω, β', Р) — вероятностное пространство и (£Q, ga) —
измеримые пространства, где индекс α принадлежит некоторому (произвольному)
множеству 21.
Определение 6. Будем говорить, что & /So. -измеримые функции
(Χα(ω)), α £21, независимы (или независимы в совокупности), если
для любого конечного набора индексов αϊ, ..., ап случайные элементы
Λα,, ..., Хап независимы, т. е.
Ρ{Χα|£βα|,...,Χα/Ι£βα/Ι}==Ρ{Χαι£βαι}...Ρ{Χα/Ι£βα/ι}, (3)
где Вое в &а.
Пусть 21 = {1, 2, ..., /ζ}, ξα —случайные величины, а£21, и
F^xu ...,*η) = Ρ{ξι^*ι, ...,£п^*Л
—/z-мерная функция распределения вектора ξ=(ξι, ···» ξη). Пусть F^{x-t)
есть функция распределения случайной величины ξ/, / = 1, ..., п.
Теорема 1. Для того чтобы случайные величины ξι, ..., ξη были
независимы, необходимо и достаточно, чтобы для всех векторов
(Л,..., *„)£/?"
Ftixu ...>Xn) = Fiil(xl)...Fi:n(xn). (4)
Доказательство. Необходимость очевидна. Для доказательства
достаточности положим (α = (αι, ..., ап), Ь = (Ь\, ..., Ьп))
Ρξ(α,ϋ] = Ρ{αι<ξι^ϋι, ..., α«<ξ,ι<Μ.

§5. СЛУЧАЙНЫЕ ЭЛЕМЕНТЫ
225
Тогда в силу (7) § 3 и (4)
η η
Ρ«(β. 6] = П [^(^)-^(^)] = П *V*i. *il
и, значит,
Ρ{ξι€/ι,...,6,€/„} = ΠΡ{6€/ϊ}, (5)
/=ι
где /,- = (α,·, fti].
Зафиксируем /2, ..., /rt и покажем, что для любого β ι eSS(R)
η
Ρ{ξι€βι,ξ2€/2, ...^«€/„} = P{fi€Bi}JIP{6€/i}. (6)
/=2
Пусть ^ — совокупность множеств из ^(/?), для которых выполнено (6)
(«принцип подходящих множеств», § 2). В ^ входит, очевидно,
алгебра л^ множеств, состоящих из сумм непересекающихся интервалов вида
1\=(а\,Ь\]. Поэтому ^С^СОД), Из счетной аддитивности (а
следовательно, и непрерывности) вероятностной меры следует также, что система
Л является монотонным классом. Поэтому (см. п. 1 § 2)
/хМ0СлГС^(/?).
Но, согласно теореме 1 из § 2, μ(&/) = σ(*/) = SS(R). Поэтому J% = &B(R).
Итак, (6) доказано. Фиксируя теперь В\, /з, ..., /л, тем же методом
доказываем справедливость (6) с заменой /2 на борелевское множество В2.
Продолжая этот процесс, очевидным образом приходим к требуемому
равенству
Ρ{ξι€θι,...,ξ„€β„} = Ρ{ξι€βι}...Ρ{6,€β„},
где β,-e #(/?). D
3. Задачи.
1. Пусть ξι, ..., ξη — дискретные случайные величины. Показать, что
они независимы тогда и только тогда, когда для любых действительных
чисел хи ...,*„
η
Ρ{ξι=*ι,...,ξ« = *«} = Πρβ=*''>·
2. Провести доказательство того, что всякая случайная функция
^Μ — (ξ/Μ)*6Γ есть случайный процесс (в смысле определения 3), и
наоборот.

226 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
3. Пусть Х\, ..., Хп — случайные элементы со значениями в (Е\, <?ι),
..., (Еп, Sn) соответственно. Пусть, далее, (£{, <?/), ..., (£„, <?„') —
измеримые пространства Hgi,...,g„ являются £\]£{, ..., ^л/4К-измеримыми
функциями соответственно. Показать, что если Х\у ...,Хп независимы, то
независимы также и случайные элементы g\ oXu ..., gnoXn.
4. Пусть Х\, Χ2, ... — бесконечная последовательность
перестановочных случайных величин (т. е. таких, что совместное распределение каждой
группы случайных величин, состоящей из k элементов с разными
индексами, скажем, X/,, ..., Xlk, зависит лишь от k и не зависит от конкретного
выбора значений /ь ..., /*, где /ь ..., i* попарно различны; ср. с
определением в задаче 11 из § 1). Доказать, что если ЕХ% < оо, η ^ 1, то ковариация
cov(XbX2)^0.
5. Пусть ξ, η, ζ — независимые случайные величины. Доказать, что
случайные величины ξ + 77 и С2 независимы.
6. Пусть ξι, ..., £m, 771, ..., 77л — случайные величины. Образуем
случайные векторы X = (ξι, ..., £m) и У = (771, ..., 77rt). Предположим, что
выполнены следующие условия:
(i) случайные величины ξι, ..., ξ,„ независимы;
(ii) случайные величины 771, ..., ηη независимы;
(iii) случайные векторы X и У, рассматриваемые как случайные
элементы со значениями в Rm и Rn соответственно, независимы.
Доказать, что случайные величины ξι, ..., ξ,„, η\, ..., ηη независимы.
7. Даны случайные векторы X = (ξι,..., ξ,„) и У = (771,..., ηη)- Известно,
что случайные величины ξι, ..., ξη, τ/ι, ..., ηη независимы.
(i) Доказать, что случайные векторы X и У, рассматриваемые как
случайные элементы, независимы (ср. с задачей 6).
(ii) Пусть f:Rm—>R, g: Rn—>R — борелевские функции. Доказать, что
случайные величины /(ξι, ..., ξ,„) и ц(щ, ...>ηη) независимы.
§ 6. Интеграл Лебега. Математическое ожидание
1. В том случае, когда (Ω, <^\ Р) — конечное вероятностное
пространство и ξ = ξ(α;) — простая случайная величина,
п
ξΜ = £>*/ΛΜ, (1)
понятие математического ожидания Εξ было определено в § 4 гл. I. Та же
самая конструкция математического ожидания Εξ от простых случайных
величин ξ используется и в случае произвольного вероятностного прост-

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 227
ранства (Ω, &', Р). А именно, по определению полагается
η
Εξ = Σ>*Ρ(Λ*). (2)
k=\
Это определение корректно (в том смысле, что значение Εξ не зависит от
способа представления ξ в виде (1)), что показывается точно так же, как
и в случае конечных вероятностных пространств. Аналогичным образом
устанавливаются простейшие свойства математического ожидания (см. п. 5
§ 4 гл. I).
Цель этого параграфа — дать определение и изучить свойства
математического ожидания Εξ произвольной случайной величины. С точки
зрения анализа математическое ожидание Εξ есть не что иное, как
интеграл Лебега от ^"-измеримой функции ξ = ξ(α;) по мере Р, для
которого (наряду с Εξ) используются также следующие обозначения:
^ξ(ω)Ρ(άω) или § ξάΡ.
Ω Ω
2. Пусть ξ=ξ(α;) — неотрицательная случайная величина. Построим
последовательность простых неотрицательных случайных величин {ξη}η>\
таких, что ξ,ι(ω) | ξ (ω), η —► оо, для каждого ω £ Ω (см. теорему 1 в § 4).
Поскольку Εξη < Εξ,,+ι (ср. со свойством 3) из п. 5 § 4 гл. I), то
существует lim Εξ„, который может принимать и значение +оо.
Определение 1. Интегралом Лебега от неотрицательной случайной
величины ξ = ξ(α;), или ее математическим ожиданием, называется
величина
Εξ = \ψΕξη. (3)
Чтобы это определение было корректным, надо показать, что значение
этого предела не зависит от выбора аппроксимирующей последовательно-
сти {ζη}· Иначе говоря, надо показать, что если ξ„ |ξ и 77m ΐξ> где {rym} —
последовательность простых неотрицательных функций, то
lim E6i = Hm Εηη. (4)
η m
Лемма 1. Пусть η и ξ„ — простые неотрицательные случайные
величины, п ^ 1, причем
ξ*ΐξ^·
Тогда
ΙιρΕξηΖΕη. (5)
Доказательство. Пусть ε > О и
Αη={ω: ξη^η-ε}.

228 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Ясно, что Ап Τ Ω и
6. = ξηΙΑη + 6,/д. ^ 6,/д, ^ (ι?" е)/д. ·
Поэтому, используя свойства математических ожиданий от простых
случайных величин, находим, что
Εξη > Ε(η - ε)ΙΑη = ΕηΙΑη - εΡ(Αη) =
= Ег7-Е|7/л/1-еР(Лл)^Е|7-СР(Лл)-£,
где С = max η(ω). Отсюда в силу произвольности ε > О вытекает требуемое
неравенство (5). D
Из этой леммы следует, что lim Εξη ^lim Ei7m, и, по симметрии,
η т
lim Εηηι ^ lim Εξ„, что и доказывает (4).
Часто оказывается полезным следующее
Замечание 1. Для математического ожидания Εξ от неотрицательной
случайной величины ξ имеет место следующее представление:
Εξ= sup Es, (6)
{ses-.s^}
где S ={5} — множество простых неотрицательных случайных величин
(задача 1).
Итак, для неотрицательных случайных величин математическое
ожидание определено. Перейдем теперь к общему случаю.
Пусть ξ — случайная величина и ξ+ = max(£, 0), ξ~ = — min(£, 0).
Определение 2. Говорят, что математическое ожидание Εξ случайной
величины ξ существует, или определено, если по крайней мере одна из
величин Εξ+ или Εξ~ конечна:
min(E£+, E£-)<oo.
В этом случае по определению полагают
Εξ = Εξ+-ΕΓ·
Математическое ожидание Εξ называют иначе интегралом Лебега
от функции ξ по вероятностной мере Р. (По поводу других подходов к
определению интеграла Лебега см. замечание 2 п. 11.)
Определение 3. Говорят, что математическое ожидание случайной
величины ξ конечно (или ξ — интегрируема), если Εξ+ <οο и Εξ~ <οο.
Поскольку |ξ|=ξ++ξ-, то конечность Εξ эквивалентна тому, что
Ε|ξ| <оо. (В этом смысле интегрируемость по Лебегу носит «абсолютный»
характер.)

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 229
Замечание 2. Наряду с математическим ожиданием Εξ важными
числовыми характеристиками случайной величины ξ являются величины ΕξΓ
(если они определены) и Ε]ξ|Γ, г > О, называемые соответственно
моментом г-го порядка (r-м моментом) и абсолютным моментом г-го
порядка (г-м абсолютным моментом) случайной величины ξ.
Замечание 3. В данном выше определении интеграла Лебега \ ξάΡ
Ω
предполагалось, что мера Ρ является вероятностной (Ρ(Ω) = 1), а
«^"-измеримые функции (случайные величины) ξ принимают значения
в /? = (-оо, оо). Предположим теперь, что μ — произвольная мера,
заданная на измеримом пространстве (Ω, &) и принимающая, быть может,
значение +оо, а ξ = ξ(α;) — ^"-измеримая функция со значениями в
# = [-оо, оо] (расширенная случайная величина). В этом случае интеграл
Лебега § ξ(ω) μ(άω) определяется тем же самым способом: сначала для
Ω
неотрицательных простых ξ (по формуле (2) с заменой Ρ на μ), затем для
произвольных неотрицательных ξ и в общем случае по формуле
$ ξ(ω) μ(άω) = $ ξ+ μ(άω) - $ ξ~ μ(άω)4
Ω Ω Ω
если только не возникает неопределенности вида оо — оо.
Для математического анализа особо важен случай, когда (Ω, &) =
= (/?, BS(R)), а μ — мера Лебега λ. В этом случае интеграл § ξ(χ) X(dx)
R
оо оо
обозначают § ξ(χ) dx, или § ξ(χ) dx, или (L) § ξ(χ) dxy чтобы под-
R —оо —оо
оо
черкнуть отличие этого интеграла от интеграла Римана (R) § ξ(χ)άχ.
—оо
Если же мера μ (Лебега—Стилтьеса) соответствует некоторой обобщенной
функции распределения G = G(jc), то интеграл § ξ(χ)μ(άχ) называют также
R
интегралом Лебега—Стилтьеса и обозначают (L—S) § ξ(χ) G(dx),
R
чтобы отличить его от соответствующего интеграла Римана—Стилтьеса
(R-S) $ ζ{χ) G(dx) (см. далее п. 11).
R
Из дальнейшего (свойство D) станет ясно, что если Εξ определено,
то определены также математические ожидания Е(£/л) для любого А € &.
Для Е(£/л), или, что то же, ^ξ/^rfP, часто используются обозначения
Ω
E(f; А) и § ξάΡ. Интеграл § £dP принято называть интегралом Лебега
А А
от ξ по мере Ρ на множестве А.

230 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Аналогично и в случае произвольной меры μ вместо § ξ/д άμ пи-
Ω
шем §ξώμ. В частности, если μ — я-мерная мера Лебега—Стилтьеса,
А
А = (а\, Ь\] χ ... χ (ап, Ьп], то вместо § ξάμ используем запись
*. К А
5·.. $ ξ(χ\, ...,χη)μ(άχχ, ...,dxn).
Если μ — мера Лебега, то вместо μ(άχ\,..., djcrt) пишем просто dx\... dxn.
3. Свойства математического ожидания Εξ случайных величин ξ.
A. Пусть с — постоянная и Εξ существует. Тогда Е(с£) также
существует и
Е(с0 = сЕ£
B. Пусть ξ < ι;» тогда
Е€<ЕЧ
β тол« смысле, что
если - оо < Εξ, то - оо < Е77 w Εξ ^ Ε77,
или
если Ει; < 00, то Εξ < оо w Εξ ^ Ε77.
C. Если Εξ существует, то
|Εί|<Ε|ξ|.
D. Если Εξ существует, то для каждого Ае# Ε(ξ/,4) также
существует; если Εξ конечно, то Είξ/л) также конечно.
E. Если ξ и η — неотрицательные случайные величины или такие,
что Ε|ξ| < оо, Ε\η\ < оо, то
Ε(ξ + η) = Εξ + Εη.
(По поводу обобщения этого свойства см. задачу 2.)
Приведем доказательство свойств А—Е.
А. Для простых случайных величин утверждение очевидно. Пусть ξ ^0,
ξη Τ ξ, где ξη — простые случайные величины, и с ^ 0. Тогда cξn | cξ и, значит,
E(c0 = lim E(c$,) = c iim Εξ„=^Εξ.
В общем случае надо рассмотреть представление ξ = ξ+-ξ~ и
заметить, что для с^О ^ξ)+=^ξ+, (с£)*~=с£~, а для с<0 (с£)+ = -с£~,

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 231
B. Если Ο^ξ^η, то Εξ и Е77 определены и неравенство Εξ^ Ε77 сразу
следует из формулы (6). Пусть теперь Εξ>-οο, тогда Εξ~<οο. Если
ξ ^ 77, то ξ+ ζ η* и ξ~ > η~. Поэтому Εη~ ζ Εξ~ < οο, следовательно, Εη
определено и Εξ = Εξ+ - Εξ~ < Εη+ — Εη~ = Ε77. Аналогичным образом
рассматривается случай, когда Е77 < оо.
C. Поскольку -|ξ| <ξ< |ξ|, то из свойств А и В
-Ε|ξ|^Εξ^Ε|ξ|,
т.е. |Εξ|<Ε|ξ|.
D. Следует из В и того, что
E. Пусть ξ^0, η^Ο, и пусть {ξ„} и {ηη} — последовательности
простых функций таких, что ξ,,Τξ, 1ηϊη· Тогда Ε(ξη+ηη) = Εξη + Εηη и
Ε(6,+ΐ7„)ΤΕ(ξ + ΐ7), Εξ„|Εξ, Е17ЛЕ17 и, значит, Ε(ξ + η) = Εξ + Εη.
Случай, когда Ε|ξ|<οο, Е|г7| < оо, сводится к рассмотренному, если
воспользоваться тем, что ξ = ξ+-ξ~, η = η+ -rf, ξ+<|ξ|, ξ~ ^ |ξ| и
Следующая группа утверждений относительно математических
ожиданий связана с понятием «Ρ-почти наверное». Будем говорить, что
некоторое свойство выполнено «Р-почти наверное», если существует
множество «/G^c Р(сЖ) = 0 такое, что это свойство выполнено
для каждой точки ω€$1\<Ж. Вместо слов «Р-почти наверное» (Р-п. н.)
часто говорят «Р-почти всюду» (Р-п. в.) или просто «почти наверное»
(п. н.), «почти всюду» (п. в.).
F. Если ξ = 0 (п.«.), то Εξ = 0.
В самом деле, если ξ — простая случайная величина, ξ = Σ XklAk(u) и
Xk φ 0, то по условию P(Ak) = 0, а значит, Εξ = 0. Если же^ОиО^д^,
где 5 — простая случайная величина, то 5 = 0 (п. н.), а следовательно, Es = 0
и Εξ = sup Es = 0. Общий случай сводится к рассмотренному обычным
{s€S:s<€>
переходом к представлению ξ = ξ+ - ξ~ с учетом того, что ξ+ ^ |ξ|, ξ~ ^ |ξ|
и iei=o (п.н.).
G. Если ξ = 77 (п.н.) и Ε|ξ|<οο, то Е|гу|<оо и Εξ = Ετ/ (см. также
задачу 3).
В самом деле, пусть Jf = {α;: ξ Φ η}. Тогда Ρ МО = 0 и ξ = ξΐ^ + ξ/^,
Ή = η/^ + ξΐ^. По свойствам Ε и F Εξ = ΕξΙ^ + Εξ/jr = Εξί^ = Εηί^.
Но ΕηΙ^ = 0, поэтому по свойству Ε Εξ = ΕηΙ^ + ΕηΙ^ = Εη.
Η. Пусть ξ 7? 0 и Εξ = 0. Тогда ξ = 0 (п. н.).

232 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Для доказательства обозначим Α = {ω: ξ(ω) >0}, Ап = {ω: ξ(ω) ^ \/η}.
Ясно, что Ап ] А и 0<:ξΐΑη ζξ/Α- Поэтому по свойству В
0^ΕξΙΑη^Εξ = 0.
Следовательно,
0 = ΕξΐΛ.>τΡ(Αα)
и, значит, Р(Л„) = 0 для всех О 1. Но Р(Л) = Нт Р(Ап) и, следовательно,
Р(Л) = 0.
I. Пусть ξ и η таковы, что Ε|ξ|<οο, Е|г7| <оо и для всех Ае&
Ε(ζΙΑ) ^ Ε(ηΙΑ). Тогда ξ < η (п. н.).
В самом деле, пусть В = {α;: ξ(ω)>η(ω)}. Тогда Ε(ηΐΒ)*ζΕ(ξΙΒ)ίζΕ(ηΐΒ)
и, значит, Ε(ξ/β) = Ε(τ7/β). В силу свойства Ε Ε((ξ — η)ΙΒ) = 0 и по
свойству Η (ξ - η)ΙΒ = 0 (п. н.), откуда Р(В) = 0.
J. Пусть ξ — расширенная случайная величина и Ε|ξ|<οο. Тогда
|ξ|<οο (п.н.).
Действительно, пусть Α = {α;: \ξ(ω)\ = оо} и Р(Л)>0. Тогда Ε|ξ|^
^Ε(|ξ|/,4) = οο· Р(Л) = оо, что противоречит предположению Ε|ξ|<οο.
(См. также задачу 4.)
4. В этом пункте будут рассмотрены основные теоремы о предельном
переходе под знаком математического ожидания (интеграла Лебега).
Теорема 1 (о монотонной сходимости). Пусть η, ξ, ξι, &» ... —
случайные величины.
a) Если ξη^Ή для всех η^Ι,Εη>—оо и ξη|ξ, то
Εξη ϊ Εξ.
b) Если ξη^η для всех п ^ 1, Εη<οο и ξη [ξ, то
ΕξηϊΕξ.
Доказательство, а) Предположим сначала, что η^Ο. Пусть для
каждого k ^ 1 {ξ£ }п^\ — последовательность простых функций таких, что
ξ*1* Т&» я-+оо. Обозначим С(/|) = max ξ^. Тогда
<(»-·><<<«>= max ^"4 max & = &.
Пусть С = Hm C(/l)· Поскольку для 1 < k < /ζ
^Чс'-Чб,,

§ 6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 233
то, переходя к пределу при η —> оо, получим, что для любого k ^ 1
а значит, ξ = ζ.
Случайные величины ζ^ простые и С(/1) Τ С· Поэтому
Е^ = ЕС = НтЕС(я)<НтЕ61.
С другой стороны, очевидно, что поскольку ξ„ ^ξ,,+ι ^ξ, то
lim Εξ„ ^ Εξ.
Тем самым lim Εξ„ = Εξ.
Пусть теперь η — произвольная случайная величина с Е77 > —оо.
Если Е77 = оо, то в силу В Εξ„ = Εξ = οο и утверждение доказано. Пусть
Εί7<οο. Тогда, учитывая сделанное предположение Ei7>-oo, получаем,
что Ε \η\ < оо. Ясно, что 0 ^ ξ„ - η | ξ - η для всех ω £ Ω. Поэтому, согласно
доказанному, Ε(ξ„ — η)ϊΕ(ξ — η) и, значит (по свойству Ε и задаче 2),
Εξ,,-Ε^ΤΕξ-Ετ?.
Но Ε\η\ < оо, поэтому Εξ„ | Εξ, п —► оо.
Доказательство утверждения Ь) следует из а), если вместо исходных
величин рассмотреть величины со знаком минус. D
Следствие. Пусть {ηη}η>\ —последовательность
неотрицательных случайных величин. Тогда
оо оо
/1=1 л=1
Доказательство следует из свойства Ε (см. также задачу 2), теоремы
k 00
о монотонной сходимости и того замечания, что Σ ηη Τ Σ Vn, й-»00. □
/ι=1 /ι=1
Теорема 2 (лемма Фату). Пусть η, ξι, ξ2, ... — случайные
величины.
a) Если ξη^η для всех п ^ 1 и Εη > -оо, то
Ε ϋιπί/ι ^!im Εξ„.
b) Если ξη < η для всех п^\ и Εη < оо, то
lim Εξ„ < Ε lim ξ„.
c) Если |ξ„| <η для всех п ^ 1 и Εη < оо, то
Ε lim ξ„ <Ит Εξ„ ^Пт Εξ„ ^ Ε Пт ξ„. (7)

234 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство, а) Пусть ζη = inf £m, тогда
]im&i = lim inf £m = lim Ci.
η m^n η
Ясно, что ζη t lim ξη и ζη ^ η для всех π ^ 1. Тогда из теоремы 1
Ε Mm ξη = Ε lim C = lim EC = ]irn ЕС <lirn Εξ„,
/ι /ι n
что и доказывает утверждение а). Второе утверждение следует из первого.
Третье — есть следствие первых двух. D
Теорема 3 (теорема Лебега о мажорируемой сходимости). Пусть
случайные величины таковы, что \ξη\ζη,Εη<οο uξn—>ξ (п.н.). Тогда
Ε|ξ|<οο и
Ε£,-> Εξ, я-*оо, (8)
и
Ε|6,-ξ|-0, я-оо. (9)
Доказательство. По предположению Игл ξΛ = lim ξη = ξ (π. н.).
Поэтому в силу свойства G и леммы Фату (утверждение с))
что и доказывает (8). Ясно также, что |ξ| ζη. Поэтому Ε|ξ| <οο.
Утверждение (9) доказывается так же, если только заметить, что
Ι6.-€Ι<24. d
Следствие. Пусть η, ξ, ξι, &» · · · — случайные величины такие, что
ICI < *7, С -+ξ (п. н.) и Εηρ < оо для некоторого р>0. Тогда Ε\ξ\ρ < оо
и Ε\ξ-ξη\Ρ-+0,η-*οο.
Для доказательства достаточно заметить, что |ξ|^77 и 1£-£л1р^
<(iei+i6.Dp<(2i?)".
Условие «|С1^*7> Ei7<oo», входящее в лемму Фату и теорему о
мажорируемой сходимости и обеспечивающее выполнение формул (7)—(9),
можно несколько ослабить. Для формулировки соответствующего
результата (теорема 4) введем
Определение 4. Семейство случайных величин (Cb^i называется
равномерно интегрируемым (по мере Р), если
sup § Кя|Р(<М-*0, c-+oo, (10)
п Ш>с)
или (в других обозначениях)
sup Е[|С|%|>с}] —О, с->оо. (11)

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 235
Ясно, что если случайные величины ξ„, /z^l, таковы, что |£rt|^f7»
Ет7<оо, то семейство {ξη}η^\ будет равномерно интегрируемым.
Теорема 4. Пусть {ξη}η^\ —семейство равномерно
интегрируемых случайных величин.
a) Тогда
Ε Hm ξη <: ΙίΐΠ Εξ„ ^ Hm Εξ„ < Ε Mm ξη.
b) Если к тому же ξη —*ξ (п. н.), то случайная величина ξ
интегрируема и
Εξ„ -+ Εξ, η -+ оо,
Ε|ξ*-ξΗΟ, я-*оо.
Доказательство, а) Для всякого с > О
Εξ„ = ΕξηΙ{ξη<_£] + Εξ„/{ξ^_φ (12)
В силу равномерной интегрируемости для всякого ε > О можно выбрать с
столь большим, что
δΐφ|Εξ„/{ξ/ι<_,}|<ε. (13)
η
В силу леммы Фату
lim ^nkin^-c) > Ε Km ξ,ι/β^-φ
Но ^/{е,^-с} ^ξπ· поэтому
lim Εξ,,/β^-^ Ε lim ξ„. (14)
Из (12)—(14) находим, что
lim Εξ„ ^ Ε lim ξ„ - е.
В силу произвольности е > О отсюда следует, что lim Εξ„ >Ε lim ξ„.
Аналогичным образом доказывается, что lim Εξ„ ^ Ε lim ξ„.
Что же касается утверждений Ь), то они доказываются так же, как
соответствующие утверждения в теореме 3. D
Наиболее полно значение понятия равномерной интегрируемости
раскрывается в следующей теореме, дающей необходимое и достаточное
условие для предельного перехода под знаком математического ожидания.
Теорема 5. Пусть О ^ ξ„ —► ξ и Εξη < оо. Тогда Εξη —► Εξ < оо тогда
и только тогда, когда семейство случайных величин {ξη}η^\
равномерно интегрируемо.
Доказательство. Достаточность следует из утверждения Ь)
теоремы 4. Для доказательства необходимости рассмотрим (не более чем
счетное) множество А = {а: Ρ{ξ = а} > 0}. Тогда ξηΙ{ξ„<α} -+ ξ/{€<α> Для каждого

236 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
а£А, причем семейство величин {ξηΙ{ξη<α}}η^\ будет равномерно
интегрируемым. Поэтому в силу «достаточности» ΕξηΙ{ξη<α} —»Εξ/{ξ<α}, α£Α, а
значит,
ΕξηΙ{ξη>α}->ΕξΙ{ξ>α)> я£Л, я->оо. (15)
Зафиксируем ε>0 и выберем сначала ао£А столь большим, что
ΕξΙ{ξ^α0) < ε/2, а затем No таким, что для всех n^No
Εξη/ {ξη^α0} ^ Ε^{ξ^αο> +ε/2»
и, значит, ΕξηΙ{ξη^αο)^ε. Выберем, наконец, αι>αο столь большим, что
для всех η ζ Nq ΕξηΙ{ξ„ζαι) < £· ТогДа
supE£rt/{^fll}^£,
что и доказывает равномерную интегрируемость семейства случайных
величин {ξη}η>\. □
5. Остановимся на некоторых критериях равномерной
интегрируемости.
Прежде всего заметим, что если {ξη}η^\ —семейство равномерно
интегрируемых случайных величин, то
supE|^rt|<oo. (16)
η
В самом деле, для фиксированного ε > О и достаточно больших с > О
sup E|£rt| = sup [Е|^|/{|С/1|^} + Е|^|%я|<с}]^
η η
<sup E|e„|%|^} + sup Е|£,|/(Ы<с}<£ + с,
η η
что и доказывает (16).
Оказывается, что условие (16) вместе с так называемым условием
«равномерной непрерывности» является необходимым и достаточным для
равномерной интегрируемости.
Лемма 2. Для того чтобы семейство случайных величин {ξη}η^\
было равномерно интегрируемо, необходимо и достаточно, чтобы
E|£rt|, я ^ 1, были равномерно ограничены (т. е. было выполнено
условие (16)) и чтобы Ε{|ξ„|/,4}, О 1» были равномерно непрерывны (т.е.
sup Ε{|ξ„|/,4}->0, когда Р(Л)-+0).
η
Доказательство. Необходимость. Условие (16) было проверено
выше. Далее,

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 237
Выберем с столь большим, что sup Ε{\ξη\Ι^η^ε)}^ε/2. Тогда если Р(Л)^
η
<е/2с, то из (17)
supEfl&l/^Ke,
η
что и доказывает равномерную непрерывность.
Достаточность. Пусть е > О и δ > О таково, что из условия Ρ (Л) < δ
следует, что равномерно по η Ε(|ξ„|/,4) ^ε. Поскольку для всякого с >0
Ц£п\>Шп\1ш>с)>сРШ>с}
(ср. с неравенством Чебышева), то
sup Р{|6,|^с}<- sup Ε|ξ„|-+0, с-+οο,
а значит, для достаточно больших с в качестве множества А можно взять
любое из множеств {|ξ„| ^с}, О 1. Поэтому sup Ε(\ξη\Ι{\ξη^£})*ζε, что и
доказывает равномерную интегрируемость. D
В следующем предложении дается удобное достаточное условие
равномерной интегрируемости.
Лемма 3. Пусть ξι, &» ··· —последовательность интегрируемых
случайных величин и G = G(t) — неотрицательная возрастающая
функция, определенная для t ^ О, такая, что
Km ^=oo, (18)
supEG(|6,|)<oo. (19)
П
Тогда семейство случайных величин {ξη}η>\ является равномерно
интегрируемым.
Μ
Доказательство. Пусть ε>0, Af = sup ΕΟ(|ξ„|), α=—. Выберем с
η ε
столь большим, что -j^- ^ а для / ^ с. Тогда
Е[|6,|/{к.|>оК^Е[0(|6,|)/{|с.|>е)]<^=е
равномерно по всем η ^ 1. D
6. Если ξ и г; — независимые простые случайные величины, то, как и
в п. 5 § 4 гл. 1, доказывается, что Εξι; = Εξ · Εη. Установим теперь
справедливость аналогичного утверждения в общем случае (см. также задачу 6).
Теорема 6. Пусть ξ и η — независимые случайные величины с
Ε|ξ| <οο, ЕМ <оо. Тогда Ε|ξΐ7|<οο и
Εξ77 = Εξ.Ετ7. (20)

238 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство. Пусть сначала ξ ^ 0, η ^ 0. Положим
Тогда ξ„^ξ, \ξη-ξ\<\/η и ηαζη, \ηΛ-η\<1/η. Поскольку Εξ<οο,
Εη < οο, το по теореме Лебега о мажорируемой сходимости
Игл Εξ„ = Εξ, lim Εηη = Εη.
Далее, в силу независимости ξ и ту
kl
Е^П=Е^Е/{|^<Ш}/{Й,<Ш} =
kl
Заметим теперь, что
|Ei4-E6,i?(,|<E|ii7-e,lib|<EK|i?-ib|] + E[4„|i-e,|]<
1 г* . 1 ,-/ Г
<ΐΕί+±Ε(ΐ7+Ι)->0, п^оо.
п п \ п/
Поэтому Εξη = lim Εξηηη = lim Εξ„ · lim Εηη = Εξ · Εη, причем Εξη < οο.
Общий случай сводится к рассмотренному, если воспользоваться
представлениями ξ = ξ+-ξ~, η = η+ -η-, ξη = ξ+η+ — ξ~77+ -ξ+η~ +ξ~η~.
Π
7. Приводимые в этом пункте неравенства для математических
ожиданий (многие уже рассматривались в элементарной теории вероятностей;
§§ 4 и 5 в гл. I) систематически применяются и в теории вероятностей, и
в математическом анализе.
Неравенство Чебышева. Пусть ξ — неотрицательная случайная
величина, тогда для всякого ε>0
Ρ{ξ>ε}<ψ. (21)
Доказательство сразу следует из того, что
Εξ^Ε[ξ/{^ε)]^εΕΙ{ξ>ε)=εΡ{ξ^ε}.
Из (21) получаем следующие разновидности неравенства Чебышева: если
ξ — произвольная случайная величина, то
Ρ{ξ>ε}<^- (22)

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 239
Ρ{|ξ-Εξ|>εΚ^, (23)
где Οξ = Ε(ξ - Εξ)2 — дисперсия случайной величины ξ.
Неравенство Коши—Буняковского. Пусть случайные величины ξ
и η таковы, что Εξ2 < оо, Εη2 < оо. Тогда Ε\ξη\ < оо и
(Ε\ξη\)4Εξ2Ετ?. (24)
Доказательство. Будем предполагать, что Εξ2 > 0, Εη2 > 0. Тогда,
обозначая ξ = J"—, ή= Д_, находим, что поскольку 2\ξή\ ^ξ2 + ?72, то
ν/Εξ2 y/Εη2
2Ε||τ7|^Ε|2 + Ετ72 = 2,
т. е. Ε\ξή\ < 1, что и доказывает (24).
Если же, скажем, Εξ2=0, то тогда по свойству I ξ = 0 (π. н.) и по
свойству F Εξ77 = 0, т. е. (24) также выполнено. D
Неравенство Иенсена. Пусть g = g(x) — выпуклая книзу борелев-
ская функция и Ε\ξ\ <οο. Тогда
g№)^Eg£). (25)
Доказательство. Если функция g = g(x) выпукла книзу, то для
каждого xq e R найдется число A(jco) такое, что для всех χ £ R
g(x) > g(xo) + (х - *ο)λ(*ο). (26)
Полагая χ = ξ и Χο = Εξ, из (26) находим, что
£(0^(Εξ) + (ξ-Εξ)λ(Εξ)
и, следовательно, Ε#(ξ) ^ ^(Εξ). D
Из неравенства Иенсена выводится целая серия полезных неравенств.
Получим, к примеру,
Неравенство Ляпунова. Если 0 < s < /, то
(Ε|ξ|«)'/«<(Ε|€|')Ι/'. (27)
Для доказательства обозначим r = t/s. Тогда, полагая 77 = l£|s и
применяя неравенство Иенсена к функции g(x) = |χ|Γ, находим, что \Εη\Γ ^ Ε\η\Γ,
т.е.
(Ε|ξΠ'/^Ε|ξ|<,
что и доказывает (27).

240 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Из неравенства Ляпунова вытекает следующая цепочка неравенств
между абсолютными моментами:
m^m\2)l/2<-<m\n)i/n. (28)
Неравенство Гёльдера. Пусть \ <ρ <оо, \ <q<оо и — + - = 1. Если
Ε\ξ\ρ < оо, ЕМ* < оо, то Ε\ξη\ < оо и
Ε\ξη\<(Ε\ξ\')ι/>(Ε№ι/<. (29)
Доказательство. Если Ε\ξ\ρ = 0 или E\q\q =0, то (29) следует
немедленно, так же как и в случае неравенства Коши—Буняковского
(являющегося частным случаем неравенства Гёльдера при p = q = 2).
Пусть теперь Е^ > 0, Ε\η\ι > 0. Положим
Воспользуемся неравенством
xayb ^ αχ + ty, (30)
справедливым для положительных χ, ι/, α, 6, α + 6 = 1, и вытекающим
непосредственно из свойства выпуклости кверху логарифмической функции:
In [ax + by]^a In χ + b In у = In χα*Α
Тогда, полагая χ = ξρ, у = ф9 а = —, 6 = -, находим, что
l^i^ + i^
откуда
Ε|τΚ-Εξ' + ±Ε^ = ± + ± = 1,
что и доказывает (29). D
Неравенство Минковского. Если Ε|ξ|ρ<οο, E|i7|p<oo, 1^/?<оо,
mo Ε|ξ + ΐ7ΐρ<οο w
(Щ+ч\р)х/р <т\пх/р+шр)х/р. (зо
Доказательство. Установим прежде всего следующее неравенство:
если a, b > 0 и ρ ^ 1, то
(a + &)^2'-V + fc'). (32)
В самом деле, рассмотрим функцию /7(л:) = (а + л:)р -2р_1(ар +хр).
Тогда
F'(x) = p(a + x)p-x-2p-xpxp-\

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 241
и поскольку ρ ^ 1, то F'(a) = 0, F'(x) > О для χ < а и F'(x) < О для χ > а.
Поэтому
F(b) < max F(x) = F(a) = О,
что и дает неравенство (32).
В соответствии с этим неравенством
\ξ + η\ρζ(\ξ\ + \η\)ρ<2ρ-χ(\ξ\ρ + \η\ρ) (33)
и, значит, если Ε|ξ|^ <оо, Ε\η\ρ <оо, то Ε|ξ + 77|Ρ <οο.
Если ρ = 1, то неравенство (31) следует из (33).
Будем теперь предполагать, что р>\. Возьмем q>\ таким, что
- + - = 1. Тогда
Ρ Q
\ξ + η\ρ = \ξ + η\-\ξ + η\ρ-1<\ξ\·\ξ + η\ρ-1 + \η\·\ξ + η\ρ-1. (34)
Заметим, что (р — l)q = р- Поэтому
и, значит, в силу неравенства Гёльдера
Ε(|ξ|·|ξ + '7ΐ',-1)<(Ε|ξ|',)1/''(Ε|ξ + »?|(',-1)9)1/9 = (Ε|ξη1/''(Ε|ξ + ^|'')1/'.
Точно так же и
Ε(Μ·|ξ + #-1)<(ΕΜ"),/''(Ε|ξ + 77η,/'.
Поэтому в силу (34)
Ε\ξ + η\ρ<(Ε\ξ + η\ρΫ/''[(Ε\ξ\>>)1/'' + (Ε\η\ρ)ϊ/ρ)- (35)
Если Ε|ξ + 77|Ρ = 0, то требуемое неравенство (31) очевидно. Пусть
теперь Ε|ξ + 77|ρ >0. Тогда из (35) находим
что и дает требуемое неравенство (31), поскольку 1 = —. D
8. Пусть ξ — случайная величина, для которой определено
математическое ожидание Εξ. Тогда, согласно свойству D, определена функция
множеств
Q(A) = ^dP, Ае&. (36)
А
Покажем, что эта функция является счетно-аддитивной.

242 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Предположим сначала, что ξ — неотрицательная случайная
величина. Если А\, Л 2, ... —попарно непересекающиеся множества из «? и
А = Σ Ап, то в силу следствия к теореме 1
Q(A) = Β(ξΙΑ) = Ε(ξ/Σ ,,„) = Ε fa ξΆ„) = Ε Ε«^) = Σ °(Л")·
Если же ξ — произвольная случайная величина, для которой Εξ
определено, то счетная аддитивность Q(A) следует из представления
0(Л) = 0+(Л)-СГ(Л), (37)
где
0+(Л) = $£+4Р, СГИ) = $Г*Р.
А А
установленной счетной аддитивности для неотрицательных случайных
величин и того факта, что ιτηη(0+(Ω), 0~(Ω)) <οο.
Итак, если Εξ определено, то функция множеств 0 = 0(Л) является
мерой со знаком — счетно-аддитивной функцией множеств, представимой
в виде Q =Qi — Q2, где по крайней мере одна из мер Qi или Q2 конечна.
Покажем, что функция множеств Q = 0(Л) обладает следующим
важным свойством абсолютной непрерывности относительно меры Р:
если Р(Л) = 0, moQ(A) = 0 (Ae&)
(это свойство кратко записывают в виде: Q < Р).
Для доказательства достаточно рассмотреть случай неотрицательных
η
случайных величин. Если ξ = J2 XklAk — простая неотрицательная случай-
ная величина и Р(Л) = 0, то
η
О(Л) = Е(^) = £**Р(Л*пЛ) = 0.
k=\
Если же {ξη}η^\ — последовательность неотрицательных простых функций
таких, что ξη Τ ξ ^ 0, то по теореме о монотонной сходимости
Ο(Α) = Ε(ξΙΑ) = \\π\Ε(ξηΙΑ) = 0,
поскольку Ε(ξη/Α) = 0 для любого п ^ 1 и Л такого, что Р(Л) = 0.
Итак, интеграл Лебега 0(Л) = § ξάΡ, рассматриваемый как функция
А
множеств Л Ε *^\ является мерой со знаком, абсолютно непрерывной
относительно меры Ρ (Q<P). Весьма замечательно, что имеет место и
обратный результат.

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 243
Теорема Радона—Никодима. Пусть (Ω, &) — измеримое
пространство, μ — σ-конечная мера мД- мера со знаком (т.е.\ = \\— Аг,
где по крайней мере одна из мер Х\ или Аг конечна), являющаяся
абсолютно непрерывной относительно μ. Тогда существует
^-измеримая функция / = /М, принимающая значения в /? = [—оо, оо],
такая, что
\(А) = ^ /Μ μ(άω)% Ае&. (38)
А
С точностью до множеств μ-меры нуль функция /М
единственна: если Ιι = Ιι(ω) —другая β-измеримая функция такая, что А(Л) =
= § ΑΜ μ(άω), Ае#,то μ{ω: /Μ Φ AM) = 0.
A
Если X —мера, то f = /Μ принимает значения в /?+ = [0, оо].
Функция / = /Μ Β представлении (38) называется производной
Радона—Никодима или плотностью меры А относительно меры μ и
d\ dX . ч
обозначается — или — М.
άμ άμ
Ряд важных свойств этих производных изложен в лемме п. 8
следующего § 7. Особо отметим сейчас частный случай приводимой там
формулы (35), часто используемый при пересчете математических ожиданий при
замене меры.
Именно, пусть Ρ и Ρ —две вероятностные меры, Ε и Ё —
соответствующие математические ожидания. Предположим, что мера Ρ абсолютно
непрерывна относительно меры Ρ (обозначение: Р<Р). Тогда для
всякой неотрицательной случайной величины ξ = ξ(ω) справедлива следующая
«формула пересчета математических ожиданий»:
Εξ = Ε[ξ^]. (39)
Эта формула остается справедливой и без предположения о
неотрицательности ξ в следующей формулировке: случайная величина ξ интегрируе-
ма по мере Ρ в том и только том случае, когда величина ξ -тк интегрируема
по мере Р; при этом справедливо равенство (39).
Доказательство формулы (39) весьма несложно: для простых функций
ξ она непосредственно следует из определения производной -тр, а для
неотрицательных ξ надо воспользоваться теоремой 1 Ь) § 4,
утверждающей существование простых функций ξη Т£, я—>оо, и затем теоремой 1 а)
о монотонной сходимости. Если же ξ — произвольная случайная величина,
то, согласно (39)), Ε|ξ| = Ε|ξ|-τρ. Отсюда следует, что интегрируемость ξ

244 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
по мере Ρ равносильна интегрируемости ξ-τ^ по мере Р. Сама же
формула (39) вытекает из рассмотрения представления ξ = ξ+ — ξ~.
Теорема Радона—Никодима, приводимая здесь без доказательства (по
поводу ее доказательства см., например, [70]), будет играть ключевую роль
в конструкции условных математических ожиданий (§ 7).
η
9. Если ξ= Σ XilAi — простая случайная величина, Л/ = {ω: £ = */}, то
Ε*(€) = Σ *(*)ΡΗ/) = Σ в(х№(х>).
Иначе говоря, для подсчета математического ожидания функции от
(простой) случайной величины ξ нет надобности знать всю вероятностную
меру Р, а достаточно знать лишь распределение вероятностей Ρξ или, что
эквивалентно, функцию распределения F^ случайной величины ξ.
Следующая важная теорема обобщает это свойство.
Теорема 7 (о замене переменных в интеграле Лебега). Пусть
(Ω, &) и (Е, S) — два измеримых пространства, Χ =Χ(ω) —
β/§-измеримая функция со значениями в Е. Пусть Ρ — вероятностная
мера на (Ω, &) и Ρχ — вероятностная мера на (Е, £), индуцируемая
Χ=Χ(ω):
Ρχ(Α) = Ρ{ω: Х{ш)еА), A eg. (40)
Тогда для всякой ^-измеримой функции g = g(x), хеЕ,
$g(x)Px(dx)= ξ №))ΡΝ, Λ£<? (41)
А Х-ЧА)
(в том смысле, что если существует один из интегралов, то
определен и второй, и они совпадают).
Доказательство. Пусть множество Ле^ и ё(х) = 1в(х)> где Ве&.
Тогда искомое соотношение (41) превращается в равенство
РХ(АВ) = Р(Х-1(А)ПХ-\В)), (42)
справедливость которого следует из (40) и замечания, что Х~1(А)П
ПХ-1(В)=Х~1(АПВ).
Из (42) вытекает, что (41) справедливо для неотрицательных простых
функций g = g(x), а значит, в силу теоремы о монотонной сходимости (41)
справедливо и для произвольных неотрицательных ^-измеримых функций.
В общем же случае надо представить функцию g в виде g+ - g~ и
заметить, что, поскольку для функций g+ и g~ равенство (41) справедливо
и если, например, § g+(x)Px(dx) <oo, то и § g+(X(u;))P(duj)<oo, a
а х-ЧА)

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 245
значит, из существования § g(x)Px(dx) следует существование интеграла
А
$ g(X{w))P(du>). Π
Х-ЧА)
Следствие. Пусть (£, <?) = (/?, BS(R)) и ξ = ξ(α;) — случайная
величина с распределением вероятностей Ρξ. Тогда, если g = g(x) — 6o-
релевская функция и существует любой из интегралов § g(x)P^(dx)
А
или $ g(£(u))P(d(jj),mo
ξ-НА)
\§(χ)Ρξ(άχ)= $ Β(ξ{ω))Ρ(άω).
Α ξ-НА)
В частности, при А =/? получаем, что
Е*КМ) = $ *КИ)Р(А") = $ *WPi(dx). (43)
Мера Ρξ однозначно восстанавливается по функции распределения /^
(теорема 1 в § 3). Поэтому интегралы Лебега § ^(jc)P^(djc) часто обознача-
R
ют ^ g(jc)F^(djc) или § gd/^ и называют интегралами Лебега—Стил-
R R
тьеса (по мере, соответствующей функции распределения F$(x)).
Рассмотрим случай, когда функция распределения F$(x) имеет
плотность f$(x), т. е. пусть
W= \ hWy* (44)
—оо
где /ξ = /ξ(jc) — неотрицательная борелевская функция, а интеграл
понимается как интеграл Лебега по лебеговской мере на множестве (—оо, х]
(см. замечание 3 в п. 2). В предположении (44) формула (43) принимает
следующий вид:
Е*КМ)= 1 g{x)h(x)dx* (45)
— оо
где интеграл понимается как интеграл Лебега от функции g(x)f$(x) по
лебеговской мере. В самом деле, если g(jc)=/fi(jc), BeSS(R), то требуемая
формула превращается в равенство
ρξ(Β) = $ ίξ(χ) dx, в е a{R)9 (46)

246 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
справедливость которого следует из теоремы 1 § 3 и формулы
Ftib)-Ft{a) = lkix)dx.
а
В общем случае доказательство то же, что и в теореме 7.
10. Рассмотрим специальный случай измеримых пространств (Ω, &)
с мерой μ, где Ω = Ωι χ Ω2, & = &\ %&2, а мера μ = μι χ μ2 есть" прямое
произведение конечных мер μ\ и μ2, τ. е. такая мера на &, что
μι χμ2(Α χΒ) = μ{(Α)μ2(Β), Ag&{, Be ^2
(существование такой меры будет следовать из доказательства теоремы 8).
Приводимая далее теорема играет ту же самую роль, что и известная
теорема из анализа о сведении двойного интеграла Римана к
повторному.
Теорема 8 (Фубини). Пусть ξ = ξ(ω\, ω2) — &\ Θ ^-измеримая
функция, интегрируемая по мере μ\ χ μ2:
§ \ξ(ν\,ω2)\ά(μ\ χμ2)<οο.
(47)
Ω,χΩ2
Тогда интегралы § ξ(ω\, ω2)μ\(άω\) и § ξ(ω\, ω2)μ2(άω2)
Ω, Ω2
1) определены для μ'ΐ-почти всех ω2 и μχ-почти всех ω\\
2) являются &2- и ^-измеримыми функциями, соответственно,
М2{^: 5 1^ь ^2)|μι(^ι) = οο|=0,
ω,
μΐ{ωΐ· 5 |ξ(^1,^2)|μ2(^2)=Οθ|=0
(48)
и 3)
§ £(^ь ω2)ά(μ\ χμ2)= § Κ £(^i, и2) μ2(άω2)
Ω|ΧΩ2 Ω| [Ω2
μ\(άωχ) =
μ2(άω2). (49)
= 5 Μ ξ&χ,ωύμχψωχ)
ω2 Ια
Доказательство. Покажем прежде всего, что для любого
фиксированного ωχ е Ωι функция ξωι (ω2) = ξ(ω\, ω2) является ^-измеримой по ω2.
Пусть Fe&\®&2 и ξΜ,α^) = //τ(^ι,α/2). Обозначим через FWx =
= {α;2€Ω2: (ω\, u>2)eF} — сечение множества F в точке а;ь и пусть
ifWl = {F e &\ Fu,, € «^2}· Надо показать, что для любого ω\ Έωχ = &.

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 247
Если F = AxB%A£&u Βε^το
В, еслии^еЛ,
(Α χ Β)ωι = <
0, еслии^Л.
Поэтому прямоугольники с измеримыми сторонами принадлежат Φωι.
Далее, если F€&y то (Ρ)ωχ =/7ω,ί а если {Fn}n^\ —множества из ^ то
(U ρη)»ι =U FZX- Отсюда следует, что <#ωι=&.
Пусть теперь ξ(ω\, ω2)^0. Тогда, поскольку для каждого ω\
функция ξωι (ω2) = ξ(α;ι, u^) является «^-измеримой, то определен интеграл
С £(ωι, ω2)μ2(άω2). Покажем, что этот интеграл является ^-измеримой
Ω2
функцией и
Ω
5 К ξ(ω\, ω2)μ2(άω2)\μι(άω\)= § ξ(ω\, ω2)ά(μχ χ μ2). (50)
ΙΩ2
Ω|ΧΩ2
Предположим, что ξ(ω\, u^) = Ιαχβ(μ\* ^2)» Λ Ε «^Ί, β Ε ,^2· Тогда,
поскольку Ia*b(uu ъ*2) = 1а(ь>\)1в(ь>2)> то
5 hxBfau ω2)μ2(άω2) = ΐΑ(ω\) § /β(α^)μ2(άω2) (51)
Ω2 Ω2
и, следовательно, интеграл в левой части (51) является ^Ί-измеримой
функцией.
Пусть теперь ξ(ω\, ω2) = If(u\· ^), /7G«? = t?i0«£2· Покажем, что
интеграл /(α;ι)= § //Κ^ι, ω2)μ2(άω2) является ^"-измеримым. С этой це-
ω2
лью обозначим # = {F Ε &: /(ωι) — «^ -измерима}. Согласно доказанному,
множества Ах В принадлежат if (A Ε #Ί, В Ε &2), а значит, и алгебра si,
образованная из конечных сумм непересекающихся множеств такого вида,
также принадлежит #. Из теоремы о монотонной сходимости следует, что
система ^ является монотонным классом, i?=/x(Sf). Поэтому в силу
включений ^С^С^· и теоремы 1 из § 2 & = σ(*) = μ(Λ/)ζμ{&)=νζ&%
т.е. if=:je\
Наконец, если ξ(ω\, ω2) — произвольная неотрицательная
^"-измеримая функция, то ^-измеримость интеграла § ξ(α;ι, ω2)μ2(άω2) следует
Ω2
из теоремы о монотонной сходимости и теоремы 2 § 4.
Покажем сейчас, что мера μ — μ\χ μ2, определенная на ^ = ^ι (8)^2 и
обладающая свойством μ\ χ μ2(Α χ Β) = μ\(Α)μ2(Β), Ae&\, Be &2,
действительно существует и единственна.

248 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Положим для F е#
Ω, |Ω2
μ\(άω\).
Как было показано, внутренний интеграл является ^-измеримой
функцией, и, следовательно, функция множеств μ(Ρ) действительно определена
для Fe&. Ясно, что если F = AxB, то μ(Α χ Β) = μ\(Α)μ2(Β). Пусть
теперь {Fn} — непересекающиеся множества в &. Тогда
V η J Ω, [ω2 J
= § Σ | § ,Ρ^2)μ2{άω2)\μ\(άωχ) =
Ω, л |ω2 J
= Σ § S 7^ (^2)^2(^2)Ι μι (^ι) = ^μ(/7,!),
η Ω| |_Ω2 J η
т. е. μ является мерой (σ-конечной) на β'.
Из теоремы Каратеодори следует, что эта мера μ является единственной
мерой со свойством μ(Α χ Β) = μ\(Α)μ2(Β).
Установим теперь формулу (50). Если ξ(ω\, uj2) = Iaxb(u\, ω2), Ае&\,
В е с^2, то
§ ΐΑχΒ(ωχ,ω2)ά(μ\ χμ2)=μι χμ2(ΑχΒ),
Ω|ΧΩ2
и так как Iaxb(u\, U2) = Ia(w\)Ib(u2)> to
(52)
5 $ Iaxb(u\, ω2)μ2(άω2)
Ω ι |_Ω2
μ\(άω\) =
= § Μ^ι) § ιΒ(^2)μ2(άω2)
Ω ι L Ω2
μι(Λ*;ι)=μΐ(Λ)μ2(θ). (53)
Но по определению меры μ\ χ μ2
μ! χμ2(ΑχΒ)=μι(Α)μ2(Β).
Поэтому из (52) и (53) следует справедливость (50) для ξ(ω\,ω2) =
= Iaxb(u\, u^).
Пусть теперь ξ(ω\, ω2) = //?(«*>ь ^2), f 6.?. Функция множеств
А(/=) = ξ Μ"ι, ^2) rf(Mi х «), Ζ7 € ^
Ω,χΩ2

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 249
является, очевидно, σ-конечной мерой. Нетрудно проверить также, что
таковой же является функция множеств
и№= § § ^(ω\,ω2)μ2(άω2)
Ω| [ω2
μ\(άω\).
Как было установлено выше, λ и ν совпадают на множествах вида
F = AxB, а значит, и на алгебре я/. Отсюда по теореме Каратеодори
следует, что λ и ν совпадают для всех F 6 &.
Перейдем теперь к доказательству собственно утверждений теоремы
фубини. В силу (47)
§ ξ+(α>ι,α;2)ώ(μι χμ2)<οο, § ξ~(ии ω2) ά(μι χ μ2) < оо.
Ω|ΧΩ2 Ω|ΧΩ2
Согласно доказанному, интеграл \ ξ+(ωι, ω2)μ2(άω2) является ^Ί-изме-
Ω2
римой функцией от ω\ и
\ S ί+(^1*^2)^2(^2)\μ\(άω\)= § ξ+(ωι,ω2)ά(μ\χμ2)<οο.
Ω| \ω2 J Ω|ΧΩ2
Поэтому в силу задачи 4 (см. также свойство J в п. 3)
5 £+(^ь ω2)μ2(άω2)<οο (μι-п. н.).
ω2
Точно так же и
а значит,
§ξ (ωι,ω2)μ2(άω2)<οο (μι-п. н.),
Ω2
$ \ξ(ω\,ω2)\μ2(άω2)<00 (μ!-Π.Η.).
Ω2
Ясно, что за исключением некоторого множества Jf, имеющего μι-меру
нуль,
\ ξ(ω\,ω2)μ2(άω2)= § ξ+(α;ι, ω2) μ2(άω2) - § ξ~(ω\, ω2)μ2(άω2). (54)
Ω2 Ω2 Ω2
Полагая входящие сюда интегралы равными нулю для ω\ £ «Ж, можем
считать, что (54) выполнено для всех ω\ eil\. Тогда, интегрируя (54) по

250 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
мере μι и учитывая (50), получим, что
§ ξ ξ(ω\, ω2)μ2(άω2)\μ\(άω\) = § § £+(^ь и2) μ2(άω2)
μ\(άω\)-
Ω, \Sl2 J Ω| |_Ω2
- S S £~(<*>b ω2)μ2(άω2) \μ\(άω\)= § ξ+(^ι, ω2)ά(μ\ χ μ2) -
Ω| [Ω2 J Ω|ΧΩ2
- § ξ~(ω\*ω2)ά(μ\χμ2)= ^ ξ(ω\>ω2)ά(μ\χμ2).
Ω|ΧΩ2 Ω|ΧΩ2
Аналогичным образом устанавливается первое соотношение в (48) и
равенство
§ ξ(ω\ · ω2) ^(μι х μ2) = $ Κ ξ(^ι, иъ) μι {ύω\)
Ω|ΧΩ2 Ω2 |_Ω|
μ2(άω2). □
μ\(άω\)<οο, то утвер-
Следствие. Если § К \ξ{ω\,ω2)\μ2(άω2)
Ωι [Ω2
ждения теоремы Фубини также выполнены.
Действительно, при сформулированном условии из (50) следует (47),
а значит, справедливы и все утверждения теоремы Фубини.
Пример. Пусть (ξ, η) — пара случайных величин, распределение
которых имеет двумерную плотность /^(jc, у), т. е.
Р{«. Ч) € S} = ξ Ы*. ί/) d* d</, В € ^(/?2),
β
где ^(х, у) — неотрицательная ^(#2)-измеримая функция, а интеграл
понимается как интеграл Лебега по двумерной лебеговской мере.
Покажем, что тогда одномерные распределения для ξ и η также имеют
плотности ίξ(χ) и fv(y), причем
оо оо
/«(*)= $ h.r,(x,y)dy и /„(#) = $ fc„{x,y)dx. (55)
— ОО —ОО
В самом деле, если А £ ^(#), то по теореме Фубини
Ρ {ξ е А} = Ρ{(ξ, η) G Α χ /?} = $ Ы*. if) d* dy = $ f $ ΐξ%η(χ% y) dy\ dx9
AxR A IR J
что и доказывает как наличие плотности распределения вероятностей у ξ,
так и первую формулу (55). Аналогично доказывается вторая формула.
Согласно теореме из § 5, для того чтобы случайные величины ξ и η
были независимы, необходимо и достаточно, чтобы
/Ы*. У) = WW. (*. У) € Λ2.

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 251
Покажем, что в случае наличия двумерной плотности ίξ,η(χ> у) величины
ξ и η независимы тогда и только тогда, когда
к.п(х,у) = ШШ (56)
(равенство понимается почти наверное относительно двумерной лебегов-
ской меры).
В самом деле, если выполнено (56), то по теореме Фубини
/W*» У)= $ fbn(u,v)dudO= $ fe(u)fn(v)dudO =
(-оо,х]х(-оо,у] (-оо,х]х(-оо,у]
= $ k(u)du( $ мсоАЛ-едзд)
(-co,*] \(-oo,y] /
и, следовательно, ξ и η независимы.
Обратно, если они независимы и имеют плотность /^(х, у), то опять-
таки по теореме Фубини
§ foi(«. v)dudv=f $ h(u)du) ( S M°)du
(-oo,Jf]x(-oo,i/] \(-oo,jfJ / \(-oo,i/]
$ kWfnWdudv.
(-oo,*lx (-oo.yl
Отсюда следует, что для любого В е BS(R2)
$ ϊξ.η(Χ, У) dxdy = ^ U(x)fv(y) dx dy,
в в
и из свойства I легко вывести, что выполнено (56).
11. В этом пункте будет рассмотрен вопрос о разных определениях
интегралов Лебега и Римана и соотношениях между ними.
Прежде всего отметим, что конструкция интеграла Лебега не зависит
от того, на каком измеримом пространстве (Ω, &) заданы подлежащие
интегрированию функции. В то же время интеграл Римана для
абстрактных пространств не определяется вовсе, а для случая пространств Q = Rn
он определяется последовательным образом: сначала для Z?1, а затем с
соответствующими изменениями переносится на случай п > 1.
Подчеркнем, что в основу построения интегралов Римана и Лебега
положены разные идеи. Первый шаг в конструкции Римана состоит в том,
что точки xeR1 группируются по признаку их близости на оси х. В
конструкции же Лебега (для Ω = /?!) точки xeR1 группируются по другому
признаку — по близости значений подлежащих интегрированию функций.
Следствием этих разных подходов является то, что соответствующие
интегральные суммы Римана будут иметь предел лишь для не «слишком»
■

252 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
разрывных функций, в то время как лебеговские интегральные суммы будут
сходиться к предельным значениям для более широкого класса функций.
Напомним определение интеграла Римана—Стилтьеса. Пусть G(jc) —
некоторая обобщенная функция распределения на /?* (см. п. 2 §3), μ-
соответствующая ей мера Лебега—Стилтьеса, и пусть g = g(x) —
ограниченная функция, обращающаяся в нуль вне отрезка [а, Ь].
Рассмотрим разбиение & = {х0, ..., хп),
а = хо < Х\ < ... < хп = Ь,
отрезка [а, Ь] и составим верхние и нижние суммы
η η
Σ = Σ Si[G(xi+i) - G(x,)], Σ = Σ M.dG(xi+i) - G(Xi)),
где
ft= sup g(y)y gi= inf g(y).
Определим простые функции g&(x) и #£»(*), полагая на jt/_i <χ ^xt
£*(*) = ft. £*(*) = £/
и определяя g^(a) = g£»(a) = g(a). Ясно, что тогда в соответствии с
конструкцией интеграла Лебега—Стилтьеса (см. замечание 3 в п. 2)
^ = (L-S)$^(*)G(dx)
^ а
И
ft
£>(L-S) $£*>(*) G(dx).
Пусть теперь {^} — последовательность разбиений таких, что ^ С
С^+ь причем &k = {x{0k\ ...,ХпЦ} таковы, что max \xWx -Jtf°| ->0,
&-юо. Тогда #<?, ^g^^...^g^...^g^2^g^M и если |g(x)|^C, то
по теореме о мажорируемой сходимости
ъ
lim T = (L-S)\ g(x)G(dxl
lim V = <I^S)Sg(*)G(d*),
(57)
где g(*) = lirn g&^x), g(x) = iim g<?„(x).

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 253
Если пределы lim Σ и lim Σ конечны, совпадают и их общее
k *ь k л
значение не зависит от выбора последовательности разбиений
{&k}* т0 говорят, что функция g = g(x) интегрируема по Риману—
Стилтьесу, а соответствующее общее значение пределов обозначается
ь ь
(R-S) $ g(x) G(dx) или (R-S)\g(x)dG(x). (58)
а а
В том случае, когда G(jt) = x, этот интеграл называется интегралом Ри-
мана и обозначается
ъ
(R)\g(x)dx.
а
Ъ
Пусть теперь (L—S) § g(x) G(dx) — соответствующий интеграл Лебе-
а
га—Стилтьеса (см. замечание 3 в п. 2).
Теорема 9. Если функция g = g(x) непрерывна на [а, Ь]у то она
интегрируема по Риману—Стилтьесу и
ь ь
(R-S) J g(x) G(dx) = (L-S) J β(χ) C(rfr). (59)
α α
Доказательство. Так как функция g(x) непрерывна, то g(x) = g(jc) =
= g(x). Поэтому в силу (57) lim £)= lim X). Таким образом, непре-
рывная функция g = g(jt) интегрируема по Риману—Стилтьесу и,
более того, ее интеграл совпадает (опять-таки в силу (57)) с интегралом
Лебега—Стилтьеса. D
Рассмотрим несколько подробнее вопрос о соотношении между
интегралами Римана и Лебега в случае лебеговской меры на прямой R.
Теорема 10. Пусть g = g(x) — ограниченная функция на [а, Ь].
a) Функция g = g(x) интегрируема по Риману на [а, Ь] тогда и
только тогда, когда она непрерывна почти всюду (относительно
меры Лебега λ на Щ[а, Ь])).
b) Если g = g(x) интегрируема по Риману, то она интегрируема
по Лебегу и
ь ь
(R)\g(x)dx = (L)\g(x)\(dx). (60)
а а

254 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство, а) Пусть функция g = g(x) интегрируема по Рима-
ну. Тогда, согласно (57),
ь _ ь
(L)\g(x)X(dx) = (L)\g(x)\(dx).
а а
Но g(x) ^ g(x) ^ g(x), поэтому в силу свойства Η
£W = fifW = gW (λ-п.н.), (61)
откуда нетрудно вывести, что функция g(x) непрерывна почти всюду
(относительно меры λ).
Обратно, пусть функция g = g(x) непрерывна почти всюду
(относительно меры λ). В этом случае выполнено (61) и, следовательно, g(x)
отличается от измеримой (по Борелю) функции g(x) лишь на множестве
/с λ(ΛΟ = 0. Но тогда
{х: g(x)<:C} = {x: g(x)^c)nj> + {x: g(x)^c}nJ^ =
= {х'. £(х)^с}Г)Л + {х: g(x)^c}n^.
Ясно, что {х: £(х)<:С}П<Же@([ау Ь]), а множество {х: £(х)^с}ПсЖ
является подмножеством множества jV, имеющего лебеговскую меру А,
равную нулю, и, следовательно, также принадлежащего Щ[а, Ь]). Тем
самым g(x) Щ[а, 6])-измерима и как ограниченная функция интегрируема
по Лебегу. Поэтому по свойству G
ь _ ъ ъ
(L) \ S{x) X(dx) = (L) $ g(x) X(dx) = (L) $ g(x) \(dx\
a a a
что и завершает доказательство утверждения а).
Ь) Если функция g = g(x) интегрируема по Риману, то, согласно а), она
непрерывна (λ-π. н.). Выше было показано, что тогда g(x) интегрируема
по Лебегу и ее интегралы Римана и Лебега совпадают. D
Замечание 1. Пусть μ некоторая мера Лебега—Стилтьеса на Вё([а, Ь]).
Обозначим @μ([α, b]) систему подмножеств AC[a,ft], для которых
найдутся множества Л и β из ВВ{[а, Ь]) такие, что А С АС В и μ(Β\Α) = 0.
Пусть μ — продолжение меры μ на «#μ([α, Ь]) (μ(Α)=μ(Α) для Λ таких,
что Л СЛСВ и μ(β\/4) = 0). Тогда утверждение теоремы останется в
силе, если вместо лебеговской меры λ рассмотреть меру μ, а вместо
интегралов Римана и Лебега рассмотреть соответствующие интегралы
Римана—Стилтьеса и Лебега—Стилтьеса по мере Д.
Замечание 2. Определение интеграла Лебега (см. определения 1 и 2
и формулы (3) и (6) в п. 1) и концептуально, и «чисто внешне» отличает-

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 255
ся от определений интегралов Римана и Римана—Стилтьеса, требующих
обращения к верхним и нижним суммам (см. (57)).
Остановимся более подробно на сопоставлении этих определений.
Пусть (Ω, с^\ μ) — некоторое измеримое пространство с мерой μ.
Для всякой «^"-измеримой неотрицательной функции / = f(u)
определим два интеграла (нижний и верхний) L*f и L* f (обозначаемые также
{ /иди ^ f άμ), полагая по определению
L*/ = sup 2 (inf ί(ω))μ(Αί),
t
L7 = inf£(sup ηω))μ(Α,),
4ω€Α·
где sup и inf берутся по всем конечным разбиениям (Ль Л2,..., Ап)
пространства Ω на ^"-измеримые множества А ь Лг,..., Αη ( ]Г Α\ = Ω j, η ^ 1.
Можно показать, что L*/ ^ L*f и если функция / ограничена, а мера μ
конечна, то L*/ = L*/ (задача 20).
Один из подходов (Дарбу—Юнг) к определению интеграла Lf от
функции / по мере μ состоит в том, чтобы говорить, что функция f является
μ-интегрируемой, если L*f= L*f, и в этом случае полагать Lf= L*f
(=L*f).
Если теперь обратиться к определению интеграла Лебега Е/, данному
в п. 1 (определение 1), то можно убедиться (задача 21), что
Е/ = £./.
Тем самым, можно сказать, что для ограниченных неотрицательных
функций / = /(о;) подходы Лебега и Дарбу—Юнга приводят к одному и
тому же результату (E/ = L/ = L*/ = L*/).
Отличия же в этих подходах к интегрированию проявляются тогда,
когда рассматриваются неограниченные функции или когда мера μ может
быть бесконечной.
Например, с точки зрения интегрирования в смысле Лебега интегралы
§ ~Ш и § "Т onPeA^eHbI и совпадают с L*/ для /(аг) = х_|/2/(0, 1]
(0,1] Х (1.оо) Х
и /(x)=jt~2/(l, oo) соответственно. Однако здесь L*f = oo.
Таким образом, L*/<L*/, и, значит, рассмотренные функции не
интегрируемы в смысле Дарбу—Юнга, но интегрируемы в смысле Лебега.
В рамках изложенного подхода, оперирующего с нижним интегралом
L*f и верхним интегралом L*/, обратимся к интегрированию в смысле
Римана.

256 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Будем считать, что Ω = (0, 1], & = S& (борелевская σ-алгебра) и μ=λ —
мера Лебега. Пусть / = /(χ), χ £ Ω, — некоторая ограниченная функция
(условие ее измеримости пока не налагается).
По аналогии с L*/ и L*f введем нижние и верхние римановские
интегралы /?*/ и R* /, полагая
*./ = sup£(inf /Μ)λ(β,),
#7 = inf£ (sup /Μ)λ(β,),
где (Вь #2» ···, β/ι) образуют конечное разбиение Ω = (0, 1], причем В,-
имеют вид (α£·, 6,·] (в отличие от множеств Л; в определении L*/ и L*/,
которые были произвольными «^"-измеримыми множествами).
Из приведенных определений очевидно, что
Приведенные в теоремах 9 и 10 свойства интегрируемости по Риману
могут быть переформулированы и дополнены с привлечением следующих
условий:
(а)/?*/=/?*/7;
(b) лебеговская мера множества D/ точек разрыва функции / равна
нулю (A(D/) = 0);
(c) существует константа /?(/) такая, что для всякого ε>0 найдется
δ > 0 такое, что
щ-Е/и)^»/])
<е
для всякой конечной системы непересекающихся интервалов (а,·, 6/]
с Σ (fl/· *i] = (0» Ч такой, что λ((α,·, ft,·]) <$, α;,· G (α,·, ft,·].
Воспользовавшись аргументами теорем 9 и 10, можно доказать
(задача 22), что если функция f ограничена, то
(A) условия (а), (Ь), (с) эквивалентны и
(B) при выполнении любого из условий (а), (Ь), (с)
/?(/)=/?,/=/?*/.
12. В этом пункте мы приведем полезную теорему об интегрировании
по частям в интеграле Лебега—Стилтьеса.
Пусть на (/?, SS(R)) заданы две обобщенные функции распределения
F = F(x) hG = G(jc).

§ 6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 257
Теорема 11. Для любых действительных а и Ь, а<Ь, справедлива
следующая формула интегрирования по частям:
ь ь
F{b)G(b) - F(a)G(a) = $ F(s-) dG(s) + $ G(s) dF(s), (62)
a a
или, что эквивалентно,
F(b)G(b)-F(a)G(a) =
b b
= ^F(s-)dG(s) + \G(s-)dF(s)+ Σ &F(s)AG(s), (63)
я a a<s^b
где
F(s-) = lim F{t)9 AF(s) = F(s)-F(s-).
Замечание 1. Символически формулу (62) можно записать в
следующей «дифференциальной» форме:
d(FG) = F-dG + GdF. (64)
Замечание 2. Утверждение теоремы сохраняет свою силу для функций
F и G ограниченной (на [а, Ь]) вариации. (Каждая такая непрерывная
справа и имеющая пределы слева функция представима в виде разности
двух монотонно неубывающих функций.)
Доказательство. Напомним прежде всего, что в соответствии с
ь
соглашениями п. 2 под интегралом § понимается интеграл § . Поэтому
а (а,Ь)
(см. формулу (2) в § 3)
ь ь
(F(b) - F(a))(G(b) - G(a)) = $ dF(s). $ dG(t).
a a
Отсюда по теореме Фубини (F x G — обозначает прямое произведение мер,
отвечающих F и G) находим, что
(F(b) - F(a))(G(b) - G(a)) = $ d(F x G)(s, /) =
(a,b]x(a,b]
= $ /<s>/>(*. 0 d(F χ G)(s, 0 + $ /{s</}(s, 0 d(F χ G)(s, /) =
(atb)x(a,b\ (atb]x(a,b\
= $(G(s)-G(a))dF(s)+ \(F(t-)-F(a))dG(t) =
(a,b) {ajb\

258 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
= I G(s)dF(s) +1 F(s-)dG(s) - G(a)(F(b) - F(a)) - F(a)(G(b) - G(a)),
a a
(65)
где Ια — индикатор множества А.
Из формулы (65) непосредственно следует (62). В свою очередь
(63) вытекает из (62), если только заметить, что
$(G(s)-G(s-))rfF(s) = Σ *G(s)AF(s). (66)
а a<s^b Ώ
Следствие 1. Если F(x) и G(x) — функции распределения, то
X X
F(x)G(x) = ξ F(s-)dG(s)+ § G(s)dF(s). (67)
— ОО —ОО
Если к тому же функция распределения
F(x)= J Ks)ds9
— ОО
то
X X
F(x)G(x)= § F(s)dG(s)+ $ G(s)f(s)ds. (68)
— ОО —ОО
Следствие 2. Пусть ξ —случайная величина с функцией
распределения F = F(x) и Ε\ξ\η <οο. Тогда
J xn dF(x) = η J xn~l [ 1 - F(x)] dx, (69)
о о
oo
5 \x\ndF(x) = n ξ xn"lF{-x)dx (70)
-oo 0
U
Ε\ξ\η= J \x\"dF{x) = nJ xn-l[l-F{x) + F(-x)]dx. (71)
-oo 0
Для доказательства (69) заметим, что
ь ь
$ xn dF(x) = - ξ xn d(\ - F(x)) =
о о
b
= -bn(\ -F(b)) + n \xn~\\ -F(x))dx. (72)
о

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 259
Покажем, что в силу предположения Ε\ξ\η <οο
bn{l-F(b)-F(-b))^bnP№\^b}-+09b-+oo. (73)
Действительно,
и, значит,
*>ft+l ft-I
Ho
что и доказывает (73).
Переходя в (72) к пределу при Ь—юо, получаем требуемую
формулу (69). Формула (70) доказывается аналогично.
Формула же (71) следует из (69) и (70).
13. Пусть Л =Л(0, t ^0, — непрерывная справа и имеющая
пределы слева функция локально ограниченной вариации (т. е. имеющая
ограниченную вариацию на каждом конечном интервале [а, Ь]). Рассмотрим
уравнение
Z, = l+$Zs_£M(s)f (74)
о
которое в дифференциальной форме записывают в виде
dZt = Zt-dA(t)9 Z0=l. (75)
Доказанная выше формула интегрирования по частям позволяет
(в классе локально ограниченных функций) найти явный вид решения
уравнения (74).
Введем функцию (называемую стохастической экспонентой; [87])
gt(A) = eMt)~m JJ (Ι + AA(s))e~AAis\ (76)
0<s^t
rmAA(s)=A(s)-A(s-) при5>0и ДЛ(0) = 0.
Функция A(s), 0^5 </, имеет ограниченную вариацию и,
следовательно, допускает самое большее счетное число точек разрыва, а ряд

260 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Σ \AA(s)\ сходится. Отсюда вытекает, что функция
0<s^t
Y[ (1 + AA(s))e-AAis\ /^0,
0<s^.t
является функцией локально ограниченной вариации.
Если обозначить Ac(t)=A(t)— ]Г AA(s) непрерывную СОСТаВЛЯЮ-
щую функции Л(/), то (76) можно переписать в следующей форме:
4{Α) = βΑ'®-Α'®) Д(1+ДЛ(5)). (77)
Обозначим
F(t) = e*{t)-*®\ G(/)= Π 0+дЛ(5))> G(0) = 1.
Тогда в силу (62)
t t
St (A) = F(t)G(t) = 1+5 F(s) dG(s) + $ G(s -) dF(s) =
о о
/ t
= 1+ Σ ^)С(5-)ДЛ(5) + 5с(5-)/7(5)^с(5)=1+$^-(Л)^Л(5).
0<s^t 0 0
Таким образом, <?*(Л), / ^0, является (локально ограниченным)
решением уравнения (74).
Покажем, что в классе локально ограниченных решений это решение
единственное.
Предположим, что есть два локально ограниченных решения и Υ = У(/),
/ ^ 0, — их разность. Тогда
Y{t) = {Y(s-)dA{s).
о
Положим
r = inf{/^0: Г(0^0},
считая Τ = оо, если У(/) = 0 для всех / ^ 0.
Поскольку A(t), / ^0, является функцией локально ограниченной
вариации, то найдутся такие две обобщенные функции распределения A\(t)
и Лг(0* что ^(0 = Αι (0 -Л2(0· Если предположить, что Τ < оо, то можно
найти такое конечное Т' > 7\ что
[Αι(Τ') + Α2(Τ')]-[Αχ(Ί)+Α2(Ί)]ζ±.

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 261
Тогда из уравнения
Y(t)^Y(s-)dA(s)9 О Г,
τ
следует, что
sup |У(/)|<5 SUP IW
и поскольку sup |У(/)|<оо, то Y(t) = 0 для T<t^T\ что противоречит
предположению Τ < оо.
Итак, доказана следующая
Теорема 12. β классе локально ограниченных функций
уравнение (74) имеет и притом единственное решение, задаваемое
формулой (76).
14. Задачи.
1. Доказать представление (6).
2. Показать, что справедливо следующее обобщение свойства Е. Пусть
ξ и η — случайные величины, для которых определены Εξ и Εη и выражение
Εξ-h Ег7 имеет смысл (не имеет вида оо —оо или — оо + оо). Тогда
Ε(ξ + 77) = Εξ + Ετ7.
3. Обобщить свойство G, показав, что если ξ = η (п. н.) и Εξ существует,
то Εη также существует и Е77 = Εξ.
4. Пусть ξ — расширенная случайная величина, μ — σ-конечная мера,
|ξ|ώμ<οο. Показать, что тогда |ξ|<οο (μ-π. н.). (Ср. со свойством J.)
Ω
5. Пусть μ — σ-конечная мера, ξ и η — расширенные случайные
величины, для которых §ξώμ и }ηάμ определены. Тогда, если для всех
Ае# ^ξάμ^^ηάμ, то ξ^η (μ-π. н.). (Ср. со свойством I.)
А А
6. Пусть ξ и η — независимые неотрицательные случайные величины.
Показать, что тогда Εξι; = Εξ · Εη.
7. Используя лемму Фату, показать, что
Pflim Ап) <: Шп Р(Ап), P(fim Ап) ζHm Р(Л„).
8. Привести пример, показывающий, что в теореме о мажорируемой
сходимости условие «|ξ/ι|^τ/, Ei7<oo» не может быть, вообще говоря,
ослаблено.
9. Привести пример, показывающий, что в лемме Фату условие «ξη^η,
Е77 > —оо» не может быть, вообще говоря, отброшено.

262 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
10. Доказать справедливость следующего варианта леммы Фату. Пусть
семейство случайных величин {ξ+}η^\ равномерно интегрируемо. Тогда
Игл Εξη ^Ε lim ξη.
11. Функция Дирихле
_ /'» х ~~ иррациональное,
^0, χ — рациональное,
определенная на [0, 1], интегрируема по Лебегу, но не интегрируема по
Риману. Почему?
12. Привести пример последовательности интегрируемых по Риману
функций {/rt}rt>i, заданных на [0, 1] и таких, что \fn\ ^ 1, fn —► / почти всюду
по мере Лебега, но / не интегрируема по Риману.
13. Пусть (а/у; /, /^ 1}) — последовательность действительных чисел
таких, что Σ \а'ч\ <0°- Вывести из теоремы Фубини, что
U
Σα«/=Σ(Σ<4)=Σ(Σ<4)· (78)
14. Привести пример последовательности (а,·,·; /, / ^ 1), для которой
X) |а/у| = оо и равенства в (78) не справедливы.
ч
15. Отправляясь от простых функций и используя теоремы о
предельных переходах под знаком интеграла Лебега, доказать справедливость
следующего результата об интегрировании с помощью подстановки.
Пусть h = h(y) — неубывающая непрерывно дифференцируемая
функция на интервале [a, b]y a f(x) — интегрируемая (по мере Лебега)
функция на интервале [А(а), h(b)\. Тогда функция f(h(y))h'(y) интегрируема на
[а, Ь] и
h(b) Ь
$ f(x)dx = \f(h(y))h'(y)dy.
h(a) a
16. Доказать формулу (70).
17. Пусть ξ, ξι,ξ2» ··· — неотрицательные интегрируемые
случайные величины такие, что Εξ„ —* Εξ и для всякого ε > 0 вероятность
Р(1£ - ζη\ > ε) —► 0. Показать, что тогда Ε|ξ„ - ξ| -+ 0, η —► оо.
18. Пусть ξ — интегрируемая случайная величина (Ε|ξ|<οο).
Доказать, что для всякого ε > 0 существует £ > 0 такое, что для любого А е &
с Ρ(Α)<δ выполнено свойство Ε/^|ξ|<ε («свойство абсолютной
непрерывности интеграла Лебега»).

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 263
19. Пусть ξ, η, ζ и ξη, ηη, ζη, π ^ 1, — случайные величины такие, что *)
ξη-+ξ* ηη-+η> &-*С. νη^ξη^ζπ, ΟΙ,
и математические ожидания Εξ, Ε77, Εζ конечны. Показать, что тогда
справедлива лемма Пратта: Εξ„ —► Εξ и если к тому же ηη ^ 0 ^ Сь то
Е|6.-«1-0-
Вывести отсюда, что если ξη—>ξ, Ε|ξ„|—>Ε|ξ| и Ε|ξ|<οο, то
Ε|ξ„-ξΗ0.
Привести пример, показывающий, что в условиях леммы Пратта,
вообще говоря, Ε|ξ„ - ξ| />0.
20. Доказать, что L*/^L*/ и если функция / ограничена и мера μ
конечна, то L*f = L*f (см. замечание 2 в п. 11).
21. Доказать, что для ограниченных функций / математическое
ожидание E/=L*/ (см. замечание 2 в п. 11).
22. Доказать заключительное утверждение в замечании 2 п. 11.
23. Пусть F(x) — функция распределения случайной величины X.
Показать, что
оо .
ЕХ+ < оо ^ § In ст~Т dx < 00 для некоторого а.
а * '
24. Показать, что если р>0и lim χρΡ{|ξ| >Jt} = 0, то Ε|ξ|Γ <οο для
χ—+оо
всех г<р. Привести пример, показывающий, что при г = р может
оказаться, что Ε|ξ|ρ = οο.
25. Дать пример плотности /(jc), не являющейся четной функцией, у
оо
которой, тем не менее, все нечетные моменты § xk f(x) dx = 0, k = 1, 3, ...
—оо
26. Привести пример случайных величин ξ„, О 1, таких, что
оо оо
27. Пусть случайная величина X такова, что для любого а > 1
Р{\Х\>ап]
Р{|*1>"}
► 0, η —> оо.
ρ
*) Сходимость ξη —► £, называемая сходимостью по вероятности, означает, что для
всякого е > О вероятность Р{|£п — ξ\ > ε} —► О, η —► оо. Подробнее см. § 10.

264 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказать, что тогда у X существуют все моменты. Указание:
воспользоваться формулой
Е|Х|^ =УУ 4xN-xP(\X\>x)dx.
о
28. Пусть X — случайная величина, принимающая значения й = 0, 1,
оо
2, ... с вероятностями pk. Функция F(s)= Σ PkSk, |s|^l, называется
производящей функцией случайной величины X. Установить следующие
формулы:
(i) если X — пуассоновская случайная величина, т. е. pk = e~x\k/k\, где
λ>0, £ = 0, 1,2, ...,το
F(s) = e"A(l",), |s|<l;
(ii) если случайная величина X имеет геометрическое распределение,
т.е. pk = pqk, где 0< р< 1, q= 1 - ρ, ft = 0, 1, 2, ..., то
29. Наряду с производящей функцией F(s) полезно рассматривать
производящую функцию моментов: M(s) = EesX (в предположении, что 5
таковы, что EesX < оо).
(a) Показать, что если производящая функция моментов M(s)
определена для всех 5 из некоторой окрестности нуля (s £ [-α, α], α>0), то
существуют производные M^k)(s) при 5=0 для всех k = 1, 2, ... и
М(*>(0) = ЕХ*
(это свойство и оправдывает название для M(s)).
(b) Привести пример случайной величины, для которой Af(s) = co при
всех 5 > 0.
(c) Показать, что для пуассоновской случайной величины X с λ>0
функция M(s) = e~A(1~eS) для всех seR.
р
30. Пусть 0 < г < оо, Хп е Ζ/, Хп —► Я. Тогда следующие условия
равносильны:
(i) семейство {|Xrt|r» О 1} равномерно интегрируемо;
(ii) Хп—*Х в ί/;
(ш)Е|Хя|'->Е|Х|'«х>.
31. Тождество Спицера. Пусть ΛΊ, ^2» ··· —независимые одинаково
распределенные случайные величины с Р{Х\ ^ 1}= 1, и пусть Sn =X\ + ...

§6. ИНТЕГРАЛ ЛЕБЕГА. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 265
...+Хп- Тогда для \и\, \t\<\
Inf^/rtE(WAfrt) = f;iE(WSrt+),
где Μη = max(0, Χι, Χ2, ..., Xn), 5+ = max(0, Sn).
32. Пусть So = 0, Sn=X\ +... + Xn* Ό 1, —простое симметричное
случайное блуждание и г = min {η > 0: Sn ^ 0}. Показать, что
Ε min(T, 2m) = 2Е \S2m I = 4mP{S2m =0}, m > 0.
33. Пусть ξ — стандартная гауссовская случайная величина
(£~«/К(0, 1)). Используя интегрирование по частям, показать, что Εξ* =
= (k- 1)Εξ*~2. Вывести отсюда формулы
Ε£2*-!=0 и Е£2* = 13-...(2й-3)(2й-1) (=(2й-1)!!).
34. Показать, что функция х~{ sin χ, xeR, интегрируема по Риману,
но не интегрируема по Лебегу (с лебеговой мерой на (/?, S$(R))).
35. Показать, что функция
ζ(ωϊ$ω2) = β'ω^-2β'2ωιωί9 α;ι€Ωι = [1, оо), α;2ΕΩ2 = (0, 1],
такова, что (по мере Лебега)
(a) для каждого ω2 она интегрируема по ωχ^ΐΐχ,
(b) для каждого ω\ она интегрируема по ω2 £ Ω2, но теорема Фубини
не имеет места.
36. Доказать теорему Беппо Леей: Пусть случайные величины
ξι,ξ2, ... интегрируемы (Ε|ξΛ|<οο для всех О 1), sup Εξ„<οο и ξηΤξ;
η
тогда случайная величина ξ интегрируема и Εξπ | Εξ (ср. с теоремой 1а).
37. Доказать следующую разновидность леммы Фату: если 0 < ξη —► ξ
(Ρ-п. н.) и Εξ„ ^Л <оо, О 1, то ξ интегрируема и Εξ<4.
38. (О связи интегрирования по Лебегу и по Риману.) Пусть бо-
релевская функция / = f(x) интегрируема по мере Лебега: § |/(x)|djt <оо.
*
Доказать, что для всякого ε > О найдутся:
η
(a) ступенчатая функция fe(x) = Σ /,7д(х) с ограниченными интерва-
•нами Αι такая, что § |/(jc) - fe(x)\ dx<e\
R
(b) интегрируемая непрерывная функция g£(x) с ограниченным
носителем такая, что § \f(x) - ge(x)\ dx < ε.
R

266 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
39. Показать, что если ξ есть интегрируемая случайная величина, то
оо О
Εξ=$ Ρ{ξ>χ}άχ- ^ P{£<x}dx.
О -оо
40. Пусть ξ и η — интегрируемые случайные величины. Показать, что
оо
Εξ-Ετ7= § [Ρ{η<Χζξ}-Ρ{ξ<Χ^η}]άχ.
41. Пусть ξ — неотрицательная случайная величина (ξ^Ο) с
преобразованием Лапласа ψξ(Χ) = Εβ-λξ, λ ^ 0.
(а) Показать, что для всякого 0 < г < 1
00 1-ν>ξ(Α)
t? _Г(1-г) J λ'+· ЙА·
Указание: воспользоваться тем, что для s > 0, 0 < г < 1
1 f l-e~sX
(b) Показать, что для всякого г > 0
1 ~
v' о
Указание: воспользоваться тем, что для s ^ 0, г > 0
оо
5 = 7ГПД) S exPb(AA)r}dA.
§ 7. Условные вероятности и условные
математические ожидания относительно σ-алгебр
1. Пусть (Ω, «£", Р) — вероятностное пространство и событие Ае&
таково, что Р(Л) >0. Как и в случае конечных вероятностных пространств,
условной вероятностью А (обозначение: Ρ (В \А)) будем называть
величину Р(ВА)/Р(А), а условной вероятностью события В
относительно конечного или счетного разбиения @ = {D\, D2, ...} с Р(Д)>0,
/^1 (обозначение: Ρ(β|0), Ρ(Β\@)(ω)) назовем случайную величину,
равную P(B\Di) для ueDti /^ 1:
Ρ(Β\9)(ω) = Υ^Ρ(Β\Ωί)Ιοί(ω).

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
267
Аналогичным образом, если ξ — случайная величина, для которой
определено Εξ, то условным математическим ожиданием ξ относительно
события А с Р(Л)>0 (обозначение: Е(£|Л)) будем называть величину
^2 (ср. с (10) §8 гл. I).
Р(Л)
Случайная величина Р(В|0) является, очевидно, измеримой
относительно σ-алгебры if = σ(0), в связи с чем ее обозначают также P(B|if)
(см. § 8 гл. I).
В теории вероятностей приходится, однако, сталкиваться с
необходимостью рассмотрения условных вероятностей относительно событий,
имеющих нулевую вероятность.
Рассмотрим, например, следующий эксперимент. Пусть ξ — случайная
величина, равномерно распределенная на [0, 1]. Если ξ = χ, то
подбрасывается монета, у которой вероятность появления «герба» равна jc, a
«решетки» — (1 — лг). Пусть ν — число появлений «герба» при η
независимых подбрасываниях такой монеты. Спрашивается, чему равна
«условная вероятность P(v = k\£ = x)»} Поскольку Ρ{ξ = χ} = 0, то
интересующая нас «условная вероятность Ρ(ι/ = &|ξ = χ)» пока не определена, хотя
интуитивно понятно, что эта «вероятность должна была бы быть равна
Cknxk(\-x)n~k».
Дадим теперь общее определение условного математического ожидания
(и, в частности, условной вероятности) относительно σ-алгебр if, if С ^",
и сравним его с определением, данным в § 8 гл. I для случая конечных
вероятностных пространств.
2. Пусть (Ω, с^, Р) — вероятностное пространство, Sf —
некоторая σ-алгебра, ifC^ {<S — σ-под алгебра &) и ξ = ξ(ω) — случайная
величина. Напомним, что, согласно § 6, математическое ожидание Εξ
определялось в два этапа: сначала для неотрицательных случайных
величин ξ, а затем в общем случае с помощью равенства
Е£ = Е£+-ЕГ
и только (чтобы избежать неопределенности вида оо - оо) в
предположении, что
min(EC Εξ+)<οο.
Подобная двухэтапная конструкция применяется и при определении
условных математических ожиданий Ε(ξ|#).
Определение 1. 1) Условным математическим ожиданием
неотрицательной случайной величины ξ относительно σ-алгебры if
называется неотрицательная (расширенная) случайная величина, обозначаемая
E(£|Sf) или Ε(ξ|#)(α;), такая, что
a) E(£|if) является if-измеримой;

268 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Ь) для любого А £ У
SerfP = $EK|Sf)rfP. (1)
А А
2) Условное математическое ожидание Ε(ξ|#), или Ε(ξ\&)(ω),
произвольной случайной величины ξ относительно σ-алгебры У
считается определенным, если Р-п. н.
min(E(£+|#), Е(Г1#))<оо,
и задается формулой
Ε(ξ|#) = Ε(ξ+|#)-Ε(Γ|η
причем на множестве (нулевой вероятности) тех элементарных событий,
для которых Ε(ξ+ |Sf) = Ε(ξ" |Sf) = oo, разность Ε(ξ+ |Sf) - Ε(ξ~ |Sf)
определяется произвольно, например, полагается равной нулю.
Прежде всего покажем, что для неотрицательных случайных величин
Ε(ξ|δ?) действительно существует. Согласно п. 8 § 6, функция множеств
Q(4) = $£dP, Ле#, (2)
А
является мерой на (Ω, if), которая абсолютно непрерывна
относительно меры Ρ (рассматриваемой на (Ω, if), #C^). Поэтому (по теореме
Радона—Никодима) существует такая неотрицательная Sf-измеримая
расширенная случайная величина Ε(ξ|#), что
QH) = $EK|Sf)rfP. (3)
А
Из (2) и (3) следует соотношение (1).
Замечание 1. В соответствии с теоремой Радона—Никодима
условное математическое ожидание Ε(ξ|ίί) определяется однозначно лишь с
точностью до множеств Р-меры нуль. Иначе говоря, в качестве Ε(ξ|ί?)(α;)
можно взять любую ίί-измеримую функцию /(а;), называемую
вариантом условного математического ожидания, для которой О(Л) = § /(о;) dP,
А
Ае&.
Отметим также, что, согласно замечанию к теореме Радона—Никодима,
EKlSOs^H, (4)
т. е. условное математическое ожидание есть не что иное, как
производная Радона—Никодима меры Q относительно меры Ρ
(рассматриваемых на (Ω, £?)).

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
269
Полезно заметить, что если неотрицательная случайная величина ξ
такова, что Εξ<οο, то Ε(ξ|ί?) <οο (Р-п. н.), что непосредственно вытекает
из (1). Аналогично, если ξ^Ο и Εξ>-οο, то Ε(ξ|ί?)>-οο (Р-п. н.).
Замечание 2. В связи с соотношением (1) отметим, что мы не можем,
вообще говоря, положить Ε(ξ|£?) = ξ, поскольку случайная величина ξ не
обязана быть ίί-измеримой.
Замечание 3. Предположим, что случайная величина ξ такова, что для
нее существует Εξ. Тогда Ε(ξ|#) можно было бы определить как такую
^-измеримую функцию, для которой справедливо (1). Обычно именно так
и поступают. Приводимое нами определение Ε(ξ|#) = Ε(ξ+ \<ё) - Ε (ξ"" |ί?)
обладает тем преимуществом, что в случае тривиальной σ-алгебры # =
= {0, Ω} оно превращается в определение Εξ и при этом оно не
предполагает существования Εξ. (Например, если ξ — случайная величина с Εξ+ = οο,
Εξ~=οο, a S? = <^\ то Εξ не определено, но в смысле определения 1 Ε(ξ|#)
существует и есть просто ξ = ξ+ — ξ".)
Замечание 4. Пусть условное математическое ожидание Ε (ξ \<&)
определено. Условной дисперсией 0(ξ\&) случайной величины ξ относительно
σ-алгебры if называется случайная величина
0(ξ\<?) = Ε[(ξ-Ε(ξ\ν))2№
(ср. с определением Ό(ξ\@) относительно разбиения 3f, данным в задаче 2
§ 8 гл. I, и с определением дисперсии в § 8).
Определение 2. Пусть В £ &. Условное математическое ожидание
Ε (1В \<&) обозначается Р(В \<&) или Ρ (Β \&)(ω) и называется условной
вероятностью события В относительно σ-алгебры &,&С&.
Из определений 1 и 2 следует, что для каждого фиксированного В е&
условная вероятность Р(В|#) есть такая случайная величина, что:
a) Р(В|#) является if-измеримой,
b) для любого А € S?
P(AnB) = ^P(B\&)dP. (5)
А
Определение 3. Пусть ξ — случайная величина и &η — σ-алгебра,
порожденная некоторым случайным элементом η. Тогда Ε(ξ|(^), если оно
определено, обозначается Ε(ξ|ΐ7) или Ε(ξ\η)(ω) и называется условным
математическим ожиданием ξ относительно η.
Условная вероятность Р(В|^) обозначается Ρ(Β\η) или Ρ(Β\η)(ω), и
называется условной вероятностью события В относительно η.
3. Покажем, что данное здесь определение Ε (ξ |ί?) согласуется с
определением условного математического ожидания § 8 гл. 1.

270 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Пусть @ = {D\, D2, ...} —некоторое конечное или счетное разбиение с
атомами Д (Σ Д =Ω) такими, что Р(Д) >0, i ^ 1.
i
Теорема 1. Если У = σ(@) и ξ —случайная величина, для которой
Εξ определено, то
Ε(ξ|δΤ) = Ε(ξ|0,) (P-n.n.naDi) (6)
или, что то же,
E(W = T^ (P-n.H.naDi).
(Запись «ξ = 77 (Р-я.«. «^ Л)» или «£ = 77 (Л; Ρ-/ζ.«.)» означает, что
Ρ(Αη{ξ^η}) = 0.)
Доказательство. Согласно лемме 3 из § 4, на Д Ε(ξ|ί?) = /ί/, где
Kt — постоянная. Но
$ξ</Ρ=$ Efc|Sf)rfP-/&P(D/)f
о, о,
откуда
Таким образом, введенное в гл. I понятие условного
математического ожидания Ε(ξ|0) относительно конечного разбиения 0 = {Д, ..., Dn)
является частным случаем понятия условного математического ожидания
относительно σ-алгебры <& = σ(0).
4. Свойства условных математических ожиданий. Будем
предполагать, что для всех рассматриваемых случайных величин ξ, η
математические ожидания определены и σ-алгебра if С &.
А*. Если С — постоянная и ξ = С (п. н.), то Ε (ξ |#) = С (п.«.).
В*. Если ξζη (п.н.), то Ε(ξ\^)^Ε(η\^) (п.н.).
С*. \Ε(ξ\ν)\ζΕ{\ξ\\9)(η.Η.).
D*. Если a, b — постоянные и αΕξ + δΕη определено, то
Е{а£ + Ьп\У) = аЕа\У) + ЬЕ{г)\У) (п.н.).
Е*. Пусть &,={0, Ω} — тривиальная σ-алгебра. Тогда
ЕК|Л) = Е£ (п.н.).
F*. Ε (ξ |^) = ξ (п.н.).
G* E(E«|Sf)) = Et
Η*. Если #i CSf2. /ио справедливо (первое) «телескопическое
свойство»:
Ε[Ε(ξ|%)|δί,] = Ε(€|δί,) (я.н.)·

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
271
I*. Если &\ 2^2» то справедливо (второе) «телескопическое
свойство»:
Е[Е((|«)|ЭД] = Е((|%) (п.н).
J*. Пусть случайная величина ξ, для которой Εξ определено, не
зависит от σ-алгебры У (т. е. не зависит от /β, В €&). Тогда
Ε(ξ\&) = Εξ (п.н.).
К*. Пусть η — &-измеримая случайная величина, Ε|ξ|<οο и
Ε|ξ77ΐ<0°· Тогда
Ε(ξη\&) = ηΕ(ξ\&) (п.н.).
Приведем доказательства этих свойств.
А*. Функция, равная постоянной, измерима относительно if. Поэтому
остается лишь проверить равенство
$£dP = $CdP, Ae&.
А А
Но в силу предположения ξ = С (п. н.) и свойства G из § 6 это равенство
выполнено очевидным образом.
В*. Если ξ ^ η (п. н.), то по свойству В из § 6
S^dP^rjdP, AG&,
А А
а значит,
^Ε(ξ\&)άΡ^Ε(η\&)άΡ, Ae&.
А А
Тогда требуемое неравенство следует из свойства I (§ 6).
С*. Это свойство вытекает из предыдущего, если учесть, что -\ξ\^
<ί<Ιί|.
D*. Если множество А е &, то, согласно задаче 2 из § 6,
$(αξ + ϋη) dΡ = $ αξdP + $ ЪцdP =
= 5^Ε(ξ|ίί)ί/Ρ + $6Ε(ΐ7|5ί)ώΡ = $[αΕ(ξ|ίί) + 6Ε(ΐ7|ίί)]ώΡ,
И И А
что и доказывает свойство D*.
Е*. Это свойство следует из замечания, что Εξ является ^-измеримой
функцией, и того факта, что если Α =Ω или Л = 0, то очевидным образом
$£dP = $E£dP.
А А

272 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
F*. Поскольку ξ — «^"-измерима и
А А
τοΕ(ξ|^)=ξ(π.Η.).
G*. Это свойство вытекает из Е* и Н*, если взять ίίι = {0, Ω} и % =#.
Η*. Пусть deSfi. Тогда
$ΕΚ|δί,)£ίΡ = $€£ίΡ.
Так как i?i С£?2, то А Е% и, значит,
SE[EK|%)|Sf,]rfP = SEK|%)rfP = S€rfP.
А А А
Следовательно, для А £ ίίι
$Ε(ξ|^)4Ρ = $Ε[Ε(ξ|#2)|^]4Ρ
и, рассуждая также, как и при доказательстве свойства I § 6 (см. также
задачу 5 § 6), получаем, что
Ε((|?ι) = Ε[Ε((№)|?ι] (п.н.).
I*. Если Л €Sii, то по определению Ε[Ε(ξ|^2)|^ι]
$E[EK|*)|SfI]rfP = $E«|%)rfP.
А А
Функция Ε (ξ 1^) является ^-измеримой, и поскольку {%£^ь то и
Sfi-измеримой. Отсюда следует, что Ε(ξ|ί?2) есть один из вариантов условного
математического ожидания Ε[Ε(ξ|&2)|9ί], что и доказывает свойство I*.
J*. Поскольку Εξ является ίί-измеримой функцией, то остается
проверить, что для любого В £ if
$£dP = $E£dP,
в в
т. е. что Ε[ξ/β] = Εξ· Ε/β. Если Ε|ξ| <οο, то это сразу следует из
теоремы 6 § 6. В общем случае вместо теоремы 6 § 6 надо воспользоваться
результатами задачи 6 из того же параграфа.
Доказательство свойства К*, опирающееся на утверждение а)
следующей далее теоремы 2, будет дано несколько позднее.
Теорема 2 (о сходимости под знаком условных математических
ожиданий). Пусть {ξη}η^\ —последовательность (расширенных)
случайных величин.

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
273
a) Если \ξη\ < η, Εη < оо и ξη —► ξ (п. н.), т<>
E(6,|Sf)-EK|Sf) (п.н.)
и
Е(|е.-€ИУ)-о (п.н.у
b) Если ξη ^η, Εη> -оо и ξη | ξ (п. н.), то
Ε(ξη\&)1Ε(ξ\&) (п.н.).
c) Если ξη ^ η, Εη < оо и ξη Ιξ (п. н.), то
E(e,|Sf)lEK|Sf) (п.н.).
d) Если ξη ^η, Εη> — оо, mo
Ε(Μξη\&)^ΜΕ(ξη\&) (п.н.).
e) £слы ξ„ ^77» Ε7? < °°> mo
НЙЕ(6,|5Г)<ЕШш6,|8Г) (п.н.).
f) Если ξ„ ^ 0, то
Доказательство, а) Пусть £„ = sup |£m — £л|. Поскольку ξ„ —►ξ (п. н.),
то С/110 (п.н.). Математические ожидания Εξη и Εξ конечны, поэтому в
силу свойств D* и С* (п. н.)
|E(6,|Sf)-EK|Sf)| = |E(el-€|Si)|<E(|6l-€||Si)<E(C|Si).
Поскольку E(C+i |£f)<E(C|£f) (п. н.), то (п. н.) существует предел А =
= НтЕ(С |Sf). Тогда
(K$AdP^$ Ε(ζη\&)άΡ = \ζη(ΙΡ->(), я->оо,
Ω Ω Ω
где последнее утверждение следует из теоремы о мажорируемой
сходимости, поскольку 0 ^ С/1 ^ 2ί7, ^Ή < °°· Следовательно, §АйР = 0ипо свой-
Ω
ству Η Α = 0 (п.н.).
Ь) Пусть сначала η = 0. Поскольку Ε(ξη \У) ^ Ε(ξ„+ι \<0) (п. н.), то
существует (п.н.) предел £(u;) = lim Ε(ξη\&). Тогда из равенства
\ξηάΡ = \Ε(ξη\#)(ΙΡ> Ае&,
А А

274 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
и теоремы о монотонной сходимости
А А А
Следовательно, по свойству, аналогичному свойству I, и задаче 5, £ =
= С(п.н.).
Для доказательства в общем случае заметим, что 0 ^ ξ+ | ξ+, и по
доказанному
Ε(£?Ί^)ΐΕ(ξ+|^) (п.н.). (7)
Но 0 ^ ξ~ ^ ξ~, Εξ~ < оо, поэтому в силу а)
E(eriso->E(risf),
что вместе с (7) доказывает Ь).
Утверждение с) вытекает из Ь).
d) Пусть С = inf &,, тогда Ci ТС. где C = lim &,. Согласно b). Ε (С | Si) T
Τ E(C|Sf) (п. н.). Поэтому (п. н.)
ЕШте.|У) = Е(С|У) = НтЕ(С,|У) = МЕ(С,|У)<НтЕ(61|У).
η
Утверждение е) вытекает из d).
f) Если ξη ^ 0, то по свойству D*
е(£&|И=£е«*1у> (п.н.).
что вместе с Ь) и доказывает требуемый результат. D
Приведем теперь доказательство свойства К*. Пусть τ/ = /β, Ве&.
Тогда для всякого А Е if
$€4rfP= S €rfP= S EK|Sf)rfP = S/aEK|Sf)rfP = S4EK|Si)rfP.
Λ Ληβ Ληβ A A
В силу аддитивности интеграла Лебега равенство
$ξΐ7<ίΡ = $ΐ7Ε(ξ|δί)£ίΡ, Л€^, (8)
останется справедливым и для простых случайных величин 77= Σ */*/β*»
Bfe £Sf. Поэтому по свойству I (§ 6) для таких случайных величин
E(Ct||Sf) = f|E(€|fif) (п.н.). (9)

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
275
Пусть теперь η — произвольная ίί-измеримая случайная величина и
{г)п}п>\ — последовательность простых ίί-измеримых случайных величин
таких! что \ηη\ < \η\ ηηη^η. Тогда в силу (9)
EKiblSf^ffcEKlSf) (п.н.).
Ясно, что |ξ^/ι|^|ξ^|, где Ε|ξΐ7ΐ<οο. Поэтому по свойству а) теоремы 2
Ε(ξηη\&)->Ε(ξη\&) (п.н.).
Далее, так как Ε|ξ| <оо, то Ε(ξ|#) конечно (п. н.) (см. свойство С*,
свойство J (§ 6)). Поэтому ηηΕ(ξ\&) —>ηΕ(ξ\&) (п. н.). (Предположение о
конечности почти наверное Ε(ξ|ί?) существенно, поскольку, согласно сноске
на с. 218, 0·οο = 0, но если ηη — 1//Ζ, г/ = 0, то - ·οο/»0·οο = 0.)
Замечание. Свойство К* сохраняет свою силу, если выполнены лишь
следующие условия: η является ^-измеримой и Ε(ξ\&) определено.
5. Рассмотрим подробнее структуру условных математических
ожиданий Ε(ξ|(^), обозначаемых, как было условлено выше, также через Ε(ξ\η).
Поскольку Ε(ξ|77) является ί^-измеримой функцией, то, согласно
теореме 3 из § 4 (точнее — очевидной ее модификации для расширенных
случайных величин), найдется такая борелевская функция т = т(у),
определенная на R и со значениями в /?, что для всех ω £ Ω
Μ(η(ω)) = Ε(ξ\η)(ω). (10)
Эту функцию т(у) будем обозначать через Ε(ξ|77 = ι/) и называть
условным математическим ожиданием ξ относительно события {q = y}
или условным математическим ожиданием ξ при условии, что η —у.
В соответствии с определением
$€dP = $E«|4)rfP = $m(4)rfP, Ае9„. (И)
А А А
Поэтому по теореме 7 § 6 (о замене переменных под знаком интеграла
Лебега)
$ m^)dP^m(y)Pr)(dyl BeBS(R)y (12)
{ω:η£Β} В
где Ρη — распределение вероятностей η. Следовательно, т = т(у) есть
борелевская функция такая, что для всякого В е BS(R)
$ tdP^m^P^dy). (13)
{ω:η£Β} Β
Это замечание подсказывает, что к определению условного
математического ожидания E(ξ\η = y) можно прийти и иначе.

276 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Определение 4. Пусть ξ и η — случайные величины (быть может, и
расширенные) и Εξ определено. Условным математическим
ожиданием случайной величины ξ при условии, что η —у, назовем всякую
^(Я)-измеримую функцию т = т(у), для которой
$ $аР = \т(у)Рг,((1у), ВьЯф). (14)
{ω:η£Β) В
Тот факт, что такая функция существует, следует опять же из теоремы
Радона—Никодима, если заметить, что функция множеств
0(Я) = $ ξάΡ
{ω:η€Β}
является мерой со знаком, которая абсолютно непрерывна относительно
меры Ρη.
Предположим теперь, что т(у) есть условное математическое
ожидание в смысле определения 4. Тогда, применяя снова теорему о замене
переменных под знаком интеграла Лебега, находим, что
$ tdP = $m(y)P4dy)= $ m(V)dP, ВеЗЦД).
{ω:η£Β} Β {ω:η£Β}
Функция m{q) является ^-измеримой, и множествами {a;: ryEВ},
В €&(R), исчерпываются все множества из &η.
Отсюда вытекает, что m{q) есть математическое ожидание Ε(ξ\η). Тем
самым, зная Е^^=у), можно восстановить Ε(ξ\η), и, наоборот, по Ε(ξ\η)
можно найти Е^^ = у).
С интуитивной точки зрения условное математическое ожидание т(у) =
= E(ξ\η=zy) является более простым и понятным объектом, нежели
Ε(ξ|77). Однако математическое ожидание Ε(ξ|77), рассматриваемое как
(^-измеримая случайная величина, более удобно в работе.
Отметим, что приведенные выше свойства А*—К* и утверждения
теоремы 2 легко переносятся на условные математические ожидания
Е(£^ = у) (с заменой «почти наверное» на «Р^-почти наверное»). Так,
например, свойство К* переформулируется следующим образом: если
Е|£| < оо, Ε|ξ/(77)| < оо, где / = f(y) — ^(Я)-измеримая функция, то
EW(V)\v = y) = f(y)E£\v = y) (Vn.H.)· (15)
Далее (ср. со свойством J*), если ξ и η независимы, то
Ε(ξ\η = ϋ) = Εξ (Л,-п.н.).
Отметим также, что если В е SS(R2) и ξ и η независимы, то
E[/eK,i?)|t7 = jf]-E/fl«,y) (Р,-п.н.), (16)

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
277
и если φ = φ(χ, у) — £§(R2)-измеримая функция такая, что Ε\φ(ξ, η)\ <оо,
то
Efr&rilv^y]^^^^)) {Ρη-η.Η.).
Для доказательства (16) заметим следующее. Если В = В\х β2» то для
справедливости (16) надо лишь проверить, что
J /a,x*K.4)P(A«>)= S Е/в|Х*(€.*)Л,№0.
Но левая часть есть Ρ{ξ € Вь г; G Л ПВ2}, а правая —Ρ{ξΕΒι} P{r7€ Л ПВ2Ь
и их равенство следует из независимости ξ и η. В общем случае
доказательство проводится с применением теоремы 1 из § 2 о монотонных классах
(ср. с соответствующим местом в доказательстве теоремы Фубини).
Определение 5. Условной вероятностью события Ае& при
условии, что 77 = */ (обозначение: Р(А\у = у)), будем называть Е(1а |г7 = #).
Понятно, что Р(А\у = у) можно было бы определять как такую
^(Я)-измеримую функцию, что
Ρ(ΑΓ){η€Β}) = \ P(A\V=y)PTJ(dy\ ВьЯф). (17)
в
6. Приведем некоторые примеры вычисления условных вероятностей
и условных математических ожиданий.
Пример 1. Пусть η — дискретная случайная величина с Р{гу = ^}>0,
Σ Р{1? = Ы=1. Тогда
р/л! ч- P(AD{y = yk}) . .
РИ1ч-л>- Р{Г7=Ы . *>ι.
Для У&{У\>У2> ···} условную вероятность Р(А\у = у) можно определить
произвольным образом, например, положить равной нулю.
Если ξ — случайная величина, для которой существует Εξ, то
Условное математическое ожидание Е^\у = у) для у£{у\,У2, .··}
определяется произвольно (например, полагается равным нулю).
Пример 2. Пусть (ξ, η) — пара случайных величин, распределение
которых обладает плотностью ίξ,η(χ, у):
Ρ{(ξ, η) 6 В} = $ /€Λ(χ, у) dx dg, В 6 3§(R2).

278 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Пусть fe(x) и fv(у) — плотности распределения вероятностей случайных
величин ξ и η (см. (46), (55), (56) § 6).
Обозначим
полагая !£\п(*\у) = Ъ. если fv(y) = Q.
Тогда
РК€С|Ч = 10 = $ kto(x\y)dx4 С €*(*). (19)
с
т.е. /ξΐ^Ιί/) есть плотность условного распределения вероятностей.
В самом деле, для доказательства (19) достаточно убедиться в
справедливости формулы (17) для BeSS(R), А = {ξ 6 С). В силу (43), (45) § 6
и теоремы Фубини
ξ Г$ Ulri(x\y)dx\pri(dy) = l Г$ fan(x\y)dx\fn(y)dy =
в Ic J в 1с J
= S !ц\ч{х\у)Ш)<1хау= $ fbnix*y)dxdy =
СхВ СхВ
= Р{К.Ч)€Схв} = Р(«€С}П{Ч€в}),
что и доказывает (17).
Аналогичным образом устанавливается следующий результат: если Εξ
существует, то
Ε(ί|ΐϊ = |0= I */C|4(*|tf)d*. (20)
— ОО
Пример 3. Пусть длительность работы некоторого прибора
описывается неотрицательной случайной величиной η = η(ω), функция
распределения которой Frj(y) имеет плотность fv(y) (естественно, что F7l(y) = fr)(y) — Q
для у <0). Найдем условное математическое ожидание Ε(η — а \η^ α), т. е.
среднее время, которое прибор еще проработает в предположении, что он
уже проработал время а.
Пусть Ρ{η^α}>0. Тогда, согласно определению (см. п. 1) и (45) § 6,
с„ w . 1^-α)Ι{η^α)Ρ(άω) \{y-a)f4{y)dy
Efa а\п>а)= 1{η~α){η^α)]^Ω = -2

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
279
Интересно отметить, что если случайная величина η экспоненциально
распределена, т. е.
ш= о. ;«ц
(21)
то Εη = Β(η\η^0)= Ι/λ и для любого α>0 Ε(η-α\η^α) = 1/Α. Иначе
говоря, в этом случае среднее время, которое прибор еще проработает, в
предположении, что он уже проработал время а, не зависит от значения а
и совпадает просто со средним временем Е77.
В предположении (21) найдем условное распределение Ρ(η-α^χ\η*^
Ζ α).
Имеем
Ρ(η-α^χ\η>α)= ρ{^
= P{fl<7y<fl+JC} = /7T?(fl+JC)-/rr?(fl) + Pfa = fl} =
' Ρ{η>α) 1-F„(a) + P{77 = a}
= [1 -β-χ{α+χϊ]-[\ -е~Ха] = е~Ха[\ -е~Хх] .
\-[\-е~Ха] е~Ха " 6
-Хх
Рис. 29.
Таким образом, условное распределение Ρ(η — α^χ\η^α)
совпадает с безусловным распределением Pfa^*}· Это замечательное свойство
экспоненциального распределения является
характеристическим: не существует других
распределений с плотностями, обладающих свойством
Ρ(η-αζχ\η^α) = Ρ{η*ζ:Χ}, α^Ο, 0<х<оо.
Пример 4 (игла Бюффона). Пусть на
«коридор» бесконечной длины и единичной ширины
(рис. 29) на плоскости «случайным» образом
бросается игла единичной длины. Спрашивается, какова
вероятность того, что игла пересечет (по крайней
мере одну) стенку коридора?
Чтобы решить эту задачу (на геометрические вероятности),
определим прежде всего, что означает, что игла бросается «случайным»
образом. Пусть ξ — расстояние от центра иглы до левой стенки. Будем
предполагать, что ξ равномерно распределено на отрезке [0, 1], а (см. рис. 29)
угол θ равномерно (Pe(da) = da) распределен на [—π/2, π/2]. Кроме того,
будем предполагать ξ и θ независимыми.
Пусть А — событие, состоящее в том, что игла пересечет стенку
коридора. Легко видеть, что если
В = {(а, х): \а\ ^ |, χ е [θ, \ cos α] U [l - \ cos α, l]},

280 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
то Α ={ω: (0, ξ) £β}, и, значит, интересующая нас вероятность
Ρ(Α) = ΕΙΑ(ω) = ΕΙΒ(θ(ω),ξ{ω)).
В силу свойства G* и формулы (16)
Е/а(0М, ξ(ω)) = Ε{Ε[ΙΒ{θ(ω)9 ξ{ω))\θ(ω)]) =
π/2
= $Ε[/Β(θ(ω)9ξ{ω))\θ(ω)]Ρ(άω) = $ Ε[ΙΒ(θ(ω)9ξ(ω))\θ(ω) = α]Ρ$(άα) =
Ω -π/2
1 π/2 1 π/2 2
= - \ ΕΙΒ(α, ξ(ω))άα = - { cosada=-,
-π/2 -π/2
где мы воспользовались также тем, что
Ε/β (α, ξΜ) = ρ{ξ£[θ, i cosa]u[l-i cos a] J = cos a.
Итак, вероятность того, что «случайным» образом брошенная на
коридор игла пересечет его стенки, равна 2/π. Этот результат может быть
положен в основу экспериментального определения значения числа π. В самом
деле, пусть игла бросается независимым образом N раз. Определим щ
равным 1, если при /-м бросании игла пересекает коридор, и равным 0 в
противном случае. Тогда в силу закона больших чисел (см., например, (6)
§ 5 гл. I) для всякого ε > 0
p{|'»+-+^_p(i4)|>e|_0) N^^
В этом смысле частота
Ν π
и, значит,
2jV
—-—-—«π.
η\ +... + r7yv
Именно эта формула и послужила основой для статистического
определения значения числа π. В 1850 г. Р. Вольф (Цюрих) бросал иглу 5000 раз
и получил для π значение 3,1596. По-видимому, этот способ был одним из
первых методов (известных теперь под названием «метода Монте-Карло»)
использования вероятностно-статистических закономерностей в
численном анализе.
Замечание. Рассмотренный пример 4 (задача Бюффона) является
типичным примером задач на геометрические вероятности. Весьма
часто в таких задачах из простых геометрических соображений, типа
«симметрии», видно, как задавать вероятности «элементарных событий».

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
281
(Ср. с пп. 3 и 4 в § 1 главы I и § 3 настоящей главы.) Формулируемые
далее задачи 9—12 являются задачами на геометрические вероятности.
7. Если {ξ,ι},ι^ι — последовательность неотрицательных случайных
величин, то, согласно утверждению f) теоремы 2,
Ε(Σ^ι^)==ΣΕ^ι^) (π·η·)·
В частности, если В\, В?., ... —последовательность попарно
непересекающихся множеств, то
ρ(Σβ«ι^)=Σρ(β'·ι^ ("·"·>· ί22)
Важно подчеркнуть, что это равенство выполнено лишь почти
наверное и, следовательно, условную вероятность Ρ (β \&)(ω) нельзя
рассматривать при фиксированном ω как меру по В. Можно было бы подумать, что,
за исключением некоторого множества Jf меры нуль, Ρ(\&)(ω) является
все же мерой для ω £ jV, где Jf — некоторое множество меры нуль. Однако
это, вообще говоря, не так в силу следующего обстоятельства.
Обозначим jV(B\, B2, ...) то множество исходов ω, где для заданных В\, В^ ...
не выполнено свойство счетной аддитивности (22). Тогда исключительное
множество Jf есть
jr = U-S(Bi9B2, ...), (23)
где объединение берется по всем непересекающимся В\9 Вг> ... из &\ Хотя
Р-мера каждого множества jV(B\, B^, ...) равна нулю, Р-мера
множества Jf может оказаться (в силу несчетности объединения в (23)) ненулевой.
(Вспомним, что лебеговская мера отдельной точки равна нулю, а мера
множества <Ж = [0, 1), являющегося несчетной суммой одноточечных
множеств {*}, 0 ^ χ < 1, равна единице.)
В то же время было бы удобно, чтобы условная вероятность Ρ(· \&)(ω)
являлась мерой для каждого ω £ Ω, поскольку тогда, например, подсчет
условных математических ожиданий Ε(ξ\&)(ω) можно было бы
осуществлять (см. далее теорему 3) просто с помощью усреднения по мере
Р(-|*)М:
Ε(ξ№(ω) = $ξ{ώ)Ρ[(Ιω\9)(ω) (π. н.)
Ω
(ср. с (10) §8 гл.1).
Введем такое
Определение 6. Функцию Ρ(ω\ В), определенную для всех и>еЯ
и В е &у назовем регулярной условной вероятностью относительно
σ-алгебры У С &, если:
а) для каждого ω е Ω Ρ(ω\ ·) есть вероятностная мера на &\

282 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Ь) для каждого Ве# Ρ(ω\ В) как функция от ω есть один из
вариантов условной вероятности Ρ(Β\Φ)(ω), т.е. Ρ(ω\ Β) = Ρ(Β\&)(ω)
(п. н.).
Теорема 3. Пусть Ρ(ω\ В) — регулярная условная вероятность
относительно & и ξ — интегрируемая случайная величина. Тогда
E«|Sf)M= $ ξ{ω)Ρ{ω; άώ) (п. н.). (24)
Ω
Доказательство. Если ξ = /β, В € *^\ то требуемая формула (24)
превращается в равенство
Ρ(Β\9)(ω) = Ρ(ω\Β) (п.н.),
выполнимое в силу определения 6 Ь). Следовательно, (24) выполнено для
простых функций.
Пусть теперь ξ ^ 0 и ξη | ξ, где ξη — простые функции. Тогда по
свойству Ь) теоремы 2 Ε(ξ\&)(ω) = \\π\ Ε(ξη\&)(ω) (п. н.). Но поскольку для
каждого ω£Ω Ρ(ω\ ·) есть мера, то по теореме о монотонной сходимости
Игл Ε(ξ„ \<S)(ω) = lim $ ξη(ώ) Ρ(ω; άω) = $ ξ(ώ) /V, άω).
Ω Ω
Общий случай сводится к рассмотренному с помощью представления
Следствие. Пусть ί^ = ί^, где η — случайная величина, причем
пара (ξ, η) имеет плотность распределения вероятностей ί^η(χ, у).
Пусть E|g(£)| <oo. Тогда
ЕШ\Ч = У)= 1 g(x)h\r,(x\y)dx,
—оо
где [ξ\η(χ\у) — плотность условного распределения (см. (18)).
Чтобы сформулировать основной результат о существовании
регулярных условных вероятностей, нам понадобятся следующие определения.
Определение 7. Пусть (£, S) — измеримое пространство, Χ =Χ(ω) —
случайный элемент со значениями в Ε и <& — σ-подалгебра с^\ Функция
Q(w\ В), определенная для ω£Ω и В £<?, называется регулярным
условным распределением X относительно σ-алгебры <&, если:
a) для каждого ω £ Ω Q(u;; В) есть вероятностная мера на (£, <?);
b) для каждого Ве£ Q(u>; В) как функция от ω есть одни ыз
вариантов условной вероятности Р(Х е В |£?)М, τ. е.
Q(uj;B) = P(X€B\&)(u) (п.н.).

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ 283
Определение 8. Пусть ξ —случайная величина. Функция F = F(uj; χ),
ωζΩ, x€R> называется регулярной функцией распределения для ξ
относительно σ-алгебры У\ если:
a) для каждого ω £ Ω F(uj; x) есть функция распределения на /?;
b) для каждого xeR F(uj\ χ) = Ρ(ξ^χ\<S)(ω) (π. η.).
Теорема 4. Всегда существуют регулярная функция
распределения и регулярное условное распределение случайной величины ξ
относительно σ-алгебры <S С &.
Доказательство. Для каждого рационального г е R положим />М =
= Ρ(ξ < г |У)И, где Ρ(ξ ^ г |<S){ω) = Ε(/{ξ<Γ} |<ОМ - какой-нибудь
вариант условной вероятности события {ξ ζ г) относительно £?. Пусть {/*/} —
множество всех рациональных чисел на R. Если η </*,·, то в силу
свойства В* Ρ(ξ ^ п |Sf) ^ Ρ(ξ ^ г,- |Sf) (п. н.) и, значит, если Л/, = {α;: />.{ω) <
</>,·(<*>)}, Л =U ^<7» то РИ) = 0. Иначе говоря, множество тех ω, где у
функций распределений Fr(u>), /*£{/*,}, нарушается монотонность, имеет
меру нуль.
Пусть теперь Βί = {ω: lim Fn^\/n(J)^Fn(J)}9 B= (J В/. Ясно, что
П—+00 · ι
A€<o+i/«}iАс^пЬ я—*°°- Поэтому, согласно утверждению а) теоремы 2,
/7Γί+ι/Λ(α;)-^/ΓΓ|.(α;) (π. н.) и, значит, множество В, где нарушается
непрерывность справа (по рациональным числам), также имеет меру нуль,
Ρ(β) = 0.
Далее, пусть С = {а;: lim Fn(ω) φ 1}U{а;: lim Fn(u>)^0}. Тогда, по-
/I—ЮО /I—♦— ОО
скольку {ξ ^ п} Τ Ω, /ζ —► сю, а {ξ ^ /ζ} 10, /ζ —► -оо, то Р (С) = 0.
Положим теперь
flim/vM, и;£ЛиВиС,
(G(jc), CJG^UBUC,
где G(x) — произвольная функция распределения на /?, и покажем, что
функция F(u\ x) удовлетворяет определению 8.
Пусть uj£A\JB\JC. Тогда ясно, что F(u>; x) является
неубывающей функцией от х. Если jc<jc'<t, то F(uj\ x) ^ F(u\ x') < F{uj\ r) =
= 'rfMlF(w; jc), когда г [х. Поэтому F(u>\ χ) непрерывна справа.
Аналогично lim F{uj\ x) = 1, lim F(u; χ) = 0. Поскольку для u>eAuBl)C
jf-+oo х-*—oo
/^u;; x) = G(jc), то для каждого ω £ Ω F(o;; χ) является функцией
распределения на /?, т. е. выполнено условие а) в определении 6.
Согласно конструкции, Ρ(ξ^Γ\&)(ω) = ΡΓ(ω) = Ρ(ω; г). Если г[х, то
^(<*>; г) | F(uj; χ) для всех а; е Ω в силу установленной непрерывности справа.
Но из утверждения а) теоремы 2 Ρ(ξ</·|δΟ(ο;)->Ρ(ξ<χ|£ΟΜ (п. н.).

284 ГЛ. И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Поэтому F(uj\ χ) = Ρ(ξ<: х yS)(ω) (п. н.), что и доказывает свойство Ь)
определения 8.
Обратимся теперь к доказательству существования регулярного
условного распределения ξ относительно #.
Пусть F(u>\ х) — построенная выше функция. Положим
Q(u;;B) = $F(u;;dJt),
в
где интеграл понимается как интеграл Лебега—Стилтьеса, из свойств
которого (см. п. 8 § 6) вытекает, что Q(uj\ В) является мерой по В для
каждого фиксированного ω £ Ω. Для установления того, что Q(ur, В) есть
вариант условной вероятности Ρ (ξ £ В \ <S)(ω), воспользуемся принципом
подходящих множеств.
Пусть if— совокупность множеств В из BB(R), для которых Q(uj; B) =
= Ρ(ξ£β|#)Μ (п. н.). Поскольку £(u;; χ) = Ρ(ξζχ\&)(ω) (π. н.), то в
систему if входят множества В вида В = (—оо, χ], χ £ R. Значит, в if входят
также все интервалы вида (а, Ь] и алгебра si, состоящая из конечных сумм
непересекающихся множеств вида (а, Ь]. Тогда из свойства непрерывности
меры Q(u;; В) (ω — фиксировано) и утверждения Ь) теоремы 2 следует,
что ^ является монотонным классом, и поскольку siQ<ifC^(R)y то из
теоремы 1 § 2
SS(R) = a(s/) С σ(Ψ) = μ(Ψ) = <#С <ВД,
откуда if = ^(/?). D
С помощью несложных топологических рассмотрений утверждение
теоремы 4 о существовании регулярного условного распределения можно
распространить на случайные элементы со значениями в так называемых
борелевских пространствах. Дадим соответствующее
Определение 9. Измеримое пространство (£, S) называется боре-
левским пространством, если оно борелевски эквивалентно некоторому
борелевскому подмножеству числовой прямой, т. е. существует взаимно
однозначное отображение φ=^φ{β): (£, <?)—► (/?, $&(R)) такое, что:
1) φ(Ε) = {φ(β): ее Ε} есть некоторое множество из BS(R)\
2) φ — ^-измеримо (<p-l(A)e£, A €<p(E)C\B&(R))\
3) φ"ι - ^(/?)/<?-измеримо (φ(Β) £ φ(Ε) Π 3S(R), В £ S).
Теорема 5. Пусть X =Χ(ω) — случайный элемент со значениями
в борелевском пространстве (£, <?). Тогда существует регулярное
условное распределение X относительно σ-алгебры &С&.
Доказательство. Пусть <р = <р(е) — функция из определения 9. В
силу 2) из этого определения φ(Χ(ω)) является случайной величиной.
Поэтому по теореме 4 определено условное распределение Q(u>; А) случайной
величины φ(Χ(ω)) относительно £?, А £<^(£) Π SS(R).

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
285
Введем функцию Q(u;; В) = Q(u>; φ(Β)), β £<?. В силу 3) определения 9
φ(Β)€φ(Ε)Γ\Β8(Ρ) и, следовательно, Q(u;; В) определено. Понятно, что при
каждом ω <?(ur, В) является мерой по В £ S. Зафиксируем теперь В £ S.
В силу взаимной однозначности отображения φ = φ(β)
Q(u>; В) = Q(u>; φ(Β)) = Ρ(φ(Χ) G φ{Β)\9)(ω) = Ρ (Χ G Β |Sf)H (π. Η.).
Таким образом, Q(u;; В) является регулярным условным
распределением X относительно if. D
Следствие. Пусть Χ=Χ(ω) — случайный элемент со
значениями β полном сепарабельном метрическом пространстве (£, £).
Тогда существует регулярное условное распределение X
относительно &. В частности, такое распределение существует в случае
пространств (/?", 3§{Rn)\ (Λ00, a{R°°)).
Доказательство следует из теоремы 5 и известного результата из
топологии о том, что такие пространства являются борелевскими.
8. Развитая выше теория условных математических ожиданий
позволяет дать обобщение теоремы Байеса, находящей применения в статистике.
Напомним, что если & = {А\,..., Ап} — некоторое разбиение
пространства Ω с Р(Л/) >0, то теорема Байеса (9) § 3 гл. I утверждает, что для
всякого В с Р(В)>0
Ρ(Λ,|β)= /Ηι)Ρ(ΒΜι) . (25)
Σ Р(А,)Р(В\А,)
л
Поэтому, если Θ=Σ α^Αι —дискретная случайная величина, то, согласно
ί=1
формуле (10) из § 8 гл. I,
Σ 8(οι)Ρ(Λύ.Ρ(Β\Α,)
Β[8(θ)\Β} = ΐ^-η , (2б)
Σ Ρ(Α,)Ρ(Β\Α,)
или
f g(a)P(B\0 = a)Pe(da)
E[gW|B] = ^s , (27)
$ Ρ(Β\θ = α)Ρθ(άα)
—οο
глеРв(А) = Р{веА}.
Основываясь на приведенном в этом параграфе определении E[g(0)|B],
нетрудно установить, что формула (27) остается справедливой для любого

286 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
события В с Р(В)>0, случайных величин θ = θ(ω) и функций g = g(a) с
E|g(0)|<oo.
Рассмотрим теперь аналог формулы (27) для условных математических
ожиданий E[g(0)|i?j относительно некоторой σ-алгебры &у&С&.
Пусть
О(В) = $ g(0(u)) Р(<М, В е&. (28)
в
Тогда в силу (4)
Е[£(0)|#]И = ^М. (29)
Наряду с σ-алгеброй ί? рассмотрим σ-алгебру %. Тогда, согласно (5),
P(B) = $P(B|%)dP, (30)
Ω
или, по формуле замены переменных под знаком интеграла Лебега,
Р(В)= $ Ρ(Β\θ = α)Ρθ(άα). (31)
—оо
Поскольку
Q(B) = E[g(e)IB] = E[g(e)E(IB\&e)l
то
0(β) = I g(a)P(B\e = a)Pe(da). (32)
— ОО
Предположим теперь, что условные вероятности Ρ(Β\θ = α) являются
регулярными и допускают представление
Ρ(β|0 = α) = $ ρ(ω\ α)Χ(άω), (33)
в
где ρ=ρ(ω\ а) — неотрицательная измеримая по паре переменных функция,
а А —некоторая σ-конечная мера на (Ω, £?).
Пусть E|g(0)|<oo. Покажем, что (Р-п.н.)
оо
§ g(a) ρ(ω; α) Ρθ(άα)
E[g(0)|#]M = ^ (34)
$ ρ(ω;α)Ρθ(άα)
— оо
(обобщенная теорема Байеса).
Для доказательства (34) нам понадобится следующая лемма.

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
287
Лемма. Пусть (Ω, &) — некоторое измеримое пространство.
a) Пусть μ и λ — σ-конечные меры, μ < λ ы / = /(ω) — &-измеримая
функция. Тогда
$/dM=$/^dA (35)
Ω Ω
(β том смысле, что если существует один из интегралов, то
существует и второй, и они совпадают).
b) Если v — мера со знаком и μ, λ — σ-конечные меры, ^<μ, μ<λ,
то
dv dv άμ {Χ ч /ОСЧ
rfA = ^rfA (A-"H·) (36)
и
dv dv Ι άμ . ч /07ч
Τμ = Τχ/Τχ ^"•"·)· <37>
Доказательство, а) Поскольку
M^) = $(^)dA, Ле^
то (35) очевидным образом выполнено для всякой простой функции
/ = ]ζ /,7д. Общий случай следует из представления / = /+ — /" и теоремы
о монотонной сходимости (ср. с доказательством (39) в § 6).
Ь) Из утверждения а) с / = -г- находим
Тогда ι/<λ и, значит,
d\
А
откуда в силу произвольности множества А и свойства I (§ 6) следует (36).
Свойство (37) вытекает из (36) и того замечания, что
(на множестве <ω: -ρ- = 0l· правую часть в (37) можно определить
произвольно, например, положить равной нулю). D

288 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Для доказательства (34) заметим, что в силу теоремы Фубини и
предположения (33)
Q(fi) = $
В
Ρ(β) = $
5 g{a)p(w\a)Pe(da)
— ОО
ОО
А(<М.
$ ρ(ω; α) Ρθ(άα)
\{άω).
(38)
(39)
Тогда в силу леммы
dQ dQ/dX ,D .
dP^dP/Jx (ρ-π·Η)·
что с учетом (38), (39) и (29) дает формулу (34).
Замечание. Формула (34) остается справедливой, если вместо
случайной величины θ рассмотреть случайный элемент со значениями в некотором
измеримом пространстве (£, <?) (с заменой интеграла по R интегралом
по £).
Остановимся на некоторых частных случаях формулы (34).
Пусть σ-алгебра ί? порождается случайной величиной ξ, ί? = σ(ξ).
Предположим, что
Ρ(ξ£Α\θ = α) = \η(χ\α)\((Ιχ), Ae@(R)y
А
(40)
где q = q(x\ a) — некоторая неотрицательная измеримая по паре
переменных функция, а λ — некоторая σ-конечная мера на (/?, BS(R)). Тогда из
формулы замены переменных под знаком интеграла Лебега и (34) находим,
что
ОО
$ g(a)q(x;a)Pe(da)
Е[£(0Ж = *] = ^5 . (41)
$ q(x;a)Pe(da)
—ОО
Пусть, в частности, (θ, ξ) — пара дискретных случайных величин,
Θ = Σ щ!а,, ξ = Σ Xjhr Тогда, выбирая в качестве λ считающую меру
(λ({*,·}) = 1, i = l, 2, ...), из (40) получим
Έ Β(αί)Ρ(ξ = χί\θ = αί)Ρ{θ = αί}
(42)
(Ср. с (26).)

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
289
Пусть теперь (0, ξ) — пара абсолютно непрерывных величин с
плотностью /0,£(а* *)· Тогда в силу (19) представление (40) выполнено с q(x\ α) =
= /£|0(*Ια) и меР0Й Лебега λ. Поэтому
оо
§ g(a)f^e(x\a)fe(a)da
Ε[^)|ξ = χ] = ^ . (43)
$ ίξ\θ{χ\ά)ίθ(α)άα
—оо
9. Приведем еще одну версию обобщенной теоремы Байеса (см. (34)),
формулировка которой (даваемая ниже) особенно удобна в вопросах,
связанных с заменой вероятностных мер.
Теорема 6. Пусть Ρ и Ρ — две вероятностные меры на
измеримом пространстве (Ω, &), мера Ρ абсолютно непрерывна по мере Ρ
(обозначение: Р<Р) и -Тр —производная Радона—Ηикодима меры
Ρ по мере Р. ПустьУ — под-а-алгебра & (У С&) и E(-|Sf) и E(-|Sf) —
условные математические ожидания относительно У по мерам Ρ
и Ρ соответственно. Пусть ξ — неотрицательная (^-измеримая)
случайная величина. Тогда имеет место следующая «формула
пересчета в условных математических ожиданиях»:
.dP\
ЕМеМ
Е«|У)= .Г (Р-п.н.). (44)
eGpW
Формула (44) справедлива и для всякой случайной величины ξ, для
которой условное математическое ожидание Ε(ξ|ί?) определено.
Доказательство. Прежде всего, заметим, что Ρ-мера (а также и
Ρ-мера) события <ω: Εί-jrj Sf)=0} равна нулю. Действительно, если
множество А е У, то
А А А
и, значит, множество А = jo;: ^(js \У) =θ} имеет Р-меру нуль.
Пусть ξ^Ο. По определению условного математического ожидания,
Ε(ξ|ί?) — это есть такая ίί-измеримая случайная величина, что для
всякого А е&
£[ΙΑΕ(ξ\&)] = Ε[ΙΑξ]. (45)

290 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Поэтому для доказательства формулы (44) надо лишь убедиться в том, что
(ίί-измеримая) случайная величина, стоящая в правой части (44),
удовлетворяет следующему равенству:
1
*(£!*)
(<$№'
= Ε[/„ί].
(46)
Пользуясь свойствами условных математических ожиданий и
формулой (39) из § 6, находим:
1
'(£!»)
(«SI»)
ι
= Е
*(ΪΙ*)
^dpr) dp
-*M$\*)]-*№]-*v<a
что и доказывает формулу (45) для неотрицательных величин ξ. Переход
к общему случаю аналогичен доказательству утверждения (39) в § 6 для
произвольных интегрируемых случайных величин ξ. D
10. Приведенная выше обобщенная теорема Байеса (формулы (34),
(41) и (43)), являющаяся одним из основных средств при «байесовском
подходе» в математической статистике, дает ответ на вопрос о том, как
перераспределяется наше знание о распределении случайной величины θ
в зависимости от результатов наблюдений над статистически с ней
связанной случайной величиной ξ.
Ниже будет рассматриваться еще одно применение понятия условного
математического ожидания в задачах оценивания неизвестного
параметра θ по результатам наблюдений. (Подчеркнем, что, в отличие от
рассмотренного выше случая, где θ — случайная величина, сейчас θ
будет просто некоторым параметром из a priori данного параметрического
множества θ (ср. с § 7 гл. I).
В сущности, речь будет идти об одном важном понятии в
математической статистике —понятии достаточной под-о-алгебры (говорят также:
о-подалгебры).
Пусть (Ω, JP) — некоторое измеримое пространство, на котором задано
семейство &> = {ΡΘ, θ£θ} вероятностных мер Р^, зависящих от
параметра 0, принадлежащего параметрическому множеству Θ. Часто говорят
(ср. с § 7 гл. I), что набор <? = (Ω, <^\ (?) задает вероятностно-ста-

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
291
мистическую модель (или вероятностно-статистический
эксперимент).
Для пояснения приводимого ниже определения 10 предположим, что
у нас имеется некотороая ^"-измеримая функция (статистика) от исходов ω
и #=σ(Τ(ω)) — σ-алгебра, порожденная этой функцией Τ = Τ(ω). Ясно, что
# С & и, вообще говоря, в & могут входить события, и не принадлежащие
<S (т. е. & «богаче», нежели if). Но вполне может оказаться, что с точки
зрения определения того, какой «действует» параметр 0, никакой больше
«информации», кроме знания Τ = Τ(ω), и не надо иметь. В этом смысле
статистику Τ естественно было бы назвать достаточной.
Замечание 1. В случае Τ(ω)=ω, τ. е. когда известными становятся
сами исходы (а не функции от них), можно выделить следующие два крайних
случая.
Один —когда все вероятности Ρ в совпадают при всех 0£θ. Понятно,
что в этом случае никакой исхода; нам информации о значениях параметра
0 не даст.
Другой случай — это когда носители всех мер Р#, 0 G θ, «сидят» на
разных подмножествах & (т. е. для любых двух параметров θ\ и 02 меры
Ρθ] и Ρθ2 являются сингулярными: существуют два множества
(носителя) Ω*, и Ωθ2 такие, что Ρθι (Ω \ Ω*,) = 0, Ρθ2 (Ω \ Ω*2) = 0 и Ω*, ΠΩθ2 = 0).
В этом случае по полученному исходу ω значение 0 восстанавливается
«однозначно».
Оба эти случая мало интересны. Интерес же представляют случаи,
когда, скажем, все меры Ρ θ являются эквивалентными (и тогда их носители
не различаются).
Будем сейчас трактовать σ-алгебру if = σ(Τ(ω)) и, более общим
образом, любую под-а-алгебру if C& как «информацию», получаемую в
результате эксперимента, исходами которого являются ω £ Ω.
Имея такую информацию if, естественно поинтересоваться (как и
в случае формулы Байеса), во что перейдут вероятности Ря, т. е. каковы
соответствующие условные вероятности Ρβ(-\&)(ω). При этом (по
аналогии с первым случаем из замечания) понятно, что если все эти
вероятности при всех ω не зависят от 0, то обращение ко всякой «большей
информации» #Э if ничего нового о параметре 0 (по сравнению с тем, что
можно получить, основываясь на «информации» if) не даст.
В этом смысле, «информацию» if можно назвать исчерпывающей или,
как обычно принято говорить, достаточной.
Следующее определение формализует эти рассуждения.
Определение 10. Пусть (Ω, «^, ί?) — вероятностно-статистическая
модель, &> = {ΡΘ, 0£θ} и if есть под-а-алгебра β' (&С&). Говорят, что
под-а-алгебра if является достаточной для семейства ^\ если суще-

292 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
ствуют версии условных вероятностей Pq(-\&)(uj), 0£θ, ω£Ω, которые
не зависят от значений 0, т. е. существует такая функция Р(А\ ω), Ае&,
ω £ Ω, что для всех А £ & и 0 € θ
Ρθ(Α\&)(ω) = Ρ(Α;ω) (Ρ,-π. н.), (47)
т. е. Р(А\ ω) есть версия Ρθ(Α \&)(ω) при всех θ6 θ.
Если if = σ(7,(α;))ί то статистика Τ = Τ(ω) называется достаточной
статистикой для семейства ^.
Замечание 2. Интерес к отысканию в статистических исследованиях
достаточных статистик обусловлен стремлением находить такие
функции Τ = Τ(ω) от исходов ω, которые редуцируют данные с сохранением
информации (о значениях параметра 0). Например, представим себе, что
o; = (jci, JC2, ..., хп), где Х[ eR и η очень велико. Тогда построение
«хороших» оценок параметра 0 (как, скажем, в § 7 гл. I) может оказаться
весьма трудной задачей по причине высокой размерности имеющихся данных
jci, *2, ...» хп- Однако вполне может случиться (и это мы наблюдали в § 7
гл. I), что для построения «хороших» оценок вполне достаточно знания
не индивидуальных значений х\, х%, ..., хп, а лишь значения суммарной
статистики Да;) = Х\ + х^ +... + хп-
Понятно, что такая статистика действительно приводит к существенной
редукции данных (и вычислительной работы), будучи в то же самое время
достаточной для построения «хороших» оценок параметра 0.
Приводимая ниже факторизационная теорема дает условия,
обеспечивающие достаточность σ-алгебры ί? для семейства &.
Теорема 7. Пусть & = {Ря, 0 е Θ} — доминируемое семейство, т. е.
существует такая σ-конечная мера λ на (Ω, «^), что меры Ρ θ
абсолютно непрерывны относительно λ (Ρ θ < λ) при всех θ е Θ.
Пусть gQX)(u>) = -jjT M — производная Радона—Никодима меры
Ρ θ относительно меры λ.
Для того чтобы под-а-алгебра У была достаточной для
семейства &, необходимо и достаточно, чтобы функции ggX\u)
допускали факторизацию: нашлись такие неотрицательные
функции gg \ω) и Η(ω), что g# \ω) — ^-измеримы, Η(ω) — ^-измерима и
для всех θ е θ
giX)(") = g(eX\")h(u;) (\-п.н.). (48)
Если в качестве меры λ может быть взята мера Р^0, где 0о —
некоторый параметр из Θ, то для достаточности σ-алгебры S?
необходимо и достаточно, чтобы сама производная g$0\u) = -7p^-
была ^-измеримой.

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
293
Доказательство, Достаточность. По предположению
доминирующая мера λ является σ-конечной. Это означает, что найдутся такие
^"-измеримые непересекающиеся множества Ω^, k^ 1, что Ω= ]Γ fik и
0<λ(Ω*)<οο, k^l.
Образуем меру
1 λ(Ω*η·)
λ() = Σ
k>\
2k 1+λ(Ω*)*
Эта мера конечна, λ(Ω)<οο, и λ(Ω)>0. Без ограничения общности ее
можно считать вероятностной, λ(Ω) = 1.
Тогда из формулы (44) пересчета условных математических ожиданий
находим, что для всякой «^"-измеримой ограниченной случайной
величины X = Χ(ω)
dPt
^SM
ΕΘ(Χ№= \ΑΧ' ' (Рв-п.н.). (49)
Согласно формуле (48),
σ(λ)_dPl_dPe d\_ (A)d\ _ .(Χ). dX „
δθ ~ d\ ~Ж d\-g<> d\-ge hd\- (50)
Поэтому формула (49) принимает такой вид:
d\\
E*(*^*SM
Ев(Х\У)= \ _ J**' ' (Рв-п.н.). (51)
Ε
»(tf*»nl»)
Ho g{0 ' —^-измеримы и
E*(X|Sf) = , j\, ч (Рв-п.н.). (52)
Ε
»(*лМ
Правая часть здесь не зависит от 0, и, следовательно, имеет место
свойство (47). Тем самым, согласно определению 10, σ-алгебра <& является
достаточной.
Необходимость будет доказываться лишь при дополнительном
предположении, что семейство & = {Ря, θ £ θ} не только доминируется
некоторой σ-конечной мерой λ, но также существует некоторое во из θ такое, что
все меры Р^<Р^0» т.е. при любом 0£θ мера Ра абсолютно непрерывна

294 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
относительно меры Р^0. (В общем случае доказательство становится более
сложным; см. теорему 34.6 в [106].)
Итак, пусть £? — достаточная σ-алгебра, т. е. выполнено свойство (47).
Покажем, что в предположении Ρ θ < Ρ^0ί θ € θ, производная g^o) = -7=^-
является if-измеримой функцией при каждом θ € θ.
Пусть А £ &. Тогда для любого θ £ θ, пользуясь свойствами условных
математических ожиданий, находим, что (с £д*о) =-тб-^ )
Р9{А) = Ев/А = ЕвЕвЦл |Sf) = ΕΘΕΘο(ΙΑ \<S) = Ee0[gfo)Ee0(IA |6Г)1 =
= Ee0Ee0(g™Ee0(IA\#)\#) = Ee0(^
= Ee0Ee0(IAEe0(g™\&)\V) = EeJAEe0^
A
Следовательно, вариантом производной gfo) = -75-^- является &-изме-
00
ражая функция Eeo(gfo)\&).
Тем самым, в том случае, когда λ = Ρ^0, из достаточности σ-алгебры ί?
вытекает факторизационное свойство (48) с g^o) = gfo) и А = 1.
В общем же случае (опять же при дополнительном предположении
Р# < Pflo» # € ®) находим, что
(λ) ^dPe_^ d?± . *£&. = „(0о)^р0о
^0
^ dX ά?θη ' dX g° dX
Обозначая
*W>> - σ(βο) a - ^p0o
ft -ft » n-~dX'
получаем требуемое факторизационное представление (48). D
Замечание 3. Полезно подчеркнуть, что для всякого семейства ^ =
= {Р0, θβθ} заведомо существует (и без всяких предположений типа
доминируемое™) достаточная σ-алгебра. В качестве таковой можно взять
самую «богатую» σ-алгебру &.
Действительно, в этом случае Eq(X\&) = X (Р^-п. η.) для всякой
интегрируемой случайной величины X и, следовательно, свойство (47) будет
выполнено.
Понятно, что такая достаточная σ-алгебра не представляет
большого интереса, поскольку в этом случае не происходит никакой «редукции
данных». Реальный интерес представляет отыскание минимальной
достаточной σ-алгебры S?min, т. е. σ-алгебры, являющейся пересечением всех

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
295
достаточных под-а-алгебр (ср. с доказательством леммы 1 в § 2, из
которого следует, что минимальная σ-алгебра существует). Но, к сожалению,
явные построения таких σ-алгебр, как правило, довольно-таки непросты
(см., впрочем, §§ 13—15 гл. 2 в [107]).
Замечание 4. Предположим, что ^ = {ΡΘ, ве Θ} — доминируемое
семейство (Ρθ < λ, θ G θ, λ есть σ-конечная мера) и плотность g{eX) = -jr^ (α;)
ил
представляется для всех θ £ θ в виде
giX4*) = G?\T{u>))h(u>) (λ-π. н.), (53)
где Τ = Τ(ω) — некоторая функция (случайный элемент; см. § 5),
принимающая значения в множестве Ε (с выделенной на нем σ-алгеброй &)
и являющаяся ^"/^-измеримой. Функции GgX\t), /££, и Α(α;), ω eft,
предполагаются неотрицательными и S- и «^"-измеримыми соответственно.
Из сопоставления (48) и (53) видим, что σ-алгебра ί? = σ(Τ(ω))
является достаточной, а сама функция Τ = Да;) является достаточной статистикой
(в смысле определения 10).
Заметим, что в доминируемых случаях обычно именно выполнение фак-
торизационного представления (53) принимают как определение
достаточности статистики Τ = Τ(ω), входящей в (53).
Пример 5 (экспоненциальное семейство). Предположим, что
Ω = /?Λ, & = Se(Rn) и мера Ρ θ образована следующим образом: если
ω = (χ\, ...,*„), то
P9(d«>) = Po(dxi)...P$(dxn)9 (54)
где мера Pe(dx), χ £ /?, имеет следующую структуру:
Ρθ(άχ) = α(θ) ββ{θ)8{χ)η(χ) \(dx). (55)
Здесь s=s(x) — некоторая ^-измеримая функция и α(0), /?(0), η(χ), X(dx)
имеют очевидный смысл. (Семейство мер Pa, 0£θ, является простейшим
примером так называемых экспоненциальных семейств.) Из (54) и (55)
находим, что
Ρθ(άω) = ап (0)em[s{x^'^s(Xn)h(x\) · · · 7(*л) dxx... dxn. (56)
Сопоставляя (56) с (53), видим, что статистика Γ(ο;) = 5(χι) + ... + 5(α:λ),
ω = (л:ь ..., хл), является (в рассматриваемом случае экспоненциального
семейства) достаточной статистикой.
Если дляа; = (хь ..., хп) обозначить Х\(ω) =Χ\,..., Χη(ω)=χη, то
можно сказать, что структура мер Рд (образованных по принципу прямого
произведения мер) такова, что относительно них ΛΊ, ..., Хп является
последовательностью независимых одинаково распределенных случайных
величин.

296 ГЛ. И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Таким образом, статистика Τ(ω) = s(X\ (ω)) +... + s(Xn(ω)) будет
достаточной статистикой, построенной по последовательности Χ\(ω), ..., Χ„(α;).
(В задаче 20 предлагается установить, является ли эта статистика
минимальной достаточной статистикой.)
Пример 6. Пусть П = /?л, & = BS(Rn), параметр ί>0 и дня ы =
= (*!, ..., хп) плотность (по мере Лебега λ)
dPe,^ [θ~η, если O<Jt/<0,/ = 1, ...,/г,
"Α 10 в других случаях.
Если
Τ(ω)= max jc/,
AM
"1°
если все Jt/ ^ 0, / = 1, ..., /ζ,
в других случаях,
G(»(0= *". если 0^0,
1 п в других случаях,
то находим, что
^(ω) = 0(θΧ)(Τ(ω)Μω). (57)
Тем самым, статистика Πα;) = max x-t является достаточной.
11. Предположим, что θ есть некоторое подмножество на числовой
прямой и <? = (Ω, <^\ ^ = {Р0, 0 G Θ}) — вероятностно-статистическая
модель. Рассматриваемый сейчас вопрос состоит в построении «хороших»
оценок параметра Θ.
Под оценкой будем понимать любую случайную величину θ = θ(ω) (ср.
с § 7 в гл. I).
Приводимая ниже теорема показывает, как понятие достаточной σ-ал-
гебры позволяет улучшить «качество» оценки, измеряемое ее среднеквад-
ратическим отклонением от истинного значения параметра Θ. Более точно,
будем говорить, что оценка θ параметра θ является несмещенной, если
Έ.θ\θ\ < оо и Ев θ = θ для всех θ £ θ (ср. со свойством (2) в § 7 гл. I).
Теорема 8 (Рао и Блэкуэлл). Пусть <S является достаточной
σ-алгеброй для семейства & и θ = θ(ω) — некоторая оценка.
а) Если θ является несмещенной оценкой, то оценка
r = E,(0|Sf) (58)
также будет несмещенной.

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
297
Ь) Оценка Τ «лучше» оценки θ в том смысле, что
ΕΘ(Τ-Θ)2^ΕΘ(Θ-Θ)2, θεθ. (59)
Доказательство. Свойство а) следует из того, что
ΕΘΤ = ΕΘΕΘ(Θ\&) = ΕΘΘ = Θ.
Для доказательства же Ь) надо лишь заметить, что, согласно
неравенству Иенсена (см. задачу 5, в которой надо взять g(x) = (χ - θ)2),
(Εθφ\<&)-θ)2^Εθ[φ-θ)2\#\.
Беря в обеих частях математическое ожидание Е^(·), приходим к
требуемому неравенству (59). □
12. Задачи.
1. Пусть ξ и η — независимые одинаково распределенные случайные
величины и Εξ определено. Показать, что
Ε(ξ\ξ + η) = Ε(η\ξ + η) = ϊψ (п. Η.).
2. Пусть ξι, &> ··· —независимые одинаково распределенные
случайные величины с Ε|ξ/| <οο. Показать, что
E(6|S/I,S/I+1,...) = |L (п.н.),
I*eS„=£i+...+£„.
3. Предположим, что случайные элементы (Χ, Υ) таковы, что
существует регулярное распределение PX(B) = P(Y eB \Х = х). Показать, что если
Е1#№ У)|<оо, тоЯ^-п.н.
E[g(X, Y)\X=x] = \g(x,y)Px(dy)·
4. Пусть ξ — случайная величина с функцией распределения /^(х).
Показать, что
IxdF^x)
(предполагается, что F^(b) — F^(a) > 0).
5. Пусть g = g(x) — выпуклая книзу борелевская функция, Ε|§(ξ)| < оо.
Показать, что для условных математических ожиданий справедливо
(п. н.) неравенство Иенсена
gmm^mm.
6. Показать, что случайная величина ξ и σ-алгебра У независимы (т. е.
для любого BG& случайные величины ξ и /я(а>) независимы) тогда и

298 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
только тогда, когда E(g(£)|i?) = Eg(£) для каждой борелевской функции
g(x) такой, что E|g(£)| < сю.
7. Пусть ξ — неотрицательная случайная величина и S? — σ-алгебра,
<& С#. Показать, что Ε(ξ|ί?)<οο (π. н.) тогда и только тогда, когда
мера Q, определенная на множествах A G& равенством 0(Л) = § £dP, яв-
А
ляется σ-конечной.
8. Показать, что условные вероятности Р(А\В) «непрерывны» в том
смысле, что если lim Ап = А, lim Вп = В, Р(Вп) > О, Р\В) > 0, то
ИтР(Аа\Вп) = Р(А\В).
9. Пусть Ω = (0, 1), ^ = ^((0, 1)) и Ρ — мера Лебега. Пусть Χ(ω) и
Υ(ω) — две независимые случайные величины, равномерно распределенные
на (0, 1). Рассмотрим третью величину Ζ(ω) = \Χ(ω) — Υ(ω)\ — расстояние
между «точками» Χ(ω) и Υ(ω). Доказать, что распределение Fz(z) имеет
плотность fz(z) и /z(e) = 2(l -ζ), O^z^ 1. (Отсюда, конечно, следует,
4τοΕΖ = 1/3.)
10. На окружности радиуса R ({(jc, у): х2 + у2 ^/?2}) «случайным
образом» выбираются две точки А\ и Лг, т. е. эти точки выбираются
независимым образом с вероятностями для них (в полярных координатах,
А = (Р/,0/М = 1,2)
P(ft€dr,ft€d0) = ^^t / = 1,2.
Доказать, что расстояние ρ между точками А\ и А% имеет плотность
распределения fp(r) и
2г_
7Г#2
*«·» ш-ь/чй*]·
где 0 < г < 2R.
11. На единичном квадрате (с вершинами (0, 0), (0, 1), (1, 1), (1, 0))
«случайным образом» (поясните!) выбирается точка Ρ = (χ, у). Найти
вероятность того, что эта Ρ точка будет ближе к точке (1, 1), нежели к
точке (1/2, 1/2).
12. Два человека А и В договорились о встрече между 7 и 8 часами
вечера. Но оба забыли точное время встречи и приходят между 7 и 8 часами
«случайным образом» и ждут не более 10 минут. Показать, что вероятность
их встречи равна 11/36.
13. Пусть Х\, Х2> ... — последовательность независимых случайных ве-
п
личин, Sn = 53 Χι- Показать, что S\ и S3 условно независимы относительно
σ-алгебры a(S2), порожденной величиной S2.

§7. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ 299
14. Будем говорить, что σ-алгебры S?i и % условно независимы
относительно σ-алгебры #з» если
РИ,Л2|%) = Р(Л1|%)РИ2|%) для всех Де^·,/ = 1,2.
Показать, что условная независимость <&\ и % относительно %
равносильна выполнению (Р-п. н.) любого из следующих условий:
(a) P(i4i|a(SfeU%)) = P(i4i|%) для всех >4ι€δίι;
(b) Р(В|а(£?2и£?з)) = Р(Я|#з) для любого множества В из системы
подмножеств ^Ί, образующих π-систему такую, что ί?ι =σ(^ι);
(c) P(BiB2\a(&2U&z)) = P(B\\&3)P(B2\&z) Для любых множеств Й!
и Β<ι из π-систем ^ι и ^ соответственно таких, что &χ=σ(&>\) и
% = σ(^2);
(d) Ε(X |а(#2и#3)) = Е(Х |%) Для любой а(#2и#3)-измеримой
случайной величины X с определенным (см. определение 2 в § 6) математическим
ожиданием EX.
15. Доказать следующую расширенную версию леммы Фату для
условных математических ожиданий (ср. с (d) в теореме 2).
Пусть (Ω, с^\ Р) — вероятностное пространство и (ξη)η^\
—последовательность случайных величин таких, что определены математические
ожидания Εξ„, η ^ 1, и Ε lim ξη (которые могут принимать и значения ±оо; см.
определение 2 в § 6).
Предположим, что ί? есть под-а-алгебра событий из & и
supE(C/(e.^a)|Sf)-*0 (Р-п.н.), α-^οο.
Тогда
EiM&I^KiimEi&lif) (Р-п.н.).
16. Пусть, как и в предыдущей задаче, (ξΛ),ι^ι —последовательность
случайных величин, для которых определены математические ожидания
Е£л, η ^ 1, и ί? — под-а-алгебра событий из & такая, что
sup lim Ε(|&|/(|6,|^*)|δί) = <> (Р-п.н.). (60)
п й-юо
Тогда если ξη —>ξ (Р-п. н.) и Εξ определено, то
E(6,|Sf)-E«|Sf) (Р-п.н.).
17. Пусть в условиях предыдущей задачи вместо (60) выполнено
условие sup Ε(|ξΛ|α|ίί)<οο (Р-п.н.) для некоторого а> 1. Тогда
η
E(6,|Sf)-»E(i|Sf) (Р-п.н.)·

300 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
18. Пусть ξη —► ξ для некоторого ρ ^ 1. Показать, что тогда Ε(ξη \ if) —►
->E«|Sf).
19. (а) Пусть D(X\Y) = E[(X-E{X\Y))2\Y]. Показать, что DX =
= ED(X\Y) + DE(X\Y).
(b) Показать, что cov(X, Y) = cov(X, Е(У \Х)).
20. Выясните, является ли в примере 5 достаточная статистика Τ(ω) =
= s(X\(ω)) + ... + ε(Χη(ω)) минимальной.
21. Докажите справедливость факторизационного представления (57).
22. В примере 2 п. 10 покажите, что Е^(Х/|7) = ——7\ где Χι(ω) = Χί
для ω = (χ\, ..., хп)у / = 1, ..., /г.
§ 8. Случайные величины. II
1. В первой главе были введены такие характеристики простых
случайных величин, как дисперсия, ковариация и коэффициент корреляции.
Соответствующим образом эти понятия вводятся и в общем случае. А именно,
пусть (Ω, с^\ Р) — вероятностное пространство и ξ = ξ(ω) — случайная
величина, для которой определено математическое ожидание Εξ.
Дисперсией случайной величины ξ называется величина
щ=Е(£-Еа2.
Величина а = +д/5| называется стандартным отклонением ξ.
Если ξ — случайная величина с гауссовской (нормальной) плотностью
их) = -Л=-е-{х-т)2/2<7\ σ>0, -oo<m<oo, (l)
λ/2πσ
то смысл параметров т и σ, входящих в (1), оказывается очень простым:
m = Eξ, σ2 = Όξ.
Таким образом, распределение вероятностей этой случайной
величины ξ, называемой гауссовской, или нормально распределенной,
полностью определяется ее средним значением т и дисперсией σ2. (В этой связи
понятна часто используемая для этого запись: £~«Ж(т, σ2).)
Пусть теперь (ξ, η) — пара случайных величин. Их ковариацией
называется величина
Οθν(ξ,η) = Ε(ξ-Εξ)(η-Εη) (2)
(предполагается, что математические ожидания определены).
Если COv(£, η) = 0, то говорят, что случайные величины ξ и η не кор-
релированы.

§8. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II
301
Если 0 < Όξ < оо, 0 < Όη < оо, то величина
называется коэффициентом корреляции случайных величин ξ и η.
Свойства дисперсии, ковариации и коэффициента корреляции для
простых случайных величин были изложены в § 4 гл. I. В общем случае эти
свойства формулируются совершенно аналогичным образом.
Пусть ξ = (ξι,..., ξη) — случайный вектор, компоненты которого имеют
конечный второй момент. Назовем матрицей ковариации
(ковариационной матрицей) вектора ξ матрицу (порядка пхп} R = ||/?,-y||, где
/fy;=cov(&, ξι). Ясно, что матрица R является симметрической. Кроме
того, она неотрицательно определена, т. е.
Σ
/.у—1
Λί/Αί А/ > 0
для любых λ< £ /?, / = 1, ..., я, поскольку
-/=1
ζ
^0
Следующая лемма показывает, что справедлив и обратный результат.
Лемма. Для того чтобы матрица R порядка пхп была
ковариационной матрицей некоторого вектора ξ = (ξι, ···» £л), необходимо и
достаточно, чтобы эта матрица была симметрической и
неотрицательно определенной или, что эквивалентно, существовала бы
матрица А (порядка п χ k, X^k^ri) такая, что
R = AA*,
где * — символ транспонирования.
Доказательство. Как показано выше, всякая ковариационная
матрица является симметрической и неотрицательно определенной.
Обратно, пусть R —такая матрица. Из теории матриц известно, что для
всякой симметрической неотрицательно определенной матрицы R можно
найти такую ортогональную матрицу б (т. е. б б* = Ε — единичная
матрица), что
6*R6 = D,
где
\0 d„)
— диагональная матрица с неотрицательными элементами di, / = 1, ..., п.

302 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Отсюда следует, что
M = ^D*r = (^B)(B*0,
где В —диагональная матрица с элементами bt =+\fd^ / = 1, ..., я.
Поэтому, если положить А = 6В, то для матрицы R получим требуемое
представление Е = ЛЛ*.
Ясно, что всякая матрица АА* является симметрической и
неотрицательно определенной. Поэтому осталось лишь показать, что R является
ковариационной матрицей некоторого случайного вектора.
Пусть 77ι, Щ,..., ηη — последовательность независимых нормально
распределенных случайных величин, */Κ(0, 1). (Существование такой
последовательности вытекает, например, из следствия 1 к теореме 1 § 9 и, в
сущности, может быть легко выведено из теоремы 2 § 3.) Тогда случайный
вектор ξ — Αη (векторы рассматриваются как векторы-столбцы) обладает
требуемым свойством. Действительно,
Εξξ* = Ε(Αη)(Αη)· =Α · Εηη* - А* = АЕА* =АА*.
(Если С = НС/11 — матрица, элементами которой являются случайные
величины, то под Εζ понимается матрица ЦЕОуЦ.) D
Обратимся теперь к двумерной гауссовской (нормальной) плотности
г < ч ! ί ! Г(*-т,)2
Ы*' У) = 2,.,.2V^7 βΧΡί"20^) Η?
характеризуемой пятью параметрами т\, m<i, σι, σ2 и ρ (ср. с (14) § 3),
где \т\ | < оо, |тг| < оо, σ\ > 0, σ<ι > О, |р| < 1. (См. рис. 28 в § 3.) Простой
подсчет раскрывает смысл этих параметров:
rri2 = Ει;, σ| = Dry,
В § 4 гл. I было объяснено, что если величины ξ и η не корелированы
(ρ(ξ, ^) = 0), то отсюда еще не вытекает, что они независимы. Однако если
пара (ξ, η) — гауссовская, то из некоррелированности ξ и η следует, что
они независимы.
В самом деле, если в (4) ρ = 0, то

§8. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II
303
Но в силу (55) § 6 и (4)
Поэтому
Ы*>#) = /с(*)Ы#)>
откуда следует, что величины ξ и 77 независимы (см. конец п. 9 § 6).
2. Убедительной иллюстрацией полезности введенного выше в § 7
понятия условного математического ожидания является его применение
к решению следующей задачи, относящейся к теории оценивания (ср. с
п. 8 § 4 гл. I).
Пусть (ξ, η) — пара случайных величин, из которых ξ наблюдаема, а η
наблюдению не подлежит. Спрашивается, как по значениям наблюдений
над ξ «оценить» ненаблюдаемую компоненту η?
Чтобы сделать эту задачу более определенной, введем понятие оценки.
Пусть φ = φ(χ) — борелевская функция. Случайную величину φ(ξ) будем
называть оценкой η по ξ, а величину Ε[η — φ(ξ)]2 (среднеквадратиче-
ской) ошибкой этой оценки. Оценку φ* (ξ) назовем оптимальной (в сред-
неквадратическом смысле), если
Α = Ε[η-φ*(ξ))2 = \πίΕ[η-φ(ξ))\ (5)
где inf берется по классу всех борелевских функций φ = φ(χ).
Теорема 1. Пусть Ei72<oo. Тогда оптимальная оценка φ*=φ*(ξ)
существует и в качестве φ*(χ) может быть взята функция
φ*(χ) = Ε(η\ξ = χ). (6)
Доказательство. Без ограничения общности можно рассматривать
только те оценки φ(ξ), для которых Ε<^2(ξ) < оо. Тогда, если φ(ξ) — такая
оценка, а φ*(ξ) = Ε(η\ξ), то
Ε[^-^(0]2 = Ε[(ι7-^(ξ)) + (^(ξ)-^(0)]2 = Ε[ι7-^(ξ)]2 +
+ Ε[φ·(ξ) - φ(ξ))2 + 2E[(t| - φ*(ξ))(<Ρ*(0 - <p(Q)] > Efo- *>*(ξ)]2,
поскольку Е [<£*(£) — <ρ(ξ)]2^0 и по свойствам условных математических
ожиданий
Ε[(ΐ7-^(0)(^(0-^))] = Ε{Ε[(ΐ7-^(ξ))(^(ξ)-^(ξ))|ξ]} =
= Ε{(<ρ·(0 - ν>(0)Ε(4 - *>·«) |©> = 0. D

304 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Замечание 1. Из доказательства теоремы видно, что ее утверждение
справедливо и в том случае, когда ξ не случайная величина, а
произвольный случайный элемент со значениями в некотором измеримом
пространстве (£, £). Под оценками φ = φ(χ) тогда следует понимать
<?/^(/?)-измеримые функции.
Рассмотрим структуру функции φ*(χ) в предположении, что (ξ, η) —
гауссовская пара с плотностью, задаваемой формулой (4).
Из (1), (4) и (18) § 7 находим, что плотность fv^(y\x) условного
распределения вероятностей задается формулой
t / ι ч 1 ί (У-ЩХ)) \
(7)
где
σ2
т(х) = Ш2 + —р · (х - mi). (8)
<*\
Тогда из следствия к теореме 3 § 7
оо
Ε(η\ξ = χ)= ξ у^(у\х)ау = т(х) (9)
—оо
И
0(η\ξ = χ) = Ε[(η-Ε(η\ξ = χ))2\ξ = χ} =
= 1(y-m(x)Yfr)K(y\x)dy = al(\-pi). (10)
— ОО
Заметим, что условная дисперсия D(771^ = jc) не зависит от ху и, значит,
Δ = Ε[„-Ε(„|ξ = *)]2 = σ22(1-Λ (Π)
Формулы (9), (11) получены в предположении D£>0, Dr7> 0. Если же
D£>0, a D77 = 0, то они выполняются очевидным образом.
Итак, справедлив следующий результат (ср. с (16), (17) § 4 гл. I).
Теорема 2 (теорема о нормальной корреляции). Пусть (ξ, η) —
гауссовский вектор с Οξ > 0. Оптимальная оценка η по ξ есть
Ε(η\ξ) = Εη+^!^-(ξ-Εξ), (12)
а ее ошибка
A = E[v-E(v\Of = DV-™^. (13)
Замечание 2. Кривая у(х) = Е^\£ = х) называется кривой регрессии
η на ξ или η по отношению к ξ. В гауссовском случае Ε(η\ξ=χ) = α + ϋχ

§8. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II
305
и, следовательно, регрессия η на ξ является линейной. Поэтому нет ничего
удивительного в том, что правые части формул (12) и (13) совпадают с
соответствующими частями формул (16) и (17) § 4 гл. I для оптимальной
линейной оценки и ее ошибки.
Следствие. Пусть ε\ и в2 — независимые гауссовские случайные
величины с нулевым средним и единичной дисперсией и
ξ = α\ε\ +α2£2> V = b\€\ +62^2.
Тогда Εξ = Ε77 = 0, Οξ=α2{ + α|, Όη = ^-\-b\, ооЩу η) = a\b\ +α2&2 и если
α\ + α\>0, то
Е(„ю-2!£±£|^, (14)
A=(fllVt1>2· 05)
3. Рассмотрим вопросы отыскания функций распределения для
случайных величин, являющихся функциями от других случайных величин.
Пусть ξ —случайная величина с функцией распределения F^(x) (и
плотностью /ξ(χ), если таковая существует), φ=ζφ(χ) — некоторая борелевская
функция и η = φ(ξ). Обозначая 1У = (-оо, у], находим
Рг,(у) = РЬ^у} = РШе1у} = Р£е<р-1(1у)}= $ F^(dx)9 (16)
φ~χ (Iу)
что дает выражение для функции распределения Fv(y) через функцию
распределения F$(x) и функцию φ.
Так, если η = αξ + b, a > 0, то
wp{«*=±}-'«C=i). о»)
Если η = ξ2, то, очевидно, F^y) = 0 для у < 0, а для */ ^ 0
Ш = Р{?^у}=Р{-^у<^^у} =
=ЪШ-Ъ(-у/у) + р{*=-у/у}· <18)
Обратимся теперь к вопросу отыскания плотности fv(y).
Предположим, что область значений случайной величины ξ есть
(конечный или бесконечный) открытый интервал / = (а, 6), а функция φ = φ(χ),
определенная для jcg/, является непрерывно дифференцируемой и либо
строго возрастающей, либо строго убывающей. Будем предполагать также,
что φ'(χ)φύ, χ el.

306 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Обозначим h(y) = φ {(у) и предположим для определенности, что φ(χ)
строго возрастает. Тогда для у Ε {φ(χ): χ £ /}
Fv(y) = Ρ{η <У) = Ρ{φ(ξ) <у} = Ρ{ξ < ¥>"' (ί/)} =
h(y)
= Р«<А(У)}= 5 U(*)dx. (19)
—oo
Согласно задаче 15 из § 6,
Ну) у
J fc(x)dx= $ U(h(z))h\z)dz (20)
— oo —oo
и, значит,
Ш = кШ)Ь'(у). (21)
Аналогично, если функция <^(jc) является строго убывающей, то
Ш = кШ){-ьШ
Таким образом, в обоих случаях
Ш)^кФ(УШ'(У)1 (22)
Например, если 17 = αξ +ft, α^0, то А(у) = ^- и М#)= θ/ξ(^-)·
Если £~сЖ(т, σ2), а η = βξ, το из (22) находим, что
Г ί ехрГ-'" (j//Ai)21 у>0
Ш={^ауеХП 2а* J' *>U' (23)
[θ, у<0,
где Λί = еш.
Распределение вероятностей с плотностью (23) называется
логарифмически нормальным.
Если функция φ = φ(χ) не является строго возрастающей или строго
убывающей, то формула (22) для η = φ(ξ) неприменима. Однако для многих
приложений вполне достаточно следующее ее обобщение.
η
Пусть функция φ=φ(χ) определена на множестве Σ [α*, bk], причем на
k=\
каждом открытом интервале Ik = (α*, bk) является непрерывно
дифференцируемой и либо строго возрастающей, либо строго убывающей, φ'(χ)^0
при χ € /*. Пусть hk = hk(y) — обратная функция к φ(χ), χ € Ik- Тогда имеет
место следующее обобщение формулы (22):
η
Ш=Σ №к(у)Ж(у)Шу), (24)
k=\
где Dk — область определения функции hk(y).

§8. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II
307
Так, например, если η = ξ2, то, беря 1\ = (-оо, 0), /2 = (0, оо), находим,
что h\(y) = -у/у, h2(y) = у/у, и, значит,
ш-№{иш+м~ш У>°' <25>
[о, <ко.
Заметим, что этот результат следует также из (18), поскольку Р{£=—у/у} =
= 0. В частности, если ξ~«^(0, 1), то
[-^=е-^, у>0,
fe(y)={V^y (26)
[0, у^О.
Несложный подсчет показывает также, что
;|ξ|(ί,)"\ο, ίκο, (27)
f /|Л_/2у(/€(У2) + /€(-У2)). </>0,
(28)
4. Обратимся теперь к функциям от многих случайных величин.
Если ξ и η — случайные величины с совместным распределением
Ρξ,η(χ* У)* а φ=φ(χ, у) — некоторая борелевская функция, то для ζ = φ(ξ, η)
сразу получаем, что
Fc(z)= J dFto{x,y). (29)
Например, если φ(χ, у) = jc+у, а ξ и 77 независимы (и, значит, /^ (jc, у) =
— F^(x)Fv(y))y то, применяя теорему Фубини, получим
Fc(z) = J d/^(x) ЙЗД) = J /{Х+Уы(х, У) dFfc) dF^y) =
= I d/7cw{ I /{*+^>(*^№Q/)U 1 />(*-*№(*) (30)
—oo ^—oo J —oo
и аналогично
^(*> = f Fi(z-y)dFr)(y). (31)
—oo
Если Ζ7 и G —две функции распределения, то функцию
Я(2)= J F(z-x)dG(x)
—оо
принято обозначать F*Gh называть сверткой F и G.

308 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Таким образом, функция распределения Fq суммы двух
независимых случайных величин ξ и η есть свертка их функций распределения
/Ч и /у
Ясно при этом, что F$ * F^ = Fn * F$.
Предположим теперь, что независимые случайные величины ξ и η
имеют плотности /ξ и fv. Тогда из (31), снова применяя теорему Фубини,
найдем, что
ед= S
z-y
§ k(u)du
fv(y)dy =
-J
I ft:(U-y)dU
Ш)ау= \
I f^-y)fr,(y)dy
du.
откуда
/C(2)= $ h(z-y)fn{y)dy.
(32)
и аналогично
Ш=$ fn(z-x)U(x)dX.
(33)
Рассмотрим несколько примеров на применение этих формул.
Пусть ξι, &» · · · » ζπ — последовательность независимых одинаково
распределенных случайных величин с равномерной на [—1, 1] плотностью
fix)
fl/2, M<1,
\о, м>1.
Тогда из (32) находим
/«,+&(*)=|0 4
М>2,
Г (з-И)2
/ξι+ξ2+&Μ = S
16
3-х2
1о,
, К|*|<3,
0<|jc|O,
М>з,

§8. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II
309
и вообще (по индукции)
ί ι Ж
/ft+^W = |*oT=T)i Σ <-D*Ci(«+*-2*)-'. W<«.
[о, \х\>п.
Пусть теперь ξ~^(/ηι, of), 7j~^(m2, σ|). Если обозначить
ТО
и из (32) получаем, что
f /~ч_ 1 ,Υ*-("*ι+"*2Λ
Γΐ + σ2 νσΐ+σ2
Таким образом, сумма двух независимых гауссовских случайных
величин снова есть гауссовская случайная величина со средним т\ Л-т^
и дисперсией σ\ + σ\.
Пусть ξι, ..., ξη — независимые случайные величины, каждая из
которых нормально распределена с нулевым средним и единичной дисперсией.
Тогда, используя (26), нетрудно (по индукции) найти, что
1 _х(п,2)-1е-х/2у χ>^
fe й(х)={2»'Щп/2) ' ' (34)
[0, дг^О.
Обычно величина ξ? + ...+ξ„ обозначается %;·, а ее распределение
(с плотностью (32)) называется "^-распределением (хи-квадрат
распределением) с η степенями свободы (ср. с табл. 3 в § 3).
Если обозначить Хл = +>/Хл> то из (28) и (34) следует, что
2^-1^/2
О 0,
(2хп-
2"/2
0,
/*.<*)={ 2"/2Г(п/2) ' **"' (35)
jc<0.
Распределение вероятностей с такой плотностью принято называть χ-pac-
пределением (хи-распределением) с η степенями свободы.

310 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Пусть снова ξ и η — независимые случайные величины с плотностями
/ξ и fv. Тогда
Шг) = $$ h{x)fr,(y)dxdy.
{х,у:х/у^г}
Отсюда нетрудно получить, что
Ы2)=1h ©ш w = 1/ч Ш/ξ w R (36)
и
Ы*)= I к(гу)Ш\У\(1У- (37)
Полагая в (37) ξ = ξ0 и η = γξι+"η+ξη, где ξ0, ξι, .... 6.-

независимые гауссовские случайные величины с нулевыми средними и дисперсиями
σ2 > 0, и используя (35), найдем, что
1
Γι
m
Величина ξο/\/ - (ξ? + · · · + ξ«) обычно обозначается через /, а ее
распределение называется t-распределением или распределением Спгьюденпга с
п степенями свободы (ср. с табл. 3 в § 3). Заметим, что это распределение
не зависит от σ.
5. Задачи.
1. Проверить справедливость формул (9), (10), (24), (27), (28),
(34)-(38).
2. Пусть ξι, ...,£я, п>2, — независимые одинаково распределенные
случайные величины с функцией распределения F(x) (и плотностью f(x),
если таковая существует) и£ = тах(£ь ···» ξ/ι), ξ = πιίη(ξι,..., ξ„), ρ = ξ-ξ.
Показать, что
F^X)-\(F{y)Y, y^x,
W{y)-F(x)]n-2f{*)f{y), У>х,
y^x,
( / ч in(n'

§8. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II
311
/>(*)
Ш'
η \[F(y)-F(y-x)]n-lf(y)dy, х>0,
— оо
О, х<0,
п(п-\) l[F(y)-F(y-x)]n-2[(y-x)f(y)dy, x>0,
— ОО
О, х<0.
3. Пусть ξ\ и ξ2 — независимые пуассоновские случайные величины с
параметрами λι и Аг соответственно. Показать, что ξι+& также имеет
пуассоновское распределение с параметром λι Н-Аг.
4. Пусть в (4) гп\ =т2 = 0. Показать, что
ίξ/η{ } 7Γ(σ*ζ*-2ρσισ2ζ + σ2ι)'
5. Величина ρ*(ξ, η) = sup р(м(£), ν(η)), где супремум берется по всем
utv
борелевским функциям и = и(х) и υ = υ(χ), для которых коэффициент
корреляции ρ(ί/(ξ), υ(η)) определен, называется максимальным
коэффициентом корреляции ξ и η. Показать, что случайные величины ξ и η
независимы тогда и только тогда, когда ρ*(ξ, η) = 0.
6. Пусть -η, Τ2, ..., τ* — независимые неотрицательные одинаково
распределенные случайные величины с экспоненциальной плотностью
распределения
f(t) = \e~xt, t^O.
Показать, что распределение случайной величины т\ +... + т* имеет
плотность
\ktk-le~xt
*^0,
*-1
Ρ(τϊ + ... + τ*>/)=Σ*
-λ/ (АО1'
/=0
где
7. Пусть £~сЖ(0, σ2). Показать, что для всякого ρ ^ 1

312 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
и Г(5)= \ e~xxs~l dx — гамма-функция Эйлера. В частности, для любого
о
целого η ^ 1
Εξ2η = (2η-1)\\σ2η.
8. Пусть ξ и η — независимые случайные величины такие, что
распределение ξ + η совпадают с распределением ζ. Доказать, что 77 = 0 п. н.
9. Пусть (Χ, Υ) имеют равномерное распределение на единичном круге
{(*, у): х2 + у2 ^ 1} и W = X2 + У2. Положим
u=*PW. v-rf
2\nW
W '
Показать, что X и Υ являются независимыми «Ж(0, ^-распределенными
случайными величинами.
10. Пусть U и V — независимые равномерно распределенные на (0, 1)
случайные величины. Определим
X = л/— In V cos(2nU), Y = V-ln V sin{2irU).
Показать, что X и Υ независимы и сЖ(0, 1)-распределены.
11. Привести пример гауссовских величин ξ и η, сумма которых ξ + η
имеет негауссовское распределение.
12. Пусть Х\, ..., Хп — независимые одинаково распределенные
случайные величины с плотностью распределения / = f(x). Пусть 1%п =
= max(Xi, ..., Хп) — т\п{Х\, ..., Хп) — «размах» выборки (Х\, ..., Хп).
Показать, что плотность f&n(x), jc>0, величины St,n задается формулой
/А(х) = л(я- 1) \ [F(y)-F(y-x)]n-2f(y)f(y-x)dx,
где F(y) = \ f(z) dz. В частности, для случайных величин Х\,..., Хп, име-
—оо
ющих равномерное распределение на [0, 1],
ι-\)χη~2(1-χ), 0<х<1,
{п(п
о.
'*W' '" к0илих>1.
13. Пусть F(x) — функция распределения. Показать, что для всякого
а > 0 следующие функции также являются функциями распределения:
I х+а . х+а
Gι(χ) = £ $ Ди)</и, G2(x) = ^ $ F(u)du.

§8. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. II
313
14. Пусть случайная величина X имеет экспоненциальное
распределение с параметром λ>0 {fx{x) = \e~Xx, χ^ϋ). Найти плотность
распределения (называемого распределением Вейбулла) случайной величины
γ=Χ*/«,α>0.
Пусть λ=1. Найти плотность распределения случайной величины
Υ = In X (соответствующее распределение называется двойным
экспоненциальным).
15. Пусть случайные величины X и У имеют совместную плотность
распределения /(*, у) вида /(*, у) = g(y/x2 + y2).
Найти совместную плотность распределения случайных величин р =
= v0r2 + y2H e = ig'l(Y/X). Показать, что ρ и θ независимы.
Пусть U = (cos а)Х + (sin α)Υ и V = (— sin α)Χ + (cos α)У. Показать,
что совместная плотность распределения величин U и V совпадает
с f(x, У)- (Это отражает факт инвариантности распределения величин
(Χ, Υ) относительно «вращения».)
16. Пусть Х\,..., Хп — независимые одинаково распределенные
случайные величины с функцией распределения F = F(x) и плотностью / = /(*).
Обозначим (ср. с задачей 12) Х^ — т\п(Х\9...9Хп) наименьшую из
величин ΛΊ, ..., ХПу X® — вторую наименьшую величину, и т. д., χ№ =
= тгх(Х\, ..., Хп) — наибольшую из величин Х\, ..., Хп (так определенные
величины Х(1\ ..., χ№ называют порядковыми статистиками величин
*ь ...,*«).
Показать, что: (а) плотность распределения вероятностей величины Х^
задается формулой
nf(x)Cknz\[F(x)]k-l[i-F(x)]"-k;
(b) совместная плотность /(jc1, ..., хп) величин Х^{\ ..., Х^ задается
формулой
fix''
*-{?*
x{)...f(xn), если jc1 <...<хп,
в других случаях.
17. Пусть ΛΊ, ..., Хп — независимые одинаково распределенные
случайные величины, сЖ(д, σ2). Величина
/=1 i=l
носит название выборочной дисперсии. Показать, что:
(a)ES2 = a2;
(b) выборочное среднее X и выборочная дисперсия S2 независимы;

314 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
(с) Χ~Λ({μ, σ2//ζ), a (/z- \)S2/a2 имеет распределение χ2 с (η- Ι)
степенью свободы.
18. Пусть Х\, ..., Хп — независимые одинаково распределенные
случайные величины, N — случайная величина, не зависящая от ΛΊ, ..., Хп
(Ν= 1, 2, ...), с E7V <оо, DyV<oo. Показать, что (Sn=X\ + ... + Xn)
DS^DX^N + iEXtfDN, *& = Щ + ЕХХ^.
19. Пусть M(t) = EetX — производящая функция случайной величины
X. Показать, что Р(Х ^ 0) ^ M(t) для всякого / > 0.
20. Пусть X, Х\,..., Хп — независимые одинаково распределенные слу-
п _ _
чайные величины, Sn = Σ X,·, So = 0, Mn = max S;, Af = sup S„. Показать,
что («ξ = i7» означает, что распределения ξ и η совпадают)
(а)УМ(Я,-1+*)+,01;
(b) если S„->oo (Р-п.н.), то Λί = (М+Х)+;
(c) если -оо < ЕХ < О и ЕХ2 < оо, то
С/' " -2ЕХ
21. В предположениях предыдущей задачи пусть Μ (ε) = sup(S„ — /ζε)
/ι^Ο
для ε > 0. Показать, что lim εΛΪ(ε) = (DA)/2.
εΙΟ
§ 9. Построение процесса с заданными
конечномерными распределениями
1. Пусть ξ = ξ(ω) — случайная величина, заданная на вероятностном
пространстве (Ω, &, Ρ) и
Ρξ(χ) = Ρ{ω:ξ(ω)ζχ}
— ее функция распределения. Понятно, что /^(лг) является функцией
распределения на числовой прямой в смысле определения 1 § 3.
Поставим сейчас следующий вопрос. Пусть F = F(x) — некоторая
функция распределения на R. Спрашивается, существует ли случайная
величина, имеющая функцию F(x) своей функцией распределения?
Одна из причин, оправдывающих эту постановку вопроса, состоит в
следующем. Многие утверждения теории вероятностей начинаются
словами: «Пусть ξ —случайная величина с функцией распределения F(x),

§9. ПОСТРОЕНИЕ ПРОЦЕССА
315
тогда...». Поэтому, чтобы утверждения подобного типа были
содержательными, надо иметь уверенность, что рассматриваемый объект
действительно существует. Поскольку для задания случайной величины нужно
прежде всего задать область ее определения (Ω, &), а для того, чтобы
говорить о ее распределении, надо иметь вероятностную меру Ρ на (Ω, &),
то правильная постановка вопроса о существовании случайной величины
с заданной функцией распределения F(x) такова:
Существуют ли вероятностное пространство (Ω, &, Р) и
случайная величина ξ = ξ(ω) на нем такие, что
Ρ{ω:ξ(ω)^χ} = Ρ(χ)?
Покажем, что ответ на этот вопрос положительный и, в сущности, он
содержится в теореме 1 § 3.
Действительно, положим
Ω = Λ, & = &(R).
Тогда из теоремы 1 § 3 следует, что на (/?, &8(R)) существует (и притом
единственная) вероятностная мера Р, для которой Р(а, b] = F(b)-F(a),
a<b.
Положим ξ(ω) = ω. Тогда
Ρ{ω: ξ(ω) *ζχ} = Ρ{ω: α;^χ} = Ρ(-οο, χ] =F(x).
Таким образом, требуемое вероятностное пространство и искомая
случайная величина построены.
2. Поставим теперь аналогичный вопрос для случайных процессов.
Пусть X = (ξί)ί£Τ — случайный процесс (в смысле определения 3 § 5),
заданный на вероятностном пространстве (Ω, «£", Р) для t eT CR.
С физической точки зрения наиболее важной вероятностной
характеристикой случайного процесса является набор {Ftl /я(хь ..., хп)} его
конечномерных функций распределения
Ft, *.(*!. •••.*л) = р{": & <*!,..., 6. ^*лЬ 0)
заданных для всех наборов t\, ..., tn с t\ < t<i <... < tn.
Из (1) видно, что для каждого набора t\,...,tn с t\<t2<...<tn
функции Ftl /я(*ь , ΛΓ/ι) являются я-мерными функциями распределения
(в смысле определения 2 § 3) и что набор {Ftl tn (*ь · · · » *п)} удовлетворяет
следующим условиям согласованности (ср. с (20) из § 3):
Ft\ /* /Я(*Ь ···, ОО, ..., Хп) =
= FU /*-ιΛ+ι tn(*U ···> Xk-U Xk+U ···> *n)' (2)

316 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Естественно теперь поставить такой вопрос: при каких условиях
семейство {Ftl t„(x\>..., хп)} функций распределения Ftl tn(x\,..., хп) (в
смысле определения 2 § 3) может быть семейством конечномерных функций
распределения некоторого случайного процесса? Весьма примечательно,
что все такие дополнительные условия исчерпываются условиями
согласованности (2).
Теорема 1 (Колмогорова о существовании процесса). Пусть
{Fu tn(x\> ..., Хп)}, где t[ 6 Τ С/?, t\ <t2<...<tn, О 1, — заданное
семейство конечномерных функций распределения, удовлетворяющих
условиям согласованности (2). Тогда существуют вероятностное
пространство (Ω, β', Ρ) и случайный процесс Χ = (ξ()(£Τ такие, что
Ρ{ω: ξ,, <хь .... ξίη ^xn} = Ftl tm(xl9 ..., χη). (3)
Доказательство. Положим
Ω = /?Γ, # = &(RT),
т. е. возьмем в качестве пространства Ω пространство действительных
функций u; = (u;t)t€T с σ-алгеброй, порожденной цилиндрическими
множествами.
Пусть г = [t\,..., /„], t\ < t<i <... < tn. Тогда, согласно теореме 2 из § 3,
в пространстве (Rn, BS(Rn)) можно построить (и притом единственную)
вероятностную меру РТ такую, что
Ρτ{(ωίχ, ..., ωίη): ωίχ ^ Х\, ..., ωίη <, хп) = Fu tn(JCi *„). (4)
Из условий согласованности (2) вытекает, что семейство {Рт} также
является согласованным (см. (20) § 3). Согласно теореме 4 из § 3, на
пространстве (RT, 38(RT)) существует вероятностная мера Ρ такая, что
Ρ{ω: й wj€B} = PT(fl)
для всякого набора т=[/ь ..., /„], t\<...<tn.
Отсюда следует также, что выполнено условие (4). Таким образом, в
качестве искомого случайного процесса X = (&(<*>))/€Г можно взять
процесс, определенный следующим образом:
6M=Wi, teT. (5)
D
Замечание 1. Построенное вероятностное пространство (/?r, BS(RT), P)
часто называют каноническим, а задание случайного процесса
равенством (5) — координатным способом построения процесса.
Замечание 2. Пусть (£Q, <?Q) — полные сепарабельные метрические
пространства, α принадлежит произвольному множеству индексов SL

§9. ПОСТРОЕНИЕ ПРОЦЕССА
317
Пусть {Рт} — набор согласованных конечномерных функций
распределения Рг, т=[а\, ...,ап], на (Εα,χ.,.χΕα,,,^,^...^^). Тогда
существуют вероятностное пространство (Ω, β', Р) и семейство <И?/&а-нз-
меримых функций (ХаМ)а<=а такие, что
для любых т=[а\, ..., ап] и Bg4, Ф.-.Ф^а,,.
Этот результат, обобщающий утверждение теоремы 1, следует из
теоремы 4 § 3, если положить Ω = Π Еа, # = Щ <?Q и Χα(ω) = ωα для каждого
α α
ω=(ωα), α £21.
Следствие 1. Пусть F\(x), /^(х), ··· —последовательность
одномерных функций распределения. Тогда существуют вероятностное
пространство (Ω, β, Ρ) и последовательность независимых
случайных величин ξι, ξ2» ··· такие, что
Р{и:Ш^х) = Ш. (6)
β частности, существует вероятностное пространство (Ω, «£", Р),
«а котором определена бесконечная последовательность бернулли-
евских случайных величин (в этой связи см. п. 2 § 5 гл. I). В качестве
Ω можно здесь взять пространство
Ω = {α;: а; = (аь аг, ...), а,=0ылы1}
(ср. также с теоремой 2).
Для доказательства следствия достаточно положить F\ п(х\, ...,хп) =
= F\(xx)...Fn(xn) и применить теорему 1.
Следствие 2. Пусть Τ = [0, оо) w {P(s, jc; t, β)} — семейство
неотрицательных функций, определенных для s, t еТ, t>s, xeR, ВеBS(R)
и удовлетворяющих следующим условиям:
a) P(s, x\ t, В) является при фиксированных s,x ut вероятностной
мерой по β;
b) при фиксированных s, t и В P(s, x; t, В) является борелевской
функцией по х;
c) для всех 0^5 </ <т и BeB8(R) выполняется уравнение
Колмогорова— Чепмена
P(s, χ; τ, Β) = $ P(s9 x; t, dy) P(t, у; τ, Β). (7)
R
Пусть, кроме того, π = π( ·) — вероятностная мера на (R, 3S(R)).

318 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Тогда существуют вероятностное пространство (Ω, β, Р) и
случайный процесс X = (£t)t^o на нем такие, что для 0 = /ο<*ι < ···
= $ *(difo) J P(^yQ\tudyx)... 5 P(tn-X,yn-X\tn,dyn). (8)
— oo —oo —oo
7ακ построенный процесс X называется марковским процессом с
начальным распределением π ы системой переходных вероятностей
{P(s, x; t, В)}.
Следствие 3. Пусть 7* = {0, 1, 2, ...} и {Pk(x\ В)} — семейство
неотрицательных функций, определенных для k^\, xeR, BeBS(R)
и таких, что функция Pk(x\ В) есть вероятностная мера по В (при
фиксированных k и х) и измерима по χ (при фиксированных k и В).
Пусть, кроме того, π = π(·) — вероятностная мера на (R, 3S(R)).
Тогда можно построить вероятностное пространство (Ω, β', Ρ)
с семейством случайных величин Χ = {ξο, £ь ···} на нем таких, что
Χθ Χ\ Χη
= § n(dyo) § P\(yo\dyi)... § Рп(Уп-\\ dyn).
—oo —oo —oo
3. В соответствии со следствием 1 существует последовательность
независимых случайных величин ξι, &» ···» одномерные функции
распределения которых есть соответственно F\, F2, ...
Пусть теперь (£ь £\) , (£г, <^2)» ...— полные сепарабельные
метрические пространства и Р\, Ρ<ι, ... —вероятностные меры на них. Тогда из
замечания 2 следует, что существуют вероятностное пространство (Ω, β, Ρ)
и последовательность независимых элементов Х\,Хъ ... такие, что Хп —
&/ёп-измеримы и Р{Хп бВ} = Рп(В), Ве£п.
Оказывается, что этот результат остается справедливым и в том
случае, когда пространства (Еп, &п) являются произвольными измеримыми
пространствами.
Теорема 2 (Ионеску Тулчи о продолжении меры и
существовании случайной последовательности). Пусть (Ω„, &η), п= 1, 2, ...,—
произвольные измеримые пространства и Ω = ΠΩΛ, & = Щ&п.
Предположим, что на (Ω\, &\) задана вероятностная мера Р\ и
для каждого набора (ωχ, ...,ωη)€Ω\ χ ... χ Ω„, η^\, на (Ω,,+ι, &η+\)
заданы вероятностные меры Ρ(ω\, ...,ωη; ·). Будем предполагать,
что Ρ(ω\, ...,ωη\ В) для каждого fiG«?rt+i являются измеримыми

§9. ПОСТРОЕНИЕ ПРОЦЕССА
319
функциями от (ωχ, ..., ωη), и пусть
/>лИ,х...хЛл)=$ Ρ\{άωχ) $ Ρ(ωχ,άω2)... $ Р{ ωχ, ···, ь>п-\\ άωη),
А\ А2 А„
Aie&i, п>\. (9)
Тогда на (Ω, &) существуют единственная вероятностная мера
Ρ такая, что для любого η ^ 1
Ρ{ω: ωχ^Αχ, .... ωη G Αη) = Ρη(Αχ χ ... χ Ап), (10)
и случайная последовательность Χ = (Χχ(ω), ^(ω), ...) такая, что
Ρ{ω:Χχ(ω)εΑχ,...,Χη(ω)εΑη} = Ρη(Αχχ...χΑη), (11)
где Ai^Si.
Доказательство. Первый шаг в доказательстве состоит в
установлении того, что для каждого η > 1 функцию множеств Рп, заданную на
прямоугольниках Αχ χ... χ Αη с помощью равенства (9), можно
продолжить на σ-алгебру «?1<Е)...0с?л.
С этой целью для каждого /ζ ^ 2 и Bg^i(8>...(S)*?/i положим
Ρ„(β)=$ Ρχ(άωχ) $ Ρ(ωχ\άω2)... $ Ρ(ωχ,...,ωη-2\άωη-χ)χ
Ω| Ω2 Ω„_|
χ $ ΐΒ(ωχ>...\ωη)Ρ(ωχ,...,ωη-χ\<Ιωη). (12)
ω„
Нетрудно видеть, что для В=А \ х ... χ Αη правая часть в (12) совпадает
с правой частью в (9). Кроме того, для η = 2 так же, как и в теореме 8
§ 6, показывается, что Р2 является мерой. Отсюда по индукции легко
устанавливается, что Рп являются мерами для произвольного η ^2.
Следующий шаг в доказательстве такой же, как и в теореме
Колмогорова о продолжении меры в (/?°°, B8(R°°)) (теорема 3 § 3). А именно,
для всякого цилиндрического множества Λ,(β) = {α;£Ω: (ωχ, ..., ωη)€Β},
fiG^i®...®&η, определим функцию множеств Ρ с помощью равенства
P(Ja(B))=Pn(B). (13)
Используя (12) и то обстоятельство, что Ρ(ωχ, ..., α;*; ·) являются мерами,
нетрудно установить, что определение (13) корректно в том смысле, что
значение P(Jn(B)) не зависит от способа представления цилиндрического
множества.
Отсюда вытекает, что функция множеств Р, определенная в (13) для
цилиндрических множеств и, очевидным образом, на алгебре,
содержащей все цилиндрические множества, является на этой алгебре конечно-

320 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
аддитивной мерой. Остается проверить ее счетную аддитивность на этой
алгебре и затем воспользоваться теоремой Каратеодори.
В теореме 3 § 3 осуществление указанной проверки основывалось на
том свойстве пространств (Rn, BS(Rn)), что для каждого борелевского
множества В можно найти компакт А С В, вероятностная мера которого сколь
угодно близка к мере множества В. В рассматриваемом случае этот момент
доказательства видоизменяется следующим образом.
Пусть, как и в теореме 3 § 3, {Вп}п^х — последовательность
цилиндрических множеств
Βη = {ω: (и>и ..., и;п)еВп}у
убывающих к пустому множеству 0, но
lim Р(В„)>0. (14)
п—юо
Из (12) для п> 1
Ρ(β*)=$ №(ωχ)Ρχ(άωχ)4
Ω,
где
/il)(^i)=S Ρ{ωχ\άω2)... § /*„("!. ...*ωη)Ρ(ω\,...,ωη-Χ\ άωη).
Ω2 Ω„
Поскольку Brt+i С Βη, то Вп+Х СВп χ Ω„+ι и, значит, 1вя+1(и\, ··, ^л+ι) <
К1в„(ъ>\* ···» un)fnn+i(ωη+χ). Поэтому последовательность функций
{fn\oj\)}n^\ является убывающей. Пусть /(1)(o;i) = lim fn\u>\). Тогда по
теореме о мажорируемой сходимости
limP(S„) = lim J №(ωχ)Ρχ(άωχ)=\ ^\ωχ)Ρχ(άωχ).
Ω| Ω,
По предположению lim P(Bn) >0. Отсюда следует, что найдется такое
о^еВь что /(1)(о;|))>0, поскольку если точка ωχ £ΒΧ, то fn\u>x) = Q для
всех η > 1.
Далее, для η > 2
/iV?)=$ /jV2)P(u>°;^), (15)
Ω2
где
/i2)(^2)=5 P(u7?, u;2; du73) ... ξ /βΛ(^?.^. •••.^л)Я(^?·^· ..••^π-ιί^π).
Ω3 Ω„

§9. ПОСТРОЕНИЕ ПРОЦЕССА
321
Как и в случае последовательности {fn (ω\)}, устанавливается, что
последовательность {fn \u>2)} является убывающей. Пусть /(2)(и>2) =
= lim /i2)(o;2). Тогда из (15) следует, что
л—»оо
0</(,)(o;?)=S ^\ω2)Ρ(ω^άω2),
Ω2
и найдется такая точка и>%е&2, что /(2)(и;£)>0. При этом Ц>, ω%)ΕВ2.
Продолжая указанный процесс, получим, что для любого η найдется точка
(ω^, ..., u;°) £ Вп. Следовательно, точка (и^,..., и;°, ...) G Π fti. но в то же
время, по предположению, Π Βη = 0. Полученное противоречие
показывает, что lim Р(Вл) = 0.
Итак, утверждение теоремы в части, касающейся существования
вероятностной меры Р, доказано. Заключительная часть очевидным образом
следует из предыдущей, если положить Χη(ω)=ωη,η^\. Π
Следствие 4. Пусть (£,,, £п)п>\ —произвольные измеримые
пространства и (Рп)п^\ — вероятностные меры на них. Тогда
существуют вероятностное пространство (Ω, β", Ρ) и семейство
независимых случайных элементов Х\,Х2, ... со значениями в измеримых
пространствах (Е\, S\), (Е2, £2), ... соответственно, такие, что
Ρ{ω:Χη(ω)ζΒ) = Ρη(Β), Βϊ£η, п>\.
Следствие 5. ПустьЕ = {\,2, ...}, {р*(х, у)}, k^ 1, χ, yeE, —
семейство неотрицательных функций таких, что Σ pk(x,y)=\^ xeE,
уеЕ
k^\. Пусть, кроме того, π = π(·) — распределение вероятностей
наЕ(1г(х)^0, Σ *(x) = l).
хеЕ
Тогда существуют вероятностное пространство (Ω, ^, Ρ) и
семейство случайных величин Χ = {ξο, ξ\, ...} на нем такие, что
Ρ{ξο=*ο, ξι=*ι, ..-,ξη=Χη} = π(Χο)Ρ\(Χο,Χ\)..·Ρη(Χη-\*χη) (16)
(ср. с (4) § 12 гл. I) для всех Х\^Е и О 1. В качестве Ω можно взять
пространство
Ω-={α;: ω = (χ0, Χ\, ...), *,££}.
Последовательность Χ = {ξ0ί £ь ...} случайных величин,
удовлетворяющих условию (16), называют марковской цепью со счетным множеством
состояний £, с матрицами переходных вероятностей {pk(x, у)} и начальным
распределением вероятностей π. (Ср. с определением в § 12 гл. I и с
определениями в § 1 гл. VIII.)

322 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
4. Теорема Колмогорова (теорема 1) утверждает существование
процесса с заданной системой согласованных конечномерных функций
распределения. При этом ее доказательство требует обращения к
каноническому вероятностному пространству, а сами процессы строятся
координатным образом, что само по себе говорит о сложности устройства их
траекторий.
С этой точки зрения значительный интерес представляют случаи
конструктивного построения случайных процессов с заданными
свойствами, при этом с минимальным использованием «вероятностных структур».
Для демонстрации таких возможностей обратимся к так называемым
процессам восстановления. (Их частный случай — процесс Пуассона; см.
§ 10 гл. II.)
Пусть (σι, σ2, ..^ — последовательность независимых одинаково
распределенных положительных случайных величин с функцией
распределения F = F(x). (Существование такой последовательности гарантируется
следствием 1 к теореме 1.)
По последовательности (σι,σ2, ...) образуем новую
последовательность (7о, 7Ί, ...) с 7Ь = 0 и
Τη=σ\+... + ση, /ζ>1.
Для наглядности будем интерпретировать момент Тп как момент
появления /z-го, скажем, вызова (например, телефонного). Тогда ση описывает
длительность времени между (п- 1)-м и п-м вызовами.
Процессом восстановления принято называть случайный процесс
yV = (yV/)^o с (конструктивно заданными) величинами
оо
Nt^liTn^t). (17)
Понятно, что Nt можно было бы определить и так:
Nt=max{n: Tn^tl (18)
т. е. Nt — это число вызовов, поступивших на интервале (0, /]; при этом
очевидно, что
{Nt>n} = {Tn*t}. (19)
Эта простая формула весьма полезна, поскольку она позволяет сводить
рассмотрения о вероятностных свойствах процесса N = (Nt)t^o к изучению
свойств величин Тп = σι +... + σ„, являющихся суммами независимых
случайных величин σι, ..., σ„, О 1 (см. п. 4 § 3 гл. IV и п. 4 § 2 гл. VII).
Из формулы (17) сразу вытекает, что функция восстановления m(t) =
= EyV/, /^0, определяется по функциям распределения Fn(t) = P(Tn^t)

§9. ПОСТРОЕНИЕ ПРОЦЕССА
323
следующим образом:
m(t) = f^Fn(t). (20)
5. Задачи.
1. Пусть Ω = [0, 1], & — класс борелевских множеств на [0, 1], Ρ —
мера Лебега на [0, 1]. Показать, что пространство (Ω, «^, Ρ) является
универсальным в том смысле, что для любой функции распределения F(x)
на (Ω, «^\ Р) можно так определить случайную величину ξ = ξ(ω), что ее
функция распределения ^(jc) = P{^^jc} совпадает с функцией F(x).
(Указание: ξ(ω) = Ρ~ι(ω), где F~l(u;) = sup{x: F(x)<uj}, 0<ω< 1, а ξ(0), ξ(1)
могут быть взяты произвольными.)
2. Проверить согласованность семейств распределений в следствиях к
теоремам 1 и 2.
3. Вывести утверждение следствия 2 к теореме 2 из теоремы 1.
4. Пусть Fn — функции распределения величин Тп, п^\ (из п. 4).
t
Показать, что /vh(0 = § ^n^ -s)dF(s), О 1» где /ч =F.
о
5. Показать, что P{Nt=n} = Fn(t)-Fn+\(t) (см. (17)).
6. Показать, что введенная выше в п. 4 функция восстановления m(t)
удовлетворяет уравнению восстановления
t
m(t) = F(t) + ^m(t-x)dF(x). (21)
о
7. Показать, что в классе функций, ограниченных на конечных
интервалах, единственным решением уравнения (21) является функция,
определяемая формулой (20).
8. Пусть Τ — произвольное множество.
(i) Предположим, что для каждого t еТ задано некоторое
вероятностное пространство (Ω*, ^, Р*). Положим Ω= Π Ω*, <^= р} &t. Доказать,
teT teT
что на (Ω, &) существует и единственна вероятностная мера Ρ такая, что
ρ(ΊΙΜ=Πρ(β<>.
\t€T J teT
где Bte&t,t £ Г, и Bt = ilt для всех индексов /, за исключением конечного
числа. (Указание. Задать Ρ на подходящей алгебре и воспользоваться
методом доказательства в теореме Ионеску Тулчи.)
(и) Пусть для каждого t еТ заданы измеримое пространство (£,, St) и
вероятностная мера Р/ на нем. Доказать, что существуют вероятностное
пространство (Ω, ^, Ρ) и независимые случайные элементы (Xt)ter такие,
чтоХ/ являются P/St-измеримыми и P{Xt £β} = Ρ,(β), В £<?,.

324 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 10. Разные виды сходимости последовательностей
случайных величин
1. Как и в математическом анализе, в теории вероятностей приходится
иметь дело с разными видами сходимости случайных величин. Ниже будут
рассмотрены следующие основные виды сходимости: по вероятности,
с вероятностью единица, в среднем порядка р, по распределению.
Начнем с определений. Пусть ξ, ξι, &» ··· —случайные величины,
заданные на некотором вероятностном пространстве (Ω, &, Р).
Определение 1. Последовательность случайных величин ξι,ξ2, ···
(обозначаемая также {£„}, {ξηΐη>\ или (ξ„), (ξη)η^\) называется сходя-
р
щейся по вероятности к случайной величине ξ (обозначение: ξ„ —>ξ),
если
P{|e.-il>e}-0, я-оо (1)
для любого ε > 0.
С этим видом сходимости мы уже встречались в связи с законом
больших чисел в схеме Бернулли, утверждающим, что
Ρ{|^-ρ|>ε}^0, я-оо
(см. обозначения в § 5 гл. I). В анализе этот вид сходимости принято
называть сходимостью по мере.
Определение 2. Последовательность случайных величин ξι, ξ2, ···
называется сходящейся с вероятностью единица (почти наверное,
почти всюду) к случайной величине ξ, если
Ρ{ω:ξη1^ξ} = 0, (2)
т. е. если множество исходов ω, для которых ξ„(α;) не сходятся к ξ(ω),
имеет нулевую вероятность.
Этот вид сходимости обозначают по-разному:
ξη-+ξ (Р-п.н.), или$!-*£ (п.н.), или£„-^£, или£„-^£.
Определение 3. Последовательность случайных величин ξι, ξ2, ···
называется сходящейся в среднем порядка р, 0<р<оо, к случайной
величине ξ, если
Ε|6,-ξ|>-0, я^оо. (3)
В анализе этот вид сходимости называют сходимостью в смысле Lp.
В этой связи (3) обычно записывают в виде ξ„ —»ξ. В частном случае ρ = 2
эту сходимость называют также сходимостью в среднем квадратическом

§ 10. РАЗНЫЕ ВИДЫ СХОДИМОСТИ
325
и пишут ξ = l.i. т. ξη (l.i.m. — сокращение от limit in mean — сходимость в
среднем).
Определение 4. Последовательность случайных величин ξ\, &» · · ·
называется сходящейся по распределению к случайной величине ξ
(обозначение: ξη —*ξ, ξη -^ ξ\ d — от distribution — распределение, law — закон),
если для любой ограниченной непрерывной функции / = f(x)
E/(6,)-E/«)f л^оо. (4)
Наименование этого вида сходимости объясняется тем, что, как будет
показано в § 1 гл. III, условие (4) эквивалентно сходимости функций
распределения F^(x) к функции распределения F^(x) в каждой точке х, где
функция F^(x) непрерывна (сходимость в основном-, обозначение: F$n ^F^).
Подчеркнем, что сходимость по распределению случайных величин
определяется только в терминах сходимости их функций распределения.
Поэтому об этом виде сходимости имеет смысл говорить и тогда, когда
случайные величины заданы на разных вероятностных пространствах.
Этот вид сходимости будет подробно изучаться в гл. III, где, в частности,
будет объяснено, почему в определении сходимости F$n => F$ требуется
сходимость лишь в точках непрерывности функции F$(x), а не для всех х.
2. В математическом анализе для решения вопроса о сходимости
(в том или ином смысле) заданной последовательности функций
оказывается полезным понятие фундаментальной последовательности, или
последовательности Коши. Введем аналогичные понятия для первых
трех рассмотренных видов сходимости последовательностей случайных
величин.
Будем говорить, что последовательность случайных величин {ξη)η>\
(или просто {ξη}) фундаментальна по вероятности, с вероятностью
единица или в среднем порядка р, 0<р<оо, если выполнены
соответственно следующие условия: для любого ε>0 Ρ{|ξ„ -£m| ^e}-+0,
η, m—»oo; последовательность {ξη(ω)}η^\ фундаментальна для почти
всех α;£Ω; последовательность функций {ξη(ω)}η^\ фундаментальна в
смысле Lp, т.е. Ε\ξη-ξ,η\ρ ->0, п, т-+оо.
3. Теорема 1. а) Для того чтобы ξη^ξ (Ρ-п. н.), необходимо и
достаточно, чтобы для любого ε>0
P{sup|ek-£|^e)-*0f /г^оо. (5)
b) Последовательность {ξη}η^\ фундаментальна с вероятностью
единица тогда и только тогда, когда для любого ε > 0
Р{ sup |&-&|^А^0, л->оо, (6)

326 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
или, что эквивалентно,
PJsup |6,+*-ξ,,|^ε)->0, /ι-+οο. (7)
^о }
Доказательство, г) Пусть Αεη = {ω: \ξη-ξ\^ε}, Αε = 1\π\Αεη =
Ξ Π U Α1 Тогда
/ι=1 k>n
οο
/m
{«:е.^>=и^=ил1/я
£>0 т=\
Но
Р(Ле) = НтР/<и Л|У
поэтому утверждение а) является результатом следующей цепочки
импликаций:
Ρ{ω: ξη-/+ξ} = 0 <*> pf\J лЛ=0 «· P( (J Л'/т]=0 <*>
\£>0 / \/Л=| /
«. Р(Л1/т) = 0, т>1 «> Р(Ле) = 0, ε>0 «>
**" Р( U Αΐ)-^°> η-*οο, ε>0 «*■ Pfsup Ιξ/fe—ξ|>ε}-^0, я-юо, ε>0.
b) Обозначим B%j ={ω:\ξΗ-ξι\^ε),Βε =f\ \J Bekl. Тогда {ω: {ξ„(ω)}
не фундаментальна} = (J βε, и так же, как в а), показывается, что
ε>0
Ρ{ω:{ξη(ω)} нефундаментальна}=0 о (6). Эквивалентность же
утверждений (6) и (7) следует из очевидных неравенств
sup Ιξη+k -ξ„| < sup №n+k -ξη+ιΙ ^ 2 sup fcn+k -ξη\. Π
Следствие. Поскольку
P{sup|6-€|>e} = P(rU{l6k-€l>«>)<EP^-€l>eb
то выполнение для каждого ε > 0 условия
οο
достаточно для сходимости ξη—>ξ (Ρ-п. н.).

§ 10. РАЗНЫЕ ВИДЫ СХОДИМОСТИ
327
В связи с условием (8) уместно сейчас отметить, что положенные при
его выводе рассуждения позволяют установить следующий простой, но
важный результат, являющийся основным средством при исследовании
свойств, выполняющихся с вероятностью единица.
Пусть Ль Лг, ... —некоторая последовательность событий из &'. На-
помним (см. табл. 1 в § 1), что через {Ап б. ч.} обозначается событие lim Л„,
состоящее в том, что произойдет бесконечное число событий из Л ι, Л 2, ...
Лемма 1 (Бореля—Кантелли). а) Если Σ Р(Л„)<оо, то
вероятность Р{Ап б. ч.} = 0.
Ъ) Если Σ Р(Лл) = оо и события Ль Лг, ... независимы, то
вероятность Р{Ап б. ц.}= 1.
Доказательство, а) По определению
оо
{Л„б.ч.} = ЙБЛ„ = р| (J Л*.
/1=1 k^n
Поэтому
Р{Л„ б.ч.} = Р( f| [J At) =lim pf\J Ak\<lim £ Р(Л*),
\n=\ k^n J \k^n ) k^n
откуда и следует утверждение а).
b) Если события Ль Л2, ... независимы, то таковыми же будут и
события Ль Лг, ... Тогда для любого N ^п
(Ν \ Ν
Пд* =ПР<Д*>·
k=n / k=n
откуда нетрудно вывести, что
оо
р ГМ* ="Пр(д*)· <9>
\k=n J k=n
В силу неравенства 1п( 1 — *)< -х, 0<χ< 1,
|пП[,-р^*)]=Е|п11-ри*)]<-Х;ри*)=-оо.
k—n k—n k=n
Следовательно, для любого η
р(2*)-°
и, значит, Р{Л„ б. ч.}=1. D

328 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Следствие 1. Если Αεη = {ω: |ξ/ι-ξ|^ε}, то условие (8) означает,
оо
что Σ Ρ(Αεη) <οο, ε >Qy и по лемме Бореля—Кантелли Ρ(Αε) = 0, ε > О,
где Αε = lim Αε (={Л* б. ч.}). Тем самым
оо
ΣΡ{\ξκ~ξ\>ε}<οο, ε>0 => Ρ(Λβ) = 0, ε>0 & Ρ{ω: ξη />ξ} = 0,
что ι/же отмечалось выше.
Следствие 2. Пусть {εη}η^\ —последовательность
положительных чисел таких, что εη 10, η —► оо. Тогда, если
оо
Σρ<β»-*ι>ε«><00· (10)
л=1
^ п.н. ^
то£„—>ξ.
В самом деле, пусть Л„ = {|£л — ξ| ^ε„}. Тогда по лемме Бореля—Кан-
телли Р{Ап б. ч.} = 0. А это означает, что для почти каждого исхода ω eft
найдется такое Ν = Ν(ω), что для η^Ν(ω) \ξη(ω) — ξ{ω)\4,εη. Но ε,,|0,
поэтому ξη(ω)^ξ(ω) для почти всех ω £ Ω.
4. Теорема 2. Имеют место следующие импликации:
ξη^+ξ =► 6Λξ, (И)
6.-^€=*бЛ€. Р>0. (12)
ξη^ξ => 6. ^6 (13)
Доказательство. Утверждение (11) следует из сравнения
определения сходимости по вероятности с критерием (5), а импликация (12) —из
неравенства Чебышева.
Докажем теперь импликацию (13). Пусть /(jc) — непрерывная
функция, |/(jc)|<c, ε>0 и N таково, что Ρ{|ξ| >Ν}^ε/(4ή. Выберем δ
таким, чтобы для всех |х|<# и \х-у\^6 было выполнено неравенство
\f(x) - f(y)\ ^ε/2. Тогда (ср. с «вероятностным» доказательством теоремы
Вейерштрасса в п. 5 § 5 гл. 1)
Е|/(6,)-/(0| = Е(|/(е,)-/«)1;16.-€1<«.К1<ло +
+ Ε(ΙΛ6.)-/(0Ι; 16.-Ж* 1€1>ло + Е(|/(е,)-/(01; 16.-€1>«К
Κ€/2 + ε/2 + 2€Ρ{\ξη-ζ\>δ} = ε + 2€Ρ{\ζη-ζ\>δ}.
Но Р{|£л —£|>£}—>0, поэтому для достаточно больших η Ε |/(£,) — /(ξ)|<
^ 2ε, что в силу произвольности ε > 0 доказывает импликацию (13). D

§ 10. РАЗНЫЕ ВИДЫ СХОДИМОСТИ
329
Приведем ряд примеров, показывающих, в частности, что в (11), (12)
обратные импликации, вообще говоря, несправедливы.
Пример 1 (бЛ£ Φ ξη^ξ\ ξη^ξ Α 6ι^4). Пусть Ω=[0, 1],
J*" = ^([0, 1]), Ρ — мера Лебега. Положим
Л»=[^·^]· £ = /*»· i = 1.2,....n; ΟΙ.
Тогда последовательность случайных величин
{£ь ^2» & £з» £з» £з» ···}
сходится и по вероятности, и в среднем порядка ρ > 0, но не сходится ни
в одной точке ω 6 [0, 1].
Пример 2 (ξη^ξ <
= [0, 1], & = Щ0, 1]), Р — мера Лебега и
Пример 2 (ξη^ξ <= ξ/ι-^ξ Α ξη-^ξ, Р>0). Снова пусть Ω =
. J>, 0<о;<1/я,
^0, ω>\/η.
Тогда последовательность {£„} сходится с вероятностью единица (и,
следовательно, по вероятности) к нулю, однако для любого ρ > 0
епр
Е\£п\р = >оо, /ζ-+οο.
Пример 3 (ξη—>ξ φ ξη^*ξ)- Пусть {ξη} — последовательность
независимых случайных величин с
Р{6. = 1} = Р«. Р{е. = 0}=1-ря.
Тогда нетрудно установить, что
£„Д0 ^ р„-+0, я->оо, (14)
Ся-^О *> р„-+0, /ζ-+οο, (15)
оо
6.-^0 *> Σρ„<οο. (16)
В частности, при рп = \/п ξη —> 0 для любого ρ > 0, но £rt -/-> 0.
В следующей теореме выделяется один интересный случай, когда из
сходимости почти наверное следует сходимость в смысле ΖΛ
Теорема 3. Пусть {ξη}η^\ —последовательность
неотрицательных случайных величин таких, что ξη ^+ξ и Εξη —► Εξ < оо. Тогда
Ε|6,-ξ|-0, дг^оо. (17)

330 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Доказательство. Для достаточно больших η Εξη < оо, поэтому для
них
Ε|ξ - 6,1 = Е« - &)/«*.> + Ε(ξη - ξ)Ι{ζιι>ξ} = 2Ε(ξ - ξη)Ι1ζ>ω + Ε(ξ„ - ξ).
Но 0 < (ξ - ξη)Ι{ξ^ξη) < ξ· Тогда по теореме о мажорируемой сходимости
Игл Ε(ξ -ξη)Ι{ξ^ξη) = 0, что вместе с предположением Εξη —> Εξ
доказывает (17). D
Замечание. Теорема о мажорируемой сходимости (теорема 3 § 6)
справедлива и тогда, когда в ней сходимость почти наверное заменяется на
сходимость по вероятности (см. задачу 1). Поэтому в теореме 3 сходимость
«ξη -^ξ» можно заменить на сходимость «ξη —>ξ».
5. Из математического анализа известно, что всякая фундаментальная
числовая последовательность {хп}, хп £/?, является сходящейся (критерий
Коши). Приведем аналогичные результаты для сходимости
последовательности случайных величин.
Теорема 4 (критерий Коши сходимости почти наверное). Для
того чтобы последовательность случайных величин {ξη} была
сходящейся с вероятностью единица (к некоторой случайной величине ξ),
необходимо и достаточно, чтобы она была фундаментальна с
вероятностью единица.
Доказательство. Если ξη -^ ξ, то
sup |6 - ξι I ^ sup |& - ξ| + sup |ξ/ - ξ|,
откуда (см. теорему 1) вытекает необходимость условия теоремы.
Пусть теперь последовательность {ξη} фундаментальна с вероятностью
единица. Обозначим Jf = {ω\ {ξη(ω)} не фундаментальная). Тогда для
всех и>еЯ\,Ж числовая последовательность {ξη(ω)} является
фундаментальной и, согласно критерию Коши для числовых последовательностей,
существует Игл ξη(ω). Положим
[0, ω\
ξΜ = {Γ—" "ТУ' (18)
Так определенная функция является случайной величиной и, очевидно,
Прежде чем переходить к случаю сходимости по вероятности,
установим следующий полезный результат.
Теорема 5. Если последовательность {ξη} фундаментальна
(сходится) по вероятности, то из нее можно извлечь подпоследова-

§ 10. РАЗНЫЕ ВИДЫ СХОДИМОСТИ
331
тельность {£rtiJ, фундаментальную (сходящуюся) с вероятностью
единица.
Доказательство. Пусть последовательность {ξη} фундаментальна по
вероятности. В силу теоремы 4 достаточно доказать, что из нее можно
извлечь подпоследовательность, сходящуюся почти наверное.
Положим лгι = 1 и по индукции определим rik как то наименьшее
η > rik-\, для которого при всех О я, t^n
Ρ{|ξ,-ξ5|>2-*}<2-*.
Тогда
Σρ<κ<.*+.-^ι>2"*><Σ2"*<°°
k
и по лемме Бореля—Кантелли
p<ie,w-6j>2-*6.4.}=o.
Поэтому с вероятностью единица
оо
Σ ΐ6ι*+ι-&*ι<ο°·
Пусть Jf = {ω: Σ \ξη*+ι —£nk\ = oo}. Тогда, если положить
( °°
tt» J &■(ω)+Σ (&*+. и - ξ* и)· ω е Ω \ -**
[θ, и;£сЖ,
то получим ξ„Λ -^> ξ.
Если же исходная последовательность сходится по вероятности, то она
и фундаментальна по вероятности (см. далее (19)) и, следовательно, этот
случай сводится к уже разобранному. D
Теорема 6 (критерий Коши сходимости по вероятности). Для
того чтобы последовательность случайных величин {ξη} была
сходящейся по вероятности, необходимо и достаточно, чтобы она была
фундаментальна по вероятности.
Доказательство. Если ξη —>ξ, то
p{i6.-e»i>e}<p{ie.-€i>^/2}+p{ic«-€i>e/2> (щ
и, значит, последовательность {ξη} фундаментальна по вероятности.
Обратно, если {ξη} фундаментальна по вероятности, то тогда, согласно
теореме 5, найдутся подпоследовательность {ξηΐι} и случайная величина ξ

332 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
такие, что ξηΐι -^ξ. Но тогда
Р<16. -€| >с>< Р{|6. -е.*1 >с/2} + Р{|е^ -€| >е/2>,
ρ
откуда ясно, что ξη —у ξ. D
В связи со сходимостью в среднем порядка ρ >0 сделаем прежде всего
несколько замечаний о пространствах ΖΛ
Будем обозначать через Lp = Lp(il, &, Ρ) — пространство случайных
величин ξ = ξ(ω) с Ε|ξ|ρ = § |£|pdP<oo. Предположим, что р^ 1 и поло-
Ω
жим
№\Р=т\р)1/р-
Ясно, что
11€11р>0, (20)
\№Ь = Μ IKIU c — постоянная, (21)
и в силу неравенства Минковского (31) § 6
lli+4llp<ll€llp + Nlp. (22)
Таким образом, в соответствии с известными определениями
функционального анализа функция || · ||р, определенная на Lp и удовлетворяющая
условиям (20)—(22), является (для ρ ^ 1) полунормой.
Чтобы она была и нормой, нужно еще выполнение свойства
||ξ||, = 0 =► ί = 0, (23)
которое, конечно, вообще говоря, не выполнено, поскольку, согласно
свойству Η (§ 6), можно утверждать лишь, что ξ = 0 не тождественно, а только
почти наверное.
Это обстоятельство приводит к несколько иному взгляду на
пространство Lp. Именно, свяжем с каждой случайной величиной ξ£ί/ класс [ξ]
эквивалентных ей случайных величин из Lp (ξ и η эквивалентны, если
ξ = 77 почти наверное). Нетрудно убедиться, что свойство эквивалентности
рефлексивно, симметрично и транзитивно, а значит, линейное пространство
Lp можно разбить на взаимно непересекающиеся классы эквивалентных
между собой случайных величин. Если теперь под [Lp] понимать
совокупность всех таких классов [ξ] эквивалентных между собой случайных
величин ξ е Lp и положить по определению
К1 + М = К + Ч].
α[ξ] = [αξ], α — константа,
IIKlllp-llillp.
то [Lp] становится линейным нормированным пространством.

§ 10. РАЗНЫЕ ВИДЫ СХОДИМОСТИ
333
В функциональном анализе об элементах пространства [Lp] обычно
принято говорить не как о классах эквивалентных функций, а просто как
о функциях. В этом смысле мы не будем вводить нового обозначения [Lp]
и впредь под Lp будем понимать именно множество классов
эквивалентных функций, по-прежнему называя их просто элементами, функциями,
случайными величинами...
Один из важных результатов функционального анализа состоит в
доказательстве того, что пространства Lp, р^ 1, являются полными, т. е.
всякая фундаментальная последовательность является сходящейся.
Сформулируем и докажем этот результат на вероятностном языке.
Теорема 7 (критерий Коши сходимости в среднем порядка р^ 1).
Для того чтобы последовательность случайных величин {ξη} из Lp
сходилась в среднем порядка р^\ к случайной величине,
принадлежащей ΖΛ необходимо и достаточно, чтобы эта
последовательность была фундаментальной в среднем порядка р.
Доказательство. Необходимость следует из неравенства Минков-
ского. Пусть {ξη} — фундаментальна (\\ξη -ξη\\ρ —*0, η, m—»со). Как и
в доказательстве теоремы 5, выберем подпоследовательность {ξηΐι} такую,
что ξηΐι -^ξ, где ξ — некоторая случайная величина с ||ξ||ρ < оо.
Положим п\ = 1 и по индукции выберем /^ как то наименьшее n>nk-\,
для которого при всех s^n, t^n
U,-b\\p<2-2k.
Обозначим
Α„ = {ω: |6*+1-6J>2-*>.
Тогда в силу неравенства Чебышева
Р(АЛ< Е1^»+» ~"М < 2 Р _ c)-kp < сл-k
пл*;^ 2-kp ^ 2-kp -* ^ ·
Так же, как в теореме 5, отсюда выводится, что существует такая случайная
величина ξ, что ξηΐι -^ ξ.
Выведем отсюда, что \\ξη — ξ\\ρ —*0, п->оо. С этой целью зафиксируем
ε>0 и выберем Ν =Ν(ε) таким, что ||£rt-£m||p <e для всех n^N, m^N.
Тогда для любого фиксированного η ^ Ν в силу леммы Фату (§ 6)
Ε\ξη-ξ\Ρ = Ε{ lim |6,-Ulp} = E{lim |6.-6,»Ι'}<
< lim Щп-и\р= lim 116.-6..II?<е.
tik—*oo nk—+oo
Следовательно, Ε|ξ„ — ξ\ρ —*·0, η—»οο. Ясно также, что поскольку £ =
= (£ — ζη) +ξη* то в силу неравенства Минковского Ε\ξ\ρ < оо. D

334 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Замечание 1. В соответствии с терминологией функционального
анализа полные нормированные линейные пространства называются
банаховыми пространствами. Таким образом, пространства Lp, р^\, являются
банаховыми.
Замечание 2. Если 0<р<1, то ||ξ||ρ = (Ε\ξ\ρ)ι/ρ не удовлетворяет
неравенству треугольника (22) и, следовательно, не является нормой. Тем
не менее пространства (классов эквивалентности) Lp, 0< ρ < 1, являются
полными относительно метрики ά(ξ, η) = Ε\ξ — η\ρ.
Замечание 3. Обозначим Δ00 = Δ00(Ωί &, Ρ) пространство (классов
эквивалентности) случайных величин ξ = ξ(ω), для которых ||ξ||οο <οο, где
величина ||ξ||οο, называемая существенным супремумом ξ, определяется
формулой
IKHooSesssup |£|sinf{0<c<oo: Р(|£|>с) = 0}.
Функция || · ||оо является нормой, и относительно этой нормы
пространство L°° является полным.
6. Задачи.
1. Используя теорему 5, показать, что в теоремах 3 и 4 из § 6
сходимость почти наверное может быть заменена сходимостью по вероятности.
2. Доказать, что пространство L°° полно.
Ρ Ρ
3. Показать, что если ξη —>ξ и в то же время ξη —>η, то ξ и η
эквивалентны (в том смысле, что Р{^ ^77} = 0).
Ρ Ρ
4. Пусть ξη—>ξ, 77Λ —^ ^7 и случайные величины ξ и η эквивалентны.
Показать, что для любого ε > 0
P{|6i-ibil^e}-*0f n^oo.
Ρ Ρ
5. Пусть ξη —>ξ, ηη —>η. Показать, что если φ = φ(χ, у) — непрерывная
ρ
функция, то φ(ξη, Ήη)^φ(ζ> ν) (лемма Слуцкого).
6. Пусть (ξη — ξ)2 —>0. Показать, что ξ2 —>ξ2.
7. Показать, что если ξη —► С, где С — постоянная, то имеет место и
сходимость по вероятности:
8. Пусть последовательность {ξη}η^\ такова, что для некоторого ρ >0
оо
Σ Е|£я|р<оо. Показать, что £„-►() (Р-п. н.).
9. Пусть {ξη}η^\ —последовательность одинаково распределенных
случайных величин.

§ 10. РАЗНЫЕ ВИДЫ СХОДИМОСТИ
335
Доказать, что
оо
E|^i| <оо & Σ Ρ{|ξι|>£"}<οο, ε>0 &
оо
^ ΣΖρ{| πI>е}<о°^ε>0 ^ π ° (ρ-π·Η·>·
п=\
10. Пусть {ξη}η^\ —некоторая последовательность случайных величин.
Предположим, что существуют случайная величина ξ и
подпоследовательность {nk} такие, что ξ„, ->ξ (Р-п. н.) и max |ξ/ -ξ„*_,| -+0 (Р-п. н.)
при й—>оо. Показать, что тогда ξη —»ξ (Р-п. н.).
11. Определим «d-метрику» в множестве случайных величин, полагая
и отождествляя случайные величины, совпадающие почти наверное.
Показать, что d = ά(ξ, η) действительно задает метрику и сходимость по
вероятности эквивалентна сходимости в этой метрике.
12. Показать, что не существует метрики в множестве случайных
величин такой, что сходимость в ней эквивалентна сходимости почти наверное.
13. Пусть Χι ^Χ2<: ... нХп ^+Х. Показать, что*,,-** (Р-п.н.).
п
14. Пусть Хп-+Х (Р-п.н.). Тогда и п~х £ Xk-+X (Р-п.н.) (сумми-
k=\
рование по Чезаро). Показать на примере, что сходимость Р-п. н. нельзя
заменить на сходимость по вероятности.
Р
15. Пусть (Ω, с^\ Р) — вероятностное пространство и Хп —>Х.
Показать, что если мера Ρ является атомической, то Хп —► X также и с
вероятностью единица. (Множество Ае& называется Ρ-атомом, если для
всякого В е# или Р(ВпЛ) = Р(Л), или Р(ВПЛ) = 0. Мера Р называется
атомической, если существует счетное семейство {Ап} непересекающихся
Р-атомов таких, что Ρ ί (J An ) = 1.)
16. Согласно (первой) лемме Бореля—Кантелли, если £ Ρ(\ξπ\ >ε)<
п=\
<оо для ε>0, то последовательность ξη—»0 (Р-п. н.). Дать пример,
показывающий, что сходимость £„—»0 (Р-п. н.) может иметь место и при
оо
условии £ Ρ(|ξ„|>ε) = οο, ε>0.
/ι=1
17. (Ко второй лемме Боре ая-Кантелли.) Пусть Ω = (0, 1), ^ =
= ^((0, 1)), Ρ —лебегова мера. Рассмотрим события Ап = (0, \/п). Пока-

336 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
зать, что Σ Р(Л,,) = оо, но каждое ω из (0, 1) может принадлежать только
конечному числу множеств Ль ..., Α[\/ω], т.е. Р{Л„ б. ч.} = 0.
18. Привести пример последовательности случайных величин такой, что
с вероятностью единица lim sup ξη = оо, lim inf ξ„ = — oo, но тем не менее
р
существует случайная величина η такая, что ξ„ —>η.
19. Пусть Ω есть не более чем счетное множество. Доказать, что если
ξ,Λξ,τοξ,,->ξ(Ρ-π.Η.).
оо
20. Пусть Ль Лг, ... —независимые события и Σ Р(Ап)<оо. Дока-
п
зать, что для Sn = Σ 4^k) справедливо усиление «второй леммы Бореля—
Кантелли»:
lim A- = 1 (Р-п.н.).
п сод
21. Пусть (Хп)п^\ и (Yn)n^\ —две последовательности случайных
величин, у которых совпадают все конечномерные распределения (/%,...,*„ =
ρ
= /7у, уя, п^ 1). Пусть Хп-+Х. Доказать, что тогда имеет место сходи-
р
мость Yn —» Υ к некоторой случайной величине У, распределение которой
совпадает с распределением X.
22. Пусть (Хп)п^\ —последовательность независимых случайных вели-
р
чин таких, что Хп —>Х для некоторой случайной величины X. Доказать, что
X является вырожденной случайной величиной.
23. Показать, что для каждой последовательности случайных величин
ξι, &> ··· можно найти такую последовательность констант а\, α<ι, ...,
4τοξη/αη-+0 (Р-п.н.).
24. Пусть ξι, &♦ ··· — последовательность случайных величин и Sn =
= ξι +... + ξΛ, η ^ 1. Показать, что множество {Sn —►}, т. е. множество тех
α;€Ω, где ряд Σ &(<*>) сходится, может быть представлено в следующем
виде:
{S„-}=f| (J Π {suplSf-S^AT1}.
N^\ m>\ k^m l**k
Соответственно, множество {S„/»}» где ряд Σ ξ* Μ расходится, пред-
ставимо в виде
{S„t4=U Π U {sup|S,-S*|>Ar«}.
Λί>1 т>\ k>m '^*

§ 10. РАЗНЫЕ ВИДЫ СХОДИМОСТИ
337
25. Доказать следующий вариант второй леммы Бореля—Кантелли
(утверждение Ь) в лемме 1): пусть Ль Лг, ... — произвольные (не
обязательно независимые) события такие, что
Σ P(AtnAk)
έί п Σ P(Ak)V
[\<k^n
тогда Ρ(Αη б.ч.) = 1.
26. Показать, что во второй лемме Бореля—Кантелли вместо
независимости событий Ль Лг, ... достаточно требовать лишь их попарную
независимость.
27. Доказать следующий вариант закона нуля или единицы (ср. с
законами нуля или единицы в § 1 гл. IV): если события Ль Лг, ... попарно
независимы, то
-с
Р1А 6ч\-Г' еслиЕР(Л«Х°о,
^л„о.ч.}-«5, еслиЕР(Лп) = 00
28. Пусть Ль Л 2, ... —произвольная последовательность событий
таких, что НтР(Лл) = 0 и Σ Р(АпГ\Ап+\) <оо. Доказать, что тогда
Р{Л„б.ч.} = 0.
29. Доказать, что если Σ Р{|£л|>я}<оо, то limsup(|^rt|//z)^ 1 (Р-п.н,).
η η
30. Пусть ξη Ι ξ (Ρ-π. η.), Ε|ξ„| < οο, η ^ 1, и inf Εξη > -οο. Показать,
η
что тогда ξη -ί^ξ, т. е. Ε|ξ„ -ξ| -+0.
31. В связи с леммой Бореля—Кантелли показать, что Р{Л„ б.ч.}= 1,
если и только если Σ Ρ (А Г\Ап) = оо для каждого множества Л с Ρ (Л) > 0.
η
32. Пусть события Ль Лг, ... независимы и Р(Л„)< 1 для всех О 1.
Тогда Р{Л„ б. ч.}= 1, если и только если P((J An) = 1.
33. Пусть Ль ^2, ... —независимые случайные величины с Р{Л„ =0} =
оо
= 1//гиР{Лл = 1}=1-1//г. Пусть £Л={ЛЛ=0}. Показать, что Σ ρ(Εη) =
/1=1
оо __
= оо, Σ Р(£л) = оо. Заключить отсюда, что lim Xn не существует (Р-п. н.).
л=1 п
34. Пусть Ль Лг, ... —последовательность случайных величин. Пока-
р
зать, что Хп —>0 тогда и только тогда, когда
ΙΛ 1г
с ' п■-'-— > 0 для некоторого г > 0.
1 + |л„к

338 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
В частности, если Sn = Х\ +... + ХПу то
*1^Д0^Е 2(5-ЕУс2,2^0.
η n2 + (Sn-ESn)2
Показать, что для произвольной последовательности ΛΊ, Х2» ···
max |Х*|До =► — До.
35. Пусть Х\у Х2, · · · — независимые одинаково распределенные бернул-
лиевские величины: P{Xk = ±\}= 1/2. Пусть i/rt = 5Z dr» О 1. Показать,
что Un—>U (Р-п. н.), где ί/ —случайная величина, равномерно
распределенная на (—1, +1).
§ 11. Гильбертово пространство случайных величин
с конечным вторым моментом
1. Среди банаховских пространств Lp, р^\, рассмотренных выше,
особо важную роль играет пространство L2 = L2(Q, &, Ρ) — пространство
(классов эквивалентных) случайных величин с конечным вторым
моментом.
Если ξ, η G I2, то положим
Ясно, что для ξ, η, ζ € L2
(αξ + % С) = α(ξ, С) + Ηη9 С), α, * € Я,
К.О>0
и
К, 0=о =► €=о.
Тем самым (ξ, η) является скалярным произведением. Относительно
нормы
Ш=«.01/2. (2)
индуцируемой этим скалярным произведением, пространство L2 (как было
показано в § 10) является полным. Поэтому в соответствии с
терминологией функционального анализа пространство с введенным скалярным
произведением (1) является гильбертовым пространством случайных
величин (с конечным вторым моментом).
Методы гильбертова пространства широко используются в теории
вероятностей при исследовании свойств, определяемых лишь первыми двумя

§11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 339
моментами рассматриваемых случайных величин («£2-теория»). В этой
связи остановимся на основных понятиях и фактах, необходимых для
изложения £2-теории (гл. VI).
2. Две случайные величины ξ и η из L2 будем называть ортогональными
(ξ1.η), если их скалярное произведение (ξ, η) = Εξη = 0. Согласно § 8,
величины ξ и η называются некоррелированными, если COv(£, η) = 0, т. е.
если
Εξη^ΕξΈη.
Отсюда следует, что для случайных величин с нулевыми средними понятия
их ортогональности и некоррелированности совпадают.
Система MCL2 будет называться системой ортогональных
случайных величин, если ξ JL η для любых ξ, η £ Μ (ξ φ η).
Если к тому же для всех ξ£Λί их норма ||ξ|| = 1, то Μ называется
ортоноржированной системой случайных величин.
3. Пусть Μ = {η\9 ..., ηη) — ортонормированная система и ξ — какая-
п
то случайная величина из L2. В классе линейных оценок вида Σ α'ι4
/=ι
найдем наилучшую (в среднеквадратическом смысле) оценку случайной
величины ξ (ср. с п. 2 § 8).
Простой подсчет показывает, что
ί-Σα<ι»
/ = 1
$-Σαίΐ»
π
= [ £ ~ Σ ам> £_ Σα"»)=
\ (=1 /=! /
= IKH2-2 £ αι(ξ, ηι) + [Σ m, Σ α"» ) =
/=Ι \ί=Ι i=I /
=ιΐ€ΐι2-2χ;αίΚ.»»)+έα?=
/=1 /=1
=uf - έ ι«. *)12+Σ ΐα< -«. *»>ι2 > ικιι2 - Σ ι«. *»>ι2
(3)
ί=1 ι=1
где мы воспользовались тем, что
а^-га/К,!»)»!^-^!»)!2-!^!»)!2
/=1
Отсюда ясно, что инфимум Ε
Ι /=ι
αι, .., α„ достигается при α,- = (ξ, r^/)» * = 1, ···» л.
по всем действительным

340 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Таким образом, оптимальной (в среднеквадратическом смысле)
линейной оценкой ξ по т£, ..., ηη является оценка
η
( = Σ&*Ιί)η. (4)
При этом
Δ = ίηί Ε
ξ - Σ aw
i=\
= Ε|ξ-||2 = ||ξ||2-^|(ξ,^·)|2 (5)
i=l
(ср. с (17) §4 гл.1 и (13) §8).
Из (3) вытекает также следующее неравенство Бесселя: если М =
= {^ь V2> ···} — некоторая ортонормированная система и ξ£Δ2, то
ΣΐΚ.ι»)Ι2<ΙΚΙΙ2; (6)
/ = 1
при этом равенство достигается тогда и только тогда, когда
η
€ = 1.1.ят. J^K,!»),. (7)
i=l
Оценку ξ, являющуюся оптимальной линейной оценкой, часто
обозначают Ε(ξ|ΐ7ι, ..., ηη) и называют условным математическим
ожиданием (ξ относительно щ, ..., щ) в широком смысле.
Это название объясняется следующим. Если рассматривать
всевозможные оценки φ = φ(η\, ...>ηη) случайной величины ξ по η\>...,ηη
(φ — борелевская функция), то оптимальной оценкой будет оценка φ* =
= Ε(ξ|ΐ7ι, ..., ηη)9 т. е. условное математическое ожидание ξ относительно
77ь·.., fyi (ср. с теоремой 1 § 8). Поэтому оптимальную линейную
оценку по аналогии обозначают Ε(ξ\η\, ..., ηη) и называют условным
математическим ожиданием в широком смысле. В этой связи отметим,
что если случайные величины η\, ...,ηη образуют гауссовскую систему
(см. далее § 13), το Ε(ξ\η\, ..., ηη) и Ε(ξ\η{, ..., ηη) совпадают.
Остановимся на геометрическом смысле оценки ξ = Ε(ξ|ΐ7ι, ..., ηη)·
Обозначим через JSf = JSf(77i, ..., ηη) линейное многообразие,
порожденное ортонормированной системой случайных величин щ, ..., ηη (т.е.
η
совокупность случайных величин вида Σ аМ'п ai €R)·
i=l
Тогда из вышеизложенного вытекает, что ξ допускает «ортогональное
разложение»
е=£+к-4), (8)

§11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 341
где |€-Sf, а £-£-L-^ в том смысле, что ξ = ξ1_λ для любого AG-Sf.
Естественно поэтому ξ назвать проекцией ξ на JSf («ближайшим» к ξ
элементом из -Sf), а ξ - ξ — перпендикуляром к if.
4. Предположение ортонормированности случайных величин 771,..., ηη
позволило просто найти оптимальную линейную оценку (проекцию) ξ для
£ по η\, .··» Vn- Сложнее обстоит дело, если отказаться от
предположения ортонормированности. Однако случай произвольных величин η\,..., ηη
в определенном смысле может быть, как будет ниже показано, сведен
к уже рассмотренному случаю ортонормированных величин. Для
простоты дальнейшего изложения будем предполагать, что все рассматриваемые
случайные величины имеют нулевые средние.
Будем говорить, что случайные величины η\, ..., ηη линейно
независимы, если равенство
η
$^а,1» = 0 (Р-п.н.)
/ = 1
выполнено лишь тогда, когда все щ равны нулю.
Рассмотрим матрицу ковариаций
вектора η = (η\, ..., ηη), рассматриваемого как вектор-столбец. Она
является симметрической и неотрицательно определенной и, как отмечалось
в § 8, найдется ортогональная матрица б, приводящая ее к диагональному
виду
где
— матрица с неотрицательными элементами d,·, являющимися
характеристическими числами матрицы R, т. е. корнями λ характеристического
Уравнения det(R - λ£) = О, где £ —единичная матрица.
Если величины η\, ..., ηη линейно независимы, то детерминант Грама
(т. е. det R) не равен нулю и, значит, все d/ > 0. Пусть
V о vrn)
и
β = Β~χ6*η. (9)

342 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Тогда матрица ковариаций вектора β
Εββ* = Β-ι0*Εηη*0*Β-ι=Β-ι0*π0Β-ι=Ε,
и, следовательно, вектор /? = (/?ь ..., βη) состоит из некоррелированных
случайных величин. Ясно также, что
η = (#Β)β. (10)
Таким образом, если щ,..., ηη линейно независимы, то найдется такая
ортонормированная система /?ь ..., βη, что выполнены соотношения (9)
и (10). При этом
#{ηι,...,ηη} = &{βι,...,βη}.
Изложенный способ получения ортонормированной системы /?ь ..., βη
в ряде задач оказывается не очень удобным. Дело в том, что если
трактовать 77/ как значение случайной последовательности (771, ..., ηη) в момент
времени /, то построенное выше значение /?/ оказывается зависящим не
только от «прошлого» (т7ь ..., Tfc), но и от «будущего» (г#+ь ..., щ)-
Приводимый ниже процесс ортогонализации Грама—Шмидта не страдает
этим недостатком, более того, он обладает тем преимуществом, что
может быть применен к бесконечным последовательностям линейно
независимых случайных величин (т. е. последовательностям, у которых любое
конечное число величин являются линейно независимыми).
Пусть 771, г/2, ... —последовательность линейно независимых
случайных величин из L2. Построим по индукции последовательность ει, ε2, ···
следующим образом. Пусть ει =τ7ι/||τ7ι||. Если ει, ..., εη-\ уже выбраны
так, что они ортонормированы, то положим
_ Vn-ήη пп
где т)п есть проекция ηη на линейное многообразие -Sffo, ..., επ-ι),
порожденное величинами 771, ..., ηη-\'.
п-\
'Пп = ^('Пп,е1г)ек. (12)
k=\
Поскольку величины η\, ...,ηη линейно независимы и -Sffai, ..., ^-1) =
= -^(ει, ..., ε,ί-ι), то ||г7л — ήη|| >0 и, следовательно, εη определено.
По построению |^rt || = 1, η > 1, и ясно, что (εη, ek) = 0, k < п. Тем самым
последовательность ει, ε2, ... является ортонормированной. При этом,
согласно (11),
Vn=Vn +bnεn,
где Ьп = \\ηη - r)rt||, а ήη определяется формулой (12).

§11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 343
Пусть теперь щ, ..., ηη — произвольная система случайных величин
(не обязательно линейно независимых). Пусть det R = 0, где К = ||г/у|| —
матрица ковариаций вектора (771, ..., ηη), и пусть
rang R = г < п.
Тогда, как известно из алгебры, для квадратичной формы
η
Q(a) = Σ rVaiah fl = (flb .... Ая),
существует ровно η - г линейно независимых векторов а(1\ ..., а(л~г) таких,
что(?(а^) = 0,/ = 1,...,/1-г.
Но
Q(a) = Ei^a№) ·
Следовательно, с вероятностью единица
η
Иначе говоря, существует ровно η — г линейных соотношений между
величинами η\,...,ηη. Поэтому, если, скажем, η\9..., ηΓ линейно независимы,
то все остальные величины ηΓ+\> ...>ηη линейно через них
выражаются и, значит, -Sf(ryi, ..., ηη) = &(η\, ..., ηΓ). Отсюда ясно, что с помощью
процесса ортогонализации можно найти г ортонормированных случайных
величин ει, ..., εΓ таких, что все щ, ...,щ линейно через них выражаются
*&(т,...,ъ) = &(еи...9ег).
5. Пусть η\,τ)2, ... — последовательность случайных величин из L2.
Будем обозначать через j£f = JSf(77i, Щ, ) линейное многообразие,
порожденное величинами щ, щ, ..., т. е. совокупность случайных величин
вида £)?_, atfi, η^ 1, щ £/?. Через J^ = JS?(77i, ^2, ···) обозначим
замкнутое линейное многообразие, порожденное Г7ь %» ..., т. е. совокупность
случайных величин из JSf и их пределов в среднеквадратическом смысле.
Говорят, что система случайных величин туь ^72, ... образует счетный
ортонормированный базис (иначе — полную ортонормированную
систему) в L2, если:
а) *7ь ^2» ··· — ортонормированная система,
Гильбертово пространство со счетным ортонормированным базисом
называют сепарабельным.

344 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
В силу условия Ь) для любого ξ £ L2 и заданного ε > О найдутся такие
аь ..., ал, что
11 η I
i=l
Тогда, согласно (3),
€-ΣΚ.4ί)4
/=ι
^ε
и, следовательно, для сепарабельных гильбертовых пространств I? любой
элемент ξ представим в виде
*=£«·'*>'»·
(13)
i=l
точнее,
ξ = l.i.m. Y](tm)m.
η *—'
/=1
Отсюда и из (3) тогда заключаем, что имеет место следующее
равенство Парсеваля:
κιι'-Σικ·»)!8· *GZ-2·
i=l
(14)
Нетрудно доказать, что верно и обратное: если η\, 772, ... —некоторая
ортонормированная система и выполнено любое из условий (13) или (14),
то эта система является базисом.
Приведем примеры сепарабельных гильбертовых пространств и их
базисов.
Пример 1. Пусть Ω = /?, & = SS(R) и Ρ — гауссовская мера,
1 _-**/
Р(-оо, а] = § <р(х) dx, φ(χ) = -==е * /2
л/2^
Обозначим D = — и введем функции
»,Μ = ™£>. „.„.
(15)

§11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 345
Нетрудно найти, что
Οφ(χ) = -χφ(χ),
Ω2φ(χ) = (χ2-\)φ(χΙ
(16)
03φ(χ) = (3χ-χ3)φ(χ),
Отсюда следует, что Нп(х) являются полиномами (называемыми
полиномами Эрмита). Из (15), (16) находим, что
W0(JC) = 1,
Ηι(χ)=χ9
W2(jc) = jc2-1,
Нъ(х) = хъ-?>х,
Простой подсчет показывает, что
оо оо
(Нт,Ня)= $ Hm(x)Hn(x)P(dx) = $ Η„(χ)Ηη(χ)φ(χ)άχ = η\δΙΜ,
— ОО —ОО
где опт — символ Кронекера (0, если тфп, и 1, если m = /z). Поэтому, если
положить
Нп{х)
hn(x) =
у/К\ '
то система этих нормированных полиномов Эрмита {hn(x)}n^o будет
ортонормированной системой. Из функционального анализа известно (см.,
например, [33, гл. VII, § 3]), что если
оо
lim \ ecMP(dx)<oo, (17)
то система функций {1, х, jc2, ...} является полной в L2, т. е. любая функция
η
ζ—ξ(χ) из L2 может быть представлена или в виде Σ а^(х), где 77/(jc) = jc/,
/=ι
или в виде пределов (в среднеквадратическом смысле) этих сумм. Если
применить процесс ортогонализации Грама—Шмидта к
последовательности функций 77ι(*)» ffcW» ··· с ^/W = ^i, то полученная ортонормированная
система будет в точности совпадать с системой нормированный полиномов
Эрмита. В рассматриваемом нами случае условие (17) выполнено.
Следовательно, полиномы {hn(x)}n^o образуют базис и, значит, любая случайная

346 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
величина £ = £(*) на рассматриваемом вероятностном пространстве пред-
ставима в виде
η
i(x) = l.lm.J2{^hi)ht(x). (18)
/=о
Пример 2. Пусть Ω = {0, 1,2, ...} и P = {PU Р2, ...} — пуассоновское
распределение:
Рх = —^, х = 0, 1, ...; λ>0.
Положим Δ/(χ) = f(x) — f(x — 1) (f(x) = 0, χ < 0) и по аналогии с (15)
определим полиномы Пуассона—Шарлье
I— \\пЛпР
Пп(х)={ р, . Ol, По=1. (19)
Поскольку
оо
(Пт,П„) = ]Гпт(;с)Пп(*)/>*
где сп — положительные константы, то система нормированных
полиномов Пуассона—Шарлье {π„(χ)}„^ο» этл(*) = Пл(х)Д/с^, есть ортонорми-
рованная система, которая в силу выполнимости условия (17) является
базисом.
Пример 3. Приводимые в этом примере ортонормированные системы
функций Радемахера и Хаара интересны как для теории функций, так и
для теории вероятностей.
Пусть Ω = [0, 1), ^ = ^([0, 1)) и Р —мера Лебега. Как упоминалось
в § 1, каждое число χ £ [0, 1) может быть однозначно разложено в
двоичную дробь
* = £!. + £* +
где Jti = 0 или 1. (Для однозначности разложения мы уславливаемся
рассматривать только те разложения, которые содержат бесконечное число
нулей. Так, из двух разложений
110 0 0 11
— = - 4-— 4-— 4- = - 4· — 4- — 4·
2 2^22 22 * 2^22 23
мы берем первое.)
Образуем случайные величины ξι(χ), &W» ···» положив
ξη(Χ)=Χη-

§11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 347
Тогда для любых а<, принимающих значения 0 или 1,
р{х: ξι=αι, --->ξη=αη} =
-Р{х: a + p + ... + 2j<Jt<u + g+...+ «J + ^}_
Отсюда непосредственно следует, что ξι, &> ··· образует
последовательность независимых бернуллиевских случайных величин (рис. 30
показывает, как устроены ξχ =ξι(χ) и & = &(*)).
Если теперь положить Rn(x) = 1 - 2ξη(χ), η ^ 1, то нетрудно проверить,
что система {Rn} (функций Радемахера, рис.31) является ортонорми-
рованной:
ι
ERnRm = $ Rn (x)Rn (x) dx = Snm.
о
Заметим, что (1, /?„) = Е/?„ = 0. Отсюда следует, что эта система не
является полной.
fi«
6W
0 113 1
4 2 4
1
-1
Ι ι т
ί ι ! ι *
[2 [
I 1
1—J
ι
-1 l·
3|1 x
4]
I
Рис. 30. Бернуллиевские величины
Рис. 31. Функции Радемахера
Однако систему Радемахера можно использовать для построения так
называемой системы Хаара, которая и проще устроена, и к тому же
является как ортонормированной, так и полной.
Снова пусть Ω = [0, 1), ^" = ^([0, 1)). Положим
//iW = l,
H2(x) = Ri(xl
2''/2/?/+1(jc), если^г^х<~, л = 2'Чй,
#«(*) = 4 K*<2''f /5*1,
в остальных случаях.

348 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Нетрудно проверить, что Нп(х), η ^ 3, можно записать и в таком виде:
#2*+,(Jt)=i-2m/2, 2-^+14jc<2"m,
[θ в других случаях,
#2«+/Μ = #2«+ι(*-^"), / = l,...,2m, m=l,2, ...
На рис. 32 приведены графики первых восьми функций, дающих
представление о структуре образования и поведении функций Хаара.
1
Н2(х)
1
Нз(х)к
' » ' ' ■ χ
' ' ■ X
Нъ{х)
2h
-ι Υ
//βΜ.
2f Л
' »' ■ χ
_2»/2
//7(х)
2
Щ(х)
21/2
' ■> ■ X
1 О
//eWa
2f
о ] ι
1 0
-2 Ψ _21- U —2 k W -21- U
Рис. 32. Функции Хаара Н\(х), ..., //eW
Система функций Хаара является, как нетрудно проверить, ортонор-
мированной. Более того, она полна и в L1, и в L2, т. е. если функция

§11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 349
f = f(x) e Lp для ρ = 1 или ρ = 2, то
S
f(x)^(f,Hk)Hk(x)
k=\
dx->Ot
► oo,
и обладает к тому же тем свойством, что с вероятностью единица (по
лебеговской мере)
£(/.//*)"*(*)-♦/(*). п^оо.
Мы докажем эти факты в § 4 гл. VII, выведя их из общих теорем о
сходимости мартингалов, что, в частности, будет служить хорошей иллюстрацией
применения мартингальных методов в теории функций.
6. Если 77ь ···» Цп — некоторая конечная ортонормированная система,
то, как было показано выше, для всякой случайной величины ξ£Δ2 в
линейном многообразии j£f = JSf(Г71, ..., ηη) можно найти случайную
величину ξ (проекцию ξ на JSf) такую, что
Hi-ill = inf{||i-CI|:CeJfrfoi, ....1*,».
При этом ξ= ]Γ(ξ, 77/)τ7/· Этот результат допускает естественное обобще-
i=l
ние на тот случай, когда η\, щ, ... —счетная ортонормированная система
(не обязательно являющаяся базисом). А именно, справедлив следующий
результат.
Теорема. Пусть η\, щ, ... — ортонормированная система
случайных величин, & = &(щ, щ, ...)—замкнутое линейное многообразие,
порожденное ими. Тогда существует и притом единственный
элемент ξ£ j£f такой, что
При этом
IK-ill = inf{|K-CI|:C€J?}.
| = l.i.m. Σ(ξ,ηί)ηί
It ' *
1 = 1
(20)
(21)
uξ-ξ±ζ,ζe&.
Доказательство. Обозначим d = inf{||£-C||: ££Jzf} и выберем
последовательность Сь &» ... так, что ||ξ — ζη\\—>ά. Покажем, что эта
последовательность является фундаментальной. Простой подсчет показывает,
что
IIC«-U2 = 2||C.-4ll2 + 2||C,-£ll2-4
1Έ(ζη + ζη,)-ξ\

350 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
2(&+0«)-ξ
> dr и, следовательно,
Ясно, что 2 (С/1 +Cm) Ξ-Sf, поэтому
IlC/i — Cmll2 —>0, л, т — оо.
Пространство L2 является полным (теорема 7 § 10). Поэтому
найдется такой элемент ξ, что \\ζη -ξ|| —>0. Множество % замкнуто, поэтому
ξΞ-S?. Далее, ||С — £||-+d, следовательно, ||f-||| = d, что и доказывает
существование требуемого элемента.
Покажем, что ξ — единственный элемент в Jzf с требуемым свойством.
Пусть ξ е& и
1К-£И = 1К-1И = А
Тогда (в силу задачи 3)
lll+|-2e||2 + |||-|||2 = 2|||-€||2 + 2|||-€||2 = 4rf2.
Но
ΙΚ+ί-2ξ||' = 4 5«+0-ί
>4d2
Следовательно, ||ξ — ξ||2 = 0, что и доказывает единственность
«ближайшего» к ξ элемента из J^.
Докажем теперь, что ξ — ξ±ζ,ζ€&.Β силу (20) для любого с бR
Но
1К-1-с<Н>1К-£||.
IK-l-cCII2 = lli-lll2 + c2||CII2-2«-|.cf7).
Поэтому
с2||СИ2>2«-|,сО.
Возьмем с = А(£-|, ζ), XeR. Тогда из (22) получим, что
(ί-Ι,Ο2[λ2||<ΙΙ2-2λ]£0.
(22)
При достаточно малых положительных λ справедливо неравенство
А2||С||2 - 2λ < 0. Поэтому (ξ - ξ, С) = 0, С € J?.
Осталось доказать_представление (21).
Множество & = &(щ9 772, ...) является замкнутым подпространством
в L2 и, значит, само является гильбертовым пространством (с тем же
самым скалярным произведением). Для этого гильбертова пространства
JS? система щУщ, ... является базисом и, следовательно,
| = l.i. m. V(|, tfefa*·
η *—'
(23)
*=ι

§11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 351
Но £-|-Lf7b k^U а значит, (|,/fa) = (ξ, гул), й^О, что вместе с (23)
доказывает (21). ^ D
Замечание. Как и в конечномерном случае, ξ будем называть
проекцией ξ на JS? = -S?(77i, 772» ..·)» ξ — ξ — перпендикуляром, а представление
€ = £+«-£)
— ортогональным разложением.
Величину ξ обозначают (ср. с Ε(ξ\η\, ...,ηη) из п. 3) Ε(ξ\η\, щ, ...) и
называют условным математическим ожиданием в широком смысле
(ξ относительно Т7ь %» ···)· С точки зрения оценивания ξ по г^ь ^2» ···
величина ξ является оптимальной линейной оценкой, ошибка которой
ΔΞΕ|ξ-||2Ξ||ξ-|||2 = ||ξ||2-£|(ξ^,·)|2,
/=1
что следует из (5) и (23).
7. Задачи.
1. Показать, что если ξ = 1.ί.ιη. ξ„, то ||ξΛ||—► ||ξ||.
2. Показать, что если ξ = 1.ί.ιη. ξ„ и 77 = 1.i.m. ηη, το (ξ„, ηη)-+(ξ, 77)·
3. Показать, что норма || · || удовлетворяет свойству «параллелограмма»
1К+ч112+1К-ч112=2(|К||2+|М|2).
4. Пусть {ξι, ..., ξ„} — семейство ортогональных случайных величин.
Показать, что для них справедлива «теорема Пифагора»:
12=Σ пен2·
ί=1
5. Пусть ξι, &> · · · ~ последовательность ортогональных случайных ве-
оо
личин, 5η=-ξ\ +...+ξ#ι. Показать, что если Σ Εξ2<οο, то найдется та-
л=1
кая случайная величина S с ES2<oo, что l.i.m. Sn = S, т.е. ||Srt-S||2 =
= E|S„-S|2^0, я-*оо.
6. Показать, что функции Радемахера Rn могут быть определены
следующим образом:
/?„(*) = sign(sin 2лтгл:), 0<х<1, я = 1,2, ...
7. Доказать, что
\\ξ\\>\\Ε(ξ \П\ Дпя^€/.2(^),
причем равенство имеет место тогда и только тогда, когда ξ = Ε(ξ|ί?) п. н.
8. Доказать, что если ξ, η€ί?(&), Ε(ξ\η)=η, Ε(77|ξ)=ξ, το ξ = η п.н.
Σ β
/=1

352 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
9. Даны три последовательности (£?л(1)), (ifj2)) и (S?j3)) под-а-алгебр <^\
ξ — ограниченная случайная величина. Известно, что для каждого η
itf>Cjr»CStf>. Ε(ς№)ϊ*η, Ε(ξ|*„<3>)-%.
Доказать, что Ε(ξ|%(2)) -^>η.
§ 12. Характеристические функции
1. Метод характеристических функций является одним из
основных средств аналитического аппарата теории вероятностей. Наиболее ярко
это будет продемонстрировано в гл. III при доказательстве предельных
теорем и, в частности, при доказательстве центральной предельной теоремы,
обобщающей теорему Муавра—Лапласа. Здесь же мы ограничимся
определениями и изложением основных свойств характеристических функций.
Прежде йсего сделаем одно замечание общего характера.
Наряду со случайными величинами (принимающими действительные
значения) теория характеристических функций требует привлечения ком-
плекснозначных случайных величин (см. п. 1 § 5).
Многие из определений и свойств, относящихся к случайным
величинам, легко переносятся и на комплексный случай. Так, математическое
ожидание Εζ комплекснозначной случайной величины ζ = ξ + ίη считается
определенным, если определены математические ожидания Εξ и Е77. В этом
случае по определению полагаем Εζ = Εξ + ιΕη. Из определения 6 (§ 5)
независимости случайных элементов нетрудно вывести, что комплексно-
значные величины ζ\=ξ\+ίη\, С2 = ^2 + ^ независимы тогда и только
тогда, когда независимы пары случайных величин (ξι, 771) и (&» V2) или,
что то же самое, независимы σ-алгебры ^ит и «£ξ2,%.
Наряду с пространством L2 действительных случайных величин с
конечным вторым моментом можно ввести в рассмотрение гильбертово
пространство комплекснозначных случайных величин ζ = ξ + ίη с Е|С|2<оо,
где \ζ\2 = ξ2 + η2, и скалярным произведением (Сь C2) = ECiC2, где & —
комплексно-сопряженная случайная величина. В дальнейшем как
действительнозначные, так и комплекснозначные случайные величины будем
называть просто случайными величинами, отмечая, если это необходимо,
о каком конкретно случае идет речь.
Условимся также о следующих обозначениях. При алгебраических
операциях векторы а е Rn будут рассматриваться как вектор-столбцы,
-о-

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
353
а а* — как вектор-строки, a* = (aj,..., an). Если а, 6 £/?л, то под их ска-
лярным произведением (а, 6) будет пониматься величина Σ atbi. Ясно,
/=ι
что (a, b) = a*b.
Если a £ Rn и R= ||г/у|| — матрица порядка η χ /г, то
(Ra, a) = a*Ra = ^ щгца-г (1)
<\/=ι
2. Определение 1. Пусть F = F(x) — /г-мерная функция
распределения в (/?л, 38(Rn)), Jt = (jti, ..., хл). Ее характеристической функцией
называется функция
<p(t)= $ ei{Ux)dF(x), teRn. (2)
Определение 2. Если ξ = (ξι, ..., ξ„) — случайный вектор,
определенный на вероятностном пространстве (Ω, β', Ρ) и принимающей значения
в Rn, то его характеристической функцией называется функция
¥Ч(0=$ e'^d/^W, /£/?", (3)
R"
где /^ = /^(jc) — функция распределения вектора ξ = (ξι, ···» 6i)» * =
= (*ь ...,*л).
Если функция /^(jc) имеет плотность / = /(*), то тогда
<p(t)= $ eiMf(x)dx.
Rn
Иначе говоря, в этом случае характеристическая функция φ(ί) есть не
что иное, как преобразование Фурье функции /(*).
Из (3) и теоремы 7 § 6 (о замене переменных под знаком интеграла
Лебега) вытекает, что характеристическую функцию φ^(ί) случайного вектора
можно определить также равенством
φξ(ί) = Εβί{ί*\ teRn. (4)
Приведем теперь основные свойства характеристических функций,
формулируя и доказывая их лишь в случае η = 1. Некоторые наиболее
важные результаты, относящиеся к общему случаю, даются в виде задач.
Пусть ξ = ξ(α;) — случайная величина, Ft = Ft(x) — ee функция
распределения и
¥>€(/) = Ее"«
— характеристическая функция.

354 ГЛ. Н. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Сразу отметим, что если η = αξ + ϋ, то
φη(ί) = Eeitr> = ЕеЩа*+Ь) = eitbEe^.
Поэтому
φηα) = βί">φξ(αί). (5)
Далее, если ξ\, ξ2, ...,ξη — независимые случайные величины и S„ =
=ξι + ...+ξη,το
П
В самом деле,
η
φ$η(t) = Ее1"'**1 +·+^) = Еей* ...еиЬ = Ее"* ...Ее1"*· = Д ^(/),
/=ι
где мы воспользовались тем, что математическое ожидание произведения
независимых (ограниченных) случайных величин (как действительных, так
и комплексных, см. теорему 6 в § 6 и задачу 1) равно произведению их
математических ожиданий.
Свойство (6) является ключевым при доказательстве предельных
теорем для сумм независимых случайных величин методом
характеристических функций (см. § 3 гл. III). В этой связи отметим, что функция
распределения Fsa выражается через функции распределения отдельных слагаемых
уже значительно более сложным образом, а именно, Fsn = /^, *... * F^, где
знак * означает свертку распределений (см. п. 4 § 8).
Приведем примеры характеристических функций.
Пример 1. Пусть f— бернуллневская случайная величина с Ρ{ξ= 1} =
= Р. Р{£ = 0} = <7, p + q = U 1 > ρ > 0, тогда
Если ξι, ..., ξη — независимые одинаково распределенные (как ξ)
случайные величины, то для Тп = я, находим, что
y/npq
φΤη </) = 'Рз.-пр/уря® = Εβ^-'Λ/"* = e-ity/^[peit/Vm + q]n =
= [peuV^ + qe'li^^]n. (7)
Заметим, что при η —► оо отсюда следует, что
ΨτЛf)^e-ti'2. (8)

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
355
Пример 2. Пусть £~,Ж(т, σ2), \т\ <оо, σ2>0. Покажем, что
^(О-*""-^. (9)
Положим 17= · Тогда η~*Υ(ΰ, 1) и так как в силу (5)
φξ(ή = βί""φη(σί),
то достаточно лишь показать, что
<*,(/) = е-',/2. (Ю)
Следующая цепочка соотношений доказывает эту формулу (10):
ι °°
v>v(t) = Eeitr> = -j= § eitxe-x'2dx =
1 ОО ОО - С» „ оО
^ ) 2^ п\ в ах 2^ п\ y/ϊϊ 1 Х е йХ
оо ,.,чо„ УЛ ч. оо
2/1 /ο„\ι .21 / >2>
^ (2л)Г л 1;- ^ (2л)! 2пп\ 2-Л 2 У л!
л=0 ' /1=0 /1=0
где мы воспользовались тем (см. задачу 7 в § 8), что
-4= Τ χ2ηβ-χ2/2άχ = Εη2η = (2/ζ-1)ϋ
ν2π ·>
Пример 3. Пусть ξ — пуассоновская случайная величина,
Ρ{ξ = *}=£^Γ", 6 = 0,1, ...
Тогда
Μ ~ ^
k=0 *=0
Ee<<« = £ β«*^- =β"λ £ Η^- =βχρ{λ(β" - 1)}. (11)
3. Как отмечалось в п. 1 § 9, с каждой функцией распределения в
(/?, &8(R)) можно связать случайную величину, имеющую эту функцию в
качестве своей функции распределения. Поэтому при изложении свойств
характеристических функций (в смысле как определения 1, так и
определения 2) можно ограничиться рассмотрением характеристических функций
(Ρ(ί) = ψξ(ί) случайных величин ξ = ξ(α;).

356 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Теорема 1. Пусть ξ —случайная величина с функцией
распределения F = F(x) и
— ее характеристическая функция.
Имеют место следующие свойства:
1)М/)|<¥>(0) = 1;
2) φ(ί) равномерно непрерывна по t £/?;
3)<p(t)=<p(-t);
4) φ(ί) является действительнозначной функцией тогда и
только тогда, когда распределение F симметрично (§ dF(x) = § dF(x)y
В е SB{R\ -B = {-x:xe В});
5) если для некоторого О 1 Ε|ξ|Λ<οο, то при всех г^п
существуют производные φ^(ί) и
<pto(f) = \(ix)reitx dF(x\ (12)
R
Ег-^а. (13)
^) = Е^Е^ + ?£«(0, (14)
/•=0
где |ε„(/)Κ3Ε|ξ|" и e„(t)-*0, /-»0;
6) если существует и является конечной ¥><2л)(0), то Εξ2" <οο;
7) если Ε\ξ\η < оо для всех η ^ 1 и
lim ' „ =т<0°'
mo при все* |/|<Г
оо „
/1=0
Доказательство. Свойства 1) и 3) очевидны. Свойство 2) следует из
оценки
И* + А) - у>(01 = |Еей*(е/А* " 1)1 < Е|е/А« - 1|
и теоремы о мажорируемой сходимости, согласно которой E\eihS — 11 —>0
при А—► ().
Свойство 4). Пусть Z7 симметрична. Тогда, если g(x) —
ограниченная борелевская нечетная функция, то { g(x) dF(x) = 0 (заметим, что для

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
357
простых нечетных функций это следует сразу из определения
симметричности F). Поэтому § sin txdF(x) = 0 и, значит,
R
φ(ί) — Ε cos ίξ.
Обратно, пусть ψξ(ί) является действительной функцией. Тогда в
силу 3)
Отсюда (как это будет доказано ниже в теореме 2) следует, что функции
распределения F-ξ и /^ случайных величин -ξ и ξ совпадают, а значит
(по теореме 1 § 3),
Ρ{ξ£Β} = Ρ{-ξ6Β} = Ρ{ξε-Β}
для любого В е BS(R).
Свойство 5). Если Е|£|л <оо, то в силу неравенств Ляпунова (28) § 6
Е|£|г<оо, г ζ п.
Рассмотрим отношение
Поскольку
и Ε|ξ| < оо, то по теореме о мажорируемой сходимости существует
Λ—>оо \ П /
равный
Ев"€ Ит(^-^)=/Е«в"€) = |· J xeitxdF(x). (16)
— оо
Поэтому существует производная φ'(ί) и
φ'{ί) = ίΕ{ζβι'ξ) = ι J xeitxdF(x).
— оо
Существование производных φ^(ί), 1 <г^я, и справедливость
формул (12) устанавливаются по индукции.
Формулы (13) следуют непосредственно из (12). Установим
справедливость представления (14).

358 ГЛ. И. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Поскольку для действительных у
""' (iy)k , Ш\
где |0i|< 1, М<1, то
eiy = cos у + / sin у = ]Г Щ- + ^- [cos θχу + / sin в2у],
П ' №)k ^ №)"
Й€ = Е И + ^ lcosiiMi{ + /sini2(a;)i{] (17)
*=0
где
Ee,ii = g (^Е€* + М11ЕГ + еж(0], (18)
*=0
ert(0 = EKrt(cos ίιΜ/ξ + ί sin 02Μ/ξ- 1)].
Ясно, что |εΛ(/)| ^ЗЕ|£Л|, причем по теореме о мажорируемой сходимости
Свойство 6). Доказательство будем вести по индукции. Предположим
сначала, что производная φ"(ΰ) существует и конечна. Покажем, что тогда
Εξ2 < оо. По правилу Лопиталя и лемме Фату
I |У(2А)-У(0) + у/(0)-У(-2*Л =
2/г 2/г
—оо —оо
—оо —оо
Поэтому
оо
$ х2<*/=·(*)<-У'(0)<оо.
— ОО
ОО
Пусть теперь <р(2*+2)(0) существует, конечна и § jc2* d/^jt) < оо. Если
— оо
оо оо
§ x2k dF(x) = 0, то и § jc2*+2 dF(x) = 0. Так что будем предполагать, что

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
359
С x2kdF(x) > 0. Тогда, согласно свойству 5),
—оо
φ№\ή= f (ix)2keitx dF(x)
—оо
и, значит,
(-1)У2*>(0= f eitxdG(x),
—оо
гдеО(*) = $ u2kdF(u).
— ОО
Следовательно, функция (—l)*^2*^)^""^00) является
характеристической функцией вероятностного распределения G(x) · G_1(oo) и по
доказанному
оо
G-,(oo) ξ x2dG(x) <oo.
—оо
Но G_1(oo)>0, значит,
оо оо
5 л:2*+2 dF(x) = ξ *2dG(.*)<oo.
— ОО —ОО
Свойство 7). Пусть 0 < to < Т. Тогда, используя формулу Стирлинга
(формула (6) в § 2 гл. I), находим, что
η t0 η \ п\ J
Следовательно, по признаку Коши ряд Σ Ε\ξ\*4ξ/η\ сходится, а значит,
оо /цу
сходится и ряд Σ 1-ρ-ΕξΓ для любого |/| ^ /о· Но в силу (14)
г=0
где \R„(t)\ < зЦ-Е|£|". Поэтому для всех \t\ < Τ
п\
Hfftzcr
г=0

360 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Замечание 1. Аналогично доказательству (14) устанавливается, что
если для некоторого η ^ 1 Ε\ξ\η < оо, то
*0 = Σ Т^ ? JetodFM+y^bV-s), (19)
k=0 ' -оо
где |ея(/-5)|<ЗЕ|{я| иея(/-5)->0, t-s-+Q.
Замечание 2. По поводу условия, фигурирующего в свойстве 7),
см. также далее п. 9, посвященный вопросу о «единственности проблемы
моментов».
4. Следующая теорема показывает, что характеристическая функция
однозначно определяет функцию распределения.
Теорема 2 (единственности). Пусть F и G — две функции
распределения, имеющие одну и ту же характеристическую функцию,
т. е. для всех t eR
J eitxdF(x)= °5 eitxdG(x). (20)
—оо —оо
Тогда F(x) = G(x).
Доказательство. Зафиксируем а, Ь £ /?, е > 0 и рассмотрим функцию
fe = /e(jc), изображенную на рис. 33. Покажем, что
оо оо
fe(x)\ 5 fe(x)dF(x)= ξ fe(x)dG(x). (21)
J J ^ — ОО —OO
I—^—« ■ >i Пусть /ζ ^ 0 таково, что [α, 6 + ε] С
0 а а+е Ь b+ε /- г ι ,f ^
С [—/ζ, /ζ], и последовательность {ол} такая,
Рис. 33. что 1 ^ δη 10, /ζ —► оо. Как всякая
непрерывная на [-/ζ, /ζ] функция с равными
значениями в концевых точках, функция /e = /e(jc) может быть равномерно
аппроксимирована (теорема Вейерштрасса—Стоуна)
тригонометрическими полиномами, т. е. существует конечная сумма
такая, что
№ = Х>ехр(игл^) (22)
sup \Г(х)-Ш\<*». (23)
—п^х^п
Продолжим периодически функцию /„(*) для всех χ eR и заметим, что
sup|#(x)|<2.

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
361
Тогда, поскольку в силу (20)
f fen(x)dF{x)= °{ f:(x)dG(x),
то
$ Г(х)аР(х)- $ f(x)dG(x)
$ fdF- j /edG
$ tfrfF- $ /*dG
—/I
oo
+ 2$„^
$ tfdf- J /;rfo
+ 2«я + 2^([-я,я]) + 20([-я,я]), (24)
где F(A) = 5 dF(x), G(A) = ξ dG(jt). При я —► oo правая часть в (24) стре-
Л А
мится к нулю, что и доказывает равенство (21).
При ε—►() функции /е(*)-* Wl(*)· Поэтому по теореме о
мажорируемой сходимости из (21) следует, что
оо оо
$ f(aM(x)dF(x)= $ ha,b](x)dG(x),
— ОО —ОО
т. е. F(b) - F(a) = G(b)- G(a), откуда в силу произвольности а и b следует,
что F(x) = G(x) для всех χ £ R. О
5. Предыдущая теорема говорит о том, что функция распределения
F = F(x) однозначно восстанавливается по своей характеристической
функции φ = φ(ΐ). Следующая теорема дает явное представление функции
F через φ.
Теорема 3 (формула обращения). Пусть F = F(x) —функция
распределения и
оо
<p(t)= $ eitxdF(x)
— ее характеристическая функция.
а) Для любых двух точек а, Ь (а < Ь), где функция F = F(x)
непрерывна,
т-т-ь&а S
1 ' e-Ua_g-Ub
φ(ί) dt.
(25)

362 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Ь) Если § \<p(t)\dt <оо, то функция распределения F(x) имеет
плотность /(*),
F(x) = $ f(y)dy,
(26)
/W=i $ e-itx4>{t)dt.
(27)
Доказательство. Прежде всего отметим, что если функция F{x)
имеет плотность f(x), то
ψ(ί)= $ eitxf(x)dx,
(28)
и поэтому формула (27) есть не что иное, как преобразование Фурье от
(интегрируемой) функции φ(ί). Интегрируя левую и правую части (27) и
применяя теорему Фубини, получим
F(b)-F{a) = \f(x)dx = ±-\
$ e-"x<p(t)dt
-i S **>
—oo
6
s·
,-ifjr
djc
djc =
1 ~ е-«а_е-й*
dt=± $ */)i
2π J ΊΓν"/ i/
—oo
Λ.
После этих рассмотрений, объясняющих до некоторой степени
формулу (25), перейдем к ее доказательству,
а) Имеем
Фез— \
с 2π J
1 £ e-ita _e-«»
*>w«=s $
£ 0-ita_0-itb
1
= 2^ J
—oo
где мы положили
1_ г e *"* - e
2π J ι7
J eitxdF(x)
dt =
J
it
eitxdt
dF(x) = $ ФЛ*)^*). (29)
•<w=s 5
1 f e-ita-e-itb iiXA4
— eltx dt
it
и воспользовались теоремой Фубини, справедливость которой в данном
случае следует из того, что
\e-ita-e-itbcitx
ι е-На _ e-itb ,
ry-itx
dx
<*b-a

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
363
5 5 (Ь - a) dF(x) dt ^ 2c(b - α) < оо.
—с —оо
Далее,
с
т . ч 1 г* sin /(jt-a)-sin t(x-b) ,.
*^)=a? J г d/ =
—с
, с(х-а)
1 с sin ϋ , ι r sin w , /ОГкч
= 7Г \ dv - — \ du. 30)
—c(jf—a) — c(jr—o)
Функция
t .
, ,4 r sin ϋ ,
s
равномерно непрерывна no s и / и
g{s,t)-+* (31)
при 5 | —оо и /1 оо. Поэтому существует такая константа С, что для всех
с н χ |Фс(л:)| < С < оо. Кроме того, из (30) и (31) следует, что
Фс(х)-+Ф(х), с-+оо,
где
{0, χ < а или х> Ь,
1/2, лг = аилил: = 6,
1, а<х<Ь.
Пусть μ —мера на (/?, ^(/?)) такая, что μ(α, 6] = /7(6)-/7(α). Тогда,
применяя теорему о мажорируемой сходимости и пользуясь формулами
задачи 1 в § 3, находим, что при с —► оо
—оо —оо
= F(b-) - F(a) + \ [F(a) - Да-) + F(b) - F(b-)} =
= m-F(b-)_F(a) + F(a-)=zm_F{al
где последнее равенство справедливо для любых точек а и 6, являющихся
точками непрерывности функции F(x).
Итак, формула (25) доказана.

364 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Ь) Пусть § MOI dt < оо. Обозначим
— оо
Из теоремы о мажорируемой сходимости следует, что эта функция
непрерывна по χ и, значит, она интегрируема на интервале [а, Ь]. Поэтому, снова
применяя теорему Фубини, находим, что
lf{x)dx = \l-l J e-itx<p(t)dt)dx =
а
оо
-s S *«
^—оо
^6
S·
.—f/JC
dx
—с
1 e-ita-e
с-юо 2π
= lim \ 7Γ·
Λ =
—с
tf
a J
ip(t)dt=F(b)-F(a)
для всех точек α и b, являющихся точками непрерывности функции F(x).
Отсюда вытекает, что
F(x)= I f(y)dy, xeR,
а так как f(x) — непрерывная, a F(x) — неубывающая функции, то f(x) есть
плотность /^(jc). D
Замечание. Формула обращения (25) дает другое доказательство
утверждения теоремы 2.
Теорема 4. Для того чтобы компоненты случайного вектора
£ = (£ь ···» ζη) были независимы, необходимо и достаточно, чтобы
его характеристическая функция была произведением
характеристических функций компонент:
η
Ее/('*|+ ·■■+'«&> = JJ Ee^*, (tu .... /Я)€ЛЯ.
Доказательство. Необходимость следует из утверждения задачи 1.
Для доказательства достаточности обозначим F = F(jci, ..., лгл) — функцию
распределения вектора ξ = (ξ\, ..., ξη) и /^(jc) — функцию распределения
&» 1 <Λ</ι. Положим G = G(jci, ..., xn)=:F\(x\)...Fn(xn). Тогда по теореме

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
365
фубини для всех (t\, ..., tn) £ Rn
η
$ e?{tlXi+~+taXa)dG(xu...,Xn) = l[ \eu>x>dFk(xk) =
η
= П Ее"л = Ее/(/|€|+-+/-€->= 5 ei{Ux^^tnXn)dF(xx, ...,4
Поэтому по теореме 2 (точнее, по ее многомерному аналогу; см. задачу 3)
F = G, и, следовательно, согласно теореме из § 5, величины ξι, ...,ξ„
независимы. D
6. В теореме 1 сформулированы некоторые необходимые условия,
которым удовлетворяет характеристическая функция. Таким образом, если
для функции φ = φ(ί) не выполняется, скажем, одно из первых трех
утверждений этой теоремы, то это означает, что рассматриваемая функция не
является характеристической.
Сложнее обстоит дело с проверкой того, является ли интересующая
нас функция φ = φ(ί) характеристической. Сформулируем (без
доказательств) ряд результатов в этом направлении.
Теорема (Бохнера—Хинчина). Пусть φ(ί) — непрерывная
функция, teR, и <^(0)=1. Для того чтобы φ(ί) была
характеристической, необходимо и достаточно, чтобы она была неотрицательно
определенной, т. е. для любых действительных t\, ..., tn и любых
комплексных чисел Х\, ..., \п, п= 1, 2, ...,
η
^tpiti-tjMiZO. (32)
Необходимость условия (32) очевидна, поскольку если
оо
φ{ί)= I eitxdF(x),
— ОО
ТО
η оо Ι η 12
~ ~ dF(x)^Q.
Σ λ*"**
k=\
Труднее доказывается достаточность условия (32). (См. [69, т. 2, XIX.2].)
Теорема (Пойа). Пусть непрерывная, четная и выпуклая книзу
на (—оо, 0) (а значит, и на (О, оо)) функция φ(ί) такова, что φ(ί)^0,
φ(0) = 1, φ(ί) —>О при t-+oo. Тогда φ(ί) является характеристической
Функцией ([69, т. 2, XV.2]).

366 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Эта теорема дает весьма удобный способ конструирования функций,
являющихся характеристическими. Таковыми будут, например, функции
¥>2(0 =
|/|<1,
|/|>1.
Таковой будет и функция <^з(0» изображенная на рис. 34. На интервале
[-а, а] функция φ^(ί) совпадает с функцией <р2(0· Однако отвечающие им
функции распределения /^ и F^ очевидно, различны. Этот пример
показывает, что для совпадения функций распределения недостаточно, вообще
говоря, совпадения их характеристических функций на конечном
интервале.
¥>з(0
Рис. 34.
Теорема (Марцинкевича). Если характеристическая функция
φ(ί) имеет вид ехр £P(t), где £P(t) — полином, то степень этого
полинома не может быть больше двух [135, 7.3].
Из этой теоремы вытекает, например, что функция ехр(—t4) не является
характеристической функцией.
7. Следующая теорема является примером результата,
показывающего, как по свойствам характеристической функции случайной величины
могут быть сделаны нетривиальные заключения о структуре этой величины.
Теорема 5. Пусть ψξ(ί) — характеристическая функция
случайной величины ξ.
а) Если |<£ξ(/ο)| = 1 для некоторого /от^О» то случайная величина
ξ является решетчатой с шагом η = тгт» т.е.
Ко!
ζ Ρ{ξ = α + /ζΛ}=1,
(33)
где а — некоторая константа.

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
367
b) Если \ψξ(ή\ = |^(α')Ι= 1 для двУх различных точек t и at, где
а — иррациональное число, то случайная величина ξ является
вырожденной:
Р« = а>=1.
где а — некоторая константа.
c) Если \ψξ(ί)\ ξ 1, то случайная величина ξ вырождена.
Доказательство, а) Если |<£ξ(/ο)| = Ι, ίοτ^Ο, то найдется число а
такое, что для этого to (p(to) = eitoa. Тогда
оо оо
eit0a= ^ ei,oXdF(x) => 1= 5 е"о{х-а) dF(x) =►
—оо —оо
оо оо
=> 1= 5 cos t0(x-a)dF(x) => § [1 -cos t0(x-a)]dF(x) = Q.
—оо —оо
Поскольку 1 —cos to(x-a)^0, то из свойства Н (п. 2 § 6) следует, что
(Р-п.н.)
l=cos /ο(ξ-α),
что эквивалентно соотношению (33).
Ь) Из предположения \φξ(ή\ = \φζ(αί)\ = 1 и (33) следует, что
Σ p{f-+?«}- Σ ρ{ί-»+|-}.ι.
л=—оо m=—оо
Если ξ не является вырожденной, то тогда в множествах
{а + уя,я = 0,±1, ...} и {fc + ^m, m = 0, ±1, ...}
найдутся по крайней мере две совпадающие точки:
, 2π . , 2π , 2π , , 2π
ί at t at
откуда
2тг, ч 2π, ч
— (/z1-/z2)=^-(mi-m2),
что противоречит предположению об иррациональности числа а.
Утверждение с) следует из b). D
8. Пусть ξ = (ξι, ..., &) — случайный вектор,
— его характеристическая функция. Будем предполагать, что для
некоторого η ^ 1 Ε |& |rt < оо, i = 1,..., k. Из неравенства Гёльдера (29) § 6 и
неравенства Ляпунова (27) § 6 следует, что существуют (смешанные) моменты
^£Р · · ·С*) Λ™ всех неотрицательных ν\,..., щ таких, что щ +... + Vk < п.

368 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Как и в теореме 1, из этого выводится существование и непрерывность
частных производных
для ι/ι +... + ϊ/£</ζ. Тогда, разлагая φζ(ί\9 ..., tk) в ряд Тейлора, найдем,
что
где|/| = |/|| + ... + |/*|и
«? ^-Eff...^
— (смешанный) момент порядка ν = (ν\, ..., ^).
Функция <Ρξ(/ι, ..., tk) непрерывна, <Ρξ(0, ..., 0)= 1, и поэтому в
некоторой окрестности нуля (|/| <δ) она не обращается в нуль. В этой
окрестности существуют и являются непрерывными частные производные
где под In z понимается главное значение логарифма (если z = rel9y
—π < θ < π, το In г полагается равным In г + /0).
Поэтому In <^ξ(/ι,..., tk) может быть представлен по формуле Тейлора
In <*(*,,..., 4)= Σ 7ϊΓ^τ4" ^Р-'Г+°(И"). (35)
Ι/,+... + 1/fc^rt
где коэффициенты si1'1 "*' называют (смешанными) семиинвариантами
или кумулянтами порядка ^ = (ιί, ..., &ъ) вектора ξ = (ξι, ..., ξ*).
Заметим, что если ξ и η — два независимых вектора, то
\ηφξ+ην) = \ηφξ{ί) + \ηφη(ί), (36)
и поэтому
4"*)=5Г ы+4"1 ч <37)
(Именно это свойство и оправдывает название «семиинвариант».)
Чтобы упростить запись и придать формулам (34), (35) «одномерный»
вид, введем следующие обозначения.
Если ι/ = (ι/ι, ..., Vk) — вектор с неотрицательными целочисленными
компонентами, то положим
ι/! = ι/ι!...ι/*!, Μ = «Ί + ... + «Ά. Г = /р.../^.
Пусть также s^ =5^ щ\ т£] = тр Ч

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
369
Тогда представления (34), (35) примут следующий вид:
;И
«('>= Σ τγ^Γ^+^Ι'Γ). (38>
м<«
|1И
Следующая теорема и ее следствия дают формулы связи моментов и
семиинвариантов.
Теорема 6. Пусть ξ = (ξι, ..., &) — случайный вектор с Ε|ξ,-|rt < оо,
i = 1, ..., й, η ^ 1. 7огда для всех ι/ = (ии ..., i/k) с \ν\ ^ η
St
SM= \- Η)'"1 «ί ΤΤ m(A«) Ml)
где Σ означает суммирование по всем упорядоченным на-
борам целых неотрицательных векторов \{р\ |λ(ρ)|>0, дающих в
сумме вектор и.
Доказательство. Поскольку
<^(0 = ехр(1п<^(0),
то, разлагая ехр по формуле Тейлора и учитывая (39), получим
**w=!+Σ if Σ ^4λ)'Ύ+ο(ΐ<η· <42>
Сравнивая члены при tx в правых частях (38) и (42) и учитывая, что
|λ<ι>| +... + |λ<*>| = \\М + ... + А<*>|, получаем формулу (40).
Далее,
1+ Σ ^ЧА)'А+°(1'И
In <^ξ(/) = 1η
При малых ζ справедливо разложение
1п(1+z) = JP (""1)<У"1г^ + о(г/|).
(43)
9=1

370 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Применяя это разложение к (43) и сравнивая затем коэффициенты при tx
с соответствующими коэффициентами в правой части (38), получим
формулу (41). D
Следствие 1. Справедливы следующие формулы, связывающие
моменты и семиинварианты:
{πλω+...+Γχλ«=ι/> ' ' /=ΐ
5'">=
^ (-ΐ)"-'(7-ΐ)! и π r.jA<V/
ί Ζ^ Γ,!...ΛΧ! (A<1>!)f'...(A<Jt)!)'·'
Π [<Τ>
{Γ,λ,,)+...+/·Ιλ('>=ι/> " " ,---,---,---, /=,
(45)
где J3 означает суммирование по всем неупорядочен-
{Γ,λ(,)+...+Γχλ<')=ι/}
ным наборам различных целых неотрицательных векторов λ(/\
|λ(/)|>0, и по всем упорядоченным наборам целых положительных
чисел rj таким, что г\ λ(1) +... + rxA(jf) = v.
Для доказательства (44) предположим, что среди векторов А(1\ ..., \(q\
участвующих в формуле (40), г\ векторов равны λ(/,), ..., гх векторов
равны λ(/χ) (ry- >0, r\ +... + rx = q), причем все векторы A(is) различны.
Существует ровно —^—j различных наборов векторов, совпадающих
с точностью до порядка с ^набором {λ(1\ ..., λ(^}. Но если два набора,
скажем, {λ(1\ ..., λ(<7)} и {λ(1), ..., λ(^}, отличаются лишь порядком, то
Π 5£ )= Π 5£λ *· Поэтому, отождествляя наборы, совпадающие с
р=\ р=1
точностью до порядка, из (40) получаем (44).
Аналогичным образом из (41) выводится формула (45).
Следствие 2. Рассмотрим частный случай, когда ι/ = (1,..., 1). В этом
случае моменты ατζΙ^ξΕ^ι ...ξΛ и соответствующие семиинварианты будем
называть простыми.
Формулы связи простых моментов и семиинвариантов получаются из
приведенных формул. Однако их удобнее записать по-другому.
Для этого введем следующие обозначения.
Пусть /ξ = {1, 2, ..., k) — множество индексов компонент вектора ξ =
= (£ь ···» &)· Если / С/ξ, то через ξ/ будем обозначать вектор, состоящий
из тех компонент вектора ξ, индексы которых принадлежат /. Пусть χ(/) —
вектор {χι, ..., xrt}, у которого Χ/= 1, если /£/, и χ/ =0, если i£I. Эти
векторы находятся во взаимно однозначном соответствии с множествами

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
371
/ С /ξ. Поэтому обозначим
mc(/) = m<*(/)\ 5ξ(/) = 4*(/))·
Иначе говоря, т$(Г) и 5ξ(/) являются простыми моментами и
семиинвариантами подвектора ξ/ вектора ξ.
Далее, в соответствии с определением, данным на с. 29, назовем
разбиением множества / неупорядоченный набор непересекающихся непустых
множеств 1р такой, что Σ ΙΡ = Ι.
ρ
С учетом этих обозначений имеют место формулы
т^= Σ ГЫм. <46>
Σ /,=/ Р
Я
Ч(1)= Σ (-«)'"'(9-1)'· Π m«^). (47)
JL P=l
где Σ означает суммирование по всевозможным разбиениям
Σ /р=/
множества /, 1 ^ q < N(/), N(/) — число элементов множества /.
Для доказательства представления (46) обратимся к формуле (44).
Если ν = χ(Ι) и λ(1) + ... + λΜ = ι/, то А(^ = х(/Р), /рС/, все А('> различны,
Α(^! = ι/!= 1 и каждому неупорядоченному набору {χ(Λ),..., x(Iq)} взаимно
я
однозначно соответствует разбиение /= Σ V Следовательно, формула
р=\
(46) вытекает из (44).
Аналогичным образом из (45) выводится справедливость
представления (47).
Пример 4. Пусть ξ — случайная величина (k = 1) и тп = т^ = Εξ",
Sn = s£\ Тогда из (40) и (41) получаем следующие формулы:
m2 = s2 + s?,
m3 = s3 + 3siS2 + s?, (48*
Ш4 = 54 + 3sf + 45j53 + 65^52 + S*,

372 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
И
52 = ГП2 — т2х = ϋξ,
53 = гпз - Ът\гп2 + 2т\у (49)
54 = Ш\ - Зт| - Агп\пгз + \2rn\tri2 - 6т*,
Пример 5. Пусть ξ~Λ^(/η, σ2). Поскольку, согласно (9),
/2σ2
ln^(/) = «m —,
то в силу (39) 5i = т, 52 = σ2 и все семиинварианты, начиная с третьего,
равны нулю, т. е. sn = 0, η ^ 3.
Заметим, что в силу теоремы Марцинкевича функция вида ехр &(t), где
£P(t) — полином, может быть характеристической только в том случае,
когда степень этого полинома не больше двух. Отсюда, в частности, вытекает,
что гауссовское распределение является единственным распределением,
обладающим тем свойством, что все его семиинварианты sn, начиная с
некоторого номера η ^ 3, обращаются в нуль.
Пример 6. Если ξ — пуассоновская случайная величина с параметром
λ>0, то, согласно (11),
1п^(0 = А(е''-1).
Отсюда следует, что для всех η ^ 1
5„ = λ. (50)
Пример 7. Пусть ξ = (ξι, ..., ξ*) — случайный вектор. Тогда
тс(1) = 5С(1),
Α7Ζξ(1,2)=5ξ(1,2) + 5ξ(1)5ξ(2),
ηξ(19 2, 3) = 5ξ(1, 2, 3) + 5ξ(1, 2)5ξ(3) + 5ξ(1, 3)5ξ(2) + (51)
+ 5ξ(2,3)5ξ(1) + 5ξ(1)5ξ(2)5ξ(3),
Эти формулы показывают, что простые моменты выражаются через
простые семиинварианты весьма симметричным образом. Если положить
ξι =& = ··· = &> то из (51) получатся, конечно, формулы (48).
Из (51) становится понятным «групповое» происхождение
коэффициентов в формулах (48). Из (51) следует также, что
8ξ{\,2) = ηξ(\,2)-ηξ(\)ηξ(2) = Εξιξ2-ΕξιΕξ2, (52)
т. е. 5^(1, 2) есть не что иное, как ковариация случайных величин ξι, ξ2·

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
373
9. Пусть ξ — случайная величина с функцией распределения F(x) и
характеристической функцией φ(ί). Предположим, что существуют все
моменты ιηη = Εξη, О 1.
Из теоремы 2 следует, что характеристическая функция однозначно
определяет распределение вероятностей. Поставим сейчас следующий
вопрос (единственность проблемы моментов): однозначно ли определяют
моменты {тп}п^\ распределение вероятностей?
Точнее, пусть F и С- две функции распределения, у которых все
моменты совпадают, т. е. для всех целых η ^ О
5 xndF(x) = $ xndG(x). (53)
Спрашивается, вытекает ли отсюда совпадение функций F и G?
Вообще говоря, ответ на этот вопрос отрицательный. Чтобы в этом
убедиться, рассмотрим распределение F с плотностью
М
_(ke-ax\ x>0,
~\0, *<0,
где а>0, 0< А< 1/2, а константа k выбрана из соображений нормировки
оо
$ f(x)dx=l.
о
Обозначим β = a tg λπ, и пусть g(x) = 0 для χ < 0 и
g(x) = ke-"xX[l+esm№xx)l |ε|<1, jc>0.
Ясно, что g(x) ^ 0. Покажем, что при всех целых η ^ 0
J jtrte-QJfA sin/?jtAdjt = 0. (54)
о
Известно, что для ρ > 0 и комплексных q с Re <7 > 0

374 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Положим здесь ρ = (η + 1 )/λ, q = α + //?, / = χλ. Тогда
о
oo
= λ 5 xne~ax cos βχαάχ-ί\ ^ xne~QX s\r\Pxxdx =
о о
(55)
Q λ (1+/ tg\n) λ
Ho
/i+l /i+l /i+l
(1 + / tg λπ)"a = (cos λπ + / sin λπ)"Τ"(cos λπ) λ" =
= eM/i+i)(cos д^-^1 =cos π(Π+ 1). (cos λπ)"^,
поскольку sin π(η + 1) = 0.
Тем самым правая часть в (55) является действительной и, значит, при
всех целых η ^ 0 справедлива формула (54). Возьмем теперь в качестве
G(x) функцию распределения с плотностью g(x). Тогда из (54) следует,
что у функций распределения F и G все моменты совпадают, т. е. для всех
целых О 0 справедливы равенства (53).
Приведем теперь некоторые достаточные условия, обеспечивающие
единственность проблемы моментов.
Теорема 7. Пусть F = F(x) — функция распределения и для п^ 1
μ„= \ \x\"dF(x).
— ОО
Если
1//ι
lim ^-<oo, (56)
/ι—юо П
oo
то моменты {тп}п^[, где тп = § хп dF(x), однозначно определяют
—оо
функцию распределения F = F(x).
Доказательство. Из (56) и утверждения 7) теоремы 1 следует, что
найдется такое /о>0, что для всех |/|^/о характеристическая функция
оо
φ(ί) = § eitx dF(x) представима в виде
—оо
k=0

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
375
и, следовательно, моменты {тп}п^\ однозначно определяют значение
характеристической функции φ(ί) для всех |/| < /о·
Возьмем точку 5 с \s\ ^ to/2. Тогда из (56), так же как и при
доказательстве (15), выводится, что для всех \t -s\ < /о
^)=Ei4fL^)^
где
oo
V?<*)(5) = /* S xkei$xdF(x)
однозначно определяется по моментам {тп}п^\. Следовательно, эти мо-
3
менты определяют однозначно φ(ί) для всех |ί|^ό*ο· Продолжая этот
процесс, убеждаемся в том, что {тп}п^\ определяют однозначно φ(ί) при
всех /, а значит, и функцию распределения F(x). Π
Следствие 1. Моменты однозначно определяют распределение
вероятностей, сосредоточенное на конечном интервале.
Следствие 2. Для единственности проблемы моментов
достаточно, чтобы
Ш (J^l<00, (57)
л—oo 2n v '
Для доказательства нужно лишь заметить, что нечетные моменты
оцениваются по четным, и затем воспользоваться условием (56).
Пример. Пусть F(x) — функция нормального распределения,
F(x) = -~= \ e~2? dt.
Тогда т2Л+1=0, т^п — ι^Γ\σ<λη и из (57) следует, что эти моменты
являются моментами только нормального распределения.
Приведем в заключение (без доказательства)
Критерий Карлемана (единственности проблемы моментов);
[69, т. 2, VII.3].
а) Пусть {тп}п^\ —моменты некоторого распределения
вероятностей, причем
Σ
1
= оо.
n (m2n)l/2n
Тогда они определяют распределение вероятностей однозначно.

376 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Ь) Если {тп}п^[ —моменты распределения, сосредоточенного на
[О, оо), то для однозначности достаточно потребовать, чтобы
°° 1
/1=0
10. Пусть F = F(x) и G = G(x) — функции распределения с
характеристическими функциями / = /(/) и g = g(t) соответственно. Следующая
теорема, которую мы приводим без доказательства, показывает, как можно
оценить близость F и G (в равномерной метрике) в терминах близости
fug. (По поводу применений этой теоремы см. § 11 гл. III.)
Теорема (неравенство Эссеена). Пусть G(x) имеет производную
G'(x) с sup \G'(x)\ ^ С. Тогда для каждого Т>0
X
Τ
sup №)-C(x)|<M |/(0"g(0U + |isup \G'(x)\.
* о *
11. На следующей странице приведены две таблицы
характеристических функций φ(ί) некоторых часто встречающихся распределений
вероятностей; см. таблицы распределений (вместе с их параметрами) на с. 196
и 197.
12. Задачи.
1. Пусть ξ и η — независимые случайные величины, /(*) = /1М + //2М»
g(x) = gi (x) + ig2(x), где /*(х), gk(x) — борелевские функции, й = 1, 2.
Показать, что если Ε|/(ξ)| <οο, E|g(£)| <oo, то
Ц№И1)\«х>
и
Ε/(Οί(4) = Ε/(ί)·Εί(4).
2. Пусть ξ = (ξι, .... 6.) и Ε||ξ||" < оо, где ||ξ|| = y/Σ^. Показать, что
^w=E£E(i'0*+e-(i)||i|1,1·
где/ = (/ь ...,/„) и ел(/)-*0,/-*0.
3. Доказать теорему 2 для /z-мерных функций распределения F =
= Fn(x\, ...,*„) и G = Gn(xu .... Jfii).
4. Пусть F = F(x\, ..., а:л) — n-мерная функция распределения, </? =
= ^(/ь ..., /„) — ее характеристическая функция. Используя
обозначение (12) § 3, установить справедливость формулы обращения
\ г ί Λ e~itkuk - e~itkbk
v ' -c -c k=\ *

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
377
Таблица 4
Дискретные распределения
Дискретное равномерное
Бернуллиевское
Биномиальное
Пуассоновское
Геометрическое
Отрицательно-биномиальное
Характеристические функции
1 g" (1-е"*)
q + pe"
[q + pe" Г
exp{A(e"-l)}
Ρ
\-qeu
Γ Ρ V
l\-qe'lti
Таблица 5
Распределения,
имеющие плотность
Характеристические функции
Равномерное
на [а, Ь]
Нормальное, или
гауссовское
Гамма
Бета
Экспоненциальное
Двустороннее
экспоненциальное
Хи-квадрат
Стьюдента, или
/-распределение
Коши
it(b-a)
ехр{/*т-^у-}
(1-ιϊ/3Γβ
(ιϊ)*Γ(α + «
Τ(α + β) ψ,
Γ(α) £Ό к\Г(а + 0 + к)Г(\+к)
Λ
\-it
X2eita
/2 + λ*
(\-2ityn/2
уЕГ((п+1)/2) exp{-yg)l/[ V/9ttir» /9 /Й1/1У
Г(я/2) 2*<-'>(т-1)! ^*)!C«-'+*<2V"l'l)
если m = — целое число
p-0|'l
m-1-Λ
(В приведенной выше формуле обращения (а, Ь] является интервалом
непрерывности функции Ρ (α, Ь], т. е. при всех й= 1, ..., η точки а^, bk
являются точками непрерывности маргинальных функций распределения
Fk(xjt), полученных из F(x\, ...дл), если положить все переменные, за
исключением xk, равными +оо.)

378 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
5. Пусть (pk(t), k^ 1, — характеристические функции, а
неотрицательные числа λ*, k ^ 1, таковы, что Σ λ* = 1. Показать, что функция Σ \k<fk(f)
является характеристической.
6. Если <p(t) — характеристическая функция, то будут ли Re φ(ί) и
Im φ(ί) характеристическими функциями?
7. Пусть φ\9 ψ2, <рз — характеристические функции и φ\φ2 — φ\φζ·
Следует ли отсюда, что ψ2 = ψζϊ
8. Доказать справедливость формул, приведенных для
характеристических функций в табл. 4 и 5.
9. Пусть ξ — целочисленная случайная величина и ψξ(ί) — ее
характеристическая функция. Показать, что
P{£ = 6}=i- j e^ViW*, й = 0,±1,±2, ...
—π
10. Показать, что в пространстве L2 = L2((—π, π], «^(-π, π]) с мерой
Лебега μ система функций |-т=е/А/|, /ζ = 0, ±1, ...} образует ортонор-
мированный базис.
11. В теореме Бохнера—Хинчина предполагается, что
рассматриваемая функция φ(ί) является непрерывной. Доказать следующий результат
(Рисе), показывающий, в какой степени можно отказаться от
предположения непрерывности.
Пусть φ = φ(ί) — комплекснозначная измеримая по Лебегу функция
с <^(0) = 1. Тогда функция φ = φ(ί) является положительно определенной
в том и только том случае, когда она совпадает (почти всюду
относительно лебеговой меры на числовой прямой) с некоторой характеристической
функцией.
12. Какие из функций
<p(t) = e-W*9 (К Ж 2, <p(t) = e-W\ й>2,
*>(/) = (1 +ИГ1. ν(0 = (ΐ+ί4Γ'.
ΨΚ) \θ. |/|>1, ΨΚ) \l/(4|/|). |/|>1/2.
являются характеристическими?
13. Пусть <p(t) — характеристическая функция распределения F — F(x).
Пусть {хп} — множество точек разрыва функции F (&F(xn) = F(xn) —
-F(xn-)>0). Показать, что
lim i J \<p(t)\2dt = ^(AF(xn)f.
~"*°° -Τ η>\

§ 12. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
379
14. Функцией концентрации случайной величины X называется
функция
Q(X\l) = supP{x<:X<:x + l}.
Показать, что:
(a) если X и Υ — независимые случайные величины, то
Q(X + Υ; /) ^ m\n(Q(x\ /), Q(Y; /)) для всех / ^ 0;
(b) найдется такое **, что Q(X; I) = P{jc* ^ X < χ* + /}, и функция
распределения величины X непрерывна тогда и только тогда, когда Q(X\ 0) = 0.
15. Пусть (тп)п^\ —последовательность моментов случайной величины
X с функцией распределения F = F(x) lrrik= § xk dF(x) 1. Показать, что
оо гп
если ряд ]Г) "т£5* сходится абсолютно для некоторого 5 >0, то (тп)п^\
однозначно определяет функцию распределения F = F(x).
оо
16. Пусть φ(ί)= I ei,xdF(x) — характеристическая функция распре-
—оо
деления F = F(x). Показать, что:
1 с
c^ocYc S ^u^(t)dt=F(x)-F(x-l
17. Показать, что каждая характеристическая функция φ(ί)
удовлетворяет неравенству 1 - Re φ(2ί) ^ 4[1 — Re φ(ί)\.
18. Пусть характеристическая функция φ(ί) такова, что φ(ί) = 1 + /(/) +
+ о(/2), / —>0, где /(/) = — /(-/). Показать, что тогда <р(/) = 1·
19. Показать, что для каждого η ^ 1 функции
<Λι(0 =
(it)n/n\
являются характеристическими.
20. Доказать, что
Ι Τ ^^л-s ww-

380 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
21. Пусть характеристическая функция <p(t)= 1 + 0(|/|Q), /—►(), где
α£(0, 2]. Показать, что случайная величина ξ, имеющая своей
характеристической функцией функцию φ(ί)9 обладает следующим свойством:
Ρ{\ξ\>χ} = 0(χ"% Jt-O.
22. Если φ{ί) — характеристическая функция, то функция |<^(0|2 —
также характеристическая.
23. Пусть X и Υ — независимые одинаково распределенные величины
с нулевым средним и единичной дисперсией. Доказать, основываясь на
рассмотрении характеристических функций, что если распределение
величины (X + Y)/y/2 совпадает с распределением F величин X и У, то это F
является нормальным распределением.
24. Если φ есть характеристическая функция, то таковой же является
функция еХ{(р~{) для каждого λ^Ο.
25. Преобразованием Лапласа неотрицательной случайной величины
X с функцией распределения F называется функция F = F(\),
определенная для λ ^ 0 формулой
F(\) = Ee-xx= $ e~XxdF(x).
(О.оо)
Доказать следующий критерий (С. Н. Бернштейн): функция / = /(A) на
(0, оо) есть преобразование Лапласа функции распределения F = F(x) на
[0, оо) в том и только том случае, когда эта функция является полностью
(вполне) монотонной (т. е. существуют производные /(/ι)(λ) всех порядков
ООи (-1)Я/<Я>(А)^0).
26. Пусть φ(ί) — характеристическая функция. Показать, что
следующие функции также являются характеристическими:
1 оо
^(p(ut)du, § e~tt<p(ut)du.
о о
§ 13. Гауссовские системы
1. Гауссовские, или нормально распределенные, случайные величины,
гауссовские процессы и системы играют исключительно важную роль
в теории вероятностей и математической статистике. Объясняется это
прежде всего справедливостью центральной предельной теоремы
(§ 4 гл. III), частным случаем которой является теорема Муавра—Лапласа
(§ 6 гл. I). Согласно этой теореме, нормальное распределение носит
универсальный характер в том смысле, что распределение суммы большого

§ 13. ГАУССОВСКИЕ СИСТЕМЫ 381
числа независимых случайных величин или случайных векторов,
подчиняющихся не слишком стеснительным условиям, хорошо аппроксимируется
этим распределением.
Именно это обстоятельство дает теоретическое объяснение
распространенному в статистической практике «закону ошибок»,
выражающемуся в том, что ошибка измерения, слагающаяся из большого числа
независимых «элементарных» ошибок, подчиняется нормальному распределению.
Многомерное гауссовское распределение описывается небольшим
числом параметров, что является несомненным его достоинством при
построении простых вероятностных моделей. Гауссовские случайные величины
имеют конечный второй момент, и, следовательно, их свойства могут
изучаться методами гильбертова пространства. Важным при этом оказывается
то обстоятельство, что в гауссовском случае некоррелированность
превращается в независимость, что дает возможность значительно усилить
результаты «£2-теории».
2. Напомним, что (согласно § 8) случайная величина ξ = ξ(α;)
называлась гауссовской или нормально распределенной с параметрами т и σ2
(f~e/f(m, σ2)), \т\ <оо, σ2>0, если ее плотность f$(x) имеет следующий
вид:
1 (*-"*)2
*w-v5£e ^' (1)
где σ = + Vo2.
При σ|0 плотности f^(x) «сходятся к δ-функции, сосредоточенной
в точке χ = т». Поэтому естественно сказать, что случайная величина ξ
нормально распределена с параметрами т и σ2 = 0 (£~сЖ(т, 0)), если ξ
такова, что Р{£ = т} = 1.
Можно дать, однако, такое определение, которое сразу будет
охватывать как невырожденный (σ2>0), так и вырожденный (σ2 = 0)
случаи. С этой целью рассмотрим характеристическую функцию φξ(ή = Ее'^,
teR.
Если P{f = m}= 1, то очевидно, что
<М0~*"т. (2)
а если £~сЖ(т, σ2), σ2 > 0, το, согласно (9) § 12,
^(/) = ^m-iT!. (3)
Легко видеть, что при σ2 = 0 правая часть (3) совпадает с правой
частью (2). Отсюда и из теоремы 1 § 12 следует, что гауссовскую случайную
величину ξ с параметрами т и σ2 (\т\ <оо, σ2 ^0) можно определить как
такую величину, для которой характеристическая функция φξ(ί) задается

382 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
формулой (3). Подход, основанный на привлечении характеристических
функций, особенно удобен в многомерном случае.
Пусть ξ = (ξι, ..., ξη) — случайный вектор и
<р&) = Ее*'*\ t=(tu...,tn)eR\ (4)
— его характеристическая функция (см. определение 2 в § 12).
Определение 1. Случайный вектор ξ = (ξι, ..., ξη) называется гаус-
совским или нормально распределенным, если его характеристическая
функция ψξ(ί) имеет следующий вид:
^(О^'·"1»-^'·'*, (5)
где га = (mi,..., m„), \mk\ <oo и Е = ||/>/||— симметрическая
неотрицательно определенная матрица порядка η χ η (для краткости будем использовать
обозначение: £~,Ж(га, Щ).
В связи с данным определением возникает прежде всего вопрос о том,
а является ли функция (5) характеристической? Покажем, что это
действительно так.
С этой целью предположим сначала, что матрица R является
невырожденной. Тогда определены обратная матрица А =Е-1 и функция
f{X) = (2^ exP{-W " m>· (χ ~ m»}· <6>
где jc = (jci, ..., jcrt), |/l| = det Л. Эта функция является неотрицательной.
Покажем, что
$ e^f(x)dx = ei{Um)-№ut\
или, что то же,
/„ее $ е'^-л>^^в-2^-т№-,и))Лс = в-^л. (7)
Rn (2π)
Сделаем в интеграле замену переменных
х - т = бм, t = 6υ,
где ϋ — ортогональная матрица такая, что
и

§ 13. ГАУССОВСКИЕ СИСТЕМЫ
383
— диагональная матрица с d,-^0 (см. доказательство леммы в § 8).
Поскольку |R| = det R Φ 0, то dt > 0, i = 1, ..., п. Поэтому
\A\ = \R-l\ = drl...d?. (8)
Далее (см. обозначения п. 1 § 12)
/(/, х-т)- -$(А(х-т), x-m) =
= i(0O, <?и)-Х-(А0и, 0и) = 1(0и)т0и-^(0иуА(0и) =
= iv*u - ^и*0*А0и = iv*u - ^u*D"lu.
Вместе с (9) § 12 и (8) это дает
,п-(2*)«/Hd{...dn)i/2 у
Из (6) следует также, что
S f(*)dx=\. (9)
Таким образом, функция (5) является характеристической функцией
я-мерного (невырожденного) гауссовского распределения (см. п. 3 § 3).
Пусть теперь матрица R вырожденная. Возьмем ε>0 и
рассмотрим положительно определенную симметрическую матрицу Εε = Κ + ε£,
где Ε — единичная матрица. Тогда по доказанному функция
<p£(t) = exp{i(t,m)-l-(Wt,t)}
является характеристической:
¥>*(/)=$ e'^dFAx),
R"
где Fe(x) = Fe(x\, ..., хп) — /z-мерная функция распределения.
Πρπε->0
^(0^^(0 = ехр{/(/, m)-i(R/, /)}.

384 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Предельная функция φ(ί) непрерывна в нулевой точке (0, ..., 0). Поэтому,
согласно теореме 1 и задаче 1 из § 3 гл. III, она является
характеристической.
Итак, корректность определения 1 установлена.
3. Выясним смысл вектора т и матрицы Е= ||/>/||, входящих в
характеристическую функцию (5).
Поскольку
ι п ι п
In ^(/) = i(*. m)- i(R/f /) = / Σ tkmk~ 2 Σ Γ*'^'> (10)
то из (35) § 12 и формул связи моментов и семиинвариантов находим, что
mi=s(..o,....o) = E^ mn=s(o ο,„ = Εξπ
Аналогично
и вообще
/■jm=cov(&,6).
Таким образом, m есть вектор средних значений ξ, a R —матрица
ковариаций.
Если матрица R невырожденная, то к этому результату можно было
прийти и иначе. Именно, в этом случае вектор ξ имеет плотность /(jc),
задаваемую формулой (6). Тогда прямой подсчет показывает, что
Eik = \xkf{x)dx = mk,
cov(&, ξ/) = \(xk - mk)(xt - mt)f(x) dx = rkl.
4. Обратимся к рассмотрению некоторых свойств гауссовских
векторов.
Теорема 1. а) У гауссовского вектора некоррелированность его
компонент эквивалентна их независимости.
Ъ) Вектор ξ = (ξι, ...,ξη) является гауссовским тогда и только
тогда, когда для любого вектора Α = (λι, ..., Art), λ*£/?, случайная
величина (ξ, Α) = λιξι +... + Art£rt имеет гауссовское распределение.
Доказательство, а) Если компоненты вектора ξ = (ξι, ···» ξη) некор-
релированы, то из вида характеристической функции ψξ(ί) следует, что она
является произведением характеристических функций:
я
¥*(0 = Π «*('*>·
Поэтому в силу теоремы 4 § 12 компоненты ξι, ..., ξη независимы.

§ 13. ГАУССОВСКИЕ СИСТЕМЫ
385
Обратное утверждение очевидно, поскольку из независимости всегда
следует некоррелированность.
Ь) Если ξ — гауссовский вектор, то (см. (5))
Ε εχρ{//(ξιλ, +... + ξηλ„)} = βχρ|/<(^ A*m*) - j (JI г*;А*А,)}, teR,
и, поэтому,
A^m*, 2_^ Ofe/A*A/J.
Обратно, гауссовость случайной величины (ξ, Α) = ξιλι +...+£rtArt
означает, в частности, что
Ε^'(ζ.λ) = β*Έ(€.λ)-^ί^ = £?/ Σ λ*Εξ*-£ Σ λ*λ/ cov(&,&)
В силу произвольности λι, ..., λ,! отсюда следует, что ξ = (ξι, ..., ξη) —
гауссовский вектор (см. определение 1). D
Замечание. Пусть (0, ξ) — гауссовский вектор с 0=(0ь ..., 0*),
ξ = (ξι» ···, ξ/)· Если векторы 0 и ξ некоррелированы, т.е. cov(0/, ξ;) = 0,
/ = 1, ..., й, /= 1, ..., /, то они и независимы.
Доказательство — то же, что и для утверждения а) теоремы.
Пусть ξ = (ξι, ..., ξη) — гауссовский вектор, и для простоты будем
предполагать, что вектор средних значений является нулевым. Если
rangR = r</z, то, как было показано в § 11, существует ровно η-г
линейных соотношений между величинами ξι,...,£«· В этом случае
можно считать, что, скажем, величины ξι, ..., ξΓ линейно независимы, а
все остальные через них линейно выражаются. Поэтому все основные
свойства вектора ξ = (ξι,...,ξη) определяются первыми г
компонентами (ξι, ...,ξΓ), для которых соответствующая матрица ковариаций уже
является невырожденной.
Итак, можно считать, что исходный вектор ξ = (ξι, ..., ξη) уже таков,
что его компоненты линейно независимы и, значит, |R| >0.
Пусть б — ортогональная матрица, приводящая R к диагональному
виду
^*R^ = D.
Как уже отмечалось в п. 3, все диагональные элементы матрицы D
положительны, и, следовательно, определена обратная матрица. Положим
β = Β~χ0·ξ.
Тогда легко убедиться, что

386 ГЛ. 11. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
т. е. вектор β = (β\,..., βη) — это гауссовский вектор с
некоррелированными, а значит (теорема 1), и независимыми компонентами. Тогда, обозначая
А — бВ, получаем, что исходный гауссовский вектор ξ = (ξι, ..., ξη)
представляется в виде
е=м (12)
где /? = (/?ь ···» βη) — гауссовский вектор с независимыми
компонентами, /?fc~*/K(0, 1). Отсюда вытекает следующий результат. Пусть ξ =
= (ξι» ···» ζη) — вектор с линейно независимыми компонентами, Εξ*=0,
&= 1,..., п. Этот вектор является гауссовским тогда и только тогда, когда
существуют независимые гауссовские величины /?ь ..., /3rt, /?^~«Ж(0, 1),
и невырожденная матрица А порядка η такие, что £ = Л/?. При этом
R = AA* —матрица ковариаций вектора ξ.
Если |Е| Φ О, то, согласно методу ортогонализации Грама—Шмидта
(см. §11),
£>k = ik + bkek, й = 1,...,/!, (13)
где в силу гауссовости вектор ε = (ε\, ..., ε*) ~*/Κ(0, £),
& = Σ (&>£/)£/, (14)
** = ΙΙ€*-&ΙΙ (15)
и
^«1 6k> = J^{€| €*}. (16)
Из ортогонального разложения (13) сразу получаем, что
& = Ε(&|&_,,...,ί,). (17)
Отсюда в силу (16) и (14) следует, что в гауссовском случае условное
математическое ожидание Ε(ξ^|ξ^_ι,..., ξι) является линейной функцией
от ξι, ...,ξ*_ι:
k-\
Ε(ξ*|ξ*-ι,...,ξι) = Σ>ξ,, (18)
i=l
(В случае k = 2 этот результат был установлен в § 8.)
Поскольку, согласно замечанию к теореме 1 § 8, Ε(ξ^|ξ^_ι, ...,ξι)
является оптимальной (в среднеквадратическом смысле) оценкой ξ* по
ξι, ...,ξ*_ι, то из (18) следует, что в гауссовском случае оптимальная
оценка оказывается линейной.
Используем эти результаты для отыскания оптимальной оценки вектора
0 = (0ь ..., Ok) по вектору ξ = (ξι, ..., ξ/) в предположении, что (0, ξ) —

§ 13. ГАУССОВСКИЕ СИСТЕМЫ
387
гауссовский вектор. Обозначим
тя = Е0, ηΐξ = Εξ
— вектор-столбцы средних значений и
Dm = cov(0, 0) = ||οον(0,·, 0У)||, К/, /<*,
D*c = cov(0, ξ) = ||cov(0/, ξ/) ||, 1 < Κ *, 1 < / < Λ
D« sοον(ξ, ξ) = ||cov&, €у>11. 1 < /. / < /.
— матрицы ковариаций. Предположим, что матрица Οξξ имеет обратную
матрицу. Тогда (ср. с теоремой 2 в § 8) справедлива следующая
Теорема 2 (теорема о нормальной корреляции, векторный
случай). Для гауссовского вектора (0, ξ) оптимальная оценка Ε(θ\ξ)
вектора θ по ξ и ее матрица ошибок
Α = Ε[θ-Ε(θ\ξ))[θ-Ε(θ\ξ)Γ
задаются следующими формулами:
Е№) = тв + Ов^£-т^ (19)
A = DW-D*D£IDJ€. (20)
Доказательство. Образуем вектор
V = (e-me)-DezD^£-ms). (21)
Тогда непосредственно проверяется, что Εη(ξ — т^)* = 0, т.е. вектор η
не коррелирован с вектором ξ — т$. Но в силу гауссовости (0, ξ) вектор
(η, ξ) также будет гауссовским. Отсюда в силу замечания к теореме 1
векторы η и ξ — т^ независимы. Значит, независимы η и ξ и, следовательно,
Е(г71 ξ) = Εη = 0. Поэтому
E[e-/i^K]-D^D^K-m€) = 0,
что и доказывает представление (19).
Для доказательства (20) рассмотрим условную ковариацию
θθν(θ,θ\ξ) = Ε[(θ-Ε(θ\ξ))(θ-Ε(θ\ξ))*\ξ]. (22)
Поскольку 0- Ε(0|ξ) = 77» то в СИЛУ независимости η и ξ находим, что
οον(θ, θ\ξ) = Ε(ηη*\ξ) = Εηη* =
Поскольку cov(0, 0|ξ) не зависит от «случая», то
Δ = Ε cov(0, 010 = cov(0, 01ξ),
что и доказывает представление (20). D

388 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Следствие. Пусть (0, ξι, ...,ξη) есть (п+\)-мерный гауссовский
вектор, причем ξι, ..., ξη независимы. Тогда
1=1
Dfi
(ср. с формулами (12), (13) § 8).
5. Пусть ξι, ξ2» ... — последовательность гауссовских случайных
векторов, сходящаяся по вероятности к вектору ξ. Покажем, что вектор ξ
также является гауссовским.
В соответствии с утверждением а) теоремы 1 достаточно показать это
лишь для случайных величин.
Пусть /ηη = Εξη, σ* = Όξη. Тогда по теореме Лебега о мажорируемой
сходимости
lim еитя-№*= lim ЕецЬ = Ееи*.
п—*оо л—>оо
Из существования предела в левой части вытекает, что найдутся такие т
и σ2, что
m= lim mrt, σ2= lim σ2
n—+oo л—*оо
Следовательно,
Ee^ = eitm-^2t\
т.е. ξ^^(/η, σ2).
Отсюда, в частности, вытекает, что замкнутое линейное многообразие
-5?(ξι» ξ2» ···)» порожденное гауссовскими величинами ξι, ξ2, ... (см. п. 5
§11), состоит из гауссовских величин.
6. Перейдем теперь к определению общих гауссовских систем.
Определение 2. Совокупность случайных величин ξ = {ξα}, где а
принадлежит некоторому множеству индексов 21, называется гауссовской
системой, если для любого η ^ 1 и любых αϊ,..., ап из 21 случайный вектор
(ξα,> ..., ξα„) является гауссовским.
Отметим некоторые свойства гауссовских систем.
a) Если ξ = (ξα), aG2t, —гауссовская система, то всякая ее подсистема
ξ' = (ξ^/), cJ E 21' С 21, также является гауссовской.
b) Если ξα, α Ε 21, — независимые гауссовские величины, то система
ξ = (ξα)» α €21, является гауссовской.

§ 13. ГАУССОВСКИЕ СИСТЕМЫ
389
с) Если ξ = (ξα), α £ 21, — гауссовская система, то замкнутое линейное
_ η
многообразие -Sf(£)» состоящее из величин вида J2 ^α,ξα, и их пределов в
среднеквадратическом смысле, образует гауссовскую систему.
Заметим, что утверждение, обратное к свойству а), вообще говоря,
неверно. Например, пусть ξι и η\ независимы и ξι ~сЖ(0, 1), η\ ~сЖ(0, I).
Определим систему
•'W \<€ь-Ы).
(€, ,,_<--.,,. если^О,
если ξι <0.
Тогда нетрудно проверить, что каждая из величин ξ и η гауссовская, а
вектор (ξ, η) гауссовским не является.
Пусть ξ = (ξα), α £21, — некоторая гауссовская система с
«вектором» средних значений т = (та)у α £21, и «матрицей» ковариаций
М=(га/з)аэ/з€а, где ΑΠα = Εξα. «Матрица» R является, очевидно,
симметрической (Γαβ = Γβα) и неотрицательно определенной в том смысле, что
для любого «вектора» c = (cQ)Q€2i co значениями в Еа, у которого лишь
конечное число координат са отлично от нуля,
(R с, с) = Σ Γ«βε«εβ > 0. (24)
Поставим сейчас обратный вопрос. Пусть задано некоторое
параметрическое множество 21 = {а}, «вектор» т = (та)аеъ и симметрическая
неотрицательно определенная «матрица» K = (ra^)Q^€a· Спрашивается,
существует ли вероятностное пространство (Ω, β', Ρ) и на нем гауссовская
система случайных величин ξ = (ξα)α€2ΐ такие, что
Εξα=>Πα,
θθν(ξα, ξβ) = Γαβ, a,/? £21?
Если взять конечный набор αϊ, ..., art, то по вектору fn = (mai, ...
.., mQn) и матрицеS = (rQ^), a,β = α\, ...,a„, в/?" можно построитьгаус-
совское распределение Fai а„(*ь ..., хп) с характеристической функцией
Нетрудно проверить, что семейство
{Fa ая{хи ...,*„); а, £21}
является согласованным. Следовательно, по теореме Колмогорова
(теорема 1 § 9 и замечание 2 к ней) ответ на поставленный выше вопрос является
положительным.

390 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
7. Если 21 = {1,2, ...}, то в соответствии с терминологией,
принятой в § 5, систему случайных величин ξ = (ξα)α£* будем называть
случайной последовательностью и обозначать ξ = (£ι, &» ···)· Гауссовская
последовательность полностью описывается вектором средних значений
т = (ть ГП2, ...) и матрицей ковариацийЕ = |ΙΓι/ΙΙ» /ϊ/=θόν(ξ,·, ξ7). В
частности, если rij = afSij, то ξ = (ξι, &♦ ···) есть гауссовская
последовательность независимых случайных величин с ξ,- ~*/К(т,·, of), / ^ 1.
В том случае, когда 21= [0, 1], [0, оо), (-оо, оо), ..., систему величин
£ = (&)* te% называют случайным процессом с непрерывным временем.
Остановимся на некоторых примерах гауссовских случайных
процессов. Если считать их средние значения равными нулю, то вероятностные
свойства таких процессов полностью определяется видом «матрицы» ко-
вариаций R = (rSf), s, / £21. Будем обозначать rst через ф, /) и называть
эту функцию от s и t ковариационной функцией.
Пример 1. Если 21 =[0, оо) и
ф, 0 = min(s, /), (25)
то гауссовский процесс В = (Bt)t^o с такой функцией ковариаций (см.
задачу 2) и Во = 0 называется процессом броуновского движения или
винеровским процессом.
Отметим, что этот процесс имеет независимые приращения, т. е. для
любых t\<t2<...<tn случайные величины
Bh-Bu, ..., Btn-Btn_l
являются независимыми. В самом деле, в силу гауссовости достаточно
проверить лишь попарную некоррелированность приращений. Но если
5 < / < и < и, то
E[Bt-Bs]lBO-Bu] =
= [r(t9 υ) - φ, и)] - [φ, ό) - φ, и)] = (/ - 0 - (5 - s) = 0.
Замечание. Приведенный в п. 4 § 9 пример процесса восстановления
(конструктивно заданного по последовательности независимых одинаково
распределенных величин σι, σ2, ...) наводит на мысль о возможности
построить аналогичным образом некоторую версию броуновского движения.
Такие конструкции, основанные на привлечении последовательности
ξι,ξ2» ··· независимых одинаково распределенных стандартных
гауссовских случайных величин ξ/ ~«уК(0, 1), действительно существуют.
Образуем, например, величины
/т ОО
β<=7Σ тсттsin(("+,/2)π/)· 'е [0·,]· (26)
л=1 '

§ 13. ГАУССОВСКИЕ СИСТЕМЫ
391
Из приводимой далее теоремы о «двух рядах» (теорема 2 §3 гл. IV)
вытекает, что ряд, определяющий Bty сходится (Р-п. н.) при каждом
/ € [О, 1 ]. Более детальное рассмотрение показывает, что этот ряд сходится
(Р-п. н.) равномерно, и тем самым процесс В = (Β/)ο<$/^ι имеет (Р-п. н.)
непрерывные траектории. Нормальность конечномерных распределений
этого процесса следует из теоремы 1 Ь) и утверждения в п. 5 о сохранении
гауссовости распределения предела по вероятности гауссовских случайных
величин. Нетрудно убедиться также в том, что ковариационная функция
ф, t) = EBsBt=mm(s, t).
Таким образом, построенный в (26) процесс В = (В*)о</<1
удовлетворяет всем требованиям в определении процесса броуновского движения,
но, более того, этот процесс имеет (Р-п. н.) непрерывные траектории.
Как правило, свойство непрерывности траекторий (которое является
желательным и оправданным физическими применениями) включают в само
определение броуновского движения. Как видим, такой процесс
действительно существует.
Укажем еще на один известный способ построения броуновского
движения, основанный на введенных в п. 5 § 11 функциях Хаара Нп(х),
jt€[0, l],/z=l,2, ...
Построим по ним функции Шаудера Sn(t), t £ [0, 1], п= 1, 2, ...:
Sn(t) = $Hn(x)dx. (27)
о
Тогда если ξο» £ь &» ··· —последовательность независимых одинаково
распределенных стандартных, ξί? ~c/f (0, 1), случайных величин, то ряд
оо
β*=Σ>5*(0 (28)
л=1
сходится равномерно по te [О, 1] с вероятностью единица. Процесс β =
= (β/)θί^5$ι является броуновским движением.
Пример 2. ПроцессВ0 = (β,°), / £21 с 21 = [0, 1], В§ = 0 и
r(s, t) = min(5, /) - st, (29)
называется условным винеровским процессом или броуновским
мостом (заметим, что поскольку г(1, 1) = 0, то Ρ(β° = 0)= 1).
Пример 3. Процесс X = (Xt), t €21 с 21 = (-оо, оо) и
ф, /) = e-l'-s| (30)
называют гауссовско-марковским.

392 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
8. Приведем одно интересное свойство броуновского движения,
доказательство которого будет служить хорошей иллюстрацией применения
леммы Бореля—Кантелли из § 10 (точнее — следствия 1 к ней).
Теорема 3. Пусть В = (Bt)t^o — стандартное броуновское
движение. Тогда с вероятностью единица для всякого Т>0
гт
Атоо Σ [β*2- -Bik-\)2-nY = T. (31)
Доказательство. Без ограничения общности можно считать Т=\.
Пусть
2я | 1
/] (Bk2-» ~B(k-\)2-n) ~Μ^ε|
\k=\ I J
Поскольку величины B\a-n —В^-щ-" являются гауссовскими с нулевыми
средними и дисперсией, равной 2~л, то
*;={«:
θ(Σ(β*2-»-β(*-Ι)2-)2]
= 2-"+';
значит, по неравенству Чебышева Ρ(Α%) < ε~22~η+ι, и тем самым
оо оо
Σ Ρ(Αεη)^ε-2 Σ 2-л+,=2е-2<оо. (32)
л=1 л=1
Требуемое утверждение (31) следует из этой оценки и следствия 1 к лемме
Бореля—Кантелли (§ 10). D
9. Задачи.
1. Пусть ξι, &» £з — независимые гауссовские случайные величины,
ξ/^Λ^Ο, 1). Показать, что
νΐ+ξ!
(В этой связи возникает интересная для исследования задача описания
всех нелинейных преобразований от независимых гауссовских величин
ξι» ···» ξ/ι» распределение которых также является гауссовским.)
2. Доказать, что «матрицы» R = (r(s, /))5,*ев, задаваемые функциями
ф, /) из (25), (29) и (30), являются неотрицательно-определенными.
3. Пусть А — некоторая матрица порядка тхп. Назовем матрицу А®
порядка η χ т псевдообратной к матрице Л, если найдутся такие
матрицы U и V, что
АА®А=АУ A* = UA*=AmV.

§ 13. ГАУССОВСКИЕ СИСТЕМЫ
393
Показать, что матрица Л®, определяемая этими условиями, существует и
единственна.
4. Показать, что формулы (19) и (20) в теореме о нормальной
корреляции остаются справедливыми и в случае вырождения матрицы ϋξξ, если
в этих формулах вместо D^1 рассматривать псевдообратную матрицу D^.
5. Пусть (0, ξ) = (0ь · · ·, 0k\ £ь ..., ξι) — гауссовский вектор с
невырожденной матрицей Δ = D^ — D^D^. Показать, что у функции
распределения Ρ(0^α|ξ) = Ρ(0ι <αι,..., 0д<а*|£) существует (Р-п. н.) плотность
р(а\у ..., я^Ю, определяемая формулой
/7(α1,...,α*|ξ) = ^^βχρ{-^(α-Ε(β|ξ)ΓΔ-ι(α-Ε(0|Ο)}.
6. (С. Н. Бернштейн.) Пусть ξ и η — независимые одинаково
распределенные случайные величины с конечной дисперсией. Доказать, что если
ξ + η и ξ — η независимы, то ξ и η являются гауссовскими величинами.
7. Теорема Мерсера. Пусть г = ф, t) — непрерывная ковариационная
функция на [а, Ь] χ [а, 6], где —оо<а<6<оо. Доказать, что уравнение
ь
λ § Φ, t)u(t)dt = u(s), a^s^b,
a
допускает бесконечное число значений λ^ >0 и соответствующую систему
непрерывных решений {w^, k ^ 1}, образующих полную ортонормированную
систему в L2(a, b) такую, что
4{s)uk{t)
φ,ο=Σ
где ряд сходится абсолютно и равномерно на [a, b] x [а, Ь].
8. Пусть X = {Xt, t^ 0} — гауссовский процесс с ЕХ, =0 и
ковариационной функцией ф, /) = e~l'~sl, s,/^0. Пусть 0</ι <...</„ и
//, tn(x\, ..., хп) — плотность величин Λ*,, ..., Л*я. Доказать, что
Г п -|-1/2
Л, t.(xi....,Xn)= (2π)"Π(ΐ^^-·-^)
L /=2
г? 1 ^ ir,-*<''-i-''>ri И2
■cxoi *' ' у^-^-,^-1)2]
ехР\ 2 2^ 1 _^2(л_,—/,) /·
4 /=2 '
9. Пусть / = {/„, О 1}CL2(0, 1) —полная ортонормированная система
и (ζπ) — независимые одинаково распределенные <Ж(0, 1)-величины. По-
t
казать, что процесс Bt = Σ ξη^ fn(u)du есть броуновское движение.
п>\

394 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
10. Доказать, что в случае гауссовских систем (£, щ, ..., ηη)
условные математические ожидания Е(£|77ь ···» ηη) совпадаютс
математическими ожиданиями в широком смысле Ε.(ξ\η\, ..., ηη).
11. Пусть (ξ, r/ь ..., ηώ — гауссовская система. Выяснить структуру
условных математических ожиданий Ε(ξη\η\, ..., ηώ, О 1 (как функций
от17ь ....*7*)·
12. Пусть X = №)i^^rt и Κ = (Κ*)ι<λ<λ — Две гауссовские случайные
последовательности с ЕЛ^ = ЕУ^, DXk = DYki 1 <й <я, и
cov(X*, X/) <cov(yb У/), Ю,/а.
Доказать справедливость неравенства Слепяна: для всякого jc e R
р{ sup Х*<х)^Р{ sup Yk<x\.
13. Доказать, что если β° = (β°)ο<*<ι. то процесс B = (Bt)t^o с Bt =
= (1 + 0^°/(i+o является броуновским движением.
14. Проверить, что для броуновского движения В = (В* )^о следующие
процессы также являются броуновскими движениями:
β<2) = /β1Α, />0, и В^2) = 0;
fij3) = Bi+,-fi„ 5>0;
В,(4) = Вг-Вг_, Для 0</<7\ Г>0;
BJ * = -Ва2^, а > 0 (свойство автомодельности).
15. Пусть X = №)i^jfe^rt — гауссовская последовательность с
m= max ΕΛ^, σ2= max DA*,
и
Ρ J max (Xk - EXk) ^ α > < 1/2 для некоторого α.
Тогда имеет место следующее неравенство Бореля:
PJmax Xfe>4<2frf*~m~flY
оо
ΓΛβΦ(Λ:) = (2π)-1/2 $ e~^dy.
Χ
16. Пусть (X, У) —двумерная гауссовская случайная величина с ЕХ =
= ЕУ = 0, ЕХ2>0, ЕУ2>0 и коэффициентом корреляции р==--р====.

§ 13. ГАУССОВСКИЕ СИСТЕМЫ
395
Показать, что
Ρ{ΧΥ<0}=\-2Ρ{Χ>0, 7>0} = π-! arccos p.
17. Пустьг = ХГ, гдеХ-Л^О, 1) и P{Y = \} = Ρ{Υ = -1}= \. Найти
распределение пар (X, Ζ) и (Κ, Ζ) и распределение X Л-Ζ. Показать, что
Z~c/K(0, 1) и что X и Ζ некоррелированы, но зависимы.
18. Провести подробное доказательство того, что процессы (В*)о^ь
определяемые в (26), (28), являются броуновскими движениями.
19. Пусть Βμ = (Bt +μί)ί^ο — броуновское движение со сносом.
(a) Найти распределение величин β£ +β£, ^ <*2·
(b) Найти EB£fi£ и Εβ£β£Β£ для /0 < * ι < t2.
20. Для процесса βμ из предыдущей задачи найти условные
распределения
Р(ЯГ2€|Я£)
ДЛЯ t\ < t2 И t\ >t2 И
для /о < t\ < h.

Глава III
БЛИЗОСТЬ И СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР.
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
§ 1. Слабая сходимость вероятностных мер и распределений 397
§ 2. Относительная компактность и плотность семейств
вероятностных распределений 407
§ 3. Метод характеристических функций в доказательстве
предельных теорем 413
§4. Центральная предельная теорема для сумм независимых
случайных величин. I. Условие Линдеберга 421
§ 5. Центральная предельная теорема для сумм независимых
случайных величин. II. Неклассические условия 433
§ 6. Безгранично делимые и устойчивые распределения 438
§ 7. «Метризуемость» слабой сходимости 447
§8. О связи слабой сходимости мер со сходимостью случайных
элементов почти наверное («метод одного вероятностного
пространства») 452
§ 9. Расстояние по вариации между вероятностными мерами.
Расстояние Какутани—Хеллингера и интегралы Хеллингера.
Применение к абсолютной непрерывности и сингулярности мер ... 460
§ 10. Контигуальность (сближаемость) и полная асимптотическая
разделимость вероятностных мер 470
§11.0 скорости сходимости в центральной предельной теореме 475
§ 12. О скорости сходимости в теореме Пуассона 479
§ 13. Фундаментальные теоремы математической статистики 481

При формальном построении курса теории вероятностей предельные
теоремы появляются в виде своего рода надстройки над элементарными главами
теории вероятностей, в которых все задачи имеют конечный, чисто
арифметический характер. В действительности, однако, познавательная ценность
теории вероятностей раскрывается только предельными теоремами. Более
того, без предельных теорем не может быть понято реальное содержание самого
исходного понятия всей нашей науки — понятия вероятности.
Б. В. Гнеденко, А. Н. Колмогоров.
«Предельные распределения для сумм независимых случайных величин» [16]
§ 1. Слабая сходимость вероятностных мер
и распределений
1. Многие из фундаментальных результатов теории вероятностей
формулируются в виде предельных теорем. В форме предельных теорем были
сформулированы закон больших чисел Я. Бернулли и теорема Муавра—
Лапласа, положившие, собственно говоря, начало истинной теории
вероятностей и, в частности, указавшие путь многочисленным исследованиям по
выяснению условий справедливости разных форм «закона больших чисел»
и «центральной предельной теоремы». В форме предельной теоремы была
сформулирована теорема Пуассона об аппроксимации биномиального
распределения «пуассоновским» в случае редких событий. Уже на
примере этих утверждений, и также результатов о скорости сходимости в
теоремах Муавра—Лапласа и Пуассона видно, что в теории вероятностей
приходится иметь дело с разными видами сходимости распределений, а
выяснение скорости сходимости требует введения тех или иных
«естественных» мер близости между распределениями.
В настоящей главе будут рассматриваться некоторые общие
аспекты сходимости вероятностных распределений и их близости. В данном
параграфе рассматриваются вопросы общей теории слабой сходимости
вероятностных мер в метрических пространствах. (Именно к кругу
интересов этой теории относятся, в частности, как закон больших чисел
Я. Бернулли, так и теорема Муавра—Лапласа — прародительница
«центральной предельной теоремы».) Из § 3 станет ясно, что метод
характеристических функций является одним из самых мощных средств
доказательства предельных теорем о слабой сходимости вероятностных
распределений в Rn. В § 7 будут рассмотрены вопросы «метризуемости» слабой
сходимости. Затем в § 9 мы останавливаемся на другом виде сходимости
распределений (более сильном, нежели слабая сходимость) — сходимости
по вариации. Доказательству простейших результатов о скорости
сходимости в центральной предельной теореме и теореме Пуассона отведены
§§ 11, 12. В § 13 результаты о слабой сходимости из §§ 1, 2 применяются

398
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
к некоторым (принципиально важным) задачам математической
статистики.
2. Напомним для начала формулировку закона больших чисел (гл. I,
§ 5) β схеме Бернулли.
Пусть ξι, &» ··· —последовательность независимых одинаково
распределенных случайных величин с Р(£ = 1) = /?, Ρ(ξ/=0) = ή'ί p + qz=.\.
Используя введенное в § 10 гл. II понятие сходимости по вероятности,
закон больших чисел Я. Бернулли можно сформулировать в следующем
виде:
► ρ, я—>оо, (1)
где Sn =ξι +... + £„. (В гл. IV будет показано, что на самом деле здесь
имеет место и сходимость с вероятностью единица.)
Обозначим
Fn(x) = p{^ <*},
10, х<р,
где F(x) — функция распределения вырожденной случайной величины
ξ = р. Пусть также Рп и Ρ — вероятностные меры на (/?, B8(R)), отвечающие
функциям распределения Fn и F.
В соответствии с теоремой 2 из § 10 гл. II сходимость по вероятности
— —► ρ влечет за собой сходимость по распределению — —► р,
означающую, что
Е/(^)-ЕЛ/>), я^оо, (3)
для любой функции / = /(*) из класса С непрерывных ограниченных
функций на R.
Поскольку
ε/0τγ)β5 WW*)* ΕΛ/») = $ f(x)P(dx),
R R
то (3) можно переписать в форме
$f(x)Pn(dx)-+$f(x)P(dx), feC, (4)
R R
или (в соответствии с обозначениями § 6 гл. II) — в форме
$Hx)dF„(x)-+$f(x)dF(x), feC. (5)
R R

§ 1. СЛАБАЯ СХОДИМОСТЬ
399
В анализе сходимость (4) называют слабой сходимостью (мер Рп
к мере Р, п—юо) и записывают в виде Рп^Р (ср. с определением 2).
Естественно и сходимость (5) также назвать слабой сходимостью функций
распределения Fn к F и обозначить ее Fn -^ F.
Итак, можно утверждать, что в схеме Бернулли
|Ap=>Fn^F. (6)
Из (1) нетрудно также вывести, что для функций распределения,
введенных в (2),
Fn(x)-+F(x), л-+оо,
для всех точек xeR за исключением одной точки χ = ρ, где функция
F(x) терпит разрыв.
Это обстоятельство показывает, что слабая сходимость Fn^*F не
влечет за собой поточечную сходимость функций Fn(x) к F(x) при я —»оо
для всех точек χ £ R. Оказывается, однако, что как в случае схемы
Бернулли, так и в общем случае произвольных функций распределения слабая
сходимость эквивалентна (см. далее теорему 2) так называемой сходимости
в основном в смысле следующего определения.
Определение 1. Последовательность функций распределения {Fn},
заданных на числовой прямой, называется сходящейся в основном к
функции распределения F (обозначение: Fn=>F), если при /ζ—юо
Fa(x)^F(x), xeC(F),
где C(F) — множество точек непрерывности предельной функции F.
В рассматриваемом случае схемы Бернулли функция F = F(x)
вырождена, и отсюда нетрудно вывести (см. задачу 7 к § 10 в гл. II), что
Таким образом, с учетом приводимой ниже теоремы 2
(|Др) =* (Fn^F) * (Fa=>F) =* (|Др) (7)
и, следовательно, утверждение закона больших чисел можно
рассматривать как одно из утверждений о слабой сходимости функций
распределения, определенных в (2).
Обозначим
'*>-р№<4

400
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Теорема Муавра—Лапласа (§ 6 гл. I) утверждает, что Fn(x) —>F(x) для всех
χ е R и, следовательно, Fn => F. В силу отмеченной эквивалентности слабой
сходимости Fn^+F и сходимости в основном Fn=>F можно, следовательно,
сказать, что теорема Муавра—Лапласа есть также утверждение о слабой
сходимости функций распределения, определенных в (8).
Эти два примера оправдывают концепцию слабой сходимости
вероятностных мер, вводимую далее в определении 2. Хотя для случая числовой
прямой слабая сходимость равносильна сходимости в основном
соответствующих функций распределения, предпочтительнее, однако, в качестве
исходной рассматривать именно слабую сходимость, во-первых, потому
что она проще поддается анализу, и, во-вторых, по той причине, что она
имеет смысл и для более общих пространств, нежели числовая прямая, в
частности, для метрических пространств, важнейшими примерами которых
для нас являются пространства Rny /?°°, С и D (см. § 3 гл. II).
3. Пусть (£, <?, р) — метрическое пространство с метрикой р = р(х, у),
σ-алгеброй £ борелевских подмножеств, порожденных открытыми
множествами, и пусть Ρ, Ρι, Ρ2, ... —вероятностные меры на (£, <?, р).
Определение 2. Последовательность вероятностных мер {Prt}
называется слабо сходящейся к вероятностной мере Ρ (обозначение: Prt—>Р;
w — от weak convergence — слабая сходимость), если
\f(x)Pn(dx)^f(x)P(dx) (9)
Ε Ε
для любой функции / = f(x) из класса С(£) непрерывных ограниченных
функций на £.
Определение 3. Последовательность вероятностных мер {Prt}
называется сходящейся в основном к вероятностной мере Ρ (обозначение:
Prt=>P), если
Рп(А)-*Р(А) (10)
для любого множества А из £ такого, что
Р(дЛ)=0. (11)
(Через дА обозначается граница множества А:
дА = [А]П[А],
где [А] — замыкание множества А.)
Приводимая далее теорема показывает эквивалентность понятий
слабой сходимости и сходимости в основном для вероятностных мер, а также
содержит другие равносильные формулировки.

§ 1. СЛАБАЯ СХОДИМОСТЬ
401
Теорема 1. Следующие утверждения эквивалентны:
(DP^-P;
(II) lim Рп(А) ^ Р(Л), А —замкнутые множества;
(III) Ит Рп(А) ^ Р(Л), А —открытые множества;
(IV)P„=»P.
Доказательство. (I) => (II). Пусть А —замкнутое множество и
где
р(х, Л) = Ы{р(х, */): ye A}, [x]+ = max[0, jc].
Обозначим также
Αε = {χ: ρ{χ9 Α)<ε)
и заметим, что Αε | Л, ε 10.
Поскольку функции /j(jt) ограничены, непрерывны и
Р„(Л) = J IA(x)Pn(dx) < $ f%(x) Pnidx).
Ε Ε
ΤΟ
Jim P„H)<iim J f%(x)Pn(dx) = \ f%(x)P(dx) ^Р(Ле)1Р(Л), ε|0,
£ £
что и доказывает требуемую импликацию.
Импликации (II) => (III) и (III) => (II) становятся очевидными, если от
множеств перейти к их дополнениям.
(III) => (IV). Пусть А°=А\дА —внутренность, а [А] — замыкание
множества А. Тогда в силу (II), (III) и предположения Р(дЛ) = 0
Ит Рп(А) ^ Ит Рп([А)) ^ Ρ {[А]) = Р(Л),
Шп РйИ)^Шп Р„И°)^Р(Л°) = Р(Л),
и, значит, Р„(Л)-+Р(Л) для всякого Л с Р(дЛ) = 0.
(IV) => (I). Пусть / = /(jc) — непрерывная ограниченная функция с
\f(x)\<M. Обозначим
D = {teR: Р{х: /(дг) = /}^0}
и рассмотрим разбиение 7fc = (/o, t\* ..., /*) интервала [—Λί, Λί]:
-M = to<t\ <...</* = Λί, й^ 1,
с ^-^D, / = 0, 1, ..., й. (Заметим, что множество D не более чем счетно,
поскольку множества f~x{t} не пересекаются, а мера Ρ конечна.)

402
ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Пусть Bi = {х: /,· < f(x) < //+1}. Поскольку функция f(x) непрерывная и,
следовательно, множество f~l(tiy /,·+ι) открыто, то dBt С f~x{ti}\J /_1{//+ι}.
Точки /,·, /,-+| ^D, поэтому P(dBi) = 0 и в силу (IV)
k-\
k-\
Σ''ρ«№)-Σί/Ρ(βί).
(12)
/=0
i=0
Но
\f(x)Pn(dx)-\f{x)P{dx)
k-\
^f(x)Pn(dx)-J2tiPn(Bi)
/=0
+
k-\
k-\
5>ря№)-5>р<ед
ι=0
/=0
k-\
J2tiP(Bi)-^f(x)P(dx)
/=o
<2 max (//+!-//) +
k-\
k-\
YiUPnm-Y^upm
i=0 /=0
откуда в силу (12) и произвольности разбиений 7^, k ^ 1,
lim $ /WPrt(dJc) = $ /WP(dx). □
П Ε Ε
Замечание 1. Участвующие в доказательстве импликации (1) => (II)
функции f(x) = Ια (χ) и f\(x) являются соответственно
полунепрерывными сверху и равномерно непрерывными. Учитывая это обстоятельство,
нетрудно показать, что каждое из условий теоремы эквивалентно одному
из нижеследующих условий:
(V) ^ f(x)Pn(dx)—>^ f(x)P(dx) для всех ограниченных равномерно
Ε Ε
непрерывных функций f(x)\
(VI) \f(x)Pn(dx)->\f(x)P(dx) для всех ограниченных функций,
Ε Ε
удовлетворяющих условию Липшица (см. лемму 2 в § 7);
(VII) lim § f(x)Pn(dx) ^ § f(x)P(dx) для всех ограниченных функций
Ε Ε
/(jc), являющихся полунепрерывными сверху (lim f(xn)^ f(x), хп —>x)\
(VIII) lim \ f(x)Pn(dx) ^ \ f(x)P(dx) для всех ограниченных функций
п Ε Ε
f(x), являющихся полунепрерывными снизу (lim f(xn)^ /(jc), xn—>x).
η
Замечание 2. Теорема 1 допускает естественное обобщение на тот
случай, когда вместо вероятностных мер Ρ и Prt, заданных на (£, <?, р),
рассматриваются произвольные (не обязательно вероятностные) конеч-

§ 1. СЛАБАЯ СХОДИМОСТЬ
403
ные меры μ и μη. Для таких мер совершенно аналогично вводятся понятия
слабой сходимости μη -^ μ, сходимости в основном μ« => μ и, так же, как
в теореме 1, устанавливается эквивалентность следующих условий:
(Ι*) μ^μ\
(II*) lim μη(Α)^μ(Α), А —замкнутые множества, и μη(Ε)—>μ(Ε)\
(III*) \]т μη(Α)^ μ(Α), А —открытые множества, и μη{Ε) —>μ(£);
Каждое из этих условий равносильно любому из условий (V*)—(VIII*),
формулируемых, как и (V)—(VIII), с заменой мер Рп и Ρ на μη и μ
соответственно.
4. Пусть (/?, SS(R)) — числовая прямая с системой борелевских
множеств SS(R)> порожденных евклидовой метрикой р(х, у) = \х - у\ (ср. с
замечанием 2 в п. 2 § 2 гл. II). Обозначим Я, Рп, О 1, вероятностные
меры на (/?, SS(R)), и пусть /\ Fn, /ζ ^ 1, — соответствующие им функции
распределения. Тогда справедлива
Теорема 2. Следующие условия эквивалентны:
(2)РЯ=>Р,
&)Fn*F9
(4)F„=>F.
Доказательство. Поскольку (2) <& (1) <& (3), то достаточно доказать,
что (2) <» (4).
Если Рп => Р, то, в частности,
Р„(-оо, х]-*Р(-оо, *]
для всех jc £ /? таких, что P{jc} = 0. А это и означает, что Fn => F.
Пусть теперь Fn=>F. Для доказательства сходимости Prt => Я
достаточно (в силу теоремы 1) показать, что Игл Рп(А) ^ Р(А) для всякого открытого
множества Л.
Если Л — открытое множество, то найдется счетная система непересе-
оо
кающихся открытых интервалов Λ, /2, ... (вида (a, ft)) таких, что Л = Σ h·
Зафиксируем е>0 и выберем в каждом интервале /^ = (а^, bk)
подынтервал /£ = (aj, b'k] такой, что a£, b'keC(F) и P(Ik)^P(I'k) + e2-k. (Поскольку
множество точек разрыва функции F = F(x) не более чем счетно, такие
интервалы /£, k ^ 1, действительно существуют.) Тогда по лемме Фату
оо оо оо
ϋιη Рп(А)=iim Υ, PnVk) 7> Σ lim fl,(/*) ^ V Вт РЛЧ)·
" *=I *=1 " k-l "

404
ГЛ. 111. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Но
Р„(1'к) = F„(b'k) - F„(ak) -> F(b'k) - F(a'k) = РЦ'к).
Поэтому
оо оо
йш Рп(А) > т р№ > Σ^7*) -ε2~*>=Ρ(Α) - ε>
что в силу произвольности ε > 0 доказывает, что ]im Рл(Л) ^ Р(Л), если А —
открытое множество. D
5. Пусть (£, <?) — измеримое пространство. Систему подмножеств
J#6(£) С<? назовем определяющим классом, если для любых двух
вероятностных мер Ρ и Q, заданных на (£, <?), из равенства
ρ (Л) = Q(A) для всех А е J#o(£)
вытекает, что эти меры совпадают тождественно, т. е.
P(A) = Q(A) для всех Л £ <?.
Если (£, &, р) — метрическое пространство, то систему подмножеств
<#i(£) Q£ назовем классом, определяющим сходимость, если для любых
мер Р, Pi, P2, ... из того, что
Рп(А)-*Р(А) для всехАеХ{(Е) с Р(А4) = 0
вытекает, что
Р„(Л)-+Р(Л) для всех А е<? с Р(дА) = 0.
В случае (£, £) = (/?, S8(R)) в качестве определяющего класса J#6(/?)
можно взять класс «элементарных» множеств JT={(-oo, jc], x GR}
(теорема 1 из § 3 гл. II). Из эквивалентности условий (2) и (4) теоремы 2 вытекает,
что класс Ж является также и классом, определяющим сходимость.
Естественно возникает вопрос о таких определяющих классах и для
более общих пространств.
В случае пространств Rn, n ^2, класс Jf «элементарных» множеств
вида (—оо, *] = (—оо, Х\] χ ... χ (-оо, хп], jt = (jtb ..., xn)eRn, является
как определяющим классом (теорема 2 из § 3 гл. II), так и классом,
определяющим сходимость (задача 2).
В случае пространства R°° цилиндрические множества являются
теми «элементарными» множествами, по вероятностям которых однозначно
определяется вероятность для всех борелевских множеств (теорема 3 из
§ 3 гл. II). Оказывается, что в этом случае класс цилиндрических множеств
является тем классом, который определяет также и сходимость (задача 3).

§ 1. СЛАБАЯ СХОДИМОСТЬ
405
Можно было бы ожидать, что и в случае более общих пространств
класс цилиндрических множеств является классом, определяющим
сходимость. Однако, вообще говоря, это не верно.
Так, например, рассмотрим пространство (С, ЗВ(С), р) с равномерной
метрикой ρ (см. п. 6 § 2 гл. II). Пусть Ρ — вероятностная мера, целиком
сосредоточенная на функции x(t) = Q, 0</^ 1, a Prt — вероятностные меры,
η ^ 1, каждая из которых сосредоточена на
функции хп =xn(t), изображенной на рис. 35. Нетруд- хп
но убедиться, что РЛ(Л)—>Р(Л) для всех
цилиндрических множеств А с Р(дЛ) = 0. Но, если
взять, например, множество
А = {аеС: |а(01< J. 0</<l}e^o(C),
\/п 2/п
Рис. 35.
1 t
то Р(Л4) = 0, Р„(Л) = 0, Р(А) = 1 и,
следовательно, Р„т^Р.
Таким образом, класс цилиндрических множеств является
определяющим классом, но не является классом, определяющим сходимость.
6. Задачи.
1. Будем говорить, что функция F = F(x), заданная на /?ш,
непрерывна в точке xeRm, если для любого ε>0 найдется такое 5>0, что
\F(x) - F(y)\ < ε для всех у £ /?т, удовлетворяющих неравенству
χ - бе < у < χ + 5е,
где е = (1, ..., 1)Е/?Ш. Будем говорить также, что последовательность
функций распределения {Fn} сходится в основном к функции
распределения F (обозначение: Fn=>F)y если Fn(x)-+F(x) для всех точек xeRm,
где функция F = F(x) непрерывна.
Показать, что утверждение теоремы 2 остается справедливым для /?т,
т> 1. (См. замечание 1 к теореме 1.)
2. Показать, что в случае пространств Rn класс «элементарных»
множеств Jf является классом, определяющим сходимость.
3. Пусть £ — одно из пространств /?°°, С или D. Будем говорить, что
последовательность вероятностных мер {Prt} (заданных на σ-алгебре £
борелевских множеств, порожденных открытыми множествами) сходится
в основном в смысле конечномерных распределений к вероятностной
мере Ρ (обозначение: РЛ=>Р), если Р„(Л)—>Р(Л), /ζ—юо, для всех
цилиндрических множеств А с Р(дЛ) = 0.

406
ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Показать, что в случае пространства R°°
(РДР) * (Р„=>Р).
Верно ли это утверждение для пространств С и D?
4. Пусть F и G — функции распределения на числовой прямой и
L(Fy G) = inf{A > 0: F(x - h) - h ^ G(x) ^ F(x + h) + h}
— расстояние Леей (между F и G). Показать, что сходимость в
основном эквивалентна сходимости в метрике Леви, определяемой расстоянием
(Fn^F) & (L(Fn,F)->Q).
5. Пусть Fn=>F и функция распределения Т7 является непрерывной.
Показать, что тогда сходимость Fn(x) к F(x) равномерна:
sup Ι/7,, (χ) - F(x) I -> 0, /ζ -> oo.
6. Доказать утверждение, сформулированное в замечании 1 к теореме 1.
7. Убедиться в справедливости эквивалентности условий (I*)—(IV*),
сформулированных в замечании 2 к теореме 1.
8. Показать, что Рп -^ Ρ тогда и только тогда, когда всякая
подпоследовательность {Prt/} последовательности {Prt} содержит
подпоследовательность {Prt"} такую, что Prt" -^ Р.
9. Дать пример вероятностных мер Я, Рп на (/?, ^(/?)), η ^ 1, таких, что
Ρп -^ Ρ, но для всех борелевских множеств β £&B(R) сходимости Рп(В) —►
—* Р(В) может и не быть.
10. Привести пример функций распределения F=F(x), Fn=Fn(x), η ^ 1,
таких, что Fn^*Fy но sup \Fn(x) — F(x)\-/*Q, /z—юо.
11. Во многих руководствах по теории вероятностей утверждение
(4) => (3) теоремы 2 о сходимости функций распределения Fny /z^l,
к функции распределения F связывается с именами Хелли и Брэя. В этой
связи предлагается передоказать следующие утверждения:
(а) Лемма Хелли—Брэя. Если Fn=>F (см. определение 1), то
ь ь
Пгп $ g(x) dFn(x) = ξ g(x) dF{x)9
a a
где а и ft — точки из множества точек непрерывности функции
распределения F = F(x) и g = g(x) — непрерывная функция на [a, ft).

§2. ОТНОСИТЕЛЬНАЯ КОМПАКТНОСТЬ И ПЛОТНОСТЬ 407
(Ь) Теорема Хелли—Брэя. Если Fn=>F и g = g(x) — непрерывная
ограниченная функция на /?, то
Пт J g(x)dFn{x)= J g(x)dF(x).
—оо —оо
12. Пусть Fn=s>F и последовательность (^ |jc|ftdFn(jc)) ограничена
для некоторого 6 > 0. Показать, что тогда
lim \ \x\a dFn(x) = \\x\a dF(x), 0 < α < ft,
lim ^xkdFn(x) = ^xkdF(x) для всякого &= 1, 2, ..., [ft], £^ft.
13. Пусть Fn=>F и m = тесЦ/7), mrt = med^) — медианы F w Fn
соответственно (см. задачу 5 в § 4 гл. I). Предположим, что медианы то и тп
определены однозначно для всех η ^ 1. Доказать, что тп —> т.
14. Пусть Т7 — функция распределения, однозначно определяемая сво-
оо
ими моментами а* = § xkdF(x), k= 1, 2, ... Пусть (/^b^i — последова-
— оо
тельность функций распределения такая, что моменты
оо оо
ап* = § xkdFn(x)->ak= § *kdF(x), й=1,2, ...
—оо —оо
Показать, что тогда Fn=$>F.
15. Доказать следующую версию закона больших чисел (Хинчин):
пусть ΛΊ, ^2, ... —попарно независимые одинаково распределенные
случайные величины с конечным средним ΕΛι =m и Sn =Λι + ...+Лл, тогда
Srt/n —> m.
§ 2. Относительная компактность и плотность
семейств вероятностных распределений
1. Если задана последовательность вероятностных мер, то, прежде
чем рассматривать вопрос о ее (слабой) сходимости к той или иной
вероятностной мере, следует, конечно, выяснить, а сходится ли вообще эта
последовательность к какой-либо мере или имеет ли она хотя бы одну
сходящуюся подпоследовательность.
Так, например, последовательность {Р„}, где Р2л = Р* Р2л+1 =0,аРи
Q — различные вероятностные меры, не является, очевидно, сходящейся,
но имеет две сходящиеся подпоследовательности {РгЛ и {Ρ2η+ι}·

408
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Совсем просто устроенная последовательность {Prt} вероятностных мер
Prt, я^ 1, каждая из которых сосредоточена в точке {п} (Р„({я})= 1), не
только не является сходящейся, но и не содержит ни одной сходящейся
подпоследовательности. (Поскольку lim Prt(a, b]=0 для любых a<b, то
предельная мера должна была бы быть тождественно равной нулю, а это
противоречит тому, что 1 =Рл(/?)/»0, п—>оо.) Интересно отметить, что
в этом примере соответствующая последовательность функций
распределения {Fn}y где
[О, х<пу
является, очевидно, сходящейся: для любого xeR
Fn(x)->G(x) = Q.
Однако предельная функция G = G(x) не является функцией
распределения (в смысле определения 1 из § 3 гл. II).
Этот пример поучителен с той точки зрения, что, как он показывает,
класс функций распределения не является компактным. Он
подсказывает также, что для сходимости последовательности функций распределения
к функции, которая являлась бы также функцией распределения, нужны
некоторые условия, предотвращающие «утечку массы на бесконечность».
После этих вводных замечаний, поясняющих характер возникающих
здесь трудностей, перейдем к основным определениям.
2. Будем предполагать, что все рассматриваемые меры определены на
метрическом пространстве {£, <?, р).
Определение 1. Семейство вероятностных мер ^ = {PQ;aG2t}
назовем относительно компактным, если любая последовательность мер
из & содержит подпоследовательность, слабо сходящуюся к некоторой
вероятностной мере.
Подчеркнем, что в этом определении предельная мера
предполагается вероятностной, хотя, быть может, и не принадлежащей исходному
классу «£Р. (Именно с этим последним обстоятельством связано появление
слова «относительно» в данном определении.)
Проверка того, что данное семейство вероятностных мер относительно
компактно, является делом далеко не простым. Желательно поэтому иметь
простые и удобные критерии, позволяющие осуществлять эту проверку.
Этой цели служит
Определение 2. Семейство вероятностных мер ^ = {PQ; аеЩ
называется плотным, если для каждого ε > 0 можно указать компакт /С С £

§2. ОТНОСИТЕЛЬНАЯ КОМПАКТНОСТЬ И ПЛОТНОСТЬ 409
такой, что
sup Ρα(Ε\Κ)^ε. (Ι)
Определение 3. Семейство функций распределения & = {Fa\ a €21},
определенных на Rn, О 1, называется относительно компактным
(плотным), если таковым является соответствующее семейство
вероятностных мер <^ = {Ρα; α£21}, где PQ —мера, построенная по FQ.
3. Следующий результат играет фундаментальную роль во всей
проблематике слабой сходимости вероятностных мер.
Теорема 1 (теорема Ю.В.Прохорова). Пусть <? = {Ра\ α£21} —
семейство вероятностных мер, заданных на полном сепарабельном
метрическом пространстве (£, <?, р). Семейство & является
относительно компактным тогда и только тогда, когда оно является
плотным.
Доказательство теоремы будет приведено лишь для случая числовой
прямой. (Это доказательство переносится ([55], [5]) на случай
произвольных евклидовых пространств Rn, n ^2. Затем справедливость теоремы
устанавливается последовательно для /?°°, для σ-компактных пространств
и, наконец, для общих полных сепарабельных метрических пространств
путем сведения каждого из этих случаев к предыдущему.)
Необходимость. Пусть семейство вероятностных мер ^ = {Ра; а £21},
заданных на (/?, BS(R)), относительно компактно, но не плотно. Тогда
найдется такое е > 0, что для любого компакта К С R
supPa(/?\/()>£,
a
а значит, и для любого интервала / = (а, Ь)
sup Pa(R\f)>e.
а
Отсюда вытекает, что для каждого интервала 1п = (—я, /ζ), η^ 1, найдется
такая мера Ρα/Ι, что
P*n(R\In)>e.
Раз исходное семейство & относительно компактно, то из
последовательности {PQ/I}rt^i можно извлечь подпоследовательность, скажем, {PQ/I },
такую, что Pa -^Q, где Q — некоторая вероятностная мера.
Тогда в силу эквивалентности условий (I) и (II) в теореме 1 из § 1 для
всякого η ^ 1
ΠΗϊ Pank(R\ln)^Q(R\ln). (2)

410
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Но Q(R \ 1п) 10, η —> оо, а левая часть в (2) больше ε > 0. Это противоречие
показывает, что относительная компактность влечет за собой плотность.
Для доказательства достаточности нам необходим один общий
результат (называемый теоремой Хелли) о секвенциальной компактности
семейства обобщенных функций распределения (п. 2 § 3 гл. II).
Обозначим через J = {G} совокупность функций G = G(x) (обобщенных
функций распределения), удовлетворяющих следующим свойствам:
1) G(x) — не убывают;
2)0<G(-oo), G(+ooKl;
3) G(x) — непрерывны справа.
Ясно, что J включает в себя класс функций распределения & = {F)y
для которых F(-oo) = 0 и F(+oo) = 1.
Теорема 2 (теорема Хелли). Класс J = {G} обобщенных функций
распределения является секвенциально компактным, т. е. для любой
последовательности {Gn} функций из У найдутся функция G G/ и
подпоследовательность {/ζ*} С {п} такие, что
Gnk(x)-+G(x), й->оо,
для любой точки χ из множества C(G) точек непрерывности
функции G = G(x).
Доказательство. Обозначим через 74 = {λγι, αγ2, ...} счетное всюду
плотное множество в R. Поскольку числовая последовательность {Gn(x\)}
ограничена, то найдется подпоследовательность N\={n\l\ n^\ ...}
такая, что Gn{\)(x\) при /—*оо сходятся к некоторому числу g\. В свою
очередь из последовательности N\ можно извлечь подпоследовательность
Ν2 = {/Ζ| \ nf\ ...} такую, что Grt(2>(jt2) сходятся при /—»оо к некоторому
ЧИСЛУ g2, И Т. Д.
Определим на множестве TCR функцию Gr(jc), полагая
и рассмотрим «канторовскую» диагональную последовательность N = {п^\
п%\ ...}. Тогда для любого *,· е Τ при т —► оо
Gnim)(Xi)-+GT(Xi).
Определим, наконец, функцию G = G(x) для всех χ €/?, полагая
G(x) = inl{GT(y): yeLy>x}. (3)
Мы утверждаем, что G = G(x) есть искомая функция и Gnim)(x)-+G(x) для
всех точек х, где G(x) непрерывна.

§2. ОТНОСИТЕЛЬНАЯ КОМПАКТНОСТЬ И ПЛОТНОСТЬ 411
Поскольку все рассматриваемые функции Gn являются
неубывающими, то Gim)(x)^G(m)(y) для всех χ и у, принадлежащих множеству Τ и
удовлетворяющих неравенству χ <#. Поэтому для таких χ и у
GT(x)^GT(y).
Отсюда и из определения (3) следует, что функция G = G(x) является
неубывающей.
Покажем теперь, что она непрерывна справа. Пусть Xkix и d =
= lim G(jc^). Ясно, что G(x)^d, и надо установить, что на самом деле
k
G(x) = d. Предположим противное, т.е. пусть G(x)<d. Из (3) следует,
что тогда найдется такая точка у€Т,х<у, что Gr(y)<d. Для достаточно
больших k x<xk<y, а значит, G(xk)<:GT(y) <d и lim G(xk)<d, что
k
противоречит равенству d = \\m G(Xk). Итак, построенная функция G
k
принадлежит J.
Установим теперь сходимость Grt(m>(x0) —>G(x°) для всякой точки
x°eC(G).
Если х° <уе Ту то
lim G(m)(x0)^\\m Gn(m)(y) = GT(y),
откуда
Ππϊ Gnm(x°) ^ mi{GT(y): У € Г, у > χ0} = G(jc°). (4)
С другой стороны, пусть хх <у<х°, у еТ. Тогда
G(xl) < Gr(у) = Hm G^iy) = Hm Gnw>(у) ^ Ит Оя«(х°).
Поэтому, полагая χ11 jc°, получим, что
G(jt°-K!imG„w(A (5)
/71
Но если G(jc0-) = G(jc°), то тогда из (4) и (5) заключаем, что G„<«>(*°)-+
->G(jt°), m-+oo. D
Завершим теперь доказательство теоремы 1.
Достаточность. Пусть семейство & плотно и {Р„} — некоторая
последовательность вероятностных мер из &. Обозначим через {Fn}
последовательность соответствующих функций распределения.
В силу теоремы Хелли найдутся подпоследовательность {Fnk}C{Fn} и
обобщенная функция распределения G€*P такие, что Fnk(x)-+G(x) для
xgC(G). Покажем, что в силу предположения о плотности семейства &

412
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
функция G = G(jc) является на самом деле «настоящей» функцией
распределения (G(-oo) = 0, G(+oo) = 1).
Возьмем ε > О, и пусть / = (а, ft] — тот интервал, для которого
supP„(*\/)<e,
η
или, что эквивалентно,
1-ε^Ρ„(α, ft], я5*1.
Выберем точки a', ft' £ C(G) такими, что а' < a, ft' > ft. Тогда
1 -е< Р«Л*. *] < Р-Л*'. *Ί = ^Д*') -^Ж)- G(*x) - G(a').
Отсюда следует, что G(+oo) - G(—oo)= 1, и поскольку O^G(-oo)^
^ G(+oo) ^ 1, то G(-oo) = 0 и G(+oo) = 1.
Таким образом, предельная функция G = G(x является функцией
распределения и Fnk^G, что вместе с теоремой 2 из § 1 доказывает, что
РПк -^Q, где Q — вероятностная мера, построенная по функции
распределения G. D
4. Задачи.
1. Провести доказательство теорем 1 и 2 для пространств /?л, η ^2.
2. Пусть PQ — гауссовская мера на числовой прямой с параметрами mQ
и σ^, α Ε 21. Показать, что семейство <^ = {PQ; a E 21} является плотным
тогда и только тогда, когда существуют константы α и ft такие, что
|mQ|^a, σ£θ, α£21.
3. Привести примеры плотных и не плотных семейств вероятностных
мер £> = {Р*\ a £21}, определенных на (/?°°, ^(/?°°)).
4. Пусть Ρ есть вероятностная мера на метрическом пространстве
(£, <?, р). Говорят (ср. с определением 2), что мера Ρ является плотной,
если для каждого ε>0 найдется компакт К СЕ такой, что Р(К)^ 1 — ε.
Доказать следующий результат («теорема Улама»): каждая
вероятностная мера Ρ на польском (т. е. полном сепарабельном метрическом)
пространстве является плотной.
5. Пусть Х = {Ха\ а €21} — некоторое семейство случайных векторов
(Xa€Rdi ol£21), при этом sup E||A'Q||r<oo для некоторого г>0. Пока-
α
зать, что семейство & = {Яа; а £ 21} распределений Ра = Law(XQ) является
плотным.

§3. МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ
413
§ 3. Метод характеристических функций
в доказательстве предельных теорем
1. Доказательство первых предельных теорем теории вероятностей —
закона больших чисел, теорем Муавра— Лапласа и Пуассона для
схемы Бернулли —основывалось на прямом анализе допредельных функций
распределения Fny которые довольно просто выражаются через
биномиальные вероятности. (В схеме Бернулли суммируемые случайные величины
принимают только два значения, что и дает, в сущности, возможность явно
найти функции Fn.) Однако для случайных величин более сложной
природы подобный метод прямого анализа функций Fn становится практически
неосуществимым.
Первый шаг в доказательстве предельных теорем для сумм
произвольно распределенных независимых случайных величин был сделан Чебыше-
вым.
Предложенное им неравенство, известное теперь как «неравенство Че-
бышева», дало возможность не только элементарно доказать закон
больших чисел Я. Бернулли, но и установить весьма общие условия
справедливости этого закона для сумм Sn =ξι +... + £л, я^1, независимых
случайных величин в форме утверждения, что для всякого ε > О
р{|т-^гШ^0· п^°°· (1)
(См. задачу 2.)
Далее, Чебышевым был создан (и Марковым усовершенствован) так
называемый «метод моментов», который позволил установить, что
утверждение теоремы Муавра—Лапласа, записанное в виде
носит универсальный характер в том смысле, что оно справедливо в очень
общих предположениях относительно природы суммируемых случайных
величин. Именно это дало основание называть утверждение (2)
центральной предельной теоремой теории вероятностей.
Несколько позже Ляпунов предложил иной метод доказательства
центральной предельной теоремы, в основе которого лежала (восходящая
к Лапласу) идея «характеристической функции» распределения
вероятностей. Последующее развитие показало, что «метод характеристических
функций» Ляпунова является весьма эффективным при доказательстве
самых разнообразных предельных теорем, что и обусловило его развитие
и широкое применение.

414
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Сущность этого метода состоит в следующем.
2. Мы уже знаем (§ 12 гл. II), что между функциями
распределения и характеристическими функциями существует взаимно однозначное
соответствие. Поэтому изучение свойств функций распределения можно
проводить, изучая соответствующие характеристические функции.
Замечательным оказывается то обстоятельство, что слабая сходимость Fn^F
функций распределения эквивалентна поточечной сходимости φη-*φ
соответствующих характеристических функций. Более того, имеет место
следующий результат, являющийся основным средством доказательства теорем
о слабой сходимости распределений на числовой прямой.
Теорема 1 (теорема непрерывности). Пусть (F'„) —
последовательность функций распределения Fn = Fn(x), xeR, и (φη) —
соответствующая последовательность характеристических функций,
<pn(t) = J eitxdFn(x), teR.
—оо
1) Если Fn^F, где F = F(x) — некоторая функция
распределения, то <Pn(t)-+ip(t), teR, где φ(ί) — характеристическая функция
F = F(x).
2) Если при каждом teR существует предел lim φη(ί) и
функция φ(ί) = lim <p(t) непрерывна в точке t = 0, то она является
характеристической функцией некоторого распределения вероятностей
F = F(x)u
Fn^F
Доказательство утверждения 1) сразу следует из определения слабой
сходимости, примененного к функциям Re eltx и Im eltx.
Доказательству утверждения 2) предпошлем несколько
вспомогательных предложений.
Лемма 1. Пусть {Рп} —плотное семейство вероятностных мер.
Предположим, что каждая слабо сходящаяся
подпоследовательность {Рл>} последовательности {Рп} сходится к одной и той же
вероятностной мере Р. Тогда и вся последовательность {Рп} слабо
сходится к Р.
W
Доказательство. Допустим, что Рл7^Р· Тогда найдется такая
ограниченная непрерывная функция / = /(*), что
\f{x)Pn{dx)^f(x)P(dx).
R R

§3. МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ
415
Отсюда следует, что существуют ε>0 и бесконечная
последовательность чисел {п1} С {п} такие, что
5 f(x) Pn'idx) - $ f{x) P(dx)\ > ε > 0. (3)
R R I
По теореме Прохорова (§ 2) из последовательности {РЛ'} можно выбрать
подпоследовательность {РЛ"} такую, что Рп» -^>Q, где Q — некоторая
вероятностная мера.
По предположению леммы Q = P, и, значит,
Sf(x)Pn»(dx)->\f(x)P(dx),
R R
что находится в противоречии с (3). D
Лемма 2. Пусть {Рп} — плотное семейство вероятностных мер
на (/?, BS(R)). Последовательность {Рп} слабо сходится к некоторой
вероятностной мере тогда и только тогда, когда для каждого
teR существует lim <pn(t), где φη(ί) — характеристическая функция
меры Рп:
<Pn(t)^eitxPn{dx).
R
Доказательство. Если семейство {Рл} плотно, то по теореме
Прохорова найдутся подпоследовательность {РЛ'} и вероятностная мера Ρ такие,
что Р„/ -^ Р. Предположим, что вся последовательность {Рл} не сходится
w
к Ρ (Р„ /> Р). Тогда в силу леммы 1 найдутся подпоследовательность {РЛ"}
и вероятностная мера Q такие, что Р„" -^Q, причем P^Q.
Воспользуемся теперь тем, что при каждом t eR существует lim φη(ί).
η
Тогда
lim \ eitx P„>(dx) = lim \ eitx Pn»(dx)
" * "" R
и, значит,
\eitxP(dx) = \eitxQ(dx)y tGR.
R R
Но характеристическая функция однозначно определяет распределение
(теорема 2 § 12 гл. II). Поэтому Ρ = Q, что противоречит предположению
W
рл^р.
Что же касается обратного утверждения леммы, то оно
непосредственно следует из определения слабой сходимости. D

416
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Следующая лемма дает оценку «хвостов» функции распределения по
поведению ее характеристической функции в окрестности нуля.
Лемма 3. Пусть F = F(x) — функция распределения на числовой
прямой и (p = (p(t) — ee характеристическая функция. Тогда
существует такая константа К>0У что для всякого а >0
$ rfF(x)<|S[l-ReV(/)]rf/. (4)
\х\>\/а О
оо
Доказательство. Поскольку Re φ(ί) = § cos tx dF(x), то, применяя
—оо
теорему Фубини, находим, что
£ $[1-Re ?(/)]<«-£ S
dt =
-S
I (\ - cos tx) dF(x)\
ОО J
1 ** 1 °°
i \(\-cos tx)dt\dF(x) = $ (\-^^-\dF{x)>
0 J —oo
\ax\>\
\xfe\/a
где
> inf(l-^Ul-sinl>i
так что (4) заведомо справедливо с константой /С = 7. D
Доказательство утверждения 2 теоремы 1. Пусть <pn(t)-><p{t),
/ζ—юо, где функция <^(/) непрерывна в нуле. Покажем, что отсюда
следует плотность семейства вероятностных мер {Рл}, где Р„ — мера,
соответствующая функции распределения Fn.
В силу (4) и теоремы о мажорируемой сходимости
1 1
ρ-{*4-ϊ·ϊ)}= S dF°(x)^
\*&i
a x а у
при /ζ—>οο.
Поскольку по предположению функция φ(ί) непрерывна в нуле и <^(0) =
= 1, то для всякого ε > О можно найти такое а > О, что для
1 1
Prt|/? \ (--. -) } <ε для всех п^\.

§3. МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ
417
Следовательно, семейство {Рл} плотно, и в силу леммы 2 существует
вероятностная мера Ρ такая, что
Отсюда
Ψη(ί)= 1 e"xPn(dx)^ f eitxP(dx),
—oo — oo
и в то же самое время φη(ί)—>φ(ί). Поэтому φ(ί) является
характеристической функцией вероятностной меры P. D
Следствие. Пусть (Fn) — последовательность функций
распределения и (φη) — соответствующая последовательность
характеристических функций. Пусть, кроме того, F —функция распределения,
φ —ее характеристическая функция. Тогда Fn^F, если и только
если φη(ί) —► φ(ί) для всех t eR.
Замечание. Пусть η,η\,η2, ... —случайные величины и F^^F^.
В соответствии с определением 4 § 10 гл. II тогда говорят, что случайные
величины щ,щ, ... сходятся по распределению к η, и записывают это
в виде ηη -+η. Эта запись наглядна (d — от distribution) и поэтому часто
в формулировках предельных теорем ее предпочитают записи FVn -^ Fv.
3. В следующем параграфе теорема 1 будет применена для
доказательства центральной предельной теоремы для независимых разнораспреде-
ленных случайных величин. Доказательство будет вестись при выполнении
так называемого условия Линдеберга. Затем будет показано, что условие
Ляпунова обеспечивает выполнение условия Линдеберга. Сейчас же мы
остановимся на применении метода характеристических функций к
доказательству некоторых простых предельных теорем.
Теорема 2 (закон больших чисел). Пусть ξ\, &» ···
—последовательность независимых одинаково распределенных случайных
величин с Ε|ξι|<οο, S„=£i +... + £„ и Eζ\=m. Тогда — Дт, т.е. для
всякого ε > 0
Ρ{|^Γ~Η^ε}^°' П^°°'
s
Доказательство. Пусть φ(ί) = Εβίίξι и φ^(t) = Eelil~n . Тогда в силу
п
независимости случайных величин и формулы (6) § 12 гл. I
Но, согласно (14) § 12 гл. II,
4>(t) = l+itm + o(t), t^O.

418
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Значит, для всякого фиксированного t Ε R
Ki)"1+iim+°(i)· n^°°'
и поэтому
^W-[i+^*+o(i)]e—'
Urn
Функция (p(t) = eitm непрерывна в нуле и является характеристической
функцией вырожденного распределения вероятностей, сосредоточенного в
точке т. Поэтому
(см.
задачу 7
в §10
гл.
Sn
η
И).
§1
η
d
Ρ
D
Теорема З (центральная предельная теорема для независимых
одинаково распределенных случайных величин). Пусть ξι, &» ··· —
последовательность независимых одинаково распределенных
{невырожденных) случайных величин с E£f <oo и Sn = ξι +... + £я. Тогда
при п—юо
где
ф<*>=:ж; Se_Bi/2dM·
— оо
-^2
Доказательство. Пусть Εξι = m, ϋξι =σ2 и
V7(/) = Ee,/<€,"m>.
Тогда, если обозначить
то получим, что
Но в силу (14) § 12 гл. II
2 2
„(/) = !-£!-+о(/2), f->0.

§ 3. МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ 419
Поэтому для любого фиксированного / и η —> оо
.2,2
-«-[■-ет^а)Г-
-t2/2
Функция е~* I2 является характеристической функцией нормально
распределенной случайной величины (обозначим ее <Ж(0, I)) с нулевым
средним и единичной дисперсией, что в силу теоремы 1 и доказывает требуемое
утверждение (5). В соответствии с замечанием к теореме 1 это утверждение
записывают также в следующем виде:
Предыдущие две теоремы относились к асимптотическому поведению
вероятностей (нормированных и центрированных) сумм Sn = ξι -h... + £,
независимых одинаково распределенных случайных величин. Однако,
чтобы сформулировать теорему Пуассона (§ 6 гл. I), приходится привлекать
к рассмотрению более общую модель, называемую схемой серий
случайных величин.
Именно, будем предполагать, что для каждого η ^ Ι задана
последовательность независимых случайных величин ξη\, ..., ξηη. Иначе говоря,
пусть задана треугольная таблица
случайных величин, которые в каждой строчке независимы между собой.
Положим Sn = &I +... + ζαα.
Теорема 4 (теорема Пуассона). Пусть при каждом л> 1
независимые одинаково распределенные случайные величины ξη\,..., £„„
таковы, что
Pfe* = l> = Aib P{C* = 0) = qnk, иКл,
Puk + q*k = U max pnk-*0, pnX + ... + /?„Λ->Α>0, я-*оо.
Тогда
P{$n = m}^^f-, m = 0, I, ... (7)
Доказательство. Поскольку для 1 < k < η
Ее"Ь* = рп11е"+дпЬг

420
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
ТО
η η
у>5л(/) = Ее''5" = П (Ρ«*β"+^) = Π <1 + Ρ-*(*"-1))->
—► ехр{А(е" - 1)}, /г —► oo.
Функция (p(t) = exp{\(elt— l)} является характеристической функцией
пуассоновского распределения (пример 3 в п. 2 § 12 гл. II), что и
доказывает (7).
Если через π(λ) обозначить пуассоновскую случайную величину с
параметром λ, то по аналогии с (6) утверждение (7) можно записать также
в следующем виде:
4. Задачи.
1. Доказать справедливость утверждений теоремы I для случая
пространств Rn, п^2.
2. Пусть ξι, &> ... — последовательность независимых случайных
величин с конечными средними значениями Ε|ξ„| и дисперсиями Οξη такими,
что Οξη < К < оо, где К — некоторая константа. Используя неравенство
Чебышева, доказать справедливость закона больших чисел (I).
3. В следствии к теореме I установить, что семейство {φη}
равностепенно непрерывно и сходимость φη—>φ равномерна на каждом
ограниченном интервале.
4. Пусть ξ„, η ^ I, — случайные величины с характеристическими
функциями φξ„(ί), η ^ I. Показать, что ξη —»0 тогда и только тогда, когда
<Pb(t)—> l, /ι-*οο, в некоторой окрестности точки / =0.
5. Пусть Х\, Χ2, ... — последовательность независимых случайных
векторов (со значения ми в /?*), имеющих нулевое среднее и (конечную)
матрицу ковариаций Г. Показать, что
у/П
(Ср. с теоремой 3.)
6. Пусть ξι, &> ··· и *7ь V2, .·· —две последовательности случайных
величин такие, что ξη и ηη независимы при каждом п. Предположим, что
£л —*£» tyi —♦*/ ПРИ я-+оо, где ξ и η независимы. Доказать, что
последовательность двумерных случайных величин (ξ„, ηη) сходится по распределению
к (ξ, η).
Пусть / = /(χ, у) — непрерывная функция. Проверить, что
последовательность /(£„, 77л) сходится по распределению к /(£, η).

§4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. I
421
7. Привести пример, показывающий, что в утверждении 2) теоре-
мы 1 условие непрерывности «предельной» характеристической функции
<£(/) = lim φη(ί) в нуле, вообще говоря, не может быть ослаблено.
(Иначе говоря, если φ(ί) не непрерывна в нуле, то может случиться, что
w
(pn(t)—><p(t), но Fn-/*F.) Убедиться на примере, что отсутствие
непрерывности φ(ί) в нуле может привести к нарушению свойства плотности
семейства вероятностных распределений Рп, О 1, с характеристическими
функциями <рл(0, О 1.
§ 4. Центральная предельная теорема
для сумм независимых случайных величин.
I. Условие Линдеберга
1. В этом параграфе центральная предельная теорема для
(нормированных и центрированных) сумм Sn независимых случайных величин
ξι. &» ···. £л. я ^ 1. будет доказываться при традиционном предположении
выполнения классического условия Линдеберга. В следующем
параграфе будет рассмотрена более общая ситуация: во-первых, центральная
предельная теорема будет сразу формулироваться в «схеме серий», и, во-
вторых, ее доказательство будет идти при выполнении так называемых
неклассических условий.
Теорема 1. Пусть ξι, &» ··· —последовательность
независимых случайных величин с конечными вторыми моментами. Пусть
mk = Eξk,σl = Dξk>0,Sn=ξ{+... + ξn,D2n=Σ о\и Рк = Рк{х)-фун-
кция распределения случайной величины ξ*.
Предположим, что выполнено «условие Линдеберга»: для всякого
ε>0
(L> Τ^Σ $ (x-mkfdFk(x)^Q, n-^oo. (1)
Тогда
^|^Λ^(0, 1). (2)
Доказательство. Без ограничения общности можно считать т* = О,
* > 1. Обозначим φΗ(ί) = Ее««», Т„ = -^= = |i, φ^ΐ) = Ee»s», <pTn(t) =
= EeitT".

422
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Тогда
Ψτη
(3)
и для доказательства (2) достаточно (в силу теоремы 1 из § 3) установить,
что для каждого t GR
<PTn(t)-*e '2/2, я-юо.
(4)
Возьмем некоторое t € R и будем считать его фиксированным на
протяжении всего доказательства. В силу разложений
e*' = l+iy +
9ι£
2 '
e4 = l+iy-!L +
3! '
справедливых для каждого действительного у с θ\ =в\(у), вч = вч{у)
такими, что \θ\ | < 1, |0г| < 1. находим, что
ЫО = Ее"«* = 1 ei,x dFk(x) = $ (l + to + Mff)^*) +
-oo \x\>eD„
И<еО„
η η ο
= l + j $ exx2dFk(x)-^ $ ^ад + Ш- ξ 02M3dF*M
И^еД, И<еО„ M<eD„
(здесь мы воспользовались также тем, что, согласно предположению,
оо
т*= § * <*/>(*) = 0).
—оо
Следовательно,
+ Й> S ^kprf^w. (5)
И<еОл
6D8
И<еД,
Поскольку
5 ii^d^wki $ JC2dF,(jc),
\x\^eD„
\x\>eD„

§4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. I
423
ТО
\ $ exx2dFk(x)=ex $ x2dFk(x), (6)
\x\>eD„ \x\>eD„
где ft =βι(/, А, я) и |0ι| < 1/2.
Точно так же
1 С /,ыЗ.,г/„хЬ1 С «А
6
5 fc|x|3dFH*)kg $ ¥r\x\ZdFk(x)<± $ eDnx2dFk(x),
и, значит,
g J ftM3^*)»* J eDnx2dFk(xl (7)
M<«A· M<eD„
где fts = fts(/, Λ, я)и |fe|<l/6.
Положим теперь
Тогда в силу (5)—(7)
^(^)^^t^ + t2elBkn + \t\3ee2Akn (=l+Ckn)- (8)
Заметим, что
η
Σ(^+β*„) = ι (9)
и, согласно условию (1),
η
Y^Bkn^0, n^oo. (10)
*=1
Поэтому для достаточно больших η
max |0*„|</2ε2 + ε|/|3 (11)
И
£1с*»к'2+си3· <12>
Воспользуемся теперь тем, что для комплексных чисел ζ с |ζ| < 1/2
Ιη(1+ζ) = ζ + 0|ζ|2,

424
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
где θ = θ(ζ) с |0| < 1 и In обозначает главное значение логарифма (In z =
= In \z\ + / arg ζ, -π < arg ζ ^ π). Тогда для достаточно больших η из (8)
и (11) следует, что для достаточно малых е > О
едовательно, из (3)
j +in <pTn(t)=j +έ1η <*(£;) = τ +Σ C*"+E e*»lc*"l2
где \0kn\ ^ 1· Следовательно, из (3)
Л ,2 п
*=1
k=\
k=\
Но
,2 п Л ( п
*=1 \ fe=l
*»)+,2Σ*ι('.Α.η)β*« +
/I
+ e\t\s^92(t9k9n)Akn9
k=\
k=\
и в силу (9), (10) для любого δ> 0 можно найти столь большое По и такое
ε > 0, что для всех п^По
2 п
6=1
Далее, в силу (11) и (12)
/, Qkn\CknY
k=\
< max |С*„|-]Г |^|^(/2ε2 + ε|/|3)(/2 + ε|/|3).
\<k<n
k=\
Поэтому для достаточно больших η за счет выбора ε > 0 можно добиться
того, что
η
/] 0kn\Ckn\A
и, следовательно,
2
4
\j + \n<pT.(t)\^S.
Таким образом, для любого действительного /
<Рт„У)е'2/2^>1, я-+оо,
и, значит,
а

§4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. I
425
2. Остановимся на некоторых частных случаях, в которых
выполнено условие Линдеберга (1) и, следовательно, справедлива центральная
предельная теорема.
а) Пусть выполнено условие Ляпунова: для некоторого δ > О
1 "
' £E|&-m*|2+5-0, η-оо. (13)
Пусть ε > 0, тогда
E|&-m*|2+5= $ \x-mk\2+sdFk(x)Z
—оо
> S |jt-m*|2+*dF*(jt)^D* $ (x-mk)2dFk(x)
{χ: |*-/η*|^εΟ„} {*: \x-mk\^eDn)
и, значит,
i Σ $ <* - ™*>2 ^ w < ? ■ ™ Σ Е& - т^6-
Un k=\ {x:\x-mk\>eDn) U* k=\
Следовательно, условие Ляпунова обеспечивает выполнение условия
Линдеберга.
b) Пусть ξι, ^2» ··· —независимые одинаково распределенные
случайные величины с т = Εξι и дисперсией 0 < σ2 = Όξ\ < оо. Тогда
^2 Σ S \x-m\2dFk(x) = A; 5 Ix-mfrffiW-O,
л *=l {x:\x-mteeD„} {x:\x-mfeea2y/n)
поскольку {х:\х-т\^ εσ2>/η) j 0, η —► оо, а σ2 = Ε |ξι - m|2 < оо.
Таким образом, условие Линдеберга выполнено и, следовательно,
теорема 3 из § 3 вытекает из доказанной теоремы 1.
c) Пусть ξι, &> ··· —независимые случайные величины такие, что для
всех η ^ 1
|ξ„|</(<οο,
где /С — некоторая постоянная, и Dn —► оо, η —► оо.
Тогда из неравенства Чебышева
$ |дг - mk\2 dFk(x) = Ε[(ξ* - m*)2 /(|ξ* - m*| ^ e£>«)] ^
{jf:|jf-m*|^eO„}
„2
2_°k
^(2K)2P{^k-mk\^eDn}^(2K)2-^

426
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
и, значит,
7^2 Σ S \x~mk\4Fk(x)^^->^ л-оо.
Следовательно, снова выполнено условие Линдеберга и, значит,
справедлива центральная предельная теорема.
5 — ES
3. Замечание 1. Пусть Тп = -2-=г—- и FT„(x) = P(Tn ^*). Тогда
утверди
ждение (2) означает, что для всякого χ е R
Поскольку функция Ф(х) непрерывна, то на самом деле сходимость здесь
равномерная (задача 5 в § 1):
sup |^гяМ-ф(*)|-*°. я-*оо. (14)
x£R
В частности, отсюда следует, что
Р{5л^х}-Ф(^^)^0, я-оо.
Это утверждение часто выражают словами, что при достаточно большом η
величина Sn примерно нормально распределена со средним ES„ и
дисперсией D2 = DS„.
Замечание 2. Поскольку в соответствии с предыдущим замечанием
сходимость Ft„(x)—>Ф(х), я —>оо, равномерна по х, то естественно
поставить вопрос о скорости сходимости в (14). В том случае, когда величины
ξι, &> ··· независимы, одинаково распределены и Ε|ξι|3<οο, ответ на
этот вопрос дается теоремой (неравенством) Берри—Эссеена (§ 11):
sup \FTn(χ) - Ф(х)I < С Ε|ξι3"^'13, (15)
где С —универсальная константа, точное значение которой до сих пор
неизвестно. (В [90, гл. 5, § 4.3] для этой константы приводятся такие
неравенства: -== ^ С ^ 0,7655.)
ν2π
Доказательство (15) дается в § 11.
Замечание 3. Придадим условию Линдеберга несколько иную (и
даже более компактную) форму, особенно удобную в случае «схемы серий».
Пусть ξι,ξ2, ··· —последовательность независимых случайных
величин, m* = E&, af = D&, 0%=Σ σ|>0, /i^l, и С* = **~т*. С учетом

§4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. I
427
этих обозначений условие (1) принимает следующий вид:
η
(и ΣΕΐ^/ίΐ^ι>ε)ΐ-*°· п^°°- (16)
Если Sn =ξη\ + ... + ξηη, то DS„ = 1 и теореме 1 можно придать такую
форму: если выполнено условие (16), то
S„^</K(0, 1).
В таком виде центральная предельная теорема справедлива и без
предположения о том, что величины £„* имеют специальную форму ^~—-.
Именно, имеет место следующий результат, доказываемый буквально так
же, как теорема 1.
Теорема 2. Пусть при каждом η > 1
Srtl» S/i2» ·· ·» s/irt
— последовательность независимых случайных величин таких, что
Е£,* = 0 и DS„ = 1, где S„ =ξ„ι+ ... + £,„.
Тогда выполнение условия Линдеберга (16) достаточно для
сходимости Sn—>jV(0, 1).
4. Поскольку
max Е&<е2 + £Е[&/(|Ы^)],
то ясно, что из условия Линдеберга (16) вытекает, что
max Е^„-+0, /ζ —оо. (17)
Примечательно, что при выполнении этого условия из справедливости
центральной предельной теоремы автоматически следует выполнение условия
Линдеберга.
Теорема 3. Пусть при каждом η ^ 1
?л1» £л2» ···» ζηη
— последовательность независимых случайных величин таких, что
Е£л* = О и DS„= \,εββ8η=ξ„\ +...Η-ξηη. Пусть выполнено условие (Π).
Тогда условие Линдеберга является необходимым и достаточным
для справедливости центральной предельной теоремы, S,,—>сЖ(0, 1).
Достаточность следует из теоремы 2. Для доказательства
необходимости нам понадобится следующая лемма (ср. с леммой 3 в § 3).

428
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Лемма. Пусть ξ — случайная величина с функцией распределения
F = F(x)y Εξ = 0, Όξ = 7 > 0. Тогда для каждого а > 0
5 x2dF(x)^ \ [Re /(V§a)- 1+37α2], (18)
где f(i) = Ееи* — характеристическая функция ξ.
Доказательство. Имеем
Re/(0-l + i^2 = ^7/2- I [l-cos/x]rfF(x) =
—оо
= ^7'2- 5 [I-cos tx]dF(x)- ξ ll-cos/jcJrfTW^
1*1<ι/α Ι*Ι»ι/α
\x\<\/a \x\>\/a
= (b2-2a2) ξ *2dF(*).
Полагая / = %/ба, получаем требуемое неравенство (18). D
Перейдем теперь к доказательству необходимости в теореме 3.
Пусть
/="«*(*) = РЙ* < *}, Ы0 = Ее"«*,
ΕξηΑ = 0, D^ = 7«*>0,
(19)
Vt«* = 1, max 7л*-^0, л-юо.
Пусть In г обозначает главное значение логарифма комплексного числа ζ
(т. е. In ζ = In |г| + i arg г, —π < arg ζ ^ π).
Тогда
η η
где m = m(/z, /) — некоторое целое число. Следовательно,
η η
Re In J] U(t) = Re £ In /„*(/). (20)
Поскольку
/I .
*=1

§4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. I
429
ТО
Тем самым
При \г\ < 1
/ι 1
Π /«*(')
Ь—\
!/2
η
Rein β /„*(/) = Re In
1п(1+г) = 2-·
1 л
Π /«*(')
\k=\
ζ2 ζ3
2 + 3 '
-*<*■
(21)
(22)
и при \г\ < ^
|1п(1+г)-г|<|г|2.
(23)
В силу (19) при каждом фиксированном /, всех достаточно больших η и
всех k = 1, 2, ..., η имеем
|/«*(0-ΐ|<ρ«*/2<5·
(24)
Поэтому из (23), (24) получаем
2{И1 + (Ы0-1)]-(Ы0-1)}
*=1
и, следовательно,
^Е1Ы0-1|2^
*=1
/4 \^ ί4
4 1<л^л
*=1
Re£>M')-Re£(/,,*(0--l)
I fe=l *=1
Из (20), (21), (25) вытекает, что
η
► 0, /ζ —► оо.
(25)
Re J] (ЫО- 1) + \ '2 = E [Re ЫО-1 + \ t2lnk] -0. я-.oo.
Полагая / = >/ба, находим, что при каждом а > О
л
53 [Re Ы^ба) - 1 + За27„*] -»О, η ^ оо. (26)
*=1

430
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Наконец, из (18) с а= \/е и (26) получаем
η η
ΣΕ[6*/(|6*Ι>*)] = Σ $ *2£//7«*W<
/ι
*=ι
что и доказывает выполнение условия Линдеберга. D
5. Задачи.
1. Пусть ξι, &♦ ··· —последовательность независимых одинаково
распределенных случайных величин с Εξ2 < оо. Показать, что
твх(Щ,...Ш)±0, я-оо.
2. Дать прямое доказательство того, что в схеме Бернулли величина
sup \Ft„(x) — $(x)\ имеет порядок -р, п—юо.
χ Уп
3. Пусть ΛΊ, Х2> ... —последовательность перестановочных случайных
величин (см. задачу 4 к § 5 гл. II) с ЕХ,- = О, ЕХ? = 1 и
cov(X,, Х2) = cov(X,2, Xl). (27)
Доказать, что имеет место центральная предельная теорема:
1 J2xA^(0,l). (28)
V i=l
Обратно, если EX2 <oo и выполнено (28), то выполнено и (27).
4. Локальная центральная предельная теорема. Пусть Х\, ^2» · · · —
независимые одинаково распределенные случайные величины с ЕХ\ = О,
EAf = 1. Пусть их характеристическая функция <p(t) = EeitXl такова, что
оо
§ \<p(t)\r dt < оо для некоторого г > 1.
—оо
Показать, что плотность fn(x) распределения вероятностей величин Sn/y/n
существует и
fn(х) —> (2п)~1/2е~х /2, я -юо, равномерно по χ £ /?.
Как выглядит соответствующий результат для решетчатых случайных
величин?
5. Пусть ΛΊ, ^2» ··· —независимые одинаково распределенные
случайные величины с ЕХ\ = 0, EAf = 1. Пусть d2, df» ··· — неотрицательные

§4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. I
431
константы такие, что dn = o(Dn), где D% = Σ d\. Показать, что последова-
тельность взвешенных величин d\X\, d^X?., ... удовлетворяет центральной
предельной теореме:
1
^£адЛ«Ж(0,1).
6. Пусть ξι, ξ2» ··· —независимые одинаково распределенные
случайные величины с Εξι=0, Εξ2=1. Предположим, что (тп)п^\
—последовательность случайных величин, принимающих значения из множества
{1, 2, ...}, такая,
(S„=£i+... + 6,)
ρ
{1,2, ...}, такая, что тп/п—>с, где о0— константа. Доказать, что
Lawir-1^,,)^
(т.е. ТпХ STn —>ξ, где ξ~Λ^(0, 1)). (Отметим, что независимость
последовательностей (тп)п^\ и (ξ,,),,^ι не предполагается.)
7. Пусть ξι, ξ2, ... —независимые одинаково распределенные
случайные величины с Εξι =0, Εξ2 = 1. Доказать, что
Law(V,/2 max Sm) -+ Law(|£|), где ξ~^(0, 1).
Иначе говоря, для χ > 0
рК1/2s>4-v^K/2d* (-Жerf(4
Указание: убедиться в справедливости сформулированного
утверждения сначала для симметричных бернуллиевских случайных
величин ξι» ξ2, ··· с Ρ{ξΛ = ±1}=1/2 и затем доказать, что вид
предельного распределения будет тем же самым для любой последовательности
£ь ξ2> ··· с определенными выше свойствами. (Отмеченная
независимость предельного распределения от частного выбора
последовательности ξι,ξ2, ..., состоящей из независимых одинаково распределенных
случайных величин с ΕξΛ = 0, Εξ^= 1, носит название «принцип
инвариантности»; ср. с § 7.)
8. В условиях предыдущей задачи доказать, что
где
Р(/Г,/2 max |Sm|^jt)-+//(*), х>0,
I 1^т^я J
k=0

432 ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
9. Пусть Х\, Х2> ... — последовательность независимых случайных
величин с
Р{Хп = ±па} = ±;, Р{Хп = 0}=\-±, где2а>/?-1.
Показать, что условие Линдеберга выполнено, если и только если 0 ^ β < 1.
10. Пусть Х\, Хг» · · · — последовательность независимых случайных
величин таких, что \Хп\ < Сп (Р-п. н.) и Cn = o(Dn), где
D2n=J2E(Xk-EXkf^oo.
Показать, что
Sn-ESn
Dn
^К(0, 1), rAeS„=*i+...+*„.
11. Пусть Х\, Λ2» · · · — последовательность независимых случайных
величин с ΕΧ,, = 0, ΕΧ% = σ%. Предположим, что для них выполняется
центральная предельная теорема и
^ ( Αι ^2 Σ *' ) ~* <>Ш для некотоРого * ^ 1.
(2*)!
Показать, что тогда выполнено условие Линдеберга порядка й, т. е.
£ $ |х|*^(х) = о<0*), ε>0.
/=1 (М>е>
(Обычное условие Линдеберга соответствует случаю й = 2; см. (1).)
12. Пусть X =Х(Х) и У = 7(μ) — независимые пуассоновские случайные
величины с параметрами λ > 0 и μ > 0 соответственно. Показать, что
\ \ / / _ν_ν^τ_ ^/ ->^/Κ(0, 1) при λ->οο, μ-+οο.
13. Пусть при каждом О 1 (^ι(/ι\ ..., Х^) является (п+ 1)-мерным
случайным вектором, равномерно распределенным на единичной сфере.
Доказать справедливость следующей «теоремы Пуанкаре»:
lim P{v^^rti,<Jc} = ^L I e~u2/2du.

§5. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. II
433
§ 5. Центральная предельная теорема
для сумм независимых случайных величин.
II. Неклассические условия
1. В § 4 было показано, что условие Линдеберга (16) влечет
выполнение условия
max E£iL->0,
из которого в свою очередь вытекает так называемое условие предельной
пренебрегаемости (асимптотической малости), состоящее в том, что
для всякого ε > О
max Ρ{|ξ^|^ε}-^0, /ζ—>οο.
Таким образом, можно сказать, что теоремы 1 и 2 из § 4 дают
условия выполнимости центральной предельной теоремы для сумм
независимых случайных величин в предположении предельной
пренебрегаемости. Предельные теоремы, в которых на отдельные слагаемые наложены
условия их предельной пренебрегаемости, принято называть теоремами в
«классической постановке». Нетрудно однако привести примеры
невырожденных случайных величии, для которых не выполнено ни условие
Линдеберга, ни условие предельной пренебрегаемости, но тем не менее
центральная предельная теорема справедлива. Вот простейший пример.
Пусть ξι, ξ2, · · · — последовательность независимых нормально
распределенных случайных величин с Εξη=0, Όξ\ = 1, D&=2*~2, k^2. Положим
Нетрудно проверить, что здесь не выполнено ни условие Линдеберга, ни
условие предельной пренебрегаемости, хотя справедливость
центральной предельной теоремы очевидна, поскольку Sn распределены нормально
cES„ = 0, DS„ = l.
Приводимая далее теорема 1 дает достаточное (и необходимое)
условие справедливости центральной предельной теоремы без предположения
«классического» условия предельной пренебрегаемости. В этом смысле
формулируемое ниже условие (А) является примером «неклассических»
условий, что и отражено в заголовке настоящего параграфа.
2. Будем предполагать, что для каждого η ^ 1 задана
последовательность («схема серий») независимых случайных величин
S/ιΙ» S/i2» ···» ζηη

434
ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
с Εξ„* = 0, D£,* = a^>0, Σ <&=1. Пусть Sn =ξΛι + ...+£,,,, Fnk(x) =
= Ρ{£*<*>.ΦΜ = (2π)-|/2 l е-У2!иУ,Фпк(х) = ф(^А.
Теорема 1. Для того чтобы
S„^(0, 1), (1)
достаточно (и необходимо) выполнение для каждого е>0 условия
η
(Λ) £ $ \x\\Fnk(x)-*nk{x)\dx-*0, л->оо. (2)
k=\ \x\>e
Следующая теорема проясняет связь между условием (Λ) и
классическим условием Линдеберга
η
(L) Σ $ x2dFnk(x)^0, я-оо. (3)
k=\ \x\>e
Теорема 2. 1. Условие Линдеберга обеспечивает выполнение
условия (Λ):
(L) => (Λ).
2. Если max Εξ;^-+ О, /ζ —юо, mo условие (Λ) обеспечивает выпол-
нение условия Линдеберга (L):
(Λ) =► (L).
Доказательство теоремы 1. Доказательство необходимости
условия (Λ) довольно сложно ([88], [91], [96]). Приведем здесь лишь
доказательство его достаточности.
Пусть
ЫО = ЕейЧ /„(0 = Ee"s«f
¥>«*(')= 1 *''" <**«*(*), ?(/) = f е"*йФ(*).
Из § 12 гл. II следует, что
4>nk
(t) = e—z*f <p(t) = e""*.
Согласно следствию к теореме 1 из § 3, Sn —*,Ж(0, 1) тогда и только тогда,
когда fn{f)—><p(f), /ζ —>οο, для всякого действительного /.

§5. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. II
435
Имеем
Ш-¥>(/) = Π Ы0-Π *-*(').
fc=l
k=\
Поскольку \fnk(t)\ ^ 1, \4>nk(t)\ ^ 1, то
|/«(0-^(01 =
-Σ
ft=I
Λ
Σ
<Σι/«*(0-¥>«*(0Ι=
k=\
*=I
\(e'tx_itx+t?*Ly(Fnk_t>nk)
, (4)
$ eitx d(Fnk-<f>nk)
-OO
где мы воспользовались тем, что для * = 1, 2
оо оо
—оо —оо
Применяя формулу интегрирования по частям (теорема 11 в § 6 гл. II)
к интегралам
ξ (e«* - «jc + ^-) </(/=■«* - Ф«*),
получаем (с учетом того, что х2[\ — Fnk(x) + F„k(-x)] —»0, дс2[1 -ФЛ*М +
+ Ф„*(-.*:)]->0, ж-+оо)
,2 ..2,
-OO
= -« ^ί^-Ι-ί^^Μ-Φ^Μ)^. (5)
Из (4) и (5) имеем
η
l/«(0-?(*)!< Σ
*=1
ί 5 (eitx - 1 - itx)(Fnk(x) - Фпк(х)) dx
л
+ 2/2£ ξ \x\\Fnk(x)-<f>nk(x)\dx^
A=I |x|>e
<*ΐΊ3Σ<&+2*2έ S wi^w-^irtWirf*. (6)
*=1 *=1 |*|>e

436
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
при этом мы воспользовались неравенством
$ \x\\Fnk(x)-$nk(x)\dx^2a2nk, (7)
\х\*е
справедливость которого легко установить, опираясь на формулу (71)
из § 6 гл. II.
Из (6) в силу произвольности ε>0 и условия (Λ) следует, что
fn(t)-+<p(t), η-too. Π
Доказательство теоремы 2. 1. Согласно § 4, условие Линдебер-
п
га (L) влечет условие max a2nk-*Q. Поэтому, учитывая, что Σ σ^ = 1,
получаем
η
Σ ξ х2аФпк(х)^ 5 х2аФ(х)-*0, n-^oo. (8)
Вместе с условием (L) это дает, что для всякого ε > О
л
Σ $ x2d[Fnk(x) + $nk(x)]^b я-оо. (9)
k=\ \χ\>ε
Зафиксируем ε > 0. Тогда найдется такая непрерывно
дифференцируемая четная функция А = А(х), что |A(jc)|^jc2, |A'(jc)| ^4|jc|,
10, |x|<e.
Для такой функции h(x) в силу (9)
η
Σ $ AWrfl^W + i^Wl-o, я-оо. (Ю)
k=\ \X\>€
С помощью интегрирования по частям из (10) находим:
η η
Σ $ h'(x)[(l-Fnk(x)) + (i-^nk(x))]dx = Yt $ h{x)d[Fnk + $nk\^0,
/ι я
2 J ti(x)[Fnk(x) + $nk(x)]dx = Y^ $ h(x)d[Fnk + $nk\^0.
k=\ x^-ε k=\ x^-ε
Поскольку h'(x) = 2x при \x\ ^ 2ε, то
η
Σ $ ΜΙ^λΜ-ΦλλΜΙ^-^ο, n-+oo.
k=\ \χ\^2ε

§5. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА. II
437
Таким образом, в силу произвольности ε>0, (L) => (Λ).
2. В силу условия max σ^-+0 и (8) для введенной выше функции
h = h(x) получаем, что
η η
]Г $ Λ(*) <**«*(*)< Σ $ х2аФпк(х)^0, /г^оо. (11)
k=\ \χ\>ε k=\ \χ\>ε
Далее, с учетом интегрирования по частям, находим:
Σ $ h{x)d[Fnk-$nk]
*=1 \х\>е
η Ι Ι л
53 5 A(*)d[(l-F„*)-(l-<iw)] + £ $ *(*)<*[/=■«*-*«*]
η η
^Σ $ |Л/М11(1-/7я*)-(1-Фя1к)|^+2 $ IWII/7-*-*«*!<**<
^4Σ $ \χ№*(χ)-Φ,*(χ)\(Ιχ. (12)
Из (11) и (12) следует, что
]Г $ *2й/^(*к£ $ h(x)dFak(x)-+0, я-ос,
*=1 |*|^2е fc=l |jf|^e
т. е. выполнено условие Линдеберга (L). D
3. Задачи.
1. Доказать справедливость формулы (5).
2. Проверить справедливость соотношений (10), (12).
3. Пусть N = (Nt)t^o — процесс восстановления, введенный в п. 4 § 9
оо
гл. II (Nt = Σ I(Tn ^t)y Tn = σι +... + σ„, где σ\, σ2, ... — последователь-
/ι=Ι
ность независимых одинаково распределенных положительных случайных
величин). Предполагая, что μ = Εσι < оо, О < Dai < оо, доказать
справедливость центральной предельной теоремы:
N<-(fl i»^(Q,i)t
где^(0, 1) —стандартно распределенная нормальная случайная величина
с нулевым средним и единичной дисперсией.

438
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
§ 6. Безгранично делимые и устойчивые
распределения
1. В § 3 отмечалось, что для формулирования теоремы Пуассона
приходится прибегать к рассмотрению так называемой схемы серий, считая,
что при каждом η ^ 1 задана последовательность независимых случайных
величин (ξη,ΐζ)* \^k^n.
Положим
Τη=ξη.\+...+ξη** ΟΙ. (1)
Понятие безгранично делимого распределения возникает в связи со
следующим вопросом: как охарактеризовать все те распределения, которые
могут выступать в качестве предельных для последовательности
распределений случайных величин Тп, п^1?
Вообще говоря, при такой общей постановке вопроса предельное
распределение может быть произвольным. Действительно, если ξ — некоторая
случайная величина и ξ,,,ι = ξ, ξη# = О, 1 < k ^ /ζ, то Тп = ξ и, следовательно,
предельное распределение совпадает с распределением ξ, которое может
быть взято произвольным.
Чтобы сделать задачу о предельных распределениях более
содержательной, будем всюду в этом параграфе предполагать, что при каждом
η ^ 1 величины ι, ..., ξηιί1 не только независимы, но и одинаково
распределены.
Напомним, что именно такая ситуация имела место в теореме Пуассона
(теорема 4 из § 3). К этой схеме относится и центральная предельная
теорема (теорема 3 из § 3) для сумм Sn = ξι + ... + ξ„, О 1, независимых
и одинаково распределенных случайных величин ξι, ξ2, ··· В самом деле,
если положить
с — ξ/г " Εξ* г>2 — Π Q
ξ/ι,*——-β , Un — Vbny
то тогда
Таким образом, нормальное и пуассоновское распределения могут
выступать в качестве предельных в схеме серий. Если Тп —► 7\ то интуитивно
понятно, что, поскольку Тп есть сумма независимых одинаково
распределенных случайных величин, то предельная величина Τ должна быть в
таком-то смысле также суммой независимых одинаково распределенных
случайных величин. Имея это в виду, введем такое определение.

§6. БЕЗГРАНИЧНО ДЕЛИМЫЕ И УСТОЙЧИВЫЕ РАСПРЕДЕЛЕНИЯ 439
Определение 1. Случайная величина Τ (а также ее функция
распределения Ft и ее характеристическая функция φτ) называется
безгранично делимой, если для каждого η ^ 1 на вероятностном пространстве
(Ω, с^\ Р) можно найти такие независимые одинаково распределенные
случайные величины г/ь ..., г/л, что *) Τ = η\ + ... + ηη (или, что то же самое,
FT = Fm*---*Fvn> или^г = (^1ц)я).
Замечание 1. Если исходное вероятностное пространство, на котором
задана случайная величина 7\ достаточно «бедное», то может
случиться, что функция распределения Ft и ее характеристическая функция φτ
допускают при любом /ζ>1 представления Ft = F^*...*/7(λ) (η раз)
и φτ=ζφ№η с некоторыми функциями распределения F^n) и их
характеристическими функциями φ^η\ хотя, в то же самое время,
представление Г = 77ι +... + 77/Ι невозможно. Дж.Дубу принадлежит как раз пример
(см. [103]) «бедного» вероятностного пространства, на котором определена
случайная величина 7\ имеющая распределение Пуассона с параметром
А = 1 (которое является безгранично делимым: Ft = F^n) *... * F^n) с
функциями распределения F^n\ отвечающими пуассоновскому распределению с
параметром λ= 1//ζ), но отсутствуют случайные величины щ и щ, имеющие
распределение Пуассона с параметром λ= 1/2.
Имея в виду сказанное, подчеркнем, что данное выше определение 1, в
сущности, неявно предполагает, что исходное вероятностное пространство
(Ω, &у Р) уже достаточно «богато», настолько, чтобы избежать эффектов,
отмеченных Дж. Дубом (задача 11).
Теорема 1. Случайная величина Τ может быть пределом по рас-
η
пределению сумм Τη = Σ £„,,· в том и только том случае, когда Τ
/=1
безгранично делима.
Доказательство. Если Τ безгранично делима, то для каждого η ^ 1
существуют независимые одинаково распределенные случайные величины
£л,ь ••·,ξ/ι,Λ такие, что Τ=ξη,\ + ...+£rt,*, а это и означает, что Т = Тп, О 1.
Обратно, пусть Тп —► Т. Покажем, что тогда Τ безгранично делима, т. е.
Для любого k найдутся независимые одинаково распределенные случайные
величины 77ι, ..., щ такие, что Τ = щ +... + щ. nk
Зафиксируем некоторое k ^ 1 и представим величину Tnk = Σ ink* в
виде С^ + ... + С^\ где /=1
) Запись ξ = η означает, что случайные величины ξ и η совпадают (конгруэнтны) по
Распределению, т. е. F^(jc) = Fv(x), xeR, где F^(x) и Fv(x) — функции распределения ξ и η.

440
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Поскольку Tnk —> 7\ η —► оо, то последовательность функций
распределения, соответствующих случайным величинам 7^, О 1, относительно
компактна и, значит, по теореме Прохорова плотна (§ 2). Далее,
[P{C£)>z}]k = P{Ul)>z,...,№>z}<P{TnM>kz}
и
[Р{СУ)<-г}]л = Р{СУ)<-2,...,^<-г}^Р{7'/1,<-.йг}.
Из этих двух неравенств и плотности семейства распределений для 7^,
η^ 1, вытекает плотность семейства распределений для ζ^\η^\. Поэтому
найдутся подпоследовательность {щ}с{п} и случайный вектор (г/ь ..., гу*)»
который без ограничения общности можно считать определенным на
исходном («богатом») вероятностном пространстве, такие, что
или эквивалентно, что для любых λι, ..., λ* Ε/?
В силу независимости величин ci)\ ..., cif
Значит,
Ε^'(λ|Τ7ι+...+λ*τ7*) _. E&/A|f7i E&/A*f7ft
и в силу теоремы 4 из § 12 гл. II величины щ, ..., щ независимы. Ясно
также, что они имеют одно и то же распределение.
Далее,
d
v=C+···+Cд,?'+···+,?*
и к тому же Tnjk —► Т. Поэтому (задача 1)
7, = ΐ7ι+... + ^. Π
Замечание 2. Утверждение теоремы остается в силе, если
рассмотренное в начале параграфа условие, что при каждом η ^ 1 величины
£л,ь ···, &!,/! одинаково распределены, заменить на условие их
асимптотической малости max Ρ{|ξ,ι*|^ε}-»0.
2. При проверке того, является ли данная случайная величина Τ
безгранично делимой, проще всего исходить из вида ее характеристической
функции φ(ί). Если для любого η ^ 1 можно найти такие
характеристические функции φη(ί), что φ(ί) — [φη(ί)]η, то Τ безгранично делима.

§6. БЕЗГРАНИЧНО ДЕЛИМЫЕ И УСТОЙЧИВЫЕ РАСПРЕДЕЛЕНИЯ 441
В гауссовском случае
/V
fid
и, полагая
<Pnit) = e>t!* e~4l·
сразу находим, что φ(ΐ) = [φη(ί)]η.
В пуассоновском случае
φ(ί) = βχ1°"-1\
и если положить tp„(t) = en{e _1), то у>(/) = [φη(ί)]η·
Если случайная величина Г имеет Г-распределение с плотностью
[х<*-\
!=< По;
1°.
α-\β-χ/β
*<0,
то (табл. 5, § 12 гл. II) ее характеристическая функция равна
^)=(1-U*·
Следовательно, v?(0 = [y?/i(0]/l» гДе
и, значит, Г безгранично делима.
Приведем без доказательства следующий результат об общем виде
характеристической функции безгранично делимых распределений.
Теорема 2 (представление Колмогорова—Леви—Хинчина).
Случайная величина Τ является безгранично делимой тогда и
только тогда, когда ее характеристическая функция φ(ί) имеет вид
φ(ί) = ехр ψ(ή с
т = it β - Ц- + \ (eitx - ι - ^) Ii£ d\(x\ (2)
где /?£/?, σ2 ^ 0 ы λ — некоторая конечная мера на (/?, BS(R)) с λ{0} = 0.
3. Пусть ξι, &> · · · — последовательность независимых одинаково
распределенных случайных величин и Sn =ξ\ +... + £л. Предположим, что
существуют такие константы Ьп, ап > 0 и случайная величина 7\ что

442
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Спрашивается, как охарактеризовать все распределения (случайных
величин Г), которые могут возникать в виде предельных распределений в (3)?
Если независимые одинаково распределенные случайные величины
ξι, &» · · · таковы, что 0 < σ2 = Όξ\ < оо, то, полагая Ьп = πΕξι иа„ = σφι,
согласно § 4, находим, что Τ имеет нормальное распределение сЖ(0, 1).
β
Если f(x) = —-о—тот — плотность распределения Коши (с параметром
я(х + 0 )
0>О) и ξι, ξ2» ··· —независимые случайные величины с плотностью /(jc),
то характеристическая функция ψξχ(ί) равна е~в1'1 и, значит, <ps„/n(t) =
= (е~л1'1)л = е-*1'1э т.е. величина Sn/n также имеет распределение Коши
(с тем же самым параметром 0).
Таким образом, в качестве предельных распределений, помимо
нормального, могут появляться и другие распределения (как, например,
распределение Коши).
£ h
Если положить in k = — —, 1 < k ^ /ζ, то найдем, что
ап пап
Sn —bn
= Σ,ξη*(=Τη).
k-\
Таким образом, все мыслимые распределения для 7\ которые могут
появляться в качестве предельных в (3), обязательно являются (в соответствии
с теоремой 1) безгранично делимыми. Однако специфика рассматриваемых
величин Тп = — дает возможность получить дополнительную инфор-
ап
мацию о структуре возникающих здесь предельных распределений.
С этой целью введем (с учетом замечания 1) такое
Определение 2. Случайная величина Τ (а также ее функция
распределения F(x) и характеристическая функция φ(ί)) называется устойчивой,
если для любого η ^ 1 найдутся такие константы ап > О, Ьп и такие
независимые случайные величины ξι, ..., ξ„, распределенные как 7\ что
апТ + ЬпЦх+... + Ь, (4)
или, что то же самое, F ( J = F *... * F(x), или
МОГ-ММ]**"'. (5)
Теорема 3. Случайная величина Τ может быть пределом по рас-
с и
пределению случайных величин — -, ап > О, тогда и только тогда,
когда Τ является устойчивой.

§6. БЕЗГРАНИЧНО ДЕЛИМЫЕ И УСТОЙЧИВЫЕ РАСПРЕДЕЛЕНИЯ 443
Доказательство. Если Τ устойчива, то, согласно (4),
γ d_ On — On
~ an '
rAeS„=£i + ... + £/b и, следовательно, п" п -> 7\
an
Обратно, пусть ξι, &» ··· —последовательность независимых
одинаково распределенных случайных величин, Sn = ξι +... +ξη и — —> Τ,
ап
ап > 0. Покажем, что Τ является устойчивой случайной величиной.
Если Τ — вырожденная случайная величина, то она, очевидно,
устойчива. Будем поэтому предполагать, что Τ является невырожденной случайной
величиной.
Зафиксируем k ^ 1 и обозначим
c(l) a c(tf
r(l) _ bn -On T(k) _ frt_
'/I """ Λ » ··· » 'л ~
ал " a„
Ясно, что по распределению все величины Т„\ ..., Т„ * совпадают и
TJil)-+T, /ι—юо, /=1,...,й.
Обозначим
Тогда так же, как и при доказательстве теоремы 1, получаем, что
где Т«\ l^i^k, независимы и Г(|> =... = Г<*> = Г.
С другой стороны,
{/<*) _ ξΐ+··· + ξ^-&>/ι _
Я/ι
= «ь, (ft+.- + &.-»toA + Ььп^ = Q(*)^ + ^ (б)
ал \ а^п / ал
где
п ~ ап' Рп " а„

444
ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Из (6) ясно, что
vkn =
α<*>
где Vkn Λ Τ, UP Λ Я') +... + Γ<*>, η -> oo.
Из приводимой ниже леммы следует, что найдутся такие константы
/ζ—>оо, и
что и доказывает устойчивость случайной величины Г. D
Лемма. Пусть ξη—>ξ и существуют такие константы ап>0 и
ЬПу что
α,,ξ,,+ &„-*!,
причем случайные величины ξ и ξ не вырождены. Тогда найдутся
такие константы а >0 и Ь, что lim an=a, lim bn = b и
ξ=αξ + ϋ.
Доказательство. Пусть φη, φ и φ — характеристические функции
ξ/ι, ξ и ξ соответственно. Тогда <Рал£„+&й(0> характеристическая функция
β/ιξ/ι + ft/i, равна eitbn<pn(ant), и, согласно следствию к теореме 1 и задаче 3
из§3,
e>tb4pn(any)^<p(t)9 (7)
^«(0 — ^(0 (8)
равномерно на каждом конечном интервале изменения /.
Пусть {л/} — подпоследовательность {п} такая, что а„. —»а. Покажем
прежде всего, что а<оо. Предположим, что а = оо. В силу (7) для любого
с>0
sup |\φη(αηί)\ - \<p(t)\\ -> 0, /ζ -+ оо.
Возьмем вместо / величину tn.t = —. Тогда поскольку an.t -юо, то
Ял,
К(«-£)|-К£)И
и, значит,
К (/о)Н 1^(0)1 = 1.

§6. БЕЗГРАНИЧНО ДЕЛИМЫЕ И УСТОЙЧИВЫЕ РАСПРЕДЕЛЕНИЯ 445
Но |¥>л,-(*о)|—* М*о)|- Потому |<ρ(ί0)| = 1 для любого toeR, и,
следовательно, согласно теореме 5 из § 12 гл. II, случайная величина должна быть
вырождена, что противоречит предположению леммы.
Итак, а < оо. Предположим теперь, что существуют две
подпоследовательности {/г/} и {п\} такие, что ащ -»а, а„/ —►а', где афа' и для
определенности 0 < а' < а. Тогда из (7) и (8)
\ψη-Χαηίί)\ - ΜαΟΙ, b*(a„/)| -10(/)|
и
Κ'Κ'ΟΙ - Μα''>1· Κ'(<ν>1 -1^)1-
Следовательно,
ΗαΟΝΜα'/)!,
и, значит, для любого / € /?
Поэтому |<^(/)| = 1 и, согласно теореме 5 из § 12 гл. II, отсюда
вытекает, что ξ — вырожденная случайная величина. Полученное противоречие
показывает, что а = а' и, значит, существует конечный предел lim αη=·α,
причем а ^ 0.
Покажем теперь, что существует предел lim bn = b и а > 0. Поскольку
(8) выполнено равномерно на каждом конечном интервале, то
и, значит, в силу (7) существует lim eltbn для всех тех /, для которых
п—*оо
φ(αί)φΟ. Пусть δ>0 таково, что для всех \t\<6 φ(αί)^0. Тогда для
таких / существует lim eitbtt. Отсюда можно вывести (задача 9), что тогда
lim |6„|<οο.
Пусть существуют две подпоследовательности {/ζ,·} и {/ζ·} такие, что
lim bn. = b и lim Ьп>. =b'. Тогда для \t\<5
и, следовательно, b = b'. Итак, существует конечный предел 6 = lim bn и,
согласно (7),
<p(t) = eiib<p(at)9
что означает, что ξ = αξ + b. Поскольку ξ невырождена, то а > 0. D
4. Приведем теперь (без доказательства) теорему об общем виде
характеристической функции устойчивых распределений.

446
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Теорема 4 (представление Леви—Хинчина). Случайная величина
Τ является устойчивой тогда и только тогда, когда ее
характеристическая функция φ(ί) имеет вид φ(ί) = ехр ψ(ί) с
W) = «/3-rf|/|e(l+/e|J|0(/,a))f (9)
где0<а<2, /?£/?, О0, |0|<1, j-z=0npu /=0 и
(tg ?α, если аф\,
- In μ , если α= Ι.
π
Отметим, что особо просто устроены характеристические функции сим-
метричных устойчивых распределений:
(p(t) = e-d№, (И)
где 0 < а ^ 2, d ^ 0.
5. Задачи.
1. Показать, что если ξη —► ξ и ξ„ —► гу, то ξ = η.
2. Показать, что если φ\ и <^2 —две безгранично делимые
характеристические функции, то φ\ ·ψ2 — также безгранично делимая
характеристическая функция.
3. Пусть φη — безгранично делимые характеристические функции и
4>n(t)-+<p(f) для каждого /£/?, где φ(ί) — некоторая характеристическая
функция. Показать, что φ(ί) безгранично делима.
4. Показать, что характеристическая функция безгранично делимого
распределения не обращается в нуль.
5. Привести пример случайной величины, являющейся безгранично
делимой, но не устойчивой.
6. Показать, что для устойчивой случайной величины ξ математическое
ожидание Ε|ξ|Γ < оо для всех г £ (0, а), 0 < а < 2.
7. Показать, что если ξ—устойчивая случайная величина с параметром
0 < а ^ 1, то φ(ί) не дифференцируема при / = 0.
8. Дать прямое доказательство того, что функция е~аМ° с ОО,
0 < а < 2 является характеристической.
9. Пусть (Ьп)п^\ — числовая последовательность такая, что для всех
|/| <δ, δ>0, существует lim eitbn. Показать, что тогда lim \bn\ <оо.
10. Показать, что биномиальное и равномерное распределения не
являются безгранично делимыми.
11. Пусть функция распределения F и ее характеристическая
функция φ допускают представления F = F^ *... * F^n) (n раз), φ=[φ№]η

§7. «МЕТРИЗУЕМОСТЬ» СЛАБОЙ СХОДИМОСТИ
447
с некоторыми функциями распределения /7(/|) и их характеристическими
функциями φ^η\ η ^ 1. Показать, что можно найти (достаточно «богатое»)
вероятностное пространство (Ω, &', Р) и определенные на нем случайные
величины Τ и (i7j)*<rt. О 1 (7* имеет распределение /\ η[η\ ..., η^
независимы и одинаково распределены с распределением F^n)) , такие, что
Т^ + ... + ηΡ.ηϊΙ.
12. Привести пример случайной величины, не являющейся безгранично
делимой, характеристическая функция которой, тем не менее, в нуль не
обращается.
§ 7. «Метризуемость» слабой сходимости
1. Пусть (£, <?, р) — метрическое пространство и &>(Е) = {Р} —
семейство вероятностных мер на (£, S). Естественно поставить вопрос о том,
нельзя ли «метризовать» рассмотренную в § 1 слабую сходимость Рп^Р,
т. е. нельзя ли ввести такое расстояние δ(Ρ, Ρ) между любыми двумя
мерами Ρ и Ρ из &(Е), чтобы сходимость δ(Ρη, Ρ)—»0 была равносильна
сходимости Рп Д Р.
В связи с такой постановкой вопроса полезно отметить, что
сходимость случайных величин по вероятности, ξη —>ξ, может быть мет-
ризована с помощью, например, расстояния
άΡ(ξ,η) = Μ{ε>0: Ρ{\ξ-η\>ε}ζε)
или расстояний ά(ξ, η) = Ε min(l, |ξ — 77Ι), ά(ξ, η) = Ε Ζ_ ,. (Более
общим образом, можно положить ά(ξ, η) = Eg(|£ - η\), где в качестве функции
S = g(x)> * ^ О, можно взять любую борелевскую неотрицательную
возрастающую функцию, непрерывную в нуле и такую, что g(x + y)^ g(x) + g(y)
для всех χ ^ 0, у ^ 0, g(0) = 0, g(x) > 0 для jc > 0.) Но в то же самое время
в пространстве всех случайных величин на (Ω, <^\ Р) не существует
расстояния d(£, η) такого, что ά(ξη, ξ)—*0 тогда и только тогда, когда
ξ/ι сходится к ξ с вероятностью единица. (В этом легко убедиться,
взяв последовательность случайных величин ξ„, п^ 1, сходящихся по
вероятности к ξ, но не сходящихся с вероятностью единица.) Иначе говоря,
сходимость с вероятностью единица не метризуема. (См.
утверждения задач 11 и 12 к § 10 гл. II.)
Цель настоящего параграфа — установить, конкретно указав метрики
(ЦР, Р) и ||Я-Я||^), в пространстве мер ^*(£), метризуемость слабой
сходимости:
Рп^Р * ЦРя,Р)-+0 * ΙΙΛ,-ЯЦк-О. (1)

448 ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
2. Метрика Леви—Прохорова ЦР, Р). Пусть
p(x9A) = iru{p(x9y): ye A),
Ае = {хеЕ: р(х, Α)<ε}, Л £<?.
Для любых двух мер Р, Ре &(£) положим
σ(Ρ, Ρ) = ίηί{ε > 0: P(F) ^ P(F£) + ε для всех замкнутых F е S) (2)
ЦР9 Р) = max[a(/>, Р)9 σ(Ρ9 />)]. (3)
Следующая лемма показывает, что так определенная функция L(P9 Р)9
Ρ, Ре&(£)9 называемая метрикой Леви—Прохорова, действительно
является метрикой.
Лемма 1. Функция L(P9 Р) обладает свойствами расстояния:
a) ЦР9 P) = L(P9 Ρ) (=σ(Λ Ρ) = σ(Ρ9 Ρ)),
Ъ)ЦР9Р)^ЦР9Р) + ЦР9Р)9
с) L(P9 Р) = 0 тогда и только тогда, когда Р = Р.
Доказательство, а) Достаточно показать, что (а > 0, β > 0)
«P(F) < P(FQ) + β для всех замкнутых F е <?» (4)
тогда и только тогда, когда
«P(F) ^ Ρ(Ρα) + β для всех замкнутых F е <?». (5)
Пусть Τ — замкнутое множество из £. Тогда множество Та открыто и
нетрудно проверить, что ΤСЕ\(Е\ Та)а. Если выполнено (4), то тогда, в
частности,
Ρ(Ε\Τα)^Ρ((Ε\Τ°)α) + β
и, тем самым,
Ρ(Ί)< Ρ(Ε \(Ε\Τα)α)ζΡ(Τα) + β9
что и показывает равносильность (4) и (5). Отсюда следует, что
σ(Ρ,Ρ) = σ(Ρ9Ρ) (6)
и, тем самым,
ЦР9 Ρ) = σ(Ρ9 Ρ) = σ(Ρ9 Ρ) = L(P9 P). (7)
b) Пусть ЦР9 Ρ)<δ\, L(P9 Ρ)<δ2. Тогда для каждого замкнутого F еS
P(F)^P(Fs*) + 62^P((Fs*)b)+8x+82^P(F5^) + &x+62

§7. «МЕТРИЗУЕМОСТЬ» СЛАБОЙ СХОДИМОСТИ 449
и поэтому ЦР, Ρ)<:δι +δ2· Отсюда следует, что
цр, Р)^цр, Р) + цР, Р).
с) Если ЦР, Р) = 0, то тогда для каждого замкнутого F е& и любого
а>0
P(F)^P(Fa) + a. (8)
Поскольку Fa IF, а 10, то из (8) предельным переходом по α J, О
находим, что P(F) < P(F), и по симметрии ^(Z7) ^ P(F). Тем самым, P(f) = P(F)
для всех замкнутых F е £. Для каждого борелевского множества А е &
и всякого ε>0 найдутся такие открытое множество GeDA и замкнутое
множество F€ С Л, что P{G€\F^)4,e. Отсюда следует, что всякая
вероятностная мера Ρ на метрическом пространстве (£, <?, р) полностью
определяется своими значениями на замкнутых множествах. Следовательно, из
Р(Р) =P(F) для всех замкнутых F e S вытекает, что Р(А) = Р(А) для всех
борелевских А е £. D
Теорема 1. Метрика Лева—Прохорова L(Pt P) метризует слабую
сходимость:
ЦРП9Р)-*0 * Рп^*Р. (9)
Доказательство. (=>) Пусть L(Pn, Я)—>0, п—*оо. Тогда для всякого
фиксированного замкнутого множества F £ S и любого ε > О, согласно (2)
и утверждению а) леммы 1,
MPn(F)<P(Fe) + e. (10)
Полагая здесь ε |0, находим, что
Согласно теореме 1 из § 1, отсюда следует, что
Рп^Р. (П)
Доказательство импликации (<=) будет опираться на ряд глубоких и
полезных фактов, дополнительно проливающих свет как на само содержание
понятия слабой сходимости, так и на методы ее установления и методы
изучения «скорости» сходимости.
Итак, пусть Ρп -^ Р. Это означает, что для любой непрерывной
ограниченной функции / = /(*)
\f(x)Pn(dx)^\f(x)P(dx). (12)
Ε Ε
Предположим теперь, что У — некоторый класс равностепенно
непрерывных функций g = g(x) (для всякого е > 0 найдется такое δ > 0,

450
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
что \ё(у)- ё(х)\ <ε> если Р(х> У)<Ь Для всех ££#), таких, что |g(Jc)|^C
с одной и той же константой С>0 (для всех хеЕ и g£Sf). Согласно
теореме 3 § 8, для класса ί? имеет место следующее усиление свойства (12):
Ял-
sup
$ g(x)Pn(dx)-\ g(x)P(dx)\->0.
\е ε I
Для каждого А е £ и ε > 0 положим (как в теореме 1 из § 1)
Ясно, что
ЯМ=[1-^]+.
(13)
(14)
(15)
1Ш - Ш1 <е"'И*. Λ) -р(0. Л)| <ε-'ρ(^ ί/)·
Тем самым для класса £ίε = {f%{x), A e &} имеет место (13). Значит,
Δ„ = sup
$/i(*)/Md*)-$/iW/W
• 0, я—юо.
(16)
Отсюда и из (15) заключаем, что для всякого замкнутого множества
Л€(?и£>0
W)>J «(*)**> J βΜ^-Δ^Ρ,,Μ-Δ,,. (17)
Ε Ε
Выберем η(ε) так, что Δ„ ^ ε для всех η ^ /ζ(ε). Тогда из (17) для η ^ η(ε)
Ρ(Αε)>Ρη(Α)-ε. (18)
Отсюда в силу определений (2), (3) вытекает, что ЦРп, Ρ) ^ε, коль скоро
η^η(ε). Тем самым
/>*-/>
Д„->0 =► ЦРя,Я)-0.
Теорема (с точностью до утверждения (13)) доказана. D
3. Метрика ||Я-Р||^. Обозначим BL множество всех непрерывных
ограниченных функций / = /(jc), хеЕ (с Ц/Ho^sup |/(х)| <оо), удовле-
х
творяющих к тому же условию Липшица:
""-S1»
<оо.
Положим ||/||fiz. = l|/||oo + ||/lk. Пространство BL с нормой || · \\Bl,
является банаховым пространством.

§ 7. «МЕТРИЗУЕМОСТЬ» СЛАБОЙ СХОДИМОСТИ 451
Определим метрику ||Р — P\\BL, положив
\\P-P\\iL^supL{\lfd(P-P)\: \\f\\BL^\}. (19)
(Можно проверить, что действительно ||Я-Р||^ удовлетворяет всем
требованиям, предъявляемым к метрике; задача 2.)
Теорема 2. Метрика ||Р — P\\*BL метризует слабую сходимость:
\\Pn-P\\*BL^o * рп^р.
Доказательство. Импликация (Ф=) вытекает немедленно из (13). Для
доказательства (=>) достаточно показать, что в определении слабой
сходимости Рп^-*Р как выполнения свойства (12) для любой непрерывной
ограниченной функции / = f(x) достаточно ограничиться рассмотрением
лишь класса ограниченных функций удовлетворяющих условию Липшица.
Иначе говоря, импликация (=>) будет доказана, если установить
справедливость следующего результата.
Лемма 2. Слабая сходимость Рп^*Р имеет место тогда и только
тогда, когда свойство (12) выполнено для любой функции / = /(*) из
класса BL.
Доказательство. В одну сторону доказательство очевидно.
Рассмотрим теперь функции /j = /j(jc), определенные в (14). Как было
установлено выше при доказательстве теоремы 1, при каждом ε>0 класс
i?e = {/jj(jt), A €<£}CBL. Если теперь проанализировать доказательство
импликации (I) => (II) в теореме 1 из § 1, то можно заметить, что в
действительности в ее доказательстве выполнение свойства (12) использовалось
не для всех ограниченнных непрерывных функций, а лишь для функций
из классов S?e, ε > 0. Поскольку &ε С BL, ε > 0, то заведомо верно, что из
выполнения свойства (12) для функций из класса BL следует утверждение
II теоремы 1 § 1, которое равносильно (в силу той же теоремы 1 § 1)
слабой сходимости Рп^-*Р. D
Замечание. Утверждение теоремы 2 можно было бы вывести из
теоремы 1 (так же как и наоборот), если воспользоваться следующими
неравенствами между метриками L(P, Ρ) и ||Я — Р\\*ви справедливыми для случая
сепарабельных метрических пространств (£, <?, р):
\\P-P\\*BL^2L(PtPl (20)
*>(L(/>, Ρ)) ^ \\Р - Р\\*ви где φ(χ) = i£. (21)

452
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Замечая, что 0 ^ φ(χ) ^ - для χ ^ О тогда и только тогда, когда χ ^ 1, и
о
■τΧ2Κ:φ(χ) для Ο^χζ 1, из (20) и (21) выводим, что если L(Py P)^ 1 или
\\p-H%l<1>™
| L2(/>, Ρ) < ||Я - P||^ ^ 2L(/>, Ρ). (22)
4. Задачи.
1. Показать, что в случае £ = /? метрика Леви—Прохорова ЦР, Р)
между распределениями вероятностей Ρ и Ρ не меньше расстояния Леви
L(F, F) между функциями распределения F и F, соответствующими Я и Ρ
(см. задачу 4 в § \у Привести пример выполнения строгого неравенства
между этими метриками.
2. Показать, что формула (19) определяет метрику в пространстве BL.
3. Доказать справедливость неравенств (20), (21) и (22).
4. Пусть F = F(x) и G = G(jc) — две функции распределения, Рс и Qc —
точки их пересечения прямой х + у = с. Показать, что расстояние Леви (см.
задачу 4 в §1)
L(F,G) = sup^,
где PcQc —длина отрезка между точками Рс и Qc.
5. Показать, что множество всех функций распределения с метрикой
Леви есть полное пространство.
§ 8. О связи слабой сходимости мер со сходимостью
случайных элементов почти наверное
(«метод одного вероятностного пространства»)
1. Предположим, что на вероятностном пространстве (Ω, β\ Ρ) заданы
случайные элементы Χ=Χ(ω), Χη=Χη(ω), /ζ> 1, принимающие значения
в метрическом пространстве (£, <?, р); см. § 5 гл. II. Обозначим Ρ и Рп
распределения вероятностей X и Хп, т. е. пусть
Ρ(Α) = Ρ{ω: Χ(ω)εΑ}, Ρη(Α) = Ρ{ω: Χη(ω)£Α}> A^S.
Обобщая понятие сходимости случайных величин по распределению
(см. § 10 гл. II), введем такое
Определение 1. Последовательность случайных элементов Хп, п^ 1,
называется сходящейся по распределению или по закону (обозначения:
Хп ДX, или Хп *χ9 или Хп —X), если Рп^Р.

§8. «МЕТОД ОДНОГО ВЕРОЯТНОСТНОГО ПРОСТРАНСТВА» 453
По аналогии с определением сходимости случайных величин по
вероятности и с вероятностью единица (§ 10 гл. II) естественны следующие
определения.
Определение 2. Последовательность случайных элементов ХПу О 1,
ρ
называется сходящейся по вероятности к X (Хп —>Х), если
Ρ{ω: ρ(Χη(ω),Χ(ω))>ε}^0, дг^оо. (1)
Определение 3. Последовательность случайных элементов Хп, О 1,
называется сходящейся кХ с вероятностью единица (почти наверное,
почти всюду, Хп -^Х, Хп -^Х), если ρ(Χη(ω), Χ(ω)) -2^0, /ζ—*οο.
Замечание 1. Оба последних определения имеют смысл, конечно, если
только ρ(Χη(ω), Χ(ω)) как функции от ω£Ω являются случайными
величинами, т. е. «^"-измеримыми функциями. Это будет заведомо так, если
пространство (£, (?, р) является сепарабельным (задача 1).
Замечание 2. В связи с определением 2 отметим, что введенная
сходимость по вероятности метризуется следующей метрикой Ки Фан между
случайными элементами X и Υ (определенными на (Ω, *^, Ρ) и
принимающие значения в £; задача 2):
dp (Χ, Υ) = ίηί{ε > 0: Ρ{ρ(Χ(ω), Υ(ω)) >ε}^ ε}. (2)
Замечание 3. Если определения сходимости по вероятности и с
вероятностью единица требуют задания случайных элементов на одном и том
же вероятностном пространстве, то определение сходимости по
распределению Хп—>Х связано лишь со сходимостью распределений, и,
следовательно, можно считать, что Χ(ω), Χ\(ω), ХгМ, ··· принимают значения в
одном и том же пространстве £, но могут быть заданы на «своих»
вероятностных пространствах (Ω, «^, Ρ), (Ωι, «^Ί, Ρι), (Ω2, ^2» Р2)» ··· Без
ограничения общности, однако, всегда можно считать их заданными на одном
и том же вероятностном пространстве, беря в качестве такового прямое
произведение указанных пространств и определяя Χ(ω, ω\, ω<ι, ...) = Χ(ω),
Χ\(ω, ω\, U72, ...) = Χ\(ω\), ...
2. Согласно определению 1 и теореме о замене переменных под знаком
интеграла Лебега (теорема 7 § 6 гл. II),
ХАХ * Ef{Xn)-+Ef(X) (3)
Для всякой непрерывной ограниченной функции / = /(χ), χ £ Ε.
Из (3) видно, что на основании теоремы Лебега о мажорируемой
сходимости (теорема 3 § 6 гл. II) из сходимости Хп^+Х сразу вытекает

454
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
сходимость Хп—>ХУ что вовсе и не удивительно, если иметь в виду
ситуацию, когда X и Хп — случайные величины (теорема 2 § 10 гл. II). Более
неожиданно, что в некотором смысле имеет место обратный результат,
к точным формулировкам, а затем и применениям которого мы сейчас и
переходим.
Предварительно введем такое
Определение 4. Случайные элементы Χ =Χ(ω') и К = F(u/')» заданные
на вероятностных пространствах (Ω7, &*, Р') и (Ω", &п, P")
соответственно и принимающие значения в одном и том же пространстве Е,
называются совпадающими (эквивалентными, конгруэнтными) по распреде-
лению (обозначение: X = У), если они имеют совпадающие распределения
вероятностей.
Теорема К Пусть (£, 6Г р) — сепарабельное метрическое
пространство.
1. Пусть случайные элементы Х,Хп> ΟΙ, заданные на
вероятностном пространстве (Ω, &f Ρ) и со значениями в £, таковы,
что Хп-+Х. Тогда можно найти вероятностное пространство
(Ω*, β'*, Р*) и определенные на нем случайные элементы X*, X*,
η ^ 1, со значениями в Ε такиег что
Х*п^*Х*
и
Х*Ё.Хг Х*Ё,Хп, п>\.
2. Пусть Р, Рп, я^ 1, — вероятностные меры на (£, &> р)
такие, что Рп^Р, Тогда найдутся вероятностное пространство
(Ω*, &*г Р*) и определенные на нем случайные элементы X*, X*,
η > 1, со значениями в Ε такие, что
и
Р*=Р, Ря*=/>я, ΟΙ,
где Ρ* и Ρ* — распределения вероятностей X* и X*.
Прежде чем переходить к доказательствам, заметим, во-первых, что
достаточно доказать лишь второе утверждение, поскольку первое следует
из него, если взять в качестве Ρ и Рп распределения X и Хп.
Соответствующим образом и второе утверждение следует из первого. Во-вторых,
отметим, что доказательство этой теоремы в ее полной общности
технически довольно сложно. Именно поэтому мы приводим здесь доказательство
лишь для случая Ε =/?. Это доказательство довольно прозрачно и к тому

§8. «МЕТОД ОДНОГО ВЕРОЯТНОСТНОГО ПРОСТРАНСТВА» 455
же дает простую явную конструкцию искомых объектов. (К сожалению,
эта конструкция не «работает» в общем случае, даже для Ε = R2.)
Доказательство теоремы в случае Ε = /?. Пусть F = F(x) и F„ =
~Fn(x) — функции распределения, соответствующие мерам Ρ и Рп на
(/?, @(R))- Свяжем с функцией F = F(x) соответствующую ей квантиль-
ную функцию Q = Q(u), однозначно определяемую формулой
Q(u) = inf{x: F(x) > «}, 0 < α < 1. (4)
Нетрудно проверить, что
F(x)^u ^ Q(u)^x. (5)
Возьмем теперь Ω* = (0, 1), &* = 4?(0, 1) и в качестве Р* — меру
Лебега, Ρ*(άω*) = άω*. Положим также Χ*(ω*) — <?(u;*), ω* € Ω*. Тогда
Ρ*{ω*: Χ*(ω*)^χ} = Ρ*{ω*: φ(ω*Κ*} = Ρ*{ω*: ω* ^F(x)} = F(x),
т. е. распределение построенной случайной величины Χ*(ω*) = <?(ω*) в
точности совпадает с Р. Аналогично, распределение величин Χ%(ω*) = Qn(<u*)
совпадает с Ря.
Далее, несложно показать, что из сходимости Fn(x) к F(x) в каждой
точке непрерывности предельной функции F = F(x) (равносильной в случае
£ = /? сходимости Рп^*Р; см. теорему 1 в § 1) вытекает, что
последовательность квантильных функций Qn(u), я^1, также сходится к Q(u)
в каждой точке непрерывности предельной функции Q = Q(u). Поскольку
множество точек разрыва функции Q = <?(«), и е (0,1), не более чем счетно,
то его мера Лебега Р* равна нулю и тем самым
*Л"*) ==<?«("*) ^Х*&*) = <?<"*)·
Теорема (в случае Ε = R) доказана. D
Описываемая теоремой 1 конструкция перехода от заданных случайных
элементов X и Хпк новым X* иХ*, определяемым на одном и том же
вероятностном пространстве, объясняет вынесенное в заголовок параграфа
название «метод одного вероятностного пространства».
Остановимся теперь на ряде утверждений, которые проще всего
устанавливать, пользуясь этим методом.
3, Предположим, что случайные элементы Ху ХПу /z^l, заданные,
скажем, на одном вероятностном пространстве (Ω, <^\ Ρ) и принимающие
значения в сепарабельном метрическом пространстве (£, S, р), таковы, что
%п —>Х. Пусть также А = A(jc), χ € £, — измеримое отображение (£, S, р)
в некоторое другое сепарабельное метрическое пространство (£', S1, р')*
В теории вероятностей и математической статистике часто приходится

456
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
сталкиваться с вопросом о том, при каких условиях на A = A(jc) можно
утверждать, что из сходимости Хп—>Х следует сходимость h(Xn) —*Λ(Λ).
Например, пусть £ь &» ··· —независимые одинаково распределенные
случайные величины с E£i=m, D£i=a2>0. Пусть Х,, = ~————.
Центральная предельная теорема устанавливает, что
σ
Спрашивается, для каких функций h = h(x) можно гарантировать, что
ft(^(*;-OT))i>/^(o, ι»?
(Известна теорема Манна—Вальва, которая утверждает применительно
к данному случаю, что это заведомо выполнено для непрерывных функций
А = А(х), и, следовательно, сразу можно утверждать, что п 9— ► %?,
где χ2 — случайная величина, имеющая распределение хи-квадрат с одной
степенью свободы; см. табл. 2 в § 3 гл. I.)
Другой пример. Если Χ =Χ(/, α;), Хп = Xn(t, а;), / £ 7\ — случайные
процессы (см. § 5 гл. II) и
A(X) = sup \X(U ω)\4 /*(*„) = sup \Xn(t9 ω)\,
то сформулированный вопрос означает следующее: при каких условиях из
сходимости по распределению процессов, Хп —»X, следует сходимость по
Of
распределению их супремумов, h(Xn)-+h(X)?
Одно такое простое условие, обеспечивающее справедливость
импликации
Хп^Х =► h(Xn)±+h(X),
состоит в том, что отображение h = h(x) непрерывно. Действительно, если
/ = f(x') — непрерывная ограниченная функция на £', то функция f(h(x))
будет также непрерывной ограниченной функцией на Е. Следовательно,
Хп±+Х =► Ef(h(Xn))^Ef(h(X)).
Приводимая далее теорема показывает, что на самом деле
требование непрерывности функции A = A(jc) можно несколько ослабить, учитывая
свойства предельного случайного элемента X.
Обозначим Δλ = {*££: h(x) не ρ-непрерывна в точке х}у иначе
говоря, пусть Δ/, — множество точек разрыва функции ft = ft(jt). Заметим, что
ΔΛ£<? (задача 4).

§8. «МЕТОД ОДНОГО ВЕРОЯТНОСТНОГО ПРОСТРАНСТВА» 457
Теорема 2. 1. Пусть (£, £, р) и (£', £', р') — сепарабельные мет-
рические пространства, Хп-+Х. Пусть отображение h = h(x), χ е Ε,
таково, что
Ρ {ω: Х(и)еАп} = 0. (6)
Тогда h(Xn)^h(X).
2. Пусть Ρ, Рп, О 1, — вероятностные распределения на сепара-
бельном метрическом пространстве (£, <?, р) такие, что Р^+Р и
h =zh(x) — измеримое отображение (£, £, р) в сепарабельное
метрическое пространство (£', £', р'). Пусть
Р{х: xeAh} = 0.
Тогда Phn ЛPh, где Phn(A) = Pn{h(x) е А}, РН(А) = />{Л(х) е Л}, Л еS'.
Доказательство. Как и в теореме 1, достаточно доказать
справедливость лишь, скажем, первого утверждения.
Пусть X* и X*, п^ 1, —случайные элементы, построенные «методом
одного вероятностного пространства», такие, что Χ* = Х, Χ* = Хп, η ^ 1, и
χ*^Χ*. Пусть
Л*=К: p(X*n,X*)^Ql β*=Κ: Г(о;*)бДл}.
Тогда Р*(Л*иВ*) = 0и для и;* £ Л* и В*
Λ(Χ^)-/*(*>*)),
а это означает, что h(X*)^^h(X*). Как уже отмечалось в п. 1,
отсюда следует, что А(ХЛ*) Д/*(**)· Но h(X*) = h(Xn), h(X*) = h(X). Поэтому
Л(Х„)Д/г(Х). D
4. В § 7 при доказательстве импликации (<*=) теоремы 1 было
использовано утверждение (13). Приведем сейчас его доказательство, снова
обращаясь к «методу одного вероятностного пространства».
Пусть (£, &, р) — сепарабельное метрическое пространство и ί? — класс
равностепенно непрерывных функций g = g(x) таких, что |g(*)|^C для
всех хеЕ, g€& и некоторой константы С.
Теорема 3. Пусть Ρ, Рп, η ^ 1, — вероятностные меры на (£, <?, р)
такие, что Рп -^ Р. Тогда
sup I ^ g(x) Рп (dx) - 5 g(*) P(dx) Ι -+ О, /ζ -> оо. (7)
gzv I £ £ I
Доказательство. Пусть (7) не имеет места. Тогда существуют α > 0
и функции g\, g2, ... из ί? такие, что
$g*W^d*)-$^*)/W
^α>0 (8)

458
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
для бесконечно многих п. Переходя «методом одного вероятностного
пространства» к случайным элементам X* и X* (см. теорему 1), перепишем
(8) в виде
\E*gn(X;)-E*gn{X*)\>a>0 (9)
для бесконечно многих п. Но в силу свойств класса £? для всякого ε > О
найдется такое 5>0, что \g(y) - g(x)\ <ε для всех g е&, если р(х, у)<8.
Кроме того, \g(x)\ ^ С для всех χ е Ε и g 6&. Поэтому
\E*g„(xz)-E*gn(x*)\<E*{\gn(x;)-gn(x*)\; р(х;, χ*)>δ}+
+ Е*ШХ*„) - gn(X*)\\ P(X:, X*) < <*К2СР*{р(Х*п, X*) >δ} + ε.
Поскольку ΧΖ^Χ*, το Ρ*{ρ(Χ;, Χ*)>δ}^0, /ζ—»οο. Следовательно,
в силу произвольности ε > 0
Km\E*gn(X*n)-E*gn(X*)\=0,
что противоречит (9). D
5. В этом пункте идеи «метода одного вероятностного пространства»,
использованные в теореме 1, будут применены к оцениванию сверху
значения метрики Леви—Прохорова ЦР, Р) между двумя распределениями
вероятностей на сепарабельном метрическом пространстве (£, <?, р).
Теорема 4. Для каждой пары мер Ρ, Ρ можно найти
вероятностное пространство (Ω*, «^*, Р*) и случайные элементы X и X на нем
со значениями в Ε такие, что распределения X и X совпадают с Ρ
и Ρ соответственно и
ЦР, Р) ^ dP*(X, X) = ίηί{ε >0: Р*(р(Х, Χ) ^ε) ^ ε). (10)
Доказательство. Согласно теореме 1, действительно можно найти
вероятностное пространство (Ω*, ^*, Р*) и случайные элементы X и X
такие, что Р*{Х еА) = Р(Л), Р*{* еЛ} = Р(Л), А eS.
Пусть ε > 0 таково, что
Ρ*{ρ(Χ,Χ)^ε}ζε. (11)
Тогда для всякого А е £
Р(А) = Р*{Х еА} = Р*{Х еА, X еА£} + Р*{Х еА, Χ £Αε}ζ
^Р*{ХеА£} + Р*{р(Х,Х)^£}^Р(А£) + £,

§8. «МЕТОД ОДНОГО ВЕРОЯТНОСТНОГО ПРОСТРАНСТВА» 459
где А€ = {хеЕ: р(х, Α)<ε}. Поэтому по определению метрики
Леви—Прохорова (п. 2 § 7)
ЦР,Р)<е. (12)
Из (11) и (12), переходя к inf по ε>0, получаем требуемое
утверждение (10). _ D
Следствие. Пусть X и X — случайные элементы, заданные на
вероятностном пространстве (Ω, &, Р) и принимающие значения
в Е. Пусть Ρχ и Ρχ — их распределения вероятностей. Тогда
L(PX9Px)<dP(X9X).
Замечание 1. Проведенное доказательство показывает, что на самом
деле (10) справедливо всякий раз, когда на каком-либо вероятностном
пространстве (Ω*, «^*, Р*) можно указать случайные элементы X и X со
значениями в £, распределения которых совпадают сРиРи для
которых множество {α;*: ρ(Χ(ω*), Χ(ω*)) ^ ε} е &*, ε > 0. Тем самым качество
оценки (10) существенным образом зависит от того, насколько удачно
по мерам Я и Я построены объекты (Ω*, «£■*, Р*) и Ху X. (Процедуру
построения Ω*, с^"*, Р* и X, X по Ρ и Ρ называют каплингом —от англ.
coupling — соединение, сцепление.) Можно, например, взять «каплинг-
меру» Р* равной прямому произведению мер Я и Я, но такой выбор не
приводит, как правило, к хорошей оценке (10).
Замечание 2. Естественно поставить вопрос о том, когда в (10) имеет
место знак равенства. На этот счет приведем без доказательства
следующий результат: пусть Я иР — две вероятностные меры на сепарабель-
ном метрическом пространстве (£, S, р)\ тогда существуют такие
(Ω*, &\ Р*) и X, X, что
ЦР, P) = dP*(X,X) = inf{£>0: Ρ*{ρ(Χ,Χ)^ε}^ε}.
6. Задачи.
1. Показать, что в случае сепарабельных метрических пространств
действительная функция ρ(Χ(ω), Υ(ω)) является случайной величиной для
любых случайных элементов Χ(ω) и Υ(ω), определенных на некотором
вероятностном пространстве (Ω, <^\ Р).
2. Доказать, что функция dp(X, У), определенная в (2), является
метрикой в пространстве случайных элементов со значениями в Е.
3. Доказать справедливость (5).
4. Показать, что множество Ah = {xeE: h(x) не р-непрерывна в
точке х) € S.

460
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
§ 9. Расстояние по вариации между вероятностными
мерами. Расстояние Какутани—Хеллингера и
интегралы Хеллингера. Применение к абсолютной
непрерывности и сингулярности мер
1. Пусть (Ω, &) — измеримое пространство и ^ = {Р} — семейство
вероятностных мер на нем.
Определение 1. Расстоянием по вариации между мерами Ρ и Ρ
из 9 (обозначение: ЦР —Я||) называется полная вариация меры (со
знаком) Ρ — Ρ,τ. е. величина
Var(P-P) = sup
\φ(ω)ά(Ρ-Ρ)
(1)
|Ω
где sup берется по классу всех «^"-измеримых функций φ{ω),
удовлетворяющих условию \φ(ω)\ < 1.
Лемма 1. Расстояние по вариации
||Р-/*||=2 sup \P(A)-P(A)\. (2)
Доказательство. Поскольку для всякого А £ &
Р(А)-Р(А) = Р(А)-Р(А),
то
2\Р(А)-Р(А)\ = \Р(А)-Р(А)\ + \Р(А)--Р(А)\<\\Р--Р1
где последнее неравенство следует из (1).
Для доказательства обратного неравентсва обратимся к разложению
Хана (см., например, [33, § 5 гл. VI] или [70, с. 121]) меры со знаком
μ = Ρ — Ρ. Согласно этому разложению, мера μ представима в виде μ —
=μ+ — μ_, где неотрицательные меры μ+ и μ- (верхняя и нижняя вариации
меры μ) имеют вид
μ+(Α)= $ άμ4 μ-(Λ) = - \ άμ, А€&9
АПМ АПМ
где Μ — некоторое множество из &. При этом
Var μ = Var μ+ + Var μ_ = μ+(Ω) +μ_(Ω).
Поскольку
μ+(Ω) = Ρ(Μ) - Ρ(Λί), μ_(Ω) = Ρ (Μ) - Ρ(Μ),
το
\\Ρ-Ρ\\ = (Ρ(Μ)-Ρ(Μ)) + (Ρ(Μ)-Ρ(Μ))^2 sup \P(A)-P(A)\. Ο

§9. РАССТОЯНИЕ ПО ВАРИАЦИИ 461
Определение 2. Последовательность вероятностных мер (Рп)п^\
называется сходящейся по вариации к мере Ρ (обозначение: Рп -^Р), если
||Ря-Р||-0, .я-.оо. (3)
Из этого определения и теоремы 1 § 1 нетрудно видеть, что сходимость
по вариации вероятностных мер, заданных на метрическом пространстве
(Ω, &\ р), влечет их слабую сходимость.
Близость распределений по вариации является, пожалуй, наиболее
сильной формой близости вероятностных распределений, поскольку если
два распределения близки по вариации, то практически в конкретных
ситуациях их можно считать неразличимыми. В этой связи может создаться
впечатление, что исследование расстояния по вариации не представляет
большого вероятностного интереса. Однако, например, в теореме Пуассона
(§ 6 гл. I) сходимость биномиального распределения к пуассоновскому
имеет место в смысле сходимости к нулю расстояния по вариации. (Ниже,
в § 12, будет дана оценка сверху для этого расстояния.)
Приведем также пример из области математической статистики, где
необходимость нахождения расстояния по вариации между мерами Ρ
и Ρ возникает естественным образом в связи с задачей различения по
результатам наблюдений двух статистических гипотез Я (истинное
распределение есть Р) и Я (истинное распределение есть Р) относительно
того, какая из вероятностных моделей (Ω, &, Р) или (Ω, «^, Ρ) более
соответствует «статистике» результатов наблюдений. Если ω Ε Ω трактовать
как результат наблюдения, то под тестом (для различения гипотез Я и Я)
понимают любую «^"-измеримую функцию φ = φ(ω) со значениями в [О, 1],
статистический смысл которой состоит в том, что φ(ω) есть «вероятность,
с которой принимается гипотеза Я, когда результат наблюдения есть а;».
Будем качество различения гипотез Я и Я характеризовать
вероятностями ошибок первого и второго рода:
α(φ) = Εφ(ω) (= «вероятность принять Я, если верна Я»),
β(φ) = £(1 - φ(ω)) (= «вероятность принять Я, если верна Я»),
где Ε и Ё — усреднения по мерам Ρ и Я. В том случае, когда гипотезы Я и Я
равноправны, оптимальным естественно считать тест φ*=ζφ*(ω) (если
таковой существует), который минимизирует сумму ошибок α(φ) + β(φ).
Положим
*Γ{Ρ,Ρ) = Ίηϊ[α(φ)+β(φ)]. (4)
φ

462
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
1 dP dP
Пусть g =-(/> + P) и z = ^,z = ^. Тогда
£г(Ру Ρ) = \ηϊ[Εφ + Ε(\ -φ)]=\ηΙ Εη[ζφ + ζ(\-φ)] = \+Μ Εη[φ(ζ-ζ)\
φ φ φ
(здесь и далее Eq — математическое ожидание по мере Q).
Нетрудно видеть, что inf достигается на функции
φ*(ω) = Ι{ζ<ζ},
и поскольку Eq(z — ζ) = 0, то
£r(P,P) = \-\EQ\z-z\ = \-\\\P-Pl (5)
где последнее равенство следует из приводимой ниже леммы 2. Таким
образом, из (5) ясно, что качество различения гипотез, характеризуемое
функцией <?г(Р, Р), зависит от степени близости мер Ρ и Ρ именно в смысле
расстояния по вариации.
Лемма 2. Пусть Q — некоторая σ-конечная мера такая, что
dP dP
P<<3, Я<(? и ζ = -j-?, ζ'= -j-r — производные Радона—Никодима мер
Ρ и Ρ относительно Q. Тогда
\\P-P\\=EQ\z-z\ (6)
и если Q = -т(Р + Р), то
\\P-P\\ = EQ\z-z\ = 2EQ\\-z\ = 2EQ\\-z\. (7)
Доказательство. Для всех ^"-измеримых функций ψ = ψ(ω) таких,
что |^М| < 1, по определению ζ и ζ находим
\E1>-E1>\ = \Eq1>(z-z)\^Eq\1>\\z-z\^Eq\z-z\. (8)
Поэтому
\\P-PUEq\z-z\. (9)
Но для функции
, . ,- ν ί 1, Οζ,
^ = sign(z-z) = ^
[-1, z<z,
имеем
|EV>-EV>| = £q|z-2|. (10)
Из (9) и (10) получаем требуемое равенство (6). Соотношения (7)
следуют из (6), поскольку ζ + ζ = 2 (<?-п. н.). D

§9. РАССТОЯНИЕ ПО ВАРИАЦИИ
463
Следствие 1. Пусть Ρ и Ρ — два распределения вероятностей
на (/?, @{R)) с плотностями вероятностей (относительно меры
Лебега dx) p(x) и р(х), xeR. Тогда
\\Р-Р\\= J \p(x)-p(x)\dx.
(И)
(В качестве меры Q надо взять меру Лебега на (/?, B§(R)).)
Следствие 2. Пусть Ρ и Ρ — две дискретные меры, Я = (рь р2, ...),
p=z(pu p2, ...), сосредоточенные в счетном числе точек х\, х2, ...
Тогда
ΙΙ^-^ΣΙλ-λΙ-
(12)
;=ι
(В качестве меры Q надо взять считающую меру, т. е. такую, что
<?({*,}) = U = 1,2, ...)
2. Обратимся теперь к еще одной мере близости вероятностными
мерами, во многом (как это будет следовать из дальнейшего) родственной
близости мер по вариации.
Пусть Ρ и Ρ — вероятностные меры на (Ω, &) и Q — третья
вероятностная мера, доминирующая меры Ρ и Р, т. е. такая, что Ρ < Q, Ρ < Q.
Снова обозначим
z =
dP_
dQ'
z =
dP_
dQ'
Определение 3. Расстоянием Какутани—Хеллингера между
мерами Ρ и Ρ называется неотрицательная величина р(Р, Р) такая, что
pHp,P) = \eq[^-^y.
(13)
Поскольку
Е^-^?^[{%-Щ^ (14)
то становится понятной символическая запись величины р2(Р, Р) в виде
p2(P,P)=l- l[VdP-VdP]2.
(15)

464
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Если положить
Я(/>,Я) = £(?\/й, (16)
то по аналогии с (15) можно символически записать
#(/>, Я) = $ VdPdP. (17)
Ω
Из (13), (16), а также из (15), (17) понятно, что
р2(Я, Р)=1-Я(Я, Р). (18)
Величина //(Я, Р) называется интегралом Хеллингера порядка 1/2.
Для многих целей удобным оказывается рассмотрение интегралов
Хеллингера Н(а\ Р, Р) порядка а£ (0, 1), определяемых формулой
H(a;P,P) = EQzazl-a, (19)
или, символически,
Я(а; Р9 Р) = ^ (dP)a(dP)l-Q. (20)
Ω
Ясно, что #(^; Λ Ρ) =//(/>, Ρ).
Чтобы определение 3 было корректным, надо показать, что величина
р2(Я, Р) не зависит от выбора доминирующей меры и что действительно
ρ(Λ Ρ) удовлетворяет требованиям, предъявляемым к «расстоянию».
Лемма 3. 1. Интеграл Хеллингера порядка а£(0, 1) (а
следовательно, и р(Р, Р)) не зависит от выбора доминирующей меры Q.
2. Функция р, определенная β (13), является метрикой на
множестве вероятностных мер.
Доказательство. 1. Если мера Q' доминирует Ρ и Р, то Q' домини-
Р + Р
рует и меру (? = —-—. Поэтому достаточно доказать, что если (?<(?',
то
£(?(гаг1-а) = £(?,(2,)а(г,)1^а)
, dP _, dP
гдег'=—, г'=~.
Обозначим г; = -г^. Тогда z' = ζα, г' = ζν и
αν'
£(?(гаг1"а) = £(?,(г;гаг1-а) = £^(г,)а(г,)1-а)
что и доказывает первое утверждение.
2. Если р(Р, Я) = 0, то г = г (<?-п. н.), откуда Р — Р. Симметричность
р(Ру Р) = р(ру Р) очевидна. Наконец, пусть Я, Я', Р" — три меры, Р<С<?,

§9. РАССТОЯНИЕ ПО ВАРИАЦИИ
465
, η пп^гл dP , dP' „ dP" Λλ
ρ' < Q и Ρ < Q с ζ = -r-β, г = -τρτ, ζ" = -^г-. Используя справедливость
неравенства треугольника для нормы в Δ2(Ω, &', <?), получаем
[£q(V?- у^)2],/2 ^ [£q(V?- ^)2]1/2 + [£q(V?- л/577)2]1/2,
т.е.
р{Р,Р")^р(Р,Р') + р{Р',Р"). Π
Из определения (19) и теоремы Фубини (§ 6 гл. II)
непосредственно вытекает, что в том случае, когда меры Ρ и Ρ являются прямыми
произведениями мер, Р — Рхх ...х РПу Р = Р\ χ ...хРп (см. п. 10 § 6
гл. II), интеграл Хеллингера между мерами Ρ и Ρ равен произведению
соответствующих интегралов Хеллингера:
H(a;P,P) = f[H(a\PhPi).
Следующая теорема раскрывает связь между расстоянием по
вариации и расстоянием Какутани—Хеллингера (или, эквивалентно, интегралом
Хеллингера). В частности, она показывает, что эти расстояния определяют
одну и ту же топологию в пространстве вероятностных мер на (Ω, &).
Теорема 1. Имеют место следующие неравенства'.
2[1 -//(/>, Р)] ^ \\Р-Р\\ < \/8[1-//(Я,Р)], (21)
||Р - Р\\ ^ 2\/1-Н2(Р, Р). (22)
В частности,
2р2(/>, Р) ^ \\Р - Р\\ ^ л/8р(Я, Р). (23)
Доказательство. Поскольку //(Я, Р)^ 1 и 1 -х2^2(1 -χ) для 0^
^x^l, то правое неравенство в (21) вытекает из (22), доказательство
которого дается следующей цепочкой неравенств (с Q = -(Я + Р)):
2\\P-P\\=EQ\l-z\^>/EQ\l-z\2 = y/l-EQz(2-z) =
= у/\ - EQzz = ^/l - £<?(\/ϋ)2 < ^/l - (£<?\/ίΙ)2 = V1 - #2(/>, Ρ).
Наконец, первое неравенство в (21) следует из того, что в силу
неравенства
L[^-V2^)4\z-\\, г €[0,2],

466
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
имеем (<? = 2(Р + ^)
\-H(P,P) = p*(P,P) = ±EQ[Vi-V2^]4EQ\z-\\ = ±\\P-P\\. О
Замечание. Сходным образом показывается, что для всякого а £ (0, 1)
2[1 -//(α; Ρ, Ρ)] ^ ||Р-Р|| ^ л/са(1-Я(а; Ρ, Ρ)), (24)
где са — некоторая константа.
Следствие 3. Пусть Ρ и Рл, /ζ>1, — вероятностные меры на
(Ω, ^). 7огда (я-*оо)
||Рл-Р|Н0 «* Н(Р\Р)^\ & Р(Р", Р)^0,
||Р«.р||^2 <* #(РЛ, Р)^0 *> р(Ря,Р)-*1.
Следствие 4. Поскольку в силу (5)
,?r(P,/5)=l-i||/>-/5||,
mo ыз (21) н (22) имеем
±#2(Р, Р)< 1 - л/1-#2(Р,РК<?г(Р, Р) < //(Λ Ρ). (25)
β частности, пусть
Рп = Рх ...хЯ, Рп = Рх...хР
> ν ' ν ν '
/I /I
— прямые произведения мер. Тогда, поскольку
Н(Р\ Рп) = [Я(Р, Р)]л = *ГАл, λ = - In #(Р, Ρ) ^ ρ2(Ρ, Р),
то из (25) получаем
± <Г2Ал < (?г(Рл, Р") < е~Хп ζ е-прЧр>р). (26)
Применительно к рассмотренной выше задаче различения двух
статистических гипотез из этих неравенств вытекает следующий
результат.
Пусть ξι, &» ··· —независимые одинаково распределенные случайные
элементы, имеющие распределение вероятностей или Ρ (гипотеза //), или Ρ
(гипотеза /7), причем Р^Р и, значит, р2(Р, Р)>0. Тогда при л—»оо
функция Sr{Pn, Рл), характеризующая качество оптимального различения
гипотез Η и Η по наблюдениям ξι,..., ξ„, убывает к нулю экспоненциально
быстро.

§9. РАССТОЯНИЕ ПО ВАРИАЦИИ
467
3. С помощью введенных выше интегралов Хеллингера порядка а
удобно выражать условия абсолютной непрерывности и
сингулярности вероятностных мер.
Пусть Ρ и Р — две вероятностные меры, заданные на измеримом
пространстве (Ω, &). Напомним, что мера Ρ абсолютно непрерывна
относительно меры Ρ (обозначение: P<g:P)y если Р(Л) = 0 всякий раз,
когда Я(Л) = 0 для Ае&. Если Р<Я и Р<Р, то говорят, что меры Ρ и
Ρ эквивалентны (Р~Р). Меры Ρ и Ρ называются сингулярными или
ортогональными (Р±Р), если существует А е& такое, что Я(Л) = 1 и
Р(А) = 1 (т. е. меры Ρ н Ρ «сидят» на разных множествах).
dP dP
Пусть Q — вероятностная мера, Я<(?, Я<(?, г = ^,г = -г~.
Теорема 2. Следующие условия являются эквивалентными:
(а)Р<Р,
(Ь)Р(г>0) = 1,
(c)tf(a;/>, P)-*l,aiO.
Теорема 3. Следующие условия являются эквивалентными:
(а)Р±Я,
(Ь)Я(г>0) = 0,
(с)Я(а;Я, Р)^0, ajO,
(d) Я(а; Ρ, Ρ) = 0 для всех а е (0, 1),
(e) //(а; Я, Р) = 0 для некоторого а£ (0, 1).
Доказательство обеих теорем будем проводить одновременно.
Согласно определению гиг,
/>(г = 0) = £<? [г/(г = 0)] = 0, (27)
Р(А η {г > 0}) = £<? [г/(Л η {г > 0})] =
= EQ [г | /(Л Π {г > 0})] = £ [| /(Л Π {г > 0})] = £ [| /(Л)]. (28)
Следовательно, имеет место «разложение Лебега»:
Р(А) = £ [| /(Л)] + Р(Л Π {г = 0}), Лбе?, (29)
в котором величина Ζ = - называется производной Лебега
(«абсолютно непрерывной компоненты») меры Ρ по (отношению к) мере Ρ
dP
и обозначается -т= (ср. с замечанием к теореме Радона—Никодима, § 6
гл. II).
Отсюда сразу получаем эквивалентность (а) и (Ь) в обеих теоремах.

468
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Далее, поскольку
ζβ2Ι-α-*2/(ζ>0), α|0,
и для а£(0, 1)
0^zazl-Q^az + (\-a)z^z + z
с £<?(г + г) = 2, то по теореме Лебега о мажорируемой сходимости
lim #(α; Ρ, Ρ) = £рг/(г > 0) = Ρ(ζ > 0)
aj.0
и, значит, (b) <& (с) в обеих теоремах.
Наконец, покажем, что во второй теореме (с) <& (d) <& (е). Для этого
надо лишь заметить, что Н(а\ Р, Р) = £ ( % J /(г > 0) и Р(г > 0) = 1.
Значит, для каждого a £ (0, 1) Р(г > 0) = 0 ^ Н(а\ Ρ, Ρ) = 0, откуда и следуют
импликации (с) <& (d) <& (е). D
Пример 1. Пусть Ρ = Pi χ ?% χ ..., Ρ = Ρ\ χ Ρ2 χ ..., где Ρ* и Ρ* —
гауссовские меры на (Ρ, ^(Ρ)) с плотностями
1 (x-akf 1 (*-Q*)2
Поскольку, как показывает простой подсчет,
оо
*=1
где
то
Н(сг,Рк9Рк)= ] р^х)р1-л(х)ах = е'2^{ак-^\
a(l-a) ^(п я v2
Н(а\ Р,Р) = е 2 *«■
Из теорем 2 и 3 получаем, что
оо
Р<^Р & Р<^Р & Р~Р <& Σ (ak - cikf <оо,
оо

§9. РАССТОЯНИЕ ПО ВАРИАЦИИ
469
Пример 2. Снова пусть Р = Р\ χ Ρ<ι χ ..., Ρ = Ρ\ хр2>< ..., где Pk и
pk _ распределения Пуассона с параметрами λ* > 0 и λ* > 0
соответственно. Тогда нетрудно показать, что
оо
оо
(30)
*=1
4. Задачи.
1. В обозначениях леммы 2 положим
PAP = EQ(zAz),
где ζ Λ ζ = min(z, г). Показать, что
||/>-Ρ|| = 2(1-/>ΛΡ)
(и, следовательно, Sr(P, Р) = Р ЛР).
2. Пусть Я, Я„, /ζ ^ 1, — вероятностные меры на (/?, S8(R)) с плотностями
(относительно лебеговской меры) р(х), /?„(*), я > 1. Пусть рп(х) —> р(х) для
почти всех χ по мере Лебега. Показать, что тогда
оо
\\Р-Р«\\= § \p(x)-pn(x)\dx-^0, n-^oo
—оо
(ср. с задачей 17 в § 6 гл. II).
3. Пусть Ρ и Ρ — две вероятностные меры. Определим информацию
Кульбака К(Р, Я) — информацию в пользу Ρ против Ρ — равенством
dP
К(Р,Р) = {ЕЫ7Р> ™»р«р>
Ή
оо в противном случае.
Показать, что
/((/>, Р) > -2 1п(1 - р2(/>, Р)) > 2р2(Я, Я).
4. Доказать формулы (11), (12).
5. Доказать неравенства (24).
6. Пусть Я, Я, Q — вероятностные меры на (/?, SS(R)), P*Q и P*Q —
их свертка (см. п. 4 § 8 гл. II). Тогда
\\P*Q-P*QH\\P-P\\.
7. Доказать (30).

470
ГЛ. HI. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
8. Пусть ξ и η — случайные элементы на (Ω, β', Ρ) со значениями в
измеримом пространстве (£, &). Показать, что
|Р{€€Л)-р{Ч€Л)|<рк^Ч), А её.
§ 10. Контигуальность (сближаемость) и полная
асимптотическая разделимость
вероятностных мер
1. Эти понятия играют фундаментальную роль в асимптотической
теории математической статистики, являясь естественным
распространением понятий абсолютной непрерывности и сингулярности двух мер на
случай последовательностей пар мер.
Начнем с определений.
Пусть (ΩΛ, &п)п>\ — некоторая последовательность измеримых
пространств и (Рп)п^\, (Рп)п^\ —последовательности вероятностных мер, где
Рп и Рп определены на (ΩΛ, <^л), п ^ 1.
Определение 1. Говорят, что последовательность мер (Рп) контигу-
альна последовательности (Рп) (обозначение: (Рп)<(Рп)), если для всех
Ап £ &п таких, что Рп(Ап) -+ 0, п -+ оо, имеем Рп(Ап) -+ 0, п -+ оо.
Определение 2. Говорят, что последовательности мер (Рп) и (Рп)
полностью асимптотически разделимы (для краткости — разделимы;
обозначение: (Рп) Δ (Рп)), если существуют подпоследовательность я* | оо,
k —► оо, и множества АПк £ &Пк такие, что
рп*(АПк) -+ 1 и РПк(АПк)-+ 0, й — оо.
Сразу отметим, что разделимость есть понятие симметричное: (Рп) Δ
Δ (Рп) <& (Рп) Δ (Рл). Контигуальность этим свойством не обладает. Если
(Рп) < (Рп) и (Рп) > (Рл), то пишут (Рл) о (Рп) и говорят, что
последовательности мер (Рп) и (Рп) взаимно контигуальны.
Отметим, что в случае, когда (Ω", ^'/Ι) = (Ω, ^), РЯ = Р, РЛ=Р для
всех п ^ 1, имеем
(Рл)«(/>л) <* Р</>, (1)
(£")«> (О & Р~/>, (2)
(Рп)А(Рп) & PLP. (3)
Эти свойства и данные выше определения объясняют, почему
контигуальность и полная асимптотическая разделимость часто трактуются
как «асимптотическая абсолютная непрерывность» и «асимптотическая
сингулярность» для последовательностей \Рп) и (Рп).

§ 10. КОНТИГУАЛЬНОСТЬ ВЕРОЯТНОСТНЫХ МЕР 471
2. Приводимые ниже теоремы 1 и 2 являются естественным
распространением теорем 2 и 3 из § 9 на случай последовательностей мер.
Пусть (Ω", &п)п%\ — последовательность измеримых пространств,
Qn — вероятностная мера на (Ω", &η), η ^ 1, и ξη — случайные величины
(вообще говоря, расширенные; см. § 4 гл. II) на (Ω", &п), О 1.
Определение 3. Последовательность случайных величин (ξη)
называется плотной относительно последовательности мер (Qn) (обозначение:
(ξη | Qn) плотно), если
lim ΈηΟη(\ξ?\>Ν) = 0. (4)
A/Too n
(Ср. с соответствующим определением плотности семейства вероятностных
мер в § 2.)
Далее всюду будем полагать
пп _ Рп + Рп n_dPn _„ _ dPn
W " 2 ' Z ~ dQn* Z " dQn'
Будем обозначать также
2" = S (5)
производную Лебега меры Рп относительно меры Рп (см. формулу (29)
2
в § 9), считая - =оо. Заметим, что если Р/|<Р/|, то Zn есть в точности
dPn
один из вариантов плотности -гщ меры Рп относительно Рп (см. § 6 гл. II).
Для дальнейшего полезно отметить, что поскольку
Я-(г-4)-Ч^4))4 <6>
и Zn^ —, то
(рг!^'1) плотно, (Zn\Pn) плотно. (7)
Теорема 1. Следующие условия являются эквивалентными:
(а)(Рп)<(Рп),
(b) (— PrtJ плотно,
(bx) (Zrt|Prt)^omHO,
(c) lim |im//(α; Я",/^) = 1.
α|0 /ι
Теорема 2. Следующие условия являются эквивалентными:
(a) (Р") Δ (/>"),
(b) lim Р'Че'1 ^ ε) = 0 (Зля всякого ε > 0,

472
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
(b') lim Pn(Zn ζ Ν) = 0 для всякого N > О,
(c) \\т\т\Н(<*;Рп,Рп) = 0,
(d) lim Н(а\ Р\ Рп) = 0 для всех а£ (О, 1),
η
(e) Щи Н(а\ Рл, Рп) = 0 для некоторого а £ (0, 1).
η
Доказательство теоремы 1.
(a) => (Ь). Если (Ь) не выполнено, то существуют ε>0 и
последовательность tikToo такие, что РПк (гПк < — ) ^ε. Но в силу (6) РПк (гПк < — ) ^
\ nkj \ nkj
^ ► (), k —»оо, что противоречит предположению (Рп) < (Рп).
2
(b) <& (b'). Достаточно лишь заметить, что Zn = — — 1.
(b) => (а). Пусть Ап е&п и Рп(Ап)-+0, я-+оо. Имеем
Рл (Лл) ^ Ρη(ζη ζ ε) + £<?« (ел/(Лл Π {гл > ε})) ^
ζ Ρη(ζη ^ ε) + - £<?«(гл/(Лл)) = Рл(гл < е) + - />Л(ЛЛ).
Значит,
lim РЛ(ЛЛК lim Рл(гл <ε), ε>0.
Утверждение (b) равносильно тому, что lim lim Рл(гл ^ε) = 0. Тем самым
Р"(Лл)-0, т.е. (Ь)=Иа).
(Ь) => (с). Пусть ε > 0. Тогда
Я(а; Р\ P^^EQn[(zT(nl-^>£Q"[(^ynzn^e)I(zn>0)zn] =
= М(ЙV1^)] > (|)>(гл^е), (8)
поскольку zn + гл = 2. Значит, для ε > 0
Hm lim Н(а\ Рп, Рп)>ш{тХ Шп Я(гл ^ε) = Ηπι Ρη(ζη>ε). (9)
В силу (b) Пт Пт Рл (гл ^ ε) = 1. Поэтому из (9) и того, что Н{а\ Рп, Рп) ^ 1,
ε[0 η
следует утверждение (с).

§ 10. КОНТИГУАЛЬНОСТЬ ВЕРОЯТНОСТНЫХ МЕР
473
(с) =*· (Ь). Пусть £€(0, 1). Тогда
Я(о; Р\ Pn) = EQn[(zn)a(zn)l-ar(zn<s)] +
+ EQn[(zn)a(zn)l-al(zn>£, zn^S)) + EQn[(z")a(znY-aI(zn>e, г"><$)]<
< 2εα + 2δι~α + EQ* [zn (p)°V > ε, ζη > δ)] <
<2e° + 2i|-e + (|)V,(z,,>e). (10)
Поэтому
МИШ Ρη(*η>ε)> (ίΥ Μ Ща; Ρ\ Ρη)-^δ
для всех α £ (0, 1), δ £ (0, 1). Полагая сначала α |0, используя (с) и затем
беря δ 10, получаем
Ит Ит Р/|(2гл ^ е) 5= 1,
elO л
откуда вытекает справедливость (b). D
Доказательство теоремы 2.
(а) =► (Ь). Пусть (Рп) Δ (Рл), /г* Τоо, и Лл* € <^л* таковы, что Рл*(Лл*) -+ 1
и РЛ*(ЛЛ*) —► 0. Тогда с учетом того, что ζη + ζη = 2, имеем
Рл*(гл* > е)< РЛ*(ЛЛ*) + £<?«* {гл* · ^ /(Лл*)/(гл* ^ ε)} =
= Рл*(Лл*) + Мрп* {р£ /(Лл*)/(гл* > ε)} ^ РЛ*(ЛЛ*) + | />Л*(ЛЛ*).
Следовательно, Рл*(гл* ^ε)—*0 и, значит, выполнено (Ь).
(Ь) => (а). Если выполнено (Ь), то существует последовательность
rik Τ οο такая, что
Отсюда, заметив (см. (6)), что РПк (гПк ^ т) ^ 1 - т, получаем
утверждение (а).
2
(Ь) <& (Ь'). Достаточно лишь заметить, что Ζ" = — — 1.
(b) =► (d). В силу (10) и (b)
Ит Н(а; Р\ Рп) < 2εα + 2δι~α
η
для произвольных ε и δ из интервала (0, 1). Поэтому (d) имеет место,
(d) => (с) и (d) => (e) очевидны.

474
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Наконец, из (8) имеем
Ит Ρη(ζη >ε)^ (-Υ lim H(a\ P\ Pn).
Поэтому (с) => (Ь) и (е) => (Ь), поскольку (-J -> 1, α|0. D
3. Рассмотрим один частный случай, соответствующий схеме
независимых наблюдений, где вычисление интегралов Η (а; Рп, Рп) и применение
теорем 1 и 2 не представляет больших трудностей.
Предположим, что меры Рп и Рп есть прямые произведения мер:
Рп = Р{х...хРп, Рл=Р,х...хРя, я^1,
где Pk и ft заданы на (Ω*, «^), k ^ 1.
Поскольку в этом случае
-Д- Σ 1π[1-(1-//(αΛΑ))1
H(a;Pn,Pn) = l[H(a;Pk,Pk) = e&
то из теорем 1 и 2 получаем следующий результат:
η
(Рп) < (/>") «Ф- lim Ш V [1 - //(а; Р*. Рк)] = 0, (11)
qIO " *—^
η
(Ρη)Δ(Ρη) ^ lim ^ [1-//(а; Рь ft)] = oo. (12)
k=\
Пример. Пусть (Ω*, Λ) = (/?, ^(/?)), α* G [О, 1),
Pk(dx) = /[ο,ΐ] W <**, ft(dx) = -j^" Ίβ*.ΐ)(*)d*·
Поскольку здесь//(а; Р*, ft) = (l -β*)α, а£(0, 1),то из (11) и того факта,
что Н(а; Pk, ft) = //(l -α; ft, P*), находим
(РЛ)<(РЛ) & \\тпап<оо, т.е. α„ = θ(-Υ
(РЛ)<(РЛ) ^ lim лая = О, т.е.а„=о(±),
(Рп)А(Рп) <* Ш пап = оо.
4. Задачи.
1. Пусть Ял = Рлх...хРл, РЛ = РЛ х...хРл, ΟΙ, где Р£ и Р£ —
гауссовские меры с параметрами (α£, 1) и (a£, 1). Найти условия на (ank)
и (α£), при которых (Рл) < (Рл), (Рл) Δ (Рл).

§11. СКОРОСТЬ СХОДИМОСТИ В Ц. П. Т.
475
2. Пусть Рп = Р1 х...хРлл, Рп = Р{х...хР5, где Pnk и ^ —
вероятностные меры на (/?, BS(R)) такие, что Р%(ах) = 1[о,\)(х)ах, P£(dx) =
= I[an.\+an](x)dx, (Κα„ ^ 1. Показать, что Н(а\ Pnk, Р%)= 1 -ап и
(РЛ)<(РЛ) ^ (/^«(Р") ^ fim/zart = 0,
(РЛ)Л(РЛ) ^ Ш пап = оо.
3. Пусть (Ω, <^, (&п)п^о) — фильтрованное измеримое пространство,
т. е. измеримое пространство (Ω, &) с введенным на нем потоком σ-алгебр
(#п)п^о таких, что ^oQ^\ Q...C&. Предположим, что & = σ{\^ &п).
η
Пусть Ρ и Ρ —две вероятностные меры на (Ω, &) и Рп = Р\#п, Рп = Р\#п —
их сужения на &п. Показать, что
(Рп)<(Рп) * Р<Р,
(Рп)<>(Рп) <* Р~Р,
(Рп)А(Рп) * Р±Р.
§ 11. О скорости сходимости в центральной
предельной теореме
1. Пусть ξη\9 ..., ξηη — последовательность независимых случайных
величин, S„ =£,!+... + £,„, Fn(x) = P{Sn ζ χ}, η>\. Если Srt-^^K(0, 1),
то для всякого χ £ R Fn(x)—> Ф(х). Поскольку функция Ф(лг) непрерывна,
то на самом деле сходимость здесь равномерная (задача 5 в § 1):
*ир\Ра(х)-Ф(х)\-+0, n-^oo. (1)
х
Естественно поставить вопрос о скорости сходимости в (1).
Приведем соответствующий результат для того случая, когда Sn = ——"' ,
(Ту/П
п ^ 1, где ξι, &» · · · — последовательность независимых одинаково
распределенных случайных величин с Е& = 0, D& = a2>0 и Ε|ξι|3<οο.
Теорема (Берри и Эссеен). Имеет место оценка
sup|F„W-*WI<^^. (2)
где С — абсолютная константа ((2π)-1/2 < С < 0,7655).

476
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Доказательство. Для простоты пусть σ2=1 и /?3 = Ε|ξι|3. Согласно
неравенству Эссеена (п. 10 в § 12 гл. II),
τ
где у>(/) = е 7 и
с /(/) = Еей*.
В (3) положительное число Τ можно выбирать произвольным образом.
Возьмем
5/V
Как будет показано ниже, при таком выборе Τ
|/я(*)-у>(/)|<1А|/|Зе-£, |/|<7·. (4)
С учетом этого неравенства из (3) сразу получаем требуемую оценку (2),
где С — некоторая абсолютная константа. (Более тонкие рассмотрения
показывают, что ее значение меньше 0,7655; см. [88, гл. 5, § 4.3].)
Итак, перейдем к доказательству неравенства (4).
Согласно формуле (18) из § 12 гл. II (я = 3, Εξι =0, Εξ? = 1, Ε|ξι|3<οο),
имеем
fit) = Εβ"ξι = 1 - j + ^-[E£?(cos β,ίξ, +/ sin fc/ξ,)], (5)
где |0ι| < 1, |^21 < 1. Поэтому
Если |/| ^ Τ = у/п/(5Рз), то с учетом неравенства /?3 ^ σ3 = 1 (см. (28)
§ 6 гл. II) находим, что
1 I'Vx/JH1 Г\у/п)Г2п + ЗпФ ^25*
Следовательно, при |/| ^ Τ возможно представление
где под In z понимается главное значение логарифма комплексного
числа ζ (In ζ = In \z\ + / arg ζ, —π < arg ζ ^ π).

§11. СКОРОСТЬ СХОДИМОСТИ В Ц. П. Г.
477
Поскольку /?з < оо, то по формуле Тейлора с остаточным членом в
форме Лагранжа (ср. также с (35) из § 12 гл. II) видим, что
ln f( М_ ^ о) (it)2 (2) (it)3 (] п,„(й t \
-к + Вг^»"'(°7й)> W<". <7>
так как семиинварианты sij* = Εξι = 0, sf^ = σ2 = 1.
Далее,
'"/ο\ f2/o\ _ Q f "/<Λ f'/o\ f/o\ _1_ O/ f'/e\\3
nn «„«/" - Г (s)Hs) -3/'W(s)/(s) + 2(/W _
(m'(S)) ~ /3(s)
= E[(/gi)V€"l/2(s)-3E[(itl)Vg"lEi(igl)e'ft,l/(5) + 2E[(fft)e^"|3
/3(S)
~r)\^ 25 ПРИ И ^ и l/(s)l^ 1* находим
l(ln/) Г7й]И Жз—<7/% ()
(/?* = Ε|ξ, |*. A = 1, 2, 3; /3, < βψ < ^/3; см. (28) § 6 гл. II).
Из (6)—(8), используя неравенство \ez — 1|<|ζ|β'2', получаем для
И'ШГ-'-^-к·^^--*
2 ,
Замечание. Отметим, что без дополнительных предположений о
природе суммируемых случайных величин порядок оценки (2) и оценка
ε^(2π)""1/2 не могут быть улучшены. Действительно, пусть ξι, &. ... —
независимые одинаково распределенные бернуллиевские случайные
величины с
Ρ{ξ* = +ΐ} = Ρ{ξ* = -ΐ}=5·
В силу симметрии очевидно, что
2р{у^*<о1 + р
Ш6-}-

478
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
и, значит, по формуле Стирлинга ((6) § 2 гл. I)
р{|&<оИ
Отсюда, в частности, следует, что константа С, входящая в (2), не меньше
чем βπ)-1/2, и
ρΕ*-°}~£· «■
►оо. (9)
2. Задачи.
1. Доказать формулу (8).
2. Пусть ξι, ξ2> ··· —независимые одинаково распределенные
случайные величины с Е& = 0, ϋ& = σ2 и Ε|ξι|3<οο. Ивестно, что тогда
справедлива следующая неравномерная оценка: для всех —оо < χ < оо
Дать доказательство этого результата, по крайней мере, для бернуллиев-
ских случайных величин.
3. Пусть dk)k^\ —последовательность независимых одинаково
распределенных случайных величин, принимающих значения ±1 с
вероятностями 1/2. Пусть φ2(ί) = Εβίίξι = τΑβ1ί +e~li). Показать, следуя Лапласу, что
(S* = & + ... + 6k)
1
о
4. Пусть (&)fc>o — последовательность независимых одинаково
распределенных случайных величин, принимающих 2а + 1 целочисленных
значения 0, ±1, ..., ±а. Пусть <p2a+\(t) = Ее1'*1 = γχ^( 1 +2 £ cos tk\
Также, следуя Лапласу, показать, что
p,s-0»-HAt,m*~7BWU!· "-~-
В частности, для а = 1, т. е. случая, когда ξΐζ принимают три
значения -1,0, 1,

§ 12. О СКОРОСТИ СХОДИМОСТИ В ТЕОРЕМЕ ПУАССОНА 479
§ 12. О скорости сходимости в теореме Пуассона
1. Пусть ξι, &. ···» ζη — независимые бернуллиевские случайные
величины, принимающие значения 1 и 0 с вероятностями
РЙк=1}=Рь Ρ{& = 0} = %(=1-ρΛ), ΚΚη.
Обозначим S=£i +... + ξ«, В = (Во» ^ь ···» Вл) — биномиальное
распределение вероятностей суммы S, где B^ = P{S = ft}. Пусть также П =
= (По, Пь ...) — пуассоновское распределение с параметром λ, где
e~x\k
В п. 4 § 6 гл. I отмечалось, что если
Ρι=... = Ρ/ι, Α = /ζρ, (Ι)
то имеет место следующая оценка (Ю. В. Прохоров) для расстояния по
вариации между мерами β и Π (β,,+ι = Β,,+2 =... = 0):
||fl-n||=J]|fl*-n*|<Ci(A)p = C,(A).Jf (2)
где
Ci(A) = 2min(2, λ). (3)
/I
Для случая не обязательно равных pk таких, что Σ ρ* = λ, Л.Ле Кам
k=\
показал, что
оо
||β - П|| = Σ Ιβ* - Π*Ι < C2(A) max рк, (4)
где
C2(A) = 2min(9, λ). (5)
Из приводимой ниже теоремы будет следовать оценка
||В-П|КСз(А)тах рк, (6)
в которой
Сз(А) = 2А. (7)
Хотя С2(А) < Сз(А) при λ > 9, т. е. оценка (6) хуже оценки (4), мы,
однако, предпочитаем дать доказательство оценки (6), поскольку оно, по
существу, элементарно, в то время как стремление получить «хорошую»
константу С2(А) в (4) сильно усложняет технику доказательства.

480
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
2. Теорема. Пусть λ = Σ ρ*. Тогда
k=\
\\B-n\\=f^\Bk-Tlk\^2J2pl (8)
k=0 k=\
Доказательство. Воспользуемся тем обстоятельством, что каждое из
распределений β и Π есть свертка распределений:
Β = Β(Ρι)*Β(ρ2)*...*Β(ρη),
Π = Π(ρι)*Π(ρ2)*...*Π(ρ„), '
понимаемых как свертка соответствующих функций распределения (см.
п. 4 § 8 гл. II), где B(pk) = (1 - рь pk) — бернуллиевское распределение в
точках 0 и 1, а П(р^) — пуассоновское распределение, сосредоточенное в
точках 0, 1, ..., с параметром р^.
Нетрудно показать, что разность В - Π может быть представлена в
виде
B-Tl = Ri+... + Rn, (10)
где
Rk = (B(pk)-U(Pk))*Fk (11)
с
/г1=П(р2)*...*П(р„),
/7Λ = β(Ρι)*...*β(ρ*-ι)*Π(ρΛ+ι)*...*Π(ρΙΙ), 2<Λ^/ι-1,
F„ = B(pi)*...*B(p„.,).
В силу задачи 6 из § 9 \\Rk\\ ^ ||£(р*) -П(р*)||. Поэтому из (10) сразу
находим, что
η
\\В-Щ^\\В(рк)-Щрь)\\. (12)
k=\
Учитывая формулу (12) из § 9, видим, что подсчет вариаций ||β(ρ*)-
— П(р*)|| не представляет сложностей:
= |(1-р)-е"рМ + 1л-Р*е"р1 + 1-е"л-р*е"р* = 2рл(1-в-л)<2р2.
Отсюда и из (12) получаем требуемое неравенство (8). D
η
Следствие. Поскольку Σ ρ| ^ λ max pk, то имеет место
Оценках К*<л
ка (6).

§ 13. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 481
3. Задачи.
1. Показать, что при λ* = - ln(l — pk)
\\B(pk) - Π(λ,)|| = 2(1 - е~х> - \ke-x*) ^ \\
η
и, следовательно, \\В -П|| ^ Σ λ*.
*=ι
2. Доказать справедливость представлений (9) и (10).
§ 13. Фундаментальные теоремы математической
статистики
1. В § 7 главы I были рассмотрены некоторые задачи оценивания и
построения доверительных интервалов для вероятности «успеха» по
наблюдениям над случайными величинами в схеме Бернулли. Эти задачи
являются типичными для математической статистики,
занимающейся в определенном смысле обратными задачами теории вероятностей.
Так, если в теории вероятностей основной интерес состоит в том, чтобы
для заданной вероятностной модели рассчитывать те или иные
вероятностные показатели (вероятности событий, распределения вероятностей
и их характеристики случайных элементов, и т. д.), то в математической
статистике мы интересуемся тем, как по имеющемуся статистическому
сырью выявить (с определенной степенью надежности) ту
вероятностную модель, в рамках которой статистические свойства эмпирических
данных наиболее всего согласуются с вероятностными свойствами
случайного механизма, порождающего эти данные.
Приводимые ниже результаты (Гливенко, Кантелли, Колмогоров и
Смирнов) по праву могут быть названы фундаментальными
теоремами математической статистики — они не только устанавливают
принципиальную возможность извлечения из статистического сырья
вероятностной информации (о функции распределения случайных величин,
над которыми производятся наблюдения), но и дают возможность оценить
степень согласия эмпирических данных с той или иной вероятностной
моделью.
2. Пусть ξι, ξ2» ··· — последовательность независимых одинаково
распределенных случайных величин, заданных на некотором
вероятностном пространстве (Ω, ^, Ρ) и F = F(x),xeR, есть их функция
распределения (F(x) = P{£k ^х}). Для каждого N ^ 1 введем эмпирические функции
распределения
ι N

482
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
В соответствии с законом больших чисел (§ 3, теорема 2) для каждого
xeR
FN(x\u>)£+F(x), yV-^oo, (2)
т. е. имеет место сходимость по Ρ-вероятности.
Из теорем 1 и 2 § 3 главы IV следует также, что для каждого xeR
имеет место и сходимость с вероятностью единица: при N —► оо
FN[x\u>)^F(x) (Р-п.н.). (3)
Весьма замечательно, что имеет место и более сильный результат о
том, что сходимость в (3) равномерна по х.
Теорема 1 (Гливенко и Кантелли). В сформулированных условиях
(случайные) величины
ΩΝ(ω) = sup \FN(x; ω) - F(x)\ (4)
xeR
сходятся к нулю с вероятностью единица:
P(lim DN (ω) = 0) = 1. (5)
Ν
Доказательство. Пусть Q — множество рациональных чисел на R.
Понятно, что
sup \FN(r\ u>)-F(r)\
есть случайная величина. И поскольку
DN(u) = sup \FN(x\ ω) - F(x)\ = sup \FN(n ω) - F(r)|,
x£R r€Q
то статистика Dm (ω) также есть случайная величина и, следовательно,
можно говорить о ее распределении.
Пусть целое Μ^2 и А = 1, 2, ..., Λ/ - 1. Определим последовательность
чисел
xmji = min{x G R: k/M ^ F(x)},
полагая также хм,о = —оо, хм,м = +оо.
Пусть интервал [*м,ь *ли+О^0 и * принадлежит этому интервалу.
Тогда очевидным образом
FN(x\ ω) - F(x) ^ FN(xM,k+\ - 0) - F^m.*) =
= [Fn(xmm\ - 0) - F^m.a+i ~ 0)1 + И*ли+1 - 0) - F(*au)] <
< FN(xM.k+\ - 0) - /^au+i - 0) + l/и.

§ 13. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 483
Аналогично, снова предполагая, что χ Ε [хм,ь *μ,6+ι), находим, что
FN(x\ ω) - F(x) ^ FN(xMJt\ ω) - F(xMJt) - 1/M.
Тем самым, для каждого χ е R
\FN(x;<o)-F(x)\<
<£ max \\FN(xMJt\ ω) - F(xMtk)l Ψν(χμ* - 0; ω) - F(xMj - 0)|} + 1/M,
X^k^M—X
ΧζΙιζ,Μ-Χ
и, значит, Р-п. η.
lim sup \Fn(x\ ω) - F(x)\ ^ 1/M.
rt—OO χ
Отсюда в силу произвольности М получаем требуемое утверждение (5).
D
Теорема Гливенко и Кантелли, являющаяся одной из
фундаментальных теорем математической статистики, утверждает, как уже отмечалось,
принципиальную возможность проверки на основании наблюдений над
(независимыми одинаково распределенными) величинами ξι, &» ...
того, что функцией распределения этих величин является именно функция
F = F(x). Иначе говоря, эта теорема гарантирует возможность
установления согласия «теории и эксперимента».
3. Несмотря на отмеченную принципиальную важность этой теоремы,
она не отвечает на вопрос о скорости сходимости величины отклонения
ΩΝ(ω) к нулю при N —>оо и, тем самым, не позволяет судить о степени
правдоподобности того, что результаты наблюдений «идут» от
(независимых) случайных величин, имеющих своей гипотетической функцией
распределения функцию F = F(x), xeR.
Из центральной предельной теоремы следует, что для каждого
фиксированного xeR
y/N(FN(x\ w)-F(x))-^^(0f F(x)[l -F(x)])9 (6)
что означает сходимость распределений величин y/N Fn(x\ ω) — F(x))
к нормальному распределению с нулевым средним и дисперсией
F(x)(\-F(x)).
Более интересно, конечно, получить предельное распределение для
(равномерной) статистики
DN(ω) = sup \FN (x\ ω) - F(x)|
X
или, скажем, родственной статистики
D+(uj) = sup(FN(x;u;)-F(x)). (7)
Χ

484
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Следующее наблюдение (А. Н. Колмогоров) является ключевым при
отыскании предельных распределений для этих статистик.
Лемма 1. Пусть F — класс непрерывных функций распределения
F = F(x).
Для каждого N ^ 1 распределение вероятностей статистик
Dm (ω) одно и то же для всех Fe¥. Аналогичное справедливо и для
статистики D^(u).
Доказательство. Пусть щ,г^у ... —последовательность
независимых одинаково распределенных случайных величин, имеющих равномерное
(ί/ = ί/(χ)) распределение на [0, 1]: Ρ{771 ^Jt} = jt, O^Jt^ 1.
Утверждение леммы будет следовать из того, что, как оказывается,
для каждой непрерывной функции F = F(x) распределение статистики
sup \Fm(x\ u;)-F(x)\ совпадает с распределением sup \Uu(x\ ω) — U(x)\y
χ χ
где функция
Ν
υΝ(χ;ω) = Ν-ιΣΐ(η/ι(ω)^χ)
k=\
есть эмпирическая функция распределения величин η\, ..., η^.
Обозначим через А множество интервалов / = [а, Ь], — оо < а < Ь < оо,
постоянства функции распределения F = F(x)y т.е. пусть Ρ {ξι £/} = 0.
Тогда
DN(ω) = sup \FN(x\ ω) - F(x)\ = sup \FN(x\ ω) - F(x)\.
xeR xeA
Вводя величины ^ = Ffa) и эмпирические функции распределения
ι N
υΝ(χ\ω)=±Σ/№ω)ζχ),
k=\
находим, что для χ е А
Ν N
поскольку для таких χ {ω: ξ^ω) ^χ} = {α;: Ffa(uj)) ^ F(x)}.
Таким образом,
ΩΝ(ω) = sup \FN{x\ ω) - F(x)\ = sup \UN(F(x)\ ω) - F(x)\ =
xeA xeA
= sup\UN(F(xy,u>)-F(x)\= sup \UN(y; ш)-у\Р^И- sup \UN(y;u/)-y\,
xeR ye(0,i) i/elo,i]

§ 13. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 485
где последнее равенство ( =н") следует из того, что
PWi=0} = PWi = l} = 0. (8)
Покажем теперь, что случайные величины щ имеют равномерное (на
[О, 1]) распределение. С этой целью обозначим (для у € (0, 1))
jc(i/) = inf{jcG/?: F(x)>y).
Тогда находим, что F(x(y)) = yy ye(0, 1), и
Р{т<у} = РШ)<у}=Р№\)<гШ)} = Р{*1 <х{у)}=Пх{у))=у.
Вместе с (8) это доказывает, что случайная величина ή\ (а значит, и каждая
из величин 772,773, ...) имеет равномерное распределение на [0, 1]. D
4. Установленная лемма показывает, что для отыскания предельного
при N —хх) распределения статистик D# и D^ (в классе F непрерывных
функций распределения F = F(x) для наблюдений ξι, ξ2, ···) достаточно
сразу предположить, что ξι, ξ2, · · · — это последовательность независимых
одинаково распределенных случайных величин с равномерным распере-
делением на [0, 1].
Зафиксируем некоторое N ^ 1 и упорядочим (для каждого ω £ Ω)
величины ξι, ξ2, ..., ξ# в порядке их возрастания, обозначая эти новые
величины (порядковые статистики) через ξ^, ξ^, ..., ξ]^, где
ξίΛ° = ™ίη(ξ1,ξ2,...,ξ*) ξΓ = Γϊΐ3χ(ξ,,ξ2,...,ξ*).
(Вероятность совпадения двух таких упорядоченных величин равна нулю.)
Полагая
ι Ν
^(У'^) = ±^21Ыи)<у), (9)
*=1
имеем
DN(uj) = max\UN(y\u;)-y\. (10)
Нетрудно видеть, что максимальное значение правой части может
достигаться лишь в точках скачков функции распределения С1м(у\ ω), τ. е. в
точках ξ^, ξ<">, ..., ζΜ. Тем самым,
D"M = max|£^W|. (11)
Отсюда следует, что для отыскания распределения статистики Dn(uj) надо
знать совместное распределение порядковых статистик ξ^, ξ^,..., ξ]^.

486
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
С целью отыскания этого распределения рассмотрим
последовательность Сь Сг. ··· независимых экспоненциально распределенных (Р(С* >*} =
= е~х) случайных величин, и пусть Sn = ζ\ +С2 + --- + Сь О 1.
Лемма 2. Совместное распределение вектора (ξ^, ξ^, ..., ξ]ΐΡ)
совпадает с совместным распределением вектора
(_S\ S2 5
,..., N У
\Syv+i ' Syv+1 ' '"' Syv+i ,
Доказательство. С одной стороны, для 0 ^ у\ ^... ^ у ν ^ 1
P^edi/b .... $°€^*} = Σ Р{&, edylt ...,^edyM), (12)
где суммирование производится по всем перестановкам (k\9 ..., й#) чисел
(1, ..., Ν). (В (12) и также в дальнейшем используется несколько
вольная «дифференциальная» форма записи, которой нетрудно придать точный
смысл.)
В правой части (12) величины &,, ..., ξ^ независимы, равномерно
распределены на [0, 1]. Число перестановок чисел (1, ..., Ν) равно ΛΠ,
поэтому правая часть в (12) равна N\dy\...dyN. Следовательно, если
(0ь.... yn)€&N, где Ayv={i/iG[0, 1], ..., yNe[Q, l]: 0^yi^...^yN ^
< 1}. то
P^^dyl9...^]!l,)€dyN} = Nldyl...dyN. (13)
Если же (ί/ι, ..., yn)<£AN, то
P{^edyu.:.,№edyN} = Q. (14)
Покажем теперь, что, с другой стороны, точно так же
p{^edyu...9£!-edyN} =
loyv+ι <>yv+i J
\N\dyx...dyN, (yu .... i/yv)^Ayv,
[0, (ί/ι, ...yyN)<£AN.
-t
(15)
С этой целью рассмотрим совместное распределение случайных
величин Si, ..., Syv+i.
Если (χι, ..., λ:#+ι)€Δ#+ι, то находим, что
P{S\ edx\, S2£dJt2, .... Syv+i €dxyv+i} =
= P{Ci edxu ζ2€άχ2-χ\...> Cyv+i €dxyv+i -*yv} =
= β-*·β-(*2-*^.. £-<*»+■-*">u^ (16)

§ 13. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 487
Если же (jcl ..., xyv+i)^Ayv+b то
P{Sj edxu S2edx2, ..., Syv+i GdxN+l} = Q. (17)
Поскольку Syv+i = Ci + · · · + Ov+i, где d, ..., Cw+i — независимые
экспоненциально распределенные случайные величины, то (задача 3)
P{S^+iGd^+i}=-^j dxN+x. (18)
Из (16) и (18) находим, что для (хи ..., Jtyv+i)£ Δλ/+ι
P(Si edxi, .... Syv Gdjcyv |Syv+i ΖάχΝ+^^ΝΙχ^ dx\...dxu. (19)
Если же (jci, ..., Jtyv+i)£Ayv+i, то левая часть в (19) равна нулю.
В результате видим, что
(С С ι \
j^-edyu ...» j^-6d^|S^+i=^+iJ =
^iN\dyx...dyN, (yu ..., i/yv)€Ayv,
\θ, (ί/ι, ..., ум)£&м,
и в силу независимости правой части от jtyv+i приходим к
справедливости представления (15), сопоставление которого с (13), (14) доказывает
утверждение леммы. D
Из этой леммы вытекает, что
max
Sk к
Syv+i Ν
(20)
где равенство = означает совпадение по распределению величин в левой
и правой частях.
Из (20)
VNDN(u;) = - max * - -^ "*'— . (21)
Это соотношение весьма удобно для исследования предельного поведения
величин при Ν —>оо.
N
Поскольку -^ ► 1 (Р-п. н.), то, полагая для / £ [0, 1]
находим, что
Jim P{VtfD*M<irt = Jim Pf sup |Χ<^-^|^Υ

488
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Тем самым, вопрос о предельном распределении величин л/NDyvM
сводится к изучению предельного поведения (по распределению) величин
sup {Χ^-ίΧ^Ι при N^ oo.
При каждом фиксированном / £ [О, 1] предельное распределение
величин Х\^ в соответствии с центральной предельной теоремой (теорема 1
в § 4) совпадает с распределением величины Bt> являющейся гауссовской
с ЕВ,=0иЕВ,2 = /.
На самом же деле можно утверждать больше. Именно, рассмотрим
введенный в § 13 главы II процесс броуновского движения (винеровский
процесс) B = (Bt)o^t^\. Такой процесс был там определен как гауссовский
процесс с Во = 0, EBt =0 и ковариационной функцией EBsBt = min(s, /).
Так вот, оказывается, что в соответствии с замечанием 3 к теореме 1 в
§ 8 гл. VII совместное распределение P\^tk величин (Λ^\ ...,Λ^)
слабо сходится к совместному распределению Pt tk величин (Btl,..., Btk).
(О слабой сходимости см. §§ 1, 2.) Поэтому естественно ожидать, что
распределение и величин sup \Χ\*^ — ίΧ^\ сходится к распределению
величины sup \Bt — tB\ |.
Вообще говоря, слабой сходимости всех конечномерных распределений
pW,tk -+ Ри ,.../*. 0 < U < h < · · · < tk = 1, k > 1 (т. е. сходимости РМ =4 Ρ
в обозначениях задачи 3 в § 1) еще не достаточно (см. п. 5 в § 1) для
сходимости распределений функционалов f(X^) = sup \X^ - tX^l к фуНКЦИ-
оналу f(X) = sup \Xt — /ΛΊ |, где Xt=Bt — броуновское движение, 0 ^ / ^ 1.
Однако в рассматриваемом случае это действительно так и вытекает
из следующих рассмотрений.
Траектории процессов Х^ принадлежат пространству D = D[0, 1], а
траектории X — пространству С = С[0, 1] CD (см. пп. 6 и 7 § 2 гл. II).
В пространстве D можно ввести «метрику Прохорова» ρ (в [5, гл. 3] ρ
обозначено do» в [87, гл. VI] ρ = 5), относительно которой метрическое
пространство (D, &, р) становится польским, т. е. полным сепарабельным
пространством. (Пространство (D, Sf, p) с «метрикой Скорохода» d,
определенной в п. 7 § 2 гл. II, будет только сепарабельным, а для последующего
применения теоремы Прохорова из § 2 гл. III нужна еще и «плотность».)
Относительно метрики ρ функционал f(x) = sup \xt - tx\ | (совпадаю-
щий, очевидно, с sup \xt -tai|), где x = (xt)o^t^\ €D, является непре-
рывным, и поэтому для доказательства сходимости f(X^) —> f(X) (т. е.

§ 13. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 489
сходимости по распределению) достаточно (задача 2) доказать лишь
слабую сходимость рМ —>Р (в (D, Sf, p)).
Обычная процедура установления этой сходимости, непосредственно
инициируемая теоремой Прохорова, основана на справедливости (задача 3;
см. также обозначения в задаче 3 § 1) следующей импликации:
[плотность {Ρ{Ν)}] Θ
θ [класс <%o(D) является определяющим]) =► (Р^ДЯ). (22)
(Здесь c^o(D) — класс цилиндрических множеств; п. 5 § 1.)
В рассматриваемом случае имеется сходимость конечномерных
распределений Р^^р и класс цилиндрических множеств *#6(D)
действительно является определяющим (п. 7 § 2 гл. II). Самое трудное, конечно,
в применении импликации (22) — это проверка того, что рассматриваемое
семейство мер {Р^} плотно. Эта проверка основывается на характериза-
ции компактных множеств в D, входящих в определение (формула (1)
в § 2) плотности семейства мер, что выходит за рамки настоящей книги.
(Соответствующие доказательства см. в [5, теорема 15.2] и [87, гл. VI,
3.21].)
В заключение этих рассмотрений заметим, что существует и другой путь
установления сходимости f(X^)—*f(X). Состоит он в следующем.
Разрывные процессы Х^ можно аппроксимировать непрерывными процессами
χ{Ν) такими, что SUp \Χ^Ν)(ώ) — Χ\Ν\ω)\^:ε для всякого ε>0 при всех
достаточно больших N и всех ω £ Ω. Поэтому достаточно доказывать лишь
сходимость f(XW)—► f(X)y что несколько проще, поскольку тогда можно
оперировать не с пространством D, ас более простым пространством С,
в котором критерии «плотности» ([5, гл. 2], [87, гл. VI], по крайней мере
в рассматриваемом случае, легко проверяемы.
5. Положим B° = Bt — tB\, 0^/ ^ 1. Этот процесс является гауссов-
ским, В§ = 0, ЕВ,° = 0 и EBs0Bf = min(s, t)-st. В п. 7 § 13 гл. II этот
процесс был назван условным винеровским процессом или броуновским
мостом.
Итак, из предшествующих рассмотрений приходим к такому
заключению:
Jim P{y/NDN(uj)^y} = P( sup \Bf\^y\9 (23)
где B° = (Bf)o^t^\ —броуновский мост.

490
ГЛ. III. СХОДИМОСТЬ ВЕРОЯТНОСТНЫХ МЕР
Из теории броуновского движения известно (см., например, [5, гл. 2,
§ 11]), что распределение /((*/) = Ρ Г sup |β°|<ί/1, называемое распре-
делением Колмогорова, определяется следующим образом:
К(у)= £(-l)*e-2*V, y>0.
(24)
k=—оо
Таким образом, справедлив следующий результат (А. Н. Колмогоров):
Jim P{VNDN(ω) ζ у} = /((*/), у>0.
Ν—>οο
Аналогично изложенному показывается также, что
Jim P{\fND+(u)^y} = P( sup B?^y\.
Распределение величины sup β° проще, нежели распределение величины
sup \Bf\, и имеет следующий вид (см. [5, гл. 2, § 11]):
"2 ":0. (27)
(25)
(26)
0</<1
РГ sup B?Ky\ = l-e-** , y^i
Тем самым, имеет место следующий результат (Н. В. Смирнов):
lim P{VND+(uj)^y}=\-e-2y\ y^Q.
N—+00
(28)
6. Остановимся на том, как, скажем, знание результата (25), где К(у)
определяется формулой (24), позволяет дать критерий согласия
эксперимента с теорией. С этой целью приведем сначала небольшую таблицу
значений функции распределения К(у):
У
0,28
0,30
0,40
0,50
0,60
0,70
0,80
0,90
1,00
К(у)
0,000001
0,000009
0,002808
0,036055
0,135718
0,288765
0,455857
0,607270
0,730000
1 у
1,10
1,20
изо
1,40
1,50
1,60
1,70
1,80
1,90
2,00
К(у)
0,822282
0,887750
0,931908
0,960318
0,977782
0,988048
0,993828
0,996932
0,998536
0,999329
У
1 2,10
2,20
2,30
2,40
2,50
2,60
2,70
2,80
2,90
3,00
К(у)
0,999705
0,999874
0,999949
0,999980
0,9999925
0,9999974
0,9999990
0,9999997
0,99999990
0,99999997
Если N достаточно велико, то можно считать, что К(у) дает хорошее
приближение для значений Р{х/Л/£>л/(и;Х у}.

§ 13. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 491
Естественно, что если величины подсчитанные по
эмпирическим значениям ξ\(ω), ..., £yvM, оказываются большими, то гипотезу о
том, что (гипотетическое) распределение вероятностей этих величин есть
именно (непрерывная) функция F = F(x), надо отклонить.
Приведенная таблица дает представление о степени надежности
сделанных таким образом выводов. Если, скажем, \fNDN (ω) > 1,80, то
(поскольку /((1,80) = 0,996932) можно утверждать, что такое событие
имеет вероятность, примерно равную 0,003068 (=1,000000-0,996932).
Считая, что события с такой малой вероятностью (=0,003068),
практически малореализуемы, мы приходим к выводу, что гипотезу о том,
что распределение Ρ{ξ\ ^x} = F(x), где F(x) — именно та функция,
которая участвовала в подсчете величин Dn(u), надо отклонить. Если же
\/NDn(u;) ^ 1,80, то мы можем сказать (опираясь на закон больших чисел),
что согласие «эксперимента с теорией» будет выполняться в 996932 таких
случаях из 1 000 000.
Замечание. Важно подчеркнуть, что при применении критериев
согласия, основанных на использовании распределения Колмогорова или
распределения Смирнова, предполагается, что (тестируемая) функция
распределения F = F(x) полностью специфицирована. Эти критерии «не
работают», если, скажем, известно лишь только то, что функция
распределения F = F(x) принадлежит некоторому параметрическому семейству
G = {G = G(x\ θ); ве θ} функций распределения G(x; 0), зависящих от
параметра ве Θ. (При каждом θ функция G(x\ θ) считается полностью
определенной.) В этом случае напрашивается следующий путь проверки того,
что эмпирические данные согласуются с тем, что истинная функция
распределения F GF: сначала по N наблюдениям построить оценку §м=§м(и>)
параметра 0, затем образовать величину л/77 sup \F^(x\ ω) - G(x\ 0yvM)| и
xeR
принимать решение так, как было проделано в приведенном выше примере.
К сожалению, функция распределения G(x\ 0yvM) будет случайной и
распределение статистики y/N sup \Fn(x\ o;)-G(jc; 0yvM)l не будет, вообще
xeR
говоря, даваться распределением Колмогорова К = К(у).
По поводу того, как же все-таки проверять гипотезу F EG, см. [132].
7. Задачи.
1. Доказать формулу (18).
2. Доказать, что pW^P (в (D, 9, р)) влечет сходимость /(X(yv>) -^ f(X).
3. Доказать справедливость импликации (22).

Библиографическая справка (главы I—III)
ВВЕДЕНИЕ
История теории вероятностей до Лапласа изложена в монографии И. Тодхан-
тера [68]. Период от Лапласа до конца XIX в. освещен в статье Б. В. Гнеденко и
О. В. Шейнина, опубликованной в сборнике [45]. В книге С. Стиглера [122]
дается весьма подробное изложение истории теории вероятностей и математической
статистики до 1900 г. В книге Д. Е. Майстрова [44] история теории вероятностей
изложена от ее возникновения до 30-х годов прошлого столетия. Краткий очерк
теории вероятностей имеется в учебнике Б. В. Гнеденко [15]. О происхождении
многих вероятностных терминов см. книгу Н. В. Александровой [2].
По поводу основных понятий теории вероятностей см. книги А. Н. Колмогорова
[32], Б. В. Гнеденко [15], А. А. Боровкова [7], Б. В. Гнеденко и А. Я. Хинчина
[17], А. М. Яглома и И. М. Яглома [83], справочное пособие Ю. В. Прохорова
и Ю. А. Розанова [56], справочник [65] и книги В. Феллера [69], Ю. Неймана
[51], М. Лоэва [42], Дж. Л. Дуба [20], переведенные с английского. Укажем
также на сборники [46] и [67], содержащие большое количество задач по теории
вероятностей.
При составлении настоящего учебного пособия автор использовал
разнообразную литературу. Из учебных руководств на английском языке особо отметим книги
Л. Бреймана [8], П. Биллингсли [106], Р. Эша [80], [81], Р. Эша и М. Гарднера
[82], Р. Даррета [108]—[110] и Дж. Ламперти [37], являющиеся (по мнению автора)
образцами удачной подачи материала.
Полезный справочный материал по теории вероятностей и математической
статистике читатель может найти в Большой Советской Энциклопедии, Малой
Советской Энциклопедии, в Математической Энциклопедии [121] и в энциклопедии
«Вероятность и математическая статистика» [125].
Основным научным журналом по теории вероятностей и математической
статистике, издаваемым в нашей стране, является журнал «Теория вероятностей и ее
применения» (изд-во «Наука»), выходящий с 1956 г.
«Реферативный журнал», выпускаемый ВИНИТИ— Всесоюзным институтом
научной и технической информации (Москва), — печатает рефераты на статьи по
теории вероятностей и математической статистике, публикуемые как у нас, так и
за рубежом.
Для большинства вероятностно-статистических приложений, требующих
обращения к таблицам, полезными являются «Таблицы математической статистики»
Л. Н. Большева и Н. В. Смирнова [6]. При современном широком использовании
компьютерной техники полезно обращение к статистическим пакетам MINITAB,
SPSS, ... Среди пользователей весьма популярны пакеты «Mathematica®»
(см. книгу [126]).

БИБЛИОГРАФИЧЕСКАЯ СПРАВКА (ГЛАВЫ 1-Ш)
493
ГЛАВА I
§1.0 построении вероятностных моделей см. также статью А. Н. Колмогорова
[31], книгу Б. В. Гнеденко [15]. Большой материал, касающийся вопросов типа
«размещение дробинок по ячейкам», см. в книге В. Ф. Колчина, Б. А. Севастьянова
и В. П. Чистякова [34].
§ 2. По поводу различных вероятностных моделей (в частности,
одномерной модели Изинга), возникающих в статистической физике, см., например, книгу
А. Исихары [25].
§ 3. Формула и теорема Байеса лежат в основе так называемого байесовского
подхода в математической статистике. См., например, книги М. Де Гроота [18] и
Ш. Закса [22].
§ 4. Различные задачи, касающиеся случайных величин и их вероятностных
характеристик, можно найти в сборниках задач [46] и [67].
§ 5. Комбинаторное доказательство закона больших чисел, восходящее к
Я. Бернулли, можно найти, например, в [69, т. 1]. По поводу эмпирической
интерпретации закона больших чисел см. статью А. Н. Колмогорова [31].
§ 6. По поводу уточнений в локальной и интегральной теоремах, а также в
теореме Пуассона см. книгу А. А. Боровкова [7] и статью Ю. В. Прохорова [54].
§ 7. Излагаемый здесь материал на примере схемы Бернулли иллюстрирует
некоторые основные понятия и методы математической статистики. Подробнее см.,
например, монографии Г. Крамера [35] и Б. Л. Ван дер Вардена [10].
§ 8. Рассмотрение условных вероятностей и условных математических
ожиданий относительно разбиений поможет лучше освоиться с вводимыми далее более
сложными понятиями условных вероятностей и условных математических
ожиданий относительно σ-алгебр.
§ 9. Задача о разорении рассматривалась в приводимой здесь форме, в
сущности, еще Лапласом. См. по этому поводу статью Б. В. Гнеденко и О. В. Шейнина
в сборнике [45]. Обширный материал на эту тему содержится в книге В. Феллера
[69, т. 1].
§ 10. Принятое здесь изложение следует в основном книге В. Феллера [69].
Метод доказательства соотношений (10) и (11) дан в статье [19].
§11. Теория мартингалов подробно изложена в книге Дж. Дуба [20]. Иное
доказательство теоремы о баллотировке можно найти, например, в книге В. Феллера
[69, т. 1].
§ 12. Обширный материал по марковским цепям содержится в книгах: В. Фел-
лер [69, т. 1], Е. Б. Дынкин [21], Е. Б. Дынкин и А. А. Юшкевич [102], Чжун Кай-
Лай [75], [120], Д. Ревюз [117], Дж. Кемени и Дж. Снелл [27], Т. А. Сарымсаков
[61], С. X. Сираждинов [64]. Теории ветвящихся процессов посвящена монография
Б. А. Севастьянова [62].
ГЛАВА II
§ 1. Аксиоматика Колмогорова изложена в его книге [32].
§ 2. Материал об алгебрах и σ-алгебрах см. также в книгах А. Н. Колмогорова
и С. В. Фомина [33], Ж. Неве [49], Л. Бреймана [8], Р. Эша [81].

494 БИБЛИОГРАФИЧЕСКАЯ СПРАВКА (ГЛАВЫ 1-Ш)
§ 3. Доказательство теоремы Каратеодори см. в книгах М. Лоэва [42], П. Хал-
моша [70].
§ 4—5. Большой материал об измеримых функциях можно найти в книге
П. Халмоша [70].
§ 6. См. также книги А. Н. Колмогорова и С. В. Фомина [33], П. Халмоша
[70], Р. Эша [81]. В этих книгах содержится и доказательство теоремы Радона—
Никодима. Иногда неравенством Чебышева называют неравенство
а неравенство
Ρ{\ξ\>ε}^^, λ>0,
называют неравенством Маркова.
§ 7. Определение условной вероятности и условного математического
ожидания относительно σ-алгебр было дано А. Н. Колмогоровым [32]. Обширный
материал по рассматриваемым вопросам содержится в книгах Л. Бреймана [8] и
Р. Эша [81].
§ 8. См. также книги А. А. Боровкова [7], Р. Эша [81], Г. Крамера [35],
Б. В. Гнеденко [15].
§ 9. Теорема Колмогорова о существовании процесса с заданными
конечномерными распределениями содержится в его книге [32]. По поводу теоремы
Ионеску Тулчи см. также книги Ж. Неве [49] и Р. Эша [81]. Приводимое здесь
доказательство следует [81].
§ 10—11. См. также книги А. Н. Колмогорова и С. В. Фомина [33], Р. Эша [81],
Дж. Дуба [20], М. Лоэва [42].
§ 12. Теория характеристических функций излагается во многих книгах. См.,
например, Б. В. Гнеденко [15], Б. В. Гнеденко и А. Н. Колмогоров [16], Б. Ра-
мачандран [57]. Изложение формул связи моментов и семиинвариантов следует
статье В. П. Леонова и А. Н. Ширяева [40].
§ 13. См. также книги И. А. Ибрагимова и Ю. А. Розанова [24], Л. Бреймана
[8], Р. Ш. Липцера и А. Н. Ширяева [41], Дж. Гриммета и Д. Стирзакера [105],
Дж. Ламперти [37].
ГЛАВА III
§ 1. Подробное изложение вопросов слабой сходимости вероятностных мер и
распределений содержится в книгах Б. В. Гнеденко и А. Н. Колмогорова [16] и
П. Биллингсли [5].
§ 2. Теорема Ю. В. Прохорова содержится в его статье [55].
§ 3. Методу характеристических функций в доказательстве предельных теорем
теории вероятностей посвящена монография Б. В. Гнеденко и А. Н. Колмогорова
[16]. См. также П. Биллингсли [5]. Приводимая задача 2 охватывает как закон
больших чисел Я. Бернулли, так и закон больших чисел Пуассона, который
предполагал, что ξι, &, ··· независимы, принимают два значения (1 и 0), но, вообще
говоря, разнораспределены: Р{& = 1} = /?,, Р{& =0}= 1 — /?,·, i: ^ 1.

БИБЛИОГРАФИЧЕСКАЯ СПРАВКА (ГЛАВЫ I-III) 495
§ 4. Здесь приводится традиционное доказательство центральной предельной
теоремы для сумм независимых случайных величин при выполнении условия Лин-
деберга. Ср. с [16], [92].
§ 5. Вопросы справедливости центральной предельной теоремы без условия
предельной пренебрегаемости привлекали внимание еще П. Леви. В монографии
В. М. Золотарева [88] содержится подробное изложение современного состояния
теории предельных теорем в неклассической постановке. Приводимая
формулировка и доказательство теоремы 1 даны В. И. Ротарем [96].
§ 6. Изложение использует материал книг Б. В. Гнеденко и А. Н.
Колмогорова [16], Р. Эша [81] и В. В. Петрова [53], [92].
§ 7. Метрика Леви—Прохорова введена в известной работе Ю. В.
Прохорова [55], которому принадлежат и результаты относительно метризуемости
слабой сходимости мер, заданных на метрических пространствах. По поводу метрики
||P-P||gL см. статью Р. Дадли [85] и книгу Д. Полларда [93].
§ 8. Теорема 1 принадлежит А. В. Скороходу. Полезный материал относительно
метода одного вероятностного пространства можно найти в учебном пособии 1999 г.
А. А. Боровкова [7] и монографии Д. Полларда [93].
§ 9—10. Укажем ряд книг, в которых содержится большой материал,
касающийся затрагиваемых вопросов: Ж. Жакод и А. Н. Ширяев [87], Л. Ле Кам [89],
П. Е. Гринвуд и А. Н. Ширяев [84], Ф. Лизе и И. Вайда [90].
§ 11. Большой материал относительно оценок скорости сходимости в
центральной предельной теореме содержится в монографии В. В. Петрова [92]. Приводимое
доказательство теоремы Берри и Эссеена содержится в книге Б. В. Гнеденко и
А. Н. Колмогорова [16].
§ 12. Доказательство следует статье Э. Л. Пресмана [94].
§ 13. Дополнительный материал о фундаментальных теоремах математической
статистики см. в [8], [35], [58], [106], [107].

Список литературы
[20
[21
[22
[23
Александров П. С. Введение в общую теорию множеств и функций. —
М.: Гостехиздат, 1948.
Александрова Н. В. Математические термины. — М.: Высшая школа,
1978.
Бернштейн С. Н. О работах П. Л. Чебышева по теории вероятностей //
Научное наследие П. Л. Чебышева. Вып. 1: Математика. —1945. — С. 59—60.
Бернштейн С. Н. Теория вероятностей. — 4-е изд. — М.: Гостехиздат,
1946.
Биллингсли П. Сходимость вероятностных мер. — М.: Наука, 1977.
Большее Л. Н., Смирнов Н. В. Таблицы математической
статистики. — 3-е изд. — М.: Наука, 1983.
Боровков А. А. Теория вероятностей. — 3-е изд. — М.: УРСС, 1999.
Б ρ е й м а н (Breiman L.). Probability. — Reading, MA: Addison-Wesley, 1968.
В а л ь д А. Последовательный анализ. — М.: Физматгиз, 1960.
Ван дер Варден Б. Л. Математическая статистика. —М.: ИЛ, 1960.
Вентцель А. Д. Курс теории случайных процессов. — М.: Наука, 1975.
Га ρ с и a (Garsia A. M.). A simple proof of E. Hopfs maximal ergodic theorem
II Journal of Mathematics and Mechanics. - 1965. -V. 14, № 3. - P. 381-382.
Гихман И. И., Скороход А. В. Введение в теорию случайных
процессов. — М.: Наука, 1977.
Гихман И. И., Скороход А. В. Теория случайных процессов:
В 3 т.-М.: Наука, 1971-1975.
Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — М.: Наука, 1988.
Гн еден ко Б. В., Колмогоров А. Н. Предельные распределения
для сумм независимых случайных величин. — М.; Л.: Гостехиздат, 1949.
Гнеденко Б. В., Хинчин А. Я. Элементарное введение в теорию
вероятностей. — 9-е изд. — М.: Наука, 1982.
Де Гроот М. Оптимальные статистические решения. — М.: Мир, 1974.
Дохерти (Doherty Μ.). An amusing proof in fluctuation theory //
Combinatorial Mathematics, III: Proceedings of the Third Australian Conference,
Univ. Queensland, St. Lucia, 1974. — Berlin etc.: Springer-Verlag, 1975. —
P. 101—104. —(Lecture Notes in Mathematics; V. 452.)
Дуб Дж. Л. Вероятностные процессы. — Μ.: ИЛ, 1956.
Д ы н к и н Е. Б. Марковские процессы. — М.: Физматгиз, 1963.
3 а к с Ш. Теория статистических выводов. — М.: Мир, 1975.
Ибрагимов И. Α., Линник Ю. В. Независимые и стационарно
связанные величины. — М.: Наука, 1965.
Под номерами 85—101 идет литература, добавленная во втором издании к той, которая
была приведена в первом издании книги. Под номерами 102—136 идет литература,
добавленная в настоящем издании.

СПИСОК ЛИТЕРАТУРЫ 497
[24] Ибрагимов И. Α., Розанов Ю. А. Гауссовские случайные
процессы.—М.: Наука, 1970.
Исихара А. Статистическая физика. — М.: Мир, 1973.
Кабанов Ю. М., Л и π ц е ρ Р. Ш., Ширяев А. Н. К вопросу об
абсолютной непрерывности и сингулярности вероятностных мер Ц
Математический сборник. — 1977. — Т. 104, № 2. — С. 227— 247.
К е м е н и Дж., С н е л л Дж. Конечные цепи Маркова. — М.: Наука, 1970.
Колмогоров А. Н. Цепи Маркова со счетным числом возможных
состояний II Бюллетень МГУ. — 1937. — Т. 1, № 3. — С. 1—16.
Колмогоров А. Н. Стационарные последовательности в гильбертов-
ском пространстве // Бюллетень МГУ. — 1941. — Т. 2, № 6. — С. 1—40.
Колмогоров А. Н. Роль русской науки в развитии теории вероятностей
II Ученые записки МГУ. - 1947. - Вып. 91. - С. 53-64.
Колмогоров А. Н. Теория вероятностей Ц Математика, ее содержание,
методы и значение. — М.: Изд-во АН СССР, 1956. —Т. II. —С. 252—284.
Колмогоров А. Н. Основные понятия теории вероятностей. — М.; Л.:
ОНТИ, 1936; 2-е изд. М.: Наука, 1974; 3-е изд. М.: Фазис, 1998.
Колмогоров А. Н., Фомин С. В. Элементы теории функций и
функционального анализа. — 6-е изд. — М.: Наука, 1989.
Колчин В. Ф., Севастьянов Б. Α., Чистяков В. П.
Случайные размещения. — М.: Наука, 1976.
Крамер Г. Математические методы статистики. — 2-е изд. — М.: Мир,
1976.
Кубилюс Й. Вероятностные методы в теории чисел. — Вильнюс: Гос.
изд-во полит, и науч. лит. ЛитССР, 1959.
Ламперти Дж. Вероятность. — М.: Наука, 1973.
Ламперти (Lamperti J.). Stochastic Processes. — Aarhus Univ., 1974. —
(Lecture Notes Series; № 38).
Ленгляр (Lenglart E.). Relation de domination entre deux processus Ц
Annales de l'Institut H. Poincare Sect. Β. (Ν. S.). - 1977.-V. 13, № 2.-
P. 171-179.
Леонов В. П., Ширяев Α. Η. Κ технике вычисления
семиинвариантов Ι/ Теория вероятностей и ее применения. — 1959. — Т. IV, вып. 2. —
С. 342-355.
Л и π ц е ρ Ρ Ш., Ширяев А. Н. Статистика случайных процессов. —
М.: Наука, 1974.
Л о э в М. Теория вероятностей. — М.: ИЛ, 1962.
Марков А. А. Исчисление вероятностей. —3-е изд.— СПб., 1913.
Майстров Д. Е. Теория вероятностей (исторический очерк). — М.:
Наука, 1967.
Математика XIX века / Под ред. А. Н. Колмогорова и А. П. Юшкевича. —
М.: Наука, 1978.
Мешалкин Л. Д. Сборник задач по теории вероятностей. — М.: Изд-во
МГУ, 1963.
Μ е й е ρ (Meyer P.-A.). Martingales and Stochastic Integrals. I. — Berlin etc.:

498 СПИСОК ЛИТЕРАТУРЫ
Springer-Verlag, 1972.— (Lecture Notes in Mathematics; V. 284).
Μ e й e ρ Π. - А. Вероятность и потенциалы. — Μ.: Мир, 1973.
Неве Ж. Математические основы теории вероятностей. — М.: Мир, 1969.
Неве (Neveu J.). Discrete-Parameter Martingales. — Amsterdam etc.: North-
Holland, 1975.
Нейман Ю. Вводный курс теории вероятностей и математической
статистики. —М.: Наука, 1968.
Новиков А. А. Об оценках и асимптотическом поведении вероятностей
непересечения подвижных границ суммами независимых случайных величин
II Известия АН СССР. Серия математическая.— 1980.— Т. 40, вып. 4.—
С. 868-885.
Петров В. В. Суммы независимых случайных величин. — М.: Наука,
1972.
Прохоров Ю. В. Асимптотическое поведение биномиального
распределения II Успехи математических наук.— 1953.— Т. VIII, вып. 3 (55).—
С. 135-142.
Прохоров Ю. В. Сходимость случайных процессов и предельные
теоремы теории вероятностей Ц Теория вероятностей и ее применения. —
1956.-Т. I, вып. 2.-С. 177-238.
Прохоров Ю. В., Розанов Ю. А. Теория вероятностей. — 2-е
изд. —М.: Наука, 1973.
Рамачандран Б. Теория характеристических функций. — М.: Наука,
1975.
Ρ е н ь и (Renyi A.) Probability Theory. — Amsterdam: North-Holland, 1970.
Роббинс Г., Сигмунд Д., Чао И. Теория оптимальных правил
остановки. — М.: Наука, 1977.
Розанов Ю. А. Стационарные случайные процессы. — М.: Физматгиз,
1963.
Сарымсаков Т. А. Основы теории процессов Маркова. — М.:
Гостехиздат, 1954.
Севастьянов Б. А. Ветвящиеся процессы. — М.: Наука, 1971.
Синай Я. Г. Введение в эргодическую теорию. — Ереван: Изд-во Ереван,
ун-та, 1973.
Сираждинов С. X. Предельные теоремы для однородных цепей
Маркова. — Ташкент: Изд-во АН УзССР, 1955.
Справочник по теории вероятностей и математической статистике / Под ред.
В. С. Королюка. — Киев: Наукова думка, 1978.
С τ о у τ (Stout W. F). Almost Sure Convergence. — New York etc.: Academic
Press, 1974.
Теор1Я имов!рностей. — Ки1в: Вища школа, 1976.
Тодхантер (Todhunter I.). A History of the Mathematical Theory of
Probability from the Time of Pascal to that of Laplace. — London: Macmillan, 1865.
Φ e л л e ρ В. Введение в теорию вероятностей и ее приложения: В 2-х т.—
М.: Мир, 1984.
X а л м о ш П. Теория меры. — М.: ИЛ, 1953.

СПИСОК ЛИТЕРАТУРЫ 499
X е н н а н Э. Анализ временных рядов. — М.: Наука, 1964.
X е н н а н Э. Многомерные временные ряды. — М.: Мир, 1974.
Чао, Тейчер (Chow Y. S., Teicher H.). Probability Theory. Independence,
Interchangeability, Martingales. — 3rd ed. —New York: Springer-Verlag, 1997.
Чебышев П. Л. Теория вероятностей: Лекции акад. П. Л. Чебышева,
читанные в 1879, 1880 гг. / Издано А. Н. Крыловым по записи А. М.
Ляпунова. — М.; Л., 1936.
Чжун Кай-лай. Однородные цепи Маркова. — М.: Мир, 1964.
Ширяев А. Н. Случайные процессы. — М.: Изд-во МГУ, 1972.
Ширяев А. Н. Вероятность, статистика, случайные процессы: В 2-х т. —
М.: Изд-во МГУ, 1973-1974.
Ширяев А. Н. Статистический последовательный анализ. — 2-е изд. —
М.: Наука, 1976.
Энгельберт, Ширяев (Engelbert H.-J., Shiryaev A. N.). On the sets
of convergence of generalized submartingales // Stochastics. — 1979. — V. 2,
J\lb3.-P. 155-166.
Э ш (Ash R. В.). Basic Probability Theory. —New York etc.: Wiley, 1970.
Э ш (Ash R. В.). Real Analysis and Probability. — New York etc.: Academic
Press, 1972.
Эш, Гарднер (Ash R. В., Gardner Μ. Ε). Topics in Stochastic Processes. —
New York etc.: Academic Press, 1975.
Я г л о м Α. Μ., Я г л ο μ И. Μ. Вероятность и информация. — 3-е изд. —
Μ.: Наука, 1973.
Гринвуд, Ширяев (Greenwood P. E., Shiryayev A. N.). Contiguity and
the Statistical Invariance Principle. — London: Gordon & Breach, 1985.
Д а д л и (Dudley R. M.) Distances of probability measures and random variables
// Annals of Mathematical Statistics. - 1968. - V. 39, № 5. - P. 1563-1572.
Дакуна-Кастелль, Дюфло (Dacunha-Castelle D., Duflo M.).
Probabilites et statistiques: 1,2. — Paris: Masson. — 1: Problemes a temps
fixe.— 1982; —2: Problemes a temps mobile.— 1983. — Перев. на англ. яз.:
Probability and Statistics: V. I, II.— Berlin etc.: Springer-Verlag, 1986.
Жакод Ж., Ширяев Α. Η. Предельные теоремы для случайных
процессов: В 2-х т. —М.: Физматлит, 1994.
Золотарев В. М. Современная теория суммирования независимых
случайных величин. — М.: Наука, 1986.
Л е К а м (Le Cam L.). Asymptotic Methods in Statistical Decision Theory. —
Berlin etc.: Springer-Verlag, 1986.
Лизе, Вайда (Liese F, Vajda I.). Convex Statistical Distances. — Leipzig:
Teubner, 1987.
Л и п ц е ρ Р. Ш., Ширяев А. Н. Теория мартингалов. — М.: Наука,
1986.
Петров В. В. Предельные теоремы для сумм независимых случайных
величин. — М.: Наука, 1987.
Π о л л а р д (Pollard D.). Convergence of Stochastic Processes. — Berlin etc.:
Springer-Verlag, 1984.

500 СПИСОК ЛИТЕРАТУРЫ
Пресман Э. Л. О сближении по вариации распределения суммы
независимых бернуллиевских величин с пуассоновским законом // Теория
вероятностей и ее применения.— 1985.— Т. XXX, вып. 2.— С. 391—396.
Розанов Ю. А. Теория вероятностей, случайные процессы и
математическая статистика. —М.: Наука, 1985.
Ротарь В. И. К обобщению теоремы Линдеберга—Феллера //
Математические заметки.— 1975. —Т. 18, вып. 1. —С. 129— 135.
Севастьянов Б. А. Курс теории вероятностей и математической
статистики. — М.: Наука, 1982.
Ширяев (Shiryayev A. N.) Probability. — 2nd ed. — Berlin etc.: Springer-
Verlag, 1995.
Ширяев (Shirjayev A. N.) Wahrscheinlichkeit. — Berlin: VEB Deutscher
Verlag der Wissenschaften, 1988.
Ширяев A. H. Основы стохастической финансовой математики: В 2-
хт.-М.: ФАЗИС, 1998.
Фёллмер, Проттер, Ширяев (Follmer Η., Protter Ph., Shiryaev
A. N.). Quadratic covariation and an extension of Ito's formula // Bernoulli. —
1995.-V. 1, № 1/2.-P. 149-170.
Д ы η к и н Ε. Б., Юшкевич Α. Α. Теоремы и задачи о процессах
Маркова. —М.: Наука, 1967.
Гнеденко, Колмогоров (Gnedenko В. V., Kolmogorov A. N). Limit
Distributions for Sums of Independent Random Variables. — Reading, MA,
etc.: Addison-Wesley, 1954.
Боровков А. А. Эргодичность и устойчивость случайных процессов. —
Μ.: УРСС, 1999.
Гримме τ, Стирзакер (Grimmet G. R., Stirzaker D. R.). Probability
and Random Processes. — Oxford: Clarendon Press, 1993.
Биллингсли (Billingsley P.). Probability and Measure. — 3rd ed. — New
York: Wiley, 1995.
Боровков А. А. Математическая статистика. — Μ.: Наука, 1984.
Д а р ρ е τ τ (Durrett R.). Probability: Theory and Examples. — Pacific Grove,
CA: Wadsworth & Brooks/Cole, 1991.
Д a ρ ρ e τ τ (Durrett R.). Stochastic Calculus. — Boca Raton, FL: CRC Press,
1996.
Дарретт (Durrett R.). Brownian Motion and Martingales in Analysis.—
Belmont, CA: Wadsworth International Group, 1984.
Калленберг (Kallenberg O.). Foundations of Modern Probability. — 2nd
ed. — New York: Springer-Verlag, 2002.
Карлин, Тейлор (Karlin S., Taylor Η. Μ.). A First Course in Stochastic
Processes. — 2nd ed. —New York etc.: Academic Press, 1975.
Кашин Б. С, С а а к я н Α. Α. Ортогональные ряды. — 2-е изд. — Μ.:
АФЦ, 1999.
Жакод, Проттер (Jacod J., Protter Ph.). Probability Essentials. — Berlin
etc.: Springer-Verlag, 2000.
Η ётс (Neuts V. F.) Probability. — Boston, MA: Allyn & Bacon, 1973.

СПИСОК ЛИТЕРАТУРЫ
501
[116] Плато (Plato J.). Creating Modern Probability. — Cambridge: Cambridge
Univ. Press, 1998.
[117] Ревюз Д. Цепи Маркова. —М.: РФФИ, 1997.
[118] Уильяме (Williams D.). Probability with Martingales. — Cambridge:
Cambridge Univ. Press, 1991.
[119] Холл, Хейде (Hall P., Heyde С. С). Martingale Limit Theory and Its
Applications. — New York etc.: Academic Press, 1980.
[120] Чжун Кай-Лай (Chung Kai Lai). Elementary Probability Theory with
Stochastic Processes. — 3rd ed. —Berlin etc.: Springer-Verlag, 1979.
[121] Математическая энциклопедия: В 5 т. / Гл. ред. И. М. Виноградов. — М.:
Советская энциклопедия, 1977—1985.
[122] С тигле ρ (Stigler S. M.). The History of Statistics: The Measurement of
Uncertainty Before 1900. —Cambridge: Belknap Press of Harvard Univ. Press,
1986.
[123] Гербе ρ X. Математика страхования жизни. —М.: Мир, 1995.
[124] Эренфесты П. и Т. (Ehrenfest P., Ehrenfest Т.). Ober zwei bekannte
Einwande gegen das Boltzmannsche Η-Theorem Ц Physikalische Zeitschrift.—
1907.-V. 8.-P. 311-314.
[125] Теория вероятностей и математическая статистика: энциклопедия / Гл. ред.
Ю. В. Прохоров. — М.: Большая Российская энциклопедия, 1999.
[126] Вольфрам (Wolfram S.). The Mathematica® Book. — 4th ed. —
Champaign; Cambridge: Wolfram Media; Cambridge Univ. Press, 1999.
[127] Дуб (Doob J. L.). What is a martingale? // The American Mathematical
Monthly.-1971.-V. 78.-P. 451-463.
[128] Синай Я. Г. Курс теории вероятностей. — М.: Изд-во МГУ, 1985. — 2-е
изд., 1986.
[129] Синай (Sinai Ya. G.). Topics in Ergodic Theory. — Princeton, NJ: Princeton
Univ. Press, 1999.— (Princeton Mathematical Series; V. 44.)
[130] Вальтере (Walters P.) An Introduction to Ergodic Theory. — New York
etc.: Springer-Verlag, 1982.
[131] Булинский А. В., Ширяев А. Н. Теория случайных процессов.—
Μ.: Физматлит, 2003.
[132] Хмаладзе Э. В. Мартингальный подход в теории непараметрических
критериев согласия // Теория вероятностей и ее применения. — 1981.—
Т. XXVI, вып. 2.-С. 246-265.
[133] Гамильтон (Hamilton J. В.). Time Series Analysis. — Princeton, NJ:
Princeton Univ. Press, 1994.
[134] Б e ρ η у л л и Я. О законе больших чисел. — Ч. 4: Искусство
предположений.—М.: Наука, 1986.
[135] Лукач Е. Характеристические функции. — М.: Наука, 1979.
[136] Хренников (Khrennikov A.). Interpretations of Probability. — Utrecht:
VSP, 1999.

Предметный указатель
&(С) 188
&(D) 188
(θ, S)-pbiHOK 752
— безарбитражный 755
— полный 761
^-измеримость 104
d-система Дынкина 175
(£, £) 221
&jS-измеримая функция 221
λ-система 175
π-λ-система 175
π-система 175
σ-алгебра 163, 171,218
— остаточная 529
—, порожденная разбиением 219
случайной величиной 218
— хвостовая 529
S-представление 763
U-образная кривая 127
А
абсолютная непрерывность
асимптотическая 470
вероятностных распределений
196, 242, 467
мер 196, 242, 467, 706
, достаточные условия 710
абсолютно непрерывный тип
распределения 196
авторегрессионная схема 584
аксиоматика Колмогорова 166
аксиомы теории вероятностей 166
акция 752
алгебра множеств 28, 162
порожденная разбиением 29
тривиальная 29
—, порожденная множеством 171
алгебраические свойства матриц 812
альтернатива Гаека—Фельдмана 715,
717
— Какутани 711
арбитраж 755
арбитражная возможность 755, 757
асимптотическая абсолютная
непрерывность 470
— малость 433
— разделимость полная 470
— сингулярность 470
атом 335
— разбиения 29
Б
базис ортонормированный счетный 343
Байеса теорема 47
обобщенная 286
— формула 47
банахово пространство 334
банковский счет 752
белый шум 582
бернуллиевские сдвиги 576
биномиальное распределение 36
близость по вариации 461
большие уклонения 93, 559
борелевская алгебра 180
— функция 214
борелевское множество 180
— пространство 284
броуновский мост 391
броуновское движение 390
, конструкция 390
В
Вальда тождество 663
— фундаментальное тождество 666
вариационные неравенства 782, 860
вектор средних значений 384
вероятности разорения 747
вероятностная модель 31, 161, 166
в расширенном смысле 163

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
503
вероятностно-статистическая модель
94, 290
вероятностно-статистический
эксперимент 291
вероятностное пространство 31, 166
каноническое 316
полное 195
фильтрованное 787
вероятность 164, 166
— апостериорная 47
— априорная 47
— исхода 30
— ошибок первого и второго рода 461
— первого возвращения 157, 819
попадания 157, 819
— разорения 109, 113
в страховании 746
вес 30
взаимная характеристика 657
винеровская мера 211
винеровский процесс 390, 727
условный 391
выбор без возвращения 23, 25, 40
— с возвращением 22, 25
выборки неупорядоченные 22, 25, 26
— упорядоченные 22, 25, 26
выборочная дисперсия 313
выборочное среднее 313
выигрыш в лотерею 33
выпуклая оболочка 868
Г
гауссовская последовательность 390
— система 380, 388
— случайная величина 309
гауссовский вектор 382, 384
, критерий независимости
компонент 384
— процесс 390
гауссовско-марковский процесс 391
геометрические вероятности 279
гильбертово пространство 338
сепарабельное 343
главное значение логарифма 424
граф 140
Д
двуточие условное 764
динамическое программирование 861
дискретная мера 195
дискретной теории восстановления
основная лемма 825
дисперсия 62, 300
— выборочная 313
доверительный интервал 94, 98
, надежность 98
, уровень значимости 98
доминируемость 675
достаточная под-а-алгебра 291
минимальная 294
— статистика 291
3
задача о разборчивой невесте 868
— о размещении 25
— о разорении 109
— о совпадениях 32
закон «0 или 1» Бореля 531
Колмогорова 531, 692
Хьюитта и Сэвиджа 533
— арксинуса 120, 127
— больших чисел 67, 417
Бернулли 71
для марковских цепей 149
Пуассона 419
усиленный 540
для мартингалов 701
для процесса
восстановления 548
Колмогорова 541, 544, 550
, применение к «методу
Монте-Карло» 547
, применение к теории
чисел 546
, скорость сходимости 559
Хинчина 407
— повторного логарифма Хартмана и
Винтнера 552

504
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
И
игла Бюффона 279
игра благоприятная 653
— неблагоприятная 114, 653
— справедливая 653
Изинга модель 42
измеримая функция 214
измеримое отображение 564
— пространство 163
(С, &(С)) 187
{Dta(D)) 188
(Λ,Λ(Λ)) 180
(Λ°°, &(R°°)) 183
(R\ @(Rn)) 181
(RT> BB(RT)) 185
ill Ω/>Μ Λ) 188
измеримость относительно разбиения
104
изометрическое соответствие 596
импульсная переходная функция
фильтра 600
инвариантное множество 567, 573
индикатор множества 54
интеграл верхний 255
— Ито стохастический 745
— Лебега 227-229
— Лебега—Стилтьеса 229, 245
— нижний 255
— Римана 253
верхний 256
нижний 256
— Римана—Стилтьеса 253
— стохастический 592
— Хеллингера 464
интегральная теорема Муавра—Лапласа
84
интегрирование с помощью
подстановки 262
интервал доверительный 94
, надежность 98
, уровень значимости 98
интерполяция 628
информация Кульбака 469
— Фишера 96
испытание 51
исход 21
К
каноническое вероятностное
пространство 316
канторова функция 198
капитал 754
каплинг 459
квадратическая ковариация 657, 741
— характеристика 656
квантильная функция 455
класс апериодический 816
— неразложимый 814
— определяющий 404
—, определяющий сходимость 404
— Харди Н2 621
классификация состояний марковских
цепей по асимптотическим
свойствам 819
марковских цепей по
алгебраическим свойствам 812
классические модели 36
— распределения 36
классический способ задания
вероятностей 32
ковариационная матрица 301
— функция 390, 580
, оценивание 609
, спектральное представление 586
ковариация 63, 300, 580
— квадратическая 657
комбинаторика 32
компенсатор 656
комплекс условий 21
конгруэнтность по распределению 439,
454
конечно-аддитивная вероятностная
мера 163
— вероятность 163
— стохастическая мера 589
конечномерные функции
распределения 315

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
505
контигуальность последовательностей
мер 470
координатный способ построения
процесса 316
корреляционная функция 580
коэффициент корреляции 63, 301
максимальный 311
кривая регрессии 304
критерий Карлемана единственности
проблемы моментов 375
— Коши сходимости в среднем
порядка ρ ^ 1 333
по вероятности 331
почти наверное 330
— согласия 490
кумулянт 368
Л
лемма Бореля—Кантелли 327
— Бореля—Кантелли—Леви 700
— Кронекера 543
— Пратта 263
— Слуцкого 334
— Теплица 542
— Фату 233
для условных математических
ожиданий 299
— Хелли—Брэя 406
линейная зависимость 63
— независимость 341, 342
линейное многообразие 340, 343
замкнутое 343
логарифмическая прибыль 753
локальная абсолютная непрерывность
мер 706
— предельная теорема 79
Μ
мажоранта супермартингальная 781
наименьшая 782
— эксцессивная 860
наименьшая 861
максимальная эргодическая теорема
570
максимальные неравенства 671
марковская зависимость 788
— цепь 136, 139,321,788
апериодическая 818
в широком смысле 788
возвратная 830
нулевая 830
положительная 831
невозвратная 830
неразложимая 814
однородная 139, 793
стационарная 148
эргодическая 811
марковский момент 649, 749
— процесс 318
марковское свойство 139, 788
в узком смысле 788
в широком смысле 788
обобщенное 801
строгое 156, 803, 804
— ядро 793
мартингал 129, 647, 749
— квадратично интегрируемый 656
— Леви 648
— локальный 650
— обобщенный 649
— обращенный 131, 658
мартингал-разность 655
мартингальное преобразование 651
математическая статистика 72, 94
математическое ожидание 58, 227, 228
, свойства 59, 230
условное 103, 269
, свойства 270
матрица ковариаций 301, 384
— неотрицательно определенная 301
— переходных вероятностей 139
— псевдообратная 392
— стохастическая 140
медиана 65
мера σ-аддитивная 163
— σ-конечная 163
— абсолютно непрерывная 196, 242,
467, 706
— атомическая 335

506
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
мера вероятностная 164
— винеровская 211
— внешняя 195
— внутренняя 195
— Гаусса 577
— дискретная 195, 463
— доминирующая 463
— инвариантная 809
— конечно-аддитивная 162
стохастическая 589
— Лебега 194, 200, 203
л-мерная 202
— Лебега—Стилтьеса 194, 199
— мартингальная 756
— неопределенности 74
— непрерывная в «нуле» 165
— ортогональная 590, 593
— полная 195
— с ортогональными значениями 590
— сингулярная 196, 198
— со знаком 460
— стационарная 809
— стохастическая 589
— счетно-аддитивная 163
— считающая 463
— элементарная стохастическая 590
— Эшера 758
меры ортогональные 467, 706
— сингулярные 467, 706
— эквивалентные 467, 706
метод моментов 413
— Монте-Карло 280, 547
— наименьших квадратов 702
— одного вероятностного
пространства 452, 455
— характеристических функций 413
метризуемость слабой сходимости 447
метрика Ки Фан 453
— Леви—Прохорова 448
минимальная достаточная под-а-алге-
бра 294
многомерное гипергеометрическое
распределение 40
множество инвариантное 567, 573
— остановки 783
наблюдений 859
— почти инвариантное 567
— продолжения наблюдений 783, 859
модель Бернулли—Лапласа 854
— вероятностно-статистическая 94
— диффузии дискретная 852
— Изинга одномерная 42
— испытаний, связанных в цепь
Маркова 137
— Кокса—Росса—Рубинштейна, CRR
759, 773
— Крамера—Лундберга 747
— смешанная авторегрессии и
скользящего среднего 586
— эксперимента с бесконечным
числом исходов 161
с конечным числом исходов 31
— Эренфестов 852
момент остановки ПО, 131, 649
— первого возвращения 120
— разорения 747
моменты 229
— абсолютные 229
— смешанные 368
монотонный класс 172
наименьший 172
морфизм 564
мультиномиальное распределение 39
Η
наборы неупорядоченные 22
— упорядоченные 22
надежность доверительного интервала
98
наименьшая σ-алгебра 171
— алгебра 171
— супермартингальная мажоранта 782
наименьший монотонный класс 172
начальное распределение 139
независимость 43, 48
— алгебр множеств 48, 49
— линейная 341, 342
— множеств (событий) 48, 177
— попарная 49, 63

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
507
независимость приращений 390
— систем множеств 48, 49, 177
— случайных величин 57, 224
элементов 224
неклассические условия 433
некоррелированность 63, 300
непрерывность мер абсолютная 242
неравенства Буркхольдера 678
— для вероятностей больших
уклонений 683
— Дуба 671
— Дэвиса 679
— Марцинкевича—Зигмунда 677
— Хинчина 677
неравенство Белла 67
— Берри—Эссеена 86, 426, 475
— Бесселя 340
— Бонферрони 35
— Бореля 394
— Буля 169
— Гаека—Реньи 688
— Гёльдера 240
— Гумбела 36
— Дворецкого 687
— для вероятностей больших
уклонений 93
— Иенсена 239
для условных математических
ожиданий 297
— Колмогорова 535
, односторонний аналог 539
— Коши—Буняковского 59, 239
— Коши—Шварца 59
— Леви 556
— Ляпунова 239
— Минковского 240
— Оттавиани 687
— Рао—Крамера 97
— Слепяна 394
— Фреше 36
— Чебышева 68, 238
, двумерный аналог 77
— Шварца 59
— Эссеена 376
норма 332
нормальные по Борелю числа 547
О
область остановки наблюдений 783,
859
— продолжения наблюдений 783, 859
обновляющая последовательность 616
обобщенная теорема Байеса 286
— функция распределения 199
обобщенное марковское свойство 801
обратное уравнение 144
, матричная форма 144
объединение множеств 27, 167
определяющий класс 404
оптимальная остановка 776
марковских цепей 856
опцион 767
колл 769
пут 769
— Американского типа 769
— Европейского типа 768
— покупателя 769
— продавца 769
опционный контракт 767
ортогонализация Грама—Шмидта 342
ортогональное разложение 351
ортогональные меры 467
основная лемма дискретной теории
восстановления 825
— теорема о стационарных
распределениях 836
об эргодических распределениях
836
относительная компактность 408, 409
отношение правдоподобия 136
отображение измеримое 564
сохраняющее меру 564
оценивание ковариационной функции
609
— спектральной плотности 610
функции 610
оценка 95, 303
— асимптотически несмещенная 611
— Бернштейна 78

508
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
оценка вероятности «успеха» 94
— максимального правдоподобия 43
— несмещенная 95, 296
— оптимальная в среднеквадратиче-
ском смысле 64, 303
линейная 340, 351
— сильно состоятельная 703
— состоятельная 95, 608
— спектральной плотности Бартлетта
613
Журбенко 613
Парзена 613
— эффективная 95
ошибка первого и второго рода 461
— среднеквадратическая 303
Π
паритет колл-пут 776
перемешивание 569
пересечение множеств 28, 167
перестановочная система событий 169
перестановочное событие 532
переходная вероятность 139, 318
— функция 793
период неразложимого класса 816
— последовательности 815
— состояния 815
периодограмма 611
перпендикуляр 341, 351
платежное поручение 761
воспроизводимое 761
плотная последовательность
случайных величин 471
плотность 196, 202, 215, 243
— «-мерного гауссовского
распределения 203
— гауссовская двумерная 302
— условного распределения
вероятностей 278
подходящее множество функций 179
полиномы Бернштейна 76
— Пуассона —Шарлье 346
нормированные 346
— Эрмита 345
нормированные 345
полнота 195
— (θ, 5)-рынка 761
— пространства Ζ/, ρ^\ 333, 334
полунорма 332
пополнение 194
портфель ценных бумаг 754
самофинансируемый 754
порядковая статистика 313
последовательности вполне
детерминированные 615
— детерминированные 615
— мер взаимно контигуальные 470
полностью асимптотически
разделимые 470
сближаемые 470
— обращенные 742
— предсказуемые 647
— регулярные 615
— сингулярные 615
— скользящего среднего 583
— стационарные в узком смысле 563
в широком смысле 580
, спектральное
представление 595
— чисто детерминированные 615
— эргодические 574
последовательность обновляющая 616
— почти периодическая 581
— случайных величин плотная 471
— частично наблюдаемая 630
почти всюду 231
— инвариантное множество 567
— наверное 231
предельная пренебрегаемость 433
— теорема интегральная 71, 84
локальная 71, 79
предсказуемая последовательность 647
представление Колмогорова—Леви—
Хинчина 441
— Леви—Хинчина 446
преобразование Бернулли 576
— Колмогорова 576
— Крамера 558

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
509
преобразование Лапласа—Стилтьеса
748
— метрически транзитивное 567
— сохраняющее меру 564
— Фурье 353
— эргодическое 567
— Эшера 758
условное 760
прибыль логарифмическая 753
принцип инвариантности 431, 728
Донскера—Прохорова 728
— отражения 120
— подходящих множеств 173
проблема моментов 373
, критерий единственности 375
продожение меры 192
проекция 341
производная Лебега 467
— Радона—Никодима 243
производящая формула 264
пространство банахово 334
— исходов 21, 166
— состояний марковской цепи 139,788
— фазовое 139, 788
— элементарных событий 21, 166
процедура Робинса—Монро 696
процентная ставка банковская 752
рыночная 752
проценты простые 753
— сложные 753
процесс броуновского движения 390,
727
— ветвящийся 142
— винеровский 390
условный 391
— восстановления 322
— гауссовский 390
— гауссовско-марковский 391
— марковский 318
— Пуассона 747
— с независимыми приращениями 390
прямое произведение σ-алгебр 182
мер 51
пространств 51, 189
— уравнение 144
, матричная форма 144
пустое множество 167
Ρ
равенство Парсеваля 344
равномерная интегрируемость 234
разбиение 29, 371
разделимость последовательностей мер
470
различение гипотез 461
разложение Вольда 614, 618
— Дуба 655
— каноническое последовательности
730
— Крикеберга 687
— Лебега 467, 707
— Хана 460
размещение дробинок по ячейкам 25
размещения без повторений 23
— с повторениями 22
разность множеств 28, 167
распределение 196
— F 197
— t 197,310
— бернуллиевское 55
— бета 197
— биномиальное 37
— Вейбулла 313
— вероятностей процесса 223
случайного вектора 56
случайной величины 55, 215
— гамма 197
— гауссовское 89, 197
я-мерное 203
, характеристическая функция
382
, семиинварианты 372
среднее, дисперсия 300
— геометрическое 196
— гипергеометрическое 41
многомерное 40
— двойное экспоненциальное 313
— дискретное 196
равномерное 196

510
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
распределение инвариантное 147, 809,
811
— Колмогорова 490
— Коши 197
— логарифмически нормальное 306
— многомерное 56, 201
—- мультиномиальное 40
— начальное 139
— нормальное 89, 197
— обратно-биномиальное 213
— отрицательно-биномиальное 196
— Паскаля 196
— полиномиальное 40
— Пуассона, пуассоновское 87, 196
— равномерное на [а, Ь] 197
— сингулярное 198
— стационарное 147, 809, 811
— Стьюдента 197, 310
— устойчивое 442
— хи 309
— хи-квадрат 197, 309
— экспоненциальное 197
двустороннее 197
— эргодическое 145
расстояние Какутани—Хеллингера 463
— Леви 406
— по вариации 460
, оценка Прохорова 479
расширенная случайная величина 217
— числовая прямая 191
реализация процесса 223
регулярная функция распределения 283
регулярные условные вероятности 281
распределения 282
, существование 284
рынок неполный 769
— полный 769
С
свертка распределений 307
секвенциальная компактность 410
семейство марковских цепей 798
— мер относительно компактное 408
плотное 408
семиинварианты простые 370
— смешанные 368
сигма-аддитивность, σ-аддитивность
163
символ Кронекера 345
симметрическая разность множеств
167
сингулярность мер 467
сингулярные меры 196, 467, 706
система лебеговских множеств 194
— ортогональных случайных величин
339
— ортонормированная 339
полная 343
случайных величин 339
— Радемахера 347
— событий перестановочная 169
— Хаара 347
скалярное произведение 338
скользящее среднее двустороннее 583
одностороннее 584
скорость сходимости в усиленном
законе больших чисел 557
в центральной предельной
теореме 475
слабая сходимость 399, 400
, метризуемость 447
случайная величина 54, 214
абсолютно непрерывная 215
безгранично делимая 439
биномиальная 55
гауссовская 300
дискретная 214
инвариантная 567
комплексная 222
, не зависящая от будущего 649,
749
непрерывная 215
почти инвариантная 567
простая 214
расширенная 217
устойчивая 442
— последовательность 223, 390
— функция 223

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
511
случайное блуждание 109, 120
простое 842
— число случайных величин 142
случайный вектор 56, 222
— процесс с дискретным временем 223
с непрерывным временем 223,
390
с ортогональными
приращениями 593
— элемент 221
смешанная модель авторегрессии и
скользящего среднего 586
событие 27, 166
— достоверное 28
— невозможное 28
— перестановочное 532
согласованности свойство 204, 208
— условие 209,315
состояние цепи апериодическое
поглощающее 140
возвратное 820
нулевое 824
положительное 824
достижимое 813
невозвратное 820
несущественное 813
поглощающее 847
существенное 813
состояния цепи взаимно достижимые
813
сообщающиеся 813
сочетания без повторений 24
— с повторениями 22
спектральная мера 588
— плотность 583
, оценивание 610
— функция 588
— характеристика фильтра 601
спектральное окно 612
— представление ковариационной
функции 586
стационарной
последовательности 595
справедливая цена опциона 769
среднее значение 58
средняя длительность блуждания 115
— продолжительность игры 109
стандартное отклонение 62, 300
статистика Бозе—Эйнштейна 26
— достаточная 291
— Максвелла—Больцмана 26
— Ферми—Дирака 26
статистическая независимость 48
степень разброса 62
стохастическая матрица 140
— мера 589
конечно-аддитивная 589
ортогональная 590
с ортогональными значениями
590
элементраная 590
— последовательность 647
возрастающая 647
доминируемая 675
предсказуемая 647
— экспонента 259, 684
стохастический интеграл 592
Ито 745
строго марковское свойство 155, 803,
804
структурная функция 591
субмартингал 647
— локальный 650
— обобщенный 649
сужение меры 207
сумма множеств 167
суммирование по Чезаро 335, 832
суммы верхние 252
— нижние 252
супермартингал 648
супермартингальная мажоранта 781
суперхеджирование 770
—, верхняя цена 772
существенный супремум 334, 778, 779
схема Бернулли 67, 78
— серий 419, 426
сходимость в основном 399, 400, 405

512
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
сходимость в основном в смысле
конечномерных распределений 405
— в смысле Lp 324
— в среднем квадратическом 324
— в среднем порядка ρ 324
— по вариации 461
— по вероятности 324, 453
, метризуемость 447
— по закону 452
— по мере 324
— по распределению 325, 417, 452
— почти всюду 324, 453
— почти наверное 324, 453
— с вероятностью единица 324, 453
, неметризуемость 447
— слабая 399, 400
, метризуемость 447
счетная аддитивность 163
Τ
телескопическое свойство 105
второе 271
первое 270
теорема Байеса 47, 286
— Беппо Леви 265
— Берри—Эссеена 86, 475
— Биркгофа—Хинчина 570
— Бохнера—Хинчина 365
— Вейерштрасса 76
— Герглотца 586
— Гирсанова, дискретная версия 722
— Гливенко и Кантелли 482
— Дуба 660, 682, 688
о максимальных неравенствах
672
о разложении субмартингалов
655
о случайной замене времени 660
о сходимости субмартингалов
688
о числе пересечений 682
— Ионеску Тулчи 318
— Кантелли 540
— Каратеодори 192
— Колмогорова и Хинчина 535
о «двух рядах» 537
о продолжении мер 208
о продолжении меры 204
о существовании процесса 316
о «трех рядах» 538
об интерполяции 629
об усиленном законе больших
чисел 541, 544
— Лебега о мажорируемой сходимости
234
— Леви 691
— Макмиллана 75
— Манна—Вальда 456
— Марцинкевича 366
— Мерсера 393
— Муавра—Лапласа 84
— непрерывности 414
— о баллотировке 133
— о возвратности Пуанкаре 565
— о «двух рядах» 537
— о замене переменных под знаком
интеграла Лебега 244
— о монотонной сходимости 232
— о монотонных классах 173
, функциональная версия 179
— о нормальной корреляции 304
, векторный случай 387
— о преобразовании свободного
выбора 900
— о сходимости под знаком условных
математических ожиданий 272
— о «трех рядах» 538
— Пифагора 351
— Пойа для случайных блужданий 847
для характеристических функций
365
— Прохорова 409
— Пуанкаре 432
о возвратности 565
— Пуассона 87, 419
— Радона—Никодима 243
— Рао и Блэкуэлла 296
— Улама 412

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
513
теорема факторизации 292
— Фубини 246
— фундаментальная вторая 761
первая 755
— Хелли410
— Хелли—Брэя 407
— центральная предельная 413, 418,
421,427,434
для зависимых величин 726
функциональная 728
— Чернова 561
— эргодическая 145, 574, 605
максимальная 570
теория восстановления 668
тождество Вальда 132, 663
фундаментальное 666
— паритета колл-пут 776
— Пуанкаре 36
— Спицера 264
точки роста 196
траектория процесса 223
типичная 75
треугольник Паскаля 23
У
уравнение баланса 585
— Вальда—Беллмана 861
— восстановления 323
— Колмогорова—Чепмена 143, 317,
799
обратное 143
прямое 144
— обратное, матричная форма 144
— прямое, матричная форма 144
уравнения динамического
программирования 859
уровень значимости 98
усиленный закон больших чисел 540
для мартингалов 701
для процесса
восстановления 548
Колмогорова 541, 544, 550
, скорость сходимости 559
условие асимптотической малости 433
равномерной 728
— Крамера 557
— Линдеберга 421, 426
— Ляпунова 425
— предельной пренебрегаемости 433
равномерной 728
— согласованности 209, 315
условная вероятность 44, 266, 269
относительно σ-алгебр 269
разбиений 266
разбиения 101
случайных величин 102, 269
регулярная 281
— дисперсия относительно σ-алгебры
269
условное двуточие 764
— математическое ожидание 103, 106,
269
в широком смысле 340, 351
относительно σ-алгебр 268
случайных величин 106,
269
событий 267, 275, 276
, свойства 270
устойчивая случайная величина 442
Φ
фазовое пространство 139, 788
факторизационная теорема 292
фильтр 600
—, импульсная переходная функция
600
— Калмана—Бьюси 634, 638
— физически осуществимый 601
фильтрация 630
—, поток σ-алгебр 647
формула Байеса 47
— дискретного дифференцирования
754
— замены переменных Ито 740
— интегрирования по частям 257
— Ито 746
, дискретная версия 740, 743
для броуновского движения 740
— обращения 361

514
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
формула пересчета математических
ожиданий 243
условных математических
ожиданий 289, 712
— полной вероятности 46, 101, 104
— связи моментов и семиинвариантов
369
— Сеге—Колмогорова 634
— Стирлинга 42
— трапеции 743
— умножения вероятностей 46
фундаментальная теорема теории
арбитража 751
фундаментальность в среднем порядка
ρ 325, 333
— по вероятности 325, 331
— с вероятностью единица 325, 330
фундаментальные теоремы
математической статистики 481
теории арбитража, вторая 761
, первая 755
функции распределения
конечномерные 315
эмпирические 481
функция верхняя 551
— восстановления 322
— гармоническая 874
— Дирихле 262
— измеримая 214
— ковариационная 580
— концентрации 379
— корреляционная 580
— нижняя 551
— ошибок 90
— полунепрерывная 402
— Радемахера 347
— распределения 55, 56, 191
«-мерная 201
безгранично делимая 439
обобщенная 199
регулярная 283
случайного вектора 56
случайной величины 55, 215
устойчивая 442
— супергармоническая 860, 874
— Хаара 348
— эксцессивная 860
фьючерс 768
X
характеристика взаимная 657
— квадратическая 656
— фильтра спектральная 601
частотная 601
характеристическая функция 353
, примеры 377
, свойства 356
безгранично делимая 439
множества 54
устойчивая 442
устойчивого распределения 445
характеристических функций метод 413
хеджирование совершенное 769
ц
цена в задачах об оптимальной
остановке 857
центральная предельная теорема 413,
418,427,434
для зависимых величин 726
функциональная 728
цепь Маркова 137, 321
однородная 139
стационарная 148
циклический подкласс 816
цилиндрические множества 184
Ч
частота 68
частотная характеристика фильтра 601
число пересечений 682
— размещений 23
— сочетаний 23
Э
эквивалентность по распределению 454
эквивалентные меры 467, 706
экран отражающий 850, 851
экспонента стохастическая 259, 684

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
515
экспоненциальное семейство 295
экстраполяция 623
эксцессивная мажоранта 860
наименьшая 860
элементарная теорема теории вс
новления 668
элементарное событие 21
энтропия распределения 73
эргодическая теорема 145, 574
в среднеквадратическом смысле
605
максимальная 570
эргодичность 145, 567
Я
ядро Фей ера 611

Указатель обозначений
-^324 #,®#2182 «#р 194
ψ* 324 С 187 Щ & 189
Д 325 С+ 697 'ег
-^ 324 С* 775 ф<*> 89
А 324 C(F) 399 ^W 89
Fn^F 399 С(/д,; Ρ) 769, 770 "j*> S ,*,
Л. =* F, 325 С(/; Ρ) 772 "Ιρ· Р> I64
Я^Л» Ci 23 Μα; Λ Я) 464
Рп=*Р 400, 405 οον(ξ, η) 62, 300, 580 b*dP- 229
Р"7Р400 оЛ828 WP227
Ρ«4·Ρ 405 °«62 η
"•^403 SS2i2 (L-S)^(X)G(dX)
μη=*μ№ D«|if)269 ^
V*<" ЖГ (R-S)^WG^)
ξ = 7/439 /£ <f) 221 °°
ΧΙΚ 454 (£>,ρ)400 <L> S. «*><** 229
4® 392 Λ(λ)684 ,2"~
^ 28 <Й(Л)259 ,^tS
Л+В28 //■(/>./») 461 ,те*Г.
ЛПВ28 Εξ 58,227 //dbT^o
ΛυΒ27 Efo,, ...,,,„) 340 ,V:L
,4 Δ β 65 Ε(ξ;Λ)229 , /и Τοι
ал 400 E«|D)i03 L')A)m ,_
Лс(<)260 Ε(ξ|0) 103 ^f(»7i,...,i?n)340
-4J, 23 E(£|Sf) 268 •Sf(i"· ^ -) 343
^ 28, 162 Ε (ξ I »7) 106, 269 L L m· 325
a(9) 29, 171 E«|4 ι,*) 106 ,ΡΖ?6
Bi 450 Ё(£ !„,,...,„„) 340 ^»23
В\А2Ъ erf 90 (AI) 656
B(/fo, JV; p) 775 </, g) 591 «« ' 368
^181 F*G307 i»tf 777
^(C) 188 F€ 55, 215 med 407
3B(D) 188 /€ 215 μ 162
^(Λ) 180 ^ 163 μ(<4) 162
®(R) 181 JT/<?221 μ(£·) 172
^(/?n) 181 «!?* 171 μ, χμ2246
^(/?°°) 184 ^. 171 yV(/l) 32
^(/?r) 186 ^4 171 yV(j^) 30
^([0,1]) 194 ^ 218 #(Ω)21

УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ
517
N(A) 756
jY(my σ2) 300
JT(m% R) 382
Ρ 30, 164
Ρ (Л) 30
Ρ(Α\9) 101
Р(Л|^) 269
Ρ(Α\η) 102
Ρ (Л | ξ) 269
Ρ(Β\Α)44
Ρ (Β 10)266
Ρ (Β | <S) 267
Ρξ 55, 214
ρ(ω) 30
^» = {Ρα;α€21}408
Ρ 143
F(k) 143
Ρλ/ 776
(Я") Δ (Ρη) 470
(Ρη)<3(Ρη)470
(Ρ") <> (Ρη) 470
ЦР-ЯЦ460
||Р-Я||к450
\\р(х.у)\\т
II pi/II но
И 143
П<*> 143
/? 180
/? 181
R(n) 580
Я1 181
RT 185
/?°° 183
/?" 181
Rn 347
/?„(*) 347
(R,&(R)) 180
ρ(ξ, ry) 63, 301
р(Я, Р) 463
р(л) 580
sp "*> 368
σ(*) 171
σ(ί) 218
Var(P - Ρ) 460
Xn*=max|X;|671
Χ; 754
(Χ, У) 657
[Χ, Υ]η 657
Μ„ 657
{Χ„^}697
Ζ 579
Ζ(Δ) 589
Ζ(λ) 589
χ2 309
0*ξ 563
ξ±77 339
(Ω, ^, Ρ) 30, 163
(Ω, ^, Ρ*; 0 6 θ) 94
#744
=^30
[α,,...,αη]22
(α,,...,α„)22

Некоторые общематематические обозначения
R = (—оо, оо) — множество действительных чисел, действительная прямая,
евклидово одномерное пространство
R+ = [О, оо)
R = [—оо, оо] — расширенная действительная прямая: R = R\J{-00}U{00}
£+ = [0, 00]
Q — множество рациональных чисел
Q+ = QnR+
Rd — евклидово d -мерное пространство
N — натуральные числа: или {0, 1, 2, ...}, или {1, 2, ...}
Z —множество целых чисел: {0, ±1, ±2, ...}
С — множество комплексных чисел
(a, b) = {xeR:a<x<b}, [α, b]={xeR: a^x^b}
(a,b]={xeR:a<x^b}t [a, b) = {xeR: a^x <b}
inf Χ — нижняя грань множества X С R
sup X — верхняя грань множества X С R
inf jc — нижняя грань множества Х = {хт, хт+\, ...}
sup Jt,i — верхняя грань множества Х={хт, xm+i, ·..}
Если хп £ /?, η ^ 1, то
liminf jcn=nrn^n = sup inf xnt limsup xn =lim xn= inf sup xn,
limjt,i=Jt & \jmxn = \\mxn=x <& lim xn^x^\\m xn.
Для действительных чисел:
x+ = max(jc, 0), х~ = — min(jc, 0)
\θ, jc=0
x Vi/ = max(jt, y), хАу = тт(х, y)
[x] или [x\ — наибольшее целое число, не превосходящее χ
\х~\ — наименьшее целое, большее или равное χ
( 1, *>0,
sign χ — знак числа х: sign а: = < 0, х=0,
1-1, х<0
(иногда sign χ определяется как 1, если χ ^ 0, и — 1, если χ < 0)

НЕКОТОРЫЕ ОБЩЕМАТЕМАТИЧЕСКИЕ ОБОЗНАЧЕНИЯ 519
х„-*х, где яе{1, 2, ...}, означает, что lim xn=x
η
хп | означает, что х\ ^ χ<ι ^ ...; хп]х означает, что хп Τ и lim jcrt = χ
η
xn Ι означает, что χ\ ^ Χ2 ^ ...; лгп J, jc означает, что хп I и lim хл = χ
η
Для комплексных чисел z = a + ib,
где a, beR н i = %/—Т— мнимая единица:
z = a — ib — число, сопряженное с ζ
|ζ| — модуль числа ζ (= (α2 + b2)l/2)
Re z, Im ζ — действительная и мнимая части z: Re ζ=α, Im z = 6
Для евклидова ^/-мерного пространства Rd:
\х\ — евклидова норма х = (хи ..., д:Д τ, е. (χ2 + ...+Ха)]/2
jc · ί/ или (jc, #) — скалярное произведение х = (jcj , ..., Xd) и у = (у\> .·.,*/</), т. е.
*1*/1+..-+ад</
В теории множеств:
Л„ Τ означает, что Л ι С Ач С ...; Л„ | Л означает, что Ап Τ и (J ^„ = Л
Л„ | означает, что Л ι Э Лг 2 · · ·; Л „ J, Л означает, что Ап[ nf)An=A
lim sup Л„, или lim Лп, или {Л„ б.ч.} означает Π [ (J Л„ j —множество точек,
принадлежащих бесконечному числу множеств Л„, η ^ 1
liminf An или lim Л„ означает (J ( Г) Л„ j —множество точек, принадлежащих
всем АПу п^ 1, за исключением, быть может, их конечного числа
/а или /(Л) — индикатор множества Л
{...} — множество
Математические символы:
<^ — абсолютная непрерывность
~ — эквивалентность
-L — ортогональность
/=о(0-Ит(£)=О
/ = 0(g) —limsup(-J <oo
/~£-Iim(£) = l
/ ж g — отношение — отделено снизу от 0 и сверху от оо
fog — композиция / и g
f * g — свертка / и g

Альберт Николаевич Ширяев
ВЕРОЯТНОСТЬ-1
Редактор Т. Толозова
Тех. редактор В. Радионов
Лицензия ИД №01335 от 24.03.2000 г. Подписано в печать 15.02.2004 г. Формат
60 χ 90 Vig. Бумага офсетная №1. Печать офсетная. Печ. л. 32,5. Заказ № 9727
Санитарно-эпидемиологическое заключение №77.99.02.953.Д.002797.04.03
от 18.04.2003 г.
Издательство Московского центра непрерывного математического образования.
121002, Москва, Большой Власьевский пер., 11. Тел. 241—72—85.
Отпечатано с готовых диапозитивов в ППП «Типография „Наука"».
119009, Москва, Шубинский пер., 6.
Книги издательства МЦНМО можно приобрести в магазине «Математическая книга»,
Большой Власьевский пер., д. 11. Тел. (095) 241-72-85. E-mail: biblioemccme.ru