ОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
ФАКУЛЬТЕТ КОМПЬЮТЕРНЫХ НАУК
КАФЕДРА КИБЕРНЕТИКИ

А. Г. Гринь

ВЕРОЯТНОСТЬ

Омск 2007
УДК 519.21

Гринь А.Г. Вероятность. Омск: Издательство
Наследие. Диалог-Сибирь, 2007. - 219 с.

I8В^ 5 - 8239 - 0143 - 7

Книга является учебником по курсу «Теория вероятностей и мате-
матическая статистика» для студентов математических специальностей
университетов.

I8В^ 5 - 8239 - 0143 - 7

© Омский госуниверситет, 2007
Оглавление

Предисловие	6

Введение	9

1	Вероятностные пространства	12

1.1.	Предмет теории вероятностей............... 12

1.2.	Идея формализации теории вероятностей ....	16

1.3.	Аксиомы теории вероятностей............... 20

1.4.	Условные вероятности ..................... 25

1.5.	Независимость случайных событий........... 27

1.6.	Формулы полной вероятности и Байеса.....	29

1.7.	Примеры вероятностных пространств......... 34

1.7.1.	Классическая схема.................. 34

1.7.2.	Схема Бернулли...................... 47

1.7.3.	Геометрическая схема................ 53

2	Случайные величины	59

2.1.	Меры и интегралы ......................... 59

2.2.	Определение случайной величины............ 65

2.3.	Функция распределения и ее свойства....... 68

2.4.	Типы распределений........................ 72

2.5.	Примеры важнейших распределений........... 77

2.6.	Случайные векторы......................... 82

2.7.	Независимость случайных величин........... 86

2.8.	Числовые характеристики	случайных величин .	92
2.8.1.	Математическое ожидание........... 92

2.8.2.	Дисперсия......................... 98

2.8.3.	Моменты...........................100

2.8.4.	Коэффициент корреляции............101

2.8.5.	Некоторые вероятностные неравенства . . 103

3	Аппарат теории вероятностей	105

3.1.	Условные математические ожидания........105

3.1.1.	Определение условного математического
ожидания..................................105

3.1.2.	Свойства условного математического
ожидания..................................109

3.1.3.	Примеры условных математических ожи-
даний ....................................113

3.2.	Сходимость случайных величин и распределений 120

3.2.1.	Сходимость по вероятности.........120

3.2.2.	Сходимость почти наверное.........124

3.2.3.	Сходимость в среднем квадратическом . 126

3.2.4.	Слабая сходимость распределений и схо-
димость по распределению..................127

3.3.	Характеристические функции..............133

4	Предельные теоремы теории вероятностей 139

4.1.	Законы больших чисел....................139

4.2.	Сильные законы больших чисел............142

4.3.	Центральная предельная теорема..........146

5	Случайные процессы	157

5.1.	Основные понятия........................157

5.2.	Важнейшие классы случайных процессов .... 159

5.3.	Примеры случайных процессов.............162

5.4.	Цепи Маркова с дискретным временем......167

5.4.1.	Примеры цепей Маркова.............170

5.4.2.	Классификация состояний цепи Маркова 173

5.4.3.	Эргодические теоремы..............175

5.5.	Цепи Маркова с непрерывным временем......181

5.6.	Ветвящиеся процессы.....................189
5.6.1.	Ветвящиеся процессы с дискретным вре-
менем......................................189

5.6.2.	Ветвящиеся процессы с непрерывным
временем...................................193

5.7.	Стационарные в широком смысле процессы . . 197

5.7.1.	Примеры стационарных последователь-
ностей ....................................198

5.7.2.	Стохастические интегралы и спектраль-
ное представление стационарных после-
довательностей ............................202

5.7.3.	Прогноз стационарных последовательно-
стей ......................................208

5.7.4.	Фильтрация стационарных последова-
тельностей ................................212

Список обозначений

219
Предисловие

Недостатка в учебниках по теории вероятностей нет уже дав-
но, причем имеется достаточный выбор учебников любого
уровня: популярных, для технических вузов, для универси-
тетов, и т. д. Для студентов математических специальностей
университетов можно предложить, например, 4 издания учеб-
ника А. А. Боровкова ([1]-[4]), учебник энциклопедического
плана А. Н. Ширяева [5], весьма оригинальный учебник Г.
П. Климова [6], и т. д., как учебники можно использовать
фундаментальную монографию М. Лоэва [7] или знаменитый
двухтомник В. Феллера [8]. Поэтому появление любого ново-
го учебника должно быть, естественно, чем-то обосновано и
оправдано. Именно это оправдание излагается в данном пре-
дисловии.

Предлагаемый учебник представляет собой изложение
трехсеместрового курса «Теория вероятностей и математиче-
ская статистика» (без статистики) для студентов математиче-
ских специальностей университетов. Отметим основные отли-
чительные моменты данного учебного пособия.

Первое. Теория вероятностей - это, так сказать, «матема-
тика первой ступени абстракции», то есть, формализованная
математическая дисциплина, практически все основные по-
нятия которой имеют своих «прототипов» в реальности, бо-
лее того, все обычно имеют достаточно внятное интуитивное
представление об этих «прототипах», например, о том, что
такое случайное событие, вероятность, случайная величина
и т. п. Поэтому, когда студент читает в учебнике, что слу-
чайная величина - это «измеримое отображение пространства
элементарных исходов в множество действительных чисел»,
возникает естественное непонимание - как это определение со-
относится с тем интуитивно понятным представлением о слу-
чайной величине, которое у него имеется. При чем здесь, на-
пример, какая-то измеримость? В существующих учебниках
эти моменты, как правило, не комментируются.

В предлагаемом учебнике довольно много внимания уделя-
ется как раз идеям, на основе которых формализуются те или
иные вероятностные понятия, разъяснению смысла формаль-
ных определений, иллюстрации определений и результатов на
конкретных примерах.

Второе. Объем имеющихся учебников как правило суще-
ственно превышает объем любого лекционного университет-
ского курса, а многие разделы этих учебников логически свя-
заны, так что при первоначальном изучении возникают есте-
ственные проблемы с компоновкой курса, с определением то-
го, «что можно выбросить, а что нельзя», как «выбрасывать»
разделы, логически завязанные с дальнейшим изложением
и т. д. Данный учебник, как указывалось, по объему соответ-
ствует стандартному трехсеместровому курсу для студентов
математических специальностей университетов, соответству-
ющему государственным образовательным стандартам по спе-
циальностям «математика» (010100), «прикладная математи-
ка» (010200), «компьютерная безопасность» (075200) и т. п.

Третье. Обычно в учебниках при изложении материала
приоритет отдается логичности, строгости изложения, изло-
жению важнейших по мнению авторов разделов и результа-
тов и при этом очень мало внимания уделяется рационализа-
ции изложения, скажем выбору доказательств и способов из-
ложения, существенно сокращающих объем материала или де-
лающим изложение более доступным для восприятия (одним
из исключений из сказанного, причем весьма ярким, является
двухтомник В.Феллера [8]). В данном учебнике рационализа-
ции изложения уделется серьезное внимание. Читатель, имею-
щий представление об объеме материала в стандартных, ска-
жем так, курсах, может сравнить, для примера, со «стандарт-
ным» объем раздела, посвященного изучению слабой сходи-
мости и сходимости характеристических функции с помощью
приема сглаживания. Или, скажем, посмотреть, как решаются
практически все вопросы о независимости классов событий и
случайных величин с помощью позаимствованной из учебника
Г. П. Климова изящной теоремы о независимости классов.

Все сказанное, по мнению автора, делает данное учебное
пособие представляющим интерес как для студентов матема-
тических специальностей университетов, так и для преподава-
телей теории вероятностей, заинтересованных в более рацио-
нальном построении курса.
Введение

Теорию вероятностей с полным правом можно считать древ-
нейшей профессией. Азартные игры существовали чуть ли
не на протяжении всей истории человечества, а азартные иг-
ры всегда порождают попытки заметить и объяснить какие-
то закономерности игры, придумать выигрышную статегию
и т. и., то есть попытки решать какие-то вероятностные
задачи. Многие из этих попыток публиковались, в каче-
стве примера можно упомянуть написанную в 1526 г. ра-
боту Д. Кардано «Книги об игре в кости». Однако появле-
ние первых правил оперирования с вероятностями, и, ста-
ло быть, зарождение того, что сейчас называется теори-
ей вероятностей, обычно относят к переписке Б. Паскаля
и П. Ферма, относящейся к 1654 году и опубликованной в
1679 г. в Тулузе. К сожалению, часть переписки утрачена,
о ней можно судить лишь по ссылкам в дальнейших ра-
ботах. В этой переписке появился прообраз понятия веро-
ятности (хотя сама вероятность явно введена не была), по
существу сформулированы некоторые правила действия над
вероятностями, решались некоторые комбинаторные задачи
и т. и. Близкий круг идей и задач практически в то же время
рассматривал X. Гюйгенс в работе «О расчете в азартных иг-
рах» 1657 г.; отметим, например, что там фактически введено
понятие математического ожидания. В письме своему учите-
лю Схоутену Гюйгенс пишет «...при внимательном изучении
предмета читатель заметит, что имеет дело не только с игрой,
но что здесь закладываются основы очень интересной и глу-
бокой теории».

Существенную роль в развитии теории вероятностей сыг-
рал трактат Я. Бернулли «Искусство предположений» , опуб-
ликованный через 8 лет после смерти автора в 1713 г. (кстати,
первая часть работы представляет собой полную перепечат-
ку книги X. Гюйгенса с комментариями). В этой работе по
сути, в простейшей ситуации введено используемое сейчас по-
нятие вероятности и получена первая предельная теорема тео-
рии вероятностей - так называемый закон больших чисел. Об
огромной роли этого результата в теории вероятностей и во-
обще в естествознании говорит, например, следующий факт: в
1913 году Императорская Академия Наук России официально
праздновала двухсотлетие закона больших чисел, хотя здесь и
не обошлось без политической подоплеки: этот юбилей празд-
новался как бы «в пику» праздновавшемуся в это же время
трехсотлетию дома Романовых.

Если говорить о результатах, значительно продвинувших
развитие теории вероятностей, то необходимо упомянуть ра-
боты А. Муавра 1733 г., в которых впервые доказана еще одна
предельная теорема теории вероятностей, называющаяся сей-
час центральной предельной теоремой.

В 1812 г. П.-С. Лаплас издает свой классический труд
«Аналитическая теория вероятностей», в которой он привел
в систему основные доказанные до него результаты, усовер-
шенствовал методы доказательств, изложил свои основные ре-
зультаты (в частности, обобщения результатов Муавра), при-
менял теорию вероятностей в теории ошибок, демографии,
и т. д. Работы Лапласа привлекли в теорию вероятностей се-
рьезные математические методы и технику.

Во второй половине XIX века ведущую роль в развитии
теории вероятностей сыграла Петербургская математическая
школа, руководимая П. Л. Чебышевым, куда входили такие
математики, как А. А. Марков, А. М. Ляпунов, В. А. Стеклов
и др. А. Н. Колмогоров писал «Вывел русскую теорию веро-
ятностей на первое место в мире Пафнутий Львович Чебы-
шев». Основные задачи, исследуемые в этой школе - это дока-
зательство законов больших чисел и центральной предельной
теоремы для возможно более широкого класса случайных ве-
личин (см. в курсе теоремы Чебышева и Ляпунова). Впервые
были введены и изучались последовательности случайных ве-
личин со специальным типом зависимости - так называемые
цепи Маркова; используемые здесь идеи оказались весьма пло-
дотворными и породили огромный и активно развивающийся
раздел теории вероятностей - теорию марковских процессов.

Зародившаяся в 17 веке теория вероятностей, к началу 20
века уже была одной из важнейших отраслей естествознания,
имела огромное количество приложений, курсы теории веро-
ятностей читались в крупнейших университетах мира. Одна-
ко, согласно принятым в математике взглядам, теорию веро-
ятностей нельзя было считать разделом математики, считать
строго обоснованной до тех пор, пока она не являлась форма-
лизованной (то есть пока для нее не построена система акси-
ом). Проблема стояла настолько остро, что когда в 1899 году
на Втором Международном Математическом Конгрессе Да-
вид Гильберт сформулировал 23 проблемы, которые матема-
тики 19 века «завещали» математикам 20 века, то задача фор-
мализация теории вероятностей была включена в этот список
и являлась частью шестой проблемы Гильберта. Включение
задачи в ряд важнейших математических проблем века без-
условно стимулировало многочисленные исследования в этом
направлении; наиболее известны работы Р. Мизеса, А. Бореля,
Е. Слуцкого, П. Леви и др.

Наконец, в 1933 году А. Н. Колмогоров в работе «Основ-
ные понятия теории вероятностей» построил общепринятую
сейчас в математике теоретико-множественную формализа-
цию (аксиоматику) теории вероятностей. За этим последовал
продолжающийся до настоящего времени период бурного раз-
вития как самой теории вероятностей, так и многочисленных
«отпочковавшихся» от нее дисциплин прикладного характера
(теории информации, теории массового обслуживания, теории
надежности и т. и.)
Глава 1

Вероятностные
пространства

1.1.	Предмет теории вероятностей

Как уже говорилось, попытки изучать случайные явления
предпринимались очень давно и многократно, хотя до опре-
деленного времени они в основном были связаны с азартными
играми. При этом господствовало представление о случайном,
как о «непознанной закономерности», явление считалось слу-
чайным, если не знали или не могли учесть всех факторов,
влияющих на это явление. «Ум, которому были бы извест-
ны для какого-нибудь данного момента все силы, одушевля-
ющие природу, и относительное положение всех ее составных
частей, если бы вдобавок он оказался достаточно обширным,
чтобы подчинить эти данные анализу, объял бы в одной фор-
муле движение величайших тел вселенной наряду с движени-
ями легчайших атомов: не осталось бы ничего, что было бы
для него недостоверно, и будущее, так же, как и прошедшее,
предстало бы перед его взором.» (П.-С. Лаплас) По сути, такая
позиция детерминизма означает что ничего, так сказать, прин-
ципиально случайного, не сводимого к детерминистическому,
не существует, есть недостаточность данных и невозможность
в данный момент проанализировать имеющиеся данные. Кста-
ти, при таких взглядах на случайность Лаплас не только внес
большой вклад в развитие теории вероятностей, но и считал ее
(даже в современном ему, зачаточном виде) одной из основных
отраслей человеческого знания. Уже тогда область примене-
ния теории веротностей не ограничивалась азартными играми
или вопросами страхования, демографии и т. и. Зарождалась,
например, теория обработки результатов экспериментов (ма-
тематическая статистика), сделавшая сферу применения тео-
рии вероятностей в естествознании практически всеобъемлю-
щей.

Но дальнейшее развитие науки вообще выводит теорию ве-
роятностей на уровень важнейшего аппарата изучения основ-
ных законов природы. Одно из наиболее удивительных заво-
еваний человеческой мысли - создание квантовой механики -
означает, по сути, признание веротностной картины микроми-
ра, причем по мнению большинства ученых - принципиально
не сводимой к детерминистическим закономерностям. Кстати,
например, популрная и весьма эмоциональная книга Д. Дани-
на о создании квантовой механики (об «эпохе бури и натиска»
в физике) называется «Вероятностный мир». Таким образом,
в основе важнейших законов природы лежат вероятностные
закономерности и роль науки, изучающей такие закономерно-
сти (теории веротностей) переоценить невозможно.

С другой стороны, достаточно часто теории вероятностей
приписывают не присущие ей свойства «сверхнауки», считая,
например, что она позволяет сказать нечто содержательное
об исходе эксперимента, о котором известно лишь, что его ис-
ход неоднозначен, скажем о появлении летающей тарелки или
чего-нибудь подобного.

В связи с этим возникает необходимость пояснений, чем же
занимается раздел математики, называющийся теорией веро-
ятностей.

«Теория вероятностей - математическая наука, позволяю-
щая по вероятностям одних случайных событий находить ве-
роятности других случайных событий, каким-либо образом
связанных с первыми» (Математическая энциклопедия, т.1,
с. 655). То есть, теория вероятностей - это наука пересчета
вероятностей, некоторые исходные вероятности должны быть
заданы изначально. Следовательно, не имеет смысла задавать
вопрос типа «какова вероятность того, что я увижу летающую
тарелку», если а ргюп не заданы некоторые исходные дан-
ные рассматриваемого эксперимента. Заданной или известной
обычно считается математическая модель случайного экспе-
римента, так называемое вероятностное пространство, и в
теории вероятностей с помощью определенного набора правил
вычисляются вероятностные характеристики различных про-
изводных объектов, связанных с этой моделью. Попросту го-
воря, теория вероятностей начинается словами «пусть задано
вероятностное пространство...». Вопросы построения адекват-
ной математической модели случайного эксперимента (форма-
лизации эксперимента), соответствия построенной модели ре-
альному эксперименту формально к теории вероятностей не
относятся, хотя, скажем, при решении задач первым шагом
обычно является построение подходящей модели случайного
эксперимента. Другими словами при решении вероятностных
задач мы сначала занимаемся некоторой неформальной дея-
тельностью, по сути на интуитивном уровне решаем, является
ли моделью нашего эксперимента классическая схема, схема
Бернулли или что-то еще, а затем уже в рамках этой моде-
ли (вероятностного пространства) решаем задачу формальной
теории вероятностей.

Например, если известно, что вероятность выпадения орла
при бросании монеты равна 1/2, то вычисление вероятности
выпадения 6 орлов в 10 бросаниях монеты - это задача тео-
рии вероятностей. Но прежде чем решать эту задачу, мы на
основе некоторых априорных соображений решаем, что мате-
матической моделью данного случайного эксперимента явля-
ется вероятностное пространство, которое называется «схема
Бернулли» и вычисляем требуемую вероятность с помощью со-
ответствующей этой схеме техники. А, скажем, вопрос о том,
можно ли считать вероятность выпадения орла равной 1/2,
если выпало 6 орлов в 10 бросаниях монеты, относится к ком-
петенции математической статистики.

Суммируя сказанное, область применения теории вероят-
ностей обрисуем следующей схемой.

Случайный
Эксперимент

4

Формализация

4

Математическая модель
случайного эксперимента
(Вероятностное пространство)

Теория вероятностей

Под случайным экспериментом подразумевается экспери-
мент, удовлетворяющий следующим условиям:

а)	Отсутствие детерминистической определенности, то есть
осуществление комплекса условий не определяет однозначно
результата эксперимента.

б)	Статистическая регулярность. Это свойство описывает-
ся следующим образом: повторим случайный эксперимент п
раз и обозначим через к а число появлений события А, связан-
ного с данным экспериментом. Тогда с ростом п относитель-
ная частота кл/п появления события А должна «стабилизи-
роваться» около некоторого значения ра- Конечно же, это не
математическое определение, например, мы никак не уточня-
ем, что значит «стабилизируется», и, по сути, речь идет лишь
об интуитивной уверенности, что эксперимент обладает дан-
ным свойством.

Пусть, например, эксперимент состоит в подбрасывании
симметричной монеты. Исход этого эксперимента (орел или
решка) однозначно предсказать нельзя, а если обозначить кд
число выпадений орла в п бросаниях монеты, то поскольку
монета симметрична, то интуитивно понятно, что относитель-
ная частота появления орла к0/п при больших п в некотором
смысле мало отличается от 1/2, что и означает статистиче-
скую устойчивость. По нашей терминологии бросание монеты
- это случайный эксперимент.

Заметим, в наших предположениях случайным экспери-
ментом может являться лишь опыт, который в принципе воз-
можно повторить любое число раз. В частности и поэтому экс-
перименты по обнаружению летающих тарелок или, скажем,
шаровых молний не являются объектом изучения теории ве-
роятностей.

Случайные эсперименты в описанном выше смысле форма-
лизуются (то есть для них строятся математические модели)
и затем эти модели изучаются в теории вероятностей.

1.2.	Идея формализации теории веро-
ятностей

Идея теоретико-множественной формализации теории вероят-
ностей состоит в том, чтобы каждое случайное событие, свя-
занное со случайным экспериментом, отождествить с некото-
рым множеством', обычным теоретико-множественным опе-
рациям (объединению, пересечению и т. д.) будут тогда со-
ответствовать некоторые операции над случайными события-
ми. Вероятностью в аксиоматике А. Н. Колмогорова явля-
ется объект, который в метрической теории множеств обычно
называют мерой.

Далее в этом пункте идея формализации теории вероятно-
стей излагается более подробно.

Рассмотрим некоторый случайный эксперимент (в том
смысле, как это определено в предыдущем пункте). Будем
предполагать, что среди исходов этого эксперимента можно
выделить такие (назовем их элементарными}, что

а)	любые два из них не могут произойти одновременно и
хотя бы один из них происходит обязательно в данном экспе-
рименте;

б)	каково бы ни было случайное событие А, связанное с
данным экспериментом, по наступившему элементарному ис-
ходу можно сказать произошло А или нет. Другими словами,
элементарные исходы должны содержать в себе всю информа-
цию о случайном эксперименте.

Элементарные исходы (события) обычно обозначают бук-
вой а совокупность всех элементарных исходов - П = {сД.

Пример. Случайный эксперимент состоит в бросании иг-
ральной кости. В качестве элементарных исходов можно взять
х>1 = {выпадение г очков на верхней грани}, г = 1, ...,6. Дей-
ствительно, ясно, что двумя гранями сразу кость не выпадает
и хотя бы одна из граней выпадает обязательно, то есть усло-
вие а) выполнено. Рассмотрим какое-нибудь событие, связан-
ное с этим экспериментом. Пусть, например, А={выпадение
четного числа очков}. Если наступил исход ^1, то А не про-
изошло, а если - А произошло, и т.д. Условие б) также
выполнено.

Пример. Случайный эксперимент-двукратное бросание
монеты. Исходы ={выпало г орлов}, г = 0,1, 2 не являются
элементрными. Действительно, пусть, например, А={в пер-
вом бросании выпал орел}. Если произошел исход 4, выпал
один орел, то мы не можем сказать, произошло А или нет. В
качестве элементарных исходов можно взять л, ОО, .са ОР.
_а> РО. сщ=РР, где, например, ОР означает, что в первом бро-
сании выпал орел, а во втором - решка.

Пусть А-случайное событие. Те элементарные события, на-
ступление которых влечет насупление А, назовем благопри-
ятными для А исходами. Обозначим через А совокупность
всех благоприятных для А исходов. Скажем, в примере 1
А' = {^2,^4,^б}- Основная идея теоретико-множественной
формализации теории вероятностей состоит в том, чтобы
отождествить А и А', или, попросту говоря, в том, чтобы
считать случайные события множествами.

Посмотрим, что будет соответствовать обычным
теоретико-множественным операциям. Событие А проис-
ходит тогда и только тогда, когда си € А, аналогичное
утверждение имеет место для В. Тогда ш € А и В если ш € А
или ш € В, то есть событие А и В происходит тогда и только
тогда, когда происходит Аили В.

Аналогично ш € А П В тогда и только тогда, когда ш € А и
ш € В, так что АП В означает, что события Аи В происходят
вместе (происходит А и В).

Всем другим теоретико-множественным операциям также
соответствуют свои теоретико-вероятностные интерпретации,
скажем, дополнению А = {си : ш А} соответствует событие,
происходящее тогда и только тогда, когда А не происходит, и
т.д. В следующем параграфе будет приведена таблица соответ-
ствия теоретико-множественных и теоретико-вероятностных
понятий.

Таким образом, в формализованной теории вероятностей
событиями являются подмножества из О. Однако сущесвуют
серьезные причины технического характера, в силу которых
не всякое подмножество из О можно считать событием; забе-
гая несколько вперед, можно объяснить это так: не на всяком
множестве подмножеств из О можно определить вероятность.
Обычно выделяют некоторый класс А подмножеств из О, эле-
менты которого считаются случайными событиями, а подмно-
жества из О, не входящие в А событиями не считают. Пред-
полагается, что класс А замкнут относительно объединения
(если А и В - события, то АиВ - тоже событие) и дополнения
(если А - событие, то А - тоже событие), причем в силу се-
рьезных технических причин А считается замкнутым относи-
тельно счетного числа объединений. Сказанное означает, что
А образует так называемую сг-алгебру, определение которой
дано ниже.

Определение. Класс А подмножеств из О назовем алгеб-
рой, если

1)	П € А;

2)	Если А € А, то А е А;

3)	Если А, В € А то А С В € А.

Замечание. По индукции нетрудно показать, что если
А/,, € А, к = 1, 2,п, то А„ € А, а из 2) и 3) следует, что
к—1

ели А,В € А то АП В = А П В € А. Таким образом, алгебра
- это класс множеств, замкнутый относительно дополнений и
конечного числа объединений и пересечений.

Определение. Класс А подмножеств из О назовем а-
алгеброй, если

1)	П € А;

2)	Если А € А, то А € А;

3)	Если А„ € А, п = 1,2,... то 0 А„ € А.

п—1

Замечание. Аналогично предыдущему замечанию пока-
зывается, что а - алгебра - это класс множеств, замкнутый
относительно дополнений и счетного числа объединений и пе-
ресечений.

Определение Пусть А - класс подмножеств из О . Суще-
ствуют а - алгебры, содержащие класс А (например, Т’(П) -
множество всех подмножеств из П). Пересечение всех а - ал-
гебр, содержащих класс А называется а - алгеброй, порожден-
ной классом А и обозначается а {А} .

Ясно, что а {А} - это наименьшая а - алгебра, содержащая
класс А.

Примеры.

1.	Самая «бедная» (наименьшая) а - алгебра А = {0, О}
называется вырожденной. Самая «богатая» - это Т’(О).

2.	Наименьшая а - алгебра, содержащая множество А:
сг{А} = {0,0, А, А}.

3.	Если О - не более, чем счетное множество (О =
{ид,со2, ...}), то <т{ид,со2, ...} = Р(П). Это следует из того, что
любое подмножество из О является конечным или счетным
объединением элементарных событий ид, г = 1,2,...

4.	а - алгебра В, порожденная классом всех открытых мно-
жеств из Ж, называется борелевской а - алгеброй на №.

5.	а - алгебра Вп, порожденная классом всех открытых
множеств из Ж", называется борелевской а - алгеброй на Ж".

Коротко поясним, как в формальной теории вероятностей
вводится понятие вероятности. В некоторых простых ситуа-
циях у нас есть ясное интуитивное представление о том, что
такое вероятность. Скажем в случайном эксперименте с конеч-
ным числом равновозможных элементарных исходов (в даль-
нейшем это будет названо классической схемой) вероятность
Р(А) случайного события А считается как отношение числа
благоприятных для этого события исходов к числу всех эле-
ментарных исходов. Определенная таким образом вероятность
очевидным образом неотрицательна, вероятность достоверно-
го события равна 1 (Р(О) = 1) и если события А и В не
могут произойти вместе, то Р(А О В) = Р(А) + Р(В).

В аксиоматической теории вероятностей дается так назы-
ваемое дескриптивное определение вероятности, то есть веро-
ятность задается перечислением определяющих ее свойств. По
существу, вероятностью называется любой объект, обладаю-
щий перечисленными выше свойствами (только вместо послед-
него свойства в аксиомах теории вероятностей будет несколько
более сильное утверждение).

Получившуюся тройку (0,7-’, Р) называют вероятност-
ным пространством и оно является математической моделью
случайного эксперимента.

1.3.	Аксиомы теории вероятностей

В этом пункте приводятся формальные математические опре-
деления основных вероятностных объектов и доказываются
некоторые их свойства.

Пусть П = {^} - произвольное множество. Назовем П про-
странством элементарных исходов, а х € И - элементарны-
ми исходами (элементарными событиями).

Мы видим, что в формальной теории вероятностей элемен-
тарные исходы - это неопределяемые понятия, как точки в гео-
метрии. Однако, как указывалось в предыдущем пункте, при
решении конкретных задач в качестве элементарных исходов
будут выбираться конкретные исходы изучаемого эксперимен-
та, обладающие определенными свойствами.
Пусть А — сг-алгебра подмножеств из О . Множество А € А
назовем случайным событием, а элемент х € А - благопри-
ятным для А элементарным исходом. Будем говорить, что
событие А происходит (выполняется) тогда и только тогда,
когда происходит какое-либо х € А. Множество всех элемен-
тарных исходов П назовем достоверным событием, а пустое
множество 0 = 0- невозможным событием.

Определение. Вероятностью на алгебре А называется
числовая функция Р(А) аргумента А € А, удовлетворяющая
следующим свойствам (аксиомам):

А1. Р(А) >0, А е А;

А2. Р(О) = 1;

АЗ. Если А„ € А, п = 1,2,..., Аг П А7- = 0, г / ./ и
0 Ап € А, то
п—1

рШ Ап) =Ер(Ап).

\п=1	/	п=1

Аналогично определяется вероятность на сг-алгебре А: по-
нятно, что в этом случае в аксиоме АЗ нет надобности пред-

полагать, что А„ € А.

п—1

Замечание. Свойство АЗ называется а-аддтитвностью
меры Р.

Определение. Тройка (П,А, Р) называется вероятност-
ным пространством.

Замечание. Вероятностное пространство является мате-
матической моделью случайного эксперимента. Формализа-
ция вероятностного эксперимента, о которой говорилось выше,
означает построение подходящего вероятностного простран-
ства.

Приведем таблицу соответствия теоретико-множественных
и теоретико-вероятностных терминов.
Соответствие между теоретико-множественными и
теоретико-вероятностными терминами

Обозна- чения	Теоретико-множест- венная терминология	Теоретико-вероят- ностная терминология
	неопределяемый объект	элементарный исход
0	множество всех ш  (произв. множество)	множество всех  элементарных исходов
у	сг-алгебра подмно- жеств из 0	множество всех  случайных событий
А е /Г	Измеримое множество	случайное событие
ш € А	элемент из А	благоприятный для А исход, А происходит тогда и только тогда, когда происходит хотя бы один исход ш € А
0	пустое множество	невозможное событие
Айв	объединение А и В	событие А или В
АПВ (А-В)	пересечение А и В	событие А и В
А	дополнение до А	событие не А
А В = 0	А и В не пересека- ются	А и В несовместны
А + В	А и В, если  А В = 0	А или В, если А и В несовместны
А с В	включение	если произошло А, то произошло В
Р	нормированная мера	вероятность
(0,^, Р)	измеримое простран- ство с мерой	вероятностное пространство
Свойства вероятностей.

Р1. Р(0) = 0;

◄	П + 0 = 9. С помощью аксиомы АЗ получаем
Р(И) = Р(И) + Р(0). ►

Р2. Р(А) = 1 - Р(А);	_

◄	А+А = И. Из аксиом А2 и АЗ выводим Р(А)+Р(А) = 1.
►

РЗ. Если А С В, то Р(А) < Р(В);

◄	А + АВ = В. С помощью аксиом А1 и АЗ получаем
Р(В) = Р(А) + Р(АВ) > Р(А). ►

Р4. Р(А) < 1;

◄	Следует из РЗ. ►

Р5.) Р(АиВ) = Р(А) + Р(В) — Р(АВ);

◄	Из аксиомы АЗ легко выводятся соотношения
Р(А и В) = Р(А) + Р(АВ), Р(АВ) + Р(АВ) = Р(В), из
которых следует Р5. ►

Р6.Р ШаД = 52 Р(Аг) - 52 Р(АЛ;)+

\г=1	/	1<г<п	1<г<Э<п

+	52	Р(АгА^А,)-... + (-1)п-1Р(А1...Ап);

1<2<5<Й<П

◄	Доказательство получается индукцией из Р5 (подробное
доказательство - самим). ►

Р7. Р ( 0 аД < Е Р(АД

\7=1	/	^=1

◄	Легко проверить, что А7- = Ах +	А1...АП-1АП,

7=1	«=2

где слагаемые в правой части попарно несовместны. Отсюда с
помощью аксиомы АЗ и свойства РЗ выводим

Р О А, =Р(А1) + 52р(А1...А„_1А„) <^Р(АД.

\7 = 1	/	п=2	у=1
Определение. Полувероятностъю на алгебре А называ-
ется числовая функция Р(А) аргумента А € Л, удовлетворя-
ющая следующим свойствам (аксиомам):

1) Р(А) > О, А € Л; 2) Р(П) = 1;

3) Если Ай € А, к = 1,2, ...п, Аг П А, = 0 г / ) то

р(й Ап) =Ёр(Ап)-

Замечание. Свойство 3) называется конечной аддтитв-
ностью меры Р.

Будем писать А„ А, п ос в случае, когда

Ап С Ап+х, п = 1, 2,... и А = и Ап.

П—1

Аналогично, В„ (, В, п ос, если В„+х С В„, п = 1, 2,...

и В = П В„.

П — 1

Теорема 1 (Теорема о непрерывности вероятностной меры).

Пусть Р - полувероятностъ на алгебре А. Тогда следую-
щие условия эквивалентны:

а)	а-аддитивность (т.е. Р - вероятность);

б)	Непрерывность снизу:

Если А„ Т А € А, то Р(А„) —> Р(А), п —> ос;

в)	Непрерывность сверху:

Если В„ ]. В € А, то Р(В„)	Р(В), п ос;

г)	Непрерывность в нуле:

Если В„ ), 0, то Р(В„)	0, п ос.

◄ а)=> б). Пусть Сх = Ах, С„ = А1...А„-1А„, п = 2, 3,...

Тогда Ап = С1 + ... + С„, А = ^ Сь СгС7- = 0, г / ). Имеем
к=1

Р(А) = РШСИ =Ёр(с*) =„1™оЁр(с^) =
\/с=1	/	к=1	к=\

= Ит Р| НСи = Пт Р(Ап).

\/с=1	/
б)=> в). Свойство в) сводится к б), если положить
Ап — В„, п — 1,2,...

в)=> г). Очевидно.

г)=> а). Пусть АгА7- = 0, г / 7, Ай € А,
к — 1

В„ = и А/.,. Тогда В„ (, 0, п -> оо и

к=п-\-1

Р(А) = Р 0 Ай + В„ = Р(Ай) + Р(В„)	52 Р(Ай).

\/г=1	/	/г=1	/г=1

Замечание (О задании вероятностной меры).

Чаще всего вероятность удается построить (задать) на
некоторой алгебре (скажем, на алгебре конечных объединений
полуинтервалов на Ж). Продолжить эту вероятность на наи-
меньшую сг-алгебру, содержащую данную алгебру позволяет
следующая теорема, приводимая без доказательства.

Теорема 2 (Теорема Каратеодори). Пусть Р - вероятность
на алгебре А. Тогда существует единственная вероятность
О, на а-алгебре <т{А} такая, что Р = на А. (То есть, суще-
ствует единственное продолжение вероятности Р с алгебры
А на

1.4.	Условные вероятности

Формальное определение условной вероятности предварим по-
ясняющим примером на основе так называемой классической
схемы.

В некоторой компании п девушек, из которых к красивых,
I замужних, и г красивых и замужних одновременно. Молодой
человек с серьезными намерениями увидел красивую девушку
и решил оценить шансы того, что она замужем, т. е. посчи-
тать вероятность того, что эта девушка замужем, если точно
известно, что она красивая.
Обозначим через К и 3 случайные события, состоящие в
том, что наудачу выбранная девушка красивая и замужняя
соответственно. Тогда

Р(К) =	Р(3) = Р(КЗ) = -.

п	п	п

Если точно известно, что девушка красивая, то число всех воз-
можных исходов равно к (число красивых девушек), а если
необходимо вычислить вероятность того, что она замужняя,
то число благоприятных исходов равно г (число замужних де-
вушек среди красивых). Обозначим через Р(3|К) вероятность

того, что девушка замужняя, если известно, что она красивая.

Тогда

Р(3|К) = ^

г/п _ Р(КЗ)
~к/7т.. ~ Р(К) ’

Определение. Пусть А и В - случайные события и
Р(В) > 0. Условной вероятностью события А при условии,
что В произошло (если известно, что В произошло), называ-
ется число

Р<А'В> = РрЛг"'

Замечание. Нетрудно проверить, что Р(А|В) при фикси-
рованном В (как функция аргумента А ) является вероятно-
стью, т. е. для нее выполнены аксиомы вероятности.

Основное применение условных вероятностей - вычисление
вероятностей произведений зависимых событий. Действитель-
но, из определения условной вероятности следует, что

Р(АВ) =Р(А)Р(В|А).

Эта формула легко обобщается на случай произведения п
событий:

Р(А1А2...А„) = Р(А1)Р(А2|А1)...Р(А„|А1...А„_1). (1.1)

Несмотря на громоздкий вид, эта формула довольно есте-
ственна: при вычислении вероятности каждого события учи-
тывается его «предыстория», т. е. вычисляется произведение
условных вероятностей, в условие которых ставятся события,
вероятности которых были вычислены раньше.

Пример. Вероятность угадать пять номеров в спортлото
«5 из 36» можно легко вычислить комбинаторными методами:

_ 1 _	1 -2 -3-4-5

Р5 ”	” 32 • 33 • 34 • 35 • 36

Посчитаем эту вероятность с помощью формулы для веро-
ятности произведения произвольных событий. Будем считать,
что имеются пять «счастливых» клеток и обозначим через Аг
событие, состоящее в том, что г-я зачеркнутая клетка окажет-
ся «счастливой», г = 1,..., 5. Тогда Р(Ах) = 5/36 (из 36 клеток
пять «счастливых»). Р(А2|Ах) - вероятность того, что вторая
клетка «счастливая», если первая была тоже «счастливой». Из
оставшихся незачеркнутых 35 клеток четыре «счастливых»,
следовательно, Р(А2|Ах) = 4/35. Аналогично вычисляется ве-
роятность того,что третья клетка «счастливая», если первые
две такие же: Р(Аз|АхА2) = 3/34 и т. д. С помощью (1.1)
получаем:

Р5 = Р(А1А2...А5) = Р(Ах)Р(А2|А1)х

хР(Аз|А1А2)Р(А4|А1А2Аз)Р(А5|А1А2АзА4) =

_ 5	4	3	2	1

“ 36 ' 35 ' 34 ' 33 ' 32

1.5.	Независимость случайных собы-
тий

Интуитивное представление о независимости случайных собы-
тий А и В можно сформулировать следующим образом: ин-
формация о том, что событие В произошло, никак не влияет
на вероятность события А. Другими словами, условная веро-
ятность Р(А|В) не зависит от В и, следовательно, равна Р(А).
Соотношение Р(А|В) = Р(А) при Р(В) > 0 равносильно ра-
венству Р(АВ) = Р(А)Р(В). Поэтому следующее определе-
ние вполне отвечает интуитивному понятию независимости.
Определение. Будем называть случайные события А и В
независимыми (и обозначать этот факт А#В ), если

Р(АВ) = Р(А)Р(В).

Отметим, что введенное определение независимости даже
несколько шире интуитивного представления: существуют, на-
пример, события, не зависящие сами от себя. Такими являют-
ся, в частности, события вероятности ноль или вероятности
единица.

Нетрудно проверить, что если А#В, то А# В, А#В и
А#В. “

Если А#В, В#С и А#С (т. е события А, В и С попар-
но независимы), то естественно возникает вопрос - будут ли
независимыми А и ВС , Аи В и С ит. д.? Если, скажем,
А#ВС, то должно выполняться равенство:

Р(АВС) = Р(А)Р(ВС) = Р(А)Р(В)Р(С).	(1.2)

Пример. На трех гранях правильного тетраэдра написаны
буквы А, В и С соответственно, а на четвертой - слово из трех
букв А, В и С. Будем обозначать буквой А случайное событие,
состоящее в том, что подброшенный тетраэдр упадет на пол
гранью, содержащей букву А. Аналогично введем события В
и С. Тогда

Р(А) = Р(В) = Р(С) = 2/4 = 1/2;

Р(АВ) = Р(ВС) = Р(АС) = 1/4,

так что А#В, В#С и А#С, но

Р(АВС) =	| = Р(А)Р(В)Р(С),

4 о

т.е. попарная независимость не влечет выполнение соотноше-
ния (1.2).

С другой стороны, выполнение равенства (1.2) не влечет
независимости какой-либо пары событий. Возьмем, например,
события А и В явно зависимыми, а С = 0. Тогда равенство
(1.2) выполнено, так как обе части в нем равны нулю, но, как
уже было сказано, А и В зависимы.

Из сказанного выше следует, что для того, чтобы дать ра-
зумное определение независимости трех событий А, В и С,
необходимо потребовать и выполнения равенства (1.2), и по-
парную независимость событий. Для совокупности из п собы-
тий аналогичные рассуждения приводят к следующему опре-
делению.

Определение. События А1,А2,...,АП называются неза-
висимыми, если для любого набора натуральных чисел
1 < 71 < 72 < ••• < ]к < п выполняется равенство:

Р(АЛАЛ...АЛ) = Р(АЛ)Р(АЛ)...Р(АЛ).

Замечание Несложно показать, что если события
А1, Аг,..., А„, В1,..., В к независимы, а события А и В получе-
ны из А1,..., А„ и В1,..., В к соответственно с помощью любых
теоретико-вероятностных операций, то А#В.

1.6. Формулы полной вероятности и
Байеса

Пусть А,Н1,Н2,... - случайные события, Нг П Н, = 0;
г / 7! А С и Н„. Тогда А = АН„, причем слагаемые в
последней сумме попарно несовместны. С помощью аксиомы
АЗ и определения условной вероятности получаем

Р(А) = ^Р(АН„) = ^Р(Нп)Р(А|Н„).

Эта формула называется формулой полной вероятности.

Замечание. Поясним смысл условий, накладываемых
на события, фигурирующие в формуле полной вероятности.
Условие Нг П Н, = 0, г / 7, означает, что события Нг,
г = 1,2,... попарно несовместны, т. е. никакие два из них
не могут происходить вместе. Условие А С ^Н, означает,
что если произошло событие А, то происходит одно из со-
бытий Н„, п = 1,2,... Это условие выполняется автомати-
чески, если 0Н„ = О, т. е. если хотя бы одно из событий

Н„, п = 1,2,... происходит обязательно (в этом случае гово-
рят, что Н„, п = 1,2,... образуют полную группу событий).

Замечание. Мы видим, что доказательство формулы
полной вероятности практически тривиально. Поэтому имеет
смысл пояснить, почему эту формулу выделяют в курсах тео-
рии вероятностей, дают ей специальное название и т. д. Дело
в том , что формула полной вероятности - это удобный спо-
соб оформления решений вероятностных задач определенного
типа.

Отметим, что при решении вероятностных задачах едва ли
не основную трудность представляет определение математи-
ческой модели или техники, на которую рассчитана данная
задача, т. е. прежде, чем решать задачу, нужно понять, что
она «на схему Бернулли» или «на формулу полной вероятно-
сти» и т. д. Очень часто кажется, что задачу можно решать
многими способами, и все они правильные, но почему-то дают
разные ответы.

Навыки выбора адекватной математической модели выра-
батываются достаточно непросто и исключительно путем тре-
нировки, путем решения большого числа задач.

Опишем вид задач, в которых целесообразно применение
формулы полной вероятности.

Предположим, что непосредственное вычисление вероятно-
сти события А или очень затруднительно, или вообще невоз-
можно, но вероятность А просто вычисляется при некото-
рых предположениях, т. е. можно вычислить условные вероят-
ности А при некоторых предположениях. Эти предположения
(условия) обычно называют гипотезами и обозначают Н„. Ес-
ли при этом они удовлетворяют условиям, описанным выше в
замечании и вычисляются вероятности событий Н„ то вероят-
ность события А находится по формуле полной вероятности.

Пример. Студент Сидор идет на экзамен, зная к билетов
из п {к < п). Когда ему лучше заходить, чтобы вероятность
вытащить «счастливый» билет была максимальной?

1)	Если студент идет первым, то ясно, что вероятность вы-
тащить «счастливый» билет равна к/п.

2)	Пусть студент заходит вторым и не знает, какой билет
взял первый вошедший. В данной ситуации хорошо просмат-
ривается, что задача рассчитана на формулу полной вероят-
ности: вероятность вытянуть «счастливый» билет легко счи-
тается, если знать, какой билет взял вошедший первым.

Вводим следующие гипотезы:

Нх - зашедший первым вытащил «счастливый» (для Си-
дора) билет;

Нд - зашедший первым вытащил «несчастливый» (для Си-
дора) билет.

Через А обозначаем событие, вероятность которого необ-
ходимо найти:

А - Сидор, войдя вторым, вытащил «счастливый» билет.

Легко видеть, что события Нх и Нд образуют полную груп-
пу несовместных событий, т. е. условия, накладываемые на со-
бытия, входящие в формулу полной вероятности, выполнены.
Имеем

к	, п — к

Р(Нх = Р(Н2 =------------.

п	п

Далее Р(А|Н1) - вероятность того, что зайдя вторым, Сидор
вытянет «счастливый» билет, если до него вытащили «счаст-
ливый» билет, а Р(А|Нд) - вероятность того же события, но
при условии, что вошедший до Сидора вытащил «несчастли-
вый» билет. Следовательно

Р(А|Нх) = ^|; Р(А|Нд) = -^,
п — 1	п — 1

так что по формуле полной вероятности

_, . , к к — 1 п — к к к

Р(А) = — •	- -I •	- = — .

п п — 1 п п — 1 п

Автор отдает себе отчет о степени разочарования, которое
должно охватить читателя: ведь будь найденная вероятность
больше или меньше, чем вероятность вытащить «счастливый»
билет, зайдя на экзамен первым, то эту информацию можно
было бы использовать для выявления оптимального момента
сдачи экзамена. Но безжалостная теория вероятностей не да-
ет нам такого шанса и утверждает, что вероятность вытащить
«счастливый» билет одинакова и для зашедшего первым, и
для зашедшего вторым, и для зашедщего третьим, и т. д. Да-
же если вы идете последним и перед вами лежит один един-
ственный билет, то вероятность того, что он «счастливый» - та
же самая - к/п (если, конечно, вы не знаете, что вытаскивали
другие). Между прочим, это вполне согласуется со здравым
смыслом: данной вероятности «не от чего меняться»; она бы
могла измениться, если бы поступила какая-нибудь информа-
ция о зашедших на экзамен до вас (скажем, кто как сдавал
или какие билеты «ушли» и т. и.). Как вероятность меняется
в зависимости от поступившей информации будет рассказано
ниже.

в форму-
события,

Пусть выполнены те же предположения, что и
ле полной вероятности: А,Н1,...,Н„ - случайные
Нг О Н, = 0; г / Д А С Н„. Тогда

Р(НЛ1 = РАН') = Р(Н,)Р(А|НД =

Р(А) ЕР(Н„)Р(А|Н„)’ 7

1,2,...

Эти формулы называются формулами Байеса.

Замечание. Опишем вид задач, рассчитанных на приме-
нение формул Байеса. Пусть выполнены условия применимо-
сти формулы полной вероятности, т. е. вероятность интересую-
щего нас события А можем вычислить при некоторых предпо-
ложениях (гипотезах) Нп, п = 1, 2,... и известны вероятности
самих этих гипотез. Но, в отличие от задачи, рассчитанной на
формулу полной вероятности, известно, что событие А про-
изошло. Очевидно, что эта информация изменяет вероятно-
сти гипотез Н„. Формулы Байеса как раз дают возможность
пересчитывать вероятности гипотез с учетом поступившей
информации.
Кстати, задачи, рассчитанные на формулы Байеса, легко
опознаются по следующему признаку: в них практически все-
гда открытым текстом говорится «известно, что что-то (неко-
торое событие) произошло». Это событие сразу обозначается
через А, для него обычным способом подбираются гипотезы
и т. д.

Замечание. Вероятности гипотез Р(Н„), п = 1,2,... вы-
численные без учета информации о результате случайного
эксперимента (о событиии А), называют априорными веро-
ятностями гипотез (от латинского а рпоп - «из предыдуще-
го», на основании ранее известного), а условные вероятности
Р(Н„|А), п = 1,2,... - апостериорными вероятностями гипо-
тез (от латинского а рое^егюгт - «из последующего», исходя из
опыта).

Пример. В задаче о «счастливых» билетах (пример 4)
априорные вероятности того, что зашедший первым вытащил
ваш «счастливый» или «несчастливый» билет равны соответ-
ственно:

Р(Нх) =	Р(Н2) = —

п	п

Предположим теперь, что зайдя вторым, вы сдали экзамен.
Информация об этом естественно должна увеличить «шансы»
гипотезы Н2 (т. е. вы стали «больше склоняться к мысли», что
до вас вытащили «несчастливый» для вас билет) и уменьшить
«шансы» гипотезы Нх. Действительно, по формулам Байеса
апостериорные вероятности гипотез

Р(Н2)Р(А|Н2) _ п — к к кк\ Г_п-к

Р(А)	п п — 1 \ п / п — 1 ’

Р(Нх)Р(А|Н1) _ к к-1 кк\ Х_/г-1

Р(А) п п — 1 \ п /	п — 1

п — к

Мы видим,
Р(Нх|А)<

что Р(Н2|А) >

Р(Нх).

Р(Н2),

п
1.7.	Примеры вероятностных про-
странств

В этом пункте приведем три примера случайных экспери-
ментов и соответствующие им вероятностные пространства
(математические модели этих экспериментов). Термин «схе-
ма» используется как для обозначения случайных эксперимен-
тов, так и их математических моделей (вероятностных про-
странств).

1.7.1.	Классическая схема

Пусть П = {_Г|. .ел..... _г„ } произвольное конечное множество.
Так как П конечное множество, то в качестве случайных со-
бытий будем рассматривать произвольные подмножества из П,
то есть ст-алгебра Т7 = Т’(П) - множество всех пожмножеств
из П. Далее, положим Р(саг) = 1/п, г = 1,2, ..., п. Этим веро-
ятность Р определена полностью, так как если А Е Т7. то в
силу аксиомы 3

р	Р( )	числ0 благоприятных для А исходов

'	п число всех элементарных исходов

Построенное вероятностное пространство (П, Т7. Р) назовем
классической схемой. Понятно, что классическая схема явля-
ется математической моделью случайного эксперимента с ко-
нечным числом равновозможных элементарных исходов.

Пример. Бросание симметричной игральной кости. Эле-
ментарные исходы эксперимента сщ - выпадение г очков на
верхней грани, г = 1,..., 6. Так как кость симметрична, все 6
исходов имеют одинаковые вероятности, равные 1/6.

Пример. Двукратное бросание игральной кости. Исходы
(г, ]) - выпадение г очков на первой кости и / очков на второй -
являются равновозможными с вероятностями, равными 1/36.
Если в качестве исходов взять [г, /] - на одной кости (не важно
на какой) выпало г очков, а на другой - то такие исходы уже
не будут равновозможными. Например, исход [1,1] совпадает с
(1,1) и имеет вероятность 1/36, а исход [1,2] происходит тогда,
когда выполняется или (1,2), или (2,1) и, следовательно, имеет
вероятность 2/36.

Проверяйте равновозможностъ исходов эксперимента.
Если исходы не являются равновозможными, то экспери-
мент не является классической схемой и применять к нему
дальнейшие результаты нельзя.

Основной техникой, использующейся при решении задач
на классическую схему, является комбинаторика. Ниже при-
водятся некоторые комбинаторные понятия и результаты.

Элементы комбинаторики.

В этом пункте приводится несколько более «серьезное» из-
ложение некоторых основных понятий и результатов комби-
наторики, чем встречающееся обычно в учебниках по теории
вероятностей, с тем, чтобы изложенный материал мог быть ис-
пользован в качестве справочного. Такое изложение вызвано
многочисленными обращениями студентов (и бывших студен-
тов) за консультациями по комбинаторным задачам, не рас-
сматривающимся в стандартных вероятностных курсах.

Пусть X = {1,2,...,/;} и 11 = {«х, и?,..., ып} ~ множество,
упорядоченное своими индексами (то есть, полагаем щ < и^,
если г < /). Выборкой объема к из множества 11 назовем
отображение : X —> 11, то есть у = {<у(1), </?(2),..., <р(к)} =
= {аг1,щ2, ...,щк} - некоторый набор из к элементов из мно-
жества 11.

Мы будем (в данном курсе) различать выборки по двум
критериям: упорядоченность и наличие повторений.

Множество всех отображений у : X 11 обозначим IIх и
назовем множеством упорядоченных выборок с повторениями.

Отображение у называется инъективным, если при г / /
/ у(/).

Множество инъективных отображений у : X 11 обозна-
чим 1(п, к) и назовем множеством выборок без повторений.

Ясно, что элементы в выборке у = {у(1),у(2), ...,у(/г)} =
= {аг1, щ2,..., щк} с повторениями могут повторяться сколь-
ко угодно раз, т. е. можно считать, что извлеченный элемент
возвращается обратно и затем может появиться снова на дру-
гом месте. Такие выборки называются еще выборками с воз-
вращением. В выборке без повторений (или без возвращения)
каждый элемент может встретиться не более одного раза.

Отображение у называется монотонным, если при г < ]
< </?(;).

Множество монотонных отображений у : X II обозна-
чим М(п, к) и назовем множеством неупорядоченных выборок.

Таким образом, в неупорядоченной выборке
{<у(1),у(2),...,у(А:)} элементы удовлетворяют условию
у(1) < у(2) < ••• < у(/г). Это можно интерпретировать
так: мы перестали различать выборки, состоящие из од-
них и тех же элементов, но отличающиеся порядком их
расположения и отождествили все эти выборки с той, у
которой элементы стоят в порядке возрастания. Проще
говоря, упорядоченные выборки, состоящие из одних и тех
же элементов, но отличающиеся порядком их расположе-
ния, различаются, а неупорядоченные - не различаются.
Скажем, при <у(1) / <у(2) {<у(1), <у(2)} и {<у(2), <у(1)} - это
две различные упорядоченные выборки, но существует одна
неупорядоченная выборка {<у(1),у(2)}, которую мы полу-
чили «перестав различать» выборки, отличающиеся только
порядком элементов.

Отображение у называется строго монотонным, если из
г < ] следует у(г) < у(;).

Множество строго монотонных отображений у : X II
обозначим 8М(п, к). Ясно, что 8М(п, к) = 1(п, к) О М(п, к). На-
зовем 8М(п, к) множеством неупорядоченных выборок без по-
вторений.

Упорядоченные выборки объема к из п элементов назы-
ваются размещениями из п по к и обозначаются круглыми
скобками: («у , щ2,..., му); неупорядоченные выборки объема
к называются сочетаниями из п по к и обозначаются квад-
ратными скобками: [а.у, му,..., щк].

Таким образом, можно рассматривать по крайней мере че-
тыре типа выборок:

(УП): Упорядоченные выборки с повторениями или разме-
щения с повторениями - это элементы из 17х.

(УБП): Упорядоченные выборки без повторений или раз-
мещения без повторений - это элементы из 1(п,к).

(НП): Неупорядоченные выборки с повторениями или со-
четания с повторениями - это элементы из М(п, к).

(НБП): Неупорядоченные выборки без повторениями или
сочетания без повторений - это элементы из 8М(п, к).

Пример. Пусть X = {1,2}, 17 = {111,112,^3} = {а,&, с}.
Тогда

Введем следующие обозначения:

= сагсП(п, к) - число упорядоченных выборок без
повторений или число размещений из п по к без повторений;

А„ = саг<117х - число упорядоченных выборок с повторе-
ниями или число размещений из п по к с повторениями;

= саг<18М(п, к) - число неупорядоченных выборок без
повторений или число сочетаний из п по к без повторений;

_Д;

С„ = саг(1М(11, к) - число неупорядоченных выборок с
повторениями или число сочетаний из п по к с повторениями.

Вместо терминологии выборок иногда удобнее (нагляднее)
использовать терминологию размещения шаров по ящикам.
Каждой выборке (аг1,щк) объема к из п элементов соответ-
ствует размещение к шаров по п ящикам, при этом первый шар
помещают в ящик с номером ?'х,к-й шар - в ящик с номе-
ром г а,. Упорядоченным выборкам соответствует случай, когда
все шары различимы (например, пронумерованы), а неупоря-
доченным выборкам - случай, когда все шары неразличимы
(одинаковы). Выборкам с повторениями соответствуют разме-
щения шаров без запрета, когда в каждый ящик помещается
сколько угодно шаров, а выборкам без повторений - размеще-
ния с запретом, когда в один ящик помещается только один
шар. Например, выборкам с повторениями в примере 1 соот-
ветствуют следующие размещения без запрета двух различи-
мых шаров по трем ящикам:

Соответствующие размещения шаров с запретом выглядят
следующим образом:
Таким образом:

—А'

Ап равно числу размещений к различимых шаров по п
ящикам без запрета;

равно числу размещений к различимых шаров по п
ящикам с запретом;

—А

Сп равно числу размещений к неразличимых шаров по п
ящикам без запрета;

С/, равно числу размещений к неразличимых шаров по п
ящикам с запретом.

Теорема 3 .

-т-А /.	. /	П!

1. А„ = пА; 2. АЛ„ = ------—;

(п — к)!

3.	Сп = ——-----—Сп = Сп1к—1-

п к\{п — к)\ п п+к 1

Вместо доказательства теоремы ниже предлагается подход,
позволяющий вычислять количество выборок с самыми общи-
ми свойствами (а не только тех, которые приводятся в теоре-
ме).

Пусть Л7- С Ко = {0,1, 2,...}, ] = 1,..., п, Л = {Лх,..., Л„).
Положим

жл) = п Е = ЕС»(Л)^-

к=0
Тогда

СА„(Л) =

СкД Ч- ... Ч- — к,
аз е

число решений
уравнения
Ох 4~ ••• + ап — к, (Е Л7-

Здесь под решением понимается набор (ах,...,а„) такой, что
€ Л7-, ] = 1, п и Ох + ... + ап = к.

Пример. Пусть Лх = {0,1}, Л2 = ]М, Л3 = {0,2,4,...}.
Тогда

= (1+1)(1 + 12 + ...)(1-И2 + ...) =

= С^(Л)г° + С^Л)*1 + С|(Л)^2 +...

Легко видеть, что С3(Л) = 0, С3(Л) = 1, С3(Л) = 2 и т.д.

Далее, каждому решению уравнения ах + ... + ап = к,
гу, е Л7- соответствует неупорядоченная выборка, содержащая
а3 элементов } = 1,..., п и размещение к неразличимых
шаров по п ящикам, в котором }-й ящик содержит а3 шаров.
И наоборот - каждой такой выборке и каждому такому разме-
щению соответствует решение уравнения. Таким образом

(число неупорядоченных выборок \
объема к таких, что число =
элементов равно а3 € Л7- у

(число размещений к неразличимых \
шаров по п ящикам, причем вмес-
тимость ] -го ящика равна а3 € Л7- у

Замечание. Слово «вместимость», использующееся здесь
за неимением более подходящего, не означает, вообще говоря,
«максимальное число входящих шаров». Означает оно здесь
следующее: если Л7- = {ах, од, •••}, то ]— й ящик может содер-
жать только или ах щаров или а2 щаров и т.д.

Пример. Пусть Л,- = {0,1}, ] = 1,...,п. Согласно ска-
занному выше, мы будем вычислять число неупорядоченных
выборок, в которых каждый элемент встречается не более 1
раза (выборки без повторений) или число размещений нераз-
личимых шаров по ящикам, в которые помещается не более
одного шара (размещения с запретом). То есть в данном слу-
чае С^(Л) = С„. Имеем

"	I

ф(лл) = (1+г = Е,,, ”•
к'.(п — к)’

следовательно С?) = — ---—, 0 < к < п.

к'.(п — ку.

Пример. Пусть Л,- = Но, 1 = 1, •••, «• Это означает, что в
выборках каждый элемент может встречаться сколько угодно
раз (выборки с повторениями) а шары размещаются по "без-
размерным" ящикам (размещения без запрета). То есть, в дан-
ном случае С„(Л) = С„. Имеем при |А| < 1

ф(^,л) = (1+ш2+...г = (1-*гп = Е	х)?,

71 — 1 !

—А:	(А: + 1)...(п + к - 1)	>,

следовательно С„ =	---------------- = С„

(?г — 1)!
к = 0,1,...

Пример. Покажем, как предложенная техника может ис-
пользоваться для вычисления числа выборок, типы которых
не фигурируют в теореме. Пусть, например, требуется найти
число размещений к неразличимых шаров по п ящикам, при-
чем в каждый ящик может поместиться не более з шаров (или,
что то же - число решений уравнения ах + ... + ап = к, причем

< -з, 1 = 1,2,...,п.) В этом случае Л7- = {0,1,..., я}, ] =
1, 2,..., п и, следовательно,

Ф(А, Л) = (1 + I + I2 + ... + А8)" = (1 - 1)-п (1 - 1з+1)п =

= ^Скп+к_11к^Си-1У^3+1\

к=0	д—0

откуда

с‘(Л) = Ё(-1)’с; 

7=0
Сделаем еще одно замечание по поводу вычисления С„(Л)
в общем случае. Как коэффициент при 1к в разложении Ф(С Л)
к Ф^ОД)

в ряд Тейлора, С„(Л) = -----—----. Если нужно получить

оценку или асимптотику для С„(Л), часто бывает весьма по-
лезным представление этого коэффициента по формуле Коши:

с„(Л) = — [ ф(г;Л) а о < а < 1.

’ 2тгг ] гк+г

1-|—а

Как правило, оценить, скажем, такой интеграл намного про-
ще, чем оценивать выражения типа того, которое получилось
в приведенном выше примере. Впрочем чаще всего явных вы-
ражений такого типа для С„(Л) вообще получить не удается и
тогда интегральное представление является чуть ли не един-
ственным путем изучения таких величин.

Покажем теперь, как построить аналогичную технику для
подсчета числа упорядоченных выборок.

Введем функцию

ШЛ) = П Е Й = Е^(Л)^,
к—О

где

СЕ]_ Ч- ... Н- — /ь,

к\

Заметим, что —-------- равно числу упорядоченных выборок

объема /г, содержащих од элементов иг, ап элементов ип,
или числу размещений к различимых шаров по п ящикам, при-
чем г-й ящик содержит сц шаров. Таким образом

(число упорядоченных выборок
объема к таких, что число
элементов равно оу € Л7-
число размещений к различимых
шаров по п ящикам, причем вмес-
тимость ] -го ящика равна оу € Л ,

Пример. Пусть Л7- = {0,1}, } = 1, Согласно сказан-
ному выше, мы будем вычислять число упорядоченных выбо-
рок, в которых каждый элемент встречается не более 1 ра-
за (выборки без повторений) или число размещений различи-
мых шаров по ящикам, в которые помещается не более одно-
го шара (размещения с запретом). То есть в данном случае
А^(Л) = А^. Имеем

Ф(^Л) = (1+^ = ^Г-^—
к—0 у '

. к п-
следовательно А„ = ----—.

(п — к)’

Пример. Пусть Л,- = Но, 1 = 1, •••, «• Это означает, что в
выборках каждый элемент может встречаться сколько угодно
раз (выборки с повторениями) а шары размещаются по "без-
размерным" ящикам (размещения без запрета). То есть в дан-
,	__Д;

ном случае А„(Л) = А„. Имеем

следовательно Ап = п .

Приведем иллюстративные примеры, демонстрирующие,
как выборки указанных типов могут появляться в комбина-
торных или вероятностных задачах.

Пример. Спортлото 5 из 36. Из 36 клеток на карточке за-
черкивают 5. Исходы этого эксперимента можно интерпрети-
ровать, как неупорядоченные выборки без повторений объема
5 из 36 чисел или как размещение пяти неразличимых шаров
(крестиков) по 36 ящикам (клеткам) с запретом (в одну клетку
- не более одного крестика). По теореме 3 число всех способов
заполнить карточку

361

С46=5!ЗП = 376992-

Пример. Спортпрогноз. Пусть, например, требуется на-
звать тройку призеров чемпионата России по хоккею (18 ко-
манд). Исходы данного эксперимента - это выборки объема
3 из 18 объектов (команд). Эти выборки естественно считать
упорядоченными («Авангард» - на первом месте, а «Динамо»
- на втором или наоборот - это соответствует разным трой-
кам призеров) и без повторений (на каждое место ставится
одна команда). Число всех способов назвать тройку призеров

,	18!

А . = — = 16 • 17 • 18 = 4896.

18	15

Пример. На автоматической камере хранения - четыре
диска с цифрами 0,1,...,9. Шифр на камере хранения - это вы-
борка объема 4 из 10 цифр. Шифры с разным порядком цифр
различаются, и цифры в шифре могут повторяться. Следова-
тельно, выборки естественно считать упорядоченными и с по-
вторениями, и число всех способов набрать шифр А10 = 104.

Пример. Домино. На каждой костяшке домино по два чис-
ла от 0 до 6. Эти числа могут совпадать (дубли), а кости с
разным порядком чисел (например, 2:1 и 1:2) не различают-
ся. Таким образом, имеем неупорядоченные выборки объема 2
из 7 чисел с повторениями. Число всех таких выборок (число
костей в домино)

С7 — С7+2_ 1 —

8!

2!6!=28'

Если «забивать козла» треугольными костями, на которых
будет по три числа от 0 до 6, то число таких костей будет равно

рЗ __ рЗ ____ 9. __ ,

^7 - ^7+3-1 -
Гипергеометрическое распределение.

В этом пункте рассматривается распространенная комби-
наторная схема, к которой можно свести решение большого
числа вероятностных задач.

Пусть имеется п объектов (шаров), из которых пх отмечен-
ных (окрашенных) и п2 = п — пх неотмеченных (неокрашен-
ных). Наудачу без учета порядка и без возвращения извлекают
к объектов (точнее - неупорядоченные выборки без повторения
считаются равновозможными). Нужно найти вероятность то-
го, что среди к извлеченных объектов ровно /д отмеченных и,
соответственно, к2 = к — к\ неотмеченных.

Рис. 1.1: Гипергеометрическое распределение

Исходами данного эксперимента являются неупорядочен-
ные выборки без повторений из п элементов объема к. Чис-
ло всех возможных исходов равно С^. Благоприятный исход
можно интерпретировать, как упорядоченную пару (а, 6), где
а - выборка из пх элементов объема к± (набор отмеченных
шаров), и Ь - выборка из п2 элементов объема к2 (набор неот-
меченных шаров). Число таких пар (а, 6) равно С^1 • С^, сле-
довательно искомая вероятность равна
Набор таких вероятностей при тах(0,А: — пд) < &х <
тт(А:, п1) называется гипергеометрическим распределением,
или гипергеометрическими вероятностями.

Описанную выше схему легко распространить на случай
нескольких типов объектов (шаров).

Пусть имеется пх объектов 1-го типа, пд - 2-го типа и т.д.,
пг - г-го типа, где пх + пд + ... + пг = п. Наудачу выбирают к
объектов (выборка неупорядоченная и без повторений). Тогда
вероятность того, что среди этих к объектов будет ровно Ад
объектов 1-го типа, Ад - 2-го типа и т. д., кг - г-го типа, равна

Р =

С'к? С'к-

' ^П2 ' ••• '

со

(1.3)

Набор таких вероятностей называется многомерным гипер-
геометрическим распределением.

Рис. 1.2: Многомерное гипергеометрическое распределение

Пример. Найти вероятность минимального выигрыша в
спортлото 5 из 36.

Имеется 36 клеточек, из которых 5 отмеченных (будем счи-
тать, что тираж уже прошел, имеется 5 «счастливых» клето-
чек, но мы их не знаем). Наудачу выбирается (зачеркивает-
ся) 5 клеточек, и нужно найти вероятность того, что среди
них 3 отмеченных («счастливых»). Согласно приведенной вы-
ше формуле

/^2

_ ^5 ' ^31

Р Г«5

^36

0,012.

По-видимому, полученная вероятность намного меньше,
чем ожидают от вероятности минимального выигрыша.

Пример. 52 карты сдают на четверых. Найти вероятность
того, что у конкретного игрока будет 5 пик, 4 червы, 3 бубны
и 1 треф. Имеем по 13 карт четырех типов (мастей), и нуж-
но найти вероятность того, что среди 13 наудачу выбранных
(сданных) карт будут 5, 4, 3 и 1 карта указанных мастей. По
формуле (1.3) получаем:

/^5	г^З

р = С13 ' Х^Хз 13 '	13 « о, 0054.

.52

1.7.2. Схема Бернулли

Пусть П = {У, Н}", то есть элементарными исходами яв-
ляются всевозможные слова длины п из двух букв У и Н:
х = {У,У,...,Н}. В качестве сг-алгебры .У. как и в классиче-
ской схеме, возьмем множество Т’(П) всех подмножеств из П.
Если - слово, содержащее к букв У, то положим Р(сщ.) =
рк (1 — р)п~к, 0 < р < 1 и тем самым полностью определим
вероятность Р на .У. Полученное вероятностное пространство
(О,7,Р) называется схемой Бернулли.

Опишем случайный эксперимент, математической моделью
которого является схема Бернулли (его мы также будем назы-
вать схемой Бернулли).

Этот эксперимент состоит в производстве п независи-
мых случайных экспериментов (испытаний) с двумя исходами
«успех» (У) и «неуспех» (Н). Независимость испытаний пони-
мается как независимость исходов в первом, втором и т.д. п-м
испытании.
Рис. 1.3: Схема Бернулли

Элементарные исходы данного эксперимента - это события
вида {У,У,...,Н}, то есть в первом испытании был успех, во вто-
ром - успех и т. д., в п-м - неуспех. Пусть вероятность успеха в
каждом испытании равна р. Тогда вероятность элементарного
исхода, содержащего ровно к успехов (и п — к неуспехов) равна
7-/?(1 — р)п~к.

Очевидные примеры схем Бернулли - серия выстрелов по
мишени (успех - попадание, неуспех - промах), серия бросаний
монеты (успех - орел, неуспех - решка) и т.д.

Пусть А/., - событие, заключающееся в том, что в п испыта-
ниях произошло ровно к успехов. Благоприятными исходами
для этого события являются их количество равно числу
размещений к неразличимых шаров (У) по п ящикам с запре-
том, то есть Ск. Обозначим Рп(&) вероятность к успехов в п
испытаниях. Тогда

РП(А:) = Р(Ад,) = Т>М = СкпРк(1-рГ-к-
~'к

Пример. Что вероятнее - выиграть у равносильного со-
перника три партии из четырех или три из восьми?

Испытание - партия, успех - выигрыш, р = Р(У) = 1/2.
Вероятность выиграть три партии из четырех это РДЗ) =

(|) (|) = |. Вероятность выиграть три партии из вось-
ми - р8(з) = сад3 Ш5 = < |.

Если полученный результат кажется странным, то это из-
за путанницы между вероятностью выиграть три партии из
восьми и вероятностью выиграть хотя бы три партии из вось-
ми. Последняя вероятность равна 1 — Р§(0) — Р§(1) — Рв(2) =
Щ«0,86.

Понятно, что во многих реальных задачах число испы-
таний п может быть настолько большим, что это вызовет
немалые трудности при вычислении сочетаний в формуле для
РД/г), даже если пользоваться, скажем, таблицами логариф-
мов факториалов. К тому же сами вероятности Рп(&) малы
при больших п, и ошибки от действий над колоссальными чис-
лами при вычислении Р„ (к) могут существенно превышать са-
му вероятность. В силу этого понятна необходимость в резуль-
татах, дающих асимптотику вероятностей Рп(&) при п оо.

Теорема 4 (Локальная теорема Муавра-Лапласа).

к — пр

Пусть х = х(п) = —	. д = 1 — р. Тогда если

у/пру

епр |ж(п)| < оо, то при п —> оо

◄ По условию |ж(п) | < ^ то есть — .Vу/прд < к — пр <
Их/пРЧ при всех п € К. Отсюда следует, что к = к(п) —> оо,
п — к —> оо, при п —> оо, и \р — р* | = О (п-1/2) , р* = к/п.
Воспользовавшись формулой Стирлинга п! ~ у/2тгпппе~п по-

лучаем

п!

к\(п — к)\

—===== ехр { - пН (р*)} ,
2ттр* (1 — р*)

Н (х) = х 1п —Ь (1 — х2) 1п-------

р	1 — р
50 - 100- -

-----^ = °’

У25

Нетрудно подсчитать, что Н(р) = 0, Н'(р) = 0, Н"(р) =

—I— = — .С помощью формулы Тейлора выводим Н (р*) =
р с/ /и/

1ТТ<<.	. । А . X (пФ _________,

-Я”{р){р* - р)~ + о(\р* - р -) = —--Ь о(п х), откуда

2	2п

1	Г х2	1

Р„ (*) = /о ехР + О„ (1) > . ►
х/2тгпрд	I 2

Пример. Какова вероятность	получить	50	орлов в	100 неза-

висимых бросаниях симметричной монеты?

Испытание - бросание монеты, успех - выпадение орла, р =
Р(У) = 1/2. По локальной теореме Муавра-Лапласа

1

Рюо(5О) « -^=ф(х), х
V 25

</(0) = —« 0, 4, Рюо(5О) « 0,08.

V 2тг

Представление о том, что эта вероятность близка к 0,5, связано
с путаницей между вероятностями получить ровно 50 орлов и
хотя бы 50 орлов.

Пример. Какова вероятность получить хотя бы 60 орлов
в 100 независимых бросаниях симметричной монеты?

Понятно, что эта вероятность равна Рюо(6О) + Рюо(61) +
... + Рюо(Ю0). Можно применить к каждому слагаемому ло-
кальную теорему Муавра-Лапласа и вычислить сумму, но, во
первых вычисления будут достаточно громоздкие (а если, на-
пример, число испытаний - миллионы и более, то практически
неосуществимые), а во-вторых, эти вычисления по сути бес-
смысленны. Можно показать, что ошибка приближения в ло-
кальной теореме Муавра-Лапласа имеет порядок о (щ1/2) , и
если, например, число складываемых вероятностей имеет пор-
док п, то суммарная ошибка может превысить и саму вероят-
ность, и единицу.

Поэтому для вероятностей такого типа, как в этом приме-
ре, доказана специальная предельная теорема, позволяющая
вычислять указанные вероятности с приемлемой точностью.
Будем обозначать РД^’хЛ’з) вероятность того, что в п ис-
пытаниях число успехов будет не меньше Ад и не больше к2.

Теорема 5 (Интегральная теорема Муавра-Лапласа).

к — пр

Если хг = хрп) = ----- и вир тг (п) < ос, г = 1,2, то

у/прд п

РгДАдДд) ~ $о(ад) - Фо(а;х), п ос,
где

Мы не будем здесь приводить доказательство этой теоре-
мы, в дальнейшем будет доказан значительно более общий ре-
зультат, так называемая центральная предельная теорема.

Замечание. Функция Фо(т) не является элементарной, од-
нако легко устанавливается, что она является нечетной стого
возрастающей функцией и Нт Фо(ж) = 1/2,

Рис. 1.4: Функция Фо(^)

Значения функции Фо (ж) обычно табулируются для
О < х < 4. Так как Фо(4) = 0,4999968..., то, полагая Фо(ах) «
1/2 при х > 4, мы получим погрешность не более, чем 10 5.
60 - 100 • |

В нашем примере =--------=-----= 2,

V 25

100 - 100- -

х2 = -----=—2- = 10, Ф0(2) = 0,4772, Фо(1О) « 0,5 и

V 25

Рюо(60,100) « Фо(1О) - Ф0(2) « 0, 028.

Локальная и интегральная теоремы Муавра-Лапласа дают
наилучшее приближение, когда уз = д = 1/2 и точность этого
приближения падает по мере приближения р или д к нулю.
Однако в реальных задачах часто встречаются схемы Бернул-
ли с весьма малыми вероятностями успехов (успех - крупный
выигрыш в лотерею, регистрация очень редкого заболевания и
т. и.) Для такого рода задач нужны специальные предельные
теоремы, дающие приемлемую точность при малых вероятно-
стях успеха. Однако «малый» в математике означает «стре-
мящийся к нулю», но вероятность успеха в схеме Бернулли -
константа и стремиться к нулю или хотя бы просто зависеть
от п она, естественно, не может. Чтобы формулировать и до-
казывать описанные выше предельные теоремы, нам придется
задавать последовательности схем Бернулли, тогда вероят-
ности успеха будут, вообще говоря, зависеть от номера схемы
Бернулли и можно сделать эти вероятности стремящиеся к ну-
лю.

Теорема 6 (Теорема Пуассона).

Пусть п-ю схему Бернулли образуют п независимых ис-
пытаний с вероятностью успеха рп в каждом испытании,
п = 1,2,... Обозначим через Рп(&) вероятность к успехов в
п-й схеме Бернулли. Если прп А > 0, п оо, и к не
зависит от п то

д/с
Рп(Л)	п

к!

◄ Имеем рп = Ап-1 + о(п-1). При любом фиксированном
к = 0,1,... получаем при п оо

п!	/	1 А	/	к — 1А

вп,к = 1—игй = 1 - - - 1--------------Х’

(п — к)\пК	\	п/	\ п )
Рп^к) = Скрк{1 - рп)п^к =

= Вп^—(прп)к

Замечание. Мы видим, что имеется 3 способа для вы-
числения Рп(&): точная формула, локальная теорема Муавра-
Лапласа и теорема Пуассона. Ясно, что точной формулой мож-
но пользоваться, когда п невелико, то есть когда есть реаль-
ная возможность вычислить с достаточной точностью все вхо-
дящие в эту формулу величины. При больших п естественно
воспользоваться предельными теоремами. Чтобы определить-
ся когда - какой, можно посмотреть на величину пр. В локаль-
ной теореме Муавра-Лапласа пр — ос а в теореме Пуассона
прп —> А < оо, так что, если пр невелико (скажем, в пределах
десяти), то это явное указание на то, что лучше использовать
теорему Пуассона.

Пример. Пусть п = 10000, р = 10 4, к = 1. Вычис-
ляя по точной формуле, получим Рюооо(1) = С]оооо10 1 (1 —
Ю-4)9999 « 0,367898, по локальной теореме Муавра-Лапласа

Рхоооо(1) ~	Ф(0) ~ 0,398962 и по теореме Пуассона

V 0, 9999

Рюооо(1) ~ е1 ~ 0,367879. Ошибка приближения по теореме
Пуассона (0,000019) в 1635 раз меньше, чем ошибка прибли-
жения по локальной теореме Муавра-Лапласа (0, 031064).

1.7.3. Геометрическая схема

Вероятностное пространство мы будем называть геометриче-
ской схемой, если оно является математической моделью слу-
чайного эксперимента, заключающегося в бросании точки на-
удачу на некоторое множество в Ж".

Пусть, например, эксперимент состоит в бросании точки
наудачу на [0,1]. В качестве элементарных исходов экспери-
мента можно взять события шх = {наудачу брошенная точка
имеет координату ж}, х е [0,1], причем, отождествив, есте-
ственно, х>х и х. Мы получим, что П = [0,1], а В С [0,1] отож-
дествляется с событием, заключающимся в попадании наудачу
брошенной точки в множество В. В предыдущих примерах в
качестве случайных событий мы могли брать любое подмно-
жество из О, эта возможность была следствием того, что О
в этих примерах было не более, чем счетно. Если же в на-
шем примере в качестве событий брать любые подмножества
из [0,1], то этим событиям должны быть приписаны некото-
рые вероятности, другими словами, на множестве всех под-
множеств из [0,1] нужно задать невырожденную меру; это,
кстати, составляет содержание так называемой трудной за-
дачи теории меры. Известно, что эта задача положительного
решения не имеет, то есть невырожденную меру на множестве
всех подмножеств из [0,1] построить невозможно, стало быть,
на множестве всех подмножеств из [0,1] вообще нельзя задать
вероятность. Поэтому нам придется какие-то множества из
[0,1] считать случайными событиями, а какие-то - нет. Чтобы
построить сколько-нибудь содержательную теорию, естествен-
но считать, что интервалы (попадания в интервалы) являют-
ся случайными событиями. Множество всех случайных собы-
тий по определению является сг-алгеброй, и, следовательно,
сг-алгеброй, содержащей все интервалы, лежащие в [0,1]. Не
требуя лишнего, будем считать, что множество всех случай-
ных событий - это наименьшая сг-алгебра, содержащей все
интервалы из [0,1], то есть Б[о 1] - борелевская сг-алгебра на
[0,1].

Теперь нам предстоит формализовать понятие «наудачу
брошенная точка». Будем интерпретировать это так: вероят-
ность попасть в множество В С [0,1] не изменится, если мы
это множество «сдвинем» в пределах отрезка [0,1], то есть ве-
роятность попасть в множества В и В + к = {а: + к : х Е В}
одинаковы, если оба эти множества принадлежат [0,1]. Таким
образом, мы считаем, что утверждение «точка брошена на-
удачу на [0,1]» означает, что вероятность попадания точки в
множество инвариантна относительно сдвигов. Но всякая мера
на [0,1], инвариантная относительно сдвигов, пропорциональ-
на мере Лебега (это следствие знаменитой теоремы Хаара-Фон
Неймана-Вейля об инвариантных мерах на локально компакт-
ных пространствах). То есть Р = С • тез, где тез обозначает
меру Лебега. Так как 1 = Р(П) = С  'тез[0,1], то С = 1 и
Р = тез.

Таким образом, мы получаем, что геометрической
схемой называется вероятностное пространство вида
([0,1],в[Од],тез) .

Если точку бросают наудачу на отрезок длины Ь (ска-
жем, [0,Т]), то, рассуждая аналогично, выводим 1 = Р(П) =
= Стез[0, Т], С = 1/Ь и Р = тез/Ь. То есть, вероятность на-
удачу брошенной точке попасть, например, на отрезок длины
I < Ь равна отношению длин 1/Ь.

Пусть теперь В С Ж", п > 1 некоторая область с конечной
мерой Лебега. Аналогично сказанному выше, понятие броса-
ния точки наудачу на В мы интерпретируем, как инвариант-
ность вероятности попадания в множество ВСП относитель-
но сдвигов и поворотов и в силу той же теоремы Хаара-Фон
Неймана-Вейля эта вероятность пропорциональна мере Лебе-
га в Ж". То есть, вероятность попадания точки в множество
ВСП равна отношению мер Лебега тез(В)/тез(В) (отно-
шению площадей, отношению объемов и т.д.)

Геометрическую схему можно рассматривать, как непре-
рывный аналог классической схемы, и там, и там элементар-
ные исходы «равноправны», в классической схеме вероятность
считается как отношение мощностей множеств, в геометриче-
ской схеме - как отношение мер Лебега.

Пример. (Парадокс Бертрана)

Найти вероятность того, что длина «случайной хорды»
единичной окружности будет больше длины стороны правиль-
ного вписанного треугольника (х/З) •

а)	Не ограничивая общности, можно считать, что один ко-
нец хорды фиксирован и совпадает с вершиной правильного
вписанного треугольника. В таком случае для второго конца
хорды остается 1/3 окружности, где он должен находитсья,
чтобы длина хорды была больше х/З. Искомая вероятность
равна 1/3.

Ь)	Не ограничивая общности, можно считать, что хорда
имеет фиксированное направление, перпендикулярное задан-
ному диаметру. Для того, чтобы длина хорды была больше
длины стороны правильного вписанного треугольника, нуж-
но, чтобы середина хорды лежала на этом диаметре на рас-
стоянии, меньшем, чем 1/4 от центра окружности. Искомая
вероятность равна 1/2.

с)	Хорда однозначно определяется положением ее середи-
ны. Для того, чтобы длина хорды была больше х/З, нужно,
чтобы середина хорды лежала внутри круга радиуса 1/2 с тем
же центром, что у исходного. Искомая вероятность считается,
как отношение площадей кругов и равна 1/4.

Рис. 1.5: Парадокс Бертрана

Спрашивается, какое решение правильное? Оказывается
все, просто в каждом случае решается другая задача. Это лег-
ко можно понять, если следить за положением середины хор-
ды. В первом случае середина хорды считается наудачу бро-
шеной на окружность радиуса 1/2 и касающейся (изнутри)
исходной окружности в точке, в которой зафиксирован конец
хорды. Во втором случае середина хорды наудачу брошена на
диаметр, перпендикулярный направлению хорды и в третьем
случае середина хорды наудачу брошена на круг радиуса 1/2
с тем же центром, что у исходного.

Вывод, который отсюда необходимо сделать - с понятием
«наудачу брошенная точка» нужно быть очень осторожным.
Чтобы избежать неясностей и различных толкований этого по-
нятия, можно всегда пользоваться сформулированным выше
принципом: «точка брошена наудачу на И» и «вероятность
попадания точки в множество В С И равна отношению мер
Лебега тез(В)/тез(П)» - это одно и то же утверждение.

Пример. (Задача Бюффона)

На плоскость, разграфленную параллельными прямыми,
находящимися на расстоянии 2а друг от друга, наудачу бро-
сают иглу длиной 21 < 2а. Найти вероятность того, что игла
пересечет какую-нибудь прямую.

Будем определять положение иглы параметрами х и </?, где
х - расстояние от середины иглы до ближайшей прямой и </? -
угол, отсчитываемый против часовой стрелки от этой прямой
до иглы. Ясно, что тогда 0 < х < а, 0 < </? < тг, а а игла
пересекает прямую тогда и только тогда, когда /811199 > х.

Понятие «иглу наудачу бросают» будем интерпретировать
так: точку (х, </?) наудачу бросают на прямоугольник [0, а] х
[0,7г]. Позже будет показано, что это, например, выполня-
ется, когда х наудачу выбирают из [0, а], наудачу выби-
рают из [0, тг] и х и независимы (соответствующее опре-
деление независимости также будет введено ниже). Вероят-
ность р того, что игла пересечет какую-нибудь прямую равна

1 к •	,	21

р = — / I виз р ар = —.
тга ц	тга

Данная задача получила известность в основном из-за того,
что она дает возможность с помощью случайного эксперимен-
та получать приближенные значения числа тг. Действительно,
пусть иглу бросили п раз и получили к пересечений. Относи-
тельная частота пересечений к/п в некотором смысле сходится
при п ос к вероятности р (в каком смысле и при каких усло-
виях имеет место сходимость см. в пункте «законы больших
21	21п

чисел»). Имеем тг = — « —— = тг .
тга ак

Проводилось множество экспериментов вероятностного
определения числа тг, результаты некоторых из них приведены
ниже в таблице.

Экспериментатор, год	1/а	п	к	7Г*
Вольф, 1850	0,8	5000	2532	3,1596
Де Морган, 1860	1	600	383	3,137
Лаззерини, 1901	0,833...	3408	1808	3,1415929
Гриджеман, 1960	0,7854...	2	1	3,1415926

По поводу потрясающей точности оценок в двух последних
экспериментах необходим комментарий. Результат опыта Лаз-
зерини обязан умелой остановке опыта в наиболее благоприят-
ный момент и большому везению: оценкой числа тг оказалось
известное приближение Щ, открытое Цу-Чунгши, а отклоне-
ние в этом эксперименте числа пересечений к на единицу при-
водит к изменению оценки для тг уже в третьем десятичном
знаке. В эксперименте Гриджемана «фокус» состоит в том,
что в качестве 1/а взято тг/4, тогда р = 1/2 и при п = 2, к = 1
относительная частота просто совпала с вероятностью, поэто-
му и тг* совпало с тг.
Глава 2

Случайные величины

2.1.	Меры и интегралы

Основной технический аппарат теории вероятностей - это тео-
рия меры и интеграла Лебега (Лебега-Стилтьеса). Использо-
вание этого аппарата делает изложение более логичным, есте-
ственным, а зачастую и существенно сокращает и упрощает
(!) изложение. Скажем, в учебниках для технических ВУЗов
обычно даются два определения математического ожидания
(для дискретных и непрерывных величин), затем для каж-
дого случая доказываются свойства математических ожида-
ний, дисперсий и т. д. С помощью же интеграла Лебега дается
единое определение математического ожидания для всех ти-
пов случайных величин (не только для дискретных и непре-
рывных), а большая часть свойств математического ожидания
просто явлются стандартными свойствами интеграла Лебега.
Излагать же, например, теорию случайных процессов без ис-
пользования интеграла Лебега - это все равно, что хирургу пы-
таться оперировать без использования медицинских инстру-
ментов.

В настоящем параграфе дается сводка основных понятий и
результатов теории меры и интеграла Лебега, которые будут
использоваться в данном курсе. Подробности и доказатель-
ства можно найти, например, в учебниках А. А. Боровкова и
А. Н. Ширяева.

Пусть П - произвольное множество, а А — сг-алгебра
подмножеств из П. Пару (О. А) называют измеримым про-
странством, а множества А е X - измеримыми (или А-
измеримыми). Мерой р на измеримом пространстве (П, А) на-
зывают неотрицательную сг-аддитивную функцию от измери-
мых множеств, то есть функцию, обладающую следующими
свойствами:

1.	Ц(А) >0, А е А;

2.	ц(0) = 0;

3.	Если Ап € А, п = 1,2,..., А^А^ = 0, I ], то
А ( 0 Ап 1 = У~) р(Ап).

\п=1	/	п=1

Тройка (П, А, р) называется измеримым пространством с
мерой.

Меру р называют конечной, если ц(П) < ос и а-конечной,
если существует разбиение П на счетное число подмножеств
конечной меры.

Примером пространства с конечной мерой является лю-
бое вероятностное пространство, а с а- конечной мерой - про-
странство (Ж, В, тез), где тез обозначает меру Лебега.

Пусть (X, Ах) и (У, Ау) - два измеримых пространства.
Будем говорить, что отображение / : X У измеримо, ес-
ли ./ ' (-А) е Ах,\А4 е Ху или, что то же /АХУ} С Ах-
В частности, измеримое отображение / : (№п,Вп)	(№т,Вт)

называется борелевской функцией. То есть, / : Ж" —> К"' -
борелевская функция, если /-1(Бт) С Вп.

В словесной форме: отображение измеримо, если прооб-
раз любого измеримого множества измерим. Возможно, лучше
прочувствовать это определение можно с помощью аналогии:
функция является непрерывной, если прообраз любого откры-
того множества открыт.

Функцию / : (П, А) (Ж, В) назовем простой или
ступенчатой, если она имеет вид: /(си) = ^2 хДщ(си),
г=1
x^ € Ж, А^ € Т7, А^А^ = 0, г 7^ / 12 А^ = О и

1 , , Г 1,	€ А	.

1л(^) = <	, . - индикатор множества А.

I I), СО (г У1

Если / : (О, Т7) —> (Ж, В) измеримая функция и /(О) > 0, то
существует последовательность простых функций {/„}, такая,
что /„(^) Т /(^) при любом ш € П. Если / : (Г/77)	(Ж, В)

измеримая функция, то / = /+ — / . где /+ = тах{/, 0} > 0,
/“ = - тт{/, 0} > 0.

Пусть (П, Т7, ц) - пространство с мерой и / : (П, Т7) —> (Ж, В)
измеримая функция. Интегралом Лебега от функции / по ме-
ре ц назовем число

У = <

52 х^{Аг), если / = 52 хг1А0^);

2=1 _	2 = 1

Ит / /п(О)р.(с1О), если/ > 0 и /„ Т /;

/ /+(сДц(йсД — / /_(сДц(йсД, если Г—произ-
о	о

вольная измеримая функция и/=/—/

В последнем случае предполагается, что хотя бы один из ин-
тегралов / /'(_с’)//(г/_с’) и 1 /-(сДц(йсД конечен, в противном
о	о

случае говорят, что интеграл не существует.

Естественно, доказывается корректность определения, то

есть существование написанных пределов и независимость их
от выбора последовательности простых функций.

Положим 1	/ /(с1?)1л(^)ц(^).

А	О

Доказываются стандартные свойства интегралов:

1.	Линейность:

/ 52 С'гУг	= 52	/ /г(^)^(^), О = СОП81;

А 1=1	1=1 А

2.	Монотонность:

Если / > д ц-почти всюду (то есть : /(^) < з(^)} = 0),
то

]7Нц(сМ > /дНр/сМ;
3.	Аддитивность

Если А = 0 Аг , А, П = 0, г / ], то
г=1

//Мм(^) = Е /

А	г=1Л,-

4.	Если / > 0 //-почти всюду и / /(си)ц(йс<;) = 0, то / = О
о

//-почти всюду;

5.	/= р{А);
А	о

6.	Формула замены переменной

Пусть Р - вероятностная мера на (П,^7), = ^(си) измери-
мое отображение (П,^7) в (Ж, В), Р^(В) = Р{^ € В} - веро-
ятностная мера на (Ж,В), а /-борелевская функция (то есть
измеримое отображение (Ж,В) в (Ж,В)). Тогда

У /(ем)р(^) = у /(ж)ре(сгх). (2.1)
о	в

Пусть Р^(х) = Р^(—ос, а:), х е Ж. Интеграл //(а:)Р^(йа:)
в

обозначают еще / /(х) бР^(х) и называют интегралом
в

Лебега-Стилтьеса. Используется также обозначение
(Т — 3) / /(х) бР^(х), чтобы подчеркнуть отличие этого инте-
в

грала от интеграла Римана-Стилтьеса (В — 3) / /(х) бР^(х),
в

определение которого мы сейчас приведем.

Пусть а = хо < XI < ... < хп+1 = Ь, х± € [ад_ 1, ад-),
Хп =	тах |а:г- — а.’2_х|, △ Е'^(а:г) = Е^(а:г) — Е^(а:г_1),

1<г<п+1

г = 1,..., п, и пусть 1п(/) = Е /($г)^^(а;»)- Тогда интегралом
г=1

Римана-Стилтьеса (Я — 3) / /(х) бР^(х) называется предел
[а,Ь)

= Нт понимаемый в следующем смысле: для лю-
Ап —>0

бого е > 0 найдется 6 > 0 такое, что как только Хп < 5, так
1^п(/) — ^(/)1 < е независимо от разбиения ац, ...,хп и от вы-
бора точек 2/, г = 1,..., п.
Если / - непрерывная функция, то (Е— 3) / /(х) <1Р^{х) =
[а,Ь)

= Н1 — 3) / /(х) йР^х) (мы будем обозначать этот интеграл
[а,Ь)

просто / /(т) ЕРе(ж)). По определению

[а,Ь)

если написанный двойной предел существует.

Ясно, что интеграл Римана-Стилтьеса удовлетворяет стан-
дартным свойствам интегралов (линейность, монотонность и
пр.), здесь мы отметим специфические свойства данного вида
интегралов.

1.	/ ЛР^х) = Р^Ь) - Р^(а);

[а,Ь)

2.

/ /(а’)^(^1(а’)+-?2(а’)) = / Дх)<1Р1{х) + / Дх)аР2{х);

[(2,5)	[<2,5)	[(2,5)

3.	Если а < с < Ь, то

У /(х)сгге(х)= у /(х)арс(х)+ у
[а,Ь)	[а,с)	(с,Ь)

/(х) с?Ге(х) + У /(х) (1Рс(х)
{е}

где последнее слагаемое - «интеграл по точке с» вычисляется
по формуле / /(х) ар^х) = /(с)[Г€(с + 0) - Г€(с)].

{е}

4.	Если Р^х) - абсолютно непрерывная функция, то есть

Р^{х) = / Ет, х € Ж, то

ь

У /(ж)с?Ге(х) = У /(х)ре(х)сгх;

[(2,5)	<2

(2.2)

(в правой части стоит интеграл Римана).
5.	Если Р${х) - ступенчатая функция со скачками р[ в точ-
ках х^ то есть Р^х) = 52 Рг, х € Ж, то

У /(т)^(т) = ^хгрг.

(2.3)

Это свойство непосредственно следует из двух предыдущих.

Свойства 4 и 5 означают, что и римановские интегралы и
суммы (в том числе и ряды) являются интегралами Римана-
Стилтьеса, с абсолютно непрерывной и ступенчатой интегри-
рующей функцией соответственно, что позволяет давать еди-
ную интерпретацию (скажем, вероятностную или механиче-
скую) сумм и интегралам, единым способом доказывать их
свойства и т.д.

Кратные интегралы.

Пусть Р - вероятностная мера на (П,^7),	=

..., Сп(^)} измеримое отображение (П,^7) в (Ж”,В”),
Р^(В) = Р{^ € В}, В -_В" - вероятностная мера на (Ж”, В"),
а / : Вп -» Ж - борелевская функция. Тогда формула замены
переменной имеет вид:

У /(€1,..,€п)Р(^) = у /(Ж1,...,

К™

хп)Р^(с1х1...с1хп).

(2.4)

Имеет место следующий результат о повторном интегриро-
вании:

Теорема 7 (Теорема Фубини).

Если Р^,^ = Р^ х Р^ (знак х здесь обозначает произведе-
ние мер), а / : Ж2 Ж - борелевская функция, то

Р>)(Ф/)

Имеется в виду, что если интеграл в одной из частей этого со-
отношения существует, то существует интеграл в другой части
и они равны.
Разложение мер и теорема Радона-Никодима.

Пусть д и д - две меры на (П,^7). Говорят, что мера
д абсолютно непрерывна относительно меры V (обозначение
д << V), если для всякого А е Р такого, что /у (А) = 0 выпол-
нется д(А) = 0. Меры д и д называются сингулрными (обо-
значение д ± /у), если существует такое € Т7, что д(Аг) = 0
и //(ТУ) = 0.

Теорема 8 .

Пусть д и V - две а-конечные меры меры на (П,^7).

а)	(Теорема Лебега о разложении)

Существует единственное разложение д = да + дс, где
да << р, а рс ± V.

б)	(Теорема Радона-Никодима)

д << V тогда и только тогда, когда существует един-
ственная с точностью до V-эквивалентности (т. е. с точ-
ностью до значений на множестве р-меры нуль) функция
/(си) такая, что при любом А е Р

Функция /(си) называется плотностью меры д относитель-
но меры V и обозначается /(си) = ^(си). Как следует из теоре-
мы Радона-Никодима, любая функция, отличающаяся от /(си)

на множестве /7-меры нуль, также является плотностью меры
д относительно V (вариантом плотности) и может использо-
ваться во всех рассуждениях «на тех же правах», что и /(си).

2.2.	Определение случайной величи-
ны

Пусть мы имеем случайный эксперимент и с этим эксперимен-
том связана некоторая величина «принимающая свои зна-
чения в зависимости от случая», случайная величина в «бы-
товом» понимании этого термина. Поясним, как можно фор-
мализовать это интуитивное представление о случайной вели-
чине.

Как указывалось раньше, всю информацию о случайном
эксперименте содержат в себе элементарные исходы, то есть,
зная, какой наступил элементарный исход, можно про любое
событие сказать произошло оно или нет. В частности, это мож-
но сказать о событии = ж} при любом х е №. Это просто
означает, что если мы знаем элементарный исход, то мы знаем,
чему равна наша величина; такое соответствие в математике
называется отображением или функцией (будем считать, что
каждому элементарному исходу соответствует единственное
значение случайной величины). Таким образом, в формальной
теории случайной величиной мы должны назвать отображение
: О К. Но, если мы хотим построить содержательную тео-
рию, мы вынуждены будем называть случайной величиной не
всякое отображение такого вида. Например, естественно по-
требовать, чтобы множества вида : а <	< Ь} являлись

случайными событиями, то есть мы должны иметь возмож-
ность вычислять вероятности попадания случайной величи-
ны в интервалы. В наших обозначениях и терминологии (см.
1.3) это означает, что Е,Ча.Ь) =	: а <	< Ь} е Т7, а так

как борелевская сг-алгебра В порождается интервалами, отсю-
да немедленно следует, что 1^ЧВ) = (Ф : ^(^) € В} е Т7 для
любого борелевского множества В, или, что то же	' (ФЗ ) С Т7.

Такое свойство отображений в предыдущем пункте названо
измеримостью. Таким образом, мы приходим к следующему
определению случайной величины.

Определение. Случайной величиной на вероятностном
пространстве (П,^7, Р) называется измеримое отображение
е : (О, Г) (Ж, В).

Напомним, что отображение : (П,^7)	(Ж, В) на-

зывается измеримым, если ^'(В) С Т7. или, что то же
^ ' (/>’ ) = (Ф :	€ В} € Т для любого В € В.

Отметим, что по нашему определению случайная величина
принимает только конечные значения.
Измеримые отображения / : (Ж”, В”) (Кт,Вт) мы на-
звали в 2.1 борелевскими функциями, в частности, функция
называется борелевской, если / '(В) С В (то есть,
./'(/>.) € В для любого В е В). Нетрудно показать, что ес-
ли - случайная величина, а /(а?) - борелевская функция то
1] = /(^) -случайная величина. Более того, если ^д, ...,^„ слу-
чайные величины и функция / : Ж" -» В борелевская, то
/(Сх, •••,€«) является случайной величиной. В частности, сум-
ма, произведение и частное двух случайных величин (при зна-
менателе, не обращающемся в нуль) являются случайными ве-
личинами.

Пример. Случайный эксперимент - бросание играль-
ной кости. Математической моделью эксперимента яв-
ляется вероятностное пространство (0,7-’, Р), где О =
{сед, ...,их6}, сщ ={выпадение г очков на верхней грани}, В =
Р(П) - множество всех подмножеств из О.

Пусть - число очков на верхней грани игральной кости.
Ясно, что тогда Цси,) = г, то есть отображает 9 в I-.. а условие
«г)1 (В) выполняется автоматически, поскольку в В содер-
жатся все подмножества из П. Таким образом, - случайная
величина.

Пример. На отрезок [0,1] наудачу бросают точку. Мате-
матической моделью этого эксперимента является геометри-
ческая схема: ([0,1],В[од], тез) .

Пусть 1] - координата наудачу брошенной точки на [0,1].
Тогда г)(ш) = их, ш € [0,1] и ц-1 (В) = В П [0,1] € Вдд]. Таким
образом, 1] - случайная величина.

В реальных задачах, как правило, нет необходимости зада-
вать случайные величины как функции от элементарных ис-
ходов, да и сами эти исходы обычно не выделяются. По сути
считается, что мы «знаем про случайную величину все», ста-
ло быть, «случайная величина задана», если мы можем ска-
зать с какой вероятностью наша случайная величина попада-
ет в любое заданное множество (в частности, с какой веро-
ятностью случайная величина принимает конкретные значе-
ния.) По определению случайной величины событиями явля-
ются только множества вида 1^ЧВ) =	: ^(си) € В}, то есть,

мы можем считать только вероятности попадания случайной
величины в борелевские множества.

Определение. Распределением случайной величины на-
зывается вероятностная мера на Ж, определяемая соотношени-
ем Р€(В) = Р{е &в}, в е В.

Сказанное выше означает, что мы будем считать случай-
ную величину заданной (или определенной), если задано ее
распределение.

Пример. Пусть - число очков на верхней грани играль-
ной кости. Если {1,2, ...,6} В, то Р^(В) = 0, то есть рас-
пределение Р< сосредоточено на множестве {1,2,..., 6}. Кроме
этого Ре{г{ = Р{^ = г} = 1/6, г = 1,...,6, и этим распре-
деление определено полностью. Если использовать «механи-
ческую терминологию», то можно сказать, что распределение
(единичная масса) сосредоточено в шести точках {1,2,...,6},
причем масса каждой точки одинакова и равна 1/6.

Пример. Пусть 1] - координата наудачу брошенной точки
на [0,1]. Тогда Р^(В) = Р{ц € В} = те.з(ВП[0,1]), то есть рас-
пределение Р^ сосредоточено на множестве [0,1], на котором
оно совпадает с мерой Лебега.

2.3.	Функция распределения и ее
свойства

Распределения случайных величин, как меры на борелевской
сг-алгебре на числовой прямой, являются не очень удобны-
ми объектами для определения и работы с ними. Вместе с
тем, поскольку борелевская сг-алгебра порождена интервала-
ми, более того, только интервалами вида (—оо,а?), х е Ж,
весьма правдоподобным кажется утверждение, что для за-
дания распределения достаточно задать только вероятности
Р^(—оо,а?) = Р{^ < ж}, х е Ж. Ниже это утверждение будет
доказано и тогда для задания случайной величины (в указан-
ном выше смысле) достаточно будет задать функцию одной
переменной Р$(х) = Р{^ < а:}.

Определение. Функцией распределения случайной вели-
чины называется Р$(х) = Р^(—ос, а:) = Р{^ < а;}, х е Ж.

Пример. Пусть - число очков на верхней грани играль-
ной кости.

Если х < 1, то Р^(х) = Р{^ < а:} = 0, если 1 < х < 2,
то Р^х) = Р{^ < а:} = Р{^ = 1} = 1/6, если 2 < х < 3, то
Р^х) = Р{^ < а:} = Р{(^ = 1) +	= 2)} = 1/3, и т. д., если

х > 6, то Р^х) = Р{^ < а:} = 1. Функция распределения -
ступенчатая со скачками величины 1/6 в точках х = 1,..., 6.

Рис. 2.1: Функция распределения случайной величины

Пример. Пусть у - координата наудачу брошенной точки
на [0,1].

Если х < 0, то Рп(х) = Р{?7 < а:} = 0, если х >
1, то РГ1(х) = Р{?7 < а:} = 1, а если 0 < х < 1, то
Рг/^х) = Р{?7 < а:} = Р{0 < // < а:} = х.
Рис. 2.2: Функция распределения случайной величины ц

Свойства функций распределения.

Р1. Р{а < е < Ь} = Р^Ь) - Р^(а);

◄	< а} + {а <	< Ь} =	< Ь}. Взяв вероятность от

обеих частей этого равенства получим требуемое свойство. ►

Р2.	Функция распределения не убывает

(р < у => Щх) < ЕЦу));

◄	Следует из свойства Г1 при а = х, Ь = ?/.►

РЗ. Нт Р^х) = 0, Пт Р^х) = 1;

◄	Пусть хп "Г оо, Ап =	< а:„}, п = 1,2,... Тогда

Ап Т{^<оо} = П. По теореме о непрерывности вероятност-
ной меры Р^хп) = Р{АП) Р{П} = 1- 7ф(а:) монотонная
функция, так что Р$(х) —> 1, х +оо. Второе соотношение
доказывается аналогично. ►

Р4. Р^х) непрерывна слева, то есть

Нт Р^х) = Р^х$), \/ад € №.
х^х0 — о

◄	Пусть хп "Г х, Ап =	< ад}, п = 1,2,... Тогда

Ап Т {€ < аф и по теореме о непрерывности вероятностной
меры Р^хп) = Р{АП) Р{^ < аф = Р$(х). В силу монотон-
ности Р^х) свойство доказано. ►

Р5. Р{^ < аф = Р^(х + 0) = Нт

◄	Пусть хп ], а:, Вп = {^ < а:„}, п = 1,2,... Тогда
Вп I {€ < аф и по теореме о непрерывности вероятностной
меры Р^хп) = Р{В„}	Р{^ < т}. В силу монотонности

Р^х) свойство доказано. ►

Гб. Р{^ = т} = Р^(х + 0) — Р^(х). В частности, если Р^(х)
непрерывна, то Р{^ = т} = 0 при любом х е №.

◄	Следует из свойства Г5 и определения функции распре-
деления. ►

Г7. Распределение и функция распределения случайной
величины однозначно определяют друг друга.

◄ Ясно, что распределение однозначно определяет функ-
цию распределения, так что будем доказывать, что по функ-
ции распределения можно однозначно восстановить распреде-
ление. Пусть Р^{х) - функция распределения, а Л - алгебра
конечных объединений полуинтервалов, то есть совокупность
множеств В = 0 [аг , &г), —ос < ах < О < а2 < ... < Ьп < +ос.

г=1

Положим Р?(В) = 52	— ЕДаО) • Из определения Р?(В)

г=1

и свойств Г2 и ГЗ следует, что Р? полувероятность на А (и,
следовательно, для нее выполняются свойства вероятностей
Р1 - Р6). Если мы докажем сг-аддитивность Р?, то Р? будет
вероятностью и Р? = Р< на А. В силу теоремы Каратеодори
тогда Р? = Р< на сг{Д} = В и свойство доказано в силу того,
что Р? однозначно определяется функцией распределения.

Будем доказывать сг-аддитивность Р?, для чего в силу тео-
ремы о непрерывности вероятностной меры достаточно пока-
зать непрерывность Р? в нуле, то есть если Вп е А, п = 1,2,...,
Вп 2 0, то Р?(В„)	0, п оо. Более того, это утверждение

достаточно показать для Вп С [—ЛО ЛО при любом .V > 0.
Действительно, при любом Вп е А Вп П [—Л\ ЛО € А

Р?(В„) - Р?(В„ П [-Л2 АО) < Р?(-оо, -ЛО + Р?[Л2 оо) =

= Р^-Ю + 1 - Р^Ю 0, ЛГ^ оо.

Из свойства Г4 следует, что

Р?[а,&—5) = ЕД&-5)-ЕДа) ЕД&)-ЕДа) =Р?[а,&), (ЦО,
так что для любого Вп = [аг , 6») С [—ТУ, ТУ) и любого
г=1

е > 0 найдется Сп € А, [С*„] С Вп С [— ТУ, ТУ] такое,

С

что Р?(ВП\С'„) < — ([Сп] - замыкание Сп). По условию
2"

р| Вп = 0, следовательно р| [(?„] = 0, и в силу компактно-

п—1	п—1

п0

сти множества [—ТУ, ТУ] найдется тг0 € К такое, что р| [(?„] =
п—1

0. Тогда

Г8. Функция Р\х) является функцией распределения (то
есть, существует вероятностное пространство (0,7-’, Р) и слу-
чайная величина на нем такие, что Р$(х) = Р\х)) тогда и
только тогда, когда она удовлетворяет условиям (свойствам)
Г2, ГЗ и Г4.

◄ Заметим, что в доказательстве свойства Г7 использо-
вались только свойства Г2, ГЗ и Г4 функций распределе-
ния, то есть, если в определении Р? вместо функции распре-
деления взять произвольную функцию Р\х), удовлетворяю-
щую свойствам Г2, ГЗ и Г4, то Р? будет вероятностью. По-
ложим П = Ж, У = В, Р = Р? и = х>. Тогда Р^(х) =
= Р?{^ : С(^) < а’} = Р?(—оо, х) = Р(х). ►

2.4.	Типы распределений

Согласно теореме Лебега о разложении мер, любое распределе-
ние случайной величины единственным образом представля-
ется в виде Р< = // + ?< где ц <Д тез, V ± тез. Мера V сосредо-
точена на множестве лебеговской меры нуль и это множество
может быть конечным, счетным или множеством мощности
континуум. В соответствии со сказанным дается следующая
классификация распределений.

1.	Распределение Р< называется непрерывным, если Р< аб-
солютно непрерывно относительно меры Лебега (Р^ <7 тез).
Сама случайная величина в этом случае также называется
непрерывной.

2.	Распределение Р< называется дискретным, если
сагсЩО) < 7Г|. то есть множество значений случайной величи-
ны (также называемой дискретной) не более, чем счетно. Так
как р» = 1, тез(^(Г1)) = 0, то в этом случае Р< ± тез.

3.	Распределение Р< называется сингулярным, если
Р« тез и саг<1^(0) = с, то есть множество значений слу-
чайной величины (которая называется сингулярной) - это
континуальное множество лебеговской меры нуль.

В силу теоремы Лебега о разложении мер, любое распре-
деление можно представить в виде Р< = аРн + /ЗРд + уРс,
а > 0, /3 > 0, у > 0, а + /3 + 7 = 1, Рн - непрерывное, Рд -
дискретное и Рс - сингулярное распределение. То есть, не су-
ществует других распределений, кроме указанных трех типов
и их «смесей».

Рассмотрим подробнее распределения каждого типа.

Дискретные распределения.

В этом случае множество значений случайной величины
^(О) = {ад, ад,..., хп,...} - конечная или бесконечная после-
довательность. Если задать вероятности рп = Р{^ = ад},
п = 1,2,..., то р«(В) = Е рп, и распределение, (а вместе
хпев

с ним, по нашей договоренности, и сама случайная величи-
на) заданы полностью. Таким образом, чтобы определить дис-
кретную случайную величину, достаточно задать, например,
следующую таблицу

ад ад

Р1 Р2

Рп

Рп = Р{^ = ад}.

Весьма наглядными являются механические представ-
ления, в которых дискретное распределение интерпрети-
руется, как система материальных точек с координатами
ад,х2,хп,... и массами рг,р2, ...,рп,... соответственно, а
Р^(В) как масса множества В.

Аналогично тому, как для случайной величины равной
числу очков на верхней грани игральной кости, нетрудно по-
казать, что функция распределения дискретной случайной ве-
личины с изолированными значениями является ступенчатой
со скачками величины рп в точках хп, п = 1,2,...

Рис. 2.3: Функция распределения дискретной случайной вели-
чины

Однако следует иметь в виду, что существуют дис-
кретные случайные величины, множеством значений ко-
торых является, например, множество всех рациональ-
ных чисел, являющееся всюду плотным на №. Любите-
ли острых ощущений могут попытаться построить, ска-
жем, функцию распределения дискретной случайной ве-

„ Г АЛ '	1

личины 4 с распределением Р = — >	=	------,, , ,

п)	(п+1)А:+1

А’, п € И.

Непрерывные распределения.

В этом случае Р< <Д тез и по теореме Радона-
Никодима существует определенная почти всюду функция
(х) такая,что Р^(В) = / Р{(%) Вт, В ев. Функ-
атез

ция р${х) (точнее - любая такая функция) называется плот-
ностью распределения случайной величины С Взяв в послед-
нем соотношении В = (—оо,а?), получим В$(х) = Р^(—ос, ж) =
/ р^(х)дх. Функции Р\(х), представимые в таком виде, на-
зываются абсолютно непрерывными, у них почти всюду суще-
ствует производная, равная Р^(х) = р$(х) п.в.

Плотность распределения очевидным образом удовлетво-

ряет свойствам

а)	р^(х) > 0 п.в.;

б)	/ р^(х)дх=1.

С другой стороны, любая функция, удовлетворяющая
свойствам а) и б) является плотностью распределения некото-
рой случайной величины. Действительно, в этом случае функ-
ция Рс(а;) = у р^{х) дх удовлетворяет свойствам Г2, ГЗ и Г4
функций распределения и по свойству Г8 является функцией
распределения некоторой случайной величины.

Плотность распределения является весьма наглядной ха-
рактеристикой случайной величины, особенно с точки зрения
механических интерпретаций, в которых р$(х) является пол-
ным аналогом плотности распределения массы. Если, напри-
мер, р^(х) непрерывна в точке х, то Р{^ € (х,х + Н)} =
х-\-К

/ р$(х) дх = р$(х)1г + о(/г), то есть вероятности попадания
случайной величины в малые интервалы одинаковой дли-

ны практически пропорциональны плотности, в этом смысле
р$(х) является как бы аналогом вероятности попадания в точ-
ку х (напомним, что для непрерывных величин Р{^ = .г} = О
для любого х € Ж.)

Сингулярные распределения.

Одномерные сингулярные распределения являются неко-
торой экзотикой, в практических задачах почти не ветре-
чаются. Поэтому здесь мы ограничимся одним примером
сингулярного распределения. Пусть Р^(х) = 0, х < О,
Р$(х) = 1, х > 0, а на [0,1] Р$(х) совпадает с кан-
торовской лестницей К(х). Как известно, К(х) является
непрерывной функцией на [0,1] с интервалами постоянства
(1 2} (1 2} (7	(1 2\ (7 8 1 /19 201 (25 261 „ „ и

13 ’ 31 ’ 19 ’ 91 ’ 19 ’ 91 ’ 127’ 271 ’ 127’ 271 ’ 127’ 271 ’ 127’ 271 11 1-Д-

Рис. 2.4: Канторовская лестница

Мера множества постоянства равна | + | + ^ + ... = 1ив
силу свойства 1 функций распределения случайная величина
принимает значения из множества лебеговской меры нуль.
Так как Р$(х) непрерывна, то Р{^ = а:} = 0 при любом а: € №
(свойство Гб). Если бы множество значений было конечным
или счетным, то отсюда следовало бы Р{^ Е К} = 0. Следо-
вательно множество значений величины - континуум и сама
величина является сингулярной.
2.5.	Примеры важнейших распреде-
лений

Ниже для наиболее употребительных распределений будут
введены специальные обозначения, причем, например, символ
Д\а,а) будет обозначать как нормальное распределение с па-
раметрами а и а, так и случайную величину с этим распреде-
лением. Символы 77 (^€Р^) в дальнейшем будут обозна-
чать, что имеет функцию распределения Р^ (распределение
Р^), а, например, ^€=Д\а,а) будет означать, что имеет нор-
мальное распределение с параметрами а и а. Будем писать

= 1] в случае, когда распределения величин и ц совпада-
ют. Кстати, это не значит, что сами величины и ц совпада-
ют или хотя бы принимают близкие значения, скажем, если

Р{€ = 1} = Р{€ = “О =	'? = “С то = ц, но |С - ??| = 2.

Дискретные распределения

1.	Вырожденное распределение (обозначение 1(а))

^€1(а), если Р{7 = а} = 1, то есть почти наверное кон-
станта, неслучайная величина.

2.	Дискретное равномерное распределение (обозначение
БГ(п))

17(11), если Р{^ = ад) = —, ?' = 1,2,..., п, то есть при-
п

нимает конечное множество значений ад,...,хп с одинаковыми
вероятностями.

3.	Биномиальное распределение (обозначение В(п,;2))

В(п,р), если Р{^ = к} = Скрк(1 — р)п~к, к = 0,1,..., п.

Биномиальное распределение имеет, например, число успе-
хов в п испытаниях в схеме Бернулли.

4.	Геометрическое распределение (обозначение (Др))

(Др), если Р{^ = /1} = р{ 1 — р)п~\ п = 1,2,...

Геометрическое распределение имеет, например, число ис-
пытаний до первого появления успеха в схеме Бернулли.
5.	Гипергеометрическое распределение (обозначение
НС(п, Пт,/г))

(п, пх, к), если Р{^ = к±} =
тах(0, к — п + пх) < к± < тт(пх, к).

Если из п шаров, среди которых пх отмеченный, извлекают
(без повторений и без учета порядка) к шаров, то число извле-
ченных отмеченных шаров имеет гипергеометрическое распре-
деление.

Непрерывные распределения

1.	Равномерное распределение на (а, Ь) (обозначение
ЕГ(а,Ь)). ^17(а,6), а, Ь, € Ж, а < Ь если

х € (а, Ь)

х (а, Ь)

Рис. 2.5: Плотность равномерного распределения
Равномерное распределение имеет, например, координата
наудачу брошенной точки на (а, Ь).

2.	Нормальное распределение с параметрами а и а (обозна-
чение Д7(а, ст)). ^€=.К\а,сг), а € Ж, <т > 0, если

Рис. 2.6: Плотность нормального распределения

Нормальное распределение играет в теории вероятностей
исключительную роль: оно явлется «универсальным притяги-
вающим распределением» в том смысле, что в очень широ-
ких предположениях предельное распределение для сумм про-
извольно распределенных случайных величин является нор-
мальным (см. центральную предельную теорему).

3.	Распределение Коши (обозначение К (а))

^€К(а), а > 0, если

Р^') = ,	—щ-

тг(а- + х~)
4.	Экспоненциальное распределение (обозначение Е(А))

СёЕ(А), А > 0, если

А ехр{—Аа:},
0,

х > О

х < О

Рис. 2.8: Плотность экспоненциального распределения
5.	Двухстороннее экспоненциальное распределение (обо-
значение Ехр(А)

^ёЕхр(А), А > 0, если

Р^3') = | ехр{-А|а:|}.

Рис. 2.9: Плотность двухстороннего экспоненциального рас-
пределения

6.	Г-распределение (обозначение Г(а,/3))
^€Г(а,/3), а > 0, /3 > 0, если

( • У'*’

, . I --------Л'1 ехр{—/Зх}, х > О

/ Г(а)

О,	х < О

где Г(а) = / ха^1е^х Зх - гамма-функция. В частности,
о

если а - натуральное число, то Г(а) = (а — 1)!

Легко видеть, что Е(А) = Г(1,А), то есть распределения
указанных величин совпадают (см. также графики плотностей
случайных величин Е(А) и Г(1, А)).
2.6.	Случайные векторы

Определение. Случайным вектором на вероятностном
пространстве (0,7-’, Р) называется измеримое отображение
: (П,^)	(№”,ВП).

Напомним (см. 2.1 ), что отображение : (Н,^7)	(Ж”, Б”)

называется измеримым, если ^'Ш") С У, или, что то же
^ ' (/>’ ) = {л :	€ В} € У для любого В € Вп.

Нетрудно показать, что ^(си) = (С1(<^), €з(^), • ••, €п(<^)) яв-
ляется случайным вектором тогда и только тогда, когда
г = 1, ..., п являются случайными величинами.
Определение. Распределением случайного вектора на-
зывается вероятностная мера на Ж", определяемая соотноше-
нием Р€(В) = Р{е € в}, в е Вп.

Классификация распределений случайных векторов произ-
водится по тем же принципам, что и классификация распре-
делений случайных величин.

Распределение Р< называется непрерывным, если Р< аб-
солютно непрерывно относительно меры Лебега тезп в Ж"
(Р^ <?' тез'1').

Распределение Р< называется дискретным, если
сагН^О) < Ко„ то есть множество значений случайного
вектора не более, чем счетно (значение случайного вектора
- это точка в Ж"). У дискретного случайного вектора каждая
координата $г-, г = 1,2,..., п является дискретной случайной
величиной.

Распределение Р< называется сингулярным, если
Р тезп и саг<1^(0) = с, то есть множество значений
случайного вектора - это континуальное множество в Ж"
лебеговской меры нуль.

Функцией распределения случайного вектора (или функ-
цией совместного распределения величин С1, €2, •••,€«) называ-
ется

^1,е2,...,еЛа’ь= Р{€1 < а.’1,6 < х2, -,%п < яп).

Аналогично одномерному случаю показывается, что
Р^1^2>...,€п (а’1’ х2, •••’ а’п) не убывает и непрерывна слева по
каждому аргументу,

...д„) = О,

Ит	,1’п) =

Х„ -^ + <Х>

(на последнее место можно поставить любую из величин
€1, €2, •••, €п), и что функция распределения однозначно опре-
деляет распределение.
Если	- дискретный случайный вектор,

€х(^)	= {адх, йД2, ...}, ...,	$„(0)	=	{х„1,х„2, ...}, -

множества значений величин Сх,---,€п, то распреде-
ление вектора определяется набором вероятностей
Р{€1 = ацг,...,$„ = х„г}, ад, € ^1(0),..., хП1 Е ^„(П),
г = 1,2,....

Например, если {ад, ад,...} и {ух,Уз,---} - множества зна-
чений случайных величин и р соответственно, то рас-
пределение вектора (^, ??) задается набором вероятностей
Рг2 = Р{^ = а:г, р = г/Д, г, ] = 1, 2, ...

Пример. Рассмотрим следующее обобщение схемы Бер-
нулли. Производится п независимых экспериментов (испыта-
ний) с тремя исходами, которые назовем, например, выигрыш
(В), проигрыш (П) и ничья (Н). Пусть Р{В} = р, Р{П} = д,
И Р{Н} = г, р + д + г = 1,	- число выигрышей, {д - число

проигрышей и - число ничьих. Так как к3 выигрыш, к2 про-
игрыша и Ад ничьих (Ад + Ад + Ад = п) можно «распределить»
по п местам Ск1Скг = —•—•—- способами, то

п~к1 Ад!Ад!Ад!

Р{€х = Ад, 6 = к2,& = к3} = П рк1дк2гкз,
Ад!Ад!Ад!

Ад + к2 + к3 = п, р + д + г = 1.

Такое распределение вектора (Сх,€з,€з) называется триноми-
альным. Обобщая эту схему на случай экспериментов с г ис-
ходами, назовем распределение вектора (Сх, €2, •••,&) полино-
миальным, если

Р{€х = Лх,6 = к2, ...X = к,.} =	"	р^р1?..^,

кр.к2’...кг’

к3 + к2 + ... + к,. = п, р3 +р2 + ... +рг = 1.

В случае, когда Р< - непрерывное распределение (Р^ <Д
тез'1') по теореме Радона-Никодима существует определенная
почти всюду функция р^х) =	(ад, ...,хп) = --щ-(ж)

атезп
такая,что Р^(В) = / ... /Р^,...,^ (ад,..., хп) дх1...дхп, ВеВп.
в
Функция	(ад,хп) называется плотностью

распределения случайного вектора или плотно-
стью совместного распределения величин

Взяв в последнем соотношении В = (—ос, ад) х
... х (-оо,ад), получим ^1,е2„..,е„(ад,ад, ...,а:„)	=

/ ... / 7Лд,(^д, ...,хп)йх1...йхп, откуда

= д дХпР^,Ь,-^Лх^-;Хп') п.в.

Пример. Многомерное нормальное распределение.

Говорят, что вектор = (С1, имеет нормальное рас-
пределение, если его плотность распределения имеет вид:

где А = {ад} - положительно определенная матрица, а
т, € Ж, г = 1, ...,п, х = (ад, ...,хп). В случае, когда п = 2, эту
плотность можно привести к виду, где все параметры являют-
ся числовыми характеристиками случайного вектора (^2,^2),
которые будут введены в дальнейшем:



1

2(1 — /22)

(ад - тх)2 (ад - тх)(ад - т2) (ад - т2)211

х ------б------2р--------------------I-----> ,

СД	ОДОД	<75	} }

где тх, т? € Ж, од > 0, <т2 >0, |р| < 1.

Сингулярные распределения в многомерном случае не яв-
ляются чем-то экзотическим, такими, например, являются
распределения, сосредоточенные на континууальных множе-
ствах, размерности меньшей, чем п. Скажем, если прини-
мает любые значения из Ж, то множество значений вектора
(С,€) совпадает с прямой у = х которая, являясь множеством
мощности континуум, имеет лебеговскую меру (в Ж2) нуль,
следовательно вектор (С,€) имеет сингулярное распределение.
2.7.	Независимость случайных вели-
чин

В учебной литературе обычно используются следующие спосо-
бы введения понятия независимости случайных величин. Пер-
вый - дать легко проверяемое и воспринимаемое определение
независимости конечного числа случайных величин, примене-
ние которого в доказательствах и в решении задач потребует
серьезных дополнительных рассуждений и результатов. Кро-
ме этого, при попытках распостранить это понятие, скажем,
на комплекснозначные случайные величины, случайные век-
торы, последовательности случайных величин и т. и., потре-
буются специальные определения для каждой из рассматри-
ваемых ситуаций. Второй способ - дать общее определение
классов независимых величин, использование которого в до-
казательствах и обобщение на более общие ситуации не вызы-
вает никаких проблем, но это определение будет практически
непроверяемым и для возможности его проверки в конкрет-
ных ситуациях придется доказывать специальный результат
(так называемый критерий независимости).

В настоящем параграфе реализуется второй способ опреде-
ления независимости случайных величин. Основная идея со-
стоит в том, чтобы свести понятие независимости случайных
величин к уже имеющемуся понятию независимости случай-
ных событий (точнее - классов событий).

Определение. Пусть {А/ : 1: Е Т} семейство классов слу-
чайных событий (т.е. А( С Т7, е Т). Будем говорить, что
{А( : € Т} семейство независимых классов, если для любого
конечного набора индексов Н,^2,  Ап и для любых «предста-
вителей» А(1 € А{г,А{2 € Л2,...,	€ Лп

Р{А(1 Аь • ... • А(п } = Р{А(1}Р{А(2) • ... • Р{А(п }.

Замечание. Последнее соотношение в определении мож-
но заменить на фразу «события А^, А^2,..., А(п - независи-
мы», хотя формально это соотношение не означает независи-
мости указанных событий. В частности, конечное число клас-
сов независимо, если независимы любые «представители» этих
классов.

Для обозначения независимости классов событий мы будем
использовать тот же символ (#), что и для независимости слу-
чайных событий.

Пусть Д1 С У7. ...,Ап бр- классы случайных событий а
сДАД, ...,сг{Лп} - порожденные ими сг-алгебры. Ясно, что ес-
ли <т{Аг},...,сг{Д1} независимы, то независимы и А1,...,Ап.
Но при доказательстве многих результатов удается непосред-
ственно проверить независимость только некоторых классов
(например, алгебр) А1, ...,Ап, а необходимо доказывать неза-
висимость порожденных ими <т-алгебр. Ниже доказывается ре-
зультат, позволяющий осуществить этот переход.

Определение. Класс М С Т7 называется мультиплика-
тивным классом, если он замкнут относительно операции пе-
ресечения, то есть А е М, В е М влечет АВ е М.

Теорема 9 (Теорема о независимости классов).

Мультипликативные классы М±,..., Мп независимы то-
гда и только тогда, когда независимы порожденные ими сг-
алгебры <т{А41},..., сг{А4п}.

◄ Достаточно показать, что независимость мультиплика-
тивных классов влечет независимость порожденных ими а-
алгебр. Докажем это утверждение для п = 2, общий случай
доказывается аналогично, но несколько более громоздко.

Пусть А41 и Ад 2 мультипликативные классы и А1| ДАО-
Обозначим 3 = {А € Р : Р{АВ} = Р{А}Р{В}, УВ € М2}-
Достаточно показать, что <т{.М |} С 3. Действительно, в этом
случае	и, взяв в этом соотношении М2 вместо

М1 и вместо М2, получим сг{М1}#сг{М2}-

Ясно, что М1 С 3 и класс 3 удовлетворяет следующим
условиям:

1.	_

2.	Если А € 3, то А € 3;

3.	Если А„ € 3, п = 1,2,..., АгА7- = 0, г / д, то
0 А„ € 3.

п=1
Из свойства 2 легко выводится, что если Ах,Ад € 8 и
Ах С Ад, ТО Ад \ Ах € 8.

Класс событий, удовлетворяющий условиям 1-3, называют
А-классом. Легко видеть, что сг-алгебра является А-классом, а
мультипликативный А-класс является сг-алгеброй. Таким об-
разом, 8 является А-классом, содержащим М±.

Обозначим через 8* минимальный А-класс, содержащий
А4х и для Веб1* положим 5(В) = {А € 8* : АВ € 8*}.
Легко проверяется, что при любом Веб1* 5(В) является
А-классом. Если же В Е .М|. то в силу его мультиплика-
тивности Л4 \ С 5(В) С 5'. а так как 8* - минимальный А-
класс, содержащий _М |. то 5(В) = 8*. Это означает, что если
А € 8*, В € Мх, то АВ € 8*, то есть

А4х С 8 = {А € 8* : АВ € 8* при всех В € 5"} =	5(В).

В65’

Кроме того, 8 есть А-класс, как пересечение А-классов. Таким
образом, 8 есть А-класс, М± С 8 С_8*, а 8* - минимальный
А-класс, содержащий Аф. откуда 8 = 8*. Но это означает,
что из А € 8*, В € 8* следует АВ € 8*. Следовательно, 8*
является мультипликативным А-классом, то есть сг-алгеброй
и поэтому 8 = 8* = сг{А4х}- Для завершения доказательства
осталось заметить, что по определению 8* С 8. ►

Следствие. Алгебры Ах, • ••, А„ независимы тогда и толь-
ко тогда, когда независимы порожденные ими сг-алгебры
сг{Дх}, ...,сг{Ап).

Свяжем теперь со случайной величиной класс событий, в
некотором смысле содержащий в себе всю информацию об
этой случайной величине.

Определение. Класс случайных событий сг{^}	=

^'(В) = И1!/;’.) : В е В} назовем сг-алгеброй, порожденной
случайной величиной С

Замечание. Говорят, что случайная величина А - из-
мерима (измерима относительно А), если ^'(В) С А. Легко
видеть, что сг{^} - наименьшая сг-алгебра, относительно кото-
рой измерима С
а, ш е А

Ь, л е А

Замечание. Пусть известны вероятности всех событий
из сг{^{, то есть вероятности Р{{ДХ(В){ = Р{^ е В} =
РДВ), В е В. Это означает, что задано распределение слу-
чайной величины что, как указывалось выше, интерпрети-
руется, как полное описание (или задание) данной случайной
величины. В этом смысле можно говорить, что сг{^{ состоит
из событий, вероятности которых содержат в себе всю инфор-
мацию о величине С Поэтому следующее ниже определение
независимости случайных величин, как независимости порож-
денных ими сг-алгебр выглядит вполне естественным.

Пример. Пусть ^(сД = а - константа, вырожденная слу-
чайная величина. Если а е В, то	= П, а если а В,

то ^'(В) = 0. Таким образом, сг{^{ = {0,П{, то есть вы-
рожденной случайной величиной порождается вырожденная
сг-алгебра.

Пример. Пусть

= а1АМ + 61АИ =

Если а € В, Ь В, то ^'(В) = А, если & € В, а В, то
^'(В) = А, если а € В, Ь € В, то ' (В) = П, и если а
В, Ь В, то Г1 (В) = 0. Таким образом, сг{^{ = {0,0 А, А}.

Определение. Будем говорить, что случайные величины
€ Т} независимы, если независимо семейство {сг{&} :

€ Т} порожденных ими сг-алгебр.

Для обозначения независимости случайных величин так-
же будем использовать тот же символ, что и для независи-
мости случайных событий:	тогда и только тогда, когда

сг{0#сг{??}-

Существенное достоинство данного нами определения
независимости состоит в том, что, во-первых, мы сразу име-
ем определение независимости и конечного числа случайных
величин, и последовательности случайных величин и т. д.
Во вторых - это определение по сути автоматически рас-
постраняется на более общие объекты, чем случайные ве-
личины. Если ввести понятие сг-алгебры, порожденной слу-
чайным вектором : сг{^{ =	то мы можем дать
определение независимости случайных векторов (или, напри-
мер, комплекснозначныех случайных величин), как независи-
мости порожденных ими сг-алгебр. Можно ввести сг-алгебру
сг{?д, ??2,...} как наименьшую сг-алгебру, содержащую все сг-
алгебры сг{?д,п = 1,2,... и мы будем иметь опреде-
ление независимости, скажем, двух последовательностей слу-
чайных величин или независимости случайной величины от
последовательности случайных величин и т. д.

Рассмотрим подробнее случай, когда множество Т конеч-
но. Можно написать несколько вариантов определений незави-
симости конечного числа случайных величин, эквивалентость
которых следует из соответствующих определений.

Величины ^Х,...Д„ независимы, если выполнено одно из
следующих утверждений:

1.	сг-алгебры сг{^х},..., сг{^„} независимы;

2.	Для любых Ах € сг{^х},..., А„ € сг{^„}

Р{АХ •... • А„} = Р{АХ} • ... • Р{А„};

3.	Для любых Вх,..., Вп е В

Р{€1 € Вх, ...,	€ Вп} = Р{Сх € Вх}...Р{е„ € В„};

4.	Р^!,...,^ = Р^х х ••• х Р^„, где знак х обозначает произ-
ведение мер.

Заметим, что в учебниках по теории вероятностей чаще
всего в качестве определения независимости конечного числа
случайных величин берется утверждение 3.

Докажем теперь результат, позволяющий проверять неза-
висимость конечного числа случайных величин, у которых из-
вестна функция совместного распределения.

Теорема 10 (Критерий независимости случайных величин).

Случайные величины ^х, ...Д„ независимы тогда и только
тогда, когда

^1,...,Ма’ь	\/а:х,...,х„ € №. (2.5)

◄ Соотношение (2.5) следует из независимости ^Х,...Д„ в
силу приведенной выше формы 3 независимости конечного
числа случайных величин.
Докажем обратную импликацию. Легко видеть, что клас-
сы Аф = Д, < х : х € №}, г = 1,...,п являются мультипли-
кативными, и из (2.5) следует, что эти классы независимы. В
силу теоремы о независимости сг-алгебр независимыми будут
и классы

сг{Лф} = о-ДфД-ос, а:) : х € №} =

= ДХ(сг{(—ос, х) : х € №}) = ^фх(В) = сгД»}, 7 = 1’ •••’п’

что означает независимость величин Д, ...Д„.к

Следствие. Непрерывные случайные величины Д, ...Д„
независимы тогда и только тогда, когда

7Д,...,е„ Дь•••’хп) =р^(х1)----р^(хп), \/т1,...,т„ е ж. (2.6)

(точнее - существуют варианты плотностей, удовлетворяющие
(2.6)) ◄

Пусть величины Д, ...,Д непрерывны и независимы. Диф-
ференцируя соотношение (2.5) по одному разу по каждой пе-
ременной получим, что в этом случае существует плотность
совместного распределения, удовлетворяющая (2.6).

Наоборот, из соотношения (2.6) интегрированием по разу
по каждой переменной (по г-й переменной от — оо до х^ г =
1, ...,п), получим (2.5). ►

Замечание. Пусть случайные величины Д, ...,Д дискрет-
ны и X = {ад,ад,...} - их общее множество значений (объеди-
нение множеств значеий всех случайных величин). Величины
Д, ...,Д независимы тогда и только тогда, когда

Р{Д = хч, ••• Дп = х1„} = Р{Д = хи }••• РДп = х1„} (2.7)

для любых Х[г,..., х;п € X.

◄ Если в форме 3 определения независимости конечного
числа случайных величин положить В): = {ад,,}, к = 1,...,п,
то получим соотношение (2.7).

Наоборот, имея (2.7), нетрудно вывести форму 3 определе-
ния независимости, так как каждое событие {Д е />’/,} к =
1,...,п есть конечное или счетное объединение непересекаю-
щихся событий вида {Д = ад,,}.
Теорема 11 (Теорема о независимости функций от случай-
ных величин).

1.	Пусть Д/ : € Т} - класс независимых случайных ве-
личин, а {у({х) : е Т} - класс борелевских функций. Тогда
случайные величины {ту = зДД):€ Т} независимы.

2.	Пусть случайные величины Д,...ДпДп+1, Лп+т неза-
висимы, а / : Ж" Ж и д : I?"' -» Ж - борелевские функции.
Тогда /{^1,..., Сп)^9(€п+1, • ••, €п+т) •

◄ Для доказательства утверждения 1 достаточно показать,
что сг{?7Д С сг-ДД. Имеем

а{т} = ^(В) = (П О ^'бВ} =	<= СХ(Й) = <!{&}

(здесь знак о обозначает суперпозицию, а соотношение
д^1^) С.В- это просто определение борелевской функции).

Докажем 2. Пусть у = /(Д,..., Д), С = дДп+1у •••1 Д ш ) >
°<п = сг{€1, •••Дп}, О’»! = сг{€п+1, •••Дп+т}- Так же, как в
доказательстве пункта 1 показывается, что <т{?Д С сг<„ и
сг{С} о->п, так что нам достаточно показать, что сг<„#сг>п.
Это следует из независимости мультипликативных классов
М1 = {Сх < ад,...Дп < хп  ац,...,Хп е Ж} и М2 =
— Дп+1 < З- п + 1, • • • Дп+т < Х п^т . 2.п_|_1, ..., Х п+т (Е
теоремы о независимости классов и того, что <т{.М|} =
сД€<п}, сг{Л!2} = сгД>„}.

2.8.	Числовые характеристики слу-
чайных величин

2.8.1.	Математическое ожидание

Определение предварим поясняющим примером. Пусть стре-
лок А попадает в восьмерку, девятку и десятку с вероятностя-
ми 0,4, 0,3 и 0,3 соответственно, а стрелок В - с вероятностями
0,4, 0,5 и 0,1 соответственно. Кого из них следует взять на
соревнование, то есть кто из них выбьет больше очков в дли-
тельной серии выстрелов?
Обозначим через к$,кд и Ало - число попаданий в в вось-
мерку, девятку и десятку в п выстрелах соответственно. Тогда
число выбитых очков равно 8/гд + 9кд + ЮАдо, а среднее число
/>У	кд	кдд

выбитых очков в одном выстреле равно 8-----1-9---Ь 10--.

п	п	п

Интуитивно понятно (а формальные результаты об этом - так
называемые законы больших чисел - будут доказаны в даль-
к

нейшем), что при больших п отношение — в некотором смыс-
п

ле близко к вероятности рт выбивания т очков в одном вы-
среле. Таким образом, среднее число выбитых очков в одном
выстреле при больших п близко к 8/а + 9рд + Ю/ло- Для пер-
вого стрелка это среднее равно 8 • 0,4 + 9 • 0,3 + 10 • 0, 3 = 8,9,
а для второго - 8 • 0, 4 + 9 • 0, 5 + 10 • 0,1 =8,7, то есть первый
стрелок стреляет лучше.

Аналогично, если случайная величина принимает значе-
ния хд, х2, • • с вероятностями р±,р2,... соответственно, то число
т = 52 Х1Р1 может быть интерпретировано, как среднее значе-
ние этой случайной величины. Более четко понять смысл вели-
чины т позволяет механическая интерпретация. Число т яв-
ляется координатой центра масс системы материальных точек
с координатами ад, х2,  и массами рд,р2,... соответственно.

Заметим далее, что если Р${х) - функция распределения
случайной величины то в силу (2.3)

так что смысл следующего определения представляется доста-
точно понятным.

Определение. Пусть - случайная величина на вероят-
ностном пространстве (0,7-’, Р). Математическим ожидани-
ем (средним значением) случайной величины ( называется
число

ме = у емр(<м.
При этом, говорят, что математическое ожидание существует,
если данный интеграл абсолютно сходится, в противном слу-
чае говорят, что математическое ожидание не существует.

В силу сказанного выше, если Р< - распределение массы на
прямой , то -координата центра масс.

Рис. 2.11: Механическая интерпретация математического ожи-
дания

Вычисление.

В силу формулы замены переменной (2.1) имеем

= / хР^(с1х) = / хНР^(х),

МЖ)= У /(х)р^ах)= у /(х)^(х).

(2.8)

В случае, когда случайная величина дискретна с распре-
делением р1 = Р{& = хг}, г = 1,2,..., вычислив интегралы
(2.8) по формуле (2.3), получим

=	м/(е) = 52жфг. (2.9)

Аналогично, для непрерывной величины с плотностью рас-
пределения (х) из (2.2) следует

М^ = У хр^(х)Нх, М/(^) = У /(х)р^(х) Нх. (2.10)

Свойства.

(Упоминаемые в формулировках математические ожида-
ния считаются существующими)

М1. Если С = соне! и.и., то есть Р{^ = С} = 1, то
МС' = С.

М2. М ( 52 С'гС) = 22 СгМ^, С, = СО1181 И.И., г = 1,
\г=1	/	г=1

М3. Если > р и.и., то М^ > Мц.

М4. Если > 0 и.и. и М^ = 0, то = 0 и.и.

М5. М1А(щ) = Р(А).

Мб. Обозначим

М{СА} = У СМР(^) := У 1аМ€МР(^)-

А

Тогда /ДА) = М{Д А} является сг-аддитивной функцией мно-
жеств.

М7. Если С#?7, то МД? = М^Мц. Обратное, вообще говоря,
не справедливо.

Если Мф? = М^Мц, то будем называть величины и ц
некоррелированными. Тогда свойство М7 означает, что неза-
висимые величины некоррелированы, но не наоборот.

◄ В свойстве М1 - дискретная случайная величина с
ад = С, рх = Р{^ = С} = 1, и требуемое утверждение следует
из (2.9).

Свойства М2, М3, М4 и Мб - это стандартные свойства
интегралов Лебега.

Свойство М5 прямо следует из определения интеграла Ле-
бега.

Для доказательства свойства М7 воспользуемся формой 4
определения независимости конечного числа случайных вели-
чин, формулой (2.4) и теоремой Фубини:

мо^//хуР^йЫу) = У

х.у (Р€ х Р^) (Шу) =

уРп((1у) = М^Мц.

Приведем пример некоррелированных зависимых величин.
Пусть е#с и

Положим у = СС- Тогда М^ = МС = 0, по теореме о независи-
мости функций от случайных величин е2#С и в силу свойства
М7

мец = ме2с = ме2мс = о = мемц,

то есть величины е и у некоррелированы. В то же время

р{е = 1,у = о = р{е = 1, с = о = р{? = 1}р{с = о =

= 1/^ = р{€ = 1}р{?? = 1}’
следовательно величины е и у зависимы. ►

Пример. Пусть НС(п, пх, к). Тогда = €1 + •••+&, гДе
е» = 1, если г-й извлеченный наудачу шар окрашенный и & = 0,
если г-й шар неокрашенный. Р{С» = 1} = —, г = 1,...,к так
п

Пт	Пл

что М& = — и по свойству М2 М^ = М^х +...-ЬМ^ = к —.
п	'	п

Пример. Пусть 1^.Ща,сг). По формуле (2.10)

ме =
Множитель при а равен 1 как интеграл по всей веществен-
ной оси от плотности случайной величины Д7(0,1), а множи-
тель при а равен 0 как интеграл по всей вещественной оси от
нечетной суммируемой функции. Получаем, что М^ = а.

Пример. (Математические основы пессимизма)

Предположим, что вы проводите случайный эксперимент,
результатом которого является нанесенный вам ущерб (играе-
те в рулетку, идете по темному глухому месту и т. д.) Пусть ^д
- убыток, котрый вы понесли в результате этого эксперимен-
та. В дальнейшем вы занимаетесь тем, что сидите и смотрите,
как тот же эксперимент независимо от вас производят другие.
Обозначим С2, €з, ••• - убытки, понесенные людьми, производив-
шими эксперимент после вас, и пусть т = шт{А : 0.-+1 > С }
- время, которе вам придется ждать, пока чей-то убыток не
превзойдет ваш (пока кому-нибудь не станет хуже, чем вам).
Мы будем считать Мт - среднее время ожидания, пока кому-
нибудь не станет хуже, чем вам.

Пусть Ед = {шах((1,...,(п) = ^}, ] = 1,...,п. Тогда
{т > тг} = Ед, Ед = П, а в силу того, что ^д, ...,Сп неза-
2 = 1

висимы и одинаково распределены Р(Ег) = Р(Ку), !,] =
1,..., п. Мы предположим, что распределения величин ^д,...,
непрерывны, конечный результат справедлив и без этого, но
это предположение несколько упростит рассуждения. Имеем
Р(ЕгК,-) = Р(С; = ^-) = 0, г / ], так что Е Р(^) =
2 = 1

п	1

Р( О = 1’ отсюДа Р(^2') = — ’ 3' = 1’ Тогда Р{т >
2 = 1	п

п} = —, Р{т = п} = Р{т > п} — Р{т > п + 1} = —--------.

1	п 1	]	1-2 I -	2	+

Следовательно, Мт = V пР{т = п} = V ------- = оо.

п=1	п=1 п + 1

То есть, в среднем нужно ждать бесконечно долго, пока
кому-нибудь не станет хуже, чем вам! И это не шутка, а мате-
матический факт!

Замечание. (Совет для неисправимых оптимистов)

В приведенном выше примере назовите убыток прибылью!

2.8.2.	Дисперсия

Определение. Дисперсией случайной величины называется
число В^ = М(^ — М^)2.

Дисперсия считается существующей, если существуют
входящие в ее определение математические ожидания, для че-
го, кстати необходимо и достаточно, чтобы М^2 < ос.

Смысл этой характеристики достаточно прозрачен: сред-
ний квадрат отклонения значений величины от среднего зна-
чения М/, то есть дисперсия характеризует величину разброса
или рассеяния значений величины С Об этом же говорит и сам
термин «дисперсия».

Характеристики типа среднего значения случайной вели-
чины весьма наглядны и широко используются в решении раз-
личных задач, но, конечно же, не несут в себе всей информа-
ции о случайной величине. У одного орудия, скажем, недолет
до цели и перелет бывают равными по 1 метру с вероятностью
1/2, у другого - по одному километру с теми же вероятностя-
ми. В среднем же оба орудия стреляют точно (среднее откло-
нение от цели равно нулю). Известная шутка про среднюю
температуру по госпиталю 36,6 градуса - из примеров того же
типа. Знание дисперсии в таких ситуациях дает дополнитель-
ную информацию об изучаемой случайной величине.

Вычисление.

ве = м(е2 - 2^ме + (мо2) = ме2 - (ме)2.

Для вычисления М/2 воспользуемся формулой (2.1):

Му’ = I а:2РДЙа:)= / а:2ЙГДа:),
и в случае, когда распределение дискретно и непрерывно, из
(2.9) и (2.10) следует

М^2 = х2рг, М^2 = У х2р^х)

где р1 = Р{С» = я»), ?' = 1,2,..., а у^(т) - плотность распре-
деления С

Свойства.

Ш. Щ > 0; Щ = 0 тогда и только тогда, когда

п.н.

02. П(С'е) = С'2ПС П(е + С)=ПС (7 = 001181.

ПЗ. О(С ±??) = 02 + О?? тогда и только тогда, когда 2 и /у
некоррелированы.

◄ Свойство О1 - прямое следствие свойства М4. Свойство
02 легко выводится из определения дисперсии и свойства М2.
Свойство 03 следует из следующих соотношений

о(е±??) = М(€±7?)2-(М€±М7?)2 = ое+о/?±2(ме/?-мем7?).

Пример.Пусть	НС(п, «1,/г), 2 = 21 + ••• + 2ь гДе

2; = 1, если г-й извлеченный наудачу шар окрашенный и 2 г = О,

если г-й шар неокрашенный. Тогда М22 = 52	В этой

сумме к слагаемых, в которых г = д и эти слагаемые равны
М2; 21 = М22 = —. В оставшихся к (к — 1) слагаемых г / д.
Тогда

Р{С^- = 1} = Р{& = 1, 2; = 1} = Р{& = 1}Р{€; = Ш = 1} =

п(п. — 1)	2 п(п. — 1)

Получаем

п, 1=1 +1(1 - 1)515й-=7 - (Мй= =
п	п(п — 1)
, «1
= к---

(к - 1)(пх - 1)
п — 1

Пример.Пусть ^Л/\а,сг). По формуле (2.10)

2.8.3.	Моменты

Определение. Числа М^, М(^ —М^)А? и М|^|А? называются,
соответственно, к-м начальным, к-м центральным и к-м абсо-
лютным моментом случайной величины (или начальным,
центральным и абсолютным моментом порядка к).

Например, математическое ожидание - это первый началь-
ный, а дисперсия - второй центральный момент.

Вычисление моментов производится по формулам (2.1),
(2.9) и (2.10) с соответствующими функциями /, соотношение
между моментами различных порядков дает доказываемое ни-
же неравенство Маркова.

Аналогичные понятия вводятся и для случайных векторов,
например, М^1  ••• Чп" называют начальным смешанным мо-
ментом порядка к± + ... + кп.

1_

Отметим, что ||^||р = (М|^|р)р при р > 1 является нормой
в пространстве случайных величин с конечным р-м моментом.
В дальнейшем мы будем использовать классическое нера-
венство Гелъдера:

|м^| < ||€11Р1Ы|д,	| + “ = 1-

При р = д = 2 из него получается неравенство Коши-
Буняковского: |М^??| < ||СII21|1|2•

2.8.4.	Коэффициент корреляции

Если М^2 < оо, обозначим	Тогда = 0,

пе = м|2 = 1.

Определение. Коэффициентом корреляции случайных
величин и у (между случайными величинами и ??) называ-
ется число

,, ллг м(е-ме)(/?-м7?) мо?-мем??

= М(р =------твте-------= ^в€в„ 

Вычисление.

Достаточно пояснить, как вычисляется Мфу. По формуле
(2-4)

мо^//хуР^^хНу).

В случае, когда (^, ??) - дискретный случайный вектор
со значениями (т,- , т/Д, случайная величина принимает
значения тгт/7 (возможно, повторяющиеся) с вероятностями
Р1] = Р{€ = Тг;, 1] = У]}, так ЧТО

мф? = 52 ХгУзРЦР
г Л

а в случае, когда (^, ??) - непрерывный случайный вектор с
плотностью распределения (х, у)

Мф?= [ [ хур^х, у) (Шу.
Свойства.

К1. ИО?)1 < 1;

К2. р(С 1]) = 0 тогда и только тогда, когда и ц некорре-
лированы; в частности, если С#7?, то р(С ц) = 0.

КЗ. |р(С??)|	=	1 тогда и только тогда, ко-

гда и 1] линейно зависимы, то есть, когда

+ Ь1] = с, а,Ь,с = соне! и.и., причем а,Ь / 0, так как
в противном случае = 0 и коэффициент корреляции не
определен.

◄

Свойство К1 следует из неравенство Коши-Буняковского:
1Ж,??)1 = |ме??| < ||€Ц2|Ы|2 = 1-

Свойство К 2 очевидным образом следует из определения

Докажем КЗ. Пусть, + Ьг/ = с п.н. Из свойств дисперсии
следует, что

П77 = Т2П^ и	Отсюда = шпм?2 = ъ

0“	Ь\а\	|о||а|

Пусть наоборот, |р(С??)| = 1- Имеем

Б(С± >?) = М(С± ц)2 = МС +М?7	2МС?7 = 2(1	'?))•

Если, р(С ц) = 1, то В(^ + ц) = 0 и — ц = 0 п.н., если р(С ц) =
— 1, то + 1] = 0 п.н. И в том, и в другом случае и ц линейно
зависимы. ►

Слово корреляция означает зависимость, связь, следова-
тельно коэффициент корреляции, судя по названию, должен
характеризовать зависимость между величинами. Однако, как
видно из свойства К2 если, скажем, коэффициент корреляции
величин и 1] равен нулю, то эти величины могут быть как
независимыми, так и зависимыми (пример зависимых некор-
релированных величин см. в свойстве М7. Если же р(С ц) / 0,
то и 1] зависимы. Четко выявлять с помощью коэффициента
корреляции можно наличие или отсутствие линейной зависи-
мости между величинами.
2.8.5.	Некоторые вероятностные неравенства

Неравенство Йенсена.

Функцию /(т) называют выпуклой (вниз) если для любых
т, у € №

/(Ат + цу) < А/(т) +ц№), А, ц > 0, А + ц=1;

если справедливо противоположное неравенство, то функцию
называют выпуклой вверх.

Известно, что выпуклая функция непрерывна, в каждой
точке имеет односторонние производные (односторонние ка-
сательные) и график выпуклой функции расположен не ниже
любой из этих касательных. Отсюда следует, что для каждого
то € № найдется число А'(то), такое, что при любом х е Ж

/(ж) > /(т0) + АГ(т0)(т - т0).	(2.11)

Рис. 2.12: Выпуклость функции /(т)
Неравенство Йенсена:

Если /(а?) - выпукла (вниз), то М/(б) > /(Мб), а если
выпукла вверх, то М/(б) < /(Мб).

◄ Положим в соотношении (2.11) х = б, хд = Мб и возь-
мем математическое ожидание от обеих частей полученного
неравенства. С помощью свойств М1, М2 и М3 получаем
м/(о > м/(мо + мтцмеж - мо = дмо. ►

Неравенство Маркова.

Если 0 < г < я, то (М|Ж)Г < (М|€Н3 (или 11€||г < 11€11«-)

В частности, из неравенства Маркова следует, что если су-
ществует момент порядка з, то существуют моменты меньших,
чем з порядков.

◄ Функция /(а?) = |аф, = з/г > 1 выпукла, так что,
взяв в неравенстве Йенсена вместо б величину |б|’’, получим
М|б|’’* > (М|б|’’)*, что равносильно неравенству Маркова. ►

Неравенства Чебышева.

Мб

1.	Если б > 0 и.и., то Р{б > г} < -;

6

2.	Если /(а?) > 0 неубывающая функция, то

Р{|б - Мб| > г} <

Неравенство 1 следует из

Мб = / бМР(^) > / б(^)Р(^) > еР{б > Ж

{€><?}

Неравенство 2 следует из неравенства 1 и соотношения

{б > С {/(б) > /(5)}.

Неравенство 3 следует из неравенства 2 с /(ж) = х-
Глава 3

Аппарат теории
вероятностей

3.1.	Условные математические ожида-
ния

3.1.1.	Определение условного математиче-
ского ожидания

В параграфе 1.4 введено понятие условной вероятности
Р(АВ)

Р(А|В) =	1 которая при любом фиксированном В,

Р(В) > 0 является вероятностью, поэтому можно определить
условное математическое ожидание М(^|В) случайной вели-
чины при условии, что произошло событие В. Для простой
случайной величины	(^), АгА7- = 0, ОА, = О

имеем

МИ1В) = У>Р(А,|В) = р 'п У'РЛВ =
= Й)м?1вН = Й)мк’в)
(см. «Интегралы»). Следовательно и для произвольной слу-
чайной величины с конечным математическим ожиданием

м(е|в) = ^уМ{е, в} = у ем р(М- (3.1)
в

Выражение в правой части обычно называют средним
функции е по множеству В, то есть, нахождение условного
математического ожидания величины е относительно множе-
ства В - это просто усреднение е по этому множеству.

Однако во многих ситуациях, в практических задачах бы-
вает необходимо учитывать («помещать в условие») более се-
рьезную информацию, чем «произошло событие В». Типичной
ситуацией такого типа является, например, задача прогноза,
когда нужно найти наилучшую в некотором смысле оценку
величины Сп по «наблюдениям» {СкА < 0}. В этом случае в
условие «надо поместить» последовательность случайных ве-
личин {СкА < 0}. Выше (см. 2.7) отмечалось, что в некото-
ром смысле полная информация о случайной величине С со-
держится в ст-алгебре сг{е}, о последовательности {СкА < 0}
в сг-алгебре а{СкА < 0} и т. д. То есть, мы сможем «поме-
щать в условие» случайные величины, векторы, последова-
тельности случайных величин и т. д., если определим услов-
ное математическое ожидание, в условии которого находится
сг-алгебра.

Определение. Пусть С ~ случайная величина на вероят-
ностном пространстве (0,7-’,Р), М|е| < оо и А С А - сг-
алгебра подмножеств из П. Условным математическим ожи-
данием случайной величины С при условии А называется слу-
чайная величина М{е|А}, удовлетворяющая следующим усло-
виям:

Е1.	М{е|А} — А-измерима;

Е2.	Для любого А € Л / М{е|А}Р(йсД = / ^Р(йш).

А	А

Это определение нуждается во многих пояснениях. Пер-
вое - определяет ли что-нибудь это определение и, если опре-
деляет, то единственным ли образом? (Это обычно называют
доказательством корректности определения). Второе - почему
определяемый объект назван «математическим ожиданием» и

третье - почему «условным».

Корректность определения.

Пусть > 0 п.н. На вероятностном пространстве (О, А, Р),
рассмотрим функцию множеств С$(А) = / ^Р(йси), А € А. В
А

силу свойства Мб С$(А) является конечной мерой и ясно, что
<Э < Р Из теоремы Радона-Никодима следует, что на веро-
ятностном пространстве (О,А,Р) существует единственная с
„	'	'	йР, ч

точностью до Р-эквивалентности случайная величина —— (си)

йР	йР

такая, что С$(А) = / Р(йси). Мы видим, что -гтА-А удо-

влетворяет свойствам Е1 и Е1, то есть условное математиче-

ское ожидание М{^|А{ существует	=

ЙР

и единственно с точностью до Р-эквивалентности (то есть в
качестве М{^|А{ можно взять любую случайную величину,
ОР, х

отличающуюся от	лишь на множестве нулевой вероят-

ности. )

Пример. Пусть А = {0, О} - вырожденная сг-алгебра.
А-измеримыми величинами в этом случае являются только
константы (по си). Следовательно М{^|А{ = С п.н. , а из
свойства Е2 при А = О получаем, что С = М{^|А{ =
п.н. Таким образом, математическое ожидание можно рас-
сматривать, как частный случай условного математического

ожидания в случае, когда в условие ставится вырожденная сг-
алгебра. Это уже оправдывает применение термин «математи-
ческое ожидание» к введенному в этом пункте объекту. Ниже
мы увидим , что условное математическое ожидание облада-
ет основными свойствами обычных математических ожиданий
(см. свойство С1).

Пример. Рассмотрим «следующую по сложности» (по-
сле вырожденной) сг-алгебру: А = сг{А{ = {0,0, А, А}. А-
измеримыми величинами в этом случае являются только сту-
пенчатые функции вида (см. и 2.1) ^(си) = а1д(си) + Ы-д-(си)
и из свойства Е2 получаем

аР(йси) = аР{А},

откуда а =	М{^, А} = М(^|А). Аналогично выводится

Р(А)

Ь = —^М{^, А} = М(^|А) и поэтому

м{е|А} = м(е|А)1Ам+м(е|А)1хи = {	“I а

Рис. 3.1: Условное математическое ожидание М{^|Л}
Пример. Если А = сг{А1, Ад,...}, АгАд = 0, г / д,
и Аг = О, то рассуждения, аналогичные предыдущему при-
меру приводят к соотношению

М{е|А} = ^М(е|Аг)1А1М=М(е|Аг), ^еАг. (3.2)

Допуская некоторую вольность в терминологии, можно ска-
зать, что нахождение условного математического ожидания
относительно А - это усреднение по «неделимым» множествам
из А.

3.1.2.	Свойства условного математического

ожидания

С1. Сюда мы отнесем свойства, аналогичные основным свой-
ствам обычных математических ожиданий. Через С с индек-
сами и без обозначаются константы по то есть, неслучайные
величины.

а)	М{С*|А} = С п.н.;

Ь)	М | Е а| = Е <ДМ{&|А} П.н.;

с)	Если < ту п.н., то М{^|А} < М{ту|А} п.н.;

б) Неравенство Йенсена для условных математических
ожиданий. Если /(ат) — выпукла (вниз), то

М{/(€)|А} >/(М{е|А}) п.н..

◄ Свойства а), Ь), с) и подобные им доказываются одним
способом: показывается, что некоторая случайная величина
удовлетворяет условиям Е1 и Е2 и тогда в силу корректности
определения эта величина почти наверное совпадает с услов-
ным математическим ожиданием. Продемонстрируем это на
примере свойства

М{е + Г/\А} = М{е|А} + М{ту|А) п.н..

М{^|А} + М{ту|А} является А-измеримой случайной величи-
ной, как сумма двух А-измеримых величин. Далее, при любом
А € А в силу свойства Е2

м{е+??|л}р(см = у’(е + т?)р(^) = у"ер(^)+

А	А	А

+у\р(бМ = У м{е|А}Р(^)+у м{??|А}Р(бМ-
А	А	А

Таким образом, М{^ + ??|А} и М{^|А} + М{??|Л} удовлетво-
ряют свойствам Е1 и Е2 с одной и той же сг-алгеброй А и
одинаковой правой частью в Е2, следовательно в силу кор-
ректности определения условного математического ожидания
эти величины совпадают почти наверное.

Для доказательства б) нужно просто переписать доказа-
тельство неравенства Йенсена, заменив в нем математиче-
ское ожидание на условное математическое ожидание, правда
при этом придется воспользоваться доказываемым ниже свой-
ством С4. ►

С2. Формула полной вероятности.

мм{е|А} = ме п.н.

◄ Следует из Е2 при А = О. ► Почему это соотношение на-
зывают формулой полной вероятности, будет пояснено ниже,
хотя, возможно, естественнее было бы называть его формулой
полного математического ожидания.

СЗ. Если А-измерима, то М{^|А} = п.н.

◄ Следует из корректности определения, так как выпол-
нены условия Е1 и Е2 с величиной вместо М{^|А}. ►

С4. Если А-измерима, то М{ф?|А} = ^Л/{?у|А} п.н.

◄ Условие Е1: величина ^М{??|А} А-измерима, как про-
изведение А-измериммых величин. Условие Е2 сначала до-
кажем для индикаторов: = 1в(сД, В € А. При любом
А € А АВ € А, так что

У М{ф?|А}Р(^) = У ф?Р(^) = У 1В??Р(^)

А	А	А
у м{??|Л}Р(1М = у 1ВМ{??1-4}РЖ-

АВ	АВ	А

Свойство Е2 доказано для индикаторов, следовательно оно
справедливо для линейных комбинаций индикаторов (ступен-
чатых функций). Любую неотрицательную А-измеримую ве-
личину можно представить в виде поточечного предела мо-
нотонной последовательности ступенчатых функций (см., на-
пример, определение интеграла Лебега-Стилтьеса). Свойство
Е2 получается теперь предельным переходом из этого же свой-
ства для ступенчатых величин. Для завершения доказатель-
ства осталось заметить, что любую А-измеримую величину
можно представить в виде разности двух неотрицательных А-
измеримых величин.

Такая схема доказательства по сути использовалась при
построении интеграла Лебега-Стилтьеса и будет неоднократно
встречаться в дальнейшем. Эта схема является как бы частью
некоторого математического жаргона, цепочка «доказано для
индикаторов, следовательно для ступенчатых функций, сле-
довательно для любых измеримых» считается общеизвестным
фактом и используется без подробных комментариев. ►

С5. Пусть Ах и Ад - две сг-алгебры и Ах С Ад. Тогда

М [М{е|А1}|А2] = М [М{е|А2}|А1] = М{е|А1} п.н.

◄ Докажем равенство М [М{^|А2}|Ах] = М{^|Ах} п.н.

Если А € Ах, то А € А2 и в силу свойства Е2

У м[м{е|А2}|Ах] р(^) = у м{е|А2}р(см

А	А

Доказательство завершает ссылка на корректность определе-
ния. ►

С6. Если сг{^}#А, то М{^|А} = п.н.
Стандартное свойство условных объектов: если «что-то» не
зависит от условия, то условие можно не писать.

◄ При любом А € Л	так что в с помощью свой-

ства М7 математических ожиданий и свойства Е2 получаем

У м{е|А}р(см = у ср(^) = маА =

А	А

= мем1А = у мер(<м-

А

Свойство С6 следует теперь из корректности определения, так
как константа измерима относительно любой сг-алгебры.
►

С7. В этом пункте будет показано, что операция построе-
ния условного математического ожидания является операцией
проектирования в некотором гильбертовом пространстве.

Обозначим Ь2(Р) =	: М^2 < оо} множество всех слу-

чайных величин с конечным вторым моментом. /_2(Р) являет-
ся гильбертовым пространством со скалярным произведением
(С, ц) = и нормой ||^||2 =	= М^2. Пусть Ь^(Р) -

множество всех Л-измеримых величин из /_2(Р). Тогда

||€ - М{^|Л}|| < ||^ - ц|| для любой ц € Ьд(Р).

Это свойство означает, что М{^|Л} дает наилучшее в
среднем квадратическом приближение случайной величины
Л-измеримыми случайными величинами. Ясно, что так может
быть только если М{^|А} является ортогональной проекцией
величины на Дд(Р).

◄ Достаточно показать, что — М{^|А} ± Ь^(Р), то есть
— М{^|А} ± 1] для любой 1] € Ь^д(Р). С помощью свойств С 2
и С4 получаем

(С - М{е|А}, ц) = МСц - МцМ{е|А} =

=	— ММ{^ц|А} =	= 0.
Рис. 3.2: Геометрический смысл условного математического
ожидания

3.1.3.	Примеры условных математических
ожиданий

(▲) Так как М1А = Р(А), то естественно обозначить
Р{А|А} = М{1д|А} и назвать эту случайную величину
условной вероятностью события А относительно сг-алгебры
А.

Из свойства С1 легко выводятся следующие соотношения

1.	Р{А|А} > 0 п.н.;

2.	Р{И|А} = 1 и.и.;

3.	Если АгА7- = 0, г / 7, то Р{ 12 Аг|А} = 52 Р{Аг|А}
г=1	г=1

П.Н.

Мы видим, что для условных вероятностей выполнены (по-
чти наверное) аксиомы вероятности. Следует, однако, отме-
тить, что в свойстве 3 исключительное множество (множе-
ство тех для которых 3 не выполнено) свое для каждой
последовательности {А„} и, если мы, желая построить еди-
ное исключительное множество для всех последовательностей
{А„}, объединим исключительные множества для этих после-
довательностей, то не получим, вообще говоря, множество ну-
левой вероятности (множество всех последовательностей со-
бытий может быть несчетным). Существуют условия, обес-
печивающие существование единого исключительного множе-
ства вероятности ноль (то есть, существование множества
А, Р(А) = 1, такого, что Р{А|Л} является вероятностью при
каждом ш € IV \ но мы не будем здесь на этом останавливать-
ся.

Формула полной вероятности (свойство С2) теперь вы-
глядит так: МР{А|Л} = Р{А}. Если А = <т{Н1, ЕЬ,...},
НгН7 =0, г / 7, Нг = О, то в силу (3.2)

Р{А|Л} = ^М(1А|Нг)1н>) = 5>(А|Нг)1н>) п.н.

и формула полной вероятности принимает привычный вид:

Р{А} = Р{А|Л} = ^Р{Нг}Р(А|Нг).

В случае более «богатых» сг-алгебр в формуле полной веро-
ятности число гипотез не обязано, естественно, быть конечным
или счетным, эта формула может, например, быть интеграль-
ной; ниже примводятся соответствующие примеры.

(▲▲) В силу говорившегося выше о сг-алгебре <т{^}, слу-
чайную величину М(^|<Т'{//}} естественно называть условным
математическим ожиданием случайной величины при усло-
вии 1] (относительно ц, если известна величина ц) и обозначать

Совершенно аналогично определяем

М{^|?п,.= М{^|сг{??1,...,

М{^|?п, 1]2,...} = М{^|сг{??1, ??2,...}}.

и так далее. В принципе, на этом пути можно «поместить в
условие» произвольное семейство случайных величин.

Посмотрим, что дают некоторые свойства условных мате-
матических ожиданий для М{^|ц}.

СЗ: М{еЮ = € п.н.

С6: Если С#?7, то М{^|??} = п.н.
С7: Ниже будет показано (лемма о <т{^ (-измеримых
величинах), что всякая случайная величина, измеримая
относительно <т{^} является борелевской функцией от С
В силу этого свойство С 7 можно сформулировать так:
||^ — А/{^|?у}|| < ||^ — д(ц)|| для любой борелевской функции
д. такой, что Мр2(//) < ос. Это означает, что дает наи-
лучшее в среднем квадратическом приближение величины
борелевскими функциями от д.

Лемма 1 (Лемма о <т{^}-измеримых величинах).

Случайная величина у измерима относительно <т{^} то-
гда и только тогда, когда существует борелевская функция
д такая, что у = д(^) п.н.

◄ Измеримость д(^) относительно <т{^} практически оче-
видна (см., например, теорему о независимости функций от
случайных величин). Так что нам достаточно показать, что
любая а {^-измеримая величина почти наверное является бо-
релевской функцией от С

Пусть у измерима относительно <т{^}. Обозначим

А-к.п = г]

к к + 1

к к + 1



к е й, п = 1,2,... По условию Ак,п € сг{?Д С <т{^} =	х(23).

Но тогда Вкп = {^(сД : ш е Ак,п} =	€ С (€-1(#)) =

Следовательно

9п(ж) = 52

при каждом п является борелевской функцией. Далее, нетруд-
но заметить, что последовательность функций дп(х) не убы-
вает (на множестве Вк п дп(х) = а д„+1(х) равна либо Д-,
либо > Д-). Следовательно в каждой точке а: € № суще-
ствует предел д(х) = Пт дп(х) и функция д(х) является боре-
левской. Наконец, если г/(щ) е [Д-, то х Е Ащп, € Вк<п
и дп((,) = 4г- Следовательно |дп(€) — п\ < 4г, так что = г/
при всех х € П. ►

В силу доказанной леммы М(^|ц) = д{д) п.н., где д(х) -
борелевская функция. Для значения этой функции в точке х
обычно используют обозначение д(х) = М(^|ц = х).

Замечание. Запишем формулу полной вероятности
ММ(^|ц) = с помощью введенных обозначений. Так как

ММ(С|ц) = Мд(д) = / д(х)НРп(х),
то

ме= / м(ек? =

а при € = 1д эта формула примет вид

Р(А) = / Р(А|?? = т)й^(т)-

В случае, когда распределение величины ц непрерывно, по-
следнее соотношение можно рассматривать, как непрерывный
(континуальный) аналог обычной формулы полной вероятно-
сти.

Сейчас мы покажем, как можно вычислять условное мате-
матическое ожидание М{^|ц), зная совместное распределение
величин и гр Понятно, что для этого достаточно научиться
вычислять функцию д(т), поскольку подставив в нее случай-
ную величину гр получим д(г]) = М{^|ц) п.н.

Пусть (С, ц) - непрерывный случайный вектор с плотностью
распределения р^п(х, у), рп{у) = / р^п(х,у) с1х - плотность
распределения случайной величины г/ и д(ц) = М{^|ц). Соот-
ношение Е2 в определении условного математического ожида-
ния примет в этом случае вид: / д(ц)Р(йси) =	(и?) При

А	А

любом А € <т{ц}, или, что то же Мд(??)1д = М^1д. Отсюда
следует, что

М9(7?)/(7?)=Ме/(7?),	(3.3)

для любой ступенчатой а {//}-измеримой функции /(??) а, сле-
довательно, и для любой величины /(??), где /(ж)-борелевская
функция (см. комментарий к свойству С4). По формулам (2.4)
и (2.10) соотношение (3.3) запишется так:

У /(у)д(у)Рч(у)<1у = У У ^(уУр^х, у)<1х<1у
ИЛИ

9(у)Рг)(у)- / хр^(х,у)(1х /(у)Уу = 0

для любой борелевской функции /(у). Взяв, например, в ка-
честве /(у) выражение в квадратных скобках получаем, что,

хРСп (а’’ у) = О

(3.4)

почти всюду. Обозначим т^(аф7 = у) =

Рц,п(х,у)
РгАу)

. Если при

некотором у рп{у) = 0, то р^п(х, у) = О почти всюду по х, в

этом случае положим р$(х\у = у) = 0 (можно, в принципе счи-
тать 7лТ’1?7 = у) не определенной). При каждом у таком, что
Рп(у) / 0 Рс^'Ь] = у) является плотностью, как неотрицатель-

ная функция, интеграл от которой по всей оси равен единице.

Назовем р^(х\у = у) условной плотностью распределения ве-
личины при условии, что /у = у. Всегда можно считать, что

случайная величина не принимает значений, в которых плот-
ность обращается в нуль, так что если рп{у) = 0, то в условии
стоит невозможное событие у = у, то есть вычисляется что-то
«при условии, что произошло невозможное событие». Проще

всего в этом случае считать условную плотность не опреде-
ленной, хотя в принципе можно определить ее произвольным
образом, так как в формальной логике «из лжи следует что
угодно», если произошло невозможное событие, то плотность

равна «чему хотим».

Соотношение (3.4) в наших обозначениях выглядит так:

д(у) = М{^|?7 = у} = / хр^(х\у = у)ах,

то есть условное математическое ожидание вычисляется так
же, как и обычное, только плотность распределения заменя-
ется на условную. И, наконец, полагаем М{^|?7} = д(у).
Аналогичные рассуждения легко провести и в случе, когда
(С, ц) - дискретный случайный вектор. Пусть известны распре-
деления вектора (^, ??) и величины ц:

= Р{€ =	= У]}, У] = ?{'? = Уд} =

- значения величины - значения г/). Соотношение (3.3)
запишется тогда так:

52 Рур'рур'/’

где д(уд) = М{^|?7 = г/Д, а / - произвольная борелевская
функция. Совершенно аналогично непрерывному случаю, при
с/, = Р{?7 = у7} / 0 выводим отсюда

9(Уз) = М{^|?7 = у^} = 52 ^Р{€ = хг\у = Уз},

где

тэге I 1	Р{? = Х>РЧ = Уз}

Р{€ = х.VI = У]} = — = —------------Г^-

ф' Р{>? = УЛ

- обычная условная вероятность. Это соотношение, впрочем,
можно было написать сразу, без всяких хитрых теорий. И, как
обычно, полагаем	= д(д).

В качестве простого примера применения изложенной тех-
ники выведем распределение суммы двух независимых слу-
чайных величин.

Пример. Пусть и г/ - случайные величины с функциями
распределения Р^ и Рп соответственно и пусть С#7?- По фор-
муле полной вероятности (свойство С2) запишем

Р^+п{х) = Р{^ + д < ж} = МР{^ + д < г\д} = Мд(ц),

где д(д) = Р{^ + д < аф?}- Имеем Мд(д) = / д(у) ЛР^у).

Здесь д(у) = Р{^ + у < х\д = у} = Р{^ + у < х\у = у} =
= Р{^ + у < х} = Р^х — у). «Исчезновение» условия здесь
объясняется тем, что в силу независимости и у и свойства
С6 Р{^ < х — у\у} = Р{^ < х — у} п.н. Получаем

= У Р/:(х- у) ар^у).

(3.5)

Выражение в правой части (3.5) обычно называют сверт-
кой функций Рс и Рп и обозначают Рс * Рп. Таким образом,
Рс+п = Р^*Р^, то есть, при сложении независимых случайных
величин их распределения сворачиваются.

В случае, когда и у - непрерывные случайные величины
с плотностями р$(х) и рп{у) соответственно, из формулы (3.5)
следует

р^+п(х) = / Р^(Х - у)рГ1(у)ау.	(3.6)

Правая часть этого равенства также называется сверт-
кой функций /у и рп и обозначается /у * рп, то есть
7-^+Ж’) = (р^ *рп) (х).

3.2.	Сходимость случайных величин и
распределений

3.2.1.	Сходимость по вероятности

Определение. Пусть на вероятностном пространстве
(0,7-’, Р) задана последовательность случайных величин
и случайная величина Говорят, что последовательность
сходится к по вероятности (обозначение -5- ^) если при
любом е > О

Р{|€п - €1 >-*• 0, тг-юо.

р

р1. Пусть —> а /(х) - непрерывна на №. Тогда

Ж) Ж)-
◄ В силу теоремы Кантора / равномерно непрерывна на
[—А, А7'], А > 0, так что для любого е > 0 найдется 3 > О
такое, что {|Сп — С| < 5, |С| < А} С {|/(Сп) — /(С) I < е, |С| < А}.
Тогда

Р{1Ж) - /(01 > О < Р{1Ж) - /(01 > е, 1С1 < а}+

+Р{|С1 > А} < Р{|Сп-С1 > О+Р{1С1 > А} = о„(1) + М1)>

Пример. (А) Стандартный пример, показывающий, что
не всегда возможен предельный переход под знаком интеграла.
р

Если Сп С, МС„ < ос, МС < ос, то не обязательно
ме„ ме.

Пусть (П,^7, Р) = ([0,1],В[од], тез) - геометрическая схема,

т-1	, \ Г п2, х € [0, -1

= п 1[01](^) = | 0,
р

Тогда Сп ~* О, п -з- ос, но МСп = п ос, п ос.

Далее вводится достаточное и в широком классе последо-
вательностей необходимое условие для осуществимости пре-
дельного перехода под знаком интеграла.

Напомним, что мы обозначаем М{С, А} = / С(Ш)Р(^Ш)-

А

Определение. Говорят, что последовательность {Сп} рав-
номерно интегрируема, если

1пп 8прМ{|С„|, |Сп I > А} = 0.

А —>СЮ п

Замечание 1. Если {Сп} равномерно интегрируема, то
8ПрМ|Сп| < ОО.

◄ Пусть А > 0 таково, что М{|С„|, |Сп I > А} < 1. Тогда
М|С„| <М{|С„|,|Сп| < А}+М{|С„|,|Сп| > А} < А + 1. ►

Замечание 2. Если |С„ I < ту п.н., Мту < ос ({Сп} мажори-
руется величиной 1]) то {Сп} равномерно интегрируема.

◄ М{|С„|,|С„| > А}<М{7?, 7?> а}>

Замечание 3. Если 8ирМ|^п|1+<5 < С < ОС, 6 > 0, ТО {<5г}

равномерно интегрируема.
◄ М{|е„|, Ы > ю < Л^М{Ы1+5} <	►

Замечание 4. Если {$„} и {цп} равномерно интегрируе-
мы, то	+ 1]п} равномерно интегрируема.

◄

М{|61 + т]п\, |61 + г]п\ > 27У} <

< М{Ы + \лп\, ы + Ы > Ы < ЫН
+М{Ы + ш, ы + ш > 2И ы > Ы} <
<2М{|е„|,Ы> Н + 2М{Ы,Ы> Н-

►

р

р2. Пусть 6 Если последовательность {6г} равно-
мерно интегрируема, то М^„ Мб а если М^„ М^ и

> 0,	> 0 п.н., то {61} равномерно интегрируема.

◄ =>) В силу замечания 1 М|$„| < с < оо. Имеем

м{|б, 16 < Н < м{|б, 16 < Н-6 < е^р{|б1-6 > е} <

< М{|6,16 6 |€п| + &} + о„(1) < с + е + о„(1).

Таким образом М|6 < с. Обозначим = |61 — 6- Тогда в силу
р1 1]п -5- 0 и в силу замечания 4 {цп} равномерно интегриру-
ема. Имеем

|М6г - Мб < М?7„ < М{?7„, т]п < с} + М{?7„, е < т]п < 7У}+

+М{?7„, ?/„ > Н < е + ^Р{?7п > с} + М{?7„, ?/„ > Н <
< с + о„(1) + Одг(1).

=>) Пусть М{6 М^ и 61 6 0,	> 0 и.и., а

О <	< 1, х > 0 - непрерывная функция такая, что

/глг(т) = 1, т < ./V — 1,	= 0, х > IV.

Тогда

1-\;х.;(:г) < 1 — Ь.^(х) < 1 [дг-!,;»)6’) и в силу свойства
р1, замечания 3 и первой части теоремы

М{61,61 > Н < М61 - ме„/гл1(€п)

-А ме - мен(€) < М{6 > .V -1} — 0. .V ос . ►
Рис. 3.4: Функция /1дг(а?)

рЗ. (Теорема о мажорируемой сходимости)

Пусть 4„	4, М|Сп| <	М?7 < ос. Тогда М4„	М4.

◄	Следует из р2 и замечания 2 ►

р4. Пусть 4п -5- С и /(т) - непрерывная ограниченная функ-
ция. Тогда М/(Сп) -> М/(С).

◄	Следует из свойств р1 и рЗ. ►

|4 — 7712	р

р5. Обозначим сЦЕ, ц) = М------—-----рг- Тогда (4„	4) <=>

1 + |4 - >1\-

0, п ос.

◄ <=) Используем неравенство Чебышева с неубывающей
^2

при х > 0 функцией /(а?) = --------у:

1 -I-

1 -|- с

Р{|€п -€!>-}< —о, п ос.

р2 Г 1^ - ^12	"I

< Е= + Р{|с-€| > Е). ►
3.2.2. Сходимость почти наверное

Определение. Говорят, что последовательность Сп сходит-
ся к С, почти наверное (обозначение Сп —> С п.н.) если
р{<>ЬО = 1-

пн1. Сп С п.н. тогда и только тогда, когда

Нт Р

Нт Р < вир |^„ —	> е > = 0.

•V -х.	)

◄ По определению предела Сп (^) С(ш) тогда и только тогда,
когда

У к е К = Л’ > 0 такое, что из п > М следует |^„(с<?) — С(^)| <

1

к'

так что если Ап,к =	<

то

Отсюда следует, что Сп С п.н. тогда и только тогда, когда
при любом к е К

В силу теоремы о непрерывности вероятностной меры имеем
тогда, что

откуда следует первое утверждение в пн1. Второе утвержде-
ние следует из справедливых при достаточно больших .V > 0
соотношений

Ц1 (14

п>У

«I > г) 2

Ц| {|«„ -41 > |} 
п>У

пн2. ($„ -> С п.н.)	(6г Т 6

◄ =>) следует из свойства пн1.к

4/=) Пример. (В) Геометрическая схема (см. пример (А)).
Пусть

С = 1(^1,±](Л г = 1,...,п, п = 1,2,...

Рис. 3.5: К примеру В

Так как Р {|6г| > г} = 1/п	0, п оо, то последователь-

ность

{и = {€11,€^€22,€31,€32,€33,...}

сходится к нулю по вероятности, но при всех
€ (0, 1)	0, п —> оо. ►

пнЗ. Пусть {6г} " последовательность независимых слу-
чайных величин. Тогда

(6г а = СО1184 п.н.) О Р{|6г — а| > г} < оо \/г > 0.
п=1

◄ Пусть Ап = {|61 - а
<=) Р < С А„ > < 52 Р{АП) —> О, А —> оо и из пн1
] п<Л

следует, что а п.н. (независимость не использовалась).

=>) Пусть —> а п.н. В силу пн1 Ит Р < р| А„ > = 1.

ЛГ^СО ]

Если 52 Р{|€п — "I > ;} = ас. то используя независимость А„
п—1

получаем

м

1 = Ит Ит ГТ (1 — Р(А„)) <
7\г—со ЛГ<Л7—со

Противоречие означает, что 52 Р{|€п — а| > г} < ос. ►
п—1

3.2.3.	Сходимость в среднем квадратическом

Определение. Говорят, что последовательность сходится
к в среднем квадратическом (обозначение 1л.т.	от

ИтИ т теап) если ||Сп — €||з ~* О, п ос.

ск1. (1л.т. Сг = €) ^ (^„ Л ^).

◄	=>) Следует из неравенство Чебышева:

Р{|€» - €1 > е} < ||€и~€|1^ о, п №.

с-

Пример (А). ►

ск2. Если -5- и последовательность {С2} равномерно
интегрируема, то 1л.т.	= С

◄	Пусть 1]п = |С„ — С|- Тогда в силу р1 -5- 0, анало-
гично тому, как в р2 показывается, что М^2 < ос, и так
как ?/2 < 2(С2 + ^2), то в силу замечания 4 последователь-
ность {д2} равномерно интегрируема. Из р2 следует тогда
М?/2 —> 0, п —> ос. ►
скЗ. Если	и |С„|2 < ц, п = 1,2,..., Мд < ос, то

1л.т. Сп = С-

◄	Следует из свойства ск2 и замечания 2. ►

ск4. Если Сп —> С и 8ирМ|Сп|2+<5 < ос, 3 > 0, то

1л.т. С„ = С-

◄	Следует из свойства ск2 и замечания 3. ►

3.2.4.	Слабая сходимость распределений и

сходимость по распределению

Мы имеем 3 способа характеризовать «близость» случайных
величин, заданных на одном вероятностном пространстве. Но
на практике чаще всего неизвестно, где заданы величины, ка-
кими функциями от х они являются, но требуется выяснить,
насколько «близки» распределения этих величин.

Пример. Пусть С„ = С - Ь Р(х) = Р{С < Рп(х) =
Р{С„ < ;г} = Р(х + д)- Тогда Сп С в0 всех смыслах (в том
числе п.н.), но если Р{х) имеет в точке ад скачок величины
р > 0, то |Еп(ад) — Е(ад)| > р > 0, (см. рис. 3.6) то есть нет
даже поточечной сходимости Рп к Р.

Рис. 3.6: Е„(ад) Р{хо), п °°

Это нужно понимать так, что для формулировки содержа-
тельных утверждений необходимы специальные способы ха-
рактеризации «близости» распределений.

Обозначим через Со класс непрерывных ограниченных
функций на №.

Определение. Говорят, что последовательность функций
распределения * Е,} слабо сходится к функции распределения
Р (обозначение Рп => Р ) (последовательность распределений
{Р„} слабо сходится к распределению Р (Р„ => Р)) если для
любой функции / € Со

Определение. Если ^п^Рп, ^Р и Рп => Е, то будем
говорить, что последовательность {$„} сходится к по рас-
пределению (обозначение -Л С)

Замечание 5.

(е„	€) о М<) ММ) V/ е Со.

Л. Соотношения между типами сходимости.

с.к.

---->

Обратные импликации, вообще говоря, не верны.

◄ 1. Соотношения между сходимостями по вероятности и
почти наверное получены в пн 2.

2.	В силу р4 и замечания 5 из сходимости по вероятно-
сти следует сходимость по распределению. Примеры, показы-
вающие, что обратная импликация вообще говоря не верна,
достаточно прозрачны (из того, что распределения мало от-
личаются в каком-то смысле (или даже вообще совпадают) не
следует, что сами величины «мало отличаются»).

3.	Из сходимости в среднем квадратическом следует сходи-
мость по вероятности в силу свойства ск1. Пример (А) пока-
зывает, что обратная импликация вообще говоря не верна.

а2.

(€„	€) о МЖ„) М/(() V/ е Сф,

где Сф - множество непрерывных финитных функций на №.

◄ =>) Очевидно.

<=) Будем обозначать / \/(х)\с1Р(х) = ||/||/г. Для

любого е > 0 найдется функция де € Сф такая, что
О <	< 1, ||1-9е||.Р < С I1	Действительно, пусть

д € Сф, д(0) = 1, 0 < д < 1. Тогдад(3х) —> 1, 5	0,\/х € №. По

теореме о мажорируемой сходимости ||1 — д(5ж)||т? —> 0, <5 —> 0.
Далее

||1 - д(5х)||^ = 1 - У д(3х) аРп(х')

1 — / д(3х) НР(х) = ||1 — д(Аг)||,р	0, 5^0.

Пусть / € Со, С = епр |/(ж)|- Тогда Ж € СФ и

/(1-&)аг

/(1-9ДЖ

+ 6*111 — 9е||.Р + 6*111 —	<
< 2С-: + о„(1). ►

Основные результаты о слабой сходимости и, далее, схо-
димости характеристических функций, будут получены с по-
мощью так называемого приема сглаживания, суть которого
заключается в следующем. Требуемые результаты легко по-
лучаются для непрерывных распределений определенного ти-
па (забегая вперед, скажем - для распределений с суммируе-
мыми характеристическими функциями). Прием сглаживания
состоит в том, что для произвольных распределений строятся
подходящие непрерывные распределения, в некотором смысле
«мало отличающиеся» от исходных. Доказательства упомяну-
тых выше результатов в общем состоят в переносе нужных
свойств с непрерывных распределений на исходные.

Пусть Рп и Р - функции распределения, ^Р, ^п^Рп,
Цст^ЛДО, ст), ^п#?7сг, ‘С#??сг- Введем следующие обозначения
для функций и плотностей распределения указанных величин

случайная ввеличина	€		Ча		+ >]а
функция распределения	р	Рп	ф,	Ра	1 п,сг
плотность распределения	—	—	(У	Ра	Рп,сг

Здесь

Гст(х) = (Р * Фст)(х) = У Р(у)</?сг(х — у) йу,

Р(уУр'<Лх - у) причем
Аналогичное представление справедливо и для рп,а(х):

Рп(у)^(х - у) аУ-

(3.7)

Ра и Рп,а - это «сглаженные» функции распределения Р и
Рп соответственно.

Будем обозначать через С(Р) - множество точек непрерыв-
ности функции Р.

<13. (Теорема о слабой сходимости).

Пусть Рп, п = 1,2,... и Р - функции распределения.

Следующие условия эквивалентны:

а)	Рп => Р',

б)	Рп(х) Р(х), Ут€С(Г);

в)	Рп,а(х) Ра{х), Ух € Ж, \/<7 > 0.

◄ а)=>б) Пусть }'х - непрерывна, 0 < /ж(^) < 1, /ж(^) = 1,
< х, /Х(У) = 0, 1 > х + г.

Рис. 3.7: Функция Л(^)

Тогда

Итвир Рп(х) = Итвир / /ж(^) (1Рп(1) <
< Нт вир /хс1Рп = ] /х<1Р < Р(х + е).

Так как х е С(Е), то 1пп8ирЕп(а:) < Е(ж). Аналогично с
помощью функции /*(^) = /ж(^ + с) получаем Нт т! Рп (х) >
Р(х).

б)=>в) Следует из представления (3.7) для рп<а и теоремы
о мажорируемой сходимости.

в)=>а) Пусть / € Сф, С = вир |/(т)|. Из в) следует

М/(С1+ Цт)= / /{х)рп^{х) (1х

/(х)ра(х) йх = М/(С + Ра), Усг > 0.

По теореме Кантора / равномерно непрерывна на Ж, так что
для любого е > 0 найдется 6 > 0 такое, что \ра\ < 6 влечет
|/(€п + Ра) - Ж)1 < е. Тогда

|М/(еп+7?ст)-МЖ„)| <М{|Ж„ +Ра)~ Ж)1, Ш <^} +

+2С'Р{|т?ст| > 5} < е + 2С^~ < 2е.
о-

(В предпоследнем переходе мы воспользовались неравенством
Чебышева, а в последнем - произвольностью а > 0.) Анало-
гично показывается, что |М/(^ + ра) — М/(^)| < 2е. Таким
образом

|МЖ)-М/О < |МЖ+7?ст)-МЖ+7?ст)|+4г = 4е+Оп(1),

и утверждение а) следует теперь из <12. ►

<14. Если Р - непрерывна на Ж, то (Рп => Р) о (Рп =4 Р),
где =4 обозначает равномерную сходимость.
◄	Нетрудно вывести из <1.3 б). ►

<	15. Если Рп и Р - функции распределения дискретных
с.в. и пусть X = {ац,} - их общее множество значений. Тогда
(Г„ => Г) О (РпЫ Р(хк), ^хк € X.

◄	Нетрудно вывести из <13 б). ►

3.3. Характеристические функции

Комплекснозначной случайной величиной назовем выражение
вида	где и & - случайные величины, а г = >/—1.

Положим М<г = М^х + гМ^2- Нетрудно проверить простейшие
свойства математических ожиданий, в частности |М^| < М|^|.
Случайные величины	и р = т/1 + гцг назовем неза-

висимыми (обозначение С#7?), если <т{С1,€з}#сг{771, ??з}- Если
С#Ц, то = М^М'щ

Определение. Характеристической функцией случайной
величины называется комплекснозначная функция действи-
тельного аргумента <^(^) = Мехр{й^}.

Вычисление.

Пусть ^Р^(х). Тогда в силу (2.8)

и, если дискретна, то

9^) = ^2ехр{Ихк}рк, Р{$ = хк} =рк,
к

а если - непрерывна с плотностью распределения р$(х), т0

= / ехр{Их}р^{х) (1х,
Свойства характеристических функций.

Ы. Характеристическая функция существует для любой
случайной величины С <^(0) = 1,	< 1.

◄	|Мехр{й^}| < М|ехр{й^}| = 1. ►

Й2.	= ехр{М}щ(а1).

◄ Очевидным образом следует из определения характери-
стической функции. ►

ИЗ. равномерно непрерывна на №.

р

◄	Ясно, что /Д —> О, /г —> 0, а |е“ — 1| € Со - В силу свойства
р4 + Л) —	< М| ехр{г/Д} — 11 —> 0, /г —> 0. ►

114.	= ^(^). В частности, если - дей-

ствительная, то она четная.

◄ Следует из определения характеристической функции и
элементарных свойств комплексного сопряжения. ►

Й5. Если С1,€з, •••,€« " независимы, то

П1+...+С.Ю =	 ••• 

◄ Доказательство проведем для п = 2, общий случай со-
вершенно аналогичен. Борелевские функции от независимых
величин независимы (теорема о независимости функций от
случайных величин), так что с помощью свойства М7 полу-
чаем

П+»)Ш = Мехр{йС}ехр{г^ц} =	►

йб. Если М|^|А?	< оо, то существует	и

<^\о) = гА?МС Формула Тейлора для с остаточным чле-
ном в форме Пеано примет вид:

п(*) = 1 + йме - уме2 +... +	+ 0(|^).

◄ Так как |г/сМ^/сехр{й^}| < М|^|А? < оо, то интеграл
М^А?ехр{й^} сходится абсолютно и равномерно, следователь-
но возможно дифференцирование под знаком интеграла, так
что ЧЧЧ*) = ехр{г^}. ►
Пример. Пусть (,<= В(п,р). Тогда С = €1 + €2 + ••• + €п, где
€1, €2, •••,	- независимы и Р{& = 1} = р, Р{^ = 0} = 1 - р,

так что	= 1 — р + рехр{И}, и с помощью свойства 115

получаем	= [1 — р + 72ехр{г^}]Л?.

Пример.

Пусть	Легко видеть, что тогда

6 — а . г,	\	\	1

€о = --------^АД0,1), ^0(^) = -у=

с	у 2тг

Первообразная подынтегральной функции не является
элементарной; для вычисления интеграла посчитаем

и = ехр{йт},	с1и = Иехр{Нх}

2	2

с1х = х ехр{ —	с1х, х = — ехр{—

г	г	е-1

Ха	I	2 /

Отсюда (^) = С ехр

По X = ехР

= -XXV-

а так как <^о(0) = 1, то

. Так как = По + а, то в силу свойства 2

= ехР

117.	Характеристическая функция однозначно определяет
распределение.

◄ Если - непрерывная случайная величина и
е I"1(Ж), то плотность р^(х) восстанавливается с
помощью обратного преобразования Фурье:

У ехр{-Их}рХ)М-
Пусть С - произвольная с.в.,	<т), ^т)а. Тогда С +

непрерывна и

Г <х212 1

= ^€(^)ехР |---Г € Ь1(№), так что

откуда Ра(х) - Ра(у} =

1	Г ехр{ —Их} — ехр{—йц) , ,	( су212 1 ,

= — / ----------------------Д ехр <--------> (И,

2л 7	И	{	2 /

то есть Ра(х) = Р^+пЛх) однозначно восстанавливается по
<^(Д. Далее, используя свойства <11 и <13, получаем

(т]а Д О, ст 0) => (С + цст Д С) => (С + Цст Л С) =»

(Ра(х) рс(х) УхеС(ГЧ)-

Таким образом, мы восстановили функцию Р$(х) в точках ее
непрерывности по характеристической функции В точ-
ках разрыва Р^х) определяется автоматически по непрерыв-
ности слева. ►

Замечание. Если дискретная случайная величина С при-
нимает только целые значения, то = Ч ехР {Нк}Рк и
к

тогда рк = Р{С = к} можно восстановить по формулам для

коэффициентов Фурье: рк = — Г ехр{—Ихк}щ(1) сИ.

2тг

118.	(Теорема непрерывности для характеристических
функций).

Пусть Рк и Сё Г, рк и р характеристические функции
случайных величин Са- и С соответственно. Тогда

{Рп => Р) О (РгАк	€ Ж) или, что то же:

(€п ё* (рп(к	Е Ж.)
◄ =>) очевидно, так как ехр{/7.г} € Со-

<=) Пусть	РР € №. Характеристические функ-

ции случайных величин + т]а есть </?„(^) ехр

> и так

рируемой сходимости

как |</?„(^)| < 1, ехр

€ Ь1(№), то по теореме о мажо-

Рп,а(х) = ехр{-Их}(рп(1) ехр (-----------— М ра(х),

2тг /	12 1

п ос, \/т е Ж, ст > 0. В силу теоремы о слабой сходимости
Рп => Р- ►

Замечание.

Пусть ^„€11 (—и, п). Тогда

Рис. 3.8: Функции Рп(х)

Рп(х) 2’ п 00 ПРИ Л1°бом х € Ж, но Р{х) = - не
является функцией распределения. Соответствующие харак-
теристические функции </?„(^) также сходятся не к характери-
стической функции (предельная функция разрывна в нуле):

8111 п1

Рп(Д =

п1

1,

I / О

I = О

I / О

I = О

О,

1,

1 € №.

Таким образом,последовательность функций распределе-
ния может сходиться в точках непрерывности предельной
функции не к функции распределения и последовательность
характеристических функций может поточечно сходиться не
к характеристической функции. Однако существует простой
критерий, позволяющий выяснять - является ли, скажем, по-
точечный предел характеристических функций характеристи-
ческой функцией, или нет.

Теорема 12 (Теорема Леви).

Пусть {Т’п} и {</?„} - соответствующие друг другу функ-
ции распределения и характеристические функции. Для того,
чтобы Рп => Р, где Р - функция распределения, необходимо и
достаточно, чтобы	'Н € Ж, где - непрерыв-

ная в нуле функция. При этом является характеристи-
ческой функцией, соответствующей Р.

Без доказательства.

Следствие. Пусть {</?«} - последовательность характери-
стических функций. Если <рп(1) Дб) € Ж и </?(^) - непре-
рывна в нуле, то </?(^) характеристическая функция.
Глава 4

Предельные теоремы
теории вероятностей

4.1.	Законы больших чисел

Пусть	" последовательность случайных величин,

8п = 52 ^з- Предельные теоремы для сумм случайных
7 = 1

величин - это результаты о поведении 8п при п оо.

Определение. Пусть существуют М^-, ] = 1,2,... Если
1	1	р

—8п----М5П —> О, п оо, то будем говорить, что к последо-

п	п

вательности {^„} применим закон больших чисел (ЗБЧ); если
же в этом соотношении имеет место сходимость почти навер-
ное, то говорят, что справедлив сильный закон больших чисел
(СЗБЧ).

Если, скажем М^- = а, ] = 1, 2,... то ЗБЧ утверждает, что
1 р

—8п	а, п оо. Интересно, что это интуитивно ожидаемый

п

факт, даже не зная никакой теории вероятностей, мы пони-
маем, что нечто в этом роде должно иметь место. Действи-
тельно, пусть, например, мы измеряем неслучайную величину
а со случайными ошибками, ^х, ...Д„ - результаты измерений.
Если мы хотим получить по возможности наиболее точную
оценку для а, то почему-то в качестве этой оценки возьмем
среднее арифметическое измерений, имея при этом интуитив-
ное убеждение, что с ростом числа наблюдений точность будет
повышаться. Все это имеет формальное обоснование в матема-
тической статистике, например, повышение точности оценок с
ростом числа измерений там называется состоятельностю оце-
нок, и, если качестве оценки берется среднее арифметическое
результатов измерений, состоятельность обосновывается с по-
мощью законов больших чисел.

Если - число успехов в испытании в схеме Бернул-
ли, то а = р = Р{У}, и ЗБЧ утверждает, что — -5- р, где
п

уп - число успехов в п испытаниях, то есть, что относитель-
ная частота появления успеха в некотором смысле стремится
к вероятности успеха. И снова, без каких-либо вероятностных
знаний, бросив монету п раз и получив к орлов, в качестве
к
оценки вероятности выпадения орла мы почему-то возьмем —,
п
то есть, по сути, интуитивно понимаем, что ЗБЧ должен иметь
место. Если бы результаты такого типа не доказывались бы в
рамках нашей формальной конструкции, то она не могла бы
претендовать на роль математической модели реального ве-
роятностного эксперимента. Другими словами, ЗБЧ - это ре-
зультат, демонстрирующий соответствие формальной теории
вероятностей моделируемому вероятностному эксперименту.

Первый ЗБЧ (в нынешней терминологии - для симметрич-
ной схемы Бернулли) был получен Я. Бернулли («Искусство
предположений», 1713 г.). Для произвольной схемы Бернул-
ли ЗБЧ приведен в знаменитой книге П.-С. Лапласа «Анали-
тическая теория вероятностей» (1812 г.) После введения по-
нятия случайной величины первый общий ЗБЧ был получен
П. Л. Чебышевым (1867 г.) Этот результат служил в даль-
нейшем источником многочисленных обобщений (см., напри-
мер, теорему Маркова). Э. Борель (1909 г.) и Ф. Кантелли
(1917 г.) показали, что для схемы Бернулли имеет место более
сильный, чем ЗБЧ результат (СЗБЧ). Наибольшее продвиже-
ние продвижение в этой области представляют собой работы
А. Н. Колмогорова (1930-е г.) Получены в различных ситуа-
циях или необходимые и достаточные условия или «острые»
достаточные («мало отличающиеся» от необходимых) условия
для справедливости ЗБЧ и СЗБЧ.

3п~МЗп 1"

Обозначим пп = --------= — У, (б — Мб)-

П	п ,_|

ЗБЧ 1. ЗБЧ о М 1п 0, п оо.

1 + Рп

◄	Следует из свойства Р5. ►

ЗБЧ 2. (А. А. Марков)

Если Мц2 = —0, п оо, то имеет место ЗБЧ.
п-

◄	Следует из утверждения ЗБЧ 1. ►

ЗБЧ 3. (П. Л. Чебышев)

Пусть {6} - последовательность попарно независимых с.в.
и пусть Бб < С < оо. Тогда имеет место ЗБЧ.

◄	В силу свойства БЗ

п 2В5„ = п 2 Бб < Сп 1	0, п оо,

1=1

и требуемое утверждение следует теперь из ЗБЧ 2. ►

ЗБЧ 4. (Я. Бернулли, П.-С. Лаплас)

Пусть - число успехов (У) в п испытаниях в схеме Бер-
нулли, р = Р(У). Тогда — -5- р, п —> оо.
п

◄	Пусть рп = 52 б’ гДе б " число У в 6м испытании.
1=1

{6} " последовательность независимых случайных величин,
р(б = Л = 7Д р(6‘ = 0) = 1 - уд Мб = Р, Бб = Р(1 - Р)-
Требуемое утверждение следует из ЗБЧ 3. ►
4.2. Сильные законы больших чисел

Нетрудно заметить, что все приведенные выше законы боль-
ших чисел выведены из некоторой модификации неравенства
Чебышева (свойства Р5). Для доказательства сильных зако-
нов больших чисел в силу свойства пн1 нужно доказывать
утвеждения типа обычных законов больших чисел, но для су-
премумов сумм. Поэтому представляется естественным, что
основой для таких доказательств будет служить утверждение,
которое можно рассматривать, как аналог и усиление неравен-
ства Чебышева для максимумов сумм независимых случайных
величин.

Лемма 2 (Неравенство Колмогорова).

Пусть {Д} - последовательность независимых случай-
ных величин, МД = О, МД < оо, п е Ч. Тогда

Г	1	П5„

Р < шах 51. > е > < —.

[1</г<п1	1 - } - Д

◄ Пусть А*, = {|Д| < е, г = 1,...,к — 1, 1*5'*.| > с},

А = < шах |5Д > г > . Тогда А/.А/ = 0, к / /, А = Л,
^1<й<п	к—1

И

П.Д = М.Д > М{5;, А} =	М{5;, АД >

к=1

>	[2М{(5„-5Д5,,АД+ М{5^,АД] .

/г=1

Величины 5*1д и 8п — 8к независимы, как измеримые отно-
сительно сг-алгебр <т{Д,..., Д} и сг{Д+1,..., Д) соответственно,
так что в силу свойства М7

М{(5„ - 8к)8к, АД = М(5„ - 5ДМ{5Д АД = О

иП5п>62ЕР(А^)=с2Р(А). ►

к=1
Теорема 13 (А. Н. Колмогоров, 1930 г.).

Пусть {^„} - последовательность независимых случай-
(X)

ных величин, ст2 =	< ос, и V —< ос. Тогда имеет

п = 1 п-

место СЗБЧ.

◄ Без ограничения общности можно считать, что
нужно показать, что
пн1 достаточно по-

ос. Обозна-

Если доказать, что

52 Р(В/с) < ОО, то

к=1

п^13,

0 П.Н., ДЛЯ

казать, что Р

81ф

3,

и тогда нам
чего в силу

0,

чим В к

шах
2к~1<т<2к

3.

т

< 52р(Ва,)^О,

к>т

и теорема будет доказана. Для оценки вероятности исполь-
зуем неравенство Колмогорова:

Р(Вй)<р/ шах |5т|>с2А?-1
|,2'‘-1<т<2к

2^

< Р { шах |5т| >	< 4^^ = И 22 2к ^п-

11<т<2к	I ^“2“''

4	'	п—1

Тогда
сю	сю	2^

^Р(В,)<4е-2^2-2^^<
/с = 1	/с=1	п—1

ОО	ОО 2

<4е-2^^	2-2п<8е-2^2^<ос. ►

п=1 к: 2к>п	п = 1
Следствие. Пусть {^„} - последовательность независи-
мых случайных величин и пусть < С, п = 1,2,... Тогда
для последовательности {$„} справедлив СЗБЧ.

В дальнейшем символ ы.Ф (тберепбеп! ЫепПсаПу
сПе^пЬиНоп) примененный к некоторому семейству случайных
величин будет обозначать, что величины этого семейства неза-
висимы и одинаково распределены.

Теорема 14 (А. Н. Колмогоров, 1930 г.).

Если {//п}-1.1.д.-последовательность, то — а п.н. то-
п
гда и только тогда, когда существует М^д = а.

Если допустить некоторую «вольность» в терминологии,
то данную теорему можно интерпретировать так: существо-
вание математического ожидания является необходимым и
достаточным условием для применимости СЗБЧ к ы.Ф-
последовательностям случайных величин и в этом смысле
можно считать, что данная теорема закрывает вопрос о при-
менимости СЗБЧ к 1.1.(1.-последовательностям.

Лемма 3 . М|^| < оо тогда и только тода, когда сходится
ряд Е Р{|€| > »}•
п—1

◄ Обозначим Да?) = Р{|С| > а:}. Тогда М|^| = — / хд/(х),
о

/{х) - невозрастающая функция, так что в силу интегрального
признака сходимости рядов интеграл / Да?) дх сходится или
о

расходится вместе с рядом 52 Дп)-

/1 — 1

Пусть сходится ряд 52 ДД, а- следовательно, и интеграл
/1 — 1
оо	2х

/ /(х) с1х. Тогда х/(х) < / /(у) с1у 0, х оо и, интегри-
0	х

руя по частям / хс1/(х), получим М|^| = / /(х)с1х < оо. На-
0	о
оборот, если М|С| < ос, то х/(х) < / уС$(у) —> 0, х ос

и, снова интегрируя по частям / хсЦ\х), выводим, что инте-
0

грал / /(а?) Лх = М|С| сходится, следовательно, сходится и ряд
о

Е /И- ►

п—1

Доказательство теоремы 14.

◄ <=) Пусть М|^х| < ос. Обозначим Сп = €п1{|$п|<п}-
Тогда {Сп} - последовательность независимых случайных ве-
личин и	= Ё М{|С«|2, к - 1 < |С„ | < к}, так

к=1

ЧТО

Е^-Е" 2Елм'!1и к~1< ы<а;} =

п=1	п=1	к—1

< 2^М{|е1|, к-1< |С1|<А:} = 2М|е1|<оо,
к=1

1 8п - М8п	п	п

и в силу теоремы 1--------> 0 п.н., где 8п = > у $к. Далее

п	к=1

8п - М8п
п

Зп - МЗп Зп - Зп М5„ - М5„	.

---------1------1----------= ??п+^п+а.

1 п

Выше доказано, что уп 0 п.н. Далее, = — Е — В
п к=1

силу леммы 2

Ер{|& -€й| > Е < Ер№1 > < 00

к=1	к=1
так что из свойства п.н.З следует 6- —	—> О, к ос п.н.,

поэтому вп 0 п.н. при п ос. Наконец,

- МСь < М{|С11, |€1| > к} -э О, к -э <х,

так что ап	0, п ос. Мы показали, что //„ + вп + ап	О

п.н. при п	ос, что означает справедливость СЗБЧ.

=>). Пусть — а п.н. Тогда
п

8п 8п 1 8п-1 п

--- =-----------•--------> О, П.Н. п ОС.

п п п п — 1

В силу свойства пнЗ

и из леммы 2 выводим, что М|^| < ос, а из первой части тео-
ремы следует, что а = М|^|. ►

4.3. Центральная предельная теорема

Определение. Пусть {61} - последовательность случайных
величин и пусть <ос, 7 = 1,2,... Если

5„-М5„ а .Г1п п

то будем говорить, что к последовательности {Сг} применима
центральная предельная теорема (Цпт).

Результат такого типа уже встречался раньше - это инте-
гральная теорема Муавра-Лаплпса, в которой 6 _ число У в
7-м испытании, 8п - число У в п испытаниях,
М5„ = пр, Т)8п = пр(1 — р), р = Р(У). То есть ЦПТ
можно рассматривать, как обобщение интегральной теоремы
Муавра-Лаплпса на существенно более широкие классы
случайных величин 6-
Сразу следует отметить, что как математический резуль-
тат цпт смотрится весьма странно, можно сказать неправдо-
подобно: какими бы ни были слагаемые (дискретные или
непрерывные, положительные или нет, имеющие моменты по-
рядка выше второго или нет, и. т. д) предельное распределение
сумм всегда одно и то же (непрерывное, имеет все моменты и
пр.) Мы вообще можем ничего не знать о слагаемых (кроме
некоторых общих сведений), а о сумме будем знать практи-
чески все. Здравый смысл говорит, что так не бывает, тем не
менее различные формы ЦПТ имеют место и при самых об-
щих предположениях и имеет огромную сферу применений. Из
соображений типа ЦПТ практически всегда, например, ошиб-
ка измерений считается нормально распределенной (как ре-
зультат воздействия большого числа малых случайных фак-
торов), и вообще, в ситуациях, когда мы не знаем ни числа
воздействующих факторов, ни что представляет собой каж-
дый из них, суммарный результат их воздействия как прави-
ло считают нормально распределенной случайной величиной.
Примеры этого встречаются по сути повсеместно: дальность
полета снаряда, рост наудачу взятого человека, размер обра-
батываемой детали, температура в наудачу взятой точке и т. д.
и т. п.

Теорема 15 (ЦПТ для последовательностей одинаково рас-
пределенных величин).

Пусть {61}  гл. д.-последовательность случайных вели-
чин, 0 < а2 = П6 < оо. Тогда имеет место ЦПТ.

◄ Нужно доказать, что

с*	1

Чп = п 2.а = —— ^2(6: - а) Л АЦО, 1), а = М6-
<Т\/ П	<Т\/П	Л'

У	У	/г=1

В силу теоремы непрерывности для характеристических
функций, для этого достаточно показать, что при любом € Ж

Ю ехР ] ~ г • Пусть - характеристическая функция
случайной величины — а. В силу свойства 116

I2	12а2

= 1 + йМ(^- — а) ——М(^ — а)“ + о(Г) = 1--------Ь о(^“),

и с помощью свойств 112 и 115 получаем

х < О Г Л2\Г

Ч>Т]п =	= 1 - — + О —	->

\(Уу]п)	|_ 2п \п) _

Г и

—> ехр < — — > , п —> оо. ►

Замечание. По теореме о слабой сходимости

В силу свойства д.4 можно утверждать, что Рп(х) =4 Ф(т).

Ниже будет доказан существенно более общий результат,
чем цпт для та.б.- последовательностей, доказательство же
этой теоремы приведено во многом для иллюстрации того,
что достаточно потребовать для обеспечения сходимости рас-
пределений сумм случайных величин к нормальному зако-
ну (независимость, одинаковую распределенность, существо-
вание дисперсий); из доказательства также видно, что кон-
кретный вид распределений величин совершенно не важен.

Обобщения доказанного результата можно вести, напри-
мер, по следующим направлениям:

а)	отказ от независимости (замена независимости каким-
либо другим условием);

б)	отказ от одинаковой распределенности;

в)	отказ от существования дисперсий и, соответственно, вы-
бор другой масштабной нормировки;

г)	изучение возможности получения других предельных
распределений для сумм (см., например, теорему Пуассона);

д)	доказательство предельных теорем для более общих, чем
последовательности случайных величин, объектов.
Все эти области теории вероятностей исследованы доста-
точно полно, зачастую - исчерпывающе полно; исключение
составляет разве что направление а), активно развивающее-
ся в настоящее время.

Мы изложим здесь некоторые результаты, относящиеся к
направлениям б) и д).

Прежде всего заметим, что отказ от одинаковой распреде-
ленности в доказанной теореме может привести к невыполне-
нию ЦПТ.

Пример. Пусть €1 = €, €з = €з = ••• = О, М€ = О, М^2 = 1.
Тогда {€„} - последовательность независимых случайных ве-

5„-М5„ с	с

личин, но 1]п = --=— = 4 и, если распределение € не яв-

V

ляется нормальным, то цпт не имеет места. Данный эффект
обусловлен тем, что весь вклад в сумму 8п вносит одно (пер-
вое) слагаемое. Так что, если мы хотим получать результаты
«такого же типа», что и для ы.Ф-последовательностей, то в

предельных теоремах для неодинаково распределенных вели-
чин как минимум придется делать предположение о том, что
каждое слагаемое вносит пренебрежимо малый (по сравнению
со всей суммой) вклад (в дальнейшем это будет называться
условием равномерной предельной малости).

В дальнейшем вместо последовательностей случайных ве-
личин мы будем рассматривать так называемую последова-
тельность серий случайных величин, что делается не ради
большей общности, а потому, что данный способ изложения
материала представляется более компактным и ясным.

Пусть {Сп,к, к = 1,..., кп, п = 1, 2,...} - последовательность
серий случайных величин, имеется в виду:

Ст, •••, €1д,1
€з,1, •••, &,к2

€п,1, • • •,

- первая серия

- вторая серия

- п-я серия и т.д.

В дальнейшем будут рассматриваться последовательности
серий, удовлетворяющие следующим условиям:
1) условие независимости:

случайные величины в каждой серии независимы; (I)
2) условия нормировки:

к„

М^п,к = 0,	< оо, ^2 ап,к = И (м)

/г=1

3) условие равномерной предельной малости:

тах Р{|^п,/г| > с} 0, п оо.	(БЫ)

1</с</сп

Определение. Последовательность серий случайных ве-
личин, удовлетворяющих условиям (I), (IV) и (1Ж) назовем
стандартной схемой серий.

Замечание 1. Если {уп,к^ к = 1,...,/сп, п = 1,2,...} -
последовательность серий случайных величин, удовлетворя-
ющих условию (I) и таких, что 0 < Т)цп,к < Всегда можно
построить схему серий, удовлетворяющую условию (IV), поло-
кп

жив	- Мтуп,/с), В% = 52 Это означает,

что условие (IV) не является ограничительным для последо-
вательностей серий случайных величин с конечными вторыми
моментами, просто необходимая для ЦПТ нормировка вклю-
чена в определение.

Замечание 2. Пусть {^„} - последовательность незави-
симых случайных величин такая, что 0 < “	< оо,

п = 1,2,... Положим В2п = 52 сг^, = В-\^к ~ М&),
к=\

к = 1, ...,п. Нетрудно видеть, что {Сг,/с} " последовательность
серий, удовлетворяющая условиям (I) и (К). В этом смысле
можно считать, что схему последовательностей всегда можно
свести к схеме серий.

кп

Пусть 8п = 52 В силу условия (К) М5П = 0,
к=1
кп

Т)8п = 52 к = 1- Поэтому определение ЦПТ сведется к
/с —1 ’

следующему.
Определение. Будем говорить, что к последовательности
серий удовлетворяющей условию (IV) применима ЦПТ,
если 8п АДО,1), п —> оо.

Докажем некоторые вспомогательные результаты.

Лемма 4 . Пусть То(1) = ехр{й},

тп(^) = ехр{й} — 1 — И —

(п— 1)! ’

п = 1,2,....

Тогда

I /1п	I /1 $

а)	п = 0,1,2,...;^ |т3Ш| <

IV.	О

1 1

в)	Еслид(х) = - / т3{фх) ей, то д(х) > с(е)х2

2 -1

при |т| > е.

г)	11п(1 + с) - с| < |с|2,
ветвь логарифма.

с € С, где |г| < -, а 1пг - главная

◄ а) Индукция: при п = 0 утверждение выполняется оче-
Й1”-1

видным образом. Предположим, что |тп_1Й)| < --------—. Так

(п — 1)!

как = гтп-1(^), п = 1, 2,... то



о

б) Первое неравенство - это утверждение а) при п = 3,
второе следует из соотношений |тз(^)| < |тз(^) | + — < I2.

0 так что

4
ЗсЦс) Г сЦг) ( з ;'3 V 7С1(Ф’2

> ------ / у ау > ----- т-----> -----------, х > е.

~ 8х	8х \	8 ) “	64

2

В силу четности функции д(т) пункт в) доказан.

г) Если |с| < -, то

I М1 + г) - г| < х; Н: < ^(1 + М + |г|2 + ...) < |г|2.
п—2

В дальнейшем в этом пункте будем для краткости обозна-
чать

кп	кп

У = У, П = П , шах = тах ,
к к=1 к к=1 к 1<к<к„

Тп,к{к = МеХр{ЙСп,/г}, ^п.кЦ) = Тп.кЦ) - 1.

Лемма 5 . (1Ж) => тах !△„,&(Щ 0, п ос, \/^ € Ж.
к

◄ Используем лемму За): при любом е > О

|Ап,аЦ)| < М{|ехр (г^„д) - 1|, |^„д| <е} +

+М{|ехр(йСп,/г) - 1|, |61Д| > г} < |ф + 2Р{|$„л| > г}.

Теорема 16 (Критерий нормальной сходимости для стан-
дартной схемы серий).

Пусть {61,/Л -стандартная схема серий. Тогда

ЦПТ У~^ Мтз(^П1/;)	0, п ос, \/1 € №.

к

◄ Воспользуемся теоремой непрерывности для характери-
стических функций и свойством 115. Получим

. ( /21

ЦПТ о Зп Л ЛГ(О, 1) О Ц) ехр < — — > V/ С И О
П ехр ] У [ е К °

}2

о У^1п ^„^(Ц	-— Ш е №.

к

(4.1)

Здесь 1пс - главная ветвь логарифма, а 1и</?пд,(Ц опреде-
лен при достаточно больших п, так как в силу леммы 4

1п</2пд? Л / 0. В силу леммы За

|ДплЛ I = |Мт2Л„л)1 <

(4.2)

а из (4.2), условия (IV), лемм Зг и 4 получаем

У^111</?ПД,(Ц - У^ Дп./Л)

< У21М1 + △»,*: Л) - △»,*: ЛI <

к

< У2 !△«.,*:(*) I2 < тах |Д„Л Л | У2 Л I <

к	к

__0-2 ^2	^.2

< Г п'^ тах 1л"^ ОI = Т тах I^п,к ЛI —* 0	(4.3)

к

Из (4.1) и (4.3) следует, что ЦПТ имеет место тогда и только
тогда, когда

+2	п2 к2

У2д„лЛ =	шеж,

к	к

что равносильно тому, что

/	Т2 12\

Л - 1----у— = У~^ Мт3(^п,А:)	0, п ОО, \/^ € №.

к \	/к
Теорема 17 (ЦПТ для стандартной схемы серий).

Пусть -стандартная схема серий. ЦПТ имеет ме-
сто тогда и только тогда, когда выполнено условие Линде-
берга:

М2 =	Мд| > с} 0, п оо, УоО. (Ь)

к

◄ <=) Пусть выполнено условие Линдеберга (Ь). С помощью
леммы 36 и условия (IV) при любом е > 0 получаем

52М|т3(^„д)1 < ЕМ<1тз(^л)1Хд| < М +

к

+	{|тз(^€пл)1) \^п,к\ > ?} < М {|Спл|3? \^П,к\ < ^} +

к	к

{€п,Ь \^,к\ >	У2	---Ноп(1),

2^	’	6	б

к	к

так что 52М|тз(^п,/г)|	0, п -юои из критерия нормальной

к

сходимости для стандартной схемы серий следует ЦПТ.

=>) В силу критерия нормальной сходимости

ЦПТ => У2 Мтз^п,/;)	0 =>

к

1

=> У2 м9(Мл) = | / У2 Мт3(Х„л) СЙ о, п ОО.
к	у х к

С помощью леммы Зв) получаем тогда

ТпЦ) < , .

сЦ) V

—> 0, п —> оо.

Замечание 3. (П) => (П^).
◄ тахР{|бл| > е} < У Р{|бд.| > -} < - 2ТпЦ). ►
к	—*

к

Из ЦПТ для стандартной схемы серий легко выводятся из-
вестные результаты о применимости цпт к последователь-
ностям независимых (не обязательно одинаково распределен-
ных) величин.

Теорема 18 (Теорема Линдеберга-Феллера).

Пусть {6}  последовательность независимых случай-
ных величин, ап = Мб, ст2 = Пб < оо, п = 1,2,...,
В2 = Е У Тогда ЦПТ и условие
к=1

тах Р{|б — аД > еВп} —> 0, п —> оо, V? > О (ЮТ)
1<к<п

выполняются тогда и только тогда, когда имеет место
условие Линдеберга: для любого е > О

ТпЦ) = В„ 2 У М{|б - ак\2, |6. - ак\ > еВп} 0, п оо.
/г=1

Достаточность доказана Дж. Линдебергом в 1922г., а необ-
ходимость - В. Феллером в 1935г.

◄ Следует из теоремы 17 и замечаний 2 и 3, в которых

б - Мб

бп,к = ---5---, к = 1, ..., п. ►

Теорема 19 (А. М. Ляпунов, 1901г.). Пусть {6} - после-
довательность независимых случайных величин, ак = Мб.,
а2 = Пб, с2+й = М|б - ак\2+6 < оо, к = 1,2,...,
В2 =	Е ст?, С2+<5	= Е с?+<5•	Тогда если —-	0,	п оо,

II,	II,	4-- К,	II	'	'

к—1	к—1

то справедлива ЦПТ.

п	(П2-|-(5

◄ ЬпЦ) < ^в-2-* Е М|б - «а.|2+й =	- о,

п -»о0и ЦПТ следует теперь из теоремы 17. ►
Локальная предельная теорема.

Пусть {^„} - ы.с!.- последовательность случайных величин,
г,	8п — па

О <	= В^х < оо, =--------=—. Из замечания к теореме 3

оДп

следует, что

\/х € №.

Если предположить еще, что при каждом п е К существует
плотность рп(х) =	т0- естественно, возникает вопрос -

будет ли иметь место сходимость производных (плотностей):

1	Г х21

рп(х) =4 Ф'(т) = ффх) = — ехр < —— >? В этом случае гово-
у2тг	( 2 )

рят, что выполняется локальная предельная теорема. Локаль-
ная предельная теорема дает возможность, например, считать
асимптотику вероятностей вида Р{?7„ € В}, где В - произволь-
ное борелевское множество.

С помощью несложных примеров можно показать, что без
дополнительных предположений сходимости плотностей, во-
обще говоря, не будет. Но доказаны легко проверемые необ-
ходимые и достаточные условия для выполнения локальной
предельной теоремы.

Теорема 20 (Б. В. Гнеденко, 1954г.).

Пусть {^„} - г л. д.-последовательность случайных вели-
чин, 0 < а2 =	< оо. Для того, чтобы рп(х) =4 ф(х),

п оо необходимо и достаточно, чтобы при некотором на-
туральном И 8пр79дг(а:) < оо.

То есть, если, например ^х имеет ограниченную плотность,
то для 1.1.(1.-последовательности случайных величин {^„} с ко-
нечными вторыми моментами будет выполняться локальная
предельная теорема.

Без доказательства.
Г«Лс1Вс1 5

Случайные процессы

5.1.	Основные понятия

При изучении различных явлений действительности мы стал-
киваемся с процессами, предсказать течение которых невоз-
можно. Например: движение отдельной молекулы в газе, раз-
множение бактерий в питательной среде, колебание курса
некоторой валюты и т. п. Такие процессы можно моделировать
случайным движением точки в специально подобранном про-
странстве. Так, колебание кусра валюты опишет точка, движу-
щаяся по числовой оси, движение молекулы - точка, движу-
щаяся в пространстве и т. д. Движение точки в пространстве
описывается функцией от аргумента (времени) со значени-
ями в этом пространстве, случайное движение - это функция
от времени значениями которой являются случайные величи-
ны со значениями в рассматриваемом пространстве.

Определение. Случайным процессом (используются так-
же термины вероятностный или стохастический процесс)
называется семейство случайных величин (с действительны-
ми или комплексными значениями) С = {&Д € Т}, заданных
на одном вероятностном пространстве и зависящих от пара-
метра е Т С Ж. Если ТС 2. то случайный процесс называют
случайной последовательностью.

Таким образом, случайный процесс - это функция двух ар-
гументов которая при каждом I измерима по си. Если в
^(си) зафиксировать элементарный исход си, то получим неслу-
чайную функцию от I (си), которая называется реализаци-
ей (или выборочной функцией или траекторией) случайного
процесса.

Случайные процессы & и ту, определенные на одном и
том же Т и одном и том же вероятностном пространстве, на-
зываются стохастически эквивалентными, если при любом
1 еТ р{& / 1ц} = о.

Согласно общему духу теории вероятностей, пренебрега-
ющей событиями вероятности 0, считается, что замена слу-
чайного процесса на стохастически эквивалентный не влияет
на получаемые результаты и практические применения тео-
рии. Хотя, скажем, траектории у стохастически эквивалент-
ных процессов могут быть совершенно различными. Пусть,
например, Т = Ж, т - случайная величина с непрерывным
распределением, = 0, а ?^ = 1, если — т рационально и
ту = 0 в противном случае. Тогда Р{& / ту} = Р{^ — т е 0} =
= 52	= ^ — аф = 0, то есть & и ту стохастически эквива-

лентны, но траектории & - это тождественный нуль, а траек-
тории ту разрывны в каждой точке на действительной прямой.

Определение. Распределения случайных векторов

(€41,-,еи:

р41,...4лв) = р{(е41,...,^)ев}, вевп

при всевозможных Н, дп € Т называются конечномерными
распределениями процесса &.

При решении большинства задач и в приложениях теории
случайных процессов считают случайный процесс определен-
ным или заданным, если заданы его конечномерные распреде-
ления.

Легко видеть, что если два случайных процесса стохасти-
чески эквивалентны, то их конечномерные распределения сов-
падают (но не наоборот).
Определение. Говорят, что семейство распределений
{Рц,..„хп,	€ Т} удовлетворяет условиям согласован-

ности, если

1)	для любой перестановки (?'х,г„) множества {1,2,п},
для любых	€ Т и для любых Вх,Вп е В

Р^,...,^ (Вг1 х ... х ВгД = Р41,...,и(Ях х ... х Я„);

2)	для любых Н, ВпВп+1 ЕТ и для любых Вх,  ,Вп е В

Р<1,...,4„,4„+1 (Ях X ... X Вп X К) = Рц,(Ях X ... X Вп)-

Легко убедиться, что семейство конечномерных распреде-
лений любого случайного процесса удовлетворяет условиям
согласованности. Но, оказывается, и наоборот - всякое семей-
ство распределений, удовлетворяющее условиям согласованно-
сти, является семейством конечномерных распределений неко-
торого случайного процесса, то есть, имеет место следующая
теорема.

Теорема 21 (А. Н. Колмогоров).

Пусть любому конечному набору Н,---Яп € Т поставле-
на в соответствие мера	на (Дп,Вп). Для того, что-

бы семейство этих мер составляло систему конечномерных
распределений некоторого случайного процесса, необходимо и
достаточно, чтобы это семейство удовлетворяло условиям
согласованности.

Без доказательства.

5.2.	Важнейшие классы случайных
процессов

1.	Случайный процесс & называется гауссовским, если все его
конечномерные распределения Рц,...хп являются нормальны-
ми (гауссовскими), то есть случайный вектор (&х, ...Д(п) при
любых Н, Вп &Т имеет нормальное распределение.
2.	Случайный процесс называется процессом с независи-
мыми приращениями, если для любых б < Н < ••• < б, € Т
случайные величины	независи-

мы (то есть, независимы приращения на неперекрывающихся
отрезках).

Нетрудно убедиться что задав начальное значение ео = х
и распределения приращений — ^3, 0 < з < I, мы зада-
дим конечномерные распределения процесса Покажем это
на примере процесса с целочисленными величинами . В этом
случае конечномерные распределения определяются вероятно-
стями р{61 = л, •••,€*„ = 3п}, Н < ••• < б, 31,---Щп ех. в
силу независимости приращений процесса & имеем

Р {€^1 — 71 ? •••)	— 7п} —

= Р {€^1 — €о — 71 —	•••)	&п-1 = Зп 7п—1} —

— Р {€^1 €о — 71	...Р	— 7п 7п—1}

и все сомножители в правой части последнего соотношения
известны, если заданы распределения приращений.

3.	Случайный процесс называется стационарным, если

Р— Р, ^1,	1п, Л + /г,1п + € Т,

то есть если его конечномерные распределения не меняются
при сдвиге по времени.

4.	Случайный процесс называется стационарным в ши-
роком смысле, если у него существуют моменты первых двух
порядков и они не меняются при сдвиге по времени:

= М&,	I, 8,1 + к, 8 + к Е Т.

Легко видеть, что в этом случае = М^о = т, а —
М^_5^о зависит только от I — з. Функция

- з) = М(& - меж-Мб) = Мбб - И2

называется корреляционной функцией стационарного процес-
са.
5.	Будем обозначать

 8 еТ,8 < 1},	= сг{^8 : 8 € Т, 8 > 1}.

Эти а- алгебры обычно интерпретируются как прошлое, на-
стоящее и будущее случайного процесса соответственно.

Случайный процесс & называется марковским, если

Р{А|77<= Р{А|^}	п.н.

Это соотношение называют также марковским свойством или
определением марковской зависимости и нетрудно проверить,
что оно равносильно тому, что

Р{АВ|^}=Р{А|^}Р{В|^=4 п.н.

для любых € Т, А е Р<1, В е •77>1, что естественно назвать
условной независимостью будущего и прошлого при извест-
ном настоящем.

Если & -целочисленные случайные величины, то марков-
ские процессы называют также цепями Маркова. В случае,
когда ТСХ (значения параметра (времени)- целые числа),
говорят, что цепь Маркова имеет дискретное время , а в слу-
чае, когда множество значений параметра непрерывное, мы
имеем определение цепей Маркова с непрерывным временем.

Если {<У/} - цепь Маркова, то сг-алгебры и по-
рождаются множествами {^81 =	= ]п}, 51,...,5„ >

Л 11,-”,1п € 2л И =	—

С 11,...,гт е X соответственно, так что марковское свойство
в данном случае равносильно следующему:

Р {€«1 = 11, • ••,&„ = 7п|61 = И, •••,6™ =	= г} =

= Р{6Х =11, •••,€«„ =1п|€( = 0,	(5-1)

ДЛЯ любых Н, ^2, •••, 1т < 1 < -«1, •••, 8п И 71,	21, ..., гт, I € 22

Нетрудно проверить, что процесс с независимыми приращени-
ями К/ } Уо = х является марковским. Покажем это на при-
мере последовательности целочисленных величин. Воспользо-
вавшись независимостью приращений, получаем

Р {€«1 = 11, •••, 2.«,, = 1п |€ц = ?т, •••,	= 1т, & = 0 =
= Р {€«2 - 61 = 72 - 71, •••, 6„ - 6 = 7п - г|6 - €о = г - ж} =
Р {61	71 1 •• • 1 бп	7/1 |б 0 '

5.3.	Примеры случайных процессов

1.	Последовательность сумм независимых одинаково распре-
деленных величин.

Пусть {60 — ы.Ф - последовательность, 8п = 52 6,
к—1

п = 1, 2,5о = 0. Тогда {5П} является последовательностью
с независимыми приращениями и, следовательно, марковской.

2.	Случайное синусоидальное колебание.

Пусть А, у и </? - случайные величины, причем А, у неот-
рицательны и имеют произвольное совместное распределение,
а у нс зависит от них и имеет равномерное распределение на
[0, 2тг]. Положим 6 = Асоз(?^ + у), / €К. Ясно, что траекто-
рии этого процесса - это синусоиды А(^) <ч8(//(_с)/- + у(.с)) (при
каждом фиксированном ш).

Покажем, что 6 - стационарный процесс. Если /(с) - сум-
мируемая периодическая функция с периодом 2тг, то нетрудно
2тг	2тг

проверить, что / /(с +/г) йс = / /(г) йг. Функция
о	о

У (й., у, 2.)	со8(уЦ+г),...,а? со8(уУ +~))ЕВ} 1 8 Е В

периодическая с периодом 2тт по аргументу с, так что если

Р.4,)) - распределение вектора (А, ??), то 'Р(1+к,...,(„+н{В) =

= Р{(Асоз(?7(^1 + Л) + Асов(г/(1п + Л) + (/2)) 6 В} =

оо оо 2тг

= 2тг / / /	+	=

ООО

оо оо 2тг

=	^Рл,г1№уУ) =

ООО
3.	Винеровский процесс.

Винеровским процессом, выходящим из точки х называет-
ся случайный процесс и>( с независимыми приращениями та-
кой, что ид = х и для любых 0 < а <	и>( — ид^АДО, — з).

Винеровский процесс обычно рассматривается как матема-
тическая модель броуновского движения. Это можно мотиви-
ровать следующими рассуждениями.

Рассмотрим случайное блуждание, в котором изменение
положения частицы происходит в дискретные моменты вре-
мени кД1, причем, находясь в точке х частица независимо от
предшествующего поведения переходит с равными вероятно-
стями в одну из соседних точек х — к или х + к, где смещение
к не зависит от х. В пределе, когда определенным образом
0, к 0, получается непрерывное случайное блужда-
ние, которое интерпретируется, как математическая модель
броуновского движения.

Пусть Д^ = 1/п, кЕ 2 * = ДД Обозначим -положение
частицы в момент з = к Д.1 (на к-м шаге), 1ц"'' = 0. Пусть

- смещение частицы на к-м шаге, Р{0гп = +6} =

,	,	П

= Р{&п = -к} = 1/2, и независимы. Тогда = Е
к—1

Дп) Дп) Дп) Дп)

Очевидно — $5 и $5 — о» независимы и распре дел е-
Ап\ Лп) Лп) Лп)	т-г	ТЧ Дп)

ния величин — О и — €о совпадают. Далее, В$ —

Е = пН2 = I. Согласно центральной предельной теоре-
к—1
ме для стандартной схемы серий

<(«) _ лЫ л(п)	/ п	\ п

= ^=о4 Е М Е ип мо, 1),
у*	\к=1	/ к=1

п оо {к2 = Д^ 0). Обозначим иц предел по распреде-
лению к"' при п оо. По построению случайный процесс
{ид} можно рассматривать, как математическую модель бро-
уновского движения. Далее, {ид}, как и {{Е} ПРИ каждом п
является процессом с независимыми приращениями и для лю-
бых 0 < а <	и>( — и>3-€=Л/\0,	— .§), то есть и>( -винеровский
процесс.

Можно показать, что траектории винеровского процесса
можно сделать непрерывными, перейдя, если нужно, к сто-
хастически эквивалентному процессу.

Отметим еще одно интересное свойство винеровского про-
цесса. Если ^€№(0, ст), то М^4 = Зег4, (это легко выводится,
например, с помощью разложения характеристической функ-
ции в ряд Тейлора) и В^2 = М^4 — (М^2)2 = 2<т4. Пусть
Н = кД{, к = 0,1,..., п, пД1 = 1. Тогда

- ^-1) = 1,
к=1	к=1	к=1

{п	\ 2 п

- ™Ц-1)2 - 1 ? = О 52^ -	=

к=1	к=1

= ^В(то4ь - Г = 2^(^ - Ъг-1)2 = 2Д* -► 0,
к=1	к=1

то есть 1л.т. 52	~ ^_1)2 = 1-

к=1

Мы видим, что винеровская случаная функция обладает
свойством, непривычным, скажем, для гладких функций, для
которых приращение функций имеет тот же порядок, что и
приращение аргумента, и сумма квадратов приращений стре-
мится к нулю; не стремиться к нулю сумма квадратов прира-
щений может, например, у непрерывных нигде не дифферен-
цируемых функций. Можно доказать, что почти все траекто-
рии винеровского процесса являются непрерывными и нигде
не дифференцируемыми.

4.	Пуассоновский процесс.

Пуассоновским процессом называется случайный процесс
& с независимыми приращениями такой, что & = 0 и для
любых 0 < в < иц — и?в€ЩА(^ — .§)).

Приведем одну из наиболее практически важных интер-
претаций пуассоновского процесса.
Предположим, что в случайные моменты времени проис-
ходит некоторое событие. Обозначим через & - число появ-
лений этого события в промежуток времени [0,^]. Случайный
поток событий назовем простейшим или пуассоновским, ес-
ли он удовлетворяет следующим условиям: стационарность,
отсутствие последействия и ординарность.

1.	Стационарность означает, что вероятность появления к
событий в промежутке времени [/г, + /г] не зависит от /г.

2.	Отсутствие последействия означает, что случайный
процесс {&} является процессом с независимыми приращени-
ями, то есть независимость появления того или иного числа
событий в непересекающиеся промежутки времени.

3.	Ординарность выражает требование практической
невозможности появления более одного события за малый про-
межуток времени. Пусть	= Р{^д? > 1} - вероятность

появления более, чем одного события за время АС Условие
ординарности означает, что р>1(^) =

Условия стационарности, ординарности и отсутствия по-
следействия с большой точностью выполняются во многих
естественнонаучных явлениях и технических процессах. Про-
стейшим потоком обычно считают, например, поток заявок в
некоторой системе обслуживания, поток космических частиц,
попавших на определенную площадку, поток отказов элемен-
тов сложной радиотехнической системы, и т.д.

Будем вычислять Рк(1) = РИ/ = к} - вероятности появле-
ния к событий за промежуток времени длительности > 0. В
силу стационарности и отсутствия последействия /' = /'о (1) =
= Р{е± - €о = 0, ...,Цд -	= 0} = {ро (^)}П, откуда

Ро(^) = Р- иро(^) =Р-.

Пусть I > 0, а к и п таковы, что < I < И р0(1) -
невозрастаающая функция от Л так что

/с-1	к_

Р п > РоС) > Рп 

Если теперь устремить к и п к бесконечности так, чтобы > Л
то получим ро(^) = р*.
Отметим, что случаи р = 0 и р = 1 с практической точ-
ки зрения неинтересны. В первом случае за любой промежу-
ток времени происходит хотя бы одно событие, а, значит бес-
конечное число событий. Во втором случае события с веро-
ятностью 1 не происходят вообще. Поэтому будем считать,
что 0 < р < 1 и тогда ро(1) = <>х. А = — 1пу> > 0. Далее
+ Р1(к) +Р>1(к = 1, и так как р<з(1) = 1 — А7 + о(7), то с
помощью ординарности выводим р^ (7) = XI + о(7). По форму-
ле полной вероятности с гипотезами Нк = {&=]} с помощью
условий стационарности и отсутствия последействия получаем

рк(1 + Д1) = 52 Рз^Рк-з^)- Здесь

7=0

к — 2	к — 2	к

'^Рз(кРк-з(^к < '^Рк-з(^к = ^рл^к <
3=0	3=0	з—2

^р3^) = р>1(М) = о(Д{),
3=2

так что

рк(1 + М) = рк(1)ро(М) + рк-з (1)р! (А7) + о(М) =

= (1 - ХД1)рк(1) + АД^/._1(7) + о(А7),
откуда получаем систему дифференциальных уравнений

г Рк^ + ^к-Рк(к , т , \	/+А

Р/гЮ = д1™о ---Д1---- = ~ХРк^ +

с начальными условиями ро (0) = 1, рк (0) = 0, к > 1.

Решение этой системы будем искать в виде РкХк) =
е~Х(гк(1), гДе новые искомые функции 1’к(1) удовлетворяют
условиям го(О) = 1, гд(0) = 0, к > 1 и г’о(7) = 1- Имеем
= Агц,-1(7), к > 1, в частности 1’1(1) = X. Решая по-
(Х1)к
следовательно эти уравнения, находим щц) = —;— и, ста-
к\

ло быть, Рк№) = —г,—е~Х1- В силу стационарности Се —	—

к\
&_в€ЩЛ(^ — я)), > а > 0. Это соотношение вместе с отсут-
ствием последействия (независимостью приращений) означа-
ет, что & - пуассоновский процесс.

Отметим одно интересное свойство пуассоновских процес-
сов (простейших потоков). Обозначим через т - время ожида-
ния появления 1-го события. Тогда Р{т > 1} = Р{^ = 0} =
< Л' и

Р{т > + 3|Т > з} =	= Р{т > 0,

^1'	5.1

то есть, распределение оставшегося времени ожидания появ-
ления 1-го события, если мы уже ждали его некоторое время,
такое же, как распределение всего времени ожидания. Если,
скажем, поток автобусов, подходящих к конкретной остановке
простейший, вы пришли на остановку и прождали час, то рас-
пределение оставшегося времени ожидания такое же, каким
оно было в момент прихода.

Отметим еще, что при выводе формулы Р{& = 0} = е~Х1
использовались только стационарность и независимость при-
ращений и не использовался конкретный вид распределений
величин

Другие примеры случайных процессов (цепей Маркова с
непрерывным и дискретным временем, стационарных в широ-
ком смысле последовательностей и т. п.) приведены ниже в
пунктах, посвященных изучению соответствующих процессов.

5.4.	Цепи Маркова с дискретным вре-
менем

До сих пор мы изучали последовательности независимых слу-
чайных величин, последовательности независимых экспери-
ментов и т. п. Однако независимость - это просто удобная
математическая абстракция, предположение (более или менее
обоснованное), что зависимостью можно пренебречь. В реаль-
ных экспериментах, в практических приложениях все явле-
ния в той или иной степени, в той или иной форме зависимы.
Поэтому изучение зависимости (экспериментов, в которых за-
висимостью пренебречь нельзя) является весьма актуальной
задачей. В настоящем параграфе изучается один из простей-
ших и весьма распостраненных типов зависимости - введенная
выше марковская зависимость. Всюду в дальнейшем в этом па-
раграфе марковской цепью будет называться цепь Маркова с
дискретным временем.

Для изучения цепей Маркова мы будем параллельно поль-
зоваться двумя терминологиями.

Первая - цепью Маркова будем называть некоторый объ-
ект, который в целочисленные моменты времени случайным
образом перемещается по множеству состояний {ЕД.

Вторая - цепью Маркова будем называть последователь-
ность целочисленных случайных величин {Сп}-

Связь между этими терминологиями следующая: Сп - это
номер состояния в момент времени п (на п-м шаге), то есть
{С„ = Д={в момент времени п цепь находится в состоянии
ЕД.

Определение. Последовательность целочисленных слу-
чайных величин {С„, п = 0,1,2,...} называется цепью Мар-
кова, если для любых п, щ,..., г„-1, г и }

Р{Сп = 1|Со = Ф, --чСп—2 = Д — 2-Сп — 1 = 0 =

= Р{Сп = 1|Сп-1 = 0=4п).

Нетрудно показать, что это определение равносильно (5.1),
то есть, согласно нашей терминологии, мы просто определили
марковский процесс с дискретным временем и с целочислен-
ными величинами Сп-

Последнее соотношение характеризует марковскую зависи-
мость и оно равносильно следующему: для любых п и }

Р{Сп = Л Со,	Сп-Д = Р{Сп = ЛСп-1} П.Н.

Обычно интерпретируют момент времени п — 1 (и собы-
тия, относящиеся к этому моменту) как настоящее, все, что до
него - прошлое, после - будущее, и, обозначив {Сп-1 = Д = Н,
{€« = ]} = Б, {Со = г0, ^п-2 = гп-?} = П, получим, что мар-
ковская зависимость означает Р{Б|ПН} = Р{Б|Н}. Нетруд-
но убедиться, что это равносильно следующему: Р{БП|Н} =
Р{Б|Н}Р{П|Н}, что, как и в общем определении марковско-
го процесса, интерпретируется, как условная независимость
будущего и прошлого при известном настоящем. Это форму-
лируют еще так: «будущее связано с прошлым только настоя-
щим», детерминистический аналог такой зависимости - рекур-
рентные соотношения т„+1 =	отсюда термин «цепная

зависимость», когда каждое следующее звено «цепляется» за
предыдущее.

Предостережение! Условная независимость и просто неза-
висимость - совершенно разные понятия! Будущее и прошлое
в цепях Маркова как правило зависимы, могут даже вообще
полностью определять друг друга, как, например, в последо-
вательности = С, п = 1, 2,... (это цепь Маркова!).

Определение. Цепь Маркова называется однородной, ес-
(п)	(п)

ли не зависит от п, то есть = р^.

В этом случае р^ - это вероятность перехода из г-го состо-
яния в 7-е за один шаг и она не зависит от того, на каком шаге
происходит переход. Матрицу Р = {уду} (быть может - беско-
нечную) будем называть матрицей вероятностей перехода за 1
шаг. Ясно, что р^ > 0 и

= р | Ц1(€п = 7') €п-1 =	=1,

7(7	)

то есть сумма элементов в любой строке равна 1. Матрицы с
такими свойствами называются стохастическими.

Обозначим Р{С„ = 7'|^о = 0 = 7Лу(п) - вероятность пере-
хода из 1-го состояния в фе за п шагов и Р(п) = {тлДп)} -
матрицу вероятностей перехода за п шагов (она, как и Р, яв-
ляется стохастической). По формуле полной вероятности

РцФ) = Р{Сп = 7 |Со = 0 = 52 р{^-1 = ^0 = 0х

к
ХЖ = Л€п-1 =	= г} = ^Ргк(п - ^Ркэ-

к

Это означает, что Р(п) = Р(тг — 1)Р, откуда Р(п) = Р”.

Введем еще обозначения р^п) = Р{^„ = 7}, р(п) = {/^(п)}
(р(п) - вектор-строка). Если известны вероятности 797(72) при
всех ] и п, то известны распределения величин (известны
вероятности находиться в каждом состоянии на каждом шаге),
в этом смысле можно считать, что вектор р(п) задает или
определяет эволюцию цепи Маркова (или, по крайней мере,
практически значимую информацию о цепи).

Вектор-строка р = {727}, р^ = Р{^о = ]} называется на-
чальным распределением. По формуле полной вероятности

рЛп) = 22 рЕо = Чр{€п = Жо = к} =
к	к

то есть р(п) = рР(тг) = рР" и эволюцию цепи в указанном
выше смысле можно считать заданной, если задана пара (р, Р).

5.4.1.	Примеры цепей Маркова

Пример 1а. Блуждание по целочисленным точкам прямой.
Эта простая цепь является моделью для очень многих вероят-
ностных экспериментов, в частности для схемы Бернулли.

Пусть некоторый объект (скажем, сумма, которой вы рас-
полагаете в игре), находясь в точке с координатой г независи-
мо от своей предыстории с вероятностью р «прыгает» в точку
г + 1 (выигрыш 1 рубля) и с вероятностью д = 1 — 79 - в точку
1—1 (проигрыш 1 рубля).

Рис. 5.1: Блуждание по целочисленным точкам

Введем состояния цепи Ег = { объект находится в точ-
ке с координатой г}. Блуждание по состояниям Ег являет-
ся цепью Маркова по условию. Понятно, что тл,г+1 = р,
Р 1,1-1 = 1 - Р, Рч = О ДЛЯ ] / г ± 1.

Пример 16. Блуждание с поглощением. По точкам
1,2, ...,а — 1 объект блуждает так же, как в примере 1а, но
попав в точку 0 или в точку а он остается там навсегда (по-
глощается).

1 — р

1 - р Р

1 г — 1 г г +1

Рис. 5.2: Блуждание с поглощением

В терминологии игры - это игра до разорения, попадание в
О (ваша наличность равна нулю) это ваше разорение, попада-
ние в точку а - разорение вашего противника, располагавшего
а рублями. При 1 < г,] < а — 1 вероятности р^ те же, что в
примере 1а, р10 = 1 - р, р01 = 0, р00 = 1, 79а_ца = р, ра,а-1 =
О, Раа = 1- Матрица вероятностей перехода за 1 шаг выглядит
следующим образом:

Пример 1в. Блуждание с отражением. По точкам
1,2, ...,а — 1 объект блуждает так же, как в примере 1а, но
попав в точку 0 или в точку а он с вероятностью 1 возвраща-
ется в точку 1 или а — 1 соответственно (отражается).

В терминологии игры это означает, что разорившийся иг-
рок идет и где-то занмает рубль. При 1 < г,] < а — 1 веро-
ятности 7?гу те же, что в примере 1а, т?ю = 1 — р, ро± = 1,
Роо = 0 Ра-1,а = Р, Ра,а — 1 = 1, Раа = 0.
1 — р

Рис. 5.3: Блуждание с отражением

Матрица вероятностей перехода за 1 шаг выглядит следу-
ющим образом:

/ 0	1	0	0	...	О	0	\

д	0	р	0	...	О	О

р_ 0	с/	Ор	...	О	О

\ 0	0	0	0	...	1	о	/

Пример 2. Модель Эренфестов для диффузии.

При обсуждении различных задач в статистической меха-
нике П. и Т. Эренфесты в качестве модели для диффузии
предложили мысленный урновый эксперимент, в котором
молекул распределены по двум сосудам А и В. На каждом
шаге наудачу выбирается одна молекула и перемещается из
своего сосуда в другой. Пусть Е7- = {в сосуде А ] частиц},
] = 0,1,..., А’. Из состояния Е7- цепь переходит в состояние
Е7-1 или Е7+х в зависимости от того, находится наудачу вы-
бранная частица в сосуде А или В. Матрица вероятностей пе-
рехода за 1 шаг имеет вид:

	/ 0	1	0	0	. 0	0 \
	1	0	ДГ-1	0	. 0	0
р =	0	2	0	ДГ-2	. 0	0
	\ 0	0	0	0	. 1	0 /

Пример 3. Пусть {^„} - ы.Ф - последовательность цело-
численных величин. Тогда

Р{€п = Л€о, ...,€п-1} = Р{€п = Ж-Л = Р{€п = Я, п.н.
то есть {ДД является цепью Маркова. Далее, пусть

8п = Е Тогда

/г=1

Р{5П = №1 = И, • ••,<$'„-1 = г) = Р{5п-5п-1 =	= г) =

= р{е„ = 1 - о,

и последовательность {5П} также является цепью Маркова.

5.4.2.	Классификация состояний цепи Мар-
кова

а)	Говорят, что состояние Е, достижимо из состояния Ег
(обозначение Ег ЕД, если существует п е К такое, что
Рч(п) > 0.

б)	Говорят, что состояние Ег и Е, сообщаются (обозначение
Е *-> ЕД, если Е Е, и Е, Е .

в)	Бинарное отношение является рефлексивным, сим-
метричным и транзитивным, поэтому множество всех состоя-
ний разбивается на непересекающиеся классы сообщающихся
состояний, они называются неразложимыми классами. Если
цепь состоит из одного неразложимого класса, то сама она
называется неразложимымой. Таким образом, цепь неразло-
жима, если все ее состояния сообщаются.

г)	Состояние Е7- называется несущественным, если суще-
ствует состояние Ег Д Е7- и п € К такие, что узуДп) > 0, но

= 0 Ут € К (то есть, Е7- Ец но Ег Е/ из состоя-
ния Е7 можно попасть в такое состояние, из которого нельзя
вернуться обратно). В противном случае состояние называется
существенным.

д)	Пусть ф- = НОД{п : /гуДп) > 0}. Если Д > 1, то состоя-
ние Е7- называется периодическим с периодом Д, если ф- = 1,
то состояние Е7- называется непериодическим. Таким образом,
в периодическое состояние можно вернуться только за число
шагов, кратное сД

Если рц(п) = 0 Уп е К, то будем считать, что Д не опре-
делено.
Цепь Маркова называется непериодической, если все ее со-
стояния непериодические.

Примеры.

1а. Блуждание по целочисленным точкам. Все состояния
сообщаются и существенны, цепь неразложима. Все состоя-
ния периодические с периодом 2 (вернуться в любое состояние
можно лишь за четное число шагов).

16. Блуждание с поглощением. Состояния Ед и Еа -
существенные и несообщающиеся. Состояния Е1,...,Еа-1 -
сообщающиеся и несущественные. Цепь разбивается на 3
неразложимых класса: {Ед}, {Еа} и {Ед,..., Еа-х}. Состояния
Ед и Еа непериодические (в них можно вернуться за 1 шаг),
состояния Ед, ...,Еа_1 - периодические с периодом 2.

1в. Блуждание с отражением. Все состояния сообщаются
и существенны, цепь неразложима. Все состояния периодиче-
ские с периодом 2.

Теорема 22 (Теорема солидарности).

Пусть Ег Е7-. Тогда Ег и Е7- существенны или нет,
периодические или нет одновременно, и, если периодические,
то имеют одинаковый период.

◄ По условию существуют т, к е К такие, что
Р,р(т) > 0, рр^к) > 0.

а)	Пусть Ег - несущественное, то есть существуют Е/ и
г е Ц такие, что рц(г) > 0, но рц(п) = 0 для любых п е К.
Тогда Рд[(к + г) > рр(к)рц(г) > 0, то есть Е7-	Е/. Если бы

Е/ Е7-, то при некотором з е К р/дз) > 0, следовательно
Ри(з + к) > Р1]{з)р^^к) > 0, то есть Е/ Е», что противоречит
предположению. Таким образом, Е/ Е7-, и Е7- несуществен-
ное.

б)	Пусть рц(п) > 0. Тогда

Рц(т + к) >	>0	=> т + к\д^

Р]](т + п + к) > Рд1(к)рц(п)р^(т) >0 => т + п + к\д^

Отсюда следует, что п|й7-, следовательно > д^.

Аналогично показывается, что д, > (Ц, так что = д^. ►
Следствие. В неразложимой цепи все состояния однотип-
ны: они все существенны и периодические или нет одновре-
менно и, если периодические, то имеют одинаковый период.

Пример. (Блуждание с притяжением в нуле.)

Пусть ]\1+1 = р > 0, г = 0,1,..., рт = 1 — р, г = 1,2,...

Р	Р	Р

О

1 — р

Рис. 5.4: Блуждание с притяжением в нуле

Очевидно цепь неразложима и с?о = НОД{2, 3,...} = 1. По
теореме солидарности цепь непериодическая.

5.4.3. Эргодические теоремы

В этом пункте изучается асимптотическое поведение цепей
Маркова, то есть изучается, скажем, поведение распределений
величин Сп при п оо. Оказывается, при довольно широких
предположениях цепи Маркова «стабилизируются» при боль-
ших п, то есть после того, как цепь «поработает» достаточно
долго, она в каждом своем состоянии находится с вероятно-
стью, практически не зависящей от п. Причем эти вероятно-
сти, характеризующие так называемый стационарный режим
цепи, представляют как раз наибольший интерес. Например,
в системе массового обслуживания в начальный период рабо-
ты, пока клиенты не разобрались что где и сколько им нужно,
невозможно определить загрузку обслуживающих приборов,
требуемое их количество, среднюю длину очередей и т.д. Что-
бы оценить эти характеристики работы системы, нужно дать
ей поработать некоторое время, дождаться, пока система вый-
дет на установившийся (стационарный) режим и затем уже
изучать этот режим. Условия существования таких режимов
и их характеристики дают эргодические теоремы.
Определение. Вектор-строка П = {тг7}, тг7- > О,
52	= 1 называется стационарным распределением цепи

7

Маркова, если П = ПР (то есть тг,- = 52 ^кРкц) •
к

Если в качестве начального распределения взять стацио-
нарное (р = П), то

р(1) = рР = ПР = П, р(2) = рР2 = ПРР = ПР = П,

р(п) = П \/п € К, то есть, вероятности находиться в каждом
состоянии не меняются со временем. Нетрудно показать, что
в этом случае последовательность {$„} является стационар-
ной в узком смысле и поэтому говорят, что цепь работает в
стационарном режиме.

Определение. Коэффициентом эргодичности цепи Мар-
кова называется последовательность

к(п) = 1 - |8пр^2 1?ЫП) ~Р]к(п)\.

2 ‘д к

Заметим, что к(пд) > 0, если, например, при некотором
к € К т1тгд(по) > 0. С другой стороны существуют цепи,
7

у которых к(п) = 0 при всех п е К. Простейшим приме-
ром является цепь с двумя состояниями Ео и Ех такая, что
Ро1 = 1, Рю = 1-

Теорема 23 (Эргодическая теорема).

Пусть к(по) > 0, по € К. Тогда при любом начальном
распределении существуют пределы

1пп Р](п) = Нт 71гу(п) = тг7-,

причем

зпр |?1у(п) — тг,-| < е~ап, зпр |тд7- (п) — тг,-| < е~“", а > 0.
> Л	]
◄ Обозначим гДп) = птЕ/д^п), ЛДп) = 8щ>р^(п). Тогда
г^п + 1) = т{^р1крк^(п) > г^п) п^^р^ = г^п),

то есть гДп) неубывающая последовательность. Аналогично
показывается, что ЛДп) невозрастающая последовательность.
Как монотонные ограниченные последовательности /’Дп) и
ЛДп) имеют конечные пределы. При этом

О ( П ) < р ( П ) < Л’, (П ) , /•, (П ) <Рд( П ) = V	( " ) <	,

и если мы докажем, что ЛДп) — гДп) < е~ап 0, п оо, то
по теореме о двух милиционерах это будет означать, что р^{п)
и Р](п) имеют общий предел тг,-, причем /’7(п) < тг,- < ЛДп)
при любых п. Отсюда уже легко следует утвердение теоремы.
Имеем

О = ^Р.кЫ - р1к(п0У) =

к

= ^2 (р^(по) - Р1к(п0У) - ^2 (т(^о) - ргк(п0)),

где 52 и —52 " обозначают суммы положительных и отри-
цательных слагаемых в исходной сумме. Ясно, что

впр^2 \Ргк(п0) - Р1к(по)\ = впр^2 Ы(По) - ТЫ^о)! =

С помощью этого соотношения выводим

+ По) - О'(П + По) = 8Пр {Ргд(п + По) - Рк](п + «о)} =
< вир < Я7-(п)У2 (Р1к(п0) - Р1к\по')')-

1,1	1

' I	к

-ргк(п0У) ? = (1 - к(710))(Я;-(п) -Г;-(п)).
к

Применяя последовательно это неравенство, получаем

— г^(1:по) < (1 — к(по)Г = ехр{Лп(1 — к(пд))}, € К,

где 1п(1 — к(по)) < 0. Так как /?Дп) — гДп) невозрастаю-
щая последовательность, то из последнего соотношения сле-
дует -Яу(п) — гДп) < е~ап —> 0, п —> ос, а > 0. ►

Замечание. Вектор предельных вероятностей П = {тг,}
является стационарным распределением, если у данной цепи
таковое существует. Это следует из того, что Ит р^п) не за-
висит от выбора начального распределения, так что в качестве
начального можно взять стационарное.

Пример. Блуждание с притяжением в нуле.

Для данной цепи

к(1) = 1-|8ПР^2 \Ргк-Р]к\ = 1-8ПРРг’г + 1 +Р-,’-' + 1 = 1-71 > 0,

так что эргодическая теорема применима. Система уравнений
для стационарного распределения П = ПР, 52 7Г1 = 1 для
1=0

данной цепи имеет вид:

тг,- = 5П ^кРк] = ТГ]-1Р = ••• = ?о>-77ГО, 3 = 1,2,...

к

7Г0(1 +р+р~ + ...) =	= 1.

1 — р

Следовательно, вектор с координатами л, = /л'(1 — р),
3 = 0,1,2,... является стационарным распределением цепи и
по эргодической теореме Ит р^(п) = Ит р^п) = 7/(1 —р).
Проверка условия к(пд) > 0 в эргодической теореме мо-
жет представлять серьезную трудность, во всяком случае для
этой проверки требуется весьма существенная информация о
вероятностях р^{п), которые в реальных задачах, как прави-
ло, неизвестны. Значительно более удобную для применений
(в первую очередь с точки зрения проверки условий) форму
эргодической теоремы можно доказать в случае, когда цепь
имеет конечное число состояний.

Теорема 24 (Эргодическая теорема для цепей Маркова с ко-
нечным числом состояний).

Пусть число состояний И цепи конечно. Тогда

а)	для того, чтобы существовали пределы

Пт р^(п) = Пт Р](п) = тг7- >0, ] = 1, ...П	(5.2)

необходимо и достаточно, чтобы цепь была неразложимой и
непериодической;

б)	вектор П = {тг,Д = 1,..^} является единственным
стационарным распределением цепи.

За	мечание. В силу Теоремы 24 система + 1 линейно-

го уравнения с неизвестными П = ПР, 52 Д/ = 1 имеет

7 = 0

единственное решение П = {тгх,..., тгдг}, где тг,-, ] =	-

предельные вероятности в (5.2).

◄ Утверждение а) Необходимость очевидна.

Достаточность. Пусть цепь неразложима и непериодична.
Тогда для каждого г существуют ах,..., а,- € К такие, что
НОД{ах, • ••, аг) = 1 и рц(ач,) > 0, к =	Обозначим

/_(х) = 52 а-кЛ'к, Хк € Д х = (ад, ...хг) € 27, и пусть 3 - ми-
к—1

нимальное натуральное число вида 3 = Т(хд), хд € 27. При
любом х € 27 Т(х) = 13 + а, I € К, 0 < а < 3. Если а > 0, то
а = Т(х) — 13 = Т(х — /хд), следовательно 3 не является мини-
мальным натуральным значением Т(х). Полученное противо-
речие означает, что а = 0, то есть, что при любом х € 27 Т(х)
делится на й. Но тогда ах,..., а,- делятся на й, следовательно
Л = 1. Пусть п е К, А = 52 ак = Ь(1), 1 = (1, •••, 1)- Тогда
п = тА + в = тЦ1) + 0Т(хо) = Цт1 + 0хд), 0 < в < А.
Если п достаточно велико, то координаты вектора т.1 + 0хд
положительны, так что п = 52 а^лц,, € К. Тогда рц{п) >
к—1

Ри^ахХх)  ... • рц(агхг) > 0. Это утверждение справедливо для
любого г =	так что существует п' е К такое, что

Ри(п) > 0, п > п!, г = 1,

Далее, в силу неразложимости цепи существуют к,:1 е К та-
кие, что р^(к^) > 0. Пусть к1 = тахк^. Если по = п' + /г', то
к]

п0 — к^ > п' ир^(п0) > рц(по — к^)р^(к^) > 0 и, следователь-
но, к(тг0) > 0. В силу предыдущей теоремы выполнено (5.2),
причем из доказательства следует, что тг;> 0. .) = 1,..., М

Утверждение б) Пусть тг7-, Д = 1,..., ./V - предельные веро-
ятности в (5.2). Тогда

5П КкРк] = 1Ш1 ^Р1к(п)рк^ = 1пп 72у(п+1) = 7Г,-, ] = 1, ...,
к=1	~’ к=1	~’

52	= п1^, 52	=х’

7 = 1	7 = 1

то есть П = {тг7,7 = 1,...,.У} - стационарное распределение.
Докажем его единственность. Пусть П* другое стационарное
' ДГ	'

распределение, то есть П*=П*Р, 52 7Г/ = 1- Тогда

7 = 1

П* = П*Р = П*РР = П*Р(2) = ... = П*Р(п),

7Г* = ^тг^Дп) 52^717 = л-у, 7 = 1, ...,2У.

к=1	к=1
5.5.	Цепи Маркова с непрерывным
временем

Согласно приведенным выше определениям, цепью Марко-
ва с непрерывным временем называется марковский процесс
{&} в случае, когда & - целочисленные случайные величи-
ны. Сохраним терминологию цепей Маркова с дискретным
временем и будем говорить, что цепь находится в состо-
янии в момент времени С если & = ]. Также рассматрива-
ются только однородные цепи, когда переходные вероятности
Р{^ =	= г),	> в зависят только от разности 1: — з. В

этом случае

Р{6+« = Же = 0 = Р{5 = Жо = г} = ргд(1)

-вероятность перехода из г-го состояния в ]-е за время С Ес-
ли заданы переходные вероятности и начальное распределение
Рэ = Р{^0 = .?}, Э € й, то мы можем вычислить конечномер-
ные распределения процесса

Р{€ц = 5, •• •,	=	=

= 52р{61 = 5, •••,&„ = г'Жо = г'}Р{€о = г} =

= ^РгРсиААРи^АА -	Ап - 1п-1)

и, следовательно, согласно нашей договоренности, мы можем
считать случайный процесс заданным или определенным. С
помощью формулы полной вероятности легко показывается,
что переходные вероятности удовлетворяют уравнениям Кол-
могорова - Чепмена

р^А + в) = '^2р1к(1)рк^8), 1,з > 0.
к

Если обозначить Р(^) = {р^А)} матрицу с элементами р^АА
то уравнения Колмогорова-Чепмена эквивалентны соотноше-
нию Р(^ + я) = Р(^)Р(з).
Будем называть цепь Маркова стандартной, если

1 при г = 7
О при г / ]

= 5у =

Лемма 6 . Переходные вероятности стандартных марков-
ских цепей равномерно непрерывны.

52 РгкД^РкЦ Ю -Р1]({)
к

\ргД1 + Н) -р^(1) \ =

(рч^) - 1)ргАк + У^прк^)рк](к
к^г

< \рн(б) - 1| + 1 - ргг(б) < 2\рц(Н) — 11 —> 0, /г —> 0.

Теорема 25 (Уравнения Колмогорова для цепей Маркова с
конечным числом состояний).

Для стандартного марковского процесса с конечным чис-
лом состояний {1,2,..., }

1)	существует

г	л г л

11ш--------= А = {агЛ,

ЦО 1	1 1Л'

где I - единичная матрица, - конечные числа, > 0,
при г / ], 52	= 0 , а предел, арифметические операции и,

з

в дальнейшем, производная применяются к матрице поэле-
ментно.

2)	Элементы матрицы Р(^) дифференцируемы в любой
точке 1>О и

Р'(Л =Р(Ц) -А = А-1Д1), Р(0)=К
Систему дифференциальных уравнений Р'(^) = Р(^)  А, в
координатном виде

р'д(Р)	=

к=1

называют прямой системой уравнений Колмогорова, а систе-
му Р'(*) = А  Р(*) или

Рг^Р) = 12 а1кРк](1) г, ] = 1,
/г=1

обратной системой уравнений Колмогорова.

Отметим, что прямая система уравнений удобна тем,
что позволяет вычислять безусловные вероятности р^) =
= Р{^ = г}. Действительно, умножив уравнение для р'ц(1)
на р1 = Р{^о = 0 и просуммировав по г, получим

Р^Р) =	Рд(0)=Рд, 7 = 1,2,...	(5.3)

к

◄ А) Пусть неотрицательная функция / определена и
непрерывна на (0, ос). Предположим, что для любого е > О
найдется ф > О такое, что если пк < 10, к > 0, п е И, то
/(п/г) > (1 — е)п/(к). Покажем, что в этом случае ПтГ1/^)
существует и конечен.

Действительно, пусть д(7) = Мх/(^), 1ш1ш1д(/г) = с. Из
Л.|.О

неравенства д(пк) > (1 — е)д(к), пк < /0, следует, что с < +ос
и существование 0 < Н < Ф/2 такого, что д(Н) < с + е, а из
непрерывности функции д на (0, ос) - существование ко > О
такого, что д(7) < с + 2е, \1 — Н| < к^. Пусть теперь 0 < к <
тт(/гоДо/2). Возьмем п е К такое, что Д < пк < Д + /г <
Тогда

(1 — е)д(Л) < д(пК) < с + 2е.

В силу произвольности е 1ш18ирд(/г) = с, то есть Итд(/г) = с.
/1.|.о	МО
Б) Покажем, что при г / ] функция /(^) = удовле-
творяет условиям пункта А).

Пусть к > 0. Рассмотрим однородную цепь Маркова с
дискретным временем и матрицей переходных вероятностей
за один шаг Р* = Р(/г), то есть рР = р^{к),	Р*^{п) =

р(пк).Обозначим /^-(п) - вероятность перехода из г-го состо-
яния в 7-е впервые на п-м шаге,	- вероятность возвра-

щения в г-е состояние на п-м шаге без захода в состояние 7,
/п\0) = 1. Тогда

п— 1

Р^(п) > 52 /л	- к - 1),

(5.4)

/с-1

и так как ^2 Л? (пг) < 1, то
т=1

к-1

Р*г(к) = /п }(^)+$2 /уЧ'тНД’-т) < /п }(л)+ тах, р*г(к-т).
1<т<к

т=1

(5.5)

Из (5.5) выводим

> рц(кк) — тах р^((к — т)к).	(5.6)

Из непрерывности р^!) следует, что для любого 6 > 0 най-
дется ф > 0 такое, что при 0 < ^ < ф имеет место рр(1) <
6, Ри^) >1 — 5, Р77Ш > 1 — 5, так что из (5.6) при кк <
получаем /^\к) > 1 — 25 и из (5.4) при пк < к0 выводим теперь

п— 1

Р2](пк) > (1 - 25)	- 5) > (1 - 35)п7л7-(/г).

А-=0

Осталось положить 5 = с/3.

Из А) и Б) следует, что при г / 7 Нт^ 1Р2]^) =	> 0

существует и конечен. А так как

1 - Рч({) = РцЮ

3=^1
и число слагаемых в последней сумме конечно, то

1—	РнД)	„

Пт---------- = — ац существует и конечен и > ,	= 0.

Пункт 1) доказан.

2)	. При I = 0 Р(0) = I и утверждение 2) совпадает с 1).
Пусть > 0, к > 0. Тогда, используя непрерывность Р(^) и
утверждение 1), получаем

Р(Ш)-РИ) ,	Р(/г)-7

Ит к	= Р (1) Ит ------- =

/1.|.о к	/1.|.о к

= Ит ( -----Р(^) = Р(^)А = АР(^),

/г.|. 0	к

РИ-кЧ-'Ш)	Д(к) - I

Пт -И---------= цтрн - к ------------=

/1.|.о	-к	/1.|.о	к

= Ит ( -----Р(^ — /г) = Р(^)А = АР(^),

/г.|. о к

откуда следует утверждение 2).

Теорема 26 (Уравнения Колмогорова для цепей Маркова со
счетным числом состояний). Для стандартного марковского
процесса

1)	при I / ] существует конечный предел

т РсМ
ац = Ит —-----;

>	/^о I

а для всех г существует конечный или бесконечный предел

При этом >0, г / 5, 52 ац < 0 V/.

7

2)	Если элементы матрицы А удовлетворяют условиям
— ац < оо, 52 ац =0 ^г, то имеют место прямая система

Р'(^) = Р(^) • А, в координатном виде

к
и обратная система уравнений Колмогорова: Р'(^) = А  Р(^),
или

Рр№ = '^2а1кРк^'), Р(0) = 7.

к

Без доказательства.

Так же, как в случае марковских цепей с дискретным вре-
менем, можно получить следующий результат.

Теорема 27 (Эргодическая теорема для цепей Маркова с
непрерывным временем).

Пусть к(^0) = 1 - двирЕ	> 0, ф > 0.

к

Тогда при любом начальном распределении существуют пре-
делы

Дт р„-(^) = Дт РЛ) =

причем

зирКЛ) - Ъ'1 < е
1,3

епр 12?^-(I) — тгу | < е а > 0.
7

Доказательство, по существу, не отличается от доказатель-
ства аналогичной теоремы для цепей с дискретным временем.

Если имеет место эргодическая теорема и прямая система
уравнений Колмогорова, то из системы уравнений (5.3) следу-
ет, что существуют конечные пределы Ит (7) = щ. Если бы
было щ / 0, то функции Р](1) были бы неограничены. Следо-
вательно щ = 0 и для вектора-строки предельных вероятно-
стей П = {тгД справедлива система линейных уравнений, по-
лучаемая (при узД) = 0) из системы (5.3) : ПА = 0, У тц, = 1
или

52^^-= 0, 7 = 1,2,..., ^2^ = 1.	(5.7)

к	к

Пример. Процессы размножения и гибели.

Процессом размножения и гибели назовем стандартную
марковскую цепь Д, I > 0}, у которой = 0 при
г,] > 0, |г — ]\ > 1 и 52 «о = 0, то есть цепь,для которой

Рп,п+1^) = ап,п+1/г + о(/г) = Хпк + о(/г),

Рп'П-АЩ = ап,п-1к + о(/г) = ипк + о(/г),
Рп,п{^ = 1 - (ап,п+1 + а„,„-1)/г. + о(/г) =

= 1 - (А„ + 7/„)/г + о(/г), р^{к) = о(/г), |г - ;| > 1.

Будем интерпретировать & как численность некоторой попу-
ляции в момент времени I. Если численность популяции равна
тг, то за время к с вероятностью Хпк + о(/г) она вырастает на
1 (рождение одной особи) и с вероятностью рпк + о(/г) - убы-
вает на 1 (гибель одной особи); измениться больше, чем на 1
численность популяции может с вероятностью о (Л).

Для & выполнены условия, при которых справедли-
вы системы уравнений Колмогорова. С учетом того, что
аод = ^о, ао,о = — Ао, напишем систему уравнений (5.3) для
вероятностей р^к) = Р{& = 0 :

Г р'о(0 = ~хоРо^) + "1Р1(к)

I Р'Л^ = “(Ап + "п)Рп(к) + А„_177„-1(^) + »п+1Рп + 1(к), п > 1

Получение условий, при которых существует решение этой

системы, удовлетворяющее условию 52 Рп(к) = 1 - это до-
п—0

вольно трудная задача и мы здесь заниматься ей не будем.
Если для рассматриваемой цепи Маркова имеет место эрго-
дическая теорема, то предельные вероятности тг,- = Ит р^к)
можно найти из системы линейных уравнений (5.7) :

-А07Г0 + 7Л7Г1 = О

— (Ап + Мп)тг„ + А„_ 17Г„-1 + 7Ап + 17Г„ + 1 = О, П > 1,

52^ = 1-
к

Положим = А„7Г„ — Ь'п+17Гп+1, п > 1. Получим Со = О,
— гп-1 = 0, п > 1, откуда = 0, п > 1, то есть
Ап — 1	.	Ад... Ап_ 1

—	7Гп—1 — ••• — Рп^о, где /?о — 1, Рп —	,

77„	771

со	/ со	\ ~Х

п = 1, 2,... Если Ё Рп < оа, то тг„ = рп I Ё Рп I , п = 0,1, •••

п—0	\п=0	/

Пример. Марковские процессы в теории массового обслу-
живания.

Рассмотрим систему обслуживания, содержащую т одина-
ковых обслуживающих приборов. В систему поступают требо-
вания (объекты, нуждающиеся в обслуживании). Входящий
поток требований считается простейшим и не зависящим от
состояния системы. Если имеется свободный прибор, он на-
чинает обслуживать требование, если же свободных приборов
нет, то требование или теряется, или становится в очередь на
обслуживание (в зависимости от постановки задачи). Время
обслуживания не зависит ни от состояния системы, ни от вре-
мени поступления и имеет показательное распределение. И/ } —
число занятых приборов в момент времени является марков-
ским процессом.

Мы рассмотрим систему с отказами, когда требование, по-
ступившее в момент, когда все приборы заняты, теряется. При-
мером такой системы может служить, например, телефонная
станция.

Вероятность того, что в промежуток времени (Л + к) по-
ступит требование равна 1 — <- Х1‘ = Хк + о(Л), если в момент
времени заняты к приборов, то вероятность того, что к мо-
менту + к освободится один из них, равна ктгк + о(/г). Мы
имеем процесс размножения и гибели с Х^ = X. рк = ку при
1 < к < п и Ад, = 0 при к > п и из общих формул для вероят-
ностей рк = Ит Р{^7 = к} получаем

Рк = Л

Эти формулы носят название формул Эрланга. При к = п мы
получаем вероятность того, что все приборы заняты, то есть,
вероятность того, что требование будет потеряно.
5.6.	Ветвящиеся процессы

5.6.1.	Ветвящиеся процессы с дискретным
временем.

Пусть имеется некоторая совокупность частиц (особей), кото-
рые с течением времени производят частицы такого же типа.
Одна начальная частица образует исходное (нулевое) поколе-
ние. Каждая частица с вероятностью ръ, к = 0,1,... порождает
к новых частиц; потомки п-го поколения образуют п+1-е поко-
ление. Частицы каждого поколения «размножаются» незави-
симо одна от другой. Пусть численность п-го поколения.
Последовательность {^п} называют ветвящимся процессом с
дискретным временем.

Приведем некоторые примеры ветвящихся процессов.

а)	Вырождение фамилий. Впервые эту задачу рассматри-
вали Ф. Гальтон и Г. Ватсон в 1874 г. Роль частиц играют
потомки мужского пола, ръ - вероятность того, что новорож-
денный мальчик будет отцом к мальчиков. Ставится задача
нахождения вероятности того, что в п-м поколении будет к
обладателей данной фамилии, в частности, нахождения веро-
ятности вырождения фамилии.

б)	Ядерные цепные реакции. Частицами являются нейтро-
ны, которые с вероятностью р испытывают столкновение с
другими частицами, породив при этом т частиц. То есть у
частицы с вероятностью 1 — р не будет потомков и с вероятно-
стью р будет т потомков.

в)	Гены и мутации. Ген с измененной структурой (мутант-
ный ген) может быть передан с определенными вероятностями
одному, двум, и т. д. непосредственным потомкам и изучается
число потомков в с измененной структурой гена (число мутан-
тов).

Пусть ^1— число потомков начальной частицы (число по-
томков первого поколения). По условию ръ = Р{^1 = к},
к = 0,1,... Если / 0, то число потомков второго поко-

(к)	(к)

ления ^2 = 22 €1 , гДе €1 " число потомков к-й частицы
к—1
Дк) а <	,	1 о	, А1) л(2)

первого поколения, = 4ь к = 1,2,... и 4ь€х , 4х , •••
независимы. Аналогично, число потомков п-го поколения

Дк) Дк) Д	чх С А-*-)

Чп — 2^ Чп—1’ Чп-1 — Чп-1, к — 1,2,... И 41 ,Чп—1’ Чп-Х’ •••
/г=1

независимы. Отсюда, в частности, следует

Р{€п = Жх = к} = Р{^121 + ...+€^1 = ;}, ; = о, 1, 2,... (5.8)

Обозначим через Рп(г)- производящую функцию числа по-
томков в п-м поколении:

Рп(Р) = М2«” =^2?Р{4„ = к}, 0<с<1,
к=0

Г(с) = Г1(с) =Мс«1 = ^кРк
к=0

(в определении Рп(0) считаем, что 0° = 1). Тогда в силу фор-
мулы полной вероятности и (5.8)

Рп(Р) = ^М |4Х = к}рк=р0 + ^Р М;Х-1+-+«121рА; =
к=0	к=1

= ^рк^рк = р(рп^(г)).
к=0

Отсюда Рп(Р) = (Р ° Р о ••• о где знак о обозначает су-

п раз

перпозицию. Чтобы найти Р{Сп = к}, нужно вычислить коэф-
фициент при гк в разложении Рп(д)-

Пример. Пусть каждая частица с вероятностью 0 < р < 1
порождает в следующем поколении одну частицу и с вероят-
ностью 1 — р - ни одной. Таким образом, ро = 1 — р, рк = р,
рк = 0, к = 2, 3,... и Р(д) = 1 — р + рг. Нетрудно подсчитать,
что ^2(2) = 1 — р~ + р2г и т. д., Рп(г) = 1 — рп + рпг. Мы
видим, что Р{$„ = 0} = 1 — рп, Р{61 = 1} = рп, то есть, в п-м
поколении будет одна частица с веротяностью рп и ни одной -
с вероятностью 1 —рп. Это, впрочем, понятно и без всяких вы-
числений: чтобы в п-м поколении была одна частица (процесс
не выродился), нужно, чтобы во всех предыдущих поколениях
обязательно порождалась частица, а это происходит с вероят-
ностью рп.

Найдем вероятность вырождения процесса, то есть, веро-
ятность того, что все потомство вымрет после конечного числа
поколений. Пусть Ап =	= 0}. Вероятность того, что про-

цесс окончится на п-м поколении равна хп = Р{АП) = Еп(0).
Если = 0, то = 0 при к > п и искомая вероят-
ность вырождения процесса равна х = Р < А„ > . Так как
I п—1

Ап С А„+1, п = 1,2,..., то по теореме о непрерывности вероят-
ностной меры х = Ит Р{АП} = Ит хп. Ясно, что х± = рц.
Ввиду тривиальности случаев рц = 0 и ро = 1, мы будем пред-
полагать, что 0 < ро < 1. Так как хп = Е(хп-к), то предел х
удовлетворяет уранению х = Е(х).

Если хотя бы одно из чисел р^-р?,.  отлично от нуля, то
при 0 < г < 1 Е'(г) > 0, Е"(г) > 0, так что график Е(г)
- это строго возрастающая, выпуклая вниз кривая, начинаю-
щаяся в точке (0,ро) и заканчивающаяся в точке (1,1). Если
же рк = 0, к > 2, то мы имеем процесс с линейной функцией
Е(г), описанный выше в примере. В этом примере вероятность
вырождения процесса х = Пт (1 — рп) = 1 и Е' (1) = р < 1.

В случае, когда хотя бы одно рк / 0, к > 2, возможны
только две ситуации.

а)	Весь график функции Е(г) находится выше биссектри-
сы первого квадранта. В этом случае единственным корнем
уравнения х = Е(х) является х = 1 и поэтому хп 1. Далее,
1 — Е(г) < 1 — 2 при всех 0 < г < 1, устремляя здесь г к 1
получаем Е'(1) < 1.

б)	График Е(г) пересекает биссектрису в некоторой точке
0 < ст < 1. Выпуклая кривая пересекает прямую не более, чем
в двух точках, так что Е(г) > г при г < а и Е(г) < г при
а < 2 < 1. Тогда х± = Е(0) < Е(а) = ст, и, по индукции, хп =
Е(хп-1) < Е{а) = а. Значит, хп а и по теореме Лагранжа
существует точка а < в < 1 такая, что Е'(0) = 1. В силу
монотонности производной ^'(1) > 1.

Рис. 5.5: Вероятность вырождения ветящегося процесса с дис-
кретным временем

Заметим, что ц = Р'(1) = 52 ^Рк = М^х - среднее число

А-=0

потомков одной частицы. Таким образом, мы доказали следу-
ющую теорему

Теорема 28 (Теорема о вероятности вырождения ветвщего-
ся процесса с дискретным временем).

Если ц = М^х < 1, то процесс вырождается с вероят-
ностью 1. Если же ц > 1, то вероятность вырождения
процесса равна единственному корню 0 < х < 1 уравнения
X = Р(х).

Отметим еще, что М^„ = Е„(1) = Р'(1)Р^1_1(1) = цМ^п-х,
следовательно = ц". Мы видим, что если среднее число
потомков п-го поколения не стремится к бесконечности при
п ос, то процесс вырождается с вероятностью 1.
5.6.2.	Ветвящиеся процессы с непрерывным
временем.

Пусть имеется некоторая совокупность частиц (особей), ко-
торые с течением времени производят частицы такого же ти-
па, причем процесс «размножения» обладает следующим свой-
ством: каждая из частиц за время [я, з +1) независимо от дру-
гих частиц и обстоятельств, предшествующих моменту з с ве-
роятностью рп{1) переходит в группу из п частиц. При п = О
говорят, что частица погибла. Будем считать, что в исходный
момент = 0 имеется одна частица. Марковский процесс
число частиц, имеющихся к моменту будем называть ветвя-
щимся процессом', переходные вероятности процесса & обозна-
чим Рц^)- Подсчитаем число частиц к моменту времени з + Л

€«+* = 12 гДе " чисо потомков г-й частицы, «жив-
г=1

шей» в момент з за время [я, я + I). Величины	...

- независимы и	то есть Р{С}^ = п} = Р{6 =	=

= Р1п^) =Рп{1)- Отсюда, в частности, следует, что

= « ( , « = 0, 1, •••	(5.9)

г=1

Предположим, что & - стандартный марковский процесс. То-
гда в силу теоремы 26 существуют пределы

лп = пт------, п Ф 1,	— Ал = пт---------,

С|.О /г	С|.О /г

которые называют инфинитезимальными параметрами про-
цесса Если при этом — Ах < оо и 52	= 0, то имеет место

к

обратная система уравнений Колмогорова для вероятностей

Рп(к =Р1п(к :

Рп(к = 1^2^кРкп(1), 72 = 0,1,...
к
Введем производящие функции

Ек(1, г) = ^ркп(1)гп = М{ге‘+в|^ = к} = М{г4‘ |& = к},
п=0

= Е^1,г) = ^рп(1)гп =
п=0

(при определении Ек(ф, 0) также полагаем 0° = 1). В силу (5.9)

Ек(1,г) = мХ)+-+^’ = Ек(1,х),

так что при 0 < с < 1 имеем

Е^1, г) = 52 р'п(фп = 52 Хк^ркп{фп =
п=0	к п=0

= 52 хкЕка, г) = 52 хкЕк^, г).
к	к

Введем производящую функцию инфинитезимальных пара-
метров /(х) = 52 Хкхк, 0 < х < 1. Производящая функ-
А-=0

ция Р(Лг) является решением дифференциального уравне-

ния — = Их) или М =	. с начальным условием

ей	/(х)

а?(0) = Е(0, г) = г. Решение этого уравнения имеет вид:

1 = 1{х) =  Пример. Пусть Ао = А, Ах /(а:) = А(1 - х) и  Г ди	1  / А(1 - и)	X	7 ж  = —А, Хк =0, к = 2, 3,... Тогда  [1п(1 — х) — 1п(1 — г)] .
Отсюда

Р(1, г) = 1 — е~А‘(1 - г) = ^2 Рп(фп,
п=0

следовательно ро(1) = 1 — е~х*, Р1(1) = < Х1. рп(1) = 0, п =
2,3,...

Будем искать вероятность вырождения ветвящегося про-
цесса с непрерывным временем. Вероятность вырождения про-
цесса к моменту I равна ро(1) = Р{6 = 0} = Р(1, 0). Рассуж-
дения, аналогичные тем, которые проводились для процессов
с дискретным временем, показывают, что вероятность вырож-
дения за конечное время равна Ит р<з(1) = Ит Р(^,0). Рас-

смотрим функцию /(т) = 52	0 < х < 1. /(0) = Ло, а

если Х& / 0 хотя бы при одном к > 2, (то есть, если исклю-
чить случай, рассмотренный выше в примере), то

/"(т) = ^2 к(к — 1)Х}-хк >0, 0 < х < 1,
к=2

следовательно функция /(т) выпукла, а ее производная воз-
растает на (0,1). Так как 52 Ад, = 0, то /(1) = 0. У уравнения
к

/(х) = 0 может быть еще лишь один корень х = а, 0 < а < 1,
причем в этом случае /'(а) < 0 и /'(0) = 0, а < в < 1.

Отсюда /'(1) > 0. Имеем /(а;) = /'(а)(ж — а) + О((ж — а)2),

. = ————------- +0(1), следовательно при с < х < а

/(ж)	/'(а)(ж-а)

/с1и	„, .	1	, х — а „, х

х,----г + 0(1) = 1п----------Ь 0(1).

/'(а)(а-а)	/'(а) г-а

При оо имеем

Р(1, с) = а + (с — а) ехр{7/'(а) + 0(1)} = а + О (/ ,А) ,
а = —/'(а) > 0. В частности, вероятность вырождения про-
цесса равна Ит Р(Л 0) = а, причем скорость сходимости экс-
поненциально быстрая.
Рис. 5.6: Вероятность вырождения ветящегося процесса с
непрерывным временем

Если /'(1) < 0, то х = 1 - единственный корень уравнения
Да?) = 0 и все приведенные рассуждения сохраняются при
замене а на 1, так что вероятность вырождения Ит ро(1) = 1.

Если же /'(1) = 0, то

/(-) =	= (1. _ 1)3/„(1) +о<1)

так что при ос ЕД, с) — 1 ~	,

/ (,1ц

ность вырождения равна Ит ЕД, 0) = 1.

/"(1) > 0 и вероят-

Если, наконец, А/, = 0. к > 2, то мы имеем рассмотрении!
выше пример, в котором /'(1) = — А < 0 и вероятность вырож-
дения равна Ит ро(1) = Ит (1 — ' >х') = 1.

Таким образом, мы доказали следующую теорему:
Теорема 29 (Теорема о вероятности вырождения ветвщего-
ся процесса с непрерывным временем).

Пусть - производящая функция инфинитезимальных
параметров ветвщегося процесса Если /'(1) < 0, то про-
цесс вырождается с вероятностью 1. Если же /'(1) > 0, то
вероятность вырождения процесса равна единственному кор-
ню 0 < х < 1 уравнения /(х) = 0.

5.7.	Стационарные в широком смыс-
ле процессы

Согласно данному выше определению последовательность
комплекснозначных случайных величин {$„, п е X} назы-
вается стационарной (в широком смысле), если для любых
п,к е К МС„ = М$о = т, М^п+к1к = МС„|0. Функция
Н(п) = М(С„ — лг)(^о — ш) называется корреляционной функ-
цией последовательности {$„}.

Для простоты изложения в дальнейшем будем предпола-
гать, что М^о = 0. Это предположение не умаляет общности
теории, но в то же время дает возможность пользоваться хо-
рошо развитым аппаратом теории гильбертовых пространств.

Обозначим через Б2 = Б2(Р) пространство комплекс-
нозначных случайных величин	+ Дз с конеч-
ным вторым моментом М|^|2 = М^2 +	Ес-
ли С ц € Ь2, то положим (С, ц) =	||^||2 = (С,€)-

Нетрудно показать, что множество случайных величин Б2
(а, точнее, множество классов эквивалентных случайных ве-
личин) со скалярным произведением (С,ц) является гильбер-
товым пространством и /?.(«) = (Сп,€о)-

Если € К, ах,..., «и € С, Д,...,	€ Д то

52 "	= 52  	- = м

Это свойство называется неотрицательной определенностью
функции /?.(п). Из него легко выводятся, например, следую-
щие свойства корреляционной функции (которые, впрочем,
легко получаются и из определения):

й(0) > 0, й(-п) = й(п), |й(п)|<й(0).

(Для доказательства первого соотношения можно взять И =
1, для второго - И = 2, Д = 0, й = Щ и для третьего -
П = 2, Д = 0, й = п, «1 = й(п), ад = — |й(п)|.)

5.7.1.	Примеры стационарных последова-
тельностей

1.	Случайное синусоидальное колебание.

Пусть МСо = 0, М|Со|2 = 1- Положим = СоегА”, А € №.
Последовательность {Сп} является стационарной с корреляци-
онной функцией й(п) = егХп.

2.	Почти периодическая последовательность.

Пусть 6г = Е г]кегХкП, где Мт]к = О, М|^|2 =	< оо,

к=1

к =	Мц/гЦ/ = 0, Ад, € [—7г,тг), Ад, / А/, к / I. Ве-

личина Сп является суммой гармоник е,ХкП с частотами Хк
и «случайными амплитудами» интенсивности ак. После-
довательность {С„} является стационарной с корреляционной
функцией

К(п) = М ^2	= '}Ра2кегХк

к, 1=1	к=1

Введем функцию Й(А) =	ак- Тогда

{/сгА/г < А}

й(п) = 52 егХкП(Р(Хк + 0) - Й(А,))
к=1

е,Хп ЙЙ(А).

Функция Й(А) дает исчерпывающую информацию о структуре
«спектра» последовательности {Сп}, то есть о величине интен-
сивностей, с которыми те или иные частоты входят в представ-
ление для поэтому Р(Х) называют спектральной функцией
процесса Р(Х).

3.	Белый шум.

Пусть {еп} - последовательность случайных величин такая,
что Мд, = 0, Мд, = 1, п е й, Мод =0, к / I. Ясно, что
{гп} - стационарная последовательность и

ЛМ = {о:	=

где

^(А) = [ /(А) ЙА, /(А) = -тг < А < тг.
У	^77

Мы видим, что если в примере 2 спектр был дискретным,
то в настоящем примере он абсолютно непрерывен с посто-
янной спектральной плотностью /(А) = 1/2тг. В этом смысле
можно сказать, что последовательность {дп} «составлена из
гармоник одинаковой интенсивности», что послужило поводом
назвать последовательность {д„} белым шумом по аналогии с
белым цветом, составленным из различных цветов одинаковой
интенсивности.

4.	Последовательности скользящего среднего.

Пусть

к = О-к^п—к, Где ак € С,

а {д„} - белый шум. В этом случае говорят, что последователь-
ность {61} образована с помощью (двухстороннего) скользя-
щего среднего из последовательности {д„}. Нетрудно подсчи-
тать, что

= Мбг+тСт = А4	а^акСп^-т—Пт—к =	^п+к^к •

д,к=—со	к= — со
Если од = 0, к < 0, то есть = 52 а-к^п-к, то {^п} называют
А—0

последовательностью одностороннего скользящего среднего. В
этом случае

рк=О

е‘М-к+Лах= / е^”/(А)ЙА,

(5.10)

где /(А) = \д(е гА)|2 , д(г) = 52 акгк.

к—о
т

Если же Сп = 52 ак?п-к, то {С„} называется последова-
ло

тельностью скользящего среднего порядка т.

5.	Процесс авторегрессии.

Пусть снова {еп} - белый шум. Будем говорить, что после-
довательность {С„} является процессом авторегрессии поряд-
ка д, если М|^о|2 < оо и + Ь1Сп-1 + ••• + Ъд&г-д = еп.

При каких условиях на 61,..., Ьд можно утверждать, что это
уравнение имеет стационарное решение? Рассмотрим сначала
случай д = 1 :	= а^п-х + ^п, а = ~Ъ1- Тогда

к-1

— а^,п—1Тсп — о(о^п_зТСп—х)Тсп — ... — о Сп—&Т

1=0

и если |а| < 1, то

м|е„|2< ы2пм|ео|2 + 5>2-'<с<

1=0

М

2

= М|а/сеп-/с|2 < С'|о|2/с	0, к^оо,
то есть Сп = 52 а^п-] п.н. (ряд сходится в среднем квадра-
7 = 0

тическом). Найдем корреляционную функцию процесса авто-
регрессии. В силу (5.10)

Я(п) = ап+как = — I е,ХпДХ) дХ,

где /(А) =	|д(е-гА)|“ , д(с) = 52 акгк = ———, то есть

27Г	к=о	1 — аг

/(А) = (2тг|1 — СЕв-гЛ|2) 1 = (2тг|1 + &1е-гА|2) 1. Приведем без
доказательства аналогичные результаты в случае произволь-
ного д € М : если все нули полинома С2(г) = 1 + Ь±г + ... + Ьдгя
лежат вне единичного круга, то уравнение авторегресии име-
ет единственное стационарное решение, представимое в виде
одностороннего скользящего среднего и

л«ААЛ“/<л)^гдеЛА)=зд<?(2чр'

Во всех приведенных примерах корреляционная функция до-
пускает представление в виде так называемого преобразования
Фурье - Стилтьеса функции, названной выше спектральной
функцией стационарной последовательности. Это представле-
ние имеет место для корреляционной функции любой стацио-
нарной последовательности.

Теорема 30 (Герглотц).

Пусть Н(п) корреляционная функция стационарной в ши-
роком смысле последовательности. Тогда существует неубы-
вающая непрерывная слева функция Р(Х), X е [—тг, тг] такая,
что Р^—тг) = 0 и

Н.(п)= [ е‘Хп 6Р(Х).
Без доказательства.

Функцию Р(Х) называют спектральной функцией стацио-
нарной последовательности, а если она абсолютно непрерыв-

на, то есть Р(Х) = / /(А) йА, — тг < А < тг, то /(А) называется
спектральной плотностью этой последовательности.

Отметим аналогию этого результата с ситуацией в тео-
рии характеристических функций. Можно показать , что ком-
плелснозначная функция <^(^), € Ж, <^(0) = 1 является харак-
теристической тогда и только тогда, когда она неотрицательно
определена (это утверждение известной теоремы Бохнера). То
есть корреляционная функция является очевидным аналогом
характеристической функции, а аналогом теоремы Герглотца
является свойство 117 означающее, что каждой характеристи-
ческой функции соответствует функция распределения Р(х)
такая, что

5.7.2.	Стохастические интегралы и спек-
тральное представление стационарных
последовательностей

ы

В примере 2 Сп = 52 '>1ке‘Х1‘п и
к = 1

н(п) = / е‘^ар(Х) = ^е‘^п(Р(хк + о)-Р(хк)),

где Р(Х) =	52 ак- Если Я(А) =	52 йк - случайная

{А:Аа<А}	{А:Ад,<А}

функция со скачками цк в точках А&, то

€» = 12 егХкП(2(Хк + 0) - Я(АЙ))

к=1
и последнюю сумму можно рассматривать, как интеграл
Римана-Стилтьеса с интегрирующей случайной функцией
Я (А). Цель настоящего параграфа дать аналогичное представ-
ление произвольных стационарных последовательностей. Од-
нако для этого придется привлекать такие функции Я(А), ко-
торые при каждом ш имеют неограниченную вариацию, по-
этому обычное понимание интеграла Римана-Стилтьеса (опре-
деленного, скажем, при каждом си) здесь оказывается непри-
емлемым. В настоящем параграфе строится аналог интегра-
ла Римана-Стилтьеса (так называемый стохастический инте-
грал), позволяющий получать интегральные представления
стационарных последовательностей, аналогичные приведенно-
му выше.

Определение. Комплекснозначный случайный процесс
{Я(А),А € Ж} называется процессом с некоррелированными
приращениями, если

1.	МЯ(А) = 0, М|Я(А)|2 < оо УА € Ж;

2.	М(Я(А4)-Я(А3))(Я(А2) - Я(АХ)) = ОУАХ < А2 < А3 < А4.
Функцию Р(Х) = М|Я(А)|2 называют структурной функ-
цией процесса {Я(А)}.

Мы будем предполагать, что А € [—тг, тг] и Р( —тг) = 0. В
этом случае Я(—тг) = 0 п.н. и М|Я(Ц — Я(.з)|2 =

= М|Я(Ц|2 - М|Я(з)|2 - М(ЯЦ) - Я(я))(Я(я) - Я(-тг))-

-М(Я(Ц - Я(5))(Я(5) - Я(-л)) = РД) - Г(з).

Теорема 31 (О постоении стохастического интеграла).

Пусть {Я(А), А € [—тг,тг]} комплекснозначный случай-
ный процесс с некоррелированными приращениями. Для лю-
бой непрерывной функции /(А), А € [—тг, тг] существует слу-
чайная величина ЛД) такая, что МУ(/) = 0, М|У(/)|2 < оо
и

У(/)=1.1.т.^/(А7)АЯ(А7),

7=1

где —тг = Ад < Ах < ... < А„ = тг, АЯ(А7) = Я(А7) —
Я(А7_х), ] = 1,..., п, и тах(А7- — А7_х) —> 0.
Предел в формулировке теоремы понимается в следующем
смысле: для любого е > 0 найдется 6 > 0 такое, что если
тах(А7- — А7-1) < 5, то М|7(/) — 52 /(А7-)АЯ(А7-)|2 < при
7	7=1

любом выборе —тг = Ад < Ах < ... < А„ = тг.

Будем обозначать ,!(/) = / /(Х)с12(Х) и называть ,!(/)

стохастическим интегралом от функции / с интегрирующей
функцией Я(А). При этом

||Б(/)||2> = М|Б(/)|2 = У |/(А)|2БГ(А) = \\/\\2р,	(5.11)

МУ(/)Ж) = У /(А)ЯХ)ЙГ(А),	(5.12)

где Р(Х) - структурная функция процесса {Я(А)}.

◄ Обозначим Ь2(Р) = {/ : \\/\\р = / |/(А)|2 БЕ(А) < оо} и
пусть /.} С Б2 (Б1) - множество ступенчатых функций вида

/(А) = 12 1РУ-1А-)(А), а; € С, -тг = Ао < Ах < ... < А„ = тг.

7 = 1

Для / € /. } положим -/(./') = 52 ауА^(АД. Тогда если обозна-
7=1

чить △Б’(А7) = Б"(А7) — Р^^), ] = 1,..., п, то

МБ(/)=0, М|Б(/)|2 = ^К-|2АГ(АД

7=1

= у |/(А)|2 ар(х).

Аналогично, если д(А) = 52 /ФДр^-^ДА) € Б^, то
/г=1

И/) Лэ)) = МБ(/)Б(д) =

7=1

= У /(А)з(А)ЙГ(А).
то есть соотношения (5.11) и (5.12) выполнены для ступенча-
тых функций.

Пусть теперь /(А), А € [—тг, тг] непрерывная и, следо-
вательно, равномерно непрерывная и ограниченная функ-
ция. Тогда если при п ос тах(А7- — А7_х)	0, то

7

/п(А) = Е /(А7-)1[а._1Л.)(А) -> /(А) при любом А € [—тг,тг].
7=1

Так как |/„(А)| < тах|/| € Ь2(Р), то по свойству скЗ

II/ - /Лр 0, п ос. Поэтому последовательность */„}
является фундаментальной в Ь2(Р), следовательно фундамен-
тальной является и последовательность {-Ц/п)} в Ь2(Р). Про-
странство Ь2(Р) полно, так что существует величина Т(/) €
Ь2(Р) такая, что ||Т(/) — 7(/п)||р	0, п ос. Стандарт-

ным способом показывается, что Т(/) не зависит от выбора
последовательности /„, ||/ — /п||р	0. Действительно, пусть

II/ - /п\\р о, II/ - дп\\Р 0, п ос, но

1л.т.7(/п) = Д(/), 1.1.т.У(д„) = У2(/) / Л(/)-	(5.13)

Тогда последовательность /х, 9х,/з, 9з, ••• является фундамен-
тальной в Ь2(Р), следовательно фундаментальной является и
последовательность Т(/х), Т(д1),	•Цд?),  в Ь2(Р), поэто-

му эта последовательность имеет предел, что противоречит
(5.13). Следовательно Т2(/) = Л(/)-

Наконец, чтобы доказать соотношения (5.11) и (5.12) (вы-
полненяющиеся для ступенчатых функций), достаточно вос-
пользоваться легко показываемыми равенствами

\\/\\Р =	\\/п\\р, ||Д/)||р = пПт У(/„)||р.

Теорема 32 (Спектральное представление стационарных по-
следовательностей) .

Пусть {/„} стационарная последовательность с корреля-
ционной функцией Щп) и спектральной функцией Р(А). Тогда
существует процесс {Я(А), А € [—тг, тг]} с ортогональными
приращениями и структурной функцией Р(Х) такой, что

= У етХ(ЩХ), п.н., п = 0,1,2,...

◄ Обозначим через Н(Р) и Н(Р) - замкнутые в Ь2(Р) и в
РРК) соответственно линейные оболочки величин : п е
ТР} и {егАп : п е (точнее - пространства Н(Р) и Н(Р)
это множества классов эквивалентности указанных величин).
Установим между элементами из Н{Р) и 1ЦР) соответствие
52 одОг = I (52 акегкх) , где в рассматриваемых суммах лишь
конечное число ненулевых величин ак. Имеем

(егпХ,егкх)Р = I е^-кР ЙГ(А) = К(п-Р) = МЫк = Шр,
следовательно

то есть соответствие I является изометрией. Продолжим эту
изометрию на Н(Р).

Пусть у € Н(Р). Тогда существует последовательность ве-

личин 1]п, имеющих вид 52 акЛк и такая, что \\ц — ?7„||р	0,

к—1

п ос. Последовательность {??„} фундаментальна в Н(Р),
следовательно фундаментальной в Н{Р) является последо-
вательность {/„}, /„(А) = 52 аке‘кХ и в силу полноты про-
странства 1ЦР) существует функция / € ЩР) такая, что
и/-лир —> 0, п —> оо. Положим /(/) = г/. Нетрудно убе-
диться, что

ИЛ/)||р = ^1™° 1Ы1р = Мп\\р = ||/||р,

то есть наше продолжение является изометрией. Совершенно
аналогично показывается, что каждой функции / € Н{Р) со-
ответствует у =	€ Н(Р) такая, что ||77||р = ||/||р-
Как в предыдущей теореме, с помощью свойства
скЗ нетрудно показать, что пространству ЩР) принад-
лежат ограниченные функции, представимые в виде суммы
сходящихся поточечно рядов Фурье (и эквивалентные им).
Такой функцией, например, является /А(ат) =
х € [—тг,тг]. Обозначим Я(А) = 1(/А) € Н(Р). Тогда

м|я(а)|2 = у 1[_эт.а) сгГ(х) = Г(А),

и если Ах < А2 < А3, то

М(Я(Аз)-Я(А2))(Я(А2)-Я(Ах)) = У 1[А2,Аз)1[А1,А2) НР(х) = 0.

Таким образом, Я (А) - процесс с некоррелированными при-
ращениями и со структурной функцией Р(Х), поэтому можно
определить стохастический интеграл 7(/) = / /(А) йЯ(А). Ес-
ли

/(А) = 12 ат1[л3_1,л3)(А), а; € С, -тг = Ао < Ах < ... < А„ = тг,
7=1

то Т(/) = 52 ауА^(АД = ДУ) п.н. Так же, как в предыдущей
7=1

теореме, можно показать, что это равество продолжается на
пределы ступенчатых функции в Е2(Е), то есть Т(/) = Д/),
/ € Гг{Р). Осталось заметить только, что

= ДегАп) = ДегАп) = У етХ(12(Х), п.н., п = 0,1,2,...

►

Следствие. Для любой величины ц € Н(Р) найдется
функция / € Н(Р) такая, что ц = / /(А) йЯ(А) п.н.
5.7.3. Прогноз стационарных последователь-
ностей

Пусть {С„, п е X} - стационарная последовательность и пред-
положим, что нам известны значения ., С—1, €о- По этим
значениям требуется построить наилучшую в некотором смыс-
ле оценку (прогноз) значения Сп- Из свойств условных ма-
тематических ожиданий следует, что «наилучшую в среднем
квадратическом» оценку дает Сп = М{Сп|Со,С-1, •••}, т0 есть
НСп — Сп ||р = 111Г ||С„ — ??||р, где 111Г берется по всем величи-
нам ц, измеримым относительно ст{Со, С-1, • ••} и таким, что
Мц2 < ос. Однако эффективных способов вычисления подоб-
ных условных математических ожиданий не существует, по
сути, условным математическим ожиданием просто называ-
ется указанная выше оценка. Реально разрешимой является
более простая модификация данной задачи: найти наилучший
в среднем квадратическом линейный прогноз Сп по значениям

С-2,С-1,Со-

Приведем точную формулировку этой задачи. Обозначим
через Я<о(Р) замкнутую в /_2(/’) линейную оболочку вели-
чин {Сп : п < 0}. Требуется найти случайную величину
Сп е Я<0(Р) такую, что

НСп - Сп||р = т! ||С„ - Т]\\р-
пен<0(Р)

Будем решать эту задачу в предположении, что последо-
вательность {Сп} имеет спектраьную плотность /(А), предста-
вимую в следующем виде:

/(А) = у- \з (е~гА)|2 , д(г) = ^Ъкгк, |^|2 < оо. (5.14)
77	к—0	к—0

Не приводя точных формулировок и доказательств, от-
метим, что предположение (5.14) математически оправдано:
таким условиям удовлетворяют стационарные последователь-
ности, не содержащие компоненту, допускающую точный (не
случайный) прогноз.
Более того, чтобы обойти некоторые технические проблемы
и упростить рассуждения, мы введем дополнительные ограни-
чения на спектральную плотность, хотя доказываемые ниже
теоремы справедливы и без них.

Будем предполагать, что ряд д{г) = 22 имеет радиус

А-=0

сходимости г > 1 и д(с) не имеет нулей в области |г| < 1. Эти
предположения вместе с (5.14) будем называть условиями (К).

Если выполнены условия (К), то функции д(с) и 1/д(с)
яявляются аналитическими в круге |с| < 1, в частности
епр /(А) < С < ос.

Аб[—тг.тг]

Обозначим через Я<о(Я) замкнутую в /.2(Е) линейную
оболочку величин {егАп : п < 0}. Если

/г(г) = 52 с^к' 52 Ы2 < °°, Мг) = 52 ск^к

к=0	к=0	к=0

то /г„(е-гА) € Я<о(Г) и ||/г(е^гА) - Я„ (е~гА) ||^ =

следовательно /г (е гА) € Я<о(Я). В частности, если /г(г) -
аналитическая в круге |г| < 1, то

следовательно /г(е гА) € Н<о{Р). Отсюда, кстати, следует,
что если Л1(г) и /12(2) - аналитические в круге |с| < 1, то
Ме-гА)Ые-гА) € Я<о(П
Пусть

= У етХ д2(Х), п = 0,1, 2,...

- спектральное представление последовательности {Сп}-

Теорема 33 (Теорема о прогнозе стационарных последова-
тельностей).

Пусть спектральная плотность /(А) последовательно-
сти {С„} удовлетворяет условиям (Я). Тогда наилучший в
среднем квадратическом линейный прогноз величины по
значениям : к < 0} задается формулой

Гп = У ^п(А)с?Я(А) п.н.,
где

^„(А) =	, 9п(г) = Ькгк.

4А)

◄ По теореме о спектральном представлении и ее след-
ствию

||€п - Ы|р = ||егАп - Ур ||€п - й\\р = ЦегА” - Л(А)||р,
так что нам требуется показать, что

11^”-^ = Ы ||е*А” —/г(А)||т?.

/1бЯ<0(Р)

Поскольку рп(^) и 1/р(^) - аналитические в круге \г\ < 1,
то

егХпдп (е~4А) = егХп [ьпе-гХп + &гг.+хе ~ гА<" +1)+-]

€ Я<0(Я)

1

3(е гА)

€ Я<о(Я), так что <Эп(А) € Я<о(Я). Следовательно

||егА" — <Эп||р это кратчайшее расстояние в Т~(Р) от функ-
ции егХп до подпространства Н<0(Р), поэтому егХп — <^„(А) ±

Я<0(Я).
Рис. 5.7: К задаче о прогнозе

Нам достаточно показать, что

1п,т = 2тг (е‘Хп - ^е-,Хт)р = 2тг / [егАп - <?„] е,Хт/(Х) АХ = О

т = 0,1, 2,... Имеем
п—1	л	п — 1

^ьке-гХк ах = ^\ьк\2.
к=0	к=0

Замечание. Если разложить функцию ^П(А) в сходящий-
ся в среднем квадратическом ряд Фурье

<Лп(А) = Со + С*-!6 гА+С,-2е “гА + ..., ТО Сп = Со+ <7-1 С-1 +
С_2С-2 + ••• П.Н.

Пример. Пусть {С„} - процесс авторегрессии порядка 1:
Сп = а$п-1 + ^п, |о| < Е Еп} - белый шум (см. пример 5).
Тогда

/(А) = —:-------дП) = —   = У(аг)\

М ’ 2тг 1 - ае-‘х 2	’	1 - ас	'

1	1	/с=0

следовательно

9»(г) = 52	= (аг)пд(г), ‘Рп(А) = ап,

к=п

так что наилучший линейный прогноз на п шагов равен
Сп = апСо п.н., (т. е. используется только последнее наблю-
дение). Средний квадрат ошибки равен

5.7.4.	Фильтрация стационарных последова-
тельностей

Пусть мы наблюдаем последовательность {Сп}, причем Сп =
0п + '/1п> п € где сигнал {(?„} и шум {цп} являются некорре-
лированными последовательностями со спектральными плот-
ностями /а (А) и Д(А). Тогда, кстати, спектральная плотность
последовательности {Сп} равна Д(А) = /е(А) + Д(А). Требу-
ется по наблюдениям {Сп} построить наилучшую в среднем
квадратическом оценку вп сигнала вп (отфильтровать шум
{'?»})•
Сначала рассмотрим ситуацию, когда оценка вп строится
по всем значениям С™, т € 22 Мы должны найти величину
9п е Н(Р) такую, что ||0„ — 0п||р = шГ ||0П — ??||р, то есть
/)6Н(Р)

такую, что вп — вп ± Н(Р) Имеем вп — вп ± С™, , то есть
(^п,€т)р = (^п,€т)р = (^п,^т)р	€ 22 По теореме о спек-

тральном представлении и ее следствию существует процесс
{Я(А), А € [—тг, тг]} с ортогональными приращениями и струк-
турной функцией Р(Х) (являющейся спектральной функцией
последовательности {Сп}) и функция ^П(А) € ЩР) такие, что

е„ = У егпХЛ2^Х), 0п = ! ^„(А)^(А).

условие (0п,€т)р = (#п, дгп)р Ргп € ’2 запишется теперь так:

I е-гХтфп(Х')^(Х') ах = У /0(А) НХ Ут &

Если Д(А) = Л(А) 4- Д(А) > 0 почти всюду на [—тг,тг], то из
равенств

У е-гХт р„(А)(/0(А) + Д(А)) - егХп/в(А)] АХ = 0 Ут € 1

егХпМХ)	,	,

следует ?ДДА) =	почти всюду на [-тг, тг].

•ЫА) + /ДА)

Замечание. Если разложить функцию ДДА) в сходящий-
ся в среднем квадратическом ряд Фурье ДДА) = ^2 Ске‘кХ,
к=-х>

то = 12 ск^к п.н.

к= — сю

Рассмотрим теперь более естественную с практической точ-
ки зрения задачу^ построить наилучшую в среднем квадра-
тическом оценку вп величины вп по значениям {: к < 0}
(наблюдения ведутся до некоторого момента времени). Как и
раньше, легко показывается, что вп - ортогональная проекция
в Т2(Р) величины вп на подпространство Н<о(Р). Ясно, что
(),> можно получить, спроектировав на Я<о(Р) проекцию вп
величины вп на Н(Р).

Рис. 5.8: К задаче о фильтрации по значениям {6/. : к < 0}

То есть, вп находится последовательным применением двух
задач: фильтрации (нахождение вп) и нахождения вп по вп.

Теорема 34 (Теорема о фильтрации стационарных последо-
вательностей).

Пусть спектральные плотности /а (А) и Д(А) удовле-
творяют условиям (/?). Тогда наилучший в среднем квадра-
тическом линейный прогноз 0п величины 0п по значениям
{6г : к < 0} задается формулой

6п = У 6„(А) с?Я4(А) п.н.,
где

6„(А) = егХп  9^_гХ^ , д„(г) =	,
Ь1 = ^~ [ ^ф^д (е-Ч аХ, ф(Х) =

2л а	х0(Х) + хг1(Х)

Замечание. По определению 6/ являются коэффициента-
ми при е~г1Х в разложении суммируемой с квадратом функ-
ции ф(Х)д (е-гА) в сходящийся в среднем квадратическом ряд
Фурье ф(Х)д (/ ,А) = Е 1>1е~гХ1 при этом Е 1^|2 < °°-
г=-со	г=-со

Следовательно эти коэффициенты можно найти, представив
каким-либо способом функцию ф(Х)д (е-гА) в виде ряда по
степеням < ,А.

◄ Как указывалось выше, нам нужно найти проекцию ве-
личины вп на Н<ц(Р), то есть, найти случайную величину вп
такую, что

а)	9п е Я<0(Р);

Ь)	0„ - 0„ ± Я<0(Р).

В предыдущем параграфе показывалось, что в условиях
(В) е1Хпдп(е~1Х) е Н<0{Р),	1	€ Я<0(Р), так что

3(е ,х)

фп{^) € Я<0(Р), откуда следует условие а).

Условие Ь) равносильно следующему:

(0П — #п, р = 0, к > 0, или в силу теорем 2, 3 и 4

еЩп+к)	(е~гА) _ ^2 &ге-гАг д (е~»А) ах = о, к > 0.

\	1=п	/

Суммируемую с квадратом функцию ф(Х)д (е гА) представим
в виде суммы сходящегося в среднем квадратическом ряда Фу-
рье ф(Х)д (е-гА) = Е !>,< 'Х! и.в. Так как при I < п и к > 0
п — I + к > 0, то

Теорема доказана.

Замечание. Если разложить функцию -0п(А) в сходящий-
о

ся в среднем квадратическом ряд Фурье ?/’п(А) = 52 Скегк\
к=-съ

О

ТО 0п = 52 П.н.

Пример. Некоррелированные сигнал {(?„} и шум {цп} име-
ют, соответственно, спектральные плотности

1	7

/е(А) = —(5+ 4совА), / (А) = —,

7Г	27Г

(можно считать, что цп = 7еп п.н., где {еп} - белый шум).
Требуется по наблюдениям , к < 0 найти (?о - наилучшую
в среднем квадратическом оценку #о (отфильтровать шум у
сигнала

Имеем

~ /е(^) + А(^) — л-(17 + 8созА) — —14 + е гА|2,

Л(А)

} /0(А) + Д(А)

2(5+ 4 сое А)

|4 + е-^|2 ’ 9(г)=4 + г-

Тогда

-(дЫе_1Л) =

10 + 4егА + 4е“’А

4 + егХ

= (т + ^А+ИЕ(-1)^= е^а
А	' к=0	к= — <х>
Легко видеть, что

Ю 1	9 ~

&о =--------=	&1 = 1, Ьк = 0, к > 2.

1	4	4	4

Тогда

У>е~ш

) “ д{е-гХ') ~ 4(4 + е~гА) “

9 + 4е~гАхЕ ^ке-,кх 9	7^, ^ке-,кх

~	16	4й “ 16	16	4й

/с=0	к=1

так что
Литература

[1]	Боровков А.А. Курс теории вероятностей. М.: , 1972.

[2]	Боровков А.А. Теория вероятностей. М.: Наука, 1976.

[3]	Боровков А.А. Теория вероятностей. М.: Наука, 1986.

[4]	Боровков А.А. Теория вероятностей. М.: Наука, 2002.

[5]	Ширяев А.Н Вероятность. М.: Наука, 1989.

[6]	Климов Г.П. Теория вероятностей и математическая статисти-
ка. Изд.-во МГУ, 1983.

[7]	Лоэв М. Теория вероятностей. М.: ИЛ, 1962.

[8]	Феллер В. Введение в теорию вероятностей и ее приложения, т.1,2.
М: Мир, 1984.
Список обозначений

Здесь приводятся обозначения, которые используются в
тексте без дополнительных пояснений.

◄ начало доказательства;

► конец доказательства;

=> импликация; А => В означает, что если выполнено А,
то выполнено В

о импликация в обе стороны; А о В означает, что А имет
место тогда и только тогда, когда выполнено В

V квантор общности; Уж - для любых х

2 квантор существования; Эж - для некоторых х

{ж : А(ж)} - множество всех ж, для которых выполнено
свойство А(ж)

сап) А мощность множества А, для конечных множеств -
число элементов множества А.

Ко мощность счетного множества

с мощность континуума

С множество всех комплексных чисел

Ж множество всех действительных чисел

<3 множество всех рациональных чисел

% множество всех целых чисел

Н множество всех натуральных чисел

н0 = {о,1,2,...} = ни{о}

Ж" множество всех п-мерных векторов с действительными
координатами.

/ЧВ) = {ж> :	€ В} - прообраз множества В

/од суперпозиция функций /ид

Ь1 (12) множество всех суммируемых на Ж функций

/ =4 д / равномерно сходится к д

А х В декартово произведение множеств А и В

п\к п делится на к
ВЕРОЯТНОСТЬ

Анатолий Гаврилович Гринь

Редактор Е.В. Брусницына

Лицензия ЛР 020380 от 29.01.97.
Подписано в печать 30.03.04.

Формат 60 х 84 1/16. Печ.л. 23,99. Уч.-изд.л. 23,79.
Тираж 200 экз.

Полиграфический центр КАН
644050, Омск-50, пр. Мира, 32, к.11
тел. (3812) 65-47-31
Лицензия ПЛД М. 58-47 от 21.04.97 г.
Для заметок