А.Н.Колмогоров
ОСНОВНЫЕ НОНЯТНЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Книга, изданная в 1933 г. на немецком языке и в 1936 г. на русском, несколько
раз переиздавалась в английском переводе. Хотя значительная часть со
содержания включена в учебники, она сохраняет интерес для лиц, занимающихся
обстоятельно теорией вероятностей. Основной текст переиздается лишь с
небольшой редакционной правкой.
СОДЕРЖАНИЕ
Нредисловие к первому изданию	5
Нредисловие ко второму изданию	7
I.	Элементарная теория вероятностей
§1.	Аксиомы	10
§ 2.	Отношение к данным опыта	12
§ 3.	Терминологические замечания	14
§ 4.	Непосредственные следствия из аксиом, условные вероятности, теорема 15
Байеса
§ 5.	Независимость	17
§ 6.	Условные вероятности как случайные величины; цепи Маркова	23
II.	Бесконечные поля вероятностей
§ 1.	Аксиома непрерывности	26
§ 2.	Борелевские поля вероятностей	29
§ 3.	Примеры бесконечных полей вероятностей	31
Ш. Случайные величины
§ 1.	Вероятностные функции	36
§ 2.	Определение случайных величин, функции распределения	38
§ 3.	Многомерные функции распределения	41
§ 4.	Вероятности в бесконечномерных пространствах	44
§ 5.	Эквивалентные случайные величины, разные виды сходимости	52
IV.	Математические ожидания
§ 1.	Абстрактные интегралы Лебега	57
§ 2.	Абсолютные и условные математические ожидания	60
§ 3.	Неравенство Чебышева	63
§ 4.	Некоторые признаки сходимости	65
§ 5.	Дифференцирование и интегрирование математических ожиданий по 66
параметру
V.	Условные вероятности и математические ожидания
§ 1.	Условные вероятности	70
§ 2.	Объяснение одного парадокса Боре ля	75
§ 3.	Условные вероятности относительно случайной величины	76
§ 4.	Условные математические ожидания	78
VI.	Независимость. Закон больших чисел
§ 1.	Независимость	83
§ 2.	Независимые случайные величины	85
§ 3.	Закон больших чисел	88
§ 4.	Замечания к понятию математического ожидания	100
§ 5.	Усиленный закон больших чисел, сходимость рядов	104
Дополнение. Одна замечательная теорема теории вероятностей	116
Литература	418
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ
Целью предлагаемой работы является аксиоматиче-
ское обоснование теории вероятностей. Ведущей мыслью
автора было при этом естественное включение основ
теории вероятностей, считавшихся еще недавно совер-
шенно своеобразными, в ряд общих понятий современ-
ной математики. До возникновения лебеговой теории
меры и интеграла эта задача была почти безнадежна.
После исследований Лебега стала ясной аналогия
между мерой множества и вероятностью события,
а также между интегралом от функции и математическим
ожиданием случайной величины. Эта аналогия допу-
скает и дальнейшее продолжение: так, например, мно-
гие свойства независимых случайных величин вполне
аналогичны соответствующим свойствам ортогональных
функций. Для того чтобы, исходя из этой аналогии,
обосновать теорию вероятностей, следовало еще осво-
бодить теорию меры и теорию интегрирования от гео-
метрических элементов, которые еще имелись у Лебега.
Это освобождение было осуществлено Фреше.
Попытки построения основ теории вероятностей,
исходящие из этой общей точки зрения, уже имеются,
и весь круг идей, излагаемых здесь, уже успел приобре-
сти известную популярность в узком кругу специали-
стов; однако отсутствовало полное и свободное от
излишних усложнений изложение всей системы (под-
готовляется, впрочем, к печати книга Фреше, см.
Frechet [2]).
Я хотел бы еще указать здесь на те места в дальней-
шем изложении, которые выходят за пределы упомя-
нутого выше круга идей, уже достаточно знакомого
6
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ
в общих чертах специалистам. Эти места следующие:
распределения вероятностей в бесконечномерных про-
странствах (глава третья, § 4), дифференцирование и
интегрирование математических ожиданий по парамет-
ру (глава четвертая, § 5) и особенно теория условных
вероятностей и математических ожиданий (глава пятая).
Следует при этом отметить, что все эти новые понятия
и проблемы с необходимостью возникают при рассмот-
рении вполне конкретных физических задач 1).
Шестая глава содержит обзор отдельных результа-
тов А. Я. Хинчипа и автора, касающихся условий при-
менимости простого и усиленного закона больших чи-
сел. В списке литературы приведены некоторые но-
вые работы, представляющие интерес с точки зрения
вопросов обоснования теории вероятностей.
Приношу свою сердечную благодарность А. Я. Хин-
чину, внимательно прочитавшему всю рукопись п
предложившему целый ряд улучшений.
Клязьма близ Москвы,	А. Колмогоров
1 мая 1933 г.
*) Ср., например, цитированную в сноске х) к стр. 69 работу
М. А. Леонтовича и автора, а также М. Leonlowitsch,
Zur Statistik der kontinuierlichen Systeme und des zeitlichen Ver-
sailles der physikalischen Vorgange, Physik Zcitsclir. d. Soviet-
union, t. 3, 1933, стр. 35—63.
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
С первого немецкого издания этой книжки прошло
сорок лет. Было решено, тем не менее, не подвергать ее
существенной переработке. А. Н. Ширяевым и мною
внесены небольшие усовершенствования изложения.
Модернизированы некоторые обозначения. Для неко-
торых теорем § 3 — 5 главы VI даны доказательства,
отредактированные А. Н. Ширяевым по моим работам
1925—1930 годов. В современных учебниках эти тео-
ремы обычно доказываются с помощью аппарата ха-
рактеристических функций. Мои первоначальные до-
казательства прямыми, элементарными средствами, мо-
жет быть, сохраняют некоторый интерес.
Намеченные в § 2 первой главы взгляды на пути обос-
нования применимости аксиоматической теории вероят-
ностей к реальным задачам были развиты мною под-
робно в [1]. Но и здесь оставались невыясненными при-
чины того, почему мы так часто встречаемся на практике
с устойчивостью частот. Новый подход к этому вопросу
был мною намечен в [2] и [3] (см. также [4]):
[1] Монография «Математика, ее содержание, ме-
тоды и значение», изд. АН СССР 1956, глава XI.
[2] А. Н. К о л м о г о р о в, Три подхода к опре-
делению понятия «количество информации», Проблемы
передачи информации, т. I, вып. 1 (1965).
[3| А. Н. Ко лмогоров, К логическим осно-
вам теории информации и теории вероятностей, Пробле-
мы передачи информации, т. V, вып. 3 (1969).
[4] А. К. 3 в о н к и и и Л. А. Л е в и п, Сложность
конечных объектов и обоснование теории информации
8
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
и случайности с помощью теории алгоритмов, Успехи
математических паук, том 25, вып. 6 (1970).
Отмечу специально те вопросы, по которым чита-
телю следует особенно настоятельно рекомендовать
сопоставление изложения, данного в этой книжке,
с более современным.
1. В § 1 главы V дано определение условной веро-
ятности Р (А | £), где £ — случайный элемент некото-
рого множества X, т. е. отображение Q в X. С этим
отображением можно связать алгебру ci $ всех
принадлежащих полных прообразов подмножеств
множества X. Теперь предпочитают сначала опреде-
лять условные вероятности по отношению к любой 0-под-
алгебре jT' cz £ и затем считать, что
Р(Л||) = Р(Л|^).
2. Результаты § 4 главы III широко употребляются,
по не дают непосредственно приемлемых распределений
в имеющих реальный интерес функциональных про-
странствах (см. об этом на стр. 4б).
17 декабря 1973 г.	А. Колмогоров
I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Мы называем элементарной теорией вероятностей
ту часть теории вероятностей, в которой приходится
иметь дело с вероятностями лишь конечного числа со-
бытий. Теоремы, которые здесь выводятся, естественно
применяются также и к вопросам, связанным с беско-
нечным числом случайных событий, однако при изуче-
нии этих последних применяются также сущестенно
новые принципы. Поэтому единственная аксиома мате-
матической теории вероятностей, относящаяся именно
к случаю бесконечного числа случайных событий, вво-
дится лишь в начале второй главы (аксиома V).
Теория вероятностей как математическая дисципли-
на может и должна быть аксиоматизирована совершен-
но в том же смысле, как геометрия или алгебра. Это оз-
начает, что, после того как даны названия изучаемым
объектам и их основным отношениям, а также аксиомы,
которым эти отношения должны подчиняться, все даль-
нейшее изложение должно основываться исключитель-
но лишь на этих аксиомах, не опираясь на обычное
конкретное значение этих объектов и их отношений.
Соответственно этому в § 1 определяется понятие
поля вероятностей как системы множеств, удовлетво-
ряющей определенным условиям. Что представляют со-
бой элементы этих множеств, совершенно безразлично
для чисто математического развития теории вероятно-
стей (ср. введение основных геометрических понятий
в «Основах геометрии» Гильберта или определение
групп, колец и тел в абстрактной алгебре).
Всякая аксиоматическая (абстрактная) теория до-
пускает, как известно, бесконечное число конкретных
to
I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
интерпретаций. Таким образом и математическая тео-
рия вероятностей допускает наряду с теми интерпре-
тациями, из которых она возникла, также много дру-
гих. Так, мы приходим к приложениям математической
теории вероятностей к таким областям науки, которые
не имеют отношения к понятиям случая и вероятности
в собственном смысле этого слова.
Аксиоматизация теория вероятностей может быть
проведена различными способами как в отношении
выбора аксиом, так и выбора основных понятий и
основных соотношений. Если преследовать цель воз-
можной простоты как самой системы аксиом, так и
построения из пее дальнейшей теории, то представляет-
ся наиболее целесообразным аксиоматизирование поня-
тий случайного события и его вероятности. Существуют
также другие системы аксиоматического построения
теории вероятностей, а именно такие, в которых поня-
тие вероятности не относится к числу основных поня-
тий, а само выражается через другие понятия г). При
этом стремятся, однако, к другой цели, а именно,
по возможности к наиболее тесному смыканию матема-
тической теории с эмпирическим возникновением поня-
тия вероятности.
§ 1. Аксиомы* 2)
Пусть Q — множество элементов ю, которые мы
будем называть элементарными событиями, a jT — мно-
жество подмножеств из Й. Элементы множества & будем
называть случайными событиями (или просто — собы-
тиями), a Q — пространством элементарных событий.
I. является алгеброй множеств3).
*) Ср., например, R. von М i s е s [1] и [2] и С. Н. Бернш-
тейн [1].
2) Читатель, желающий сразу же придать конкретный смысл
нижеследующим аксиомам, должен начать читать § 2.
3) Система & подмножеств множества Q называется алгеб-
рой, если £2 (= &, соединение, пересечение и разность двух мно-
жеств системы опять принадлежат этой системе. Мы обозначаем
пересечение множеств А и В через А В или АВ, их соединение
§ 1. АКСИОМЫ
11
П. Каждому множеству А из К поставлено в соот-
ветствие неотрицательное действительное число Р (Л).
Это число называется вероятностью события А.
III. Р (й) = 1.
IV. Если А и В не пересекаются, то
Р (Л 0 В) = Р (Л) 0 Р (5).
Совокупность объектов (Й, $, Р), удовлетворяющую
аксиомам I—IV, будем называть полем вероятно-
стей.
Наша система аксиом I—IV непротиворечива. Это
показывает следующий пример: Q состоит из единствен-
ного элемента со, f — из Q и пустого множества 0,
мри этом положено Р (й) = 1, Р(0) = 0.
Наша система аксиом, однако, не является полной;
в разных вопросах теории вероятностей рассматривают-
ся различные поля вероятностей.
Простейшие поля вероятностей строятся следующим
образом. Берутся произвольное конечное множество
Q = {&>!, ..., и произвольное множество {р15 ...,Рь}
неотрицательных чисел с суммою р1 0. . . 4- ph = 1.
За f принимается совокупность всех подмножеств Л из
Q и для Л = {со,,, . . ., <ai?J полагается Р (Л) = ри 0 ...
• • • 0Z0- В этом случае говорят, что	ph суть
вероятности элементарных событий «ц, . . ., <ок или
просто элементарные вероятности. Так получаются все
возможные конечные поля вероятностей, в которых 0
состоит из совокупности всех подмножеств из Й (при
этом поле вероятностей называют конечным, если мно-
жество Q конечно). По поводу дальнейших примеров
см. гл. II, § 3.
— через AU-®, разность— через А \ В. Дополнительное множе-
ство Q \ А к множеству А обозначаем А. Через 0 обозначается
пустое множество. Если множества А и В не пересекаются
(АВ — 0), то их соединение A U В будет обозначаться также через
А Д- В и называться суммой. Множества из ЦЛ будем в дальней-
шем обозначать большими латинскими буквами. Ср. А. Н.
Колмогоров, С. В. Фомин, Элементы теории функций
и функционального анализа, Изд-во «Наука», М., 1968.
12
I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
§ 2.	Отношение к данным опыта г)
Применение теории вероятностей к действительному
миру опыта происходит по следующей схеме.
1.	Предполагают данным некоторый комплекс S ус-
ловий, допускающий неограниченное число повторений.
2.	Изучают определенный круг событий, которые
могут наступать в результате осуществления условий®.
В отдельных случаях эти события могут наступать или
не наступать в разных комбинациях. В множество (5
включаются все возможные варианты появлений или
непоявлений рассматриваемых событий.
3.	Если после реализации условий S осуществив-
шийся на практике вариант окажется принадлежащим
к (определенному какими-либо условиями) множест-
ву А, то говорят, что наступило событие А.
Пример. Комплекс условий ® заключается в том,
что бросают два раза монету. Круг событий, о котором
шла речь в п. 2, состоит в том, что при каждом бросании
могут появиться решетка или герб. Отсюда следует, что
всего возможно четыре различных варианта (элемен-
тарных события), именно: решетка — решетка, решет-
ка — герб, герб — решетка, герб — герб. В качестве
события А рассматривается «повторение». Это событие
состоит из суммы первого и четвертого элементарных
событий. Таким образом, можно каждое событие рас-
сматривать как множество элементарных событий.
4.	При известных условиях, в которые мы здесь не
будем глубже вдаваться, можно предположить, что не-
-1) Читатель, который интересуется лишь чисто математи-
ческим развитием теории, может этот параграф не читать — даль-
нейшее изложение основывается на аксиомах § 1 и не использует
рассуждений этого параграфа. В нем мы ограничимся лишь про-
стым указанием на эмпирическое возникновение аксиом теории
вероятностей и сознательно оставляем в стороне глубокие фило-
софские изыскания о понятии вероятности в мире опыта. В изло-
жении необходимых предпосылок для приложимости теории ве-
роятностей к миру действительных событий автор в значительной
мере следует выводам Мизеса, в частности ср. R. von Mises
[11, стр. 21—27, параграф «Das Verlialinis der Theorie zur Erfah-
rungswolt».
§ 2. ОТНОШЕНИЕ К ДАННЫМ ОПЫТА
13
которым событиям А, которые могут наступить или
же не наступить после осуществления условий ®, по-
ставлены в соответствие определенные действительные
числа Р (Л), обладающие следующими свойствами:
А.	Можно практически быть уверенным, что если
комплекс условий (5 будет повторен большое число п
раз и если при этом через т обозначено число случаев,
при которых событие А наступило, то отношение
будет мало отличаться от Р (А).
В.	Если Р (Л) очень мало, то можно практически
быть уверенным, что при однократной реализации ус-
ловий € событие Л не будет иметь места.
Эмпирическая дедукция аксиом. Обычно можно пред-
полагать, что система F рассматриваемых событий
Л, В, С, . . ., которым приписаны определенные веро-
ятности, образует алгебру множеств, содержащую в
качестве элемента множество О (аксиома I, а также пер-
вая часть аксиомы II — существование вероятностей).
Далее ясно, что 0	1, так что вторая часть акси-
омы II оказывается вполне естественной. Для события
Q всегда т = п, благодаря чему естественно положить
Р (й) = 1 (аксиома III). Если, наконец, Л и В несовме-
стны между собой (т. е. множества Л и В не пересе-
каются), то т = т1 + т2, где т, т2 обозначают
соответственно число опытов, в которых происходят
события Л 4- В, А, В. Отсюда следует:
т ту	/иг
п	п *
Следовательно, является уместным положить
Р (Л + В) = Р (Л) + Р (5) (аксиома IV).
Примечание I. Из практической достоверно-
сти двух утверждений следует практическая достовер-
ность утверждения об их одновременной правильности,
хотя степень достоверности при этом несколько пони-
жается. Если, однако, число утверждений очень велико,
14
I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
то из практической достоверности каждого отдель-
ного из этих утверждений вообще нельзя вывести
никаких заключений относительно одновременной пра-
вильности всех этих утверждений. Поэтому из прин-
ципа А никоим образом не следует, что при очень боль-
шом числе серий по п испытаний в каждой серии отно-
шение будет мало отличаться от Р (А).
Примечание II. Невозможному событию (пу-
стому множеству 0) соответствует в силу наших акси-
ом вероятность Р (0) = 0 1), в то время как, наоборот,
из Р (А) = 0 не следует еще невозможность события
А; согласно принципу В из обращения вероятности
в нуль следует только, что при однократной реализации
условий ® событие А практически невозможно. Это,
однако, не означает, что при достаточно длинном ряде
испытаний событие А также не наступит. Согласно
принципу А можно лишь утверждать, что при Р (А) =
— О и большом п отношение будет мало.
§ 3. Терминологические замечания
Мы определили объекты нашего дальнейшего изу-
чения — случайные события — как множества. Мно-
гие теоретико-множественные понятия обозначаются,
однако, в теории вероятностей другими именами. Мы
приведем здесь краткий указатель таких понятий.
В теории множеств Для случайных событий
l.An В не пересекают- 1. События А и В не-
ся, т. е. АВ — 0.	совместны.
2. АВ ... N = 0.
2. События А, В,..., N
несовместны.
3. АВ . . . N = X.
3. Событие X заключает-
ся в одновременной реали-
зации всех событий А, В,...
. . N.
Ср. § 4, формула (3).
§ 4. НЕПОСРЕДСТВЕННЫЕ СЛЕДСТВИЯ ИЗ АКСИОМ
15
4.	A U^U • • • U^=X-
5.	Дополнительное мно-
жество А.
6.	А = 0.
7.	А = Q.
8.	Система 51 множеств
А 2, . . Ап образует
разложение множества Q,
если A । + А 2 0 . . .
. . .+ Ап = й. (Это уже
предполагает, что множе-
ства Ai попарно не пере-
секаются.)
9.	В является подмно-
жеством А ; В с: А.
4.	Событие X заключает-
ся в наступлении по край-
ней мере одного из собы-
тий А, В, . . ., N.
5.	Противоположное со-
бытие Л, состоящее в не-
паступлении события А.
6.	А невозможно.
7.	А должно необходи-
мо наступить.
8.	Испытание 51 заклю-
чается в том, что устанав-
ливают, какое из событий
Aj, А2, . . ., Ап происхо-
дит; Ai, Л2, . . ., Ап на-
зываются при этом воз-
можными исходами испы-
тания 51.
9.	Из осуществления
события В с необходи-
мостью следует осущест-
вление А.
§ 4. Непосредственные следствия из аксиом,
условные вероятности, теорема Байеса
Из А + А — й и аксиом III и IV следует, что
Р (А) + Р (А) = 1,	(1)
Р (Л) = 1 - Р (Л).	(2)
Так как Й = 0, то, в частности,
Р (0) = 0.	(3)
Если А, В, . . ., N несовместны, то из аксиомы IV
следует формула
Р (Л + В + . . . + N) = Р (Л) + Р (В) + . . . 0 Р (7V)
(4)
(теорема сложения).
16
Г. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Если Р (Л)	0, то частное
Р(В|Л) = ^1	(5)
называют условной вероятностью события В при усло-
вии А.
Из (5) непосредственно следует, что
Р (АВ) = Р (В | Л)-Р (Л).	(6)
Заключение по индукции дает общую формулу
Р (ЛИ2 . . . Лп) == Р (HJ Р (Л2 I Л^ Р (Л3 Iлхл2)...
... РИ^Л^ . . Л„_г) (7)
(теорема умножения).
Легко доказываются также следующие формулы:
Р (В | Л) > 0,	(8)
Р (£2 | Л) = 1,	(9)
Р(В + С I Л) = Р(В i Л) + Р(С ! Л).	(10)
Сравнивая формулы (8) и (10) с аксиомами II—IV,
получаем, что система множеств & вместе с функцией
множеств Р (В | Л) (при закрепленном множестве Л) об-
разует поле вероятностей. Следовательно, все доказан-
ные для вероятностей Р (В) общие теоремы справедли-
вы для условных вероятностей Р (В | Л) (при фиксиро-
ванном событии А). Легко также заметить, что
Р(Л |Л) = 1.	(11)
Из (6) и из аналогичной формулы
Р (АВ) = Р(Л |В)Р(В)
получаем важную формулу
Р(Л|В) = ^И^|Л) ,	(121
содержащую, собственно, теорему Байеса.
§ 5. НЕЗАВИСИМОСТЬ
Теорема (о полной вероятности). Пусть At +
+ 42+... + An = Q и В — произвольное событие.
Т огда
Р (Z?) = Р (Л) р (В I А) + Р (л2).р (5 IА2) + ...
 • - + Р (Лп) р (В I Ап). (13)
Доказательство. Поскольку
В = AtB+ . . . +АпВ,
то, согласно (4),
?(В) = Р(А5) + . . . + Р(ЛЛ):
согласно (6) при этом имеет место равенство
? (AtB) = Р(Пг)Р(В |Л).
Теорема (Байеса). Пусть А} + А2 + . . .
. . . +ЛП = Q, а В — произвольное событие, тогда
Р (Л.) Р (В I А.)
р (^11 5) _ р (А) Р (В । Л1) +... + рг(Лп) р (В | Ап) .	(14)
Доказательство. Согласно формуле (12)
Р (А.) Р (В | А.)
Для получения формулы (14) остается только заме-
нить вероятность Р (В) ее выражением (13) по теореме
о полной вероятности.
(События Alt А2, . . ., Ап часто называют «гипоте-
зами» и говорят, что формула (14) дает вероятность
Р (At \ В) гипотезы At после наступления события В-,
Р(Пг) означает при этом априорную вероятность At.)
§ 5. Независимость
Понятие независимости двух или нескольких
опытов занимает в известном смысле центральное
место в теории вероятностей. В самом деле, мы уже
видели, что теорию вероятностей с математической
8	1. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
точки зрения можно рассматривать как специальное
применение общей теории аддитивных функций мно-
жеств. Естественно задать вопрос, каким же образом
теория вероятностей развилась в большую, обладаю-
щую своими собственными методами самостоятельную
науку?
Для ответа на этот вопрос следует указать на ту
специализацию, которую получают в теории вероятно-
стей общие проблемы, касающиеся аддитивных функ-
ций множеств.
То обстоятельство, что наша аддитивна^ функция
множеств Р = Р (•) неотрицательна и удовлетворяет
условию Р (Й) = 1, не обусловливает еще собой воз-
никновения новых глубоких проблем. Случайные вели-
чины (ср. третью главу) с математической точки зрения
представляют собой не что иное, как измеримые (относи-
тельно f) функции, а их математические ожидания яв-
ляются абстрактными интегралами Лебега. Эта анало-
гия была впервые полностью разъяснена в работах
Фреше х). Введение упомянутых понятий не может,
следовательно, еще доставить никакого базиса для раз-
вития большой оригинальной теории.
Исторически независимость испытаний и случай-
ных величин явилась тем математическим понятием,
которое придало теории вероятностей своеобразный
отпечаток. Классические работы Лапласа, Пуассона,
Чебышева, Маркова, Ляпунова, Мизеса и Бернштейна
действительно посвящены в основном изучению рядов
независимых случайных величин. Если в новейших
исследованиях (Марков, Бернштейн и др.) часто отка-
зываются от предположения полной независимости, то
оказываются принужденными для получения доста-
точно содержательных результатов ввести аналогич-
ные ослабленные предположения (ср. в этой главе § 6,
о цепях Маркова). Мы приходим, следовательно, к то-
му, чтобы в понятии независимости видеть по крайней
мере первый зародыш своеобразной проблематики тео-
рии вероятностей — обстоятельство, которое в этой
*) Ср. F 1ё с h е t [1] и [2].
§ 5. НЕЗАВИСИМОСТЬ
19
книге будет мало выделяться, так как в ней мы зани-
маемся главным образом только логической подготов-
кой к собственно теоретико-вероятностным исследова-
ниям.
Соответственно этому одной из важнейших задач
философии естественных наук, после разъяснения пре-
словутого вопроса о сущности самого понятия вероят-
ности, являются выяснение и уточнение тех предпосы-
лок, при которых можно какие-либо данные действи-
тельные явления рассматривать как независимые. Этот
вопрос выходит, однако, за пределы данной книги.
Перейдем к определению независимости.
Пусть даны и испытаний	, . . .,
т. е. п разложений
Q = 4° +	.. 4- А{% (i =1,2,..., п)
основного множества П на сумму (непересекающихся)
событий. Тогда можно задать г =	. . . гп вероят-
ностей
вообще произвольно при единственном условии1)
3 А-Л...ЛП = 1-	(1)
(fci, кп)
Определение 1. Испытания 5V1*, ЭД(2>, . . .,
будем называть независимыми, если для любых кг, к.г, . . .
. . ., кп имеет место равенство
р (« • • • <’) = р (<) р (4V) • • • р (<)• (2)
Поле вероятностей с произвольными вероятностями, удов-
летворяющими только упомянутым условиям, можно построить
следующим образом: множество Q составляется из г элементов
оу.. I: к > соответствующие элементарные вероятности пусть бу-
дут р,. к и 41) определяется как множество всех к ,
для которых ki — к.
20
1. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Среди г уравнений (2) имеется только г — (ту + • . .
... 4- rn) + (п — 1) независимых х).
Теорема 1. Если испытания ЭД1), 31<2) , . . .
. . ., 510') независимы, то из них любые т (т <
< п) испытаний ЭД’>),	. . ., Ш(’т) также незави-
симы 2).
В случае независимости имеют, следовательно, место
равенства
р (4?	. а^}) = р (<>) р (4;>)... р (3)
(предполагается, что i, различны).
Определение II. События Alf А2, . . ., Ап
называются независимыми, если разложения (испы-
тания)
О = A h + А ь (к — 1,2, . . ., п)
являются независимыми.
*) В самом деле, в случае независимости можно выбрать про-
извольно только Г1 + г2 + ••• + вероятностей = Р (/ijy),
иритом так, чтобы соблюдались п условий
к
Следовательно, в общем случае имеем г — 1 степеней свобо-
ды, а в случае независимости только rt -(-... -J- ти — п.
2) Для доказательства достаточно установить, что из неза-
висимости п разложений следует независимость первых п — 1 из
них. Примем, что уравнения (2) удовлетворены. Тогда
р	=2р	=
=р (<) р • • • р (<4) 2р (<>) =
= р(<)Р(<)---р(4Ц>).
§ 5. НЕЗАВИСИМОСТЬ
21
В этом случае = г2 — . . . = гп = 2, г — 2”,
следовательно, из 2п уравнений (2) имеется независимых
только 2" — п — 1. Для независимости событий 4,,
Аг, . . Ап необходимы и достаточны следующие
условия Д:
р (4 а • • • AJ = р (А,) р (Л) •  • р (4J, (А
т = 1, 2,. . ., п; 1 ii г2 <С  • • А А п-
Все эти уравнения независимы между собой.
В случае п = 2 получаем из (4) только одно (2! —
— 2 — 1 = 1) условие для независимости двух событий
и Аг.
Р(4А) = РА)Р(А).	(5)
Система уравнений (2) состоит в этом случае, кроме
(5), еще из трех уравнений:
Р (ЛД = Р (4J Р (42),
Р (А .А 2) = Р (Ji) Р (42),
Р (Л42) = Р (ЯД Р (42),
которые, очевидно, следуют из (5) * 2).
Следует при этом еще заметить, что из попарной
независимости событий 41; 4г, • . ., 4„, т. е. из соот-
ношений
РИА) = Р(А)Р(А) (;¥=/)
в случае п 2 отнюдь не следует независимость этих
L) Ср. С. Н. Б е р н ш т о й н [1], стр. 47—57. Впрочем,
читатель может это сам проверить без труда (заключение по ин-
дукции).
2) Р(Д14г) = Р(41) - P(4,42) = P(4i) - P(4i)P (4г) =
= Р (4i) [1 - Р (42)] = Р (4i) Р (Д2)
и т. д.
22
1. ЭЛЕМЕНТАРНАЯ TEOl'illl ВЕРОЯТНОСТЕЙ
событий J) (для нее необходимо выполнение всех ра-
венств (4)).
При введении понятия независимости мы не поль-
зовались условными вероятностями. Нашей целью было
при этом возможно яснее изложить чисто математиче-
ски сущность этого понятия. Его приложения опи-
раются, однако, главным образом на свойства неко-
торых условных вероятностей. Если мы предположим,
что все вероятности положительны, то из уравнений (3)
следует, что 2)
р(4Умй,)4:>...^Г1>) = р(лУ- (в)
Обратно, из формул (6) следуют но теореме умноже-
ния (формула (7), § 4) формулы (2). Мы имеем, следо-
вательно, следующую теорему.
Т еорема II. В случае положительных вероятно-
стей всех для независимости испытаний ЭД* 1’,
ЭД2’, . . ., ЭДП’ необходимо и достаточно следующее
условие', условная вероятность исхода при той
гипотезе, что некоторые другие испытания ЭД’1’, ЭД’2’,...
. . ., SI'1’’ получили определенные исходы А(£\ A^f,...
..., равняется абсолютной вероятности Р (А V?).
*) Это доказывается следующим простым примером (С. Н.
Бернштейн): множество Й состоит из четырех элементов со,, <о2,
<о3, W1, соответствующие элементарные вероятности pit р2, р8,
Pi все полагаются равными 1/4 и А = {(щ, <о2}, В = ftOi, c.'J,
С = {<0|, ни}.
Легко тогда сосчитать, что
Р(Л) = Р(В) = Р(С) = у,
1 / 1 \а
Р (АВ) = Р (ВС) = Р (-4С) = j = I у} ,
1	/ Г\3
P(.4BC) = T^lyj .
2) Для доказательства следует вспомнить определение услов-
ной вероятности (формула (5), § 4) и заменить вероятности иере-
сечений на произведения вероятностей ио формуле (3).
§ G. УСЛОВНЫЕ ВЕРОЯТНОСТИ
23
На основе формул (4) аналогично доказывается сле-
дующая теорема.
Теорема III. Если все вероятности Р {Ah) по-
ложительны, то для независимости событий Alt Л2, . •.
. . Ап необходимо и достаточно, чтобы
Р(Л1А,, А-р = Р(Л)	(7)
для любых попарно различных к, /сх, к.2, . . ., kt.
В случае п — 2 условия (7) сводятся к двум уравне-
ниям:
Р(Л2 |4Х) = Р(Л2),
Р(ЛХ IЛ2) = Р(А).
(8)
Легко усмотреть, что уже одно лишь первое урав-
нение (8) представляет необходимое и достаточное усло-
вие независимости Аг и А2, если только Р (Лх) 0.
§ 6. Условные вероятности как случайные величины;
цепи Маркова
Пусть 91 является разложением основного множе-
ства й,
Й = ЛХ + Л24-... -f-Am,
а £ = | (со) — действительная функция элементарного
события со, которая на каждом множестве At принимает
значение xpt
т
£(«)== 2	(о),
1—1
где IAl (со)—индикатор множества А,, т. е.
1а, (со) — 1, если оеЛ; и IAl (со) = 0, если со ЕЕ Л г-
В этом случае говорят, что | — случайная величина,
принимающая конечное число значений ж1,. . .,хт, и
1П
м?= 2^Р(А)
i=l
24
1. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
называют математическим ожиданием величины g.
Теория случайных величин и их математических ожи-
даний будет развита в третьей и четвертой главах, не
ограничиваясь при этом случайными величинами, кото-
рые могут принимать только конечное число различных
значений.
Определение I. Случайную величину, кото-
рая на каждом множестве At принимает значение
Р (В | Ai), мы назовем условной вероятностью события
В после данного испытания $( и обозначим Р (В | 51) (ы),
или просто Р (В | 51):
т
Р(5|5() = 2 Р(51 Ai) 1А. (о>).
Два испытания 51(1) и 51(2) тогда и только тогда
независимы, когда
Р(Л?)|51(1)) = Р(Л|2’), i = l, 2,..., т2.
Если даны какие-либо испытания 51(1), 54(2), . . ., 51<п\
то через
51(1)51(2)... 51<п)
мы обозначим испытание, соответствующее разложе-
нию множества О на произведения А™ А^' . . .
Испытания 51(1), 5((2), . . ., 51<п) тогда и только тогда
независимы, когда
Р (Л(Л’ | 51(1)51(2)... 5l(/t-1)) = Р (/If0)
при любом выборе к и i2).
Определение II. Последовательность испы-
таний
51(1), 51(2),..., 51(!1),...
*) Необходимость этих условий следует из теоремы II § 5,
а что они также являются достаточными, можно заключить не-
посредственно из теоремы умножения (формула (7) § 4).
5 в. УСЛОВНЫЕ ВЕРОЯТНОСТИ
образует цепь Маркова, если при любых к и I
Р | Щ(,)31<2)... 5I(/f-1)) = Р (Л)й) I 31(М)).
Цепи Маркова образуют естественное обобщение по-
следовательностей независимых испытаний. Если по-
ложить
P'Wn tm’ = Р (Ai^ I т<п,
то основная формула теории цепей Маркова будет иметь
следующий вид:
Pikin (к, п) = ^р-^т {к, т) pimin (т, п).	(1)
’гл
к т п
Обозначив матрицу \\Pimin{m,n) || через р (т,п),
можно (1) записать в следующем виде1):
р (к, п) — р (к, ni) р (т, п)	(2)
к < т < п.
1) По поводу дальнейшего развития теории цепей Маркова
см. R. von Mises [1], § 16 и В. Н о s t i n s к у, Methodes
generales du calcul des probability, Mem. Sci. Math. 52, Paris, 1931.
5 в. УСЛОВНЫЕ ВЕРОЯТНОСТИ
образует цепь Маркова, если при любых к и I
Р (Л^0 | Щ(,)31<2)... 5I(/f-1)) = Р (Л(/° I 31(М)).
Цепи Маркова образуют естественное обобщение по-
следовательностей независимых испытаний. Если по-
ложить
P'Wn tm’ = Р (I т<п,
то основная формула теории цепей Маркова будет иметь
следующий вид:
Р^„ (к,	= 2<PVm (к, т) pimin (т, п).	(1)
г
тп
к <^т <^п
Обозначив матрицу || Ptmtn(т, п) || через р (т,п),
можно (1) записать в следующем виде1):
р (к, п) — р (к, т) р (т, п)	(2)
к < т <Z п.
1) По поводу дальнейшего развития теории цепей Маркова
см. R. von Mises [1], § 16 и В. Н о s t i n s к у, Methodes
generales du calcul des probability, Mem. Sci. Math. 52, Paris, 1931.
П. БЕСКОНЕЧНЫЕ ПОЛЯ ВЕРОЯТНОСТЕЙ
§ 1. Аксиома непрерывности
Мы обозначаем, как обычно, через Ат пересече-
ние множеств Ат (в конечном или бесконечном числе)
и через (JAm их соединение. В случае непересекаю-
щихся множеств А т соединение LMm называем суммой и
т
обозначаем ^Ат. Следовательно,
т
и Ат = лилили...,
т
2^-т =	+ Аг + А3 4- ..
Ill
П = А1-АгА3...
т
При всех дальнейших рассмотрениях мы предпо-
лагаем, что кроме аксиом I—IV (гл. I, § 1) выполняется
еще следующая аксиома непрерывности;
V. Для убывающей последовательности
^г ~)	х4п иэ ...	(1)
событий из Д такой, что
Q л = о,	(2)
имеет место равенство
limP(AJ = 0.	(3)
п
§ 1. АКСИОМА НЕПРЕРЫВНОСТИ
27
Во всем дальнейшем изложении мы называем полем
вероятностей только такое поле вероятностей (О, 0, Р)
в смысле главы первой, которое, кроме того, удовлет-
воряет аксиоме V. Поля вероятностей в смысле главы
первой можно называть полями вероятностей в расши-
ренном смысле.
Если система множеств & конечна, аксиома V сле-
дует из аксиом 1—IV. В самом деле, в этом случае
существует только конечное число различных множеств
в последовательности (1). Пусть Ah — наименьшее из
них, тогда все множества All+l совпадают с Ah, и мы,
следовательно, получаем
/1, = Ам = П Ап = 0,
lim Р (Л„) = Р (0) = 0.
Все примеры с конечными полями вероятностей из
первой главы удовлетворяют, следовательно, также
аксиоме V. Система аксиом I—V является, таким обра-
зом, непротиворечивой и неполной.
Напротив, для бесконечных полей аксиома непре-
рывности V является независимой от аксиом I—IV.
Так как новая аксиома существенна лишь для беско-
нечных полей вероятностей, то является почти невоз-
можным разъяснить ее эмпирическое значение, напри-
мер, так, как это было вкратце проделано для аксиом
I — IV в § 2 главы первой. При описании какого-либо
действительно наблюдаемого случайного процесса
можно получать только конечные поля вероятностей.
Бесконечные поля вероятностей появляются только
как идеализированные схемы действительных случай-
ных явлений. Мы произвольно ограничиваемся при этом
такими схемами, которые удовлетворяют аксиоме V.
Это ограничение оказывается целесообразным в самых
различных исследованиях.
Теорема I (расширенная теорема сложения).
Если А, Л п . . ., А п, . . . принадлежат f и
28
II. БЕСКОНЕЧНЫЕ ПОЛЯ ВЕРОЯТНОСТЕН
то
Р(Л) = 2Р(Л,().	(5)
п
Доказательство. Положим
Rn = 2 Ат-
т>п
Тогда, очевидно,
П Rn = 0,
п
и, следовательно, по аксиоме V
lim Р (7?п) = 0.	(6)
п
С другой стороны, по теореме сложения
Р(Л) = Р(ЛД + . . . + Р(4П) + Р(ЯП). (7)
Из (6) и (7) следует непосредственно (5).
Итак, мы доказали, что вероятность Р = Р (•) яв-
ляется на f счетно-аддитивной функцией множеств.
Обратно, аксиомы IV и V имеют место для всякой опре-
деленной на какой-либо алгебре множеств f счетно-
аддитивной функции множеств1). Можно, следователь-
no, понятие поля вероятностей определить следующим
образом.
Пусть й — произвольное множество, f — алгебра
подмножеств Q, а Р = Р () — неотрицательная счет-
но-аддитивная функция множеств, определенная на
if, подчиненная условию Р (Q) = 1. Тогда система
(Q, f, Р) образует поле вероятностей.
Теорема II (о покрытиях). Если А, Лп А2, . . .
.. ., Ап, ... принадлежат f и
A^L)An,	(8)
п
то
Р(Л)<2Р(Л).	(9)
п
*) См., например, книгу А. Н. К о л м о г о р о в а и
С. В. Ф о м и н а, цитированную на стр. 11.
5 2. БОРЕЛЕВСКИЕ ПОЛЯ ВЕРОЯТНОСТЕЙ
29
Доказательство. Поскольку
А = А ([J А п) = А (Л! + А2.4! + Л341А 2 Ч~ • • •),
то
Р (Л) = Р (ЛЛХ) + Р (ЛЛ2Л!) + ... <
< Р (Л!) + Р (Л2) + . . .
§ 2. Борелевские поля вероятностей
Алгебра f подмножеств множества Q называется
борелевской алгеброй, если все счетные суммы 23ЛП мно-
жеств Ап из & принадлежат Борелевские алгебры
называют также а-алгебрами. Из формулы
U А п = Л j + Л241 + Л341Л2 + •••
(1)
можно заключить, что о-алгебра содержит также все
множества |J Л„, составленные из счетного числа мно-
п
жеств Ап. Из формулы
П Ап = Q \ U Л п
п	п
следует то же для пересечений множеств.
Поле вероятностей (Q, f, Р) называется борелев-
ским полем вероятностей, если соответствующая ал-
гебра f является борелевской.
При борелевских полях теория вероятностей получа-
ет полную свободу действия, не связанную с опасностью
прийти к событиям, которые не имеют никакой вероят-
ности. Мы теперь покажем, что можно ограничиться
рассмотрением только борелевских полей вероятностей.
Это будет следовать из так называемой теоремы о про-
должении, к которой мы сейчас перейдем.
30
II. БЕСКОНЕЧНЫЕ ПОЛЯ ВЕРОЯТНОСТЕЙ
Пусть дано поле вероятностей (О, ^0, Р). Как
известно J), существует наименьшая <з-алгебра f =
= з (^0), содержащая f0.
Теорема (о продолжении). Определенную на
(й, $ о) неотрицательную счетно-аддитивную функцию
множеств Р = Р (•) всегда можно продолжить с сох-
ранением обоих свойств (неотрицательности и счетной
аддитивности) на все множества из $ = о (^0) и при-
том единственным образом.
Борелевская алгебра jT = о (£0) вместе с продол-
женной функцией множеств Р = Р (•) образует неко-
торое поле вероятностей (й,	Р). Это поле назовем
борелевским расширением поля (Й, гГ0, Р).
Доказательство теоремы о продолжении,
которая относится к теории аддитивных функций мно-
жеств и которая в основном должна быть известна
в различных других трактовках, проводится по следую-
щей схеме.
Пусть А — некоторое произвольное подмножество
Й. Определим Р* (А) как нижнюю границу сумм
2Р(Лп)
для всех покрытий
Леи 4
п
множества А конечным или счетным числом множеств
Ап из f0. Легко доказать, что Р* (Л) является внеш-
ней мерой в смысле Каратеодори * 2). Согласно теореме
о покрытиях (§ 1), Р* (Л) совпадает с Р (Л) для всех
множеств из f0. Далее доказывается, что все множества
из измеримы в смысле Каратеодори. Так как все из-
!) Ф. Хаусдорф, Теория множеств, Гостехиздат, М.,
1937; А. Н. Колмогоров, С. Ф. Ф о м и н, Элементы тео-
рии функций и функционального анализа, Изд-во «Наука»,
1968, стр. 44.
2) С. Carat h eodor у, Vorlesungen liber reele Funklio-
nen, Teubner, Berlin und Leipzig, 1918, стр. 237—258; A. H.
Колмогоров, С. В. Ф о м и н (цит. выше), гл. V, § 3.
§ 3. ПРИМЕРЫ БЕСКОНЕЧНЫХ ПОЛЕЙ ВЕРОЯТНОСТЕЙ 31
меримые множества образуют о-алгебру, то, следова-
тельно, все множества из б(^0) являются измеримыми.
Функция множеств Р* (Л) является, следовательно,
счетно-аддитивной на <з («Го), 11 на 3 (Fo) мы можем по-
ложить
Р (Л) = р* (Л).
Этим доказано существование продолжения. Един-
ственность продолжения следует сразу же из мини-
мальных свойств алгебры о (£Г0).
Замела п и е. Если множества (события) А из
& 0 могут иметь смысл в качестве действительных и на-
блюдавшихся (хотя бы приближенно) событий, то от-
сюда еще не следует, что множества из расширенной
алгебры б (д^0) допускают такое же разумное истол-
кование в качестве действительно наблюдавшихся
событий. Может случиться, что поле вероятностей
(Q,	0, Р) рассматривается в качестве (хотя бы идеа-
лизированного) образа реальных случайных событий,
в то время как расширенное поле вероятностей
(Q, б(^Го), Р) остается чисто математическим постро-
ением.
Множества из g мы рассматриваем только как
«идеальные события», которым ничего не соответствует
во внешнем мире. Если, однако, рассуждение, которое
использует вероятности таких идеальных событий,
приводит к определению вероятностей действительного
события из f 0, то это определение, очевидно, автомати-
чески будет непротиворечивым и с эмпирической точки
зрения.
§ 3. Примеры бесконечных полей вероятностей
I.	Еще в первой главе, § 1, мы строили различные ко-
нечные поля вероятностей. Пусть теперь
й = {©], ©2,	. . . }
— счетное множество, а & совпадает с совокупностью
всех подмножеств множества Q.
32
II. БЕСКОНЕЧНЫЕ ПОЛЯ ВЕРОЯТНОСТЕЙ
Все возможные поля вероятностей с таким множе-
ством^ получаются следующим образом: берется после-
довательность неотрицательных чисел {рп} при условии
Pi + Р-2 + • • • = 1
и для каждого множества А полагается
п
причем суммирование У, распространяется на все те
индексы п, для которых соп принадлежит А. Эти поля
вероятностей, очевидно, являются борелевскими.
II.	Теперь предположим, что Q представляет
собой действительную числовую прямую R. Сначала
пусть ,Т0 образовано из всевозможных конечных сумм
полуоткрытых интервалов [а, Ь) = {ю: а со < Ь}
(при этом мы рассматриваем наряду с собственными
интервалами с конечными а и b также и несобственные
[— оо, Ь), [а, + оо) и [— оо, 4- оо)). Легко убедиться, что
является алгеброй. По теореме о продолжении мож-
но, однако, каждое поле вероятностей (Q, Р) расши-
рить в подобное поле (П, о (f'o), Р). Система множеств
— 5 (.^о) в нашем случае является ни чем иным,
как системой всех борелевских множеств числовой
прямой.
III.	Пусть Q = R — действительная числовая пря-
мая, a состоит из всех борелевских множеств этой
прямой. Для построения вероятностного пространства
с данной борелевской алгеброй & достаточно опреде-
лить па множествах A GE любую неотрицательную
счетно-аддитивную функцию множеств Р (Л), удовлет-
воряющую условию Р (й) = 1. Такая функция, как
известно *), однозначно определяется своими значе-
ниями
Р {[-оо, z)} = F (х)	(1)
для специальных интервалов [—оо, х).
') См., А. Л е б е г, Интегрирование и отыскание примитив-
ных функций, ГТТИ, 1934, стр. 127—132.
§ 3. ПРИМЕРЫ БЕСКОНЕЧНЫХ ПОЛЕЙ ВЕРОЯТНОСТЕЙ 33
Функцию F — F (х) называют функцией распре-
деления со. Далее доказывается (третья глава, § 2), что
F (х) не убывает, непрерывна слева и имеет следующие
предельные значения:
lim F (х) = F (— оо) = О,
lim F (х) = F (-}- оо) = 1.
X—ОС
Обратно, если дана функция F — F (х), удовлет-
воряющая этим условиям, то она всегда определяет
неотрицательную счетно-аддитивную функцию мно-
жеств Р (Л) такую, что Р (Q) = 1 ').
IV.	Пусть теперь за основное множество й прини-
мается и-мерное евклидово координатное простран-
ство Вп, т. е. множество всех упорядоченных комплек-
сов со == {xi, х2, . . ., хп} из п действительных чисел.
Система & пусть состоит при этом из всех борелевских
множеств 2) пространства Rn. На основании рассужде-
ний, аналогичных приведенным в примере II, мы мо-
жем отказаться от рассмотрения более узких систем
множеств, например системы всех и-мерных интер-
валов.
За вероятностную функцию Р (Я) здесь, как всегда,
можно принять любую неотрицательную и счетно-
аддитивную функцию множеств, определенную на %
и удовлетворяющую условию Р (й) = 1. Такая функция
множеств однозначно определяется, если дапы ее зна-
чения
Р(АЯ1,.....«„) = F(alt аг, . . ., я(1)	(3)
для специальных множеств Aa„a!, ...,а , гдеА^гц....Я|1
означает множество всех со, для которых
X, < O-i, I — 1, 2, . . ., п.
1) См., например, цитированную выше книгу А. Н. Кол-
могорова и С. Ф. Фомина, стр. 262.
2) Определение борелевских множеств в Rn см. Ф, X а у с-
д о р ф, Теория множеств, Гостехиздат, М., 1937.
2 А. Н. Колмогоров
34
II. БЕСКОНЕЧНЫЕ ПОЛЯ ВЕРОЯТНОСТЕН
Нетрудно подсчитать, что для множества
ь,..ъ
«)г	^1? • • ч ан	а.1г	Ьп]
вероятность
р(л«:;	=
= F (Ь15 . . Ъп) 2 F(by,. .	a,,	Ь, ) -к
i=-l
;/j F (bj, . .	fl;, feJ+i, . .	bj-1, ttj, bj^y, . . ., bn)  . . .
... + (—1)"fi„).	(4)
За функцию F (an . . ., an) можно при этом выбрать
любую непрерывную слева, неубывающую по всем пе-
ременным функцию, для которой выражение в правой
части (4) неотрицательно при любых аг- bt, 1=1,...
. . ., п, и которая удовлетворяет также следующим
условиям:
lim F (ах,..an) = F (а1; ..., а;_ь — <х, а-1+1,..., ап) = О,
а^->—ОО
г = 1, 2, . .., п,	(5)
lim F (ay, ..., ап) = F (-]- ос, ..., Ц- ос) = 1.
>-}-оо,..., а —>4-ос
Функцию F (ах, . . ап) называют функцией рас-
пределения величин хг, . . хп.
Рассмотрение полей вероятностей вышеопределен-
ного типа достаточно для всех классических проблем
теории вероятностей1). В частности, вероятностная
функция в Вп может быть определена следующим обра-
зом. Берется любая определенная в Rn неотрицательная
’) Ср., например, R. von Mises [1], стр. 13—19. Здесь тре-
буется существование вероятностей для «всех практически воз-
можных» множеств zt-мерного пространства.
§ 3. ПРИМЕРЫ БЕСКОНЕЧНЫХ НОЛЕЙ ВЕРОЯТНОСТЕН
функция / = / (тд, . .	ж„) такая, что
со
§•••§/<Аъ   ^n) d-Ч   - dx„ = 1,
и полагается
Р(/1) = § ... ^/(А, . . r„) dxt. . ,dxn. (6)
.4
Функция / (x1; . . хп) является в этом случае
плотностью вероятности в точке (х15 х.2, . . хп) (ср.
гл. III, § 2).
Другой тип вероятностных функций в Rn получает-
ся следующим образом. Пусть {<щ} — последователь-
ность точек из 1Г' и {рг} — последовательность неотри-
цательных действительных чисел такая, что = 1.
Тогда, так же как и в примере I, полагаем
Р(Л) = 2'А,
i
причем суммирование 2' распространяется на все то
индексы I, для которых сог принадлежит А. Оба упо-
мянутых здесь типа вероятностных функций в /?" не
исчерпывают всех возможностей, хотя ими обычно до-
вольствуются в приложениях теории вероятностей.
Можно, однако, себе представить, кроме этой клас-
сической области, также и другие, интересные для при-
ложений задачи, в которых элементарные события оп-
ределяются с помощью бесконечного числа координат.
Соответствующие поля вероятностей мы исследуем
ближе после введения некоторых необходимых для этого
вспомогательных понятий (ср. гл. III, § 3).
Ш. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
§ 1. Вероятностные функции
Пусть дано отображение множества й в множество
X, состоящее из каких-либо элементов, т. е. определен-
ная на й однозначная функция |	£ (со), значения ко-
торой принадлежат множеству X. Каждому подмноже-
ству А из X мы ставим в соответствие в качестве его
прообраза в Й множество Е,-1 (А) всех элементов из
Й, которые отображаются в один из элементов А. Пусть
далее — система всех подмножеств А из X, про-
образы которых принадлежат к алгебре множеств &.
Система тогда также является алгеброй. Если при
этом $ — борелевская алгебра, то тоже имеет место и
Для f и-
Мы полагаем теперь
(А) = Р {Г1 (А)}.	(1)
Эта определенная на функция множеств Р & удовлет-
воряет относительно алгебры всем нашим аксиомам
J—V и, следовательно, является вероятностной функ-
цией на Прежде чем перейти к доказательству
всех только что указанных фактов, мы сформулируем
уже теперь следующее
Определение. Пусть дана однозначная функ-
ция | — Е, (со) случайного события со. Тогда функция
Р определенная формулой (1), называется вероятно-
стной функцией
Примечание I. При исследовании поля веро-
ятностей (Й, &, Р) функцию Р называют вероятностной
функцией или просто вероятностью, а Pi — вероятно-
§ 1. ВЕРОЯТНОСТНЫЕ ФУНКЦИИ
37
стпой функцией В случае g (®) = ю Р g (4) совпа-
дает с Р(4).
Примечание II. Событие g"1 (4) состоит в том,
что S, (ы) принадлежит множеству 4. Следовательно,
Pg (4) есть вероятность того, что | (со) GE А.
Нам осталось доказать вышеупомянутые свойства
f и Р ^. Они следуют, однако, из одного-единствен-
ного факта, а именно следующего.
Лемма. Сумма, пересечение и разность каких-
либо прообразных множеств g-1 (4) являются прообра-
зами соответствующих сумм, пересечений, и разностей
множеств 4.
Доказательство этой леммы предоставляет-
ся читателю.
Пусть теперь 4 и В — два множества из g, их
прообразы 4' и В’ принадлежат тогда £. Так как f —
алгебра, то множества А'В', А' + В' и 4'\В' также
принадлежат $. Но эти множества являются прообра-
зами множеств АВ, А + В и А\В, следовательно, по-
следние множества принадлежат к f g. Итак, мы до-
казали, что $ Е — алгебра. Так же доказывается, что
если Т является борелевской алгеброй, то то же спра-
ведливо И ДЛЯ $ g.
Далее ясно, что
Pg(X) = P{r1(X)}=P(Q) = l.
'iiu Pi всегда неотрицательна, понятно само собой.
Следовательно, остается доказать, что Pg счетно-ад-
дитивна (ср. конец § 1 гл. II).
Итак, пусть множества Ап, а следовательно, и их
прообразы £-1 (4П) не пересекаются. Тогда
MS-4») = Ф1 (s а>)} =
п	п
= р {2 г1 ш} = 2 р {s-1 (Ап)} = 2 л ш,
п	п	п
чем доказана счетная аддитивность Pg.
38
111. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
В заключение заметим еще следующее. Пусть =
= (со) — функция, отображающая Q в Xlt а £2 ~
=	(^i) — другая функция, отображающая Xi в Х2,
Тогда сложная функция £ (со) =	[£х (со)! отображает
множество Q в Х2. Мы рассмотрим теперь вероятност-
ные функции (4,) и Р^(А2) для функций (со)
и g (со) = Н2 [|i (со)]. Эти две вероятностные функции
связаны, как легко подсчитать, следующим соотноше-
нием:
Л(А2) = Ре1{^1(Л)}.
(2)
§ 2. Определение случайных величин,
функции распределения
Определение I. Однозначную действитель-
ную функцию £ = £ (со), определенную на основном
множестве Q, называют случайной величиной, если при
каждом выборе действительного числа х множество
< х} всех тех со, для которых справедливо нера-
венство £(со) < х, принадлежит к системе множеств ,Т.
Эта функция £ (со) отображает основное множество
О на множество R всех действительных чисел. Наше
определение случайной величины можно теперь сфор-
мулировать так: действительная функция £ = £ (со)
является случайной величиной тогда и только тогда,
когда ^содержит каждый интервал вида (—оо, а).
Так как $ s — алгебра, то она содержит наряду
с интервалами (—оо, а) также всевозможные конечные
суммы полуоткрытых интервалов [а, Ь). Если наше по-
ле вероятностей борелевское, то а являются бо-
релевскими алгебрами; следовательно, в этом случае
f содержит все борелевские множества R. Вероят-
ностная функция случайной величины 5 определена
для всех множеств А алгебры & В частности, в важ-
нейшем случае борелевского поля вероятностей Р । оп-
ределена для всех борелевских множеств R.
Определение II. Функция
(ж) =	(—оо, х) = Р {g (со) < х},
§ 2. ОПРЕДЕЛЕНИЕ СЛУЧАЙНЫХ ВЕЛИЧИН
39
где — оо и + оо допускаются в качестве значений х,
называется функцией распределения случайной вели-
чины Jj.
Из определения непосредственно следует, что
оо) = 0, F^(+oo) = l.	(1)
Вероятность выполнения неравенств а 0 £ < Ъ, оче-
видно, задается формулой
Р(а< g (со) < b) = F^b) - Fz(a). (2)
Отсюда следует, что для а < Ъ
Fz (a)^Fz(b).
Это означает, что F (х) — неубывающая функция.
Пусть далее аг < а2 <  • • <йп	6, тогда
n {®: g (со) е [ап, Ь)} = 0.
п
Следовательно, согласно аксиоме непрерывности
Fz(b)-Fz (ап) = Р {со : g (со) е [ап, Ь)}
стремится к нулю при т) -> оо. Отсюда видно, что функ-
ция F j (ж) непрерывна слева.
Аналогично можно доказать, что
lim F? (х) — Fz(— оо) = 0,	(3)
х->— оо
lim Fz (х) = Fz(-\- оо) = i.	(4)
х—>4-00
Если поле ероятностей (й, Р) — борелевское, то
значения вероятностной функции Р g (Л) для всех бо-
релевских множеств А из R однозначно определяются
знанием функции распределения F-. (х) (ср. гл. II,
§ 3, III). Так как главным образом интересуются только
этими значениями А (Л), то функци t распределения
играют во всем дальнейшем изложении существенную
роль.
40
Ш. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Если функция распределения F. (х) дифференци-
руема, то ее производную по х
dFr (ж)
ш
называют плотностью вероятности В в точке х.
Если для каждого х
X
Ft, (х) = § k (#)
— ОС
то для каждого борелевского множества А вероятно-
стную функцию В можно выразить через (х) следую-
щим образом:
Рг(А) = fz(x) dx.	(5)
А
В этом случае говорят, что распределение В абсолют-
но непрерывно. В общем случае по аналогии пишут'
Рг(А) = \jdFz(x).	(6)
А
Все введенные понятия допускают обобщение па
случай условных вероятностей. Функция множеств
Р^А \Б) = Р {1^А | В}
является условной вероятностной функцией В при ги-
потезе В (предполагается, что Р (В)	0). Неубываю-
щая функция
Ft(x \ В) = Р {В<я |5)
есть соответствующая функция распределения, и, на-
конец (в случае дифференцируемости F^(x 15)),
dl'\ (х I В)
— условная плотность вероятности В в точке х при ги-
потезе В.
§ 3. МНОГОМЕРНЫЕ ФУНКЦИИ РАСПРЕДЕЛЕНИЯ
41
§ 3. Многомерные функции распределения
Пусть теперь даны п случайных величин g2, . . .
. .	£п. Точка g = (gj, . .	£п) «-мерного пространства
7?" является функцией элементарного события и. Следо-
вательно, по общим правилам § 1 получаем алгебру мно-
жеств f g = ^5,...состоящую из подмножеств
пространства Rn, и определенную на
вероятностную функцию Р^(А) = Р^......Е (Я). Эту
вероятностную функцию называют п-мерной вероятно-
стной функцией случайных величин £ = (£1; . .	£п).
Алгебра ......содержит (как это прямо следует
из определения случайной величины) при каждом вы-
боре I и at, i: — 1, 2, . . п, множество всех точек х —
= (zlt . . жп) е Рп, для которых х( < аг-. Следова-
тельно, .....^содержит также и пересечение указан-
ных множеств, т. е. множество Аа|> аг,ап всех то-
чек X = (хъ . . ., хп) GE Rn, для которых выполняются
все неравенства xt < «г, г = 1, 2, . . ., п ’).
Если назвать «-мерным полуоткрытым интервалом
kj, аг, . . ., ап; Ьг, Ьг, . . ., Ьп)
множество всех точек Rn, для которых выполняются все
неравенства at xt <Z bt, то видно сразу, что каждый
такой интервал также принадлежит алгебре n>i Е
поскольку
[dj, «2» • • •>	^1» ^21 • •	^п) —
= ^Ь1, Ь2  Ьп А011 ьг bn Аа„ аг,Ь3„.,, Ьп Ль, ап-
Борелевское расширение системы всех n-мерных по-
луоткрытых интервалов состоит из всех борелевских
множеств Rn. Отсюда следует, что алгебра
в случае борелевского поля вероятностей содержит все
борелевские множества пространства Rn.
1) Xi могут принимать также бесконечные значения ± оо.
42
Ш. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Теорема. В случае борелевского поля, вероятно-
стей и борелевской функции f (zt, . . хп) функция
и (<о) = / (ех (со), . .	(<о)) конечного числа случай-
ных величин = gj (со), . .	(со) тоже яв-
ляется случайной величиной.
Для доказательства достаточно заметить, что мно-
жество всех точек (х1, хг, . . ., хп) в R", для которых
f (ж1, х2, . . ., хп) < а, является борелевским. В ча-
стности, все конечные суммы и произведения случай-
ных величин тоже являются случайными величинами.
Определение. Функцию
FZ1,., а Со, • •  , хп) = ТА , г (A.v, v )
называем п-мерной функцией распределения случайных
величин g1? . . ., £п.
Как и в одномерном случае доказывается, что п-
мерная функция распределения F?,........(xt, . . .
. . ., хп) не убывает по всем переменным и непрерывна
слева. Аналогично равенствам (3) и (4) из § 2
Ига ТО,,..., 5 Со,..., хп) =
-эо
= F....(.Гр . . ., оо, X:, . . ., Хп) = 0,	(1)
=	...Еп(+оо,..., + ОО) = 1.	(2)
Функция распределения ТО,,....^ (xt, . . ., хп) не-
посредственно дает нам значения ........только
для специальных множеств Аж,......х . Если, однако,
наше поле вероятностей — борелевское, то ТО......?
однозначно определяется для борелевских множеств че-
рез функцию распределения F?....... (х1; . . ., хп) ').
!) Ср. гл. II, § 3, IV.
§ 3. МНОГОМЕРНЫЕ ФУНКЦИИ РАСПРЕДЕЛЕНИЯ 43
Если существует производная
дп
/El,..., Е (-И, • • •! *п) ~ ~р~ pZ Р'сл,-.-, Z„ (^-l, • • •> ^n),
I1	UX , , . О 3	II
П
то эту производную Д,....zn (ж1, • • > ^п) называют п-
мерной плотностью вероятности случайных величин
gj, . . £п в точке (хр . . хп).
Если для каждой точки (х15 . . хп)
(-1’1; • • •) Хп) =
п
= $ ••• S Лл....1п(Уи • • •, Уп)^У1- • -dyn,
— со	—оо
то распределение £ = (|1, . . gn) называют абсолютно
непрерывным. Для каждого борелевского множества
4 cz Rn имеет место равенство
ръ,..., е„ М) = $ •  • S /?. ё„ (Уъ	Уп) dyi... dyn. (3)
А
В заключение этого параграфа сделаем еще одно за-
мечание о соотношениях между различными вероятно-
стными функциями и функциями распределения. Пусть
дана подстановка
/1, 2,...,и
S = .	.
\^1, ^2? • • •?
и пусть ps означает преобразование
xit = х,., к = 1, 2, . . п.
пространства Rn в самого себя. Тогда ясно, что
pzh..г, (А) = Р,Л...,n{pf(A)}.	(4)
41	1п	/4
Пусть теперь х’ = лк (х) — «проекция» простран-
ства Rn в пространство 7?fc, к < п, при которой точка
II [. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
,г — (.Cj, хп) отображается в точку х' = («г1, хй).
Тогда вследствие формулы (2) § 1
.....:,.(•!) /Д.(5)
Для соответствующих функций распределения из
(4) и (5) следуют равенства
...=
...... Ол, . .	= Л....Zn (*1, • • •, Тл + ОС, . . . + оо).
§ 4. Вероятности в бесконечномерных пространствах
В § 3 главы второй мы видели, как строятся раз-
личные применяющиеся в теории вероятностей поля
вероятностей. Можно, однако, представить себе инте-
ресные также и для приложений проблемы, в которых
элементарные события определяются с помощью бес-
конечного числа координат. Итак, пусть выбрано мно-
жество индексов v любой мощности 31. Совокупность
всех систем
и = {rv}
действительных чисел xv, где v пробегает все множество
назовем пространством (для определения эле-
мента ю пространства : следует каждому элементу
v множества Ж поставить в соответствие действитель-
ное число xv пли, что то же самое, задать определен-
ную на Ж однозначную действительную функцию
л\. элемента v 1).
Если множество Ж состоит из п первых натураль-
ных чисел 1,2, . . ., п, то есть обычное и-мсрноо
пространство Rn. Если выбрать в качестве множества •Е"
множество всех действительных чисел У?1, то соответ-
ствующее пространство = /?н‘ состоит из всех
у Ср. Ф. X а у с д о р ф, Теория множеств, Гостехиздат,
М., 1937.
§ 4. БЕСКОНЕЧНОМЕРНЫЕ ПРОСТРАНСТВА
45
действительных функций
® = {xt}
действительного переменного t, — оо t оо.
Множество R при произвольном множестве
мы примем сейчас за основное множество Q. Пусть
(о = {xv} — элемент Q. Через .......будем обо-
значать точку (т.Л, х,,2, . . х v ) га-мерного про-
странства R'. Подмножество А из (1 назовем цилин-
дрическим множеством, если оно представимо в форме
А = л^.„, vn(H'),
где А' есть подмножество R\ Класс всех цилиндриче-
ских множеств совпадает, следовательно, с классом
всех таких множеств, которые могут быть определены
соотношениями вида
/(•Ч„ xV2, . . xVn) = 0.	(1)
Для того чтобы произвольное цилиндрическое мно-
жество лД v2jVn (А') определить таким соотношением,
достаточно принять за / функцию, которая на А'
равна нулю, а вне А' равна единице.
Цилиндрическое множество является борелевским
цилиндрическим множеством, если соответствующее
множество А’ — борелевское. Все борелевские ци-
линдрические множества х) пространства образуют
алгебру, которая в дальнейшем будет обозначаться^^.
Из вышеприведенных рассуждений следует, что борелев-
ские цилиндрические множества — это те, которые могут быть
определены борелевскими соотношениями (1). Пусть теперь А и
В — два цилиндрических множества, определенных соотноше-
ниями
/ (,rVi, ...,	= 0, g (гЛ1, ..., zXm) = 0.
Тогда множества А + В, АВ и А \ В можно определить
соответственно следующими соотношениями:
f-g = О, /2 + g2 = О, /2 + h (g) = о,
46
Ill. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Борелевское расширение алгебры мы обозначим,
как всегда, через <з (^р1'"). Множества из системы о (&•*')
мы называем борелевскими множествами пространст-
ва Нл'°.
Далее будет дан метод для построения и опериро-
вания с вероятностными функциями на &л° и, следо-
вательно, по теореме о продолжении также и на
з(р"4'°). В случае счетности множества Л'‘ получаемые
таким образом поля вероятностей достаточны для всех
целей. Мы овладеваем, следовательно, всеми вопро-
сами, касающимися счетной последовательности слу-
чайных величии. Если же Ж несчетно, то тогда многие
простые и интересные подмножества R  остаются вне
системы з (,Р:). Например, множество всех элементов
ы, для которых xv при любом выборе индекса v оста-
ется меньше какой-либо постоянной величины с, т. е.
множество {(os xv <{ с, v £ Л''} не принадлежит к си-
стеме б (.р1') в случае несчетности множества Л'”.
Следовательно, всегда стоит добиваться, если это
возможно, приведения всякой проблемы к такой форме,
при которой пространство всех элементарных событий
со имеет только счетное множество координат.
Пусть на определена вероятностная функция Р.
Каждую координату xv элементарного события и
можно рассматривать как случайную величину. Сле-
довательно, всякая конечная группа (xVl, xV2, . . .
. . xVn) этих координат имеет «-мерную вероятност-
ную функцию Л>„ vn(A) и соответствующую функ-
цию распределения FV1> ...7;1(ап «2,  • •> anY Ясно,
что для всякого борелевского цилиндрического мно-
жества
А = я71,7г,..., v?! (А )
где h (х) — 0 для х 4= 0 и h (0) = 1. Если f и g — борелевские
функции, то таковыми же являются /•", р + g2 и f + h (с).
Следовательно, А -(- В, АВ и А \ В являются борелевскими ци-
линдрическими множествами. Этим доказано, что система мно-
жеств является алгеброй.,
§ 4. БЕСКОНЕЧНОМЕРНЫЕ ПРОСТРАНСТВА
47
имеет место равенство
РИ) = РУ.,.„..%(Л'),
причем А' является борелевским множеством в R‘\
Таким образом, вероятностная функция Р однозначно
определяется на алгебре 3-л" всех цилиндрических
множеств через значения всех конечномерных вероят-
ностных функций P4it .,2>V|i для всех боролевских
множеств соответствующего пространства Rn. Однако
для борелевских множеств значения вероятностной
функции Р-л, v2, .... V|l однозначно определяются через
соответствующие функции распределения. Следова-
тельно, мы доказали следующую теорему.
Т е о р е м а. Совокупность всех конечномерных
функций распределения	— тп однозначно определяет
вероятностную функцию Р для всех множеств из
Вероятностная функция Р (по теореме о продолжении)
определяется однозначно на с (зГ'"’‘) значениями функ-
ций распределения ..., vn-
Теперь можно поставить вопрос, при каких усло-
виях a priori заданная система функций распределения
/4.,^..чп определяет вероятность на (и, следова-
тельно, на с (у “'' ))
Сперва отметим, что всякая функция распределения
v„..., v„ должна удовлетворять условиям, данным в гла-
ве второй (§ 3, III), что, конечно, содержится в самом
понятии функции распределения. Кроме того, вследствие
формул (13) и (14) из § 2 имеют место еще следующие
соотношения:
Ц,’" • ’’	чп (Л"1, Хп), (2)
F-H, V;.......	(^1, Х-2, . . ., Tft.) —
= ^*1, V;.......... -1п ("’'l, З'г, • • •> Х'К1 4“ °°1  • ч 4* °°)f	(3)
/Т, 2, .. ., п \
где к <3. п и I . .	.1 — произвольная подста-
\?1, ^2? • • •? in /
48
111. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
новка. Эти необходимые условия, однако, являются
также и достаточными, как это явствует из следующей
теоремы.
ОСНОВНАЯ ТЕОРЕМА.	Всякая система функ-
ций распределения F„uVz vn, удовлетворяющих
условиям (2) и (3), определяет вероятностную функцию
Р на которая удовлетворяет всем аксиомам S—
V. Эта вероятностная функция Р может быть про-
должена (по теореме о продолжении) также и на
о (^).
Доказательство. Итак, пусть даны функ-
ции распределения FV1,42.Vn, удовлетворяющие общим
условиям главы второй (§ 3, Ш) и условиям (2) и (3).
Всякая функция распределения FVl. .... Vn однозначно
определяет соответствующую вероятностную функцию
РЛ,   vn для всех борелевских множеств из Rn (ср. § 3).
В дальнейшем мы будем рассматривать только боре-
левские множества Rn и борелевские цилиндрические
множества в О.
Для всякого цилиндрического множества
И — nV(> vn (А )
полагаем
Р(Л) = Т\,„2.Vn(A’).	(4)
Так как одно и то же цилиндрическое множество Л
может быть определено через различные множества А',
то нужно сначала доказать, что формула (4) дает всегда
одинаковое значение для Р (Л).
Пусть (xV1, xvt, . . ., xVn) — конечная система слу-
чайных величин xv. Исходя из вероятностной функции
PV11 ..v этих случайных величин, мы можем, согласно
правилам § 2, определить вероятностную функцию
Р;, ц ....v, каждой подсистемы (ж7. , х^ ..... хч. ). Ра-
‘1’ 12	»(£	I, i,	Ц.'
венства (2) и (3) имеют своим следствием, что эта опре-
деленная по § 2 вероятностная функция совпадает с
a priori заданной функцией Рч^ .Мы теперь пред-
§ 4. БЕСКОНЕЧНОМЕРНЫЕ ПРОСТРАНСТВА
49
положим, что цилиндрическое множество А опреде-
ляется через
А = л;1, v. v (Л')
гг гг’"** ifc v '
и одновременно через
.............................ч (Л"),
причем все случайные величины и o:v. принадлежат
системе (#„,, х?2, . . xVjj), что, очевидно, не является
существенным ограничением. Условия
(^v- X.j ... \	gzz Л'
' ii {г’	* ifc/ *—
И
j > ^7 » * 	A
J1 '2	Jm
равнозначащи. Следовательно,
P*U' Чг’ — Vik	’n	%, • • •> X'’ik)	=
=	K^-p ^.2,.........................(Л7),
что доказывает наше утверждение относительно одно-
значности определения Р (Л).
Докажем теперь, что поле вероятностей (Q, Р)
удовлетворяет всем аксиомам I—V. Аксиома I
утверждает только, что '^л'‘ должна быть алгеброй; это
обстоятельство (за исключением требования £2 GE
было уже доказано выше. Далее, при любом v G Ж
Й = л?1 (Я1),
Р(Й) =	= 1.
что доказывает применимость аксиом I и Ш. Наконец,
из определения Р (Л) непосредственно следует, что
Р (Л) неотрицательна (аксиома II).
50
Ш.СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Несколько сложнее доказывается применимость
аксиомы IV. Для этой цели рассмотрим два цилиндри-
ческих множества
А = лД V. И')
1Г V •’ lit
и
В = ..........rn-
При этом мы предположим, что все величины х.,. и х^.
принадлежат к объемлющей их конечной системе
(х,,, х.,„ . . arv ). Если множества А и В пе пере-
секаются, то соотношения
(x.j., .. xv. ) е А',
“ ч
(•Tv.,  •	х,. )еВ'
Ji
несовместны. Следовательно,
Р(Л + Б) =
= Лн v,,. v {(а\., xv.,. .., х,. ) ge А' или
*’ *’	* П '	11	12	tfc
• • •? Б } =
=	*....хч2 > > d } a~
+ P»t, ~>2.v {(^j >	, •••> Z'vj ) G В } — P (Л) P (2?).
I*	• 1	• *	•
Остается проверить аксиому V. Пусть
Ai^A2Z3...^An^...
— убывающая последовательность цилиндрических
множеств, удовлетворяющая условию
lim Р (Дг) = L^>Q.
п
Мы докажем, что пересечение всех множеств Ап
не пусто. Можно без существенного ограничения поста-
новки вопроса предположить, что в определение п
§ 4. бесконечномерные пространства
51
первых цилиндрических множеств Ак входят только п
первых координат последовательности
а\, Х..„, ..., ТЧ|г, . .
т. е. что
~	>>>, vn (Вп).
Положим для краткости
Тогда, очевидно,
Р„(5п)==Р(Л„)>Л>0.
В каждом множестве Вп можно найти замкнутое огра-
ниченное множество Un такое, что
/’п(5п\С7п)<-^.
Из этого неравенства для множества
Ип = nv„ ti<i (Un)
следует неравенство
P(4V„)<f.	(5)
Пусть далее
wn = v±v2... vn.
Из (5) следует, что
Р(ЛП\И7П) < е,
и так как
Лп,
то
Р (И7,,) > Р (Лп) — е > L — е.
Если е достаточно мало, то Р >0п множество
Wn не пусто. Мы выберем теперь в каждом множестве
52
III. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Wn точку со<’1> с координатами Всякая точка
оУ|1+р), р = 0, 1, 2, . . принадлежит множеству У;1,
следовательно,
(<+р), 4?+Л ^р)) = < ,2,GE ип.
Так как множества Un ограничены, то из последова-
тельности {»(">} можно (диагональный метод) выбрать
подпоследовательность
со61*', оУ,,2\	со*"2’,
(«;)
для которой соответствующие координаты стре-
мятся при любом к к определенному пределу xh. Пусть,
наконец, со — точка множества й с координатами
==
х„ —- 0	(v=y=v;;, к = 1, 2,...).
Точка (хр ж2, . . ., xh) как предел последователь-
ности х',"1', . . ., ж'"*’), i = 1, 2, . . принадлежит
множеству Uh. Следовательно, со принадлежит мно-
жеству
(ик)
при любом к, а следовательно, и к пересечению
А = п А-
It
Теорема доказана.
§ 5. Эквивалентные случайные величины,
разные виды сходимости
С этого параграфа мы рассматриваем исключитель-
но борелевские поля вероятностей (П,	Р). Это не
делает, как было уже разъяснено в § 2 главы второй,
никакого существенного ограничения для наших ис-
следований.
§ 5. ЭКВИВАЛЕНТНЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
53
Определение I. Две случайные величины |
и т] называются эквивалентными, если вероятность
соотношения Е- т] равна нулю.
Ясно, что две эквивалентные случайные величины
имеют одну и ту же вероятностную функцию:
Следовательно, функции распределения Fj и Fn
также совпадают. Во многих вопросах теории вероят-
ностей можно заменять какую-либо случайную вели-
чину любой эквивалентной ей величиной.
Пусть теперь
U h,  • .,	• • •	(1)
— последовательность случайных величин. Рассмот-
рим множество А всех элементарных событий со, для
которых последовательность (1) сходится. Если через
zlLp* обозначить множество всех со, для которых
выполняются все неравенства
IL+/C — 5п|	/« = 1, 2, ..., Р,
то непосредственно получаем, что
А = n U П 4р>.	(2)
т и р
Согласно § 3 множества Апринадлежат всегда
б-алгебре множеств $. Соотношение (2) показывает, что
множество А также принадлежит %. Следовательно,
всегда имеет вполне определенный смысл говорить
о вероятности сходимости последовательности случай-
ных величин.
Пусть теперь вероятность Р (Л) множества А
равна единице. Тогда мы утверждаем, что последова-
тельность (1) сходится с вероятностью единица к не-
которой случайной величине которая определяется
однозначно с точностью до эквивалентности.
54
Ш.СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Для построения этой случайной величины пола-
гаем
I = lim in
Я
на А п = 0 вне А. Нам надо доказать, что £ — слу-
чайная величина, т. е. что множество А (х) элементов
®, для которых £ < х, принадлежит алгебре Но
А (х) = A [J П {со: £П+Р <
п р
в случае х 0 и
^4 (>т) = A {J Р] {со: Еп+Р <Р #} А
п р
в противоположном случае, откуда непосредственно
следует наше утверждение.
Определение II. Если вероятность сходи-
мости последовательности &2, . . . к £ равна единице,
то мы говорим, что эта последовательность почти на-
верное сходится к
Однако для теории вероятностей, пожалуй, еще
важнее другой вид сходимости.
Определение III. Последовательность слу-
чайных величин |2, . . . сходится по вероятности
к случайной величине £, если для любого е 0 ве-
роятность
P{lin-i 1>8}->0,
при п -> оо *).
I.	Если последовательность (1) сходится по веро-
ятности одновременно к | и к то | и эквивалентны.
В самом деле,
Это понятие восходит в основном еще к Бернулли, од-
нако в волной общности было введено Е. Е. Слуцким (ср.
S 1 u t s к у [1]).
§ 5. ЭКВИВАЛЕНТНЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Так как последние вероятности при достаточно боль-
шом п сколько угодно малы, то отсюда следует, что
= О,
и, значит,
р V} < 2р Ь - S' | >±-} = о.
Ill
II.	Если последовательность (1) почти наверное
сходится к то опа сходится к £ также и по вероят-
ности.
Пусть А — множество сходимости последователь-
ности (1). Тогда
1 = Р(Л) < lim P{|Up - £| <е, р = 0, 1, 2,
а
< lim P{|gn - g |
<e},
откуда следует сходимость по вероятности.
III.	Для сходимости по вероятности последователь-
ности (1) необходимо и достаточно следующее условие:
для любого е Д> 0 существует такое п, что для каж-
дого р 0 имеет место неравенство
Р {I 5,,+р — Sn I > 8} < е.
Пусть теперь F (х), F\ (х), F2 (х), ... — функции
распределения случайных величин g, |2, . . . Если
последовательность £2, . . . сходится по вероятности
к g, то функция распределения F (х) однозначно опре-
деляется знанием функций Fn (х'р так как имеет место
Теорема. Если последовательность g2, . . .
сходится по вероятности к £, то последователь-
ность соответствующих функций распределения Fn (х)
сходится к функции распределения F (х) случайной
величины g в каждой точке непрерывности F (х).
Доказательство. Тот факт, что F (х)
действительно определяется через {Еп (ж)}, следует
из того, что F (х) как непрерывная слева монотонная
функция однозначно определяется ее значениями
56
111. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
в точках непрерывности J). Для доказательства утвер-
ждения о сходимости мы предположим, что х является
точкой непрерывности F (х). Пусть х' <4 х. Тогда
в случае £ х', £п х необходимо |£п — £| > х — х'.
Следовательно,
lim Р Ж х', х} = О,
п
F(x') = Р{В<ж'}< Р 4- Р{?<ж', 1п>Х} =
= Fn (х) + Р {§ < х', gn > х),
F (#') lim inf Fn (,х) + lim Р {g
п	п
% 1	5
F (х') <4 lim inf Fn (ж).	(3)
Аналогично доказывается, что если х" > ж, то
F (ж") lim sup F„ (x).	(4)
n
Так как Fix') и F (x") при x' f x и x" | x стремятся
к F (ж), то из (3) и (4) следует, что
lim Fn (ж) = F (ж),
п
Теорема доказана.
') В самом деле, она имеет самое большее лишь счетное мно-
жество точек разрыва (ср. Лебег, Интегрирование и отыска-
ние примитивных функций, 1934, стр. 70). Поэтому точки непре-
рывности лежат всюду плотно, и значение функции F (х) в точке
разрыва определяется как предел ее значений в лежащих слева
точках непрерывности.
IV.	МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
§ 1. Абстрактные интегралы Лебега
Пусть % — случайная величина и А — множество
из $ ’). Образуем для положительного X сумму
+<х>
Sx = 2 fcXP[{7A <£<(& + !)X} ГМ]. (1)
к=—оо
Если этот ряд абсолютно сходится при любом X, то
при X -> 0 стремится к определенному пределу, ко-
торый по определению есть интеграл
$B((o)P(da)).	(2)
А
В этой абстрактной форме понятие интеграла было
введено Фреше 2). В частности, оно оказывается не-
обходимым для теории вероятностей. (В следующих
параграфах читатель увидит, что обычное определе-
ние условного математического ожидания величины g
при гипотезе А совпадает с точностью до постоянного
множителя с определением интеграла (2).)
Мы дадим здесь краткий перечень важнейших
свойств интегралов формы (2). Читатель найдет их
доказательство в каждом учебнике по теории функций
действительного переменного, хотя они большей
') Как было упомянуто в § 5 главы третьей, мы рассматри-
ваем в этой и во всех последующих главах только борелевские
поля вероятностей.
г) F г ё с h е I, Sur 1’integrale d’une fonctionnel etendue а и
ensemble abstrait, Bull. Soc. Math. France, t. 43 (1915), стр. 248.
58
IV. МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
частью проведены для случая, когда Р является лебего-
вой мерой множеств в Rn. Перенесение этих доказа-
тельств на общий случай не представляет никакой новой
математической задачи; они остаются большей частью
дословно темп же
I.	Если случайная величина 5 интегрируема иа /1,
то она интегрируема на каждом подмножестве А' из А,
принадлежащем &.
II.	Если £ интегрируема па А и А распадается на
не более чем счетное число пепересекающихся множеств
Ап из то
J|(co)P(d(o) = 3 U«)P(dco).
А	п Ап
III.	Вместе с £ интегрируем всегда и | £ |. При этом
I J I (СО) Р (d<B) | < $|£(co)|P(dco).
А	А
IV.	Если для каждого со выполняются неравенства
О т] (со) £ (со), то вместе с (со) интегрируема
также и величина т] (со) * 2), и при этом
У т](со) Р(dco) (со) Р (Ло).
А	А
V.	Если т <С £ (®) М, причем и т и М — две
постоянные, то
т? (А) < Jg (со) Р (dco) < М- Р (А).
А
VI.	Если £ (со) и т} (со) интегрируемы, а К и L —
две действительные постоянные, то случайная ве-
личина КА, (со) 4- ьт] (со) также интегрируема, и при
*) См. цитированную па стр. 11 книгу А. Н. Колмого-
рова и С. В. Фомина.
2) При этом предполагается, что д (со) — случайная величи-
на, т. е. в терминологии общей теории интегрирования она изме-
рима по отношению к рг.
§ 1. АБСТРАКТНЫЕ ИНТЕГРАЛЫ ЛЕБЕГА
59
ЭТОМ
[2Ц (со) + Lx\ (со)] Р (&о) = К g (со) Р (<7со) +
А	А
+ А р] (со) Р (dco).
д
VII.	Если ряд
3 SI ёп («>) I р (dco)
н А
сходится, то ряд
Ж («) = £(«)
п
сходится в каждой точке множества А с точностью до
некоторого множества В такого, что Р (В) = 0. Если
вне множества А \ В положить g (со) = 0, то
$g(co)P(dco) = 2$L(®)P(dco).
А	п А
VIII.	Если I (со) и т] (со) эквивалентны, Р {g (со)
Ф ’1 (w)} = 0, т0 для каждого множества А из f
(со) Р (dco) = $ ц (со) Р (dco).	(3)
А	А
IX.	Если (3) имеет место для каждого множества
А из то g (со) и г) (со) эквивалентны.
Из вышеупомянутого определения интеграла полу-
чается еще следующее свойство, которого нет в обыч-
ной теории Лебега.
X.	Пусть Pj и Р3 — две вероятностные функции,
определенные на одной и той же с-алгебре , Р ==
= ?!-}- Р3 и g = g (оо) интегрируема на множестве А
относительно Pj и Ра. Тогда
J £ (®) Р (^®) = В (<’>) Р1	+ 5 £ (Ю) Р2
Л	А	А
XI.	Всякая ограниченная случайная величина ин-
тегрируема.
60
IV. МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
§ 2. Абсолютные и условные математические
ожидания
Пусть g = g (и) — интегрируемая случайная ве-
личина. Интеграл
Mg = \ g (со) Р (с/со)
называют в теории вероятностей математическим
ожиданием величины g.
Из свойств III, IV, V, VI, VII, VIII, IX следует,
что
I.	I Mg|< М| £|;
II.	Mi] Mg, если 0 т) (со) g (со);
III.	inf g (со) Mg sup g (со);
IV.	М (7sTg + Lii) = XMg + LMiy,
V.	M(2gn) =SMgn , если ряд 2 M | gn | сходится;
n	n	n
VI.	Если g и 11 эквивалентны, то
Mg = Мт];
VII.	Всякая ограниченная случайная величина
имеет математическое ожидание.
По определению интеграла
+°°
Mg = lim 2 AAP{/A<g(co)<(* + 1)М ==
>->0 /Г=-ОО
+ °°
= lim 2 /сМ^Н(М-1)М-Л(^)1-
}• =—оо
Вторая строка есть не что иное, как обычное опреде-
ление интеграла Стилтьеса \ xF^(dx). Поэтому
Mg = \ xf\ (dx).	(1)
§ 2. АБСОЛЮТНЫЕ И УСЛОВНЫЕ ОЖИДАНИЯ
61
Формула (1) может, следовательно, также служить
определением математического ожидания М£.
Пусть теперь g = £ (со) — функция элементарного
события со, а ц — случайная величина, определенная
как однозначная функция от г] = 1] (£). Тогда
Р {1А -'С Л <С + 1)М = Р 6 {х : к ’С Л (я)
где Р>.— вероятностная функция Отсюда следует
по определению интеграла, что
^](g(<B))P(dco)= ix](x)P^(dx)
11	X
п, следовательно,
Мт] — т| (х) Р; (dx),
х
(2)
|Где X означает множество всех возможных значений
В частности, когда |	| (со) является случайной
величиной, то
Мт1 = $ Л (ё (®)) р (da>) = § т] (я) Рг, (dx) =
о
н
= г] (х)	(dx).
— оо
(3)
Последний интеграл в формуле (3) является в случае
непрерывности функции ц = ц (х) обыкновенным ин-
тегралом Стилтьеса. Однако отметим при этом, что
интеграл
ОС
ц (х) (dx)
—со
может существовать также и в случае отсутствия мате-
магического ожидания Мц. Для существования Мц
62
IV. МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
необходима и достаточна конечность интеграла 1)
J | т] (ж) | F? (dx).
— со
Если | = (|х, £2, . .	£п) — случайная точка про-
странства Rn, то вследствие (2)
Мр = ... т|(.гд, х2,..., xn)PiltZ1.* (d^, dx^~ (4>
- вп
Мы уже видели, что если Р (В)	0, то условная
вероятность Р (- [2?) обладает всеми свойствами веро-
ятностной функции (при закрепленном множестве В).
Соответствующий интеграл
ма|В)= ^(о))Р(йи|5)	(5)
п
мы называем условным математическим ожиданием
случайной величины g = t, (со) относительно события
В. Так как
Р(В)В) = О,
j g (со) Р (dco | В) = О,
в
то из (5) следует равенство
М(?|В) = Jg(co)P(dw|B) =
и
= J g (со) Р (dco I В) + (со) Р (dco I В) =
в	в
= j4(co)P(dco|B).
В
Вспомнив, что в случае А с;. В и Р (В) О
Р (4 | В) =
Р (АВ) __ Р(Л)
Р(В) ~Р(В)’
*) Ср. V. G 1 i v е n к о, Sur les valeurs probables de fonc-
tions, Rend. Accad. Lincei, t. 8 (1928), стр. 480—483.
§ 3. НЕРАВЕНСТВО ЧЕБЫШЕВА	63
мы получаем
м£|В) = —$Цсо)Р(<йо),	(6)
Р(В)-М(ЦВ) = h(co)P(dco)-	(7)
В
Из (6) и из равенства
g (со) Р (dco) = $ fe (®) Р (dco) + Ь И Р (а’со)
А4-В	А	В
следует, наконец, что
+ . (8)
г V* Т )
В частности, если О Ц Р (А) Ц 1, то имеет место фор-
Mg = P(A)M(g | А) + Р(/Т)М(£ И).	(9)
§ 3. Неравенство Чебышева
Пусть f ~ f (х) — неотрицательная функция дей-
ствительного аргумента ж, которая при х ?,> а остается
не меньше Ь 0. Тогда для любой случайной величины
I = £ (со)
Р (g (со) > а} <	(1)
(предполагается, что математическое ожидание М/ (|)
существует).
В самом деле,
М/а)= J/(5(co))P(dco)>	$ /(Цсо))Р(йсо)>
> b? {t, (со) > а},
откуда непосредственно следует (1).
Например, для любого положительного с
Р^(со)>а}<^.	(2)
64
IV. МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
Пусть теперь / = / (х) — неотрицательная, четная
и при положительном х неубывающая функция. Тогда
для каждой случайной величины £ = g (to) и при лю-
бом выборе постоянной а 4> 0 имеет место неравенство
•	(3)
В частности,
(4)
/ \uf
Особо важным является случай / (х) — х\ В этом
случае из (3) получаем неравенство Чебышева
P{|U4)|>«X^.	(5)
Из (4) находим также, что
Р	> а} < —= 2|. .	(6)
Величину
Dg = М (£ - М£)2
называют дисперсией случайной величины Легко
подсчитать, что
Dg = Mg2 - (М^)2.
Если функция / (а) ограничена,
i/U) К К,
то Р {| | (со) | > а} можно оценить также и снизу.
В самом деле,
М/©= $/(£(со))Р(с?со) =
J / (g (со)) Р (dco) + J /(§(®))W<
{ш: Що1)| <а)	!<>'. |Ды)|>а)
< f (а) Р {| & (<о) | < а) + К? {| g (со) > а]
</(а) 4- K-P{RH| >а}
§ 4. НЕКОТОРЫЕ ПРИЗНАКИ СХОДИМОСТИ
65
и, следовательно,
P{|g((o)|>a}>^^/(aL	(7)
Если вместо ограниченности функции / (х) потре-
бовать ограниченности самой случайной величины
6 = И®),
I И®) К м,
то /	(to))^/ (М), и вместо (7) мы получаем формулу
P(|s(®)|>«}>^^=^.	(8)
В случае / (ж) = ж2 из (8) находим, что
ХА * 2 _ п £
Р {| g ИI > а} >	.	(9)
§ <4. Некоторые признаки сходимости
Пусть
U U •.1п, ...	(1)
— последовательность случайных величии, и / =
= / (х) — неотрицательная четная и при положитель-
ном х монотонно возрастающая функция г). Тогда спра-
ведливы следующие утверждения.
I. Для сходимости последовательности (1) по веро-
ятности достаточно следующее условие: для каждого
е > 0 существует такое п, что для каждого р Д> О
справедливо неравенство
М/ Ц-п+р -	< е.	(2)
И. Для сходимости по вероятности последователь-
ности (1) к случайной величине | достаточно условие
lim M/(?„-g) = 0.	(3)
n—*-J-oo
') Следовательно, / (x) > О, если х =£ О,
66
IV. МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
III. Если / (х) ограничена, непрерывна и / (0) — 0,
то условия I и II являются также и необходимыми.
IV. Если / (х) непрерывна, / (0) = 0 и все случайные
величины
I, U U ...
ограничены в своей совокупности, то условия 1 и II
являются также и необходимыми.
Из II и IV следует, в частности,
V. Для сходимости по вероятности последователь-
ности (1) к | достаточным является условие
lim М (g„ — а)3 == 0.	(4)
Если при этом |,	|2, . . . ограничены в своей
совокупности, то это условие является и необходимым.
Доказательство утверждений I—IV см. в работах
Slutsky [llnFrechet [1]. Впрочем, эти теоремы
следуют почти непосредственно из формул (3) и (8)
предшествующего параграфа.
§ 5. Дифференцирование и интегрирование
математических ожиданий по параметру
Пусть каждому элементарному событию со постав-
лена в соответствие определенная вещественная функ-
ция |( (со) действительного переменного t.
Определение. Мы говорим, что | = {|( (со),
— оо<^4<^ оо} есть случайная функция, если при
каждом фиксированном t величина |( (со) является
случайной величиной.
Возникает тогда вопрос, при каких условиях знак
математического ожидания является переместительным
со знаками интегрирования и дифференцирования.
Две следующие теоремы могут, не исчерпывая всей
проблемы, дать во многих простых случаях удовлет-
ворительный ответ на этот вопрос.
Теорема I. Если для любого t математическое
ожидание №,t (со) конечно, |( (со) дифференцируема
<£ (ю)
(по t для всех со) и производная |г (со) = —— по аб-
« а. ДИФФЕРЕНЦИРОВАНИЕ II ИНТЕГРИРОВАНИЕ 67
солюжно.чу значению всегда меньше некоторой опре-
деленной постоянной, то
= Mg: и.
Теорема II. Если g, (со) по абсолютному зна-
чению всегда остается меньше некоторой постоянно 1
К и интегрируема по t в смысле Римана, то
Mg, (a) dt = мГЬ( (и) dt\,
t'	L «>	_•
a	<i
если только Mg, (co) интегрируемо в смысле Римана.
Д оказательство теоремы I. Прежде
всего заметим, что g;' (со) как предел случайных величин
pppmipp, h =!, д
н ’	’2
и ’
является случайной величиной. Так как gj (со) огра-
ничена, то существует математическое ожидание
Mg; (со) (свойство VII математических ожиданий из
§ 2). Выберем теперь постоянное t и обозначим через
А событие
(со) - g (со) ,
__2-------------------g(R
Д> 8
Вероятность Р (/1) стремится к нулю при h -г- 0 для
любого е > 0. Так как всегда
|^м, |g;(®)K'M
и, кроме того, в случае со GE А
^Ч/,. (с0) —g/(co)
— g,- (со) гД е,
h
63
IV. МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
ТО
j^^-^-M^Co)
о |^+h(“)-M“)	E',.J
< м |----------------it (со) | =
= Р(Л)м{^...(-ю2г5>(и). _g-f(t0)| л} +
+ р(J)м (|	_g;(ю) | J}<
^2Л/-Р(Л) + е.
Поскольку е > 0 можно выбрать произвольно,
а вероятность Р (Л) сколь угодно мала при достаточно
малом h, то
d ... . .	,. ^t+h (®) — мч (®)	.
— М£( (со) = lim-----------г-------= Mg( (со),
al	h-o>	"
что и требовалось доказать.
Доказательство теоремы II. Пусть
п
= h = ~-
k=l
b
Так как Sn сходится к S — § (со) dt, то можно для
любого 8 > 0 выбрать такое N, что для всех n > N
Р {| Sn - S I > 8} < 8.
Если положить А = {|5П — S |>е} и
З’п = 4 S М£(+/£Л(со) = М5ш
/г=1
ТО
I s’n — MS I = I M (Sn - S) I < M |Sn - S I =
= P (Л) M {I S„ - S 11Л } + P (Л) M {I Sn - S I IЛ} <
<2SP (Л) + 8 < (2K + 1) 8.
§ 5. ДИФФЕРЕНЦИРОВАНИЕ И ИНТЕГРИРОВАНИЕ
69
Следовательно, S,, стремится к Мб1, откуда следует
равенство
ь
( (со) di = lim S(l = MS.
a	“
Теорема II может быть без всяких новых затрудне-
ний обобщена для двойных и тройных интегралов.
Мы дадим применение этой теоремы для одной задачи
геометрической теории вероятностей.
Пусть G = G (®) — квадрируемая область на пло-
скости, вид которой зависит от случая, т. е. пусть каж-
дому элементарному событию <о ЕЕ И поставлена в со-
ответствие определенная квадрируемая область G (<в)
на плоскости. Через SG обозначим площадь области G,
а через Р (х, у) — вероятность того, что точка (ж, у)
принадлежит области G. Тогда
MSG — Р (#, У) dx dy.
Для доказательства достаточно заметить, что
SG = /g (х, у) dx dy,
Р (ж, у) = М /g (х, у),
где /с (х, у) — характеристическая функция области G
[fc {х, у) = 1 на G и /с (х, у) — 0 вне GI х).
’) Ср. A. Kolmogoroff und М. Leontowitsth,
Zur Berechnuiis; der mittleren Brownschen Flache, Physik. Zeitschr.
d. Sowjetunion, t. 4 (1933).
V. УСЛОВНЫЕ ВЕРОЯТНОСТИ
II МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
§ 1. Условные вероятности
В главе первой, § 6 мы определили условную вероят-
ность Р (В | 31) события В относительно испытания "а.
При этом там было предположено, что 3S допускает
лишь конечное число различных возможных исходов..
Можно, однако, определить Р (В | Ш) также и для
случая испытания 31 с бесконечным множеством воз-
можных исходов, т. е. для разложения множества на
бесконечное число пепорзсекающихся подмножеств.
В частности, такое разложение получается, если рас-
сматривать произвольную функцию |	| (со) от со
и определить в качестве элементов разложения 51 —
= Sis множества {со: £ (®) = const}.
Условная вероятность Р (В | 5(^) будет обозна-
чаться также через Р(В| £). Любое разложение
множества Я можно определить как разложение ЗЬ,
которое «индуцируется» функцией 5 = 5(®) от (0>
если каждому ® поставлено в соответствие в качестве
£ (со) то множество из разложения 31, которое содер-
жит со.
Две функции £ и ц от со определяют тогда и только
тогда одно и то же разложение (31^ = 31Д множества
Й, если существует такое взаимно однозначное соот-
ветствие у — f (ж) между пх значениями, при которых
тождественно г) (со) = / (^ (со)). Читатель может легко
показать, что определяемые ниже случайные величины
Р (В | £) и Р {В | т|) в этом случае совпадают; следова-
тельно, в основном они определяются самим разложе-
нием 31= = Э(г,.
§ 1. УСЛОВНЫЕ ВЕРОЯТНОСТИ
71
Для определения Р (В | 1) можно применить сле-
дующее равенство:
P(Z? Цел) = м[Р(В Це 4].	(1)
Легко показать, что в случае конечности множества
X возможных значений 1 равенство (1) выполняется
при любом выборе множества А (причем Р (В Ц)
определяется согласно § 6 главы первой). В общем
случае (для которого случайная величина Р (В | Е)
еще не определена) мы докажем, что всегда существует
одна и, с точностью до эквивалентных величин, только
одна случайная величина Р (В | Е), определяемая как
(борелевская) функция от 1 и удовлетворяющая при
каждом А из для которого (Л)	0, уравнению
(1). Определенную таким образом (с точностью до экви-
валентности) функцию Р (В |1) от 1 мы называем
условной вероятностью В относительно 1 (или при
данном 1). Значение Р (В ! 1) при 1 = х мы будем обоз-
начать Р (В | 1 = х).
Доказательство существования
и единственности Р (В Ц). Умножив (1) на
Р {1 е 4} —	(А), получаем слева
р {ё е 4} Р(5 ц е 4) = р св п U е 4}) =
= Р(О g'1 (Я)),
а справа
Р{1е 4}М[Р(В|1)|1еЛ] =
=	Р(5Ц)Р(<?®) = ^Р(В]1 = Х)Р;(<1Х).
(M'.EeAV	А
Следовательно,
Р(5ЛГМ))= Jp(5|1 = ^)P5(^)-	(2)
А
Обратно, из (2) следует формула (1).
В случае Р g (4) = 0, при котором (1) не имеет
смысла, равенство (2) тривиально. Требование (2),
следовательно, эквивалентно (1).
72 V. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
По свойству IX интеграла (глава четвертая, § 1)
случайные величины 1] = т) (со) с точностью до экви-
валентности однозначно определяются по значениям
интегралов
р (со) Р (dee), fief.
в
Так как Р (В | | — х) — случайная величина, опре-
деленная па поле вероятностей (X, Pg), то отсюда
следует, что формула (2) однозначно (с точностью до
эквивалентности) определяет эту величину.
Нале остается доказать существование Р (В | £). Для
этой цели применим следующую теорему Радона —
1 Никодима !).
Теорема. Пусть ,7 — борелевская алгебра мно-
жеств в Y, Р — определенная на (У, (У) неотрицатель-
ная счетно-аддитивная функция множеств, а Р —
вторая определенная также на (Y, И), счетно-аддитив-
ная функция множеств, причем из Р (Л) — 0 следует
равенство Р (Л) = 0. Тогда существует измеримая
[по отношению к И) функция ср = ср (у) (в теоретико-
вероятностной терминологии — случайная величина),
удовлетворяющая для каждого множества А из В
равенству
Р(Л) = ср (у) P(dy).
А
Для применения этой теоремы к нашему случаю
остается доказать: 1° что Р (А) = Р (В ("] £~’ (Л))
счетно-аддитивна на (X, ^), 2° что из Р (Л)	0
следует неравенство Р5(Л)^>0.
Утверждение 2° следует из того, что
0 < Р (В П g-1 (Л)) с Р а-1 (Л)) = Р g (А).
*) О. N i ко d у m, Stir uno generalisation des integrates de
M. J. Radon, Fund. Math., t. 15 (1930), 168 (theorems III). Cm.
также цит. выше книгу A. H. Колмогорова и С. В. Фо-
мина.
§ 1. УСЛОВНЫЕ ВЕРОЯТНОСТИ
73
Для доказательства утверждения 1° положим
А = S Ап.
п
Тогда
II
и
5ПГН) = 2вАГ(4).
и
Так как Р счетпо-аддитивна, то
р^пги» = 2р(^пг(Л)),
п
что и требовалось доказать.
Из равенства (1) следует, в частности (если положить
А = X), важная формула:
Р(£?) = М [Р(5 | £)].	(3)
Теперь мы перейдем к доказательству двух следу-
ющих фундаментальных свойств условных вероятно-
стей.
Теорема I. Почти наверное
О < Р (В | g) < 1.	(4)
Теорема II. Если события В, Bt,... принадле-
жат f и
в = ^вп,
то почти наверное

(5)
Эти два свойства Р(5 | £,) соответствуют двум ха-
рактеристическим свойствам вероятностной функции
V. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
Р (В): всегда 0 Р (В)	1 и Р (В) счетно-аддитивна.
Они позволяют перенести па условные вероятности
Р (• | £) многие дальнейшие существенные свойства
абсолютных вероятностей Р(«). Однако при атом не
следует забывать, что Р (В | t) при фиксированном
множестве В является величиной, определенной лишь
с точностью до эквивалентности.
Доказательство теоремы!. Если мы
предположим — в противоположность доказываемому
утверждению,— что на множестве М с Вг (М) О
выполняется неравенство Р (В ] |) > 1 -Д е, то по
формуле (1)
Р (В Не М) = М [Р (В Н) Ц е ЛЛ > 1 + е,
что, очевидно, невозможно. Так же доказывается, что
почти наверное Р (В | &) > 0.
Доказательство теоремы II. Из схо-
димости ряда
3M|P(B„|g)| = 3M[P(Bn^)] = SP(Bn)= Р(В)
следует по свойству V математических ожиданий (гл.
IV, § 2), что ряд
2р (5ПЦ)
сходится почти наверное. Так как ряд
Зм1Р(В„|&ше=Л] = SP(Bn|ge А) = P(B|g е Л)
сходится при каждом выборе множества А такого, что
Pg(H)^>0, то из упомянутого свойства V математи-
ческих ожиданий следует, что для каждого множества
А указанного вида имеет место соотношение
M[2P(BJS)^e^l = 2M(P(Bn|c)|ge Л] =
= Р(В|£еЛ) = М[Р(В|£)|£еЯ],
из которого непосредственно следует равенство (5).
S 2. ОБЪЯСНЕНИИ ОДНОГО ПАРАДОКСА БОРЕЛЯ 7,5
13 заключение этого параграфа укажем на два част-
ных случая. Пусть g(<a) = С — постоянная, тогда
почти наверное Р (А | С) = Р (Л). Если положить,
напротив, £ (со) = со, то получим сразу, что Р (Л | со)
почти наверное равна единице на Л и нулю на Л. Сле-
довательно, Р(Л | со) является характеристической
функцией множества Л.
§ 2. Объяснение одного пава <окса Бореля
Пусть за основное множество Q выбрано множество
всех точек сферической поверхности. За мы примем
совокупность всех борелевских множеств сферических
поверхностей. Наконец, пусть Р(Л) пропорциональна
мере множества Л. Выберем теперь две диаметрально
противоположные точки в качество полюсов. Тогда
каждый меридианный круг однозначно определяется
соответствующей географической долготой ф (О ф ф
<фл). Так как ф изменяется только от 0 до л, т. е. мы
рассматриваем полные меридианные круги (а не полу-
окружности), то и широта 0 должна изменяться от —л
до л ^а не от —у до yj. Борелем поставлена следующая
задача: определить «условное распределение вероят-
ностей» для широты 0, —л 0 л, при заданной дол-
готе ф. Легко подсчитать, что
Р(91<0<02|Ф) =
о.
и, значит, распределение вероятностей для 0 при за-
данном ф неравномерно.
Еслп же теперь предположить, что условное рас-
пределение вероятностей для 0 «при гипотезе, что и
лежит на меридианном круге», должно быть равномер-
ным, то получается противоречие.
Это обстоятельство показывает, что понятие услов-
ной вероятности относительно изолированно заданной
гипотезы, вероятность которой равна пулю, является
недопустимым: только тогда мы получим на меридиан-
76
V. УСЛОВНЫЕ ВЕРОЯТНОСТИ II ОЖИДАНИЯ
ном круге распределение вероятностей для 0, если
будем рассматривать этот меридианный круг в качестве
элемента разложения всей сферической поверхности
па меридианные круги с заданными полюсами.
§ 3. Условные вероятности
относительно случайной величины
Если £ = Е, (со) — случайная величина, то услов-
ную вероятность Р (5 | |) можно определить также
элементарным путём. В случае Р (7?) = 0 полагаем
Р (В | |) = 0. Пусть теперь Р (В)	0. Тогда формуле
(2) из § 1 можно придать следующий вид:
Р(5)Р(£еП|Я) = Р(йЦ = х)/>и^)	(1)
А
ИЛИ
Р(Я) PZ(A I В) -
А
Отсюда получается непосредственно, что
Р (В) Р\(а\В) = Р (В 11 = х) Frc (dx).	(2)
— ос
Согласно одной теореме Лебега *) из (2) следует,
что
F- (х -I- h I В) — F, (х I В)
Р(Д|1 = А-Г(В)-Ип; 4^+м-^А) '	®
с точностью до множества Н точек х такого, что
Pt (77) =0. Если рассматривать теперь формулу (3)
как определение Р (В | g = х), причем в случае несу-
ществования предела в правой части (3) положить
Р (В | £ = ж) = 0, то эта новая величина удовлетворяет
всем требованиям § 1.
*) Лебег, Интегрирование и отыскание примитивных
функций, 1934, стр. 245—246.
§ 3. УСЛОВНЫЕ ВЕРОЯТНОСТИ
77
Если, кроме того, существуют плотности вероят-
ностей (я) и (х | В) и если Д (х)	0, то формула
(3) превращается в следующую:
(х | В)
Р(В= х) = Р(В)—^-^-у-.	(4)
Из формулы (3) следует также, что существование
предела (3) и плотности вероятности (х) имеет своим
следствием существование f$(x | В). При этом
P(B)f^x |B)</B(z).	(5)
Если Р (В)	0, то из (4) следует равенство:
k {X | В) =---.	(6)
В случае Д (х) = 0, согласно (5), / (х | В) = 0 и,
следовательно, (6) также верно. Если при этом распре-
деление абсолютно непрерывно, то
Р(В) = АМР(Я|£)] = ^P(B|B)P(dco) =
п
= § Р (В = х)Fi(dx) = Р (В |В = х) (х) dx. (7)
—-оо	—-оо
Из (6) и (7) следует, что
J Р(В|5 = х)/£(х)&
—ОО
Это равенство дает нам так называемую теорему
Байеса для абсолютно непрерывных распределений.
Предположения, при которых эта теорема справедлива,
следующие: Р (В | £ = х) измерима в смысле Бореля
и определена по формуле (3), распределение £ абсо-
лютно непрерывно (в точке х существует плотность
вероятности /Е (я)).
78 v. УСЛОВНЫЕ ВЕРОЯТНОСТИ и изкьдлкил
§ 4. Условные математические ожндаппя
Пусть £ = g (ю) — произвольная функция от со,
а 1] = 1] (со) — случайная величина. Случайная вели-
чина М (ц'|), пред ста ви .мая как функция от g и удовлет-
воряющая для любого множества А из A s с Р s (Л) у> О
условию
М (п I I ~ Л) = М [М (ц I £) I g = А\ (1)
называется (в случае, если она существует) условным
м'ипе.'И'.тичесним ожиданием случайной се.шчины ц
уи известном значении g.
Умножив (1) на Р? (.4), получаем
\ 4(«)Р(Ую)= \ М (Ж |Е) Ржи). (2)
ЕЛ
Обратно, из (2) следует формула (1). В служа
Pt (Л) — 0, при котором (1) нс имеет смысла, (2) триви-
ально. Так же как и в случае условных вероятностей
(ср. § 1), доказывается, что М (ц | 5) определяется через
(2) однозначно (с точностью до эквивалентности).
Значение М (ц | £) при g (со) = х мы обозначаем
через М (ц | g = т). Заметим еще, что М (ц | g), так
же как и Р (В | g), зависит только от разложения
и может быть обозначено через М (г| | 5Ц).
При определении М (ц | £) уже предположено суще-
ствование Мт] (если положить А = X, тогда М (ц | g 'E
Eg А) = Мг|). Мы теперь докажем, что существования
Мц п достаточно для существования М (ц | g). Для
этого достаточно показать, что по теореме Радона —
Никодима (ср. § 1) функция множеств
2(Л)= J
<iC=A]
счетно-аддитивна на f 5 и абсолютно непрерывна отно-
сительно Р j (4). Первое обстоятельство доказывается
дословно так же, как и в случае условных вероятно-
стей (ср. § 1). Второе требование — абсолютной непре-
рывности— заключается в том, что пз Q (А) == О
5 4. УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
79
должно следовать неравенство Р5(Л)^>0. Если мы
предположим, что Р 5 (Л) = Р (t Е .4) О, то ясно,
что
(?(Л)=	Л(<о)Р(</<о) = 0.
(E.SAI
Таким образом, наше второе требование также вы-
полнено.
Если в равенстве (1) положить А = X, то полу-
чается формула
Мр — М [М (р | £)].	(3)
Далее доказывается, что почти наверное
М [ср + Ы | ?] = а М (р | g) + b М (£ | |),	(4)
где а и Ъ — две произвольные постоянные, /Л | р | -Д оо,
М |£| < сю. (Проведение доказательств предоставляет-
ся читателю.)
Если | и I — две функции элементарного события <>),
то пара I) может также рассматриваться как функ-
ция со. Имеет место следующее важное равенство:
М 1М(р | О| £] = М(р | I).	(5)
В самом деле, М (р | t) определяется через соот-
ношение
М(р ||(=Л) = М[М(р II) |£еЛ1.
Следовательно, нужно доказать, что величина
М [М (р | £, О | £] удовлетворяет равенству
м (р I g е Л) = М {М [М (р Ц, 01 g] I g ЕЕ Л}. (6)
Из определения М (р | Е, I) следует, что
М(р |^ел)= M[M(p IS, I) |^€ЕЛ].	(7)
Из определения М [М (р | £, £) | |] следует далее, что
М[М(р II, □	=
= М {М[М(р |£Л)	(8)
80
V. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
Равенство (6) является следствием равенств (7) и
(8), чем наше утверждение доказано.
Если положить р (со) равным единице на В и нулю
вне В, то
М (р |£) = Р(5 | g),
м (л | L □ = р (В | L
В этоле случае из формулы (5) получается формула
м (Р (В | L □ | £] = Р (В I £).	(9)
Условные математические ожидания можно опре-
делить также и непосредственно через соответствую-
щие условные вероятности.
Для этой цели рассматриваются следующие суммы:
оо	оо
5х(В)= 2 /ЛР[П<П<(А’ + 1)МЫ= S
(10)
Если Mi] существует, то ряд (10) сходится почти
наверное. В самом деле, по формуле (3), § 1
М | Bh | = /А Р {/А < 1] < (/г + 1) А},
а сходимость ряда
2 |/А|Р{/А<1]<(/с+1)л}= f М|ЛД
4' — — оо	li = — 00
является необходимым условием существования Mr)
(ср. главу четвертую, § 1). Из этой сходимости следует,
что ряд (10) сходится почти наверное (ср. главу четвер-
тую, § 2, V). Далее доказываем, так же как и в теории
интеграла Лебега, что из сходимости (10) при каком-
либо А следует сходимость при всяком А и что в случае
сходимости ряда (10) S>. (%) стремится к определенному
пределу при А —> О1). Можно тогда в порядке определе-
*) При этом мы рассматриваем только счетную последова-
тельность значений К: в этом случае все вероятности Р {/А < р <
<(А; + 1) А | g) определены почти наверное для всех этих значений.
4 4. УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
81
НИЯ положить
М(Т)|В) = lim Sx(£).	(11)
Х-ю
Для того чтобы доказать, что определенное соотно-
шением (11) условное ожидание М (q | g) удовлетворяет
поставленным прежде требованиям, нужно только убе-
диться в том, что определенная, согласно (И), величи-
на М (г] | |) удовлетворяет равенству (1). Это доказатель-
ство протекает следующим образом:
М[М(п|Ше4] = limM[Sx(£)|£eA] =
X—*0
оо
•= lim 2	< Л <(*+1)I £ 6^1 = м (Л I	1-
Х~*о /£=—сс
Перестановка знаков математического ожидания
и предела допустима при этой выкладке, так как S\ (£)
сходится равномерно к М (г| | J) при % —» 0 (простое
следствие свойства у математических ожиданий
из § 2). Перестановка знаков математического ожида-
ния и суммирования также оправдана, так как ряд
2 M{|*MP(^<r]<(/c + l)X|g)|gGU} =
= 2 |^|P{*x<r]<(fc + l)X|g е А}
к»*— оо
сходящийся (непосредственное применение свойства V
математических ожиданий).
Вместо (11) можно написать
М(т]|В) = n(®)P(da>|g).	(12)
Не следует, однако, при этом забывать, что (12) не
является интегралом в смысле § 1 главы четвертой, так
что (12) — только символическое обозначение.
Если В — случайная величина, то функцию от £
и у
F^y I £) = Р (Л < У I £)
82
V. УСЛОВНЫЕ ВЕРОЯТНОСТИ И ОЖИДАНИЯ
мы называем условной функцией распределения л при
известном £. Функция (у | В) определена почти на-
верное при всяком у. Если i/j у2, то почти наверное
Л, (У1 | В)< Л (у2 | I).
Из (11) и (10) следует, что почти наверное
M(r]|5) = lim 2 Н IF„((A + l)l|g) - Л,(Л1|В)].
Х-*0 оо
(13)
Это обстоятельство можно символически выразить фор-
мулой
ео
М (л ID = yF* (dy I В).	(14)
— 00
С помощью нового определения математического
ожидания (10), (И) легко доказать, что для действи-
тельной функции / (В) с М I / (В) л |< оо справедливо
(почти наверное) равенство
м [/ (В) ni и =/шм [т]| а
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
§ 1. Независимость
Определение I. Две функции £ = £(«) и
г] = т] (со) называются независимыми, если для любых двух
множеств А из^ЕиВиз^л справедливо следующее
равенство:
р (В е А, Ц е В) = р (| е А) р (ц е £).	(1)
Если множества X и У состоят лишь из конечного
числа элементов:
X = хг + ... + хп,
Y — У1 + ••• + Ут,
то наше определение независимости £ и ц совпадает,
согласно § 5 главы первой, с определением независимо-
сти разложений
й = 2	: g (ю) = хк},
к=1
т
й = 2 {« : Т] (®) = Ук}.
к=1
Для независимости и т] необходимо и достаточно
следующее условие: при любом выборе множества А
из $ j почти наверное выполнено равенство
Р(£е А И) = P(U А).	(2)
В самом деле, в случае, когда (В) = 0, оба ра-
венств (1) и (2) удовлетворяются. Следовательно, до-
84
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
статочно доказать их эквивалентность в случае Р^(й)
0. В этом случае (1) эквивалентно соотношению
р (В е а | п е в) = р а е л) (3)
и, значит, соотношению
м[Р(Нел |т))|лев] = Р(ВеЛ). (4)
С другой стороны, видно, что из (2) следует равен-
ство (4). Обратно, так как P(gE Л | ц) однозначно
определяется из (4) с точностью до множеств вероят-
ности нуль, то из (4) почти наверное следует равен-
ство (2).
Определение II. Пусть S — множество
функций В* (<в), где v ЕЕ N. Эти функции называются
независимыми в совокупности, если выполняется сле-
дующее условие: пусть 2'иЕ" — два непересекающих-
ся подмножества из S, Л' (соответственно Л") —
множество из определяемое соотношением меж-
ду |v (со) из S' (соответственно S"); тогда
Р(Л'ПЛ") = Р(Л') Р(Л").
Совокупность всех gv (со) из S' (соответственно из
S"), можно рассматривать как координаты некоторой
функции |' (соответственно |")- Определение II требует
лишь независимости |' и |" в смысле определения I
при каждом выборе непересекающихся множеств S'
и 2''.
Если |lt |2, . . . , |п независимы, то всегда
Р (Bi GE Л15 g2 £= А2, . . . , Вп =
= Р (Bi е Лх) р (В2 е л2). . . р (Вп е л„), (5)
если только множества Л^ принадлежат соответствую-
щим^-^ (доказательство посредством индукции). Этого
равенства, одпако, в общем случае никоим образом не-
достаточно для независимости |lt |2, ..., In-
Равенство (5) без затруднений обобщается на слу-
чай счетного произведения.
§ 2. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
85
Из независимости случайных величин в каждой
конечной группе	, . . . ,	), вообще говоря,
еще не следует, что все gv независимы.
Наконец, легко заметить, что независимость
функций |v, собственно говоря, является свойством
соответствующих разложений 91^. Если, далее, —
однозначные функции соответствующих £v, то из
независимости следует независимость
§ 2. Независимые случайные величины
Если £lf £2,. • • » In — независимые случайные
величины, то из равенства (2) предыдущего параграфа
следует, в частности, формула
ъ..Еп (*i, z2,.. ., xn) = (хх) F., (хг) ...F^n (хп). (1)
Теорема 1. Если алгебра множеств
состоит только из борелевских множеств пространства
Rn, то условие (1) является также достаточным для
независимости величин §2, . . . , £п.
Доказательство. Пусть Г = (^„ h„ ...,
и	— две непересекающиеся
подсистемы величин gj, |2, . . . , |п. На основании
формулы (1) следует доказать, что для любых двух бо
релевских множеств А' и А" соответственно из 7?* и
Rm выполняется равенство
Р(5'еЛ', г ел") = Р(5'еЛ')Р(ГеА').	(2)
Для множеств вида
А' = {(ач„..xijc): xit <«!,..., xt]! < аД,
Л" = {(xjt,..., XjJ : z31 < blt.. ., Xjm < bA
это следует непосредственно из (1).
Далее доказывается, что это свойство сохраняется
для сумм и разностей множеств указанного вида, от-
куда равенство (2) следует и для всех борелевских мно-
жеств.
86
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Теорема II. Пусть £ = {|v} — произвольная
(вообще бесконечная) совокупность случайных величин.
Если алгебра множеств совпадает с з-алгеброй
<з (А^ есть множество всех v) х), то совокупность
равенств
(xi,...,хп) = Ft- (х±) ...F„ (хп) (3)
1 п	1	п
необходима и достаточна для независимости величин
U V «А .
Доказательство. Необходимость этого ус-
ловия следует непосредственно из формулы (1). Мы
теперь докажем, что оно также и достаточно.
Пусть Ж'и Ж" — два непересекающихся подмноже-
ства из множества А1' всех индексов v, А' (соответствен-
но А") — множество из о(f^), определенное соотно-
шением между с индексами v из А^' (соответственно
из Ж"). Следует доказать, что тогда выполнено равен-
ство
Р(Л' П А") = Р(Л')Р(Л").	(4)
Действительно, если А' и А" — цилиндрические
множества, то мы имеем дело с соотношениями между
конечным числом величин gv, и равенство (4) представ-
ляет в этом случае простое следствие предшествующих
результатов (формула (2)). А так как соотношение (4)
сохраняется для сумм и разностей множеств А’ (соот-
ветственно А"), то (4) доказано для всех множеств из
3 (^).
Пусть теперь для каждого v из некоторого множест-
ва AF задана a priori функция распределения F., = Fv (х).
Теорема III. Существует поле вероятностей
(й, &, Р) и определенные на нем случайные величины £v,
v Е= Ж, которые независимы в совокупности, а каждая
из величин имеет в качестве функции распределения
a priori данную функцию Fv (х).
Доказательство. Примем за основное мно-
жество й пространство R^ (множество всех систем
(о = {я\} действительных чисел xv, v •#), а в каче-
J) См. § 4 гл. 111.
6 2. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
87
стве & возьмем з-алгебру *) б	Положим далее
gv (со) — xv и определим функцию распределения F^..., „
равенством
F^.-^n (^1» • • •> Хп) = F-Ч Ы • •  F->n М-
Тогда, согласно основной теореме (§ 4, гл. III), на (£2,
однозначно определена вероятностная функция Р,
причем Р {gv < х} = Fv (х) для любого v е
Заметим еще, что, как было видно выше, из неза-
висимости всякой конечной группы величин (равен-
ство (3)) следует независимость всех gv на з(^-4"’)-
В объемлющих полях вероятностей это свойство может
утеряться.
В заключение этого параграфа дадим еще некоторые
признаки независимости для двух случайных величин.
Если две случайные величины g и ц независимы
и если Mg и Мц конечны, то почти наверное
М (т] | g) = Мт],	(5)
M(g |т)) = Mg.
Эти формулы представляют непосредственное след-
ствие второго определения условных математических
ожиданий (формулы (10) и (11) § 4 пятой главы). Сле-
довательно, в случае независимости g и ц величины
2 М [г) — М (т| | g)]2	= M[g-M(g|n)p
‘	Dr) ’ в	Dg
равны нулю (предполагается, что Dg 0 и Dr] 0).
Число /2 называется корреляционным отношением ц по
g, g2 — корреляционным отношением g по т] (Пирсон).
Из (5) далее следует равенство
М gr] — М g-M т],	(6)
для доказательства которого надо воспользоваться фор-
мулой (15) из § 4 пятой главы:
Mgr] = М [М (gp) | g] = М [gM (т) | g)] = М [g-Мц] =
= Mg-Мц.
!) См. § 4 гл. III.
88
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Следовательно, в случае независимости £ и q вели-
чина
_ Му] —Mg-Mg
Р ~ YbE,.D-ri
также равна нулю. Как известно, р — коэффициент
корреляции между | и г].
Если две случайные величины J и q удовлетворяют
равенству (6), то они называются некоррелированными.
Для суммы
s = §1 +	+ • • • + Вп
попарно некоррелированных величин glf	£п
легко сосчитать, что
Ds =	+ D£2 + . . . + DL- (7)
В частности, равенство (7) справедливо для неза-
висимых величин gx, §2, . . . , |п.
§ 3. Закон больших чисел
Определение. Случайные величины т]п по-
следовательности
Ли Л«, • • • » Лп> • • •
называются устойчивыми, если существует такая чис-
ловая последовательность
^1»	» dn, . .
что для любого положительного в
р { I Лп — dn | > в} -> 0, п -+ оо.
Если существуют все Мт)ге и если можно положить
dn = Мг)„,
то говорят, что устойчивость нормальная.
Если все г)п равномерно ограничены, то из
Р { I Лп — Ъ | > в} -> 0, п -> оо, (1)
§ 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ
89
следует соотношение
I М — dn | -> 0, п -> оо,
и, следовательно,
Р { I Л« — Mi]n | > е) -> 0, оо. (2)
Таким образом, устойчивость ограниченной последо-
вательности необходимо нормальна.
Пусть
б* = D ть ( = М (Пп — Мт]п)2).
По неравенству Чебышева
ап
Р{|Пп —мПп|>е}< —.
Следовательно, условие Маркова:
б„—>0, п—> оо,	(3)
достаточно для нормальной устойчивости.
Если т]п — Мрп равномерно ограничены,
I Лп — Мрп | < С,
то по неравенству (9) из § 3 четвертой главы
з2 — е'г
р {| Лп — МЛп | > е} > —тч— •
Следовательно, в этом случае условие Маркова (3)
является также и необходимым для нормальной устой-
чивости рга.
Если
+ & +•••+£„
п„ =-------------
и величины попарно некоррелированы, то
Dpn = ^|Ds1 + Dl2+--- + Dgn],
Следовательно, в этом случае для нормальной ус-
тойчивости средних арифметических р„, т. е. для того,
90
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
чтобы для всякого е 0
[ I Ji 4-1- ? M5i 4--1- me
Um р | 2_Z—Z22.-----
n U «	»
> ej = 0,
достаточно выполнения следующего условия:
п
Иш	2 D;- = о	(4)
п	1=1
(теорема Чебышева). В частности, условие (4) выполне-
но, если все величины gn равномерно ограничены.
1. Можно обобщить эту теорему на случай слабо
коррелированных величин Если предположить, что
коэффициент корреляции Ртп1) между %т и удовлет-
воряет неравенству
Ртп < с (| т — п I)
и что с (к) > 0, то для нормальной устойчивости сред-
них арифметических, т. е. для того, чтобы для всякого
е 0
>е( 0
„ U »	»	’
достаточно выполнения условия2)
п
(5)
"	i=i
п—1
где Сп = 2 с (*)•
2. В случае независимых слагаемых |п можно дать
также необходимое и достаточное условие для устой-
чивости средних арифметических т]п.
*) Ясно, что всегда рпп — 1.
2) Ср. A. Khintchine, Sur la loi forte des grandes
nombres, C. fl. de 1’Acad. Sci,, Paris, t, 186 (1928), 285,
§ 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ
91
Для каждого 1-п существует константа тп (медиана
удовлетворяющая следующим условиям:
Р (L < тп) <	,
р (In > тп) < 4" •
Положим
Е — / еСЛ11 I — т1с\^п1
( 0, если । gfc — mf{1 > п,
. _ Ini Ч н 1ПП
Чп	п
Теорема1). Пусть |х,	— последователь-
ность взаимно независимых случайных величин. Тогда
условия
2 Р{|зд —	= 2р=¥=£*}—>о, п->оо,
11—1	S=1
(6)
4-2DU->0.	(7)
fc=i
необходимы и достаточны для устойчивости величин
Лп» ^»2, . . .
При этом постоянные dn, п = 1,2, . . . j можно
принять равными Мт]п, так что в случае
М< — мПп п -* 00
(и только в этом случае) устойчивость нормальная.
’) Ср. A. Kolmogorov, Uber die Summen durch den
Zufall bestimmter unabhangiger Grossen, Math. Ann., t. 99 (1928),
стр. 309—319 (исправления и замечания к этой работе, т. 102
(1929), стр. 484—488), теорема VIII и добавление к ней на
стр. 318.
5*
92
VJ, НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Доказательство. Достаточность условий (6),
(7) устанавливается просто. В самом деле, поскольку
п
Р(Д, =/=<)< S P(U=^)-*0, И —> оо,
А'=1
а согласно неравенству Чебышева
Р{1С — MTCI>8X-i- S DU-*o, п->оо,
то
Р { I Пп — I > в} 0, п -> оо.
Для доказательства необходимости нам понадобит-
ся ряд вспомогательных предложений.
Лемма 1. Пусть А„ Аг, . . . , Ап — независи-
мые события, Р (Лг) О, i = 1, 2, ... , пи для
п
некоторого u>0 Р( (J Лг)>и. Если, кроме того,
событие U таково, что для каждого I = 1,2, . . ,,п
Р (U \At)>u,
то тогда
Р(П)>-^-и\	(8)
Доказательство. Если существует такое г,
что Р (Л г) > и, то
Р(£7)>Р(У|Л)Р(4-)>4-и2‘
Пусть теперь для всех i — 1, 2 , . , . , п
р(Л)<4-«-
Тогда найдется такое к, что
4и<р(л1и...илх4м’
§ 3. ЗАКОН БОЛЬШИХ. ЧИСЕЛ
93
и, значит, для всех г к
Р(Л2и ....и А-ll Д) = Р(Аи ...и Л-хХ
<P(AU ••• U А)<-|-н’
р (и л (Л и ... U | At) > -1- и,
Р(С7 п (Л. U • • • (J A-i) П А) >
Отсюда
Р R > 2 р V п (Л и ... и АА п А) >
г—I
>4“ S Р(А) >4-uP(AU ... и А)
i=l
Лемма 2. Пусть	&2, . . . , £п — независи-
мые, ограниченные, | g, | 'С с, i = 1, . . ., п, случай-
ные величины с нулевыми средними. Тогда для всякого
а Л 0 и целого т
Р {max |gx-t---h | > m (aD + c)}< ~^r,	(9)
где
D2 = 2 D&.
i=l
Доказательство. Обозначим
R = aD + c, s0 = 0, sft ==	+ . . . + gh,
= {co : | Sj | < iR, j<k; | sk | > iR},
Bi = 2 Bik.
/c=l
Замечая, что па множестве Rih
I sh I A c,
94
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
получаем
Р (#i+1 ] B.its) = Р { max | sj >(i -f-1) R | Bik} <
p
P { max I 2 5j I > °-B | #ifc| =
= p{ max I 2
I ,=ft+1 I J
Из доказываемого далее неравенства (3) теоремы II
§ 5 следует, что
Р	2 %
Р| max I 2 Bjl >а£>)—Чтгё—	—Sr = “V•
U+i<p<n I jJq-j I J	a?
1
Поэтому P (2?;+11 jBj-j) при любом к — 1, 2,..., n.
Значит,
p(si+1i^)<4-
и
P { max | «й | > mR} = P (Z?m) =
Klt<n
= P (Bm | 2?m-l) P (Bm-l I -Sm-2) • • . P (Bi I Bq) ~ .
Ct
Лемма 3. Пусть Bi> 1г» • • •> 5» — независи-
мые ограниченные случайные величины, причем
)	— М |г | «С С, i = 1, 2, . . . , п. Тогда
Р I j 51 + • • • + £n I > в) > 16QQ 1
4а2 4- С8 1
J
i=i
(10)
Доказательство. Обозначим s =	+
n
+ • . . + In, В2 = 2 Если С D или 2а D,
1—1
то правая часть в (10) отрицательна и неравенство
очевидно.
§ 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ
95
Пусть теперь одновременно С D, 2а D. Тогда
достаточно показать, что
поскольку, очевидно,
Обозначим А = { | s | > Если |Ms |	2D, го
D2 > Р (4) М {(s — Ms)2 | 4} > (2D —	Р (А) =
= 4 D2p
и, значит,
р(Л)>4-
Предположим, теперь, что |М s ] < 2D. Обозначая
Ат = |со : 3mD 15 — Ms | <4 3 (т 4- 1) D, | s | >
и применяя лемму 2, находим
Р Ит) Р {| s — Ms | > 3mD} = Р {| s — Ms | >
>m[2P + Z)J}<P{|s-Ms|>m[2P + C]}< ~4г-
Отсюда
М (s21 Ат) Р (4m) = М [(s — Ms)2 + 2 (s — Ms) Ms -|-
+ (Ms)21 Am] P (4m) < 2s ' D2.
Иа множестве A' — 2
m=0
| s К | s — Ms | + | Ms |< 20-D.
Поэтому
M (s2 | A') P(4')< 400 D2 P (4).
9f> VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Ясно также, что
М(52|Я)Р(А)<-^-/)2.
Следовательно,
2Я < Ms2 = М[52|Л]Р(Л) + M[s2| А'] Р(Л') +
оо
+ 2 м|52|лт|Р(^т)<
т==в
со
< 4“ D2 + 400Р2Р (Л) + 2	•25 ’ Д2>
и, значит,
> W
Доказательство теоремы. Необ-
ходимость. Пусть последовательность dn,
п — 1, 2, ... , такова, что для любого е О
Р (| т]п — dn | > е) ->• 0, п -> оо. Покажем, что тогда
2 Р — тД >«е)-> 0, н-»оо. (И)
<<=1
Обозначим для данного п
Поскольку mh — медиана то
P(U\Bhy>^-.
§ 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ
07
Для достаточно больших п
поэтому
4- > Р (^) > Р W I Вк) Р (5,) > 4- Р (5,),
т. е.
р(ад<4-
Далее, если событие A h выполняется, a Bh пет, то
выполняется событие U и, значит,
?(Bh \Ah) + P(U \Ak)>l.
Но
Р(Вк|Лй) = Р(Вл)<-1-.
Следовательно,
Р(С7| Лк)>1-Р(Вк|Л)>4->4-Р(и А).
z z k=i
Применим лемму 1, взяв
« = 4-р(ил)-
z k=i
Тогда
P(t7)>4-[P(U 4)р.	(12)
События	, Ап независимы, поэтому
Р(йл) = 1-П(1-Р(А))-	(13)
*=’	к=1
Поскольку по условию Р (Z7) -> 0, п -> оо, то из
(12) и (13) получаем искомое соотношение (И),
Положим теперь
_ р», если 1— тк | < п,
п* [тк, если | — тк (п,
98
VI. НЕЗАВИСИМОСТЬ, ЗАКОН БОЛЬШИХ ЧИСЕЛ
fa, если |	— тк | < ел,
рпь если |§;г — т(.| _>£?!.
Из (11) следует, что еслгС Р {| т)п — dn | е) -> О,
п -> ОО, то и
Обозначим ^nft(e) = gnft(e) — Mgnft(e). Тогда | Спь(е)|<
sgC 2 пе и по лемме 3
р ||	2 Ink (е) — d„ I > е| =
ч	1-—1	1
= Н| 2 tni(e) — rad,J >
— P (| 2 (InS (e) dn) I ew| 1600
ч A-^,1	I )
откуда
lim sup	2 Dgn/C (e) < 8s2.
n	1C=1
8в2я3
2 °tnk(e)
fc=i
(14)
Для E 1
I Dfn,v (8) — Dgn(t I < 8w2P {| l!s — mk I > ne}.
Тогда из (И), (13) и (14) следует, что
lim sup 2 D|«* < 8е2,
п П
к=1
s 8. ЗАКОН БОЛЬШИХ ЧИСЕЛ
99
а значит, в силу произвольности е е(0, 1]
п	п
S =lim-^ 2	= о-
n &=1	”	Л—1
3. Дальнейшее обобщение теоремы Чебышева полу-
чается, если предположить, что каким-нибудь об-
разом зависят от исходов каких-либо п испытаний
94, 94,..., К,
так что после каждого определенного исхода всех этих
п испытаний 1]п принимает определенное значение.
Общая идея всех теорем, известных под названием
закона больших чисел, состоит в том, что если зависи-
мость величины от каждого отдельного испытания
9lft, к — 1,2, . . . , п, очень мала при больших п, то
величины Г)п устойчивы. Если рассматривать
= М [М (рп 194, Sl2,... , 9lfc) - М (T]n 1911, ^2.I2
как разумную меру зависимости величины гр, от испы-
тания 94, то вышеупомянутая общая идея закона
больших чисел может быть конкретизирована следую-
щими рассуждениями ’).
Пусть
£nis == М [1]„ 1911,..., 91J — М [г)п | 94,..., 94-1].
Тогда
Лп — Mip, =	+ £п2 + • • • + £пп,
MU = ММ hn 194,..94] - ММ ]т]п 19(1,..., 9С*-!] =
= Мрп — М% = О,
DU = М&, =
Легко, далее, подсчитать, что случайные величины
tnfe, к = 1,2, . . . , п, некоррелированы. В самом деле,
*) Ср. A. Kolmogoroff, Sur la loi des grandes nom-
brcs, Rend. Acad. Lincei, t. 9 (1929), 470—474,
100 VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
пусть i < к, тогдаг)
М [UU I 9lj, • . 91,-i| = SniM IU I	=
= £niM{M(rln|9li,...,9l,)-
— M (t],i | 9Ii,..., 91,-i) | Sli, • • •» 91,-i) =
= tni [M (i]n I 9I1(..., 91,- M (n„ I 9llt.. ., 91,-JJ	= 0
и, следовательно,
MUU = 0, i<7;.
Итак,
n	n
Dr,™ = 2 Dw = 2 Pnt.
i—1	i=l
Таким образом, условие
У [3ni->0, п -> оо
i—1
достаточно для нормальной устойчивости величин рп.
§ 4. Замечания к понятию математического ожидания
Мы определили математическое ожидание величи-
ны £ как
оо
Mg = (со) Р (dco) = \ xF=_ (dx).
Q	—оо
При этом интеграл в правой части понимается в смысле
Mg = xF^(dx) = lim \jxF-^(dx').	(1)
-оо	а—-ОО “
О—*4-00	,
Напрашивается мысль о том, чтобы рассматривать вы-
ражение
М£ = lim § xF^ (dx)	(2)
а-,4-00 _а
1) Применение формулы (15) § 4 гл. V,
J 4. ЗАМЕЧАНИЯ К ПОНЯТИЮ ОЖИДАНИЯ
 101
в качестве обобщенного математического ожидания.
Однако при этом теряются некоторые простые свойства
математических ожиданий. Например, формула
М IS + ill = М| + Ml]
не всегда верна. Далее мы увидим, что при некоторых
ограничивающих предположениях определение (2) яв-
ляется вполне естественным и пригодным.
Именно, можно поставить вопрос следующим обра-
зом. Пусть
Sjl • • • ! Sn! • • 
— последовательность независимых величин, имею-
щих ту же функцию распределения F^(x) — Fin(x),
п — 1, 2, . . . , что и Пусть далее
Пп = --------------1 •
Спрашивается, существует ли постоянная М° £ такая,
что при каждом 8 О
limP {|т]п— M°g|>e} = 0.	(3)
п
Ответ гласит: если такая постоянная Mcg сущест-
вует, то М°£ = М£. Необходимое и достаточное условие
для существования М°£ заключается в существовании
предела (2) и выполнении соотношения
P(|S|>n) = o(4-).	(*)
Этот результат непосредственно вытекает из сле-
дующей теоремы.
Теорема. Пусть £2, . . . — последователь-
ность независимых одинаково распределенных случай-
ных величин с функцией распределения F (х). Для ус-
тойчивости средних арифметических
Ь 4- ^2 4-... + чп	_
п„ = --------------- . п = 1. 2. ...
102
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ. ЧИСЕЛ
необходимо и достаточно выполнение условия (4). При
этом в случае устойчивости можно положить
п
dn — § xF (dx).
—п
Доказательство. Обозначим
(^, если |	— т | < п,
^п1с ' [0, если | £;с — т | > п,
где т — медиана случайной величины £г. Из условия
(4) следует, что
п
Sр ¥= ь) =п? (I Bi — т I >«) -> °, п -> 30
к=1
и
lim —	x2F (dx) = lim — x2F (dx).	(5)
n n J	?г 11 e)
{x: |x—mj<n}	|x|<n
Ио
n
-i- x2F (dx) =	2
|xK«	ft=lft-l<|.T|Cc
n
k=l
ft /с
n	n
<4s zp<z -1 <i^i<z)<4szp(i^i>z-1)->0-
r=i	M
поскольку
lp {I lil> I- l}->0, /-> oo.
Поэтому
n	n
/i=l	/.-=1
=	x2F(dx)—>0, n—>oo.
|s—m|<n
s 4. ЗАМЕЧАНИЯ К ПОНЯТИЮ ОЖИДАНИЯ
103
Таким образом, условия (6), (7) теоремы из § 3 вы-
полнены и для всякого 8	0
Р (|	— Mr;,, |	е) —> 0,	п->оо,
где
?	. 1	। £	р
Mpn = М ——------------xF (dx).
Jx—-mKn
Но в силу условия (4)
xF (dx) — \ xF (dx) —> 0, n —> оо,
|x—
поэтому
P(| Т]„ —	> е)—>0, п-~> оо,
где
п
dn = xF (dx).
—п
Обратно, если последовательность pn, п — 1, 2, . . .
устойчива, то в силу соотношения (11) из § 3
пР { |	— т | )>«}-> О, п -> оо,
откуда следует условие (4).
Если существует математическое ожидание в преж-
нем смысле (формула (1)), то условие (4) всегда выпол-
нено *) и М = М°£.
Таким образом, М° (£) является законным обобще-
нием математического ожидания М (%). Для него со-
храняются свойства I—VII (глава четвертая, § 2), од-
нако в общем случае из существования М° (£) не сле-
дует существование М° | £ |.
Для того чтобы доказать, что новое понятие матема-
тического ожидания является действительно более об-
щим, чем предыдущее, достаточно следующего примера.
*) Ср. A. Kolmogoroff, Bemerkungen zu meiner
Arbeit, Uber die Summen zui'alliger Grossen, Math. Ann., t- 102
(1930), стр. 484—488, теорема XII,
104 ' VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Возьмем плотность вероятности ft(x) равной
= (| г-1 + 2)2 In (| Ж | + 2) ’
причем постоянная С определяется из условия
ОО
j^(x)dx = 1.
— оо
Легко далее подсчитать, что в этом случае выполнено
условие (4). Формула (2) дает значение
М°£ - О,
однако интеграл
оо	оо
| х | (dx) =	| х | (х) dx
-00	—оо
расходится.
Если О есть отрезок [0,1] и Р — лебеговская мера,
то М° £ есть не что иное, как А-интеграл ‘)
1
(A)^((o)P(d(o).
о
§ 5. Усиленный закон больших чисел,
сходимость рядов
Определение. Случайные величины г|я по-
следовательности
По Иг. • • • > Нп> • • •
сильно устойчивы, если существует такая числовая по-
следовательность
dy, d-i, . . . , dn, . . . ,
1) См., например, Н. К. Бари, 1 ригономотрпческие ряды,
физмап из, 1961.
§ 5. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
105 •
что случайные величины
Лп dn
почти наверное стремятся к нулю при п оо5
Р {lim (ti„ — dn) = 0} = 1.
п
Из сильной устойчивости следует, очевидно, обыч-
ная устойчивость. Если можно выбрать
dn = Мт]п,
то говорят, что сильная устойчивость нормальна.
Теорема I. Пусть £2, . . . — последователь-
ность независимых случайных величин. Для сильной
нормальной устойчивости средних арифметических
^ + ...+ ^п
п = 1, 2,...,
(1)
достаточно выполнения условия х)
(2)
Это условие является наилучшим в том смысле, что
для любого ряда неотрицательных постоянных Ъи
о.,, . . . таких, что 2л ~ — °° > можно построить та-
n=i
кой ряд из независимых случайных величин glt £2, • • • ,
что D = Ьп, а соответствующие средние арифме-
тические т]п, п — 1,2, . . . , не будут сильно устой-
чивы.
Для доказательства нам понадобится неравенство
(3) из следующей теоремы.
Теорема II. Пусть g17 §2, . . . ,	— незави-
симые случайные величины с нулевыми средними. Тогда
х) A. Kolmogoroff,
bers, С. R. Acad. Sci., Paris,
Sur la loi forte des grandes пот-
v. 191 (1930), 910-911.
106
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
для любого а'У 0
Р{ max |?i + ... +
л
к~1
а2
(3)
Если к тому же случайные величины g1}. . . , ог-
раничены, 15; ! о, i = d, . . , п, то справедлива так-
же оценка снизу
Р { max | + ... + | > а} > 1
1<4<т
(а + «)3
(4)
2 ^4
4=1
Доказательство теоремы II. Поло-
шим s0 = 0, sh = -Н . . . + gfi,
А = { max | | > a), Ak = { max | Sj | < а, | sk | > а},
n
где ft = 1,2 . п. Тогда Ah — А, и, обозначая 1в —
h=l
индикатор множества В, находим
п	п
2 D5k = М4 > М [4/а] = 2 м [4/аД =
4=1	4=1
п	п
= 2	+ («п — «4)]2^Ак} = S +
4=1	4=1
п	п
+ S ^Ак (®п — S4)S + 2 2 М [/A;S/t (sn — S4)] >
4=1	4=1
>^ЗР(А,) = ^Р(Л),	(5)
где мы использовали то, что
м llA.fi (Sn — sk)] = М (sn — sk 15t,..5S)] = 0.
Из (5) следует требуемое неравенство (3).
§ 5. УСИЛЕННЫ!! ЗАКОН БОЛЬШИХ ЧИСЕЛ
107
Чтобы установить (4), заметим, что, с одной стороны,
М[4/д] = Мв^-м^>
п	П
2 D|s-a2P(J) = 2 D^-a* + a2P(A). (6)
ft=l	!i'=l
С другой стороны, воспользуемся тем,что на множест-
вах Ак |	а, и, значит, | sh | а + с. Тогда
м [^/д] = 2 м [^41 + 2 м iiAl; (s,t - Sj2i <
?l=l
п	n	n
<(« + су 2 p(A) + 2 p(A-) 2
A’=l	ft=l	J=/c4-l
n
< Г(«Ч-С)2 + 2 DgJ P(4). (7)
L	j=i J
Из (6) и (7) получаем искомое неравенство
2 D^-«2
P(A)>---------------------=
(a + c)’- + 2 D^. - a2
fc=l
_ j(a + c)3 > 1 —	+	•
(a4-A2+ 2	2 D54
!.'=1	lc=L
Доказательство теоремы I. He огра-
ничивая общности, можно считать Mgn = 0, п = 1,
2, . . . Тогда для доказательства того, что средние
арифметические нп = ~ сходятся с вероятностью еди-
ница к нулю, достаточно доказать, что для любого
е 0 вероятность
Р
lim sup
n
—I >4=о-
n I J
108
VI, НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
В силу неравенства (3)
Поэтому
Заметим теперь, что вероятность Р не изменится, если
ваменить нулем любое конечное число первых членов
последовательности £2, . . . Значит, для любого N
n=N
Vi D5
что в силу сходимости ряда у, доказывает, что
п=1
Р = 0.
Для доказательства заключительного утверждения
теоремы построим последовательность независимых
случайных величин g2, . . . следующим образом.
Ь
Если -т <; 1, то возьмем
Sn = Sn = Sn = О
с вероятностями
Ъп	Ьп , _
2п2 ’	2п2 ’	1 п2
соответственно.
§ 5. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
109
Если же	то положим
га2 ’
L =
1
с вероятностями, равными
Тогда М£п = 0, МЙ = Ьп. Если теперь предпо-
ложить, что на множестве положительной вероятно-
сти 0, тг -> оо, то тогда из равенства
_ sn   f га — 1 \ Sn-1
га га	\ га ] п — 1
будет следовать, что с положительной вероятностью
Е	00 I)
> 0, п -> оо. Но в силу расходимости ряда У, —£
П=1
РЯД
зр{14|>1}=~-
п=1	4	1	7
Отсюда в силу леммы Бореля — Каптелли следует,
что не может с положительной вероятностью схо-
диться к нулю.
В случае, когда независимые случайные величины
li, ёа> • • • имеют одну и ту же функцию распределе-
ния F = F (х), можно дать необходимое и достаточное
условие для сильной устойчивости средних арифме-
тических.
>) Здесь и далее используется следующий вариант леммы
Бореля — Кантелли: если A t, Ач,... — последовательность
событий таких, что пх индикаторы 1А , 1А ... независимы, то
ОО
У] < оо с вероятностью единица тогда и только тогда,
эо
когда 3 рм„х оо.
Н=1
110
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Теорема III. Если |2, . . . — последователь-
ность независимых одинаково распределенных случай-
ных величин, то условие М |	| < со является необхо-
димым и достаточным для сильной нормалъной-устой-
S
чивости средних арифметических г]п = —, п == 1, 2,...
Доказательство. Пусть М |£х | < оо; по-
кажем, что тогда с вероятностью единица
S
— —>Мс15 п —> оо.
п ~х’
(8)
Наряду с величинами рассмотрим «урезанные» ве-
личины
. _ [L. если |gn|<ra,
" — [ 0, если |	> п.
Тогда
2р&.=Мп}= 2Р<1М>«}= 2 Р{|^|>«} =
= 32 Р{*<1Ы<* + 1} =
n=l к^п
= 2 пР {га < | К п + 1} <
<2	5	|я|(d;EX $ |a:|F(da;) = Mj^Kco.
k=0 (к<|х|<»+1>
Поэтому по лемме Бореля — Кантелли с вероятностью
единица произойдет лишь конечное число событий
Лп = {£п =# Ш» п — I, 2, . . . Отсюда вытекает,
что достаточно доказать, что с вероятностью единица
§ 5. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
111
Поскольку

то отсюда нетрудно заключить, что
л< + ... +М5‘
------------->
и, значит, надо установить, что с вероятностью единица
^ + --- + ?п
Л
->0,
где
L =
Для доказательства этого достаточно лишь убедить-
ся в том, что для последовательности	выпол-
пепо условие Л оо теоремы I.
п=1
Имеем
п*
П=1
2
п—1
М (С)3
па
= 2 тг	=
П~1	|x|<n
оо	оо
= 2 4-{2 $
п=1	К=1	{fc-l<|x|<(t)
ОО	П
п—1	к—1	(ft—Kpci^fc}
= 2*
fc=1 {/с—l<|x|<fc)
<2 2 J |x|F(^) = 2M|B1|<oo.
S=1 {fc-l<[x|<lc>
112
VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Итак, условие (2) теоремы I выполнено, и, следова-
51 4- ... 4- 5n п
тельно, с вероятностью единица-----------► и, п —» оо.
Пусть теперь с вероятностью единица ——
п —-> оо.
Тогда из равенства
_ sn _____	Sn~^
п п \ п ) п — 1
следует, что с вероятностью
единица > О, п -> оо.
Поэтому для всякого е О
(I 5 I	]
Р 1 — Г> е для бесконечно многих п\ = О,
что эквивалентно по лемме Бореля — Кантелли нера-
венству
2р
П=1
оо.
п
Но в случае одинаково распределенных величин это
условие равносильно, как легко проверить, условию’
м I I < СО.
Теорема III доказана.
Пусть теперь опять g2, . . . — последователь-
ность независимых случайных величин. Тогда вё-
ОС
роятность сходимости ряда У равна либо нулю,
либо единице (ср. с теоремой Дополнения).
Теорема IV. Для сходимости с вероятностью
единица ряда
УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
ИЗ
достаточно одновременной сходимости двух рядов
оо	оо
2 M?n, 2 D?n.
П=1	п=1
Если к тому же случайные величины £х, £2, . . .
равномерно ограничены, |	| С, п = 1, 2, . . . ,
то это условие является и необходимым. к
Доказательство. Из сходимости ряда 2
п—1
и неравенства (3) следует, что с вероятностью едини-
со
ца сходится ряд 2 (Вп — м1п)- Вместе со сходимостью
00	П=1
рада 2 ML отсюда вытекает требуемое утверждение
п=1
оо
о сходимости с вероятностью единица ряда 2 ?„•
п=1
Пусть теперь величины gx, |2,... равномерно огра-
ОО
ничены и ряд 2 сходится с вероятностью единица.
п=1
Построим последовательность независимых случай-
ных величин fi, f2,..имеющих те же самые распре-
деления, что и |х, |2,... Тогда с вероятностью единица
оо оо
сходятся также и каждый ИЗ рядов 2 In, 2 (In — In)-
П=1	п=1
Поскольку М (Bn — Bn) = 0, то из сходимости с вероят-
ОО
ностью единица ряда 2 (£п — L) и неравенства (4)
с©	сю
следует, что 2 D(ln — U< А значит, и 2Dln =
п=а
оо
— — 2 D(Bn — Вп)<С°°- Тогда в силу первой части
«=1
теоремы с вероятностью единица сходится ряд
114 VI. НЕЗАВИСИМОСТЬ. ЗАКОН БОЛЬШИХ ЧИСЕЛ
ОО	00
2 (£п — М£п), что вместе со сходимостью ряда 2 In
п=I
оо
обеспечивает сходимость ряда 2 М^п.
п=1
Теорема IV доказана.
Пусть .
с _ f In в случае |gnС,
*п ~ 10 в случае | Вп | > С.
Теорема V. Для сходимости ряда
ж,
П=1
из независимых случайных величин 5ц 5г» • •  необхо-
дима и достаточна одновременная сходимость при
некотором С 0 каждого из трех рядов г)
ОО	ОО	00
2рШ>о, 2М1«,
п=1	п=1	П —1
Доказательство. Достаточность. По-
оо
скольку 2 Н| In I С} < сю, то по лемме Бореля —
п=1
Кантелли почти наверное — 5п для всех п, за
исключением, быть может, конечного числа. Тогда
по теореме 4 с вероятностью единица сходится ряд
оо	оо
2 Й, а значит, и ряд 2 In-
П=1	п=1
оо
Необходимость. Если ряд 2 In сходится с ве-
п=1
роятностью единица, то tn—>0 почти наверное, и—> оо.
х) Ср. А. К hintchine und A. Kolmogoroff,
Uber Konvergenz von Reihen, Матем. сб., т. 32 (1925), 668—677.
S Б,	УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ	Ц5
Поэтому для всякого С 0 может произойти самое
большее конечное число событий С}, а значит,
СО
по лемме Бореля — Кантелли 2 р 0	О С} <С°°* Далее1
со
из сходимости ряда 2 следует, что сходится также
?г=1
оо	оо
и ряд 2 & Тогда сходимость рядов У М£п и
П—1	П=1
оо
2 вытекает из теоремы IV.
П=1
ДОПОЛНЕНИЕ
ОДНА ЗАМЕЧАТЕЛЬНАЯ ТЕОРЕМА
ТЕОРИИ ВЕРОЯТНОСТЕЙ
Наблюдались уже многие случаи, в которых извест-
ные предельные вероятности с необходимостью равны
нулю или единице. Например, вероятность сходимости,
ряда из независимых случайных величин может прини-
мать только эти два значения1). Мы докажем теперь
общую теорему, обнимающую много таких случаев.
Теорема (закон «О или 1»), Пусть |2, . . . —
какие-либо случайные величины, a f (х) = / (жп ж2, . . •)—
бэровская функция 2) переменных х = (хх, т2, . . .) та-
кая, что условная вероятность
Р {/(ёх, U • • •) = 0 ||lt U.......... М
соотношения
f (glt U ...) = о
при известных п первых величинах g2, . . . , ос-
тается равной абсолютной вероятности
РЖ, U...) = 0}	(1)
1) Ср. главу шестую, § 5. То же имеет место и для вероят-
ности
Р (’In - «/,(—» 0. п —• оо)
в усиленном законе больших чисел, по крайней мере когда ве-
личины Еп взаимно независимы.
2) Под бэровской функцией понимается функция, которая
может быть представлена, исходя из полиномов, через после-
довательные итерированные предельные переходы.
ОДНА ЗАМЕЧАТЕЛЬНАЯ ТЕОРЕМА
117
для каждого п. При этих условиях вероятность (1) рав-
на нулю или единице.
В частности, предпосылки этой теоремы выполняют-
ся, если случайные величины £2, . . . независимы
и значение функции / (х) остается неизменным при из-
менении лишь конечного числа величин хп.
Доказательство. Обозначим | = (|п |2, . . .),
и пусть
А =	= 0}.
Наряду с этим событием мы рассмотрим алгебру 9?
всех событий, которые могут быть определены через
какие-либо соотношения между конечным числом
величин £п. Если событие В принадлежит 91, то по ус-
ловиям теоремы
Р(Л | В) = Р (Л).	(2)
В случае Р (Л) = 0 наша теорема уже доказана.
Пусть теперь Р (Л)	0. Тогда из (2) следует формула
Р(Б|Л) = -^1^р^-=Р(Б).	(3)
Итак, Р (В) и Р (В |Л) — две счетно-аддитивные
функции множеств, совпадающие на 93, следователь-
но, они должны оставаться равными друг другу па
каждом множестве борелевского расширения а (91)
алгебры ЭТ. Поэтому, в частности,
Р(Л) = Р(Л | Л) = 1.
Теорема доказана.
Некоторые другие случаи, в которых можно утвер-
ждать об известных вероятностях, что они принимают
только значения нуль и единица, были открыты
П. Леви *).
*) См. по атому поводу Р. L 6 v I, Snr пп ЬЬёогёте de А.
Khintchine, Bull, des Sci. Math., т. 55 (1931), 145—160, теорема II.
ЛИТЕРАТУРА
[1] Б ернштейя С. Н., Опыт аксиоматического обоснования
теории вероятностей, Зап. Харьк. матем. об-ва, 1917, стр.
209—274.
(2] — Теория вероятностей, 2-е изд., Москва, ГТТИ, 1934.
(1]	Borel Е., Les probabilities denombrables et leurs applica-
tions arithmetiques, Rend. Circ. mat., Palermo, t. 27, 1909,
стр. 247—271.
[2]	— Principes et formulas classiques, Fasc. 1 du tome I du Traite
des Probabilites par E. Borel et divers auteurs, Paris, Gaut-
hier-Villars, 1925.
(3]	— Applications У I’arithmetique et a la theorie des fonctions,
Fasc. 1 du tome II du Traite des Probabilites par E. Borel
et Idivers auteurs, Paris, Cauthier-Villars, 1926.
(1] C a n t e 11 i F. P., Una teoria astratta del Calcolo delle pro-
babilita, Giorn. 1st. Ital. Attuari, t. 3, 1932, стр. 257—265.
[2]— Sulla legge del grand! . numeri, Mem. Acad. Lincei, t. 11,
1916.
[3] — Sulla probability come limite della frequenza, Rend. Accad.
Lincei, t. 26, 1917, стр. 39—45.
[1] Copeland H., The theory of probability from the point of
view of admissible numbers, Ann. Math. Statist., t. 3, 1932,
стр. 143—156.
[1] D 6 r g e K., Zu der von Mises gegebenen Begriindung der Wahr-
scheinlichkeitsrechnung, Math. Z., t. 32, 1930, стр. 232—
258.
[1] F rechet M. , Sur la convergence en probability, Metron,
t. 8, 1930, стр. 1—48.
[2] — Recherches theoriques modernes, sur th4orie des probabilites,
Fasc. 3 dn tome I du Traite des probabilites par E. Borel et
divers auteurs, Paris, Gauthier-Villars.
11] Kolmogoroff A., Uber die analytischen Methoden in
der Wahrscheinlichkeitsrechnung, Math, Ann, t, 104, 1931,
стр. 415—458.
ЛИТЕРАТУРА
119
12] Колмогоров А., Общая теория меры и теория вероят-
ностей. Сборник трудов секции точных наук Коммунисти-
ческой академии, т. 1, 1929, стр. 8—21.
(1]	L ё v у Р., Calcul des Probability, Paris, Gauthier-Villars,
1925.
[1]	Lo m nick! A., Nouveaux fondements du calcul des proba-
bilites, Fundam. Math., t. 4, 1923, стр. 34—71.
[l]von Mises R., Wahrscheinlichkeitsrechnung, Leipzig u.
Wien, Fr. Deuticke, 1931.
[2]	— Grundlagen der Wahrscheinlichkeitsrechnung, Math. Z.,
t. 5, 1919, стр. 52—99.
[3]	— Wahrscheinlichkeitsrechnung, Statistik und Wahrheit. Wien,
Julius Springer, 1928.
11] Reichenbach H., Axiomatik der Wahrscheinlichkeits-
rechnung, Math. Z., t. 34, 1932, стр. 568—619.
11] S 1 u I s k у E., Uber stochastische Asymptoten und Grenz-
werte, Metron, t. 5, 1925, стр. 3—89,
[2] G л у ц к и й E., К вопросу о логических основах теории ве-
роятности, Вестник статистики, т. 12, 1922, стр. 13—21.
[1] Steinhans Н., Les probability denombrables et leur
rapport a la theorie de la mesure, Fundam.. Math., t. 4,
1923, стр. 286—310.
[1] Tornier E., Wahrscheinlichkeitsrechnung und ' Zahlen-
theorie, J. reine angew. Math., t. 160,1929, стр. 177—198,
[2] — Grundlagen der Wahrscheinlichkeitsrechnung, Acta math,
t. 60, 1933, стр. 239—380.
СОДЕРЖАНИЕ
Предисловие к первому изданию........................  5
Предисловие ко второму изданию.......................  7
I.	Элементарная теория вероятностей
§ 1.	Аксиомы............................................................... Ю
§ 2.	Отношение к данным опыта............................................. 12
§ 3.	Терминологические	замечания.......................................... 14
§ 4.	Непосредственные следствия из аксиом, условные ве-
роятности, теорема	Байеса........................ 15
§ 5.	Независимость............................................... 17
§ 6.	Условные вероятности как случайные величины; цепи
Маркова....................................... 23
II.	Бесконечные поля вероятностей
§	1.	Аксиома непрерывности................................................... 26
§	2.	Борелевские поля вероятностей................................... 29
§	3.	Примеры бесконечных полей вероятностей	....	31
III.	Случайные величины
§	1.	Вероятностные функции..... 36
§	2.	Определение случайных величин, функции	распре-
деления 	 38
§	3.	Многомерные функции распределения................. 41
§	4.	Вероятности в бесконечномерных пространствах	44
§	5.	Эквивалентные случайные величины, разные виды
сходимости................................................................................... 52
IV.	Математические ожидания
§	1.	Абстрактные	интегралы Лебега.................... 57
§	2.	Абсолютные	и условные математические ожидания 60
§	3.	Неравенство	Чебышева........................... 63
§	4.	Некоторые признаки сходимости.................. 65
§ 5.	Дифференцирование и интегрирование математиче-
ских ожиданий по параметру . ...................  .	66
4	СОДЕРЖАНИЕ
V.	Условные вероятности и математические ожидания
§ 1.	Условные вероятности............................ 70
§ 2.	Объяснение одного парадокса Бореля.............. 75
§ 3.	Условные вероятности относительно случайной ве-
личины .............................................. 76
§ 4.	Условные математические ожидания.......... 78
VI. Независимость. Закон больших чисел
§ 1.	Независимость.................................   83
§ 2.	Независимые случайные величины............ 85
§ 3.	Закон больших чисел....................... 88
I 4.	Замечания к понятию математического	ожидания	160
§ 5.	Усиленный закон больших чисел, сходимость	рядов	104
Дополнение. Одна замечательная теорема теории вероят-
ностей . ...................................... 116
Литература ......................................... 118
Андрей Николаевич Колмогоров
ОСНОВНЫЕ ПОНЯТИЯ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
(Серия: «Теория вероятностей
и математическая статистика»)
М., 1974 г., 120 стр.