/
Text
УДК
519
Г 692
Ю.А. Горицкий
Введение
в теорию вероятностей
УДК
519
Г-692
Утверждено учебным управлением МЭИ в качестве учебного пособия
для студентов
Подготовлено на кафедре математического моделирования
Рецензенты: докт. техн, наук, проф. А.Б. Фролов; канд. физ.-мат. наук,
доцент А.А. Ахметшин (Московский энергетический институт); проф.
В.Н. Фальк (Российский государственный социальный университет)
Г-692 Горицкий Ю. А. Введение в теорию вероятностей : учебное
пособие / Ю.А. Горицкий; под ред. Д.Г. Мещанинова. — М: Изда-
тельство МЭИ, 2005. — 80 с.
ISBN-5-7046-1259-8-
Пособие является конспектом лекций по основам теории вероятностей и
содержит следующие разделы: случайные события, основные формулы тео-
рии вероятностей, одномерные случайные величины, многомерные случай-
ные величины, закон больших чисел, центральная предельная теорема.
Предназначено для студентов, обучающихся по направлению
«Информатика и вычислительная техника»
Учебное издание
Горицкий Юрий Александрович
Введение в теорию вероятностей
Учебное пособие по курсу
«Теория вероятностей и математическая статистика»
для студентов, обучающихся по направлению
«Информатика и вычислительная техника»
Редактор издательства Г.Ф. Раджабова
Темплан издания МЭИ 2004 г.(П), учеби. Подписано к печати 1.09.05
Формат бумаги 60x84/16 Печать офсетная Физ. печ. л. 5,0
Тираж 300________________Изд. № 177_____Цена 15 руб._____Заказ 338т_____
Издательство МЭИ, 111250, Москва, Красноказарменная, д. 14
Отпечатано в типографии НИИ «Геодезия», Московская обл., г. Красноармейск,
ул. Центральная, д. 16
ISBN-5-7046-1259-8 © Московский энергетический институт (ТУ), 2005
Введение
Все явления и процессы, с которыми мы имеем дело в реальном мире,
можно условно разделить на два класса:
— детерминированные (закономерные, предсказуемые) процессы и
явления;
— недетерминированные (незакономерные, непредсказуемые), их
называют случайными, стохастическими.
Примеры детерминированных процессов.
1. Бросаем материальное тело с известной высоты. Знание законов
механики позволяет нам определить время падения. Мы проводим экспе-
римент и убеждаемся, что верно предсказали результат эксперимента.
2. Заряжаем конденсатор известной емкости известным током извест-
ное время. Знание законов электротехники позволяет нам определить
напряжение на конденсаторе в конце зарядки. Мы проводим экспери-
мент и убеждаемся, что верно предсказали его результат.
Перечисление примеров можно было бы продолжить.
Примеры недетерминированных (случайных) процессов.
1. Выбираем электрическую лампу и хотим определить время ее горе-
ния. Мы не можем это время вычислить, предсказать. Мы включаем ее и
измеряем время горения. Повторяем эксперимент с другой лампой, но
время горения оказывается другим. Мы повторяем этот опыт и на-
блюдаем изменяющиеся результаты: 1-й раз — 450 ч, 2-й — 230 ч,
3-й — 520 ч и т. д.
2. Количество посетителей магазина за 1 ч. Мы не можем предсказать
заранее, сколько их будет. За первый час было 120, за второй — 105 и т.д.
Мы повторяем эксперимент по подсчету посетителей и получаем из-
меняющиеся результаты.
3. Количество вызовов на телефонной станции в течение минуты.
4. Классический пример: бросание монеты. Мы не можем предсказать
результат. При повторении опыта результат изменяется.
В приведенных примерах существенно то, что при неизменных усло-
виях эксперимента наблюдается изменчивость результата.
Теория вероятностей изучает недетерминированные процессы и явле-
ния. Она дает нам методы описания и расчета этих явлений.
Несколько слов об истории этой математической теории. Назовем не-
сколько наиболее значимых имен из числа создателей теории.
Возникновение теории относится к середине XVII века и было связа-
но с анализом азартных игр: бросание монеты, игра в кости, игра в карты.
3
I этап (вторая половина XVII века) — возникновение теории — связан
с известными именами: Б. Паскаль — французский математик, физик,
философ, П. Ферма — французский математик, X. Гюйгенс — француз-
ский голландец, математик, механик, Я. Бернулли — швейцарский мате-
матик, А. Муавр — английский математик.
II этап (XVIII век — начало XIX века) характеризуется введением
аналитических методов, он связан с задачами артиллерии и задачами
измерений. В этот период теорию продвинули П. Лаплас — французский
астроном, математик, физик, К. Гаусс — немецкий математик, С. Пуас-
сон — французский математик и механик.
III этап (середина XIX века — начало XX века) — развитие теории.
Этап связан в основном с русскими именами: П.Л. Чебышев,
А.А. Марков, А.А. Ляпунов, В.Я. Буняковский.
IV современный этап (XX век) связан с наиболее значимыми имена-
ми: С.Н. Бернштейн, А.Я. Хинчин, А.Н. Колмогоров (русские математи-
ки), Н. Винер (американский математик).
Раздел 1. Основные понятия
Изучаемая теорией схема. Предполагается, что проводится некото-
рый эксперимент, результат <о (исход эксперимента) заранее неизвестен,
непредсказуем, изменяется при повторении эксперимента при неизмен-
ных условиях. Известно множество всех возможных исходов экспери-
мента; это множество обозначим
Q = {<о}
и будем называть его пространством элементарных исходов (или
множеством элементарных исходов ).
1.1. Случайные события. Отношение событий
а) Если говорить неформально, случайное событие А' — это собы-
тие, которое может произойти или не произойти в результате экспе-
римента. Можно сказать иначе: случайное событие А' — это предполо-
жение относительно результата эксперимента.
Пример. Эксперимент — бросание игральной кости. Множество всех
возможных элементарных исходов
О = {(Di, •••, <Об}= {Сь ...,Г6},
где Г, — грань игральной кости. Можно считать также, что множество
всех элементарных исходов (это 6 чисел) — количество выпадающих
очков:
Q={1,..., 6}.
Случайное событие А' = {появление четного числа}. Это событие мо-
жет произойти, но может и не произойти. Мы можем выделить из Q те
элементарные исходы, на которых событие А' имеет место — это множе-
ство А = {2, 4, 6}. Случайному событию А' соответствует множество
А: А' -> А = {2, 4, 6}, т.е. случайное событие определяется множест-
вом тех элементарных исходов, на которых оно имеет место. Так
можно сделать всегда: для любого случайного события (предположения)
А' можно указать множество А тех элементарных исходов, на которых
оно имеет место; этим множеством и определяется случайное событие.
б) Формальное определение: случайное событие А — это подмно-
жество элементов из Д: A g Q.
Мы не будем делать различия в обозначениях между случайным со-
бытием А' — предположением относительно результата эксперимента
5
(фразой) и множеством А исходов, на которых это предположение реа-
лизуется.
Определения.
1. Два случайных события А' и В' (два предположения) называются эк-
вивалентными, если им соответствует одно и то же множество элемен-
тарных исходов. Например, в эксперименте бросания игральной кости,
случайные события
А' = {появление нечетного числа} и
В'= {появление 1 или простого числа, не равного 2}.
Этим двум случайным событиям соответствует одно и то же множе-
ство исходов {1, 3, 5}, поэтому они эквивалентны.
2. Событие называется достоверным, если оно имеет место при лю-
бом исходе эксперимента. Ему соответствует все множество Q. Напри-
мер, в эксперименте бросания игральной кости событие А = {появление
числа, превышающего 0}.
3. Событие называется невозможным, если оно не реализуется ни
при одном исходе эксперимента. Ему соответствует пустое множество 0.
Например, в нашем эксперименте событие А = {появление числа, боль-
шего 10}.
4. Событие С называется суммой (или объединением) событий А и В,
если оно состоит в наступлении хотя бы одного из них и обозначается
С = А + В или С = А и В.
На рис. 1.1а событие С заштриховано. Точками квадрата условно по-
казано множество Q всех исходов.
5. Событие С называется произведением событий А и В, если оно со-
стоит в их одновременном наступлении; обозначается
С = АВ или С = А п В.
На рис. 1.16 событие С заштриховано.
6. Два события называются несовместными, если их одновременное
наступление невозможно:
А п В = 0,
что иллюстрирует рис. 1.1 в.
7. Говорят, что «событие А влечет В», если каждый раз, когда на-
ступает А, наступает и В. Обозначается
А => В или А g В
и иллюстрируется рис. 1.1г.
6
С=А + В
С=АВ
в) События Ап В несовместны
г) Событие А влечет В
ж) Полная группа событий
Рис. 1.1. Отношение событий
7
8. Событие С называется разностью событий Л иВ, если оно состоит
в появлении А и непоявлении В; обозначается
С = А — В или С = А \ В.
На рис. 1.1д событие С заштриховано.
9. Событие А называется противоположным к А, если оно состоит в
непоявлении А. На рис. 1.1 е А заштриховано.
10. Система событий {Ль ..., Ап} называется полной группой событий,
если в результате эксперимента имеет место одно и только одно из них.
Это означает:
Л, n Aj = 0, i* j, U Л,- = Q (см. рис. 1.1 ж).
i
1.2. Вероятность
Обсудим физические предпосылки определения вероятности. Извес-
тен один опытный факт, объясняющий введение понятия вероятности.
Предположим, имеется некоторый эксперимент, где Q — множество
его возможных исходов; Л — некоторое случайное событие, например
бросание игральной кости; Л = {появление четного числа}.
Повторим п раз эксперимент и подсчитаем количество у„(Л) (частоту)
появлений события Л. Обозначим f„(A) = Vn^- относительную частоту
п
появления Л.
Проделаем эксперимент много раз (сотни и тысячи). Мы увидим, что
относительная частота fn (Л) с ростом п стабилизируется, частота fn (Л)
стремится к некоторому предельному значению, обозначим его Р(Л). Ес-
ли мы зафиксируем другое случайное событие В, например В = {появле-
ние «6»}, то мы снова заметим, что частота fn(B) стабилизируется, но
стремится к другому значению — обозначим его Р(В). Эти наблюдения
говорят нам о том, что каждому случайному событию объективно со-
ответствует некоторое число — предел, к которому стремится отно-
сительная частота. Этот предел назовем вероятностью (точнее, стати-
стической вероятностью).
Итак, неформально, физически (точнее, статистически), вероят-
ность есть объективная характеристика случайного события, даю-
щая представление о том, как часто появится событие при много-
кратном повторении опыта.
8
Итак, статистическая вероятность — это предел для относительной
частоты fn (А). Очевидны свойства статистической вероятности:
1) Р(А)>0;
2) P(Q)= 1;
3) если А нВ несовместны, т. е. А п В = 0, то
Р(А + В) = Р(А) + Р(В),
это следует из соотношения несовместности vn (А + В) = v„ (A) +v„ (В)
после деления на л и перехода к пределу.
В математической теории вероятность вводится следующим образом.
Аксиоматическое определение: числовая функция Р(А), введенная
на подмножествах из Q и удовлетворяющая свойствам 1, 2, 3, назы-
вается вероятностью.
При таком подходе соотношения 1, 2, 3 являются аксиомами вероят-
ности, аксиома 3 называется аксиомой сложения. Дополнительно пред-
полагается, что аксиома 3 верна для счетного числа несовместных собы-
тий:
За) расширенная аксиома сложения. Если А, п Ау = 0, i *j, то
ОО Л 00
Р U4- =Zw-
U=1 7 i-1
Замечание. Полезно иметь ввиду, что механическим аналогом веро-
ятности случайного события является вес соответствующего множества
элементов, численно равный вероятности, причем вес Q равен 1. Очевид-
но, аксиомы 1, 2 и 3 для веса выполняются.
1.3. Вероятностное пространство
Математическая теория вероятностей изучает объект
{Q.S.P},
который называется вероятностным пространством. Он содержит О —
пространство элементарных исходов эксперимента, числовую функцию
Р( ) и область определения этой функции — систему S случайных собы-
тий, т. е. систему подмножеств из Q. К системе S предъявим естествен-
ные требования: операции над случайными событиями не должны выво-
дить из S. Достаточно потребовать следующее.
Требования к 5’;
1) OeS;
2) если А е S, В 6 S, то (А о В) е S, (А п В) 6 S, А е S;
2а) для счетного числа событий Аъ ..., Ап,..., если Ап e S, то
9
|j4,eS, ПЛе$.
Л=1 Л=1
Если система S удовлетворяет свойствам 1, 2, 2а, она называется а —
алгеброй событий.
1.4. Следствия определения понятия вероятности
1. Вероятность невозможного события равна 0:
Р(0) = 0.
Действительно,
1 = P(Q) = P(Q и 0) = P(Q) + Р(0) = 1 + Р(0),
где 1-е равенство есть 2-я аксиома, а 3-е равенство верно по 3-й аксиоме.
2. Вероятность противоположного события А равна 1 минус вероят-
ность события Л:
Р( Л)= 1 -Р(А),
что следует из соотношений
1 = P(Q) = Р(А и А) = Р(А) + Р( А).
3. Вероятность любого события не превосходит 1:
0 < Р(А) < 1,
что следует из предыдущего свойства и первой аксиомы.
4. Если А => В, то Р(А) < Р(В).
Действительно, поскольку В = А и (В I А) и события А и (В \ А) несо-
вместны, то
Р(В) = Р(А) + Р(В I А) > Р(А).
5. Формула сложения вероятностей. Для любых событий А кВ
Р(А+В) = Р(А)+Р(В) — Р(АВ). (1.1)
Действительно,
A <jB = A и(В\А),
причем А и (В \ А) несовместны, и потому
Р(А и В) = Р(А) + Р(В 1 А). (1.2)
Далее,
В = АВи(В\А),
причем АВ и (В \ А) несовместны и потому
Р(В) = Р(АВ) +Р(В\А). (1.3)
10
Подставляя в (1.2) Р(В\А) из (1.3), получим (1.1).
Следствие.
Р(А + В)<Р(А) +Р(В).
5а (обобщение). Формула сложения для п слагаемых:
[ п 1 п
Р и 4 =Z^(4)-X Е РЩУ+ЪЪ Е /’(ЛЛ-4)--+
1Л=1 J к=\ i i J k(j<j<k)
+(-\)n~iP{A{A1...An).
Справедливость формулы показывается методом математической ин-
дукции (докажите для п = 3).
1.5. Классическое определение понятия вероятности
Пусть эксперимент имеет конечное число исходов | Q | = п, и все
исходы «равноправны» (равновозможны, равновероятны). Это означает
(в силу аксиом 2 и 3), что каждому исходу эксперимента соответствует
одна и та же вероятность 1/и, и, следовательно, если \а |= к, то по 3-й
аксиоме
1 И
Р(Л)=Л- = У, (1.4)
п |Q|
что означает: вероятность события есть отношение числа исходов, бла-
гоприятствующих появлению события, к общему числу исходов.
Соотношение (4) можно обобщить. Пусть S = {Ль ..., Ат} — полная
группа событий (т.е. A, n Aj = 0, i Ф j). Пусть все события «равноправны»
(равновозможны, равновероятны). Тогда каждому событию из S соответст-
вует вероятность 1/т . Если событие В состоит из г событий системы S, то
1
Р(В)=Г~, (1.5)
т
т.е. отношение числа событий, входящих в В, к общему числу событий в S.
Пример. В ящике N шаров, из них К белых. Эксперимент состоит в
извлечении всех шаров поочередно. Какова вероятность события В =
{второй шар белый}?
1-й способ рассуждения. Исходами эксперимента являются различные
перестановки из N элементов. Всего jV! исходов. Все исходы, очевидно,
равновозможны. Событию В соответствуют те перестановки, для кото-
рых на втором месте белый шар (всего К вариантов), а на остальных N- 1
местах любые перестановки из N- 1 элементов, итого K(N- 1)! переста-
новок благоприятствуют событию В, и потому
11
w.ll.
|Q Nl N
2-й способ рассуждения. Пронумеруем шары от 1 до N. Введем пол-
ную группу событий А[, An , где А, = {при втором извлечении появит-
ся шар с номером /}, i = 1, N. Событие В есть объединение событий Л,
по номерам белых шаров (пусть это будут первые К номеров); тогда
к
B=UAt.
7=1
В соответствии с (5)
Р(В)= —.
N
Очевидно, 2-й способ рассуждения является более простым.
1.6. Геометрические вероятности
Свойство равновозможности исходов эксперимента часто встречает-
ся в практических задачах. Однако недостаток классического определе-
ния состоит в конечности множества исходов. Откажемся от этого огра-
ничения. Будем предполагать, что эксперимент можно представить как
бросание точки наудачу в область D qR" п -мерного пространства (7?" —
это может быть одномерное пространство, плоскость, трехмерное про-
странство или пространство произвольной размерности). Пространством
элементарных исходов Q является область D. Слово «наудачу» будем
понимать следующим образом: вероятность случайной точке попасть в g,
g с D, не зависит от формы и расположения g, а зависит только от раз-
мера g (от mes g):
Р (попасть в g) =f (mes g).
Можно показать (используя аксиомы вероятности), что в этом случае
вероятность попадания в g равна отношению «размеров»:
Р (попадания в g) = meS & . (1.6)
mes D
Заметим, что отношение (1.6) является аналогом (1.4).
Пример. Задача о встрече.
Два человека договорились встретиться в определенном месте в ин-
тервале от 12 до 13 ч (будем считать от 0 до 1), причем момент прихода
12
каждый выбирает случайно на отрезке [0, 1] и ждет 20 мин (1/3 ч). Какова
вероятность события Л = {встреча произойдет}?
Решение. Эксперимент мы представляем как бросание 2-х точек на
отрезок [0, 1]. Пусть х — момент прихода 1-го, у — момент прихода 2-го.
Множество всех исходов
Й = {{х,у).х,у е[0, 1]},
т.е. квадрат на плоскости. Множество А исходов, благоприятствующих
наступлению Л, состоит из тех исходов (х, у), для которых |х—у|< 1/3:
А = {(*,у): 1х— у\ 1/3 }•
Соответствующая область показана на рис. 1.2. В силу (1.6)
S(A) t Г2?
S(£>) bJ
5
9 ’
Р(А) =
Рис. 1.2. Задача о встрече
Раздел 2. Условная вероятность Основные формулы
теории вероятностей
2.1. Определение условной вероятности
Предварительное рассмотрение. Пример. Имеется 10 пронумеро-
ванных шаров: 1, 2,10. Опыт состоит в случайном извлечении одного
шара. Рассмотрим два события А и В:
А = {номер шара будет нечетным},
В = {номер шара будет делиться на 3}.
Предположим, что опыт провели, но нам неизвестно, какой именно
номер был извлечен. Однако известно, что событие В имеет место.
Спрашивается, какова при этом вероятность того, что А тоже имеет ме-
сто? Ясно, что эта вероятность 2/3, потому что, поскольку В имеет место,
значит, извлечен один из трех номеров 3, 6 или 9, но из них нечетных
(т.е. благоприятствующих событию А) два: 3 и 9; следовательно, вероят-
ность события А (при условии осуществления В) равна 2/3. Это значение
мы определили отношением числа исходов, благоприятствующих собы-
тию АВ, к числу исходов, благоприятствующих событию В:
' 2 = И
3 М '
и знаменатель на | Q | — общее число исходов:
2_|ЛВ|/М
3 |B|/|Q| Р(В) ’
Последнее отношение будем считать опре-
делением.
Пусть А, В — два случайных события
(рис. 2.1).
Определение. Отношение Р(АВ)/Р(В),
Р(В) * 0 называется условной вероятностью
события А при условии осуществления со-
бытия В (обозначается Р(А | В)):
Р(А\В) = (2.1)
Р(В)
Если представлять вероятность события как «вес» соответствующего
множества, то Р(А | В) — это относительный вес исходов АВ, отнесенный
к весу В.
14
Замечание. Зафиксируем В и рассмотрим различные события А. Для
каждого А вычислим Р(А | В) = Р^А). Тем самым мы ввели числовую
функцию на событиях А:
А -+ Р^А).
Нетрудно убедиться в том, что функция Рв(А) удовлетворяет аксио-
мам вероятности:
РМ - 0;
РХП)= 1;
если Л],Ап несовместны, т.е. A, n Aj = 0,у * 0, то
1)
2)
3)
P В^)
PB^i) =
/UW) ХР(ВА,)
у 1 > = _£________ у = у Р (А •)
Р(В) Р(В) Р(В) Р(В) , и '
Выполнение аксиом для Рв(А) означает, что для условных вероятно-
стей верны формулы, полученные для вероятностей. Например, фор-
мула для условной вероятности противоположного события:
Р(А |В)= 1-Р(л|В),
формула сложения для условных вероятностей:
/’{(ЛиС) | В} = Р(А | В) + Р(С | В) - Р(АС | В), и т.д.
2.2. Формула умножения вероятностей
Согласно определению (2.1), если Р(А) 0, условная вероятность со-
бытия В при условии осуществления А
Р(В\А)=^9-. (2.2)
Р(А)
Из формул (2.1) и (2.2) получаем соотношение
Р(АВ) = Р(А) Р(В | А) = Р(В) Р(А I В), (2.3)
которое носит название формулы умножения вероятностей. Она озна-
чает: вероятность произведения событий равна произведению веро-
ятности одного на условную вероятность другого.
Обобщение для вероятности произведения п событий:
. Р(АхАг...Ап) = Р(А,) Р(А2 I Л,) Р(А31 А, А2) ...Р(А„ | At... A„.i),
где очередной множитель с номером к есть условная вероятность Л* при
условии одновременного осуществления всех предыдущих.
15
2.3. Независимость случайных событий
Определение 1а. Событие А независимо от В, если условная вероят-
ность Р(А | В) равна безусловной:
Р(А | В) = Р(А), (2.4)
или, иначе, если наступление В не изменяет вероятности события А.
Заметим, что в приведенном выше примере условная и безусловная веро-
ятности не равны:
j = Р(А\В)*Р(А)=± ,
поэтому событие А зависимо от В.
Следствия.
1. Если А независимо от В, то и В независимо от А:
Р(В\А) = Р(В), (2.5)
т.е. свойство независимости взаимно. Действительно,
1 Р(А) Р(А) Р(А)
2. Если события АиВ независимы, то независимы также
а) А и В, Ь) А и В, с) Л и В.
Действительно: _
а)Р( В|Л)= 1-Р(В|л)= 1-Р(В) = Р( В);
Ь) следует из а), если Л и В поменять ролями;
с) применением а) дважды получаем с).
3. Если А и В независимы, то
Р(АВ) = Р(А)Р(В). (2.6)
Это формула умножения для независимых событий: вероятность
произведения двух независимых событий равна произведению вероят-
ностей.
Поскольку соотношения (2.4), (2.5) и (2.6) эквивалентны, определени-
ем независимости может служить любое из них. Соотношение (2.6) явля-
ется симметричным, и поэтому именно его будем использовать для опре-
деления независимости случайных событий.
Определение 1Л. События А и В называются независимыми, если
справедливо (2.6).
Замечание об использовании соотношения (2.6).
Соотношение (2.6) обычно используется не для того, чтобы прове-
рить, независимы ли два события, а для того чтобы, зная, что события
независимы, определить вероятность произведения двух событий. Если
16
два события независимы физически, это означает, что появление одного
события не может изменить вероятность другого, т.е. выполняются
равенства (2.4) — (2.6).
Если события независимы физически, то по соотношению (2.6) опре-
деляется вероятность произведения двух событий. Например, пусть два
раза бросается монета. Событие А = {появление герба при первом броса-
нии}, событие В = {появление герба при втором бросании}. Эти два со-
бытия физически независимы, поскольку два разных бросания. Равенст-
во (2.6) дает возможность вычислить Р(АВ) по Р(А) = и Р(В) = :
Р(ЛВ) = /’(Л)/’(В)=11=1 .
Обобщим понятие независимости.
Определение 2. События Ai,..., Ап называются независимыми в сово-
купности, если для любых т из них с номерами к\, кг-.., кт, kj
P{Ak\Ak2...Aian) = Р(Ак\) P(Aki)... Р(Акт). (2.7)
Определение 3. События А],..., А„ называются попарно независимыми,
если при любых к\, кг, к\* кг
Р(Ак1Ак2) = Р(Ак1)Р(Акг'). (2.8)
Замечание. Из независимости в совокупности следует попарная неза-
висимость, но из попарной независимости не следует независимость в
совокупности.
Пример. Имеется четыре числа: 2, 3, 5, 30, из которых наудачу вы-
бирается одно. Рассматриваются три события:
Aj - {выбранное число делится на 2},
Аг - {выбранное число делится на 3},
Лз = {выбранное число делится на 5}.
Попарная независимость имеет место:
1=Ф, л7)=р(лм4)= || = |> У= 1.2,з,
но независимости в совокупности нет:
1 = Р(АхАгАъ) * Р(А\) Р(Аг) Р(А3) = |‘|4 = 1 ‘
Z Z Z о
2.4. Формула полной вероятности
Пусть Ai,..., А„ , ... — система несовместных событий (взаимоис-
ключающих предположений):
A, riAj = 0, i*j, и U Л
п
БИБЛИОТЕКА
“ Моск. Энергвтич. ии?та
вероятности которых Р (А}),..., Р(Ап).
Тогда для любого события В
/’(В) = ЕП4)ПВ |4)- (2.9)
п
Эта формула позволяет определить полную вероятность события по
условным вероятностям и вероятностям условий.
Справедливость (2.9) следует из представления В в виде суммы несо-
вместных событий:
B = \J(BAn),
п
и потому Р(В) = £ Р(В Ап) = £ Р(А„)Р(В{А„).
п п
Заметим, что для справедливости (2.9) вместо условия (J Ап = Q дос-
п
таточно потребовать В g (J Ап
п
2.5. Формула для апостериорных вероятностей гипотез
(формула Байеса)
Условия те же, что и в предыдущем пункте 2.4. Будем считать, что
Ai,..., А„, ... — некоторые взаимоисключающие предположения (гипотезы)
относительно результата эксперимента, a P(Ai),..., Р(Ап) — априорные (до-
опытные) вероятности. Предположим, что опыт проведен, однако исход
неизвестен. Известно лишь, что событие В имеет место. Это позволяет нам
определить апостериорные (послеопытные) вероятности гипотез:
. а,»)
1 f(s>
к
Первое равенство в (2.10) получается из формулы для условной веро-
ятности и формулы умножения, второе — заменой Р(В) по (2.9).
Нетрудно проверить, что сумма апостериорных вероятностей равна 1:
£р(4|В) = 1.
(2.11)
Пример. Имеется 5 ящиков с шарами. Из них 2 ящика имеют состав
А]': 2 белых и 1 черный; 1 ящик имеет состав А2': 10 черных; 2 ящика
имеют состав А3': 3 белых и 1 черный.
18
Эксперимент состоит из 2-х шагов: на 1-м шаге наудачу выбирается
ящик, а на 2-м шаге — из выбранного ящика наудачу выбирается шар.
1-й вопрос: какова вероятность события В = {вынимаемый шар — бе-
лый}?
Введем события А, = {шар из ящика состава A/}, i =1, 2, 3, причем
P(At) = Р(А3) = 2/5, Р(Л2) = 1/5.
Легко определяются условные вероятности:
Р (В | Л,) =2/3, Р(в|л2) = 0, Р (В | Л3) = 3/4.
По формуле (2.9) полной вероятности имеем:
Р(В) = Р (Л,) Р (В | Л,) + Р (А2) Р (В | А2) + Р (Л3) Р (В | Л3) =
= 2.2+±.о + 2.3=17.
5 3 5 5 4 30
2-й вопрос. Пусть эксперимент проведен, но неизвестно, какой был
выбран ящик. Известно лишь, что событие В имеет место, т.е. шар ока-
зался белым. Какова вероятность, что выбран ящик 1-й (или 2-й, 3-й)?
Вместо априорных вероятностей Р(А,) формула Байеса позволяет
определить апостериорные:
P(^)P(B|4) %•%_ 8
Р(В) Р(В) п ’
Аналогично Р(А21 В) = 0.
Третью вероятность можно найти из (2.11):
Р(Л31 В) = 1 - Р(Л, | В) - Р(А21 в)= 1--Д--0 = -?-.
Раздел 3. Одномерные случайные величины
3.1. Определение
Пусть имеется некоторый эксперимент, множество исходов Q = {со},
и на Q задана вероятность Р(А), А с Q. Исход © - это элемент любой
природы (сторона монеты, грани игрального кубика, шары, ящики и т.д.).
Теперь будем полагать, что исход эксперимента - число.
Определение 1а. Случайной величиной называется числовой исход
эксперимента.
Поскольку Q — числовое множество, случайное событие определяет-
ся множеством А точек на вещественной оси. Предполагается, что заданы
вероятности
Р(А) = Р&еА}.
Случайные величины будем обозначать т], а, Р и т.д. в отличие от
© - элемента произвольной природы.
Обобщим понятие случайной величины. Пусть {Q, S, Рп} — вероят-
ностное пространство, Q = {©} — множество элементов произвольной
природы.
Определение 16. Вещественнозначная функция £ = /(о), заданная
на вероятностном пространстве, называется случайной величиной.
При таком введении случайной величины вероятность события
Р{^ е А}, где А с Л1, определяется следующим образом: Q содержит
множество СА тех исходов ©, для которых^®) е А :
СА = {а: Е,=Ла>)еА}.
Тогда
е А} = Р{ву. =Д©)е А } = Рп(СА). (3.1)
Определение 2. Случайная величина называется дискретной, если
множество ее значений конечно или счетно. Такую случайную вели-
чину можно задать множеством значений
xi,x2, ...,хк,...
и соответствующими вероятностями:
ЛХ1), Р (х2),.... Р (xt), ..., £Р(хк) = 1.
к
Дискретную случайную величину можно представить графически
(рис. 3.1). Вероятность любого события Р{Е, е А], А о!?1, определяется
очевидным образом:
20
P{t,eA} = X Р(*к>,
хк^А
(3.2)
т.е. суммируются вероятности тех х*, которые находятся в А.
Пример. Бросаются 2 игральные кости. Рассматривается случайная
величина £ — сумма выпадающих очков; £ может принимать целочис-
ленные значения от 2 до 12. Ясно, что
Р& = 2} = />{(!, 1)} = 1.1 = Х; />{£ = 3} = Р{(1, 2) u(2, 1)} = £;
P{!j = 4}=P{(l,3)u(2,2)u(3,l)} = ^ ит.д.до Р{^ = 7} = ^,
затем вероятности уменьшаются до Р{^ = 12} = Р{6, 6} = -1-. Эта слу-
Рис. 3.1. Дискретная случайная Рис. 3.2. Случайная величина £ —
величина сумма очков
3.2. Последовательность независимых испытаний Бернулли
(биномиальный закон распределения)
Пусть имеется некоторый элементарный опыт (например, бросание
монеты, бросание игрального кубика, выстрел по мишени, извлечение
шара из ящика и т.д.). В результате опыта может произойти или не про-
изойти некоторое событие А с вероятностью
Р(А)=р; P(A) = q=\-p. (3.3)
Появление А будем считать “успехом”, а непоявление А — «неуспе-
хом». Повторим этот элементарный опыт п раз, в этом п - кратном по-
вторении состоит основной эксперимент, который назовем независимы-
ми испытаниями Бернулли. Введем случайную величину — количество
«успехо»» в п испытаниях случайного события А. Ясно, что £ может при-
нимать значения 0, 1, ..., п. Оказывается, вероятность получить к “успе-
хов” равна
Рк^Р{^к} = Ckpkqn~k. (3.4)
21
Покажем справедливость этой формулы для и = 3 и к = 2. Для экспе-
римента, состоящего из п = 3 испытаний, имеем 8 исходов:
<01 = (0, 0, 0); ш2 = (0, 0, 1).<о8 = (1, 1, 1).
Событию {Е, = 2} благоприятствует С? = 3 исхода (1, 1, 0), (1, 0, 1) и
(0, 1,1), причем в силу независимости трех испытаний
Р(1, 1, 0) = Р(1, 0, 1) = Р(0, 1, 1) = p2q,
и потому
Р{^ = 2} = С32Л-
Рассуждая аналогично, для произвольных и и к получим (3.4).
Нетрудно видеть, что
(3.5)
к=0 к=0
Действительно, (3.5) совпадает с биномиальным разложением:
l = (p + g)n=EC„W<
к=0
Совокупность {к, рк }, определенных формулой (3.4), называется би-
номиальным распределением вероятностей. С помощью этого распреде-
ления были открыты основные законы вероятностного мира. Случайная
величина для которой верно (3.4), обозначается: Е, ~ Bi(n, р) и читается
так: случайная величина подчиняется биномиальному закону с парамет-
рами п и р (и — число испытаний, р — вероятность “успеха” в одном
испытании).
Типичная зависимость вероятности Р(к) от к показана на рис. 3.3.
Рис. 3.3. Биномиальное распределение
Пример. Бросается монета п = 10 раз. Определить вероятность появле-
ния ровно 5 гербов. Пусть Е, — количество выпадающих гербов. По (3.4)
22
Pte = 5} = G5n J-5 - J-10’5 = -222.«1
-4 40 2 2 1024 4 '
Наивероятнейшее значение числа успехов — это число успехов т,
вероятность которого максимальна, т.е.
Ли = m ax рк.
®<к<п
Нетрудно показать, чо целое т удовлетворяет следующим условиям:
np-q<m<np+p\
заметим, что длина интервала, в котором находится т, равна р + q = 1.
Приближенно
т~пр. (3.6)
3.3. Теоремы Муавра — Лапласа о «нормальном»
приближении биномиального закона
Локальная теорема Муавра-Лапласа. Пусть Е, ~ Bi(n, р), причем
0 < р < 1; обозначим
к-пр
хк ~ I---
yjnpq
(3.6а)
— «нормированное» значение к. Если и -> оо, к-t <х>, хк —> х, то
= к} = Ckpkq"~k —Д/2) = -Д
Jnpq yj2n -qrq
где <p(x) = exp(—x2/2)/л/2л . Это ут-
верждение является следствием более
общей теоремы (центральной пре-
дельной теоремы), которая будет об-
суждаться ниже. График функции <р(х)
показан на рис. 3.4.
Интегральная теорема Муавра—
Лапласа следует из локальной теоре-
мы. При тех же условиях при большом
п (п -> оо) вероятность того, что число
успехов будет находиться в некотором
диапазоне, определяется следующим
соотношением:
23
Р{кх< jeXp(z!/2)
yjnpq а <2л
= Ф(д)-Ф(а),
к\-пр к^-пр * ехр(-г2/2)
где а = ------ , b = .—. , Ф(х) = J ----=----- dt.
у] npq у] npq 72 л
Действительно, с учетом (3.7) и (3.6а):
’npq
Pl
2 Р& = к}= I
1- a<xk<bjnpq
у1пРЯ
dx
(3.8)
1 exp(-*fc /2)
Поскольку
а ^Л
, 1
&*к = хк~хк-1 =-г=’
yjnpq
последнее равенство можно записать как
„ А ехр(-^/2) *ехр(-х2/2)
Z ^к Л---------J-----------5=----- ,
а<хк<Ь >/2л
что и требовалось показать.
Функция Ф(х) табулирована и носит название функции распределе-
ния стандартного нормального закона.
Теоремой можно пользоваться для вычисления вероятностей, если
npq >25. Если 0,1 < р < 0,9, то условие применимости ослабляется: npq >5.
Пример. Монета бросается большое число п раз. Покажем, что —
количество гербов -— окажется в пределах у ±-jn с вероятностью » 0,95.
Полагаем, что вероятность гербар =±. Имеем по (3.8)
n
2
р г
< b [« Ф(2) - Ф(-2)« 0,95,
a
n —
n —
Если бросаем n - 100 раз, то с вероятностью 0,95 число успехов будет
находиться в диапазоне 50+10 (т.е. + 20%); если бросаем п = 10 000 раз
— то в диапазоне 5 000+ 100 (т.е. + 2%).
24
3.4. Теорема Пуассона о приближении биномиального
распределения пуассоновским
Теорема утверждает, что если р мало, а п велико, то вероятность по-
лучить к успехов приближенно равна
к
Р = {^ = к} = СкпркЯп-к.(-^-е-пР.
Теорема. Пусть п —> оо, р —> 0, пр —> а. Тогда
Л
Р{^, = к} = Скрк(\-р)"~к > — ё~а . (3.9)
Покажем справедливость этого утверждения.
Во-первых,
<з1о>
Действительно, с учетом (3.9)
С* = 1 £
к\ к\ п п п к\
Во-вторых,
и тогда, учитывая (3.10) и (3.11), прии->оо получаем:
г'к „к,, „\п-к v и* к -a v а* -а
СпР (л~Р) Р е ,
что и требовалось показать.
Заметим, что сумма величин справа в (3.9) равна 1:
Говорят, что случайная величина £ подчиняется закону Пуассона,
если множеством ее значений являются целые неотрицательные числа 0,
1, 2,..., к,..., причем
Л
Р£ = к}=^е~а, (3.12)
25
где а, а >0 — параметр распределения; коротко записывается: Е, ~ Ро(а)
(примеры показаны на рис. 3.5).
0,5 г
0,4 •
о,з
о,2
о,1
о
Рнс. 3.5. Распределение Пуассона
Случайные величины, распределенные по закону Пуассона, встреча-
ются в реальном мире весьма часто, например количество радиоактивных
или космических частиц, зарегистрированных за фиксированный проме-
жуток времени, количество вызовов на телефонной станции, количество
сбоев сложного устройства, количество травм на большом заводе и т.д.
Теорема Пуассона объясняет, почему закон Пуассона часто встречается:
если есть много источников, каждый из которых может дать событие с
малой вероятностью, то общее количество событий, по теореме Пуассо-
на, будет подчиняться приближенно по этому закону.
3.5. Однородный пуассоновский поток случайных точек
Этот поток называют также простейшим. Пусть на вещественной оси
возникают случайные точки (удобно представлять временную ось; в слу-
чайные моменты появляются точки). Сделаем некоторые предположения
относительно механизма появления случайных точек.
1. Отсутствие последействия: будем считать, что появление точек на
непересекающихся интервалах - независимые случайные события.
2. Стационарность: вероятностный механизм появления точек не из-
меняется при сдвиге во времени, т.е. вероятность появления к точек на
интервале (х, х + t) зависит только от длины этого интервала:
Pk(x,x+t) = Pk(t). (3.13)
3. Ординарность: появление кратных точек невозможно или, что то
же самое, вероятность появления более одной точки на интервале малой
длины А/ есть величина o(Az):
26
P>x (Az) = o(Az), т.е. lim ^>1(A/) = 0.
Д/->оо А/
4. P1(Az) = XAz + o(Az), (3.14)
т.е. вероятность появления одной точки на интервале малой длины Az
пропорциональна длине интервала (с точностью до o(Az)). Коэффициент
X называется параметром потока. Выполнение этого свойства можно
не требовать, т.к. оно следует из предыдущих (см. замечание ниже).
Обозначим Е, количество точек за время Т. Если перечисленные свой-
ства выполняются, то случайная величина £ распределена по закону Пу-
ассона с параметром а = X Т, т.е.
= = (3.15)
k\
Действительно, разобьем интервал длины Т на большое число п час-
тей малой длины Az = Т/п. На каждом интервале длины Az может появить-
ся одна точка или не появиться. В силу предположения 1 имеем п незави-
симых испытаний с вероятностью (3.14) появления точки. Вероятность к
событий
Р{^ = Л) = Ск Рхк (AZ)[1 - 4(AZ)]""*. (3.16)
Поскольку при и->оо 7|(AZ)->0 и n/KAz) = и(аЛ + о(-^->ХГ,
по теореме Пуассона вероятность (3.16) стремится к вероятности (3.15).
Замечание. Покажем, что свойство 4 следует из первых трех, т.е. что
вероятность появления одной точки на интервале малой длины Az про-
порциональна длине интервала с точностью до o(Az). Действительно, ве-
роятность непоявления точек на интервале длины z + j в силу предполо-
жения 1 можно записать так:
P0(t + s) = Ро(О Po(s),
где Ро(О - вероятность появления 0 точек на интервале длины z. Этому
соотношению удовлетворяет только экспонента
Р0(') = еЛ (3-17)
где X > 0, знак минус следует из того, что Ро(О - вероятность, т.е. величи-
на, не превосходящая 1. Вероятность появления одной точки на интерва-
ле малой длины Az, очевидна:
P1(Az) = l-P0(A/)--P>i(AO- (3.18)
27
При малом t = Д/ (3.17) Pq (Л/) = 1 - АД/ + о(Дг); подставляя это в
(3.18) и учитывая свойство 3, получаем (3.14).
3.6. Функции распределения н нх свойства
Имеется универсальный способ задания случайной величины - с по-
мощью функции распределения.
Определение. Для произвольной случайной величины £, и любого х,
—ж < х < оо, рассмотрим функцию Ftfx), равную вероятности принять зна-
чение, строго меньшее х:
F^(x) = Р{Е, < х};
эта функция называется функцией распределения случайной величины Е,.
Пример 1. Пусть Е, — случайная ве-
личина, принимающая 3 значения
?2 р3 х\,х2’х3 с вероятностями р^, р2,Рз-
Pi |_______J_________ Ясно, что ее функция распределения яв-
о X] Oj х3 ляется кусочно-постоянной со скачками
в точках х1;х2, х3, равными соответст-
1
о
Рнс. 3.6. Функция распределения
дискретной случайной величины
венно p\, Р2, Рз (Рис- 3.6). В точках
скачков функция F^(x), очевидно, равна
нижнему значению.
Пример 2. Бросается точка «наудачу»
на отрезок [о, а]; результатом этого опы-
та является число - случайная величина
Зафиксируем х, хе [о, а] и рассмотрим
случайное событие
4с ={£-*};
оно состоит в попадании точки в промежуток [о, х]. В соответствии с
геометрическими вероятностями вероятность Ах равна отношению длин
отрезков [0, х] и [0, а]:
Если в качестве х зафиксировать отрицательное число, то
Р{^<х} = 0;
28
если же в качестве х взять число, большее а, то, очевидно,
попадания В различные множества В веще- Рис. 3.7. Функция распределения
ственной ОСИ случайной величины £ примера 2
а) Пусть В = [а, Ь) — промежуток, где левая точка входит в В, а правая
не входит. Нетрудно видеть, что
P{^e[a,b)}^P{a<^<b} = F^b)-F^a). (3.19)
Действительно, рассмотрим событие £, < Ь. Его можно представить в
виде суммы двух несовместных событий:
{£<£} ={^<а}о{а<^<
Определим вероятность этого события:
Fi>{b) = F^a) + P{a<bs<b},
откуда следует (3.19).
Ь) Пусть
5 = и[а,Л)>
i
где промежутки [a,,Z>,) не пересекаются.
Тогда, очевидно,
= (320>
I
с) Пусть В = {х0} - изолированная точка. Тогда
Р{£=х0}= lim Р{^е[х0,х0+£)}= lim |Д(х0 + е)-^(х0)] =
1 ’ 0<£->0 1 0<£—>oL s J (3.21)
= ^(лг0+О)-/^(хо),
где F^(xo+0) —предел справа в точке х0 функции 7^(х) (рис. 3.8).
Следствие. Если функция F^(x) непрерывна в точке х0,то
29
^ = х0}=0;
если F^x) разрывна в х0, то
Р{*> = хо} * 0 •
Свойства функций распределения
1. Значения функции распределения находятся в диапазоне от 0 до 1:
0<^(х)<1.
Это свойство очевидно, поскольку /^(х) — это некоторая вероятность.
2. /^(х) — неубывающая функция, т.е. если x2>xj, то
^(х2)^Л;(х1) •
Действительно, рассмотрим событие {^<х2}, которое можно пред-
ставить в виде суммы двух несовместных событий:
U < х1} = < Х1} и{х1 -£<хг}.
Определив вероятность слева и справа, получим:
^(х2) = + < ^ < х2} > ^(х,).
3. F5(x) непрерывна слева в любой точке:
lim Л(х-е) = F(x).
0<е->0 s
3.7. Дискретные и непрерывные случайные величины
Определение 1. Случайная величина £ называется дискретной, если
множество ее значений конечно или счетно.
Такую случайную величину можно задать ее значениями и соответст-
вующими вероятностями:
хьх2,..,х„,..., (322)
Р1, р2,...,рп,...,
где рп = Р{^ = хп}.
Ясно, что
Ер„=1. (3.23)
п
Вероятность попадания случайной величины £ в достаточно произ-
вольное числовое множество В, Be Л1, определяется очевидным образом:
30
Р{^в}= S Рк, (3.24)
к'.х^В
т.е. суммируются вероятности тех значений хк, которые находятся в В.
Определение 2. Случайная величина называется непрерывной, если в
любой точке х существует плотность вероятности р^(х), понимаемая
как предел отношения вероятности попадания в интервал малой длины
(х, х +Ах) к длине интервала:
. . .. Р(х,х + Ах)
р^(х) = ton —; (3.25)
Дх-»0 Ах
это означает, что
Р {£ е (х, х + Ах)} = (х)Ах + о(Ах). (3.26)
Ясно, что вероятность попадания в достаточно произвольное числовое
множество В определяется как предел суммы ^(p(x,)Ax;+o(Axj)) сла-
i
гаемых вида (3.26), что в пределе дает интеграл:
Р^еВ}= J p^x)dx. (3.27)
хеВ
Очевидно, J p^(x)dx = \, (3.28)
00
поскольку 1 = P{t, е (-оо,<ю)} = J p^(x)dx .
Если случайная величина непрерывна, то плотность распределения
р^(х) и функция распределения /^(х) связаны следующим образом:
вК(х)
^(Х) = -Л ’ (3’29)
Это следует из (3.27), т. к.
Г5(х) = Р{^<х} = Р{^(-оо,х)}= J pt-Wdx',
что после дифференцирования по х дает (3.29). Под интегралом буква х
обозначена со штрихом, чтобы отделить х - верхний предел — от х' —
переменной интегрирования.
31
3.8. Некоторые основные законы распределения случайных
величин
1) Равномерный закон распределения.
Говорят, что случайная величина £ распределена равномерно на от-
резке [а, й], если плотность равна
1
й-а’
О
х е [а,й],
х g [а,й].
Короткое обозначение:
Нетрудно видеть, что функция распределения имеет вид
х < а,
а <х <Ь,
х>Ь.
Соответствующие графики показаны на рис. 3.9.
2) Нормальный (гауссовский) закон распределения.
Рис. 3.9. Плотность и функция
равномерного распределения
Я[а, 6]
Говорят, что случайная величина £ рас-
пределена по нормальному закону с пара-
метрами а и t? , если плотность распре-
деления имеет вид
р(х | а,о2 1 ехр[-(х-а)2 /2а2] .(3.30)
Коротко обозначается £ ~ N(a, а2). Это
распределение играет важнейшую роль в
теории вероятностей и математической ста-
тистике. По свойству плотности при любых
а и ст2 (а > 0)
| р(х|а,ст2)е& = 1.
График этой функции показан на рис. 3.10. Нетрудно видеть, что мак-
симум по х находится в точке х = а:
р1(х|а,а2)|х=а=0,
32
а точки перегиба находятся при X] = а - о и Х2 = а + о на расстоянии ст
от точки х = а:
р"(х\а, ст)|х=а±<1 = 0.
Параметр а управляет расположением кривой плотности, а параметр о
управляет ее шириной.
Особую роль играет стандарт-
ное нормальное распределение
N(Q, 1), а = 0, о2 = 1; плотность этого
распределения (рис. 3.11):
-х2
Ро(х) = -7=е 2 • (3-31)
<2тг
Рис. 3.10. Плотность нормального
распределения
Соответствующая функция рас-
пределения называется функцией
стандартного нормального распре-
деления:
Ф(х) = f -tL ехр(-х'2/2о2)<&'. (3.32)
-ooV27t
Эта функция табулирована.
Свойства нормального распределения
1. Верно соотношение
Ф(х) = 1-Ф(-х), (3.33)
оно справедливо в силу четности подинтегральной функции в (3.32).
2. Часто приводятся таблицы функции
X 1
ф*(х) =(—==• ехр(-х,2/2о-2)<&', (3.34)
0V2n
причем Ф*(-х) =-Ф*(х). Между функциями Ф(х) и Ф* (х) имеется
связь:
Ф(х) = |+Ф*(х). (3.35)
3. Функция произвольного нормального распределения выражается
через Ф(х). Действительно, пусть £ ~ N(a, ст2). Функция распределения ее
7^(х) = Р{^<х} = | Г^лст21 ехр[-(х-а)2/2о2]<& .
33
Рис. 3.11. Стандартный нормальный
закон: плотность и функции
Рис. 3.12. Экспоненциальный закон:
плотность н функция распределении
Рис. 3.13. Пример функции распределения
случайной иеличииы смешенного типа
Рис. 3.14. Плотность логарифмически-
иормальиого распределении
Рис. 3.15. Плотность примера 3
34
Введя новую переменную и = (z - а) / ст, получим:
(х-а)/а .1 > г „ „х
Г^(х) = / (>/2те) е”“ /2<1и = Ф\?-—J. (3.36)
Это соотношение означает, что вероятности любых событий, свя-
занных с нормальной случайной величиной, определяются с помощью
функции Ф(х). Например, вероятность попадания на интервал:
Р{х, < $ < х2} = ^(х2)-^(х,) = ф[^^)-’ <3-37)
т.е. вероятность равна функции Ф(-) в правой точке (нормированной)
минус функция Ф(-) в левой точке (нормированной).
4. Вероятный диапазон значений.
Во-первых, в силу (3.37)
Р {а - 2<т < < а + 2ст} = Ф(2) - Ф(-2)« 0,975 — 0,025 = 0,95;
это означает, что вероятность попадания в интервал «математическое
ожидание ± 2ст» весьма велика. Во-вторых,
Р{а-3с <Е,<а + За} = Ф(3) - Ф(-3) ~ 0,997,
т.е. попадание в интервал «математическое ожидание ± Зст » практиче-
ски достоверно.
5. Отметим без доказательства, что сумма двух нормальных случай-
ных величин является нормальной величиной.
6. В терминах нормального закона теоремы Муавра—Лапласа при-
обретают весьма простую формулировку: при большом числе испыта-
ний биномиальное распределение Bi(n, р) приближается к нормаль-
ному N(a, с?) при а = при <? = npq.
3) Показательный (экспоненциальный) закон распределения.
Говорят, что случайная величина £ распределена по показательному
закону с параметром а, если плотность распределения имеет вид
р(х | а) = ае~ах, х > 0, а > 0.
Функция распределения
F^(x)= J ae^dz^X-e"™, х>0,
Fjj(x) = O, х<0.
35
Графики р(х|а) и /^(х) показаны на рис. 3.12. Это распределение
появляется во многих прикладных задачах, а именно везде, где имеет
место простейший поток точек, интервал между «соседними» точками
потока подчиняется этому закону, например время между появлением
двух радиоактивных частиц, время между двумя вызовами на АТС, время
между двумя отказами сложной машины, время между двумя случаями
травматизма на большом заводе и т.д.
Замечание. Случайные величины не исчерпываются двумя типами:
дискретными и непрерывными. Весьма часто рассматриваются случай-
ные величины смешанного типа, например случайная величина функ-
ция распределения которой (рис. 3.13)
О,
+х!2,
1,
х<0
0<х<1
х > 1.
Вид /^(х) говорит нам о следующем (см. следствие раздела 3.6):
P{S = o} = Po; p{S = i} = pi = 1-^(1) = 1-(ро +1/2),
поскольку в точках 0 и 1 разрыв'. Остальная вероятность (l-po~.Pl) Рас"
пределена равномерно на интервале (0, 1), причем
Р{0<^<1} = F(l)- lira F(O + e) = F(l)-F(0+) = (l-p0-Pi) = X-
0<е->0 ' 2
3.9. Преобразование случайных величин
Пусть задана случайная величина с известным законом распределе-
ния. Она подвергается преобразованию
П =/(&
результатом которого является случайная величина т]. Требуется опреде-
лить закон распределения для преобразованной случайной величины.
Пусть £, дискретна; это означает, что ее можно задать, перечислив ее
значения и соответствующие вероятности (т. е. ряд распределения):
хь х2,...,хк,...
Р(х^,Р(х2),...,Р(хк),...
Определим функцию распределения для ц:
Л1(т) = ^{п = /(^)<Я= Z (3-38)
xk.f(xk)<y
36
где суммируются вероятности тех “иксов”, для которых fixi) <у .
Аналогично записывается функция распределения для Л, если Е,
— непрерывная случайная величина, определяемая плотностью р5(х).
^(y) = ^{n = /©<y} = J P^)dx. (3.39)
В частности, еслиу(х) строго монотонная функция, тогда
Fn(y) = < Я = р[е, < У-1(у)} = % (у-1 (У)) • (3.40)
Если известно, что q непрерывна, то можно определить ее плотность
дифференцированием (3.40):
РП(У) = (У-1 (у)) 4-(у).
' ay ' s dy
Пример 1. Логарифмически-нормалъное распределение.
Пусть £, ~N(a, о2) и ц = . Ясно, что г] > 0 с вероятностью 1, поэто-
му ^(у) = 0 дляу < 0; дляу >0:
ЗД = Р{П = е5 <у} = Р{Е> < In у} = 7 gxP(y2/2g2)^ = ^(1п у).
-оо V 2яа2
Плотность распределения
Су) = ^(!п у) = ^(!п у) / у =
(3.41)
--7== ехр[-(1пу-а)2]/2о2).
У <2тш2
Вид плотности логарифмически-нормального распределения показан
на рис. 3.14.
Пример 2. Линейное преобразование случайной величины.
Пусть закон распределения для £, задается функцией распределения
/^(х). Рассмотрим случайную величину
т] = а + ЬЕ,.
Пусть b > 0. Определим функцию распределения (у):
37
F(y) = P{a+^<y} = PS<Y (3.42)
[ b J \ b )
Если £, — непрерывная случайная величина, то г] тоже непрерывна;
определим плотность дифференцированием:
рл(у)=[^(у)] (3,43а)
Если b < 0, то
и
рл(у) = -р/^Н. (3.436)
\ и ) и
Объединяя (3.43а) и (3.436), для произвольного b можно записать
а'°')*йЧМ- °'44’
Используем это соотношение для преобразования случайной величи-
ны распределенной по стандартному нормальному закону N(Q, 1):
г] = + а.
Поскольку
^(х) = (^)_1е-2/2,
по (3.44) получим
р^(у) = ^2ла2 ) е~(х-а)2/2°2.
Полученное выражение является плотностью нормального распреде-
ления с параметрами а и о2. Это означает, что случайную величину с
произвольным нормальным распределением можно получить линейным
преобразованием из £, ~N(Q, 1).
Пример 3. Возведение в квадрат.
Пусть £, имеет плотность распределения р^(х) и пусть т] = £2. Опре-
делим функцию распределения /^(у). Если у > 0, то
= Р{л = <у) = Р{-4у <^<4у} =
38
если у < 0, то /^(у) =0. Найдем плотность дифференцированием:
pn о)=оо=+Pi> ь/у)] о -45)
Например, пусть £, ~ N(Q, ст2), т.е.
Р^О) = ^2ло2^ е~х2/2а .
Тогда по (3.45)
Рд(У) = ^л/у72лст2 ) е~у2/а .
Сравним р^(х)и рп(у) (см. рис. 3.15).
Раздел 4. Числовые характеристики случайных величин
4.1. Математическое ожидание — характеристика среднего
значения случайной величины
Предварительное обсуждение. Предположим, нам предлагают сле-
дующую игру. Бросаем монету, и если выпадает герб, выигрываем 8 руб.,
а если цифра, то — 12 руб. Это означает, что имеем случайную величину
принимающую два значения 8 и 12 с вероятностями 1/2. Бросание по-
вторяем многократно. Вопрос: сколько в среднем мы ожидаем получить
от одного бросания (другими словами: каково среднее значение случай-
ной величины ф). Ответ прост. Мы понимаем, что за N бросаний получим
примерно
8 у + 12^-,
а за одно бросание, разделив на N:
8| + 12| = 10,
т.е. среднее значение для £, равно 10.
Изменим игру, будем бросать 2 монеты, и если выпадает 2 герба, то
выигрываем 8 руб, а в остальных случаях — 12 руб. Имеем случайную
величину принимающую значение 8 с вероятностью 1/4 и значение 12
с вероятностью 3/4. Бросания повторяются многократно, и в среднем за
одно бросание, рассуждая аналогично, получаем
(8A + i2f)^ = 81 + 12| = ll,
т.е. среднее значение мы получаем, суммируя возможные значения
случайной величины с весами, равными вероятностям. Именно так и
определим характеристику среднего значения случайной величины —
математическое ожидание.
Определения.
а) Пусть £, — дискретная случайная величина, определяемая значе-
ниями X], ..., хк, ... и соответствующими вероятностями р],...,рк,.... Ма-
тематическое ожидание М£, определяется как сумма
^ = HxkPk, (41а)
к
(если ряд сходится абсолютно).
40
б) Пусть S - непрерывная случайная величина S, определяемая плот-
ностью р$(х). Математическое ожидание MS определяется как интеграл
MS= J xp^(x)dx, (4.16)
(если интеграл сходится абсолютно).
Замечание. Механическим аналогом математического ожидания явля-
ется центр тяжести системы материальных точек. Действительно, пусть
в точках х\,...,хк,... находятся материальные точки с массами тк= рк,
равными вероятностям. Тогда центр тяжести хц этой системы есть
Ъхктк
*ц = ----= 1>кРк = MS ,
Lmk к
к
т.е. математическое ожидание. Это позволяет иногда определять MS без
вычислений.
4.2. Дисперсия — характеристика разброса случайной
величины
Приведем пример двух случайных величин Si и S2 > имеющих равные
математические ожидания, но существенно различных по величине откло-
нения от математического ожидания (рис. 4.1): значениями Si являются
числа 8 и 12 с вероятностями 1/2, значениями S2 — числа 5 и 15 с вероят-
ностями 1/2. Обе имеют MSi = MS2 =10, но Si отклоняется от среднего
10 на ± 2, a S2 — на ±5. Усредним квадрат отклонения случайной величи-
ны от математического ожидания и мы получим характеристику разброса.
I
^1 1/2 -2 ' 2 .1/2
I_______
8 Mljy 12
I
I
w । -s ! 5 । i/2
5 М$2 15
Рис. 4.1. Две случайные величины с равными математическими ожиданиями и раз-
личными дисперсиями
41
Определение. Дисперсией Dlj случайной величины называется сумма
О^ = Е(х^-М^)2р^ (4.2а)
к
если £ — дискретна, и интеграл
D£, = J (х - М£)2 p(x)dx, (4.26)
если £ — непрерывна. Справедлива следующая вычислительная формула:
0°
D£ = £ хкРк _ (Щ)2 > если £ — дискретна, (4.3 а)
jt=l
= f x2p(x)dx - (Ml;)2 , если £ — непрерывна. (4.36)
В справедливости (4.3а) (аналогично (4.36)) нетрудно убедиться:
Щ = Шхк-М&Рк = ИхкРк-^^хкРк + ^')2^Рк =
к -к к к
= Ъ4Рк~№&-
к
Поскольку дисперсия получается усреднением квадрата отклонения,
она имеет размерность квадрата единицы измерения случайной величи-
ны. Для того чтобы измерять разброс в исходных единицах, вводят поня-
тие среднеквадратичного отклонения (его также называют стандарт-
ным отклонением)-.
(4.4)
4.3. Математические ожидания и дисперсии для основных
законов распределения
Определим числовые характеристики для некоторых случайных величин.
а) Бинарная случайная величина е.
Значениями е являются числа 1 и 0 с вероятностями соответственно pviq.
Согласно (4.1) и (4.2):
М£ = 1р + 0<? = р-,
= (1 - MQ2p + (0 - Мф2? = (1 - р)2 р + р2 q = pq(p + q) = pq.
42
б) Случайная величина распределенная по биномиальному закону.
p{^k}=cknPk(i-p)n-k.
Поскольку £, — это количество успехов в п испытаниях, £ можно
представить суммой результатов:
л
S = IX >
Jt=l
[ 1, если в Л-м испытании успех,
где Et = <1
[О, если в х-м испытании неуспех,
т.е. £, есть сумма независимых бинарных случайных величин, таких как в
а). Оказывается (это будет ясно из раздела 6), М£ и Щ равны «-крат-
ным значениям Ms*. и D£, т.е.
= пр\ Щ = npq.
в) Случайная величина, распределенная по закону Пуассона,
к
Р{^ = к}=—е~а', к=0,1,2,...
Согласно (4.1):
0° СО ь. 0° —
М£ = Е кР& = к} = Е к^е~а = аё~а £ = ае~аеа = а.
к=0 к=0 т=0
Согласно (4.3а) вычислим
затем
DE, = (a2 +а)-а2 =а.
Итак, параметр а закона Пуассона имеет двойной вероятностный
смысл: это математическое ожидание и одновременно дисперсия, причем
стандартное отклонение
о5 = = \[а .
г) Случайная величина £ ~ N(a, а2), распределенная по нормальному
закону.
43
Плотность распределения
р(х)^42^у1е-^2,2°2.
Согласно (4.16), используя замену переменной z = (х - а) / ст, имеем
М£, = J хГл/2яо2>) е~(х-а) /2а dx= J (а + хст)Гл/2тгст2 e~z l2dz =
= aj (>/2л) е z /2dz + a f e z /2dz = a,
где первый интеграл равен 1, поскольку интегрируется плотность, а вто-
рой равен 0, поскольку под интегралом нечетная функция. С помощью
той же замены нетрудно показать, что
Щ = ст2.
Таким образом, ясен вероятностный смысл параметров аист2 нор-
мального N(a, ст2) распределения: а — это математическое ожидание,
а ст2— дисперсия.
д) Случайная величина, распределенная по равномерному закону.
хе^>
О, xg[a,b].
Используя (4.1) и (4.3), нетрудно получить
М«-^;
2 12
е) Случайная величина, распределенная по показательному закону.
р(х) = ае-ах; х > 0, а > 0.
p(x) = -
М^ = —; ’
а а1
ж) Случайная величина, распределенная по закону Коши с плотностью
р(х) = [1 + (х-а)-2] /л.
Математического ожидания этот закон не имеет, поскольку интеграл в
(4.16) не сходится абсолютно. Дисперсия равна бесконечности.
44
4.4. Общее определение математического ожидания
Математическое ожидание определяется в общем виде через интеграл
Стильтьеса. Поясним это понятие. Пусть на [a, i] заданы функции fix) и
G(x). Разобьем [а, 3] на части точками а = х0 <Х[ <...<х„ =Ь; составим
интегральную сумму
S Л*( )[G(*/) - G(xi-1)], е (х/Ч, х,)
/
и перейдем к пределу при диаметре разбиения X = max|x; -x,_i| -> 0 ;
/
предел суммы назовем интегралом Стильтьеса от функции f(x) с ин-
тегрирующей функцией G(x):
ь
J/(x)dG(x) = ^ЕЯхДад-ССх,-,)]. (4.5а)
а Х-»0
Если G(x) дифференцируема, то, очевидно,
b ь
J/(x)dG(x) = J /(x)G'(x)dx, (4.56)
а а
где G'(x) — производная функции G(x). Если G(x) кусочно-постоянная с
точками разрыва хь ..., х„, ... и величинами скачков соответственно
А(х1),...,А(х„),..., то
Ь
J/(x)dG(x) = S/(x,)A(x,). (4.5в)
a i
Математическое ожидание М£, в общем виде через функцию распре-
деления /^(х) определяется следующим образом:
М^= J xdF^x). (4.6)
Если Е, непрерывна, т.е. F^(x) дифференцируема, то (4.6) в силу (4.56)
сводится к (4.16). Если Е, дискретна, т.е. /^(х) кусочно-постоянная, то
(4.6) в силу (4.5в) сводится к (4.1а).
Если F^(x) можно представить в виде суммы
^(х) = Ед(х) + Е’кп(х), (4.7)
45
где Ffl(x) — дифференцируемая функция, a F^fx) — кусочно-
постоянная, то
М£= f xF^x)ctx+'£xiP(xi'), (4.8)
-оо i
где P(xz) —величина скачка функции /^(х) в точке х,, т.е. вероятность
события £, = х,.
Дисперсия через F^(x) определяется следующим образом:
D$ = J (х-М^)2^(х). (4.9)
Если верно (4.7), то
Щ = J (x-M^(x)dv+S(xz -М^)2Р(х,). (4.10)
-оо i
Приведем также общую формулу через функцию распределения для
вероятности некоторого события £, е В, В с R1:
P{^eB}jdF^x). (4.11)
В
4.5. Математическое ожидание функции от случайной
величины
Пусть случайная величина 5, с известным законом распределения
Г^(х) подвергается преобразованию
П = /(х).
Результатом является случайная величина т|. Требуется определить
Мт] = М/(х).
Существует два способа сделать это.
Первый способ. Найти закон распределения F^(y) и затем вычислить:
Mn= J ydF^(y)
46
Второй способ, вообще говоря, значительно более простой, поскольку
не требует определения закона распределения случайной величины т]. Он
сводится к использованию (х):
Мт] = М/(О = J /(x)rf^(x).
(4-12)
Аналогично определяется дисперсия:
Dt| = D/(О = J /2(х)(х)- (М/(0)2. (4.13)
—00
4.6. Моменты случайной величины
Определение 1. Начальным моментом тк порядка к случайной
величины называется математическое ожидание ее к- й степени:
тк=М^= J х^(х),
если интеграл существует. Ясно, что т0 = 1; mt = М^.
Определение 2. Центральным моментом р4 порядка к случайной
величины называется математическое ожидание к- й степени отклоне-
ния ее от математического ожидания:
Щ = КОД-МО* = J (х-М0*^(х).
Ясно, что р0 = Г, Pi = 1; Р2 = DO
Формулы (4.3) для дисперсии принимают вид:
О£ = М£2-(М02, (4.14)
т.е. дисперсия есть средний квадрат минус квадрат среднего. По-
скольку De, > 0, верно неравенство
М^2 >(М02,
т.е. средний квадрат не меньше квадрата среднего.
Раздел 5. Многомерные (векторные) случайные
величины
5.1. Основные определения
Мы всегда предполагаем, что имеется некоторый эксперимент, ре-
зультат которого заранее неизвестен и непредсказуем. Известно множе-
ство Q = {<о} всех возможных результатов эксперимента, на котором за-
дана вероятность Р. В этой схеме <о — элемент произвольной природы.
Если же исходом эксперимента являются п чисел (!ji, ..., ) (случайная
точка в Р"), то случайный исход называется п-мерной случайной вели-
чиной. Таким образом, Q с Л", и наП задана вероятность Р, т.е. для дос-
таточно произвольного Л, Л с Q, задана Р(Л) = Р{Е, е Л} — вероятность
попадания случайной точки в Л.
Определение 1а. п чисел (!ji,..., £,„) = £, — случайный исход экспери-
мента, называется и-мерной случайной величиной.
«-мерная случайная величина может определяться и задаваться более
общим способом. Пусть Q = {<о} — множество исходов <о произвольной
природы и на Q задана вероятность Р. Пусть на Q определены п функций
с вещественными значениями:
=/1(®), ^2=/2(®)..^=/„(®).
Определение 16. п вещественнозначных функций, определенных на
вероятностном пространстве {Q, S, Pq}, называется и-мерной случайной
величиной. При таком определении нас интересует вопрос, как опреде-
ляются вероятности случайных событий (^,...,^„) = се Л, AqR” (по-
падание случайной и-мерной точки в Л). Выделим в Q множество В:
5 = {ffl:^(/i(®),...,/„((0))6^},
состоящее из тех со, для которых значения функций се Л. Поскольку
PcQ, для В задана вероятность Pq(B) . События {^е Л} и {Е, е Л} экви-
валентны, и потому
Р(Л) = Р{^бЛ} = Рп(Р).
48
5.2. Дискретные и непрерывные случайные величины
Будем рассматривать двумерные случайные величины (£,т]); основные
положения оказываются справедливыми и для случайных величин произ-
вольной размерности.
Определение 2. Случайная величина (£, rj) называется дискретной,
если множество ее возможных значений конечно или счетно. Такая слу-
чайная величина может быть задана перечислением точек (х,у), на
плоскости и соответствующими вероятностями P{(x,y)z}.
Рис. 5.1. Рис. 5.2.
Без ограничения общности можно считать, что множество значений
— это узлы (Xj,y7), i,j = 1, 2,... прямоугольной решетки, поскольку лю-
бое конечное или счетное множество точек на плоскости можно допол-
нить до прямоугольной решетки узлами с нулевыми вероятностями
(рис. 5.1); Р(хь yj) — вероятности соответствующих точек. Можем опре-
делить вероятность попадания (Е,,г|) в некоторую область А на плоскости
(рис. 5.2):
Е Р(Х1>У/)- (51)
(xityj)eA
Очевидно, сумма вероятностей всех точек равна 1:
ЕЕР(х/,Уу) = 1- (52)
X,- yj
По совокупности вероятностей Р{(х,у)/} можно найти закон распре-
деления одной компоненты, например первой:
Р{$ = х,> W = XPQ^yj), (5-За)
yj
49
т.е. при фиксированном значении х, суммируются вероятности всех то-
чек из Q, у которых первая компонента равна х,. Аналогично для второй
компоненты
Р{п = У.} * РЦ(У.) (5.36)
XJ
Определение 3. Двумерная случайная величина (£,т]) называется не-
прерывной, если в любой точке плоскости (х, у) существует плот-
ность вероятности р^(х,у), понимаемая как предел отношения веро-
ятности попадания в прямоугольник с малыми сторонами Ах, Ау к пло-
щади прямоугольника:
.. Р{£е(х,х + Дх),т]е(у,у + Ау)}
lim —--------------------------— = Р^Лх,у). (5.4)
Дх->0,Ду->0 ДхАу
Функция р^{х, у) называется плотностью совместного распределе-
ния для (£, т|). Из (5.4) следует, что вероятность попадания в некоторую
область Я равна интегралу от р^(х,у) по Я:
Р{(^,П)ёЯ}//^п(х,у)аЬ:ф. (5.5)
А
Очевидно,
00 00
f f p^x,y)dxdy=\.
(5-6)
Плотность распределения одной компоненты определяется аналогич-
но (5.3):
P$(*)J Р^У)= J P^x,y)dx.
(5.7)
Пример 1. Случайная величина (£, т]) называется равномерно распре-
деленной в области G, если
р^(х,у) =
5(G)’
О,
если (x,y)eG,
если (х,у)ёС.
с =
Значение константы с равно 1/S(G), где 5(G) — площадь области G,
определяемая из (5.6).
50
Пример 2. Случайная величина (£, т]) распределена нормально, если
РЕд(х,у)
1 (х-а)2 о_(х-а)(у-а) , (y-Z>)2^
2(1-г2) о2 а1а2 аг J
Эта плотность имеет 5 параметров: а, Ь, ст1; ст2, г. Линии уровня для
плотности
РЬ\(х>У) = с
являются эллипсами с центром в точке (а, 6); в этой точке p^tx, у) имеет
максимум. Если по (5.7) определить р^(х) и рп(у), то увидим, что £, и т]
подчиняются нормальному распределению, причем М£ = а; Щ = of;
Мд = b; Щ = 02 • Параметр г — это коэффициент корреляции между £ и
т] (см. пп. 7.3).
5.3. Функции распределения
Определение. Функцией распределения случайной величины (£, т])
называется функция F(x, у), определенная на Л2 и равная в точке (х, у)
вероятности события {£, <х, т] <у}:
F(x,y) = P{^<x,T]<y}. (5.8)
Обычно в индексе указывают случайную величину: F^(x,y);
Свойства функций распределе-
ния.
1. О <F(xy) < 1.
2. F(xy) монотонно не убывает по
каждому из аргументов.
3. F(+oo, +оо) = 1.
F(-<x>,y) = 0, F(x, -оо) = 0.
4. F(xy) непрерывна слева по ка-
ждому из аргументов.
5. Вероятность попадания (£, т]) в
прямоугольник (рис. 5.3):
51
P{a <E,<b, с < т] < с/} = F(b, d) — F(b, с) — F(a, d) + F(a, c).
Эта формула позволяет определить вероятность попадания (£, т]) в об-
ласть, которую можно представить непересекающимися прямоугольни-
ками.
6. Связь плотности с функцией распределения:
(59)
Ох оу
Действительно, в силу (5.5)
F(x,y) =/>{^<х,т]<у} = J J p(x',y')dx'dy'.
Дифференцирование по х и у дает (5.9).
Для случайной величины £ s (£ь ..., £п) произвольной размерности:
7. По F(xy) можно определить функции распределения и плотности
для отдельных компонент:
Fl; (х) = Р{£ < х} = Р{£ < х, т] < +оо} = F (х, +оо);
, . _• 5Г(х,+оо)
p^x) = F^x) =----------;
Л] (у) = ^(+°°> у), Рц Си) = dF^,y^
5.4. Независимость случайных величин
Напомним, что события Л и В называются независимыми, если
Р(АВ) = Р(А) Р(В).
Определение 1. Дискретные случайные величины £, и т] называются
независимыми, если при любых х, и у,
= У]} =
^п{х,.,уу} = ^(х,.)Рп(у7). (5.10)
52
Определение 2. Непрерывные случайные величины называются неза-
висимыми, если для любых х и у для плотностей справедливо равенство:
/^1 {Х1’У} = Р$(*')Рц(у)- (5.11)
Определение 3. Понятие независимости для случайных величин об-
щего типа формулируется в терминах функций распределения. Величины
и т] независимы, если
= (512)
Определение 4. п случайных величин (£],...,£„) = £, называются неза-
висимыми в совокупности, если
^{х1,...х„} = ^(х1)...^(х„). (5.13)
5.5. Условные распределения
а) Рассмотрим сначала дискретные случайные величины £ и д, опре-
деляемые совокупностью {(х,,уу)| точек на плоскости и соответствую-
щими вероятностями |Р(х/;уу)|. Предположим, что эксперимент прове-
ден. Стало известно значение одной компоненты т] = у, но значение дру-
гой компоненты £ = х = ? остается неизвестным. Возникает вопрос: како-
вы вероятности того, что £ имеет различные значения х, ? Выпишем эти
вероятности по формуле условной вероятности:
Ал(хму)
/^(х,. I П=у) = Р^ = х/ |п=у) = • (5.14)
В этом выражении х, изменяется, а у зафиксирован.
Определение. Совокупность по х, вероятностей (5.14) называется
условным распределением случайной величины £, при условии известного
значения т] = у.
Просуммировав (5.14) по х, с учетом (5.36) убеждаемся, что
Z^(xi|n = y) = i- (5.15)
б) Рассмотрим непрерывные случайные величины £ и т], определяе-
мые плотностью совместного распределения р^(х,у). Предположим,
53
что эксперимент проведен. Стало известно значение одной компоненты
т] = у, но значение другой (£) остается неизвестным. Каково теперь рас-
пределение значений для £?
Определение. Плотностью условного распределения случайной вели-
чины Е, при условии известного значения д = у называется функция от х:
7^(^1п=Р)= lim Р{^е(х,х + Ах)|т]е(у,у + Ау)}/Ах=^!^-^.(5.16)
Дх->0,Ду->0 ' Рп(у)
Убедимся в том, что предел равен отношению плотностей. Действи-
тельно
Р {5 е (х, х + Ах), д е (у, у + Ау)} р^ (х, у) Ах Ау + о( АхАу) > р^ (х, у)
ДхР{пе(у,у + Ау)} Ах(рп(у)Ау + о(Ду)) рп(у)
при Ах-> 0, Ау -> 0. В выражении для условной плотности р^(х | т]=у)
переменной является х, а значение у фиксировано. Интегрирование (5.16)
по х с учетом (5.3а) дает 1:
7/1 w 1 7 / w р^ 1
J Р№П = У№ = —— J (х,у)А = —— = 1.
Д, А] (У) Л, А] О')
Замечания.
1. Поскольку значение у зафиксировано,
Р^^ = У) = с\Р^х,С2). (5.17)
Эта запись означает, что условная плотность, как функция х, совпада-
ет с точностью до константы q = 1/ р-^у) с сечением функции р^ двух
переменных при фиксированном значении у = с2 другой переменной.
Нормирующая константа ct определяется из условия
q J P^(x,y)dx = l.
2. Если £, и п независимы, т.е. р^ (х, у) = р^ (х)р^ (у), то
. । , Р^х,у) Р^х)рц(у)
Р$(* П = У) = ' = ——“Г— = Pt,(5.18)
А100 А] О')
т.е. условное распределение совпадает с безусловным.
3. Аналогично (5.16) вводится условное распределение случайной ве-
личины л при условии известного значения £ = х:
54
А1(у|£=*)=
#;П(х,У)
Р^(х)
Замечания 1, 2, 3, сделанные для непрерывных случайных величин,
справедливы и для дискретных, надо лишь плотности заменить вероятно-
стями и интеграл — суммой.
5.6. Условные математические ожидания и условные
дисперсии
Для условных распределений мы можем определить математическое
ожидание, дисперсию и другие числовые характеристики. Они нужны
для многих целей, в частности, для прогноза. Если стало известно значе-
ние одной компоненты ц = у, и мы хотим предсказать ненаблюдаемую
компоненту £ = х = ?, то лучшим прогнозом £, является условное матема-
тическое ожидание:
I = М(£|т] = у) s т^у).
Например, известна на сегодня температура в Москве, а мы хотим
предсказать температуру в Ярославле. Лучшим прогнозом является ус-
ловное математическое ожидание. Здесь лучшим прогнозом мы понимаем
такой, для которого средний квадрат ошибки минимален.
Для того чтобы рассматривать одновременно дискретные и непре-
рывные случайные величины, будем использовать единое обозначение
у), понимая его как плотность, если £, и ц непрерывны, и как веро-
ятность при дискретных аргументах, если £, и ц дискретны. Аналогично:
условные распределения Pgn(x | у), р п^(у I х) и распределения компо-
нент р^х) р^у).
Определение. Условным математическим ожиданием случайной ве-
личины £ при условии известного значения ц =у называется
^(у)^М(^т] = у) = -
£ х (х| т) = у), если (£, ц) - дискретна,
X
оо
j х р^(х|т] = у)etc,если (£,ц)-непрерывна.
(5.19)
Определение. Условной дисперсией случайной величины £, при усло-
вии известного значения ц =у называется
55
^(у)^\ц=у>
£(х-»^(у))2 ^(х|т]=Л если (^п)-дискрепи,
J (5-20)
/ (x~n^(y))2p^^T[=y)dt,ecw (^-непрерывна.
Поскольку значение у случайно, мы можем рассматривать значения
функций т^(у) и d^(y) как случайные величины:
^(n)*MGh),^(n) = DG;|n).
Справедливы следующие замечательные формулы:
М£ = ММ(£|п), (5.21)
Щ = МО(£|п)+ОМ($|п). (5.22)
Покажем справедливость (5.21) для дискретных случайных величин.
Запишем формулу полной вероятности:
р{£> = *} = EZ01 = У}р£ = = у};
у
в наших обозначениях
W = 2>п (у)р^ (*h = Д'))-
у
Умножим это соотношение на х и просуммируем:
S xPt, (х) = X Рх\ (У)ХхР£, (*| П = У),
х ух
что означает
= X А1 (У)™^ (у) = Мти^ (п) = ММ(£ I п).
У
Покажем справедливость (5.22). По формуле (4.14), справедливой для
любых распределений, в том числе условных
D(£ | п = У) = М(£2 | П = >0 - [М(£ | и = Д')]2 •
Здесь слева и справа — функции от у, которые мы можем рассматри-
вать как функции от случайной величины д:
^(П) = А(п)-[ти^(п)]2.
56
Если определить математическое ожидание слева и справа (используя
свойство из раздела 6: математическое ожидание суммы равно сумме
математических ожиданий), то получим
MD(ij| л) = ММ(£2 | п)-М[М(£| Л)]2. (5.23)
Определим второе слагаемое в (5.22):
DM(^ | П) = О(^(Л)) = М(^(Л))2 -[М(^(т])]2 =
=М[М(£| п)]2 -[ММ(£| Л)]2.
Складывая (5.23) и (5.24) и дважды применяя (5.21), получим (5.22):
MD(£ | n)+ DM(^ | п) = ММ(£2 | т])-[ММ(^ | п)]2 = М£2 -(М£)2 = Щ.
Пример использования (5.21) и (5.22). Требуется определить матема-
тическое ожидание и дисперсию суммы S случайного числа v случайных
величин :
s = &.,
i=l
где £b...,£v независимы; =а; Щ, = о^; v независима от ^1,...,^v,
Mv = v, Dv = a2. Рассмотрим двумерную случайную величину (s, и).
Определим MS по (5.21):
M(S|v
= л) = М Ё£,|и = л
= м£^=лМ^ = ла;
1=1
M(s1 v) = va;
M(s) = M(Ms | v)= M(va) = aMv = av.
Определим DS по (5.22); сначала найдем условную дисперсию:
(у Л Гп Л
D(S|v = «) = D = и =D ZSi =w|-
ki=l
7=1 J
Здесь мы воспользовались свойством дисперсии (раздел 6): дисперсия
суммы независимых случайных величин равна сумме дисперсий.
D(S|v) = vo|.
57
Согласно (5.22)
DS = M(D(S | v)) + DM(S1 v) = M(vo| ) + D(ya) = .
5.7. Преобразование многомерных случайных величин
Пусть многомерная случайная величина ....£л) = £ с законом рас-
пределения р£хх,..., х„) : р£х) подвергается преобразованию:
*
или в векторной записи:
п =Л^)-
Требуется определить закон распределения для д. Найдем функцию
распределения:
ГЛ(У1 ут) = Р{/1© <л,...,/„© <ут} =
р^ (х),. если £, - дискретна,
x:fk(x)<yk,
к=1,...,т
= , , (5.25)
I ... Ip^(x) dxx...dx„, если непрерывна.
x-fk^<yk
k=l,...,m
В приведенных соотношениях суммирование (и интегрирование) про-
изводится по тем значениям переменной х, для которых /к(х) < ук ,
к =1,..., т. Используем это соотношение для получения нужных резуль-
татов.
а) Распределение суммы двух случайных величии.
Рассмотрим сумму двух случайных величин и т] (т.е. сумму компо-
нент двумерной случайной величины, определяемой плотностью р^ху)).
Необходимо найти плотность p^+t)(z) для суммы
; = £ + п-
Определим функцию распределения 7^+t|(z) (z — произвольное фик-
сированное число):
58
нЛ(г) = Р{^ + т1<г}= jf Р^(х>У)е&(^= f f Pfr(x,y№ Ф (5-26)
(x,y):x+y<z —оо|_ —оо
Для получения плотности дифференцируем:
P§+n(z) = f Pfr(z-y,y)dy- (5.27а)
Если в (5.26) сначала интегрировать по у, затем по х, получим
оо
7Vn(z) = f P^(x,z-x)dx. (5.276)
Если предположить, что £, и ц независимы, т.е.
У) = Pt, О)/>ЛО) >
то получим
оо оо
7Vn(z) = f P^~y}Px\(y)dy= f P^)p^{z-x)dx. (5.28)
—oo —oo
Последнее выражение представляет собой свертку двух функций
р^{х) и рц(у). Соотношения, аналогичные (5.27) и (5.28), справедливы
для дискретных случайных слагаемых. Для независимых слагаемых:
Р^) = ЦР^-у)Р^у) = ^^(x)PT,(z-x). (5.29)
У X
6) Распределение хи-квадрат с двумя степенями свободы.
Пусть и — независимые нормально распределенные по N (О, 1)
случайные величины. Рассмотрим сумму их квадратов:
П = £1 +^2-
Покажем, что распределение для ц является показательным с плотно-
стью
1 -1 2
Рц(у) = -е 2, У>О,РЛ(^) = О, У^- (5.30)
Действительно, плотность распределения для пары (£ь£2) есть
2 2
7^2 *2)7^ (*1) 7^2 (х2> = (2л)_1е_(х1+Х2>/2.
59
Определим функцию распределения при у > 0:
гт,(у) = р{^+^<у}= J
х2+х22 <У
Введем полярные координаты:
xi =pcos<p; Xj = psin<p,
якобиан преобразования равен р. Получим
4^ , 2/, 1
Fn(y) J J (2л) le р /2pdp d<p = -e 2 /о
-л 0
= 1-е~>,/2
После дифференцирования получим (5.30).
Используя (5.28) и (5.29), можно доказать следующее.
Утверждения.
1. Сумма двух независимых случайных величин £i ~./V(ai,a2) и
£2~N(a2>a2) > распределенных нормально, распределена нормально с
параметрами М(^ + £г) = (а1 + а1У’ D(£i + £2) = а? + а2 •
2. Сумма двух независимых случайных величин, распределенных по
закону Пуассона, распределена по закону Пуассона с параметром, рав-
ным сумме параметров.
Раздел 6. Свойства математического ожидания
и дисперсии
6.1. Свойства математического ожидания
1. Математическое ожидание константы есть константа
Мс = с. (6.1)
2. Константа выносится за знак математического ожидания:
М(с£) = сМ£. (6.2)
3. Математическое ожидание суммы случайных величин равно сумме
математических ожиданий:
М(£ + т|) = М£ + Мт]. (6-3)
4. Если случайные величины независимы, то математическое ожида-
ние их произведения равно произведению математических ожиданий:
М(£ п) = МП. (6.4)
Покажем справедливость этих свойств.
1. Константу с можно рассматривать как вырожденную случайную
величину, которая принимает единственное значение с с вероятностью 1.
2. Формула (6.2) доказывается применением формулы
M/© = f/(x)^(x), (6.5)
если положитьХО = с £ и с вынести за знак интеграла.
Формула (6.3) также доказывается с помощью формулы, аналогичной
(6.5). Для дискретных случайных величин
МЖ)=ШЖЖ?). (6.6)
х У
Если в качестве^,т|) взять сумму= + П)>т0 по (6-6)
мж+п)=Z Z (х> уУ\х, у)=Z XZ р(х> у)+Z уХ р(х> у) =
X у х у у X
= ХхР^(х)+Хург1(у) = Щ+мц-
х У
4. Аналогично показывается справедливость (6.4); для дискретных
случайных величин, если они независимы, т.е. Р(х, у) = Р^ (х)Рц (у), имеем
^^=ХХ(хУ)р(х>У) = ХХ(хУ)р^(х)рг}(у) = ХхР^(х) ЕХпО) =М4МП-
61
6.2. Свойства дисперсии
1. Дисперсия константы с равна 0:
Dc = 0. (6.7)
2. Прибавление константы не изменяет дисперсию:
D(£ + c) = D£. (6.8)
3. Константа из-под знака дисперсии выносится с квадратом:
D(c£) = c2D£. (6.9)
4. Для дисперсии суммы случайных величин справедливы следующие
формулы:
а) для независимых случайных величин дисперсия суммы равна сум-
ме дисперсий:
Dfc + т]) = Щ + Dti; (6.10)
б) для произвольных случайных величин:
+ т|) = Щ + Dt] + 2М(£°т]0), (6.11)
где£° = £-М£, т]° = т]—Мт].
5. Неравенство Чебышева’. V t > 0
р{|^-М^|>1}<-^; (6.12)
это неравенство понимается так: вероятность большого отклонения слу-
чайной величины от своего математического ожидания мала, и она тем
меньше, чем меньше дисперсия.
Справедливость свойств 1 — 4 вытекает из определения дисперсии
D£ = M(£-M£)2
и свойств математического ожидания.
Действительно:
1) Dc = M(c-Mc)2 =0;
2) D(£ + c) = M[(£ + c)-M(£+c)]2 = М[£ + с-М£—с]2 = M(^-M$)2 =D£
3) D(c£) = M[c£-M(c£)]2 = M[c£-Mc£ ]2 = м[с2(£-М£)2] =
4.6) D(£ + T|) = М[(£ + т|)-М(£+1])]2 =М[(^-М^) + (Л-МЛ)]2 =
= м[(£-М02 +(n-Mn)2]+2(^-M^)(n-Mn)=D^+Dn +2M(^°n°);
а) если £ и т] независимы, то по (6.4)
62
= 0 ;
5) доказательства (6.12) приведено в разделе 8.1.
Пример 1 использования свойств. Проведем п независимых испыта-
ний случайного события А, вероятность появления которого в одном ис-
пытании Р(А) = р. Определим математическое ожидание и дисперсию
количества £ успехов. Эту случайную величину можно представить сум-
мой результатов п испытаний:
п
£ = Ёе/ >
1=1
1, если в i-м испытании "успех" (вероятность р\,
где е, =
О, если в i-м испытании неуспех" (вероятность q = 1 -р).
Согласно (6.3) и (6.10)
М^ = М£е, = £Ме, = Хр = пр;
1=1 1=1 1=1
Щ = D£ е, = X De, = Е РЧ = npq.
1=1 i=l i=l
Пример 2. В устройстве п блоков. При испытании блок с номером i
выходит из строя с вероятностью р,. Определить среднее количество вы-
ходящих из строя блоков, а также дисперсию.
Количество £, выходящих из строя блоков можно представить в виде
суммы по блокам:
л
£ = >
1=1
1, если в i-й блок выходит из строя (вероятность р,),
где £, = ( . .
0, если i-й блок не выходит из строя (вероятность 1 - р,J.
Согласно (6.3) и (6.10)
= М£ е, = £ Me, = X Pi,
i=i i=l i=l
п п п
s, = Ё Dei = Ё АО - А )-
1=1 1=1 1=1
Раздел 7. Числовые характеристики многомерных слу-
чайных величин
Пусть £ s(£b ^п)т- многомерная случайная величина (вектор-
столбец).
7.1. Математическое ожидание — характеристика среднего
значения случайной величины
Определение. Математическим ожиданием называется век-
тор математических ожиданий:
М^ = [М^,...,М^]Г. (7.1)
Каждая компонента этого вектора может быть выражена через инте-
грал:
= J xdF^(x) = J \xkdF(xx,...,xn),
где F^ —функция распределения случайной величины F(xl,...,xn')
— функция распределения случайной величины £, = (^ь ..., £,«).
7.2. Дисперсионная матрица — характеристика рассеяния
Определение. Дисперсионной (ковариационной) матрицей на-
зывается матрица вторых центральных моментов:
(7.2)
где bjk =m[(^-M^)(^-M^)]scov(^,^) (7.3)
называется ковариацией случайных величин и . Если £, — непре-
рывна и р(х\, ..., хп) — плотность вероятности, bjk выражается очевид-
ным образом через интеграл:
bjk = (7.4)
Я"
Дисперсионная матрица является симметричной:
ВТ = В
64
и неотрицательно определенной, т.е. для любых значений переменных
•••> tn
J к
(7-5)
Это свойство доказывается рассмотрением случайной величины т] —
линейной комбинации
к
Вычислим дисперсию Dr]. Поскольку Мт] = О,
Dr] = Mr]2=M
-J к
что совпадает с суммой в (7.5); но Dr] > 0, что и дает (7.5).
Дисперсионную матрицу можно представить так:
j к
DJ; = М(£Ч07’), где ~ Mt (7.6)
7.3. Коэффициент корреляции — характеристика линейной
связи между случайными величинами
Определение. Коэффициентом корреляции между двумя случайны-
ми величинами и ц называется величина
cov(tn) tj — Мт,
г = г (t г|) = = М ------2 • ---1
л/D^Dr] [ ол
(7.7а)
Замечание. Ковариация выражается через коэффициент корреляции:
cov(t ц) = г (t tiX/d^Di], (7.76)
и формула для дисперсии суммы случайных величин принимает вид:
D(£ + П) = щ + Е>П + 2r^D^Dr]. (7.8)
Свойства коэффициента корреляции.
1. | г | < 1.
2- Ir(t n)l = 1 тогда и только тогда, когда между случайными вели-
чинами £ и г] имеется линейная связь:
с^ + с211 + с3 =0,
2 2 2
где ci, с2, с3 — константы, причем q + с2 + с3 * 0.
65
3. Если случайные величины ; и т] независимы, то /•(£, р) = 0.
4. При линейном преобразовании случайных величин модуль коэф-
фициента корреляции не изменяется:
I г(£, р) I = I r(a> Р) I, где а = cj£ + bx, р = c2p + b2.
Эти свойства легко доказываются из (7.7) и (7.8).
Определение. Нормированной корреляционной матрицей R назы-
вается матрица коэффициентов корреляции:
R=ы-
bjk
°j°k
(7.9)
Матрица R связана с дисперсионной D£ = В очевидным образом:
Di>B = £R£ , (7.10)
0
где £=
— диагональная матрица стандартных откло-
0
п
нений.
7.4, Свойства математического ожидания н дисперсионной
матрицы
Справедливы свойства, аналогичные тем, которые были выписаны
выше для одномерных случайных величин.
А. Свойства математического ожидания.
1. Пусть с = (q,..., с„ )г — вектор констант;
Мс = с.
2. Если С — матрица с неслучайными коэффициентами, то
а) М(С£) = СМ£, С — матрица т хп,
б) М(£ГС) = М£ГС, С — матрица п х т.
3. Пусть ^ = (^,...,^„)г и rj = (r|i,...,ri„)r —две многомерные слу-
чайные величины. Всегда справедливо:
М(£ + п) = ME; + Мт].
4. Если Е, и г] независимы, то
а) М(£ пг) = ME; (Mp)r;
б) М(£г п) = (М£)т Мт].
66
Эти свойства доказываются, опираясь 1) на свойства математического
ожидания для одномерных случайных величин и 2) на тот факт, что ма-
тематическое ожидание матрицы со случайными элементами есть
матрица математических ожиданий.
Б. Свойства дисперсионной матрицы.
1. Пусть С = (сь ..., сп)Т — неслучайный вектор;
DC = 0, где 0 — нулевая матрица п х п.
2. D(C + £) = D£.
3. D(C £) = CD£Cr,
где С — прямоугольная матрица констант т х п.
4. а) Если ; и т] независимы, то
D(^ + n) = D^ + Dn.
б) Для произвольных И Т]
D(£ + П) = Di; + Dn + М(£°т|о7) + [М(^поГ)]Г
Перечисленные свойства легко доказываются, опираясь на (7.6) и
свойства математического ожидания.
Раздел 8. Закон больших чисел
Рассмотрим важное неравенство, которое потребуется при обсужде-
нии закона больших чисел.
8.1. Неравенство Чебышева
Теорема. Пусть — случайная величина; F(x) - ее функции распре-
деления; — математическое ожидание; DE, — дисперсия. Справедли-
во следующее неравенство: для любого положительного t > О
t
(8.1а)
здесь |£ — М^| — отклонение случайной величины от математического
ожидания. Неравенство означает: вероятность большого отклонения ма-
ла, и она тем меньше, чем меньше дисперсия.
Доказательство. Зафиксируем произвольное положительное t > 0 и
оценим дисперсию:
D£ = f (x-MQ2</F(x)> f (x-M^)2c/F(x) > t2 f <ZF(x) =
-□о x |x-M^>/ .(8.16)
Здесь сначала была уменьшена область интегрирования, затем под
интегралом величина (х - М£)2 была заменена на меньшую г2; оставший-
ся интеграл J dF(x) есть вероятность события |£ - М^| > t. Если
х |х-М£|>/
соотношения (8.16) разделить на ?, получим неравенство (8.1а).
Используем неравенство Чебышева для обоснования широко распро-
страненного практического правила, которое называется «Правило трех
сигм». Оно утверждает, что в результате испытания случайной величины
ее значение практически достоверно окажется в интервале «математи-
ческое ожидание ± Зст », т.е.
Р{№, — Зст < £ < ME, + Зст} « 1.
Действительно,
Р{|£ - М£| < Зст} = 1 -Р {|!j-М£|>Зст} > 1 - = 1 - 1 = |
(З^)2 9 9
68
На самом деле эта вероятность обычно значительно больше. Напри-
мер, для нормального распределения она равна Р = 0,997, для равномер-
ного Р = 1, для показательного Р » 0,98.
8.2. Закон больших чисел (в форме Чебышева)
Смысл этого закона состоит в том, что среднее арифметическое слу-
чайных величин стремится к константе при увеличении их числа:
1 "
ni=\
(8.2)
Обобщением (8.2) является следующее.
Определение. Говорят, что последовательность случайных величин
подчиняется закону больших чисел, если при п -> <х>
1 п ] л
«,=1 «,=1
>0 по вероятности, (8.3)
что означает: для любого е > 0
(8.4)
В частности, при одинаковых математических ожиданиях М£ = а за-
кон больших чисел может быть записан так:
1 л
— У kt--------> а по вероятности. (8.5).
«Й л->“
Различные теоремы дают условия справедливости закона больших
чисел.
Теорема Чебышева. Если последовательность случайных величин
£п, ••• обладает свойствами:
1) случайные величины попарно независимы;
2) существуют математические ожидания М^, = а, и дисперсии Щ,;
3) дисперсии равномерно ограничены: Щ, < С < <х>,
тогда последовательность подчиняется закону больших чисел (8.3)
Доказательство. Согласно (8.4) для произвольного е > 0 оценим ве-
роятность с помощью неравенства Чебышева, обозначив
1 Я 1 и
а = Ма = -£а,-.
«,=1 «1=1
69
Оценим
1 л in
Р<£
[Л/»! ni=i
е2 =
(л2е2)>1--------------->1.
ле2
Следствие. Если математические ожидания одинаковы, т.е. М^( = а,, то
= 1-
1 "
ni=i
что означает: для любого
л->оо
э а по вероятности,
Р- -2Х-«|<е•
«<=1
------->1.
л->00
п
Это соотношение обосновывает в теории измерений правило усредне-
ния измерений: при многократных измерениях величины а получаются
не вполне совпадающие измерения ^], ..., ^л. В качестве результата бе-
рется среднее арифметическое
1 п
а = ~^.
ni=i
При большом п с вероятностью, близкой к 1, получим значение, сколь
угодно близкое к а.
Следствием этой теоремы является теорема Бернулли; это первая тео-
рема (1712 г.) в классе теорем о законе больших чисел.
Теорема Бернулли. Пусть А — некоторое случайное событие с веро-
ятностью успеха Р(А) = р, ц — количество успехов в п независимых ис-
ц
пытаниях. Если п —> оо, то относительная частота — стремится к р по
п
вероятности:
Н
п
что означает: для любого е >
н
п
------>1.
л—
70
Доказательство. Представим ц как сумму результатов п независимых
испытаний:
п
Ц = (8-6)
{1,если в i-м испытании "успех",
О,если в i-м испытании "неуспех".
Ясно, что Ме, = р; De, = р(1- р), и тогда относительная частота
по теореме Чебышева стремится к Me, = р по вероятности.
Теорема Маркова. Если последовательность ..., , ..., как угод-
но зависимых, такова, что
1 п
(S’)
то закон больших чисел выполняется.
Доказательство проводится с помощью неравенства Чебышева анало-
гично теореме Чебышева.
Теорема Хинчина. Если случайные величины ..., , ... незави-
симы, одинаково распределены, и существует математическое ожидание,
то закон больших чисел выполняется. Оставим эту теорему без доказа-
тельства, поскольку для доказательства необходимы дополнительные
знания (аналитический аппарат характеристических функций).
Раздел 9. Центральная предельная теорема
(классическая предельная теорема)
9.1. Сходимость распределения суммы к нормальному закону
п
Рассматривается сумма случайных величин = X • Оказывается,
1=1
при весьма широких условиях сумма при увеличении числа слагаемых
распределена приближенно по нормальному закону ЛГ(ал,а2) с парамет-
рами, равными параметрам суммы: ап = М5Л, ол = DS„. Точнее: функ-
ция распределения нормированной суммы стремится к функции рас-
пределения стандартного нормального закона:
п п
2Л-М1Х
г - '=1 <=1
Чл “ |----
I п
V 1=1
z2
х в 2
>ф(х)= J
(9-1)
Нормировка состоит в вычитании математического ожидания и деле-
ния на корень из дисперсии; нормированная сумма (,п имеет М£л = 0;
Определение. Говорят, что к последовательности случайных величин
применима центральная предельная теорема, если выполняется свой-
ство (9.1).
Свойство (9,1) выполняется при различных условиях, например при
следующих.
Теорема. Если ... — последовательность независимых слу-
чайных величин, причем их дисперсии равномерно ограничены с двух
сторон, т.е. О < ci < DL,i < сг< °°, то соотношение (9.1) выполняется.
Оставим без доказательства эту теорему, поскольку она требует до-
полнительных знаний (аппарат характеристических функций).
Свойство (9.1) нормализации — необычайно важное свойство. Со-
гласно разделу 5.7, распределение суммы Sn случайных слагаемых опре-
деляется многократным интегрированием. Свойство (9.1) при прибли-
женных расчетах позволяет не выполнять эту работу. Оказывается, дос-
таточно определить М5„ и DS„.
72
Практические выводы. Если имеется некоторая величина S, на кото-
рую влияет много факторов, и каждый из них дает малый вклад в общую
п
сумму 5 = 22 > то эта величина подчиняется приближенно нормально-
1=1
му закону распределения. Именно такая ситуация имеет место при изме-
рениях. На результат измерения действует много факторов, порождаю-
щих ошибки: состояние прибора, которое незначительно меняется от
воздуха (температура, влажность), механических вибраций, от напряже-
ния сети, ошибки наблюдателя и т.д. Результирующая ошибка оказывает-
ся нормальной. По этой причине измерения обычно считают нормальны-
ми, и теория обработки результатов измерений исходит из нормальности
ошибок измерений.
Центральная предельная теорема широко используется для прибли-
женного вычисления вероятностей, связанных с суммами случайных ве-
п
личин: Sn = 22 По центральной предельной теореме приближенно
1=1
Sn ~ DS„) , и потому
P{xi<S„
< *2 } = Лг (*2 ) - Fs (х\) « ф
Х2 -М5„
-Ф
X] -М5„
(9.2)
9.2. Теорема Муавра-Лапласа — частный случай центральной
предельной теоремы
Пусть А — некоторое случайное событие с вероятностью успеха
Р(А) = р и ц — количество успехов в п независимых испытаниях. Пред-
ставим ц как сумму результатов п независимых испытаний:
п
ц = (9.3)
1=1
(1, если в z-м испытании "успех",
где £; = (
[О, если в z-м испытании "неуспех".
Согласно центральной предельной теореме при п —> оо случайная ве-
п
личина ц = 22 е/ имеет
/=1
73
2 "
Мц = a„ = пр-, csn = D£ £, = npq.
i=l
Плотность нормального распределения с этими параметрами:
_ (х-пр)2
р(х I ап = пр- о2 = npq) = * е 2прч ,
л/2л у/npq
а функция распределения F(x) = Ф
х-пр
<4пРЧ;
ного нормального распределения. Следовательно, во-первых (рис. 9.1),
(к-пр)2
2 е 2npq
= к.} » р(к | ап = пр\ = npq)hx = .— .—=•, где Дх = 1
, Ф(-) — функция стандарт-
(это локальная формула Муавра—Лапласа), и, во-вторых,
P{ki <\к<к2] =Ф
(, \
«2 ~пр
^2 ~пр
(это интегральная формула Муавра—Лапласа).
9.3. Примеры использования теоремы
Пример 1. Оценка ошибок округления. Имеется п чисел xj, ..., хп.
п
Требуется вычислить сумму = X Суммирование проводим на вы-
1=1
74
числительной машине с конечным числом разрядов, т.е. суммируются
округленные значения у], ..., уп,
п
1=1
ошибка округления 8( = у, - х( — случайная величина, не превосходит
половины последнего разряда. Ошибка вычисления
ES = Sy-Sx^bt.
1=1
Если не учитывается случайный характер ошибки, то, очевидно
\1^\<^=пу2 (9.4)
в единицах последнего разряда.
Однако ошибки имеют случайный характер-, можно считать, что они
равномерно распределены на отрезке [—1/2, 1/2] и независимы. В этом
случае MAS = п • 0 = О, DAS = п /12 . Нужно определить такое h = ?, что
AS |< h выполняется практически достоверно, т. е. с вероятностью, близ-
кой к 1, например с вероятностью РЛ= 0,997:
Р{|А5|<Л} = РД.
В силу (9.2) эта вероятность
Р{|AS| < h} » фГ-j ~° 1-фГ ~/*-° 1 = Ра
11 1 ’ IVDASj IVDAS)
Обозначим х неизвестное значение: h / DAS = х . Тогда
Ф(х)-Ф(-х) = Рд.
Учитывая, что Ф(-х) = 1 - Ф(х), имеем
Ф(х) = (1 + Рд)/2 = 0,9985,
откуда х = 3, т. е.
h = 3-VDAS =3>/я/12 = л/Зя/2
в единицах последнего разряда. Если, например, п = 300, то
Л = л/3 - 300/2 = 15 . Без учёта случайности по (9.4) Ло = 150, т.е. ошибка
оказывается завышенной в 10 раз.
75
Пример 2. Расчёт устройств со случайными параметрами.
Пусть выходной параметр устройства т| является функцией входных
параметров
П = (9.5)
Истинные значения—Ли входных параметров обычно отлича-
ются от номинальных, с которыми ведутся расчёты; пусть - а, + е, , где
а, - номинальное значение; е, — случайное отклонение от номинала;
Me, = 0;D£| = о2. Расчётное значение выходного параметра равно
П = /(а1,...,а„).
Нас интересует вопрос: будет ли отклонение |п~ й| находиться в пре-
делах допуска А? Для ответа на вопрос определим вероятность
Р{| п-Й1<А}; (9.6)
если она близка к 1, то ответ утвердительный. Оценим эту вероятность.
Если величины е, малы, то
П = Ж ,-Лл) * /(«1 > -> ап) + Е
где fj' — производная по z-й переменной. Отклонения е, можно считать
независимыми,
M5„=0; DS„ = £(//)2o,2aoL
i=l
Оценим (9.6) по центральной предельной теореме:
Р{|n-П |< А} «Ф
'а-М5п
-Ф
-А-М5л
= 2Ф(—)-1.
°£
Если эта вероятность близка к единице, т.е. — > 3, (иначе < А/3),
°£
то отклонение истинного значения от расчетного будет находиться в пре-
делах допуска.
76
Контрольные вопросы
Раздел 1
1. Какая схема изучается в теории вероятностей?
2 цт0 такое «случайное событие»?
3. Какие операции вводятся между случайными событиями?
4. Каковы эмпирические предпосылки введения понятия вероятности
случайного события?
5. Как аксиоматически определяется вероятность?
6. Как определяется вероятность в классической схеме?
Раздел 2
1. Как определяется условная вероятность?
2. Что устанавливает формула умножения вероятностей ?
3. Как определяется независимость случайных событий?
4. Что устанавливает формула полной вероятности и формула Байеса?
Раздел 3
1. Как определяется случайная величина? Какие случайные величины
называются дискретными и какие - непрерывными?
2. Что такое повторные независимые испытания и что есть биноми-
альная случайная величина?
3. Что утверждает теорема Муавра - Лапласа?
4. Что утверждает теорема Пуассона?
5. При каких условиях последовательность случайных точек на оси
вещественных чисел (например, на оси времени) называется простейшим
потоком? Какому закону подчиняется случайное число точек на интерва-
ле длины 7?
6. Как определяется функция распределения случайной величины?
Каковы ее свойства?
7. В каком случае случайная величина называется непрерывной?
8. Что такое нормальный закон распределения и каковы его свойства?
Раздел 4
1. Что такое математическое ожидание и дисперсия?
2. Что такое моменты случайной величины?
3. Как вычислить математическое ожидание и дисперсию функции от
случайной величины?
Раздел 5
1. Как определяется многомерная случайная величина?
2. Как определяется функция распределения двумерной случайной ве-
личины? Как связаны плотность и функция распределения?
77
3. Как определяется условное распределение одной случайной вели-
чины при условии, что значение другой известно?
4. Что такое условное математическое ожидание и условная дис-
персия?
5. Как определить плотность вероятности суммы двух независимых
случайных величин по известным плотностям слагаемых?
Раздел 6
1. Каковы свойства математического ожидания?
2. Каковы свойства дисперсии?
Раздел 7
1. Как определяются характеристики среднего значения и разброса
для многомерной случайной величины?
2. Что такое коэффициент корреляции и каковы его свойства?
3. Каковы свойства многомерного математического ожидания и кова-
риационной матрицы?
Раздел 8
1. В чем смысл неравенства Чебышева и как оно записывается?
2. Последовательность случайных величин подчиняется закону боль-
ших чисел. Что это означает?
3. Какие можно назвать достаточные условия выполнения закона
больших чисел?
Раздел 9
1. К последовательности случайных величин применима центральная
предельная теорема. Что это означает?
2. Какие можно назвать достаточные условия применимости цен-
тральной предельной теоремы?
3. Как записать теорему Муавра - Лапласа в терминах центральной
предельной теоремы?
4. Как записать приближенную формулу для вероятности того, что
сумма случайных величин окажется в заданном диапазоне?
Библиографический список
1. Гнеденко Б.В. Курс теории вероятностей. — М.: Наука, 1982. —
400 с.
2. Севастьянов Б.А. Курс теории вероятностей и математической
статистики. — М.: Наука, 1985. — 256 с.
3. Чистяков В.П. Курс теории вероятностей. — М.: Наука, 1989. —
256 с.
78
Оглавление
Введение......................................................3
Раздел 1. Основные понятия....................................5
1.1. Случайные события. Отношение событий..................5
1.2. Вероятность...........................................8
1.3. Вероятностное пространство............................9
1.4. Следствия определения понятия вероятности............10
1.5. Классическое определение понятия вероятности.........11
1.6. Геометрические вероятности...........................12
Раздел 2. Условная вероятность. Основные формулы
теории вероятностей..........................................14
2.1. Определение условной вероятности.....................14
2.2. Формула умножения вероятностей.......................15
2.3. Независимость случайных событий......................16
2.4. Формула полной вероятности...........................17
2.5. Формула для апостериорных вероятностей гипотез (формула
Байеса)...................................................18
Раздел 3. Одномерные случайные величины......................20
3.1. Определение..........................................20
3.2. Последовательность независимых испытаний Бернулли
(биномиальный закон распределения)........................21
3.3. Теоремы Муавра — Лапласа о «нормальном» приближении
биномиального закона......................................23
3.4. Теорема Пуассона о приближении биномиального
распределения пуассоновским...............................25
3.5. Однородный пуассоновский поток случайных точек.......26
3.6. Функции распределения и их свойства..................28
3.7. Дискретные и непрерывные случайные величины..........30
3.8. Некоторые основные законы распределения случайных величин32
3.9. Преобразование случайных величин.....................36
Раздел 4. Числовые характеристики случайных величин..........40
4.1. Математическое ожидание — характеристика среднего значения
случайной величины........................................40
4.2. Дисперсия — характеристика разброса случайной величины.41
4.3. Математические ожидания и дисперсии для основных
законов распределения.....................................42
4.4. Общее определение математического ожидания...........45
4.5. Математическое ожидание функции от случайной величины..46
4.6. Моменты случайной величины...........................47
79
Раздел 5. Многомерные (векторные) случайные величины.........48
5.1. Основные определения.................................48
5.2. Дискретные и непрерывные случайные величины..........49
5.3. Функции распределения................................51
5.4. Независимость случайных величин......................52
5.5. Условные распределения...............................53
5.6. Условные математические ожидания и условные дисперсии.55
5.7. Преобразование многомерных случайных величин.........58
Раздел 6. Свойства математического ожидания и дисперсии......61
6.1. Свойства математического ожидания....................61
6.2. Свойства дисперсии...................................62
Раздел 7. Числовые характеристики многомерных случайных величин..64
7.1. Математическое ожидание — характеристика среднего
значения случайной величины................................64
7.2. Дисперсионная матрица — характеристика рассеяния......64
7.3. Коэффициент корреляции — характеристика линейной связи
между случайными величинами...............................65
7.4. Свойства математического ожидания и дисперсионной
матрицы...................................................66
Раздел 8. Закон больших чисел................................68
8.1. Неравенство Чебышева.................................68
8.2. Закон больших чисел (в форме Чебышева)...............69
Раздел 9. Центральная предельная теорема (классическая предельная
теорема).....................................................72
9.1. Сходимость распределения суммы к нормальному закону..72
9.2. Теорема Муавра-Лапласа — частный случай центральной
предельной теоремы........................................73
9.3. Примеры использования теоремы........................74
Контрольные вопросы..........................................77
Библиографический список.....................................78