МАРКОВСКИЕ
В.Н. ТУРЧИН
Е.В. ТУРЧИН
В.Н. ТУРЧИН, Е.В. ТУРЧИН
МАРКОВСКИЕ
ЦЕПИ
основные
понятия,
примеры,
задачи
Учебное пособие для студентов
высших учебных заведений
Рекомендовано
Министерством образования
и науки, молодежи и спорта Украины
Дыпропетровськ. LizunoffPress. 2016
УДК 519.21
ББК 22.17я73
Т89
Рецензенты: Ю.В. Козаченко, д-р физ.-мат. наук, проф. (Киевский
национальный университет имени Тараса Шевченко),
В.В. Булдыгин, д-р физ.-мат. наук, проф. (Националь-
ный технический университет Украины «КПИ»).
Рекомендовано Министерством образования и науки, молодежи
и спорта Украины в качестве учебного пособия для студентов
высших учебных заведений (письмо № 1/11 — 857 от 30.01.13).
Навчальний посябник е елементарним вступом до Teopii’ марковських
ланцюпв — облает! сучасноТ Teopii’ ймов!рностей !з широкою сферою застосу-
вань. Викладено основш поняття i факти Teopii’ марковських ланцюпв.
Теоретичш положения проыюстровано численними прикладами. До кожно’Г
глави наведено na6ip завдань для самостшно’Г роботи. Для читання книги
досить знань Teopii’ ймов!рностей у обсяз! дискретно’1 модел! та вищо’1 матема-
тики в обсяз! стандартного курсу вищих навчальних заклад!в.
Для студенев вищих навчальних заклад!в.
Турчин В.Н., Турчин Е.В.
Т89 Марковские цепи: Основные понятия, примеры, задачи: Учеб,
пособ. для студентов вузов. — Днепропетровск: ЛизуновПресс, 2016. —
192 с.
ISBN 978-966-2575-61-3
Учебное пособие представляет собой элементарное введение в теорию
марковских цепей — широко используемую в приложениях область современ-
ной теории вероятностей. Изложены основные понятия и факты теории
марковских цепей. Теоретические положения проиллюстрированы многочис-
ленными примерами. К каждой главе приведен набор задач для самостоятель-
ной работы. Для чтения книги достаточно знания теории вероятностей в
объеме дискретной модели и высшей математики в объеме стандартного
курса высших учебных заведений.
Для студентов высших учебных заведений.
УДК 519.21
ББК 22.17я73
В оформлении обложки использована работа Клода Моне
«Розовая тропинка, Живерни».
ISBN 978-966-2575-61-3	© Турчин в м- Турчин е в- 2016
© Ткаченко К.Д., обкладинка, титул. 2016
Предисловие
Настоящее учебное пособие является элементарным введени-
ем в теорию случайных процессов, которая является содержа-
тельной, широко используемой в приложениях областью совре-
менной теории вероятностей. Оно написано на основе лекций,
читаемых авторами в Днепропетровском национальном универ-
ситете имени Олеся Гончара.
Марковские цепи представляют собой простейший тип слу-
чайных процессов, для которых характерно “отсутствие памя-
ти”. Книга охватывает традиционную тематику курса “Марков-
ские цепи”: матрицы переходных вероятностей и задание мар-
ковской цепи, возвратность, классификация состояний, классы
эквивалентности, эргодическая теорема, эргодические и стацио-
нарные распределения, предельное поведение марковской цепи,
марковская цепь, описывающая очередь, задача о разорении иг-
рока, марковские цепи с непрерывным временем, пуассоновский
процесс, процессы рождения и гибели, обратные и прямые урав-
нения Колмогорова, эргодическая теорема для процесса рожде-
ния и гибели, обслуживание с ожиданием, дифференцируемость
переходных вероятностей и время пребывания в состоянии.
Изложение материала иллюстрируется многочисленными
примерами и задачами, в частности, из теории массового об-
служивания.
Учебным пособием могут пользоваться как студенты механи-
ко-математических факультетов, факультетов прикладной ма-
тематики и кибернетики университетов, так и технических, пе-
дагогических, экономических высших учебных заведений.
Авторы будут признательны всем, кто в той или иной фор-
ме выскажет свои пожелания, замечания и предложения отно-
сительно содержания книги. Предложения и пожелания про-
сим присылать по адресу: Украина, 49010, Днепропетровск-10,
пр. Гагарина, 72, Днепропетровский национальный университет
имени Олеся Гончара, механико-математический факультет, ка-
федра статистики и теории вероятностей, В. Н. Турчину или по
адресу vnturchyn@gmail.com

Глава 1
Цепи Маркова —
основные понятия
и факты
Детерминированные и стохастически детерминиро-
ванные системы. В различных областях естествознания, на-
уки и техники мы имеем дело с системами, состояние которых
в данный момент определяет их дальнейшую эволюцию. Такие
системы называют детерминированными. Естественным обоб-
щением детерминированных систем являются стохастически де-
терминированные системы. Они эволюционируют случайным об-
разом, но состояние системы в данный момент времени опреде-
ляет ее распределение (вероятности пребывания в состояниях)
во все последующие моменты времени. Такие системы называ-
ются марковскими.
Мы будем изучать марковские системы, множество возмож-
ных состояний X которых — фазовое пространство — конечно
либо счетно (будем считать X множеством целых чисел или его
частью).
Математическими моделями марковских систем, у которых
переходы из одного состояния в другое осуществляются в цело-
численные моменты времени t = 0,1,2,... являются цепи Мар-
кова с дискретным временем, а моделями систем, у которых пе-
реходы могут происходить в любой момент времени t 6 [0, +схз),
являются цепи Маркова с непрерывным временем.
6
Глава 1. Цепи Маркова — основные понятия и факты
1.1 Определение цепи Маркова.
Простейшие свойства
Далее множество состояний цепи — фазовое пространство X
— множество целых чисел или его часть.
Определение. Последовательность {£&} целочисленных
случайных величин таких, что
P{£k+i — 4+1 |£о = 4ь£1 = й, = ч} =
= -Pfe+i = 4+ilCfe = 4}	(l-1-1)
для каждого к > 0 и любых $o,$i> •••> ^fc+i из фазового прост-
ранства X будем называть цепью Маркова (марковской цепью).
Предполагается, что все условные вероятности, участвую-
щие в определении марковской цепи, определены.
Равенство (1.1.1) называют марковским свойством.
Так что марковская цепь — это последовательность цело-
численных случайных величин, для которой имеет место мар-
ковское свойство.
Случайную величину будем называть состоянием систе-
мы в момент времени t = к, к = 0,1,..., вероятность Р{£к —
i 6 X, — вероятностью пребывания системы (цепи) в состоя-
нии г, а вероятностное распределение Р{£к = i},i Е X, будем
называть распределением цепи в момент t = к, к = 0,1,...
Переходные вероятности марковской цепи. Условную
вероятность Р{^+1 = j\£k — 0 называют одношаговой переход-
ной вероятностью из состояния i в состояние j и обозначают
Pij(k, к + 1) :
Р{£к+1 = JlCfc = г} = к + !)•
Условную вероятность P{^k+n = j\£k = г} называют п-ша-
говой переходной вероятностью из состояния i в состояние j и
обозначают Pij(k, к + п), т. е.
=	— Pij(k) к + п).
В общем случае переходные вероятности зависят не только от
начального i и конечного j состояний цепи, но и от к (момента
перехода).
Определение. Марковскую цепь будем называть стаци-
онарной, если ее переходные вероятности Рц(к, к + п) не зависят
1.1. Определение цепи Маркова. Простейшие свойства
7
от к. В этом случае переходные вероятности называют стацио-
нарными и обозначают
Pij(k,k + n) = Pij(ri),
Pij(n) еще называют вероятностью перехода цепи из i в j за п
шагов (n-шаговой переходной вероятностью). По определению
Ри(0) = 1, Р^(0) = О,
Одношаговые стационарные переходные вероятности обознача-
ют через Pij, т. е.
P{£k+i — JlCfc — 0 — Pi?-
Вероятность Р^ еще называют вероятностью перехода цепи из
i в j за один шаг.
Далее мы будем рассматривать только стационарные мар-
ковские цепи.
Если = г, £&+1 = j, то мы будем говорить, что цепь за один
шаг переходит из состояния i в состояние j.
Если = г, £&+п = J, то будем говорить, что цепь за п шагов
переходит из состояния i в состояние j.
Матрицы переходных вероятностей. Пусть {£&} — мар-
ковская цепь с фазовым пространством X = {0,1,...}. Мат-
рицу, составленную из элементов Р^-(п), называют матрицей
n-шаговых переходных вероятностей и обозначают
Р(п) = [Рц(п)] =
Роо(п)
Pw(n)
Р(л(п)
Рц(п)
Pinin')
Рц(п)
В частности, если п = 1, то матрицу Р(1) = Р, составленную из
элементов Р?Д1) = P?j, называют матрицей одношаговых пере-
ходных вероятностей и обозначают
" Poo Poi
Рю Рц
Р = [Pij] =
Р?о Р?1
8
Глава 1. Цепи Маркова — основные понятия и факты
Матрица n-шаговых переходных вероятностей (в частности,
матрица одношаговых переходных вероятностей) обладает свой-
ствами:
1° Pij(n) >0, г,j = 0,1,...,
2° 'T'Pijt.n) = 1, i = 0,1,...
3
Свойство 1° очевидно (поскольку Pij(n) являются вероят-
ностями).
Свойство 2° следует из свойства счетной аддитивности ве-
роятности — достаточно заметить, что условная вероятность
Р(-/{£о — 0) относительно события {£о — 0 является веро-
ятностью, а
О =	= fc} П Кп = 1} = 0, к + I.
3
Тогда
1 = р(п| Ro = о) = Е =№> = о = Е р^-
j	j
Свойства 1°,2° обозначают, что каждая строка матрицы
n-шаговых переходных вероятностей является вероятностным
распределением на фазовом пространстве цепи.
Определение. Матрица [Р^], элементы которой удовле-
творяют условиям
Pij > о, ij е х,
Е^ = 1,^Х,
j
называется стохастической.
Следующее утверждение является непосредственным след-
ствием марковского свойства.
Теорема 1.1.1 (уравнение Колмогорова-Чепмена). В мар-
ковской цепи для любых i,j из фазового пространства X и лю-
бых целых положительных целых чисел г, s
Pij(r + s) = Е Pik(r)Pkj(s)	(1.1.2)
kex
или в матричном виде:
Р(г + $) = Р(г)Р($).
1.1. Определение цепи Маркова. Простейшие свойства 9
Доказательство. Очевидно
{£г+$ — 7?£о — 0 — |^{£о —	— j}i
k
причем события в правой части несовместны. Отсюда, учиты-
вая, что для {£п} имеет место марковское свойство, получаем
P{£r+s — Л£о — 0 — P{£r+s —	— &|£о — 0 —
k
Е-^Ч^г+s —	£o — 0 _
к P{^ = i} ~
_ V-^ P{£r+s — j\£>r —	— Q _
~k	m = o	
= £ P{£r+S = j\£r = k}P{£r = fcko = 4 = E Pik^Pkj^-
к	к
Так что
Py(r + s) = ^Pik^Pkj^, i,j e X.
к
Совокупность этих равенств можно записать в матричном виде
так:
Р(г + s) = P(r)P(s).
Из уравнения Колмогорова-Чепмена следует, что по матрице
одношаговых переходных вероятностей всегда можно выписать
матрицу n-шаговых переходных вероятностей.
Следствие 1. Матрица n-шаговых переходных вероятнос-
тей равна п-й степени матрицы одношаговых переходных ве-
роятностей:
Р(п) = (Р)п.
Доказательство. В силу теоремы
Р(г + s) = P(r)P(s).
В частности,
P(n) = РР(п - 1) = Р(РР(п - 2)) = (Р)2Р(п - 2) = ... = (Р)п.
10
Глава 1. Цепи Маркова — основные понятия и факты
Следствие 2. Матрица n-шаговых переходных вероятнос-
тей марковской цепи является стохастической.
Доказательство. Из следствия 1 имеем
Р(п) = (Р)п.
Убедимся, что матрица (Р)п стохастическая.
Достаточно убедиться, что если Р — стохастическая матрица,
то и (Р)2 также стохастическая матрица.
Элементы матрицы (Р)2 имеют вид
PjkPkj ч Ъ-)Э £ X.
к
Отсюда, во-первых, следует, что они неотрицательны, и, во-вторых,
сумма элементов г-строки, i 6 X,
У? (У? PikPkj^ — У2 У2 PikPkj =
j к	к j
—	Рik	Pkj — Pik — 1? X.
к j	к
Следствие 3.
Ру (г + s) > Pik(r)Pkj(s), к е X.
Следствие 4. Для любых i,j 6 X и целых положитель-
ных г, s, t
Pij(r + s + t)= ^2 Pik(r)Pku(s)Puj(t) .
k,uex
или в матричном виде
P(r + s + f) = P(r)P(s)P(f).
Следствие 5.
Pij(r + s + t) > Pik(r)Pku(^)Puj(t), k.ue X.
Примеры марковских цепей. К приведенным примерам
марковских цепей мы будем неоднократно возвращаться.
1.1. Определение цепи Маркова. Простейшие свойства
11
Пример1.1.1 (одномерное случайное блуждание). Частица
движется по целочисленной решетке ..., —2, —1,0,1,2,..., ме-
няя свое положение в целочисленные моменты времени. Обо-
значим через £п, п = 0,1,2,..., положение (координату) части-
цы в момент времени п. За единицу времени (за один шаг)
частица перемещается из точки с координатой i в точку с
координатой (i - 1) с вероятностью Qi, в точку (i + 1) — с ве-
роятностью Pi, либо остается в точке i с вероятностью
(Pi + Qi +	= 1) — будем говорить, что частица принимает
участие в одномерном случайном блуждании по целочисленной
решетке. Последовательность случайных величин {£п} еще на-
зывают одномерным случайным блужданием.
Убедимся, что {£п} образует марковскую цепь и найдем ее
матрицу одношаговых переходных вероятностей.
Покажем, что последовательность {£п} обладает марковским
свойством. Для этого выпишем
Р{Сп+1 — ДСп — Сп—1 — ^п—1> • • • >Со = ^о}> Р{Сп+1 — ДСп — О-
По определению случайного блуждания по одномерной целочис-
ленной решетке,
Р{£п+1 — j\£n =	= in-i, • • • ,£о = М =
А,
П,
если j = i + 1;
если j = i — 1;
если j = i’,
P{£n+1 — j\£n — 0 —
Pi, если j = i + 1;
qi, если j = i — 1;
Vi, если j = i.
(1.1.3)
Так что
P{£n+i — JlCn — i^n-i — in—1> • • • Co — ^0} — P{Cn+i — JlCn — O’
т. e. для последовательности случайных величин {Си} имеет мес-
то марковское свойство и, следовательно, {£п} является марков-
ской цепью.
Равенства (1.1.3) задают элементы матрицы одношаговых
переходных вероятностей Р = [Р^-]. Подробнее:
Р{Сп+1 — + 1 |Сп = 0 = P?,«+i = Рь
P{Cn+l — i ~ 1 |Сп — 0 = Pi,i—l = Qi’>
12
Глава 1. Цепи Маркова — основные понятия и факты
^{Cn+l — ^ICn — 0 — Pi,i — Tiy
где Pi > О, qi > О, Ti > О, Pi + qi + n = 1, i = ..., -1,0,1,...
Если фазовым пространством X марковской цепи является
множество целых неотрицательных чисел, то матрица переход-
ных вероятностей случайного блуждания, очевидно, имеет вид
го ро 0	0
qi ri pi 0
о Q2 Г2 Р2
(1-1-4)
Ясно, что ро + го — 1- Если при этом ро = 1 (а значит го = 0),
то нулевое состояние обладает свойством отражающего экра-
на (в нуле находится упругая стенка). Если р0 = 0, го = 1, то
состояние нуль ведет себя как поглощающий экран — попав в
состояние нуль, частица остается в нем навсегда. Если ро > 0,
го > 0, то состояние нуль — частично отражающий экран.
Если фазовое пространство случайного блуждания ограни-
чено, например, X = {0,1,..., 7И}, то матрица переходных ве-
роятностей имеет вид
	 To	Po	0	0	0	0	0 	
	<11	Г1	Pl	0	0	0	0	
	0	Q2	Г2	P2	0	0	0	
p =								.	(1.1.5)
	6	0	6	6	   QM-1	ГМ-1	PM-1	
	. 0	0	0	0	0	дм	TM .	
Состояния 0 и М могут быть экранами перечисленных выше
типов.
Заметим, что для случайного блуждания {£п} имеет место
представление
&+1 — £>к “Ь & — 0,2,...,
или, что то же,
к+1
&+1 = £о + Vi, к = 0,1,2,...,
г=1
где случайные величины vk независимы и каждая имеет распре-
деление
P{vk = -1} = qk, P{vk = 0} = rk, P{vk = 1} = pk, pk+qk+rk = 1.
1.1. Определение цепи Маркова. Простейшие свойства
13
Пример 1.1.2 (азартная игра). Игрок Gm (с капиталом т)
играет в азартную игру с игроком Gm (с капиталом М), участ-
вуя в серии последовательных партий игры. В результате каж-
дой партии капитал игрока Gm с вероятностью р увеличива-
ется на 1 (за счет игрока Gm) с вероятностью q = 1 — р
уменьшается на 1 (в пользу игрока Gm)- Результат каждой
партии не зависит от результатов предыдущих партий.
Обозначим через капитал игрока Gm после k-й партии,
через п суммарный капитал игроков Gm и Gm - п = т + М. Ес-
ли = 0 или = п, то игра прекращается. Событие {£& = 0}
означает разорение игрока Gm, событие {£& = п} — разорение
игрока Gm-
Покажем, что последовательность {£&} образует марков-
скую цепь, найдем ее матрицу переходных вероятностей.
Решение. Обозначим через Vk результат k-й партии — из-
менение капитала игрока Gm в результате k-й партии, и к — слу-
чайная величина с распределением
P{vk = 1} = р, P{vk = -1} = я,
р > 0, q > 0, p+q = 1, к = 1,2,... Случайные величины Vi,...
независимы.
Очевидно,
&+1 = & + ^+1, к = 0,1,..., £о = т
или, что то же,
Ан-1
tk+1 = to + ^ к = 0,1,2,...; to = т.
г=1
Убедимся, что для последовательности {£&} имеет место мар-
ковское свойство. Для этого выпишем
P{tk+i = j\£k =	= ik-i,-   ,ti = Ч,£о = т),
p{^k+i=jkfc = О-
Имеем:
^{Cfe+1 =	= i,tk-l = ik-l,    , tl = 4, to = m} =
_ P{tk+1 = j,tk = i,tk-l = ik-l, ••• ,£1 = 4,to = m} _
P{tk = i,£k-i = ik-l, • • • >6 = ii,to = m}
14 Глава 1. Цепи Маркова — основные понятия и факты
_ P{£k + ^fc+l = j; Cfe = 4 Cfc-1 = 4-1;    ; Cl = 4, Co = TO} _
P{£k = iAk-l = ik-1,- • • >C1 = 4,Co = m}
= P{i + Vfc+1 = J;Cfc = 4Cfc-l = 4-1;    ,£1 = 4,Co = TO} =
P{£k = iAk-l = ik-1, - • • ; Cl = 4; Co = m}
= P{Vk+l = j - i}P{£k = 4Cfe-l = 4-1   ;C1 = 4; Co =	=
P{£k = iAk-l = ik-1, - • • ; Cl = 4; Co = m}
= P{vk+1 =j-i},
воспользовались независимостью событий
{Ш1 = j -	{£k =	= Ч-ь • • • ,£i = *i,£o = m}-
Аналогично получаем
P{Cfc+i = JlCfc = 0 = P{yk+1 =j-i}
(чтобы сумма £&+1 =	была равна j, при условии, что
£& = г, слагаемое vj^+i должно быть равно j — г).
Поэтому последовательность случайных величин {£&} обла-
дает марковским свойством, и, следовательно, является марков-
ской цепью. Элементы ее матрицы переходных вероятностей
Pij = Р{£к+1 = j\£k = 0 = P{vk+1 = j -
i = 1,2,..., n — 1, j = 0,1,..., n. Если i = 0, to
Ш+1 = 0|Cfc = 0} = i,
если i = n, to
P{£k+1 = n|& = n} = 1.
Цепь стационарная, поскольку переходные вероятности
Pij = P{Vk+l = j - i}
не зависят от к (случайные величины к = 1,2,..., одинаково
распределены).
Подробнее элементы матрицы переходных вероятностей за-
пишутся так
Роо = Р{&+1 = о|& = 0} = 1,
Рпп — Р{&+1 —	— Ц
Р?,?+1 — Р{£&+! — - + 1|£/с — 0 — Рч Ъ' — 1> 2, . . . , П — 1,
1.1. Определение цепи Маркова. Простейшие свойства
15
Рi,i—1 — Р{£/с+1 —	1	— 0 — 0.1	— 1,2,. . . ,П 1,
все неперечисленные P^j равны нулю. Сама матрица переход-
ных вероятностей цепи {£&} имеет вид
р =	’1000...000' q	0	р	0	...	0	0	0 0	q	0	р	...	0	0	0 0	0	0	0	...	q	0	р 0000...001
Заметим, что состояния 0 и п являются поглощающими экрана-
ми.
Если капитал игрока Gm неограничен (М = оо), матрица
переходных вероятностей цепи {£&} имеет вид
(1.1.6)
(состояние 0 является поглощающим экраном).
Марковская цепь, описанная в примере 1.1.2, является част-
ным случаем случайного блуждания (см. пример 1.1.1).
Пример 1.1.3 (сумма независимых случайных величин как
марковская цепь). Пусть £i,£2, • • •	~ независимые неот-
рицательные целочисленные случайные величины, каждая с рас-
пределением
P{^k = l}=Pi, / = 0,1,2,...
Рассмотрим последовательность случайных величин
п
% = п= 1,2,...
fe=l
Покажем, что последовательность {г]п} образует марковскую
цепь и найдем ее матрицу переходных вероятностей.
Решение. Аналогично тому, как мы это делали в примере
1.1.2, получаем
P{rin+i = j\f]n = г, Vn-i = in-i, = г’1} = -P{Cn+i = j - 0,
16 Глава 1. Цепи Маркова — основные понятия и факты
Р{т]п+1 = j\r)n = г} = Р{6г+1 =3 - г}
(чтобы сумма r/k+i = % + £&+1 была равна j при условии, что
т/k = i, слагаемое ^+1 должно быть равно j — г).
Из двух последних равенств следует, что, во-первых, {т)п} —
марковская цепь (для {т)п} выполняется марковское свойство),
а во-вторых, матрица переходных вероятностей {т/п} имеет вид
Р = [-Ру] = [Р{%+1 =	= г}] = [Р{£п+1 = j - г}], г, j = 1,2,..
Подробнее
Р = [Pij] =
РО Pl Р2 РЗ
о Ро Pl Р2
о о Ро Pi
О 0	0	ро
Замечание. Сумма независимых целочисленных случай-
ных величин будет марковской цепью и без предположения об
их неотрицательности.
Задание марковской цепи. Случайная величина £ задает-
ся своим распределением Р^, случайный вектор (£о>£1> • • • >£п) —
совместным распределением P^0,Ci,...,Cn случайных величин
Со>С1> • • • >Сп> бесконечная последовательность случайных вели-
чин 4о>С1> • • • >Сп> • • • (в частности, марковская цепь) задана, ес-
ли для каждого п (п = 0,1,...) известно распределение слу-
чайного вектора (£о>£1> • • • >£п) — известны конечномерные рас-
пределения последовательности £о>£1> • • • >£п> • • • Но оказывает-
ся, чтобы задать марковскую цепь — бесконечную последова-
тельность случайных величин, для которой имеет место мар-
ковское свойство, достаточно задать распределение начального
состояния £о цепи и матрицу [Pjj] одношаговых переходных ве-
роятностей.
Теорема 1.1.2. Марковская цепь задается матрицей одно-
шаговых переходных вероятностей [Pjj] и своим распределени-
ем в начальный момент времени.
Доказательство. Достаточно показать, что для марков-
ской цепи {£п} конечномерные распределения P^0,<i,...,£n вычис-
ляются по ее одношаговым переходным вероятностям Pjj и рас-
пределению {pk} случайной величины £о:
Р{& = k} = Pk, к = 0,1,...
1.1. Определение цепи Маркова. Простейшие свойства
17
Пользуясь марковским свойством, имеем
= -Р{Со = 4,6. = Ч,   • Лп-1 = 4-1, Cn = in} =
= Р{£п = 4|£о = 4,6 = ii,... ,£n-i = 4-1}х
xP{Co = 4,6 = ii, • • • ,£n-i = 4-1} =
= P{£n = 4|6— 1 = in—1}-Р{6 = 4,6 = *1,- • • , Cn—1 = in—1} =
= Pin-^inP^o = 4,6 = 6,  • • ,6-1 = 4-1} = • • 
• •  = PioPioh Piii2 ’ ’ ’ ^in-iin ’
Так что
^1>••• > Ъг) = Pio-Pioii-Piii2 • • • Pin-iin'
Замечание. Поскольку одношаговые переходные вероятнос-
ти
Pij = P{£k+1 = 3\£к = 0 = P{£k+1 = ЗЛк = i}/P{t,k =
то для задания марковской цепи достаточно знать только ее дву-
мерные распределения
Р{^+1 = j,£k = 0’ ^3 = 0,1,2,,
одномерные распределения выражаются через двумерные:
m = o =	=	= s>
S
Определение. При каждом фиксированном си последова-
тельность 4о(^)>С1(<^)> • • • Лк(ш})... будем называть траектори-
ей марковской цепи {£п}-
Соотношение (1-1.7) задает вероятность того, что марков-
ская цепь в моменты времени 0,1,..., п пройдет соответственно
через точки го, zi,..., гп-1, гп.
18
Глава 1. Цепи Маркова — основные понятия и факты
Теорема 1.1.3. Распределение
Pttn = j}, j е х,
марковской цепи {£п} в момент времени t = п задается ее рас-
пределением
Pi = Р{Со = г}, « € X,
в момент времени t = 0 и матрицей п-шаговых переходных
вероятностей:
Р{^п = j} = ^PiPij(n), j е х.	(1.1.8)
iex
Доказательство. Поскольку события {£о = i}, i Е X,
образуют полную группу:
Q = |J {£0 = {Со = к} П {£о = 1} = 0, k / I,
iex
то согласно формуле полной вероятности
Р{$П = j} = £^{^0 = г}Р{Сп = ЛСо = 0 =
iex	iex
Следствие. Из равенства (1.1.8) следует, что предельное
поведение распределения
QnO) = P{Cn=j}, jtX,
марковской цепи при п —> оо определяется предельным поведе-
нием n-шаговых переходных вероятностей цепи (и, возможно,
ее начальным распределением Р{& = i} = pj, i Е X).
Теорема 1.1.4. Каждая стохастическая матрица задает
марковскую цепь, другими словами, для данной стохастиче-
ской матрицы найдется марковская цепь, матрица переход-
ных вероятностей которой совпадает с данной стохастиче-
ской матрицей.
Доказательство. Пусть [Pjj] — стохастическая матрица,
{рЦ — вероятностное распределение на {0,1,2,...}. Определим
на множестве {0,1,2,...} семейство вероятностных распределе-
ний Р(го, 21,..., in) — для каждого п и любых го,i\,..., in поло-
жим
Р(го, 21, ... , 2n) = Pin_1inPin_2in-1 • • • Pi^PioiiPio- (1.1.9)
1.1. Определение цепи Маркова. Простейшие свойства
19
Непосредственной проверкой убеждаемся, что
• • • -^l«2-^0hP«0 = I’
in,in — lr-^O
Последовательность случайных величин £о>£1> • • • определим
так, чтобы её конечномерные распределения, т. е. распределения
векторов (Со>С1> • • • >Сп)> ПРИ каждом п совпадали с распределе-
ниями (1.1.9):
Р{& = *0,6. = й, • • • ,£п-1 = ^п-1Лп = in} =
=	,Сп(^0>	• • • yin) — Pin-iinPin_2in-i • • • PhhPiohPio
(такая последовательность случайных величин £о>£1> • • • всегда
существует).
Убедимся, что последовательность случайных величин £о, С1> • •
обладает марковским свойством. Имеем
^{£п+1 = 3' I Cn = iy^n-i = in-iy • • • ,£i = й,£о = 2о} =
_ P{£n+i = j,t,n = iy^n-i = in-iy • • • ,£1 = 2i,gp = 2p} _
P{£n = iy^n-i = in-1, • • • ,£i = ii,^o =	}
_ PjjPin-liPin-2in-i • • • Pj^PipiiPio _ p
Pin-iiPin-2in-i • • • Piii2pioiiPio
pje a I e n P{£n+1 — ЗЛп — 0
/>(«„« = JI «„=.) = —p{£n=i}— =
52	-Р{£п+1 = j,£n = i,£n-l = in-1, • • • ,C1 = *l,€o = *0}
in-i,in-2,,io	_ * 52
E -P{Cn = i,£n-i = in-1, • • • ,Ci =	= *o}
in-i,in-2,,io
52 RjPin-liPin-zin-i ‘ • • ^iih^ioiiPio
= »n-Mn-2,-,8Q______________________________ =P fl I 10)
E Pin liPi„ 2in 1 • • • PilhPioilPio l3' { ' 3
in-i,in-2,---,io
Так что для последовательности случайных величин {^} имеет
место марковское свойство и, следовательно, {^} является мар-
ковской цепью, причем ее матрица переходных вероятностей
[Жг+1 = 3 Кп = г}]> i,j =0,1,2,...
20
Глава 1. Цепи Маркова — основные понятия и факты
совпадает с данной стохастической матрицей [Р^], т. с.
Р{£n+i = J I Сп = 0 = Fiji j — 0,1,2,...
(см. равенство (1.1.10)).
Итак, стохастическая матрица [Pjj] равенством (1.1.9) всег-
да задаст на множестве {0,1,2,...} семейство распределений, а
вместе с ним и последовательность случайных величин £о> £1> • • •
с конечномерными распределениями (1.1.9). Такой вид конечно-
мерных распределений случайных величин £о>£1> • • • гарантиру-
ет выполнение для них марковского свойства, поэтому последо-
вательность £о>£1> • • • является марковской цепью.
Пример 1.1.4. Марковская цепь с фазовым пространством
X = {1,2,3} описывается матрицей одношаговых переходных
вероятностей
Г 1/2
О
L 1/2
Р =
1/2	0 ‘
1/2 1/2
О 1/2
Найти вероятность того, что:
1° цепь, стартовав из состояния 1, через два шага окажет-
ся в состоянии 3;
2° цепь, стартовав из состояния 2, через три шага ока-
жется в состоянии 3.
Найти распределение цепи в момент t = 2 (через два шага
после старта), если в момент t = 0 цепь с равными вероят-
ностями находится в одном из своих состояний.
Решение. Ясно, что необходимо найти
Р{& = 3|£о = 1} = Р1,з(2). Р{Сз = ЗКо = 2} = Р2,з(3),
или, что то же, элемент Р\^(2) матрицы Р(2) и элемент Р2д(3)
матрицы Р(3). Матрицы Р(2) и Р(3) находим по матрице Р од-
ношаговых переходных вероятностей: Р(2) = (Р)2, Р(3) = (Р)3.
Распределение цепи в момент t = 2 (распределение случай-
ной величины £2) получим по известному начальному распреде-
лению
1	2	3 \
1/3 1/3 1/3 J
цепи и матрице Р(2) двухшаговых переходных вероятностей,
воспользовавшись равенством (1.1.8).
1.2. Возвратность
21
Ответы:
1° Р{& = 3 |Со = 1} = 1/4;
2° Р{£3 = 3 |Со = 2} = 3/8.
Распределение цепи в момент t = 2:
Р{& = 1} = 1/3, Р{& = 2} = 1/3, Р{& = 3} = 1/3.
1.2 Возвратность
Каждое состояние марковской цепи характеризуется време-
нем первого возвращения.
Представим множество Ко — О в виде объединения следую-
щих непересекающихся подмножеств:
Ко = Л £1 = Ко = Л £р 7^ Л ^ = 1,2,...},
Ко = ^Кп = ^Кр / z/= 1,2,..., п — 1}, п = 2,3,...,
Определим случайную величину т = так: на множестве
Ко — ^£1 — 0 она принимает значение 1, на множестве
Ко — Л£п — *,£р /	— 1,2,... ,п — 1} (п > 2) — значе-
ние п, на множестве Ко = ^, £р у — 1,2,...} — значение -4-схэ
(на дополнении к Ко — 0 случайную величину т будем считать
равной 0). Из определения т = т(о>) следует, что
{-г = 1} = {Со = г,С1 = о,
{г = оо} = {£о = i, & / г, ^ = 1,2,...},
{т = п} = Ко = ^, £n = ^, £р / v — 1,2, • • •, п — 1}, п = 2,3,...
Случайная величина т называется временем первого возвра-
щения в состояние i.
Обозначим
fu(n) = Р{т = п|£0 = 4, П = 1,2,...,
значение /«(0) положим равным 0 (по определению). Вероят-
ностное распределение
Р{т = п|£0 = г} = Лг(п), п = 0,1,...,
22
Глава 1. Цепи Маркова — основные понятия и факты
будем называть распределением времени первого возвращения в
состояние i.
По отношению ко времени первого возвращения все состоя-
ния делятся на возвратные и невозвратные.
Определение. Состояние i будем называть возвратным,
если
Р{т < оо|£о = г} = 1
и невозвратным, если
Р{т < оо|£о = г} < 1-
Другими словами, состояние i возвратно, если
Р{т = оо|£0 = г} = О,
и невозвратно, если
Р{т = оо|£о = г} > О-
Вероятность Р{т < оо|£о — 0 называют вероятностью пер-
вого возвращения в состояние i.
Так как
оо
{т<оо}= U{r = n},
п=0
то вероятность первого возвращения можно записать в виде
оо	оо
Р{т < оо|£о = г} = У2 р{т = п1£° = 0 = 52
п=0	п=0
её обычно обозначают через /г*:
оо
/й = 52/й(п)-
п=0
В терминах состояние i возвратно, если
fii = 1
и невозвратно, если
fit < 1-
1.2. Возвратность
23
Среднее время возвращения
Мт = УпЩп)
п=0
у возвратного состояния может быть как конечным, так и бес-
конечным.
У невозвратного состояния среднее время возвращения рав-
но бесконечности.
Производящие функции. Напомним теорему о произве-
дении абсолютно сходящихся степенных рядов.
Теорема 1.2.1. Если степенные ряды
A(s) =	|s| < 1, и B(s) =	|s| < 1,
к=о	1=0
абсолютно сходятся, то абсолютно сходится и ряд
оо
C(S) = ’£cnSn, Н<1,
п=0
где
сп = аоЬп + aibn-i + • • • + апЬ0, = 0,1,2,...,
и имеет место равенство
A(s)B(s) = C(s).	(1.2.1)
Ряд C(s) называется произведением рядов A(s) и B(s).
Определение. Сумму
оо
Л(з) =	И < 1,
к=0
оо
абсолютно сходящегося степенного ряда ак8^ будем называть
к=0
производящей функцией последовательности
В частности,
оо	оо
Pa(s) = ургг(к)зк, |а| < 1, Fa(s) =	|з| < 1,
к=0	к=0
24
Глава 1. Цепи Маркова — основные понятия и факты
— производящие функции соответственно последовательностей
{Рц(к}} и
Производящие функции Рц(з) и Fu(s) определены, т. к. при
И<1
ОО	ОО	1
< D»i‘= тттл.
t=0	4.0	11
ОО	ОО	1
Ei/..ms‘i<£|S|‘ = —у.
k=0	k=0	1	|s|
Нам понадобится следующая лемма Абеля,
оо
Лемм а 1.2.1 (лемма Абеля). 1° Если ряд	ак$к, И < 1? об’-
к=е
оо
солютно сходится в точке s = 1, то существует lim V аьзк
^1-0 к=о
и
оо	оо
Л“о 52 акзк = 52 ак' (L2-2)
fe=0	k=0
оо
2° Пусть > 0, к = 0,1,... Если существует lim aksk
s->l-0fc=0
(конечный или бесконечный), то
Л%5>*? = ^ак-
к=0	к=0
Доказательство. Сначала докажем утверждение 1°.
оо
Из абсолютной сходимости ряда aksk в точке s = 1, оче-
к=0
оо
видно, следует абсолютная сходимость ряда ак§к ПРИ И < 1-
к=о
Для доказательства равенства (1.2.2) оценим разность
оо	оо
^к^	&к
к=0	к=0
в окрестности точки s = 1. Очевидно,
оо	оо
^к^ &к
к=0	к=0
оо
Ем^-i)
k=0
1.2. Возвратность
25
N
^ak(sk - 1)
k=0
ak(sk - 1)
k=N+l
выберем далее).
Сначала оценим сверху
оо
Запишем в терминах остатков Аь =	+	. ряда аГ-
1=0
&к = Лк ~ ^/с+1-
Имеем
оо	оо
£ ak(sk - 1) = £ (Ак — Ak+1)(sk — 1) =
k=N+l	k=N+l
оо	оо
= £ A(sfc-i)- £ Xfc+1(sfe -1) =
k=N+l	k=N+l
оо	оо
= Лу+1(Л+1-1)+ £ Afc(s*-1)- 52 Afe+1(sfc - 1) =
k=N+2	fc=N+l
oo	oo
= Алг+1(Л+1 - 1) + £ Afc(sfc-1)- 52 Afc(sfe-1 - 1) =
k=N+2	k=N+2
oo
= An+1(sn+1 - 1) + 52
k=N+2
oo
Поскольку Ak — остаток сходящегося ряда lad> т0 Для Дан-
1=0
ного e > 0 найдется такое что для всех к > N имеют место
неравенства |А&| < е. Поэтому
оо
X
k=N-^-l
ak(sk - 1)
ОО
< 1АЛГ+11КЛ+1 - 1)1+ 52 |A/j||sfc — sfc-1| <
k=N+2
26
Глава 1. Цепи Маркова — основные понятия и факты
ОО
<£|Л+1-1|+£ lsfe-1Hs-1l<
k=N+2
< 2£ + e|s|N+1|s-	=
1 - И
= 2s + e|s|;v+1(l — s) ——— < 2s + s = 3e.
1 — s
N
Осталось заметить, что	&k(sk ~ 1) —> 0 при s —> 1 (в силу
k=o
N
непрерывности функции ak(sk — 1))-
k=o
Убедимся теперь в справедливости утверждения 2° теоремы,
оо
Пусть > 0, к = 0,1,..., и существует lim ак$к- Рас-
s—>1—О k=Q
смотрим два случая:
оо	оо
a) lim a^sk = +сю, b) lim У^ a^sk < сю.
~ k=o	s-> ” к=0
а)	Из
оо
lim > агзк = +сю
к=о
и неравенства
оо	оо
^к^ — &к
к=0	к=0
оо
(при 0 < s < 1) следует, что ак — +оо, поэтому
к=о
оо	оо
к=0	к=0
Ь)	Пусть
оо
lim У2 ак§к = а < оо.
~ k=0
1.2. Возвратность
27
Переходя в неравенстве
п	оо
Еaksk - Еaksk
k=0	к=0
к пределу сначала при s —> 1 — 0, а потом при п сю, получаем
оо	оо
Еа^ Л^Е а^зк = а < сю.
k=o s-> - к=о
оо
Так что ряд ак абсолютно сходится, и в силу утверждения 1°
к=0
леммы
оо	оо
lim YW = У2ак-
s^-1—О2-—'
к=0	к=0
Лемма доказана.
Необходимые и достаточные условия возвратности
состояния. Далее мы получим условия невозвратности и воз-
вратности состояния i в терминах сходимости и расходимости
ряда ^2 Рц(п).
п
Теорема 1.2.2 (необходимое и достаточное условие возврат-
ности состояния). Для того, чтобы состояние i было возврат-
00
ным, необходимо и достаточно, чтобы ряд Рй(п) расходил-
п=0
ся.
Доказательство. Сначала докажем, что производящие
функции Pu(s), Fa(s) последовательностей {Рц(п)}, {fu(n)} свя-
заны соотношением
1 L V lsl < L t1-2-3)
1 - Fii(s)
Для этого установим, что последовательности {РДп)}, {fu(n)}
связаны соотношением
п
Рц(п) = 52 fii(k)Pii(n -k), п = 1,2,...,	(1-2-4)
k=o
(при п = 0 равенство не имеет места).
28
Глава 1. Цепи Маркова — основные понятия и факты
Представим событие {£п = г,£о — О в виде объединения
непересекающихся событий
Е1 = {£п =	;
Ek =	==	~	£>к ~ ^ч^и ^ч V ~ 1,2,. . . , /и 1},
к = 2,3,..., п (событие Ек состоит в том, что в моменты 0 и п
цепь находится в состоянии г, и первое возвращение в состояние
i происходит на к-м шаге):
п
{£п ~ £о = 0 = |^J Ек-
к=1
Отсюда
Р{^п = г|€о = 0 = Е = 0-	(1-2.5)
к=\
И поскольку
Р{£*|Со = 0 =
_ Р{£п = i,^o = i,^k = i,^¥:'>',y='i-,2,...,k-l} _
Р{&> = О
= P{£n = z|$t = i, Со = i, kv / г, v = 1,2,..., к - 1} х
x-P{Cfc = «,Со = Л Ср И iy v = 1,2,... ,к - 1}/Р{Со = г} =
= р{£п = *ICfe = 0 * * х
xP{Cfc = г,Со = я,Ср И Л = 1,2,-  ,к — 1|Со = г} =
= Рц(п- k)fn(k),
к = 2,3,... ,п, равенство (1.2.5) перепишется так:
Put™) = /гг(к)Рц(п - к),
fe=i
или, учитывая что /й(0) = 0, так:
Рц(п) = ^2 fii(k)Pii(n - к)
k=0
1.2. Возвратность
29
для всех п = 1,2,... (при п = 0 последнее равенство не имеет
места).
Далее, рассмотрим произведение абсолютно сходящихся при
|s| < 1 степенных рядов (см. теорему 1.2.1)
оо	оо
Fii^ = ^fn^k и Рц(з) = ^Рц(Г)81.
к=0	1=0
оо / п	\
Fii^Pii^ = £ £ fu(k)Pa(n -k)\sn =
п=0 \к=0	/
(О	\	оо	/	п	\
52	- м Ь°+Е Е - м Ьп =
к=0	/	п=1	\/с=0	/
оо	оо
= е Pa («х = Е р^$п+p^s° - p^s° =
n=l	n=l
оо
= E^(n)s”-l = P«(s)-l.
n=0
Отсюда и получаем, что
оо
Далее, ряд fa(.n) — fii сходится абсолютно (/^* < 1), по-
п=0
этому в силу леммы Абеля (см. лемму 1.2.1), во-первых, суще-
ствует предел
lim fii(n)sn = lim Рц(з)
7	5^i-o nv 7
n=0
oo
и, во-вторых, этот предел равен fa(n) — fii> T- e-
n=0
Um Д(5) = /*
s—>1—0
30
Глава 1. Цепи Маркова — основные понятия и факты
(для возвратного состояния i значение = 1, для невозврат-
ного /* < 1). Из существования lim Fa(s) = f*. и равенства
s—>1—О
(1.2.3) следует, что при s —> 1 — О существует
lim Pais') = lim Pa(ri)sn,
n=0
(бесконечный, если = 1, и конечный, если < 1), а из леммы
Абеля следует, что
оо	оо
п=0	п=0
Так что если /г* = 1 (г возвратно), то
оо
У2-Ргг(п) = ОО,
п=0
если /г* < 1 (г невозвратно), то
оо
У2-Ргг(п) < °0-
п=0
Следствие. Для того чтобы состояние i было невозврат-
00
но, необходимо и достаточно, чтобы ряд ^2 -Ргг(п) сходился.
п=0
Ненулевые состояния; нулевые состояния, нулевые
возвратные и нулевые невозвратные состояния. Состо-
яние i называется ненулевым, если Рц(п) не стремится к нулю
при п сю.
Ненулевое состояние i всегда возвратно, поскольку для него
оо
ряд -Ргг(п) расходится.
п=0
Состояние i называется нулевым, если при п —> оо
Рд(п) 0.
Нулевое состояние i может быть как возвратным, так и
оо
невозвратным — ряд -Ри(п) с общим членом Рц(п), стремя-
п=0
щимся к нулю, может как сходиться, так и расходиться.
1.3, Существенные состояния. Классы эквивалентности
31
Заметим, что возвратное состояние i может быть как ну-
оо
левым, так и ненулевым — у расходящегося ряда ^и(п) °б-
п=0
щий член Рц(п) может как стремиться к нулю, так и не стре-
миться.
Невозвратное состояние i является нулевым, поскольку для
оо
невозвратного состояния i ряд ^и(п) сходится.
п=0
1.3 Существенные состояния.
Классы эквивалентности
Определение. Будем говорить, что состояние j дости-
жимо из состояния i (обозначение i j), если найдется такое
п > 0, что Pij(n) > 0, другими словами, j достижимо из i, если
из i можно попасть в j (с ненулевой вероятностью).
Поскольку Ри(0) = 1, то г всегда достижимо из i.
Транзитивность свойства достижимости: если j достижимо
из i, а к достижимо из j, то к достижимо из i.
Действительно, из уравнения Колмогорова—Чепмена (след-
ствие 2) имеем
Pik(n + т) > Pij{n)Pjk(m).
И так как г —> 7, а 7 —> fc, то найдутся такие п > 0 и т > 0, что
РгДп) > 0, Pjk(m) > 0, поэтому
Pik(n + т) > Pij(n)Pjk(m) > 0.
Неравенство
Pik(n + m) > 0
обозначает, что к достижимо из г.
Определение. Состояния i и j будем называть сообщаю-
щимися, если i достижимо из j, и j достижимо из г.
Тот факт, что состояния i и j сообщающиеся, будем обозна-
чать так: i j.
Из определения следует, что если состояния i и j не явля-
ются сообщающимися, то либо Рц(п) = 0 для всех п > 0, либо
Pji(m) = 0 для всех т > 0.
Из транзитивности свойства достижимости следует транзи-
тивность свойства сообщаемости: если i j и j к, то ivk.
32
Глава 1. Цепи Маркова — основные понятия и факты
Опр еделение. Состояние i называется существенным, ес-
ли для каждого состояния j, достижимого из i, состояние i дос-
тижимо из j.
Состояние i существенное, если, стартовав из г, в i всегда
можно вернуться.
Определение. Состояние i называется несущественным,
если найдется состояние j, достижимое из i, из которого i не
достижимо.
Состояние i несущественное, если найдется состояние j, в ко-
торое из i можно попасть, но обратно в i вернуться невозможно.
Несущественное состояние i является невозвратным и, как
следствие, нулевым.
В самом деле, если i — несущественное состояние, то най-
дется состояние j, достижимое из г с ненулевой вероятностью р
такое, что состояние i не достижимо из j. Поэтому вероятность
Р{т = +оо|£о — 0 не меньше р и, следовательно,
Р{т < оо|£о = г} < 1,
т. е. i — невозвратное состояние.
Классы эквивалентности. Множество всех состояний мар-
ковской цепи “распадается” на несущественные состояния и су-
щественные, последние, в свою очередь, образуют непересекаю-
щиеся между собой классы существенных сообщающихся состо-
яний.
Теорема 1.3.1. Множество всех существенных состояний
марковской цепи представимо в виде объединения непересекаю-
щиеся классов, каждый из которых состоит из сообщающихся
между собой состояний.
Доказательство. Для каждого существенного состояния i
рассмотрим класс состояний Si, включающий в себя состояние i
и все существенные состояния, с ним сообщающиеся. Так опре-
деленные классы либо не пересекаются, либо совпадают.
Если Si и Sj пересекаются, то они совпадают. В самом деле,
пусть k 6 Si П Sj. Тогда для любого состояния I 6 Si имеем:
l^i^k^j,T. е. l^j. Последнее обозначает, что I е Sj.
И так как I произвольное из класса Si, то Si С Sj. Аналогично
имеем Sj С Si, поэтому Si = Sj.
Определение. Класс всех существенных сообщающихся
между собой состояний марковской цепи называется классом эк-
вивалентности.
Классы эквивалентности мы, как правило, будем обозначать
буквой С, возможно с индексами.
Определение. Марковская цепь, все состояния которой
образуют один класс существенных сообщающихся состояний,
1.3, Существенные состояния. Классы эквивалентности
33
называется неприводимой или неразложимой марковской це-
пью.
Если марковская цепь содержит несущественные состояния
или более одного класса существенных сообщающихся состоя-
ний (или и то, и другое), то ее называют приводимой (разложи-
мой) марковской цепью.
В неприводимой марковской цепи каждое состояние дости-
жимо из каждого.
Если в матрице одношаговых переходных вероятностей вы-
черкнуть строки и столбцы, соответствующие состояниям, не
входящим в данный класс эквивалентности, то полученная мат-
рица будет стохастической.
Марковская цепь, попав в класс эквивалентности, покинуть
его не может.
Марковскую цепь, полученную из данной цепи сужением ее
фазового пространства X до класса эквивалентности С
(С С X), также будем называть классом эквивалентности. Мат-
рица переходных вероятностей этой цепи получается из матри-
цы переходных вероятностей [Рц] данной цепи и имеет вид [Р^],
г, j € С.
Определение. Пусть Мг — множество положительных чи-
сел т, для которых Рц(т) > 0. Наибольший общий делитель
d(i) совокупности Mj будем называть периодом состояния i. Ес-
ли Mj = то по определению полагаем d(i) = 0. Если d(i) = 1,
то состояние i будем называть непериодическим.
Из того, что состояние i периодично с периодом с?, не следует,
что Pu(d) > 0.
Пример. Марковская цепь с фазовым пространством X =
= {1,2,...,7} и матрицей переходных вероятностей
	г0	1	0	0	0	0	0 1
	0	0	1	0	0	0	0
	0	0	0	1/2	1/2	0	0
р =	1	0	0	0	0	0	0
	0	0	0	0	0	1	0
	0	0	0	0	0	0	1
	1	0	0	0	0	0	0 .
имеет период 2, но Рц(2)		=	о,	i = 1,2,...		,7.	
Теорема 1.3.2 (солидарности). В неприводимой марковской
цепи все состояния принадлежат одному типу: 1) если одно
возвратно, то все возвратны; 2) если одно нулевое, то все ну-
левые; 3) если одно периодично с периодом d, то все периодичны
с периодом d.
34
Глава 1. Цепи Маркова — основные понятия и факты
Доказательство. Пусть i и j — различные состояния.
Для любых n, s, m
Рц(п + s + m)> Pij(n)Pjj(s)Pji(m)
(в силу следствия 4 из уравнение Колмогорова-Чепмена). Так
как цепь неприводимая, то найдутся числа пит (зафиксируем
их), такие что
Pij(n) = a > 0, Pji(m) = /3 > О,
поэтому
Рц(п + s + m) > a/3Pjj(s).	(1.3.1)
Аналогично
Pjj(m + г + п)> а/ЗРц(г).	(1.3.2)
Поскольку г и s произвольны, то можно выбрать г так, чтобы
т + г + п = s. Тогда последнее неравенство перепишется так:
Pjj(s) > a/3Pa(s - (n + m)).	(1.3.3)
Из неравенств (1.3.1) и (1.3.3) имеем
af3Pu(s - (n + m)) < Pjj(s) < -^Pa(s +	+ m))-
Отсюда следует, что асимптотические свойства Рц(к) и Pjj(k)
одинаковы: если Рц(к) 0 (состояние i нулевое), то ясно, что и
Pjj(k) 0 (состояние j нулевое); если
^Рц(к) = оо
к
(состояние i возвратное), то и
= °°
к
(состояние j возвратное).
Установим, что с?(г) = d(f) — все состояния имеют один и тот
же период.
В силу неприводимости цепи найдется г такое, что
Рц(г) > О,
1.3, Существенные состояния. Классы эквивалентности
35
и такие пит, что
Pjj(m + г + п) > а/ЗРц(г) > О,
а вместе с ними и
Pjj(m + 2г + п) > ос/ЗРц(2г) > а/ЗРц(г)Рц(г) > О
(см. (1.3.2)), т. е.
Pjj(m + 2г + п) > О и Pjj(m + г + п) > 0.
Из определения периода d(J) состояния j следует, что d(J) —
делитель чисел (т + г + п) и (т + 2г + п), а, следовательно, и
числа (т + 2г + п) — (т + г + п) = г. Так что d(J) — делитель
чисел г > 0, для которых Рц(г) > 0, а с?(г), как период г, —
наибольший общий делитель таких чисел, поэтому d(J) < d(i).
Аналогично с?(г) < c?(j), следовательно с?(г) = d(j).
Тем самым теорема доказана.
Из теоремы солидарности следует корректность таких опре-
делений.
Определение. Неприводимую марковскую цепь будем на-
зывать ненулевой, если хотя бы одно ее состояние ненулевое, ну-
левой, если хотя бы одно ее состояние нулевое, возвратной, если
хотя бы одно ее состояние возвратное, периодической с перио-
дом d, если хотя бы одно ее состояние периодическое с перио-
дом d, и т. д.
Аналогично класс эквивалентности будем называть ненуле-
вым, если хотя бы одно его состояние ненулевое, нулевым, если
хотя бы одно его состояние нулевое, возвратным, если хотя бы
одно его состояние возвратное, и т. д.
Теорема 1.3.3. В нулевом классе эквивалентности для лю-
бых i,j
Pij(m) -> 0
при т -4- +сю.
Доказательство. Действительно
Pjj(n + т) > Pji(n)Pij(m).
(1.3.4)
Поскольку i,j принадлежат одному и тому же классу эквива-
лентности, найдется п, что Pji(n) > 0. Поэтому из неравенства
(1.3.4), учитывая, что Pjj(n + m) 0 при т —> +схз, получаем,
что и Pjj(m) -4- 0 при т -4- +сю.
36
Глава 1. Цепи Маркова — основные понятия и факты
Теорема 1.3.4 (асимптотика нулевой цепи). Неприводимая
нулевая марковская цепь {£п} с фазовым пространством
X = {0,1,2,...} при п +оо сходится по вероятности к +оо :
для любого М > 0 при п сю
Р{£п >м}^1.
Доказательство. Для произвольного фиксированного М
оценим Р{£п < М}, воспользовавшись (1.1.8):
М	М оо
Р{£п < ЛО = Е = 0 = Е =
?=0	?=0 к=0
оо М	КМ	оо М
= ^Рк Pki(jl) = ^Pk Pki(jl) +	Р^(п) <
k=0	?=0	к=0	?=0	к=К+1	?=0
КМ	оо
<Е^Ер^и + Е рк-
к=0 ?=0	к=К+1
Последнее слагаемое можно сделать меньше данного е за счет
выбора К, а первое слагаемое за счет выбора п — в неприводи-
мой нулевой марковской цепи для любых /с, i при п —> +оо
•PfciW -> °-
Тем самым теорема доказана.
Следствие. Невозвратная неприводимая марковская цепь
{£п} с фазовым пространством X = {0,1,2,...} при п +оо
сходится по вероятности к +оо : для любого М > 0 при п оо
Р{£п > М} -> 1.
Доказательство. Невозвратная марковская цепь являет-
ся нулевой.
Замечание. Теорема и следствие имеют место и для мар-
ковской цепи с фазовым пространством X = {...,—1,0,1,2,...}.
Пример 1.3.1. Марковская цепь с фазовым пространством
X = {1,2,3} описывается матрицей одношаговых переходных
вероятностей
’ 0	1	0 '
О 1/2 1/2	.
О 1/2 1/2
1.3, Существенные состояния. Классы эквивалентности
37
Классифицировать состояния цепи (указать существенные,
несущественные, периодические, непериодические состояния).
Решение. Состояние 1 имеет период, равный нулю.
Состояние i заведомо непериодическое, если с ненулевой ве-
роятностью из i можно вернуться в г за один шаг. Поэтому со-
стояния 2 и 3 — непериодические.
Состояние 2 достижимо из состояния 1. Состояние 1 недо-
стижимо ни из 2, ни из 3. Состояние 1 несущественное, состо-
яния 2 и 3 — существенные. Состояния 2 и 3 сообщающиеся, 1 и 2
— несообщающиеся. Цепь приводима, поскольку в ней имеются
несущественные состояния.
Пр им ер 1.3.2. Классифицировать состояния марковской
цепи, описывающей азартную игру, см. пример 1.1.2 (с. 13).
Решение. Если капитал игрока Gm конечен (равен М), то
состояния 0 и п (п = т + М) являются поглощающими экра-
нами; состояния 1,2, ...,п — 1 являются несущественными, а,
следовательно, и невозвратными.
Если капитал игрока Gm бесконечен, то состояние 0 являет-
ся поглощающим экраном; состояния 1,2,..., являются несуще-
ственными и невозвратными.
Пример 1.3.3 (одномерное случайное блуждание, продол-
жение). Рассмотрим одномерное случайное блуждание по це-
лочисленной решетке — марковскую цепь, описывающую дви-
жение частицы, которая за единицу времени перемещается
с вероятностью р на единицу вправо и с вероятностью q на
единицу влево (р + q = 1); состояние цепи — координата
частицы в момент времени п (см. также пример 1.1.1).
Исследовать на возвратность состояния описанной мар-
ковской цепи.
Решение. Поскольку цепь неприводимая, достаточно ис-
следовать на возвратность, например, состояние 0. Необходи-
мым и достаточным условием возвратности состояния 0 являет-
оо
ся расходимость ряда Лю(^)- Исследуем этот ряд на сходи-
п=0
мость. Очевидно, Роо(2п +1) = 0. Поэтому
оо	оо
£РОоИ = Ррр(2п).
п=0	п=0
Выпишем подробнее выражение для Ррр(2п). Вероятность
того, что цепь, стартовав из состояния 0 (Р{£о — 0} — Ро — 1),
38
Глава 1. Цепи Маркова — основные понятия и факты
вернется в состояние 0, пройдя по данному пути
{£о = 0,£1 = Ч, • • • ,£2п-1 = ^2п-1,^2п = 0},
равна
Р{& = 0,£1 = й, • • • ,£гп = О|£о = 0} = poFoiiFhi2 • • • ^2n-i0 —
— ^0?1 Piii2 • • • -^22n-10
(см. (1.1.7)). При этом число перемещений вправо равно числу
перемещений влево. Поэтому в последнем произведении п со-
множителей равно р и п сомножителей — q. Само произведение
Foil• • • Fi2n_i0 равно pnqn. Путь из 0 в 0 длиной 2п опре-
деляется словом длиной 2п, составленным из двух букв: П —
вправо и Л — влево. Число всех таких слов, а вместе с ними и
путей из 0 в 0, равно С^. И, следовательно,
Poo(2n) = C?„pV = ^pV.
Далее, воспользовавшись формулой Стирлинга:
n\ ~ nne nV2irn при п оо,
получим, что при п —> оо
Р00(2п) = ^-pnqn
n\n\
(2n)2ne 2»х/2^	_	_ (4pg)n
(ппе-пу2тт)2	у/кп	у/тгп
т. е.
Poo(2n) ~	(1.3.5)
у/ТГП
Поэтому оба ряда
оо
У2-Роо(2п) и
п=0
сходятся или оба являются расходящимися.
1.3, Существенные состояния. Классы эквивалентности
39
Рассмотрим общий член ' ряда V . Произведе-
V7rn n=o V7ГП
ние pq (0 < р < 1, 0 < q < 1) принимает наибольшее значение,
равное 1/4, при р = q = 1/2, что следует из равенств
pq = р(1 - р) = р - р2, 0 < р < 1.
Поэтому 0 < 4pg < 1, и 4pg = 1 только при р = q = 1/2.
Следовательно, при р = q = 1/2
(4pg)n = 1
у/тт у/тт^
а ряд с таким общим членом расходится.
Если р Q, то 4рд = с < 1. Ряд с общим членом сп/у/тт
(с < 1) является сходящимся.
Итак, при р = q = 1/2 марковская цепь возвратна, а при
р q невозвратна (заключение о возвратности или невозврат-
ности цепи мы делаем по возвратности или невозвратности со-
стояния 0, поскольку цепь неприводимая).
Конечные цепи Маркова. Далее посмотрим, что можно
сказать о состояниях марковской цепи, если цепь конечна — ко-
нечно ее фазовое пространство.
Теорема 1.3.5. Конечная неприводимая цепь Маркова яв-
ляется ненулевой.
Доказательство. Пусть М — число состояний конечной
неприводимой цепи. Стартуя из состояния г, за п шагов цепь с
вероятностью 1 окажется в одном из своих возможных состоя-
ний, поэтому
м
= (L3-6)
J=1
Если предположить, что цепь нулевая, то для любых г, j из фа-
зового пространства
А?(П) О
при п —> оо (см. теорему 1.3.3). Переходя в равенстве (1.3.6) к
пределу при п —> оо, получаем противоречие: 0=1. Так что в
конечной цепи все состояния ненулевые.
Следствие!. Конечная неприводимая марковская цепь воз-
вратна.
Поскольку в конечной неприводимой марковской цепи каж-
дое состояние i ненулевое — Рц(п) при п —> оо не стремится к
40
Глава 1. Цепи Маркова — основные понятия и факты
нулю, то ряд ^Рц(п) расходится, и, следовательно, состояние i
возвратно.
Следствие 2. Невозвратный класс эквивалентности не
может быть конечным.
Теорема. В конечной марковской цепи хотя бы одно сос-
тояние существенное.
Доказательство. Обозначим через X = {1,2,..., М} фа-
зовое пространство конечной марковской цепи. Предположим,
что все состояния цепи несущественные. Пусть в начальный мо-
мент цепь находится в состоянии i\. Так как — несуществен-
ное, то найдется состояние 22, в которое из можно попасть
с ненулевой вероятностью, но вернуться из в невозмож-
но. Состояние 22 также несущественное, поэтому найдется со-
стояние 2з, в которое из 22 можно попасть, но вернуться в 22
невозможно, невозможно из 23 попасть и в 21, так как тогда из
22 можно было бы вернуться в 21 (через 23), что невозможно,
и так далее. За М или меньшее число шагов мы окажемся в
некотором состоянии im (т < М), из которого нельзя попасть
в 21,22, • •2m-i по построению, а в другие (если такие еще оста-
нутся) нельзя попасть, в силу их недостижимости из im. По-
этому цепь с вероятностью 1 остается в состоянии 2Ш, т. е. за
каждый последующий шаг она переходит с вероятностью 1 из
im в im- Последнее обозначает, что im — существенное состояние.
Полученное противоречие и доказывает утверждение.
Возвратные и невозвратные классы. Понятие возврат-
ности состояния введено безотносительно к другим состояниям
цепи. Здесь мы рассмотрим возвратные и невозвратные классы
состояний.
Пусть j i. Введем обозначения
ЛДА:) = Р{Со = г, 4 =	± j, и = 1,2,... ,k - 1|Со = г},
к = 2,3,..., для к = 0 и 1 положим
/о(0) = О, ЛД1) = Р{£о = г,6 = Жо = г};
fij(k) — вероятность первого достижения состояния j из состо-
яния 2 на к-м шаге.
Обозначим вероятность достижения j из i (j 2) через /*-,
ясно, что
оо
к=0
1.3, Существенные состояния. Классы эквивалентности 41
Мы часто будем пользоваться приведенными далее соотно-
шениями между и , когда г, j принадлежат данному классу
эквивалентности.
Уравнения для f*j и для Для гД из одного класса
эквивалентности при каждом п (п = 1,2,...)
^ = Ру(п)+ £ PMfkj.	(1.3.7)
kex\{j}
Для состояний i из данного класса эквивалентности при
каждом п (п = 1,2,...)
/^ = рй(п)+ £ Pik(n)f*ki.	(1.3.8)
kex\{i}
Далее через Pij(s) будем обозначать производящую функ-
цию последовательности {Р^(п)}:
оо
p0(s) = £p0(fc)s\ и < I,
k=Q
а через Fij(s) — производящую функцию последовательности
ОО
Рг^ = ^Ык)8к, |в|<1.
к=0
Аналогично тому, как было получено соотношение (1.2.4),
получаем
Pij(n) = 52 fij^P3i(n п- °> 3 И i- (1-3.9)
k=0
Из теоремы о произведении степенных рядов (теорема 1.2.1)
и равенства (1.3.9), аналогично тому как было получено соотно-
шение (1.2.3) между производящими функциями Рц(з) и Fu(s),
получаем
Pij(s) — Fij(s)Pjj(s)) Н < 1.
(1.3.10)
42
Глава 1. Цепи Маркова — основные понятия и факты
Теорема 1.3.6 (необходимые и достаточные условия невоз-
вратности состояния в классе). Пусть i,j принадлежат одному
классу эквивалентности. Для того, чтобы состояние j было
оо
невозвратным, необходимо и достаточно, чтобы ряд	Pij (п)
п=0
сходился.
оо
Доказательство. Поскольку /*• =	< 1, то в
д=о
силу леммы Абеля всегда существует lim^F^(s) и
оо
JiniQFy(s) =
S	k=Q
оо
Если j — невозвратное состояние, то ряд Pjj^J1) сходится,
п=0
и в силу леммы Абеля
оо
п=0
Поэтому при <s —> 1 — О существует конечный предел правой
части равенства
Pij(s) = Pij(s)Pjj(s) ,
а, следовательно, и левой, и в силу леммы Абеля
оо
п=0
оо
Так что если j невозвратно, ряд Рц(п) сходится.
п=0
оо
Установим, что из сходимости ряда Piji™) следует невоз-
п=0
вратность состояния j.
Из равенства (1.3.10) имеем
Pjj(s) — Pij^/Fij^.
(1.3.11)
1.3, Существенные состояния. Классы эквивалентности 43
Из сходимости рядов Ргз(п) и 12 fij(k) следует существо-
n=0	к=0
вание конечных пределов lim Рц(з) и lim Рц(з) (см. лем-
$->1-0 J $—>1—0 J
му Абеля), а вместе с ними существование конечного предела
lim Pjj(s) (см. равенство (1.3.11)). Поэтому в силу леммы Абе-
оо
ля ряд	сходится, а, следовательно, состояние j невоз-
п=0
вратно.
Следствие 1. Пусть i, j принадлежат одному классу эк-
вивалентности. Для того, чтобы состояние j было возврат-
но
ным, необходимо и достаточно, чтобы ряд	расходил-
п=0
ся.
Следствие 2. Для любых i,j из невозвратного класса эк-
вивалентности При П СЮ
О-
оо
Коль скоро состояние j невозвратное, то ряд Fiji™) схо-
п=0
дится и, следовательно, Pij(n) 0.
Теорема 1.3.7 (/^ в невозвратном классе). В невозврат-
ной неприводимой марковской цепи для каждого i из фазового
пространства X найдется состояние j Е X, j i такое, что
f* < 1
Доказательство. Из равенства (1.3.8) при п = 1 имеем
fii = Pa+ Е Pikf*ki.
kex\{i}
Если предположить, что в невозвратной цепи = 1 для всех
к 6 X \ {г}, то последнее равенство можно переписать так:
fu = Pu+ Е р*
kex\{i}
или так:
/й = Ер^-
кех
Отсюда имеем
44
Глава 1. Цепи Маркова — основные понятия и факты
fii = 1,
что противоречит невозвратности цепи.
Следствие. Если в неприводимой марковской цепи най-
дется состояние i такое, что для любого j / i значение
f*i = 1, то цепь возвратна.
Доказательство. В невозвратной цепи для каждого i
найдется j, такое, что < 1.
Теорема 1.3.8 (/^ в возвратном классе). В возвратной не-
приводимой марковской цепи для каждой пары j,i из фазового
пространства X значения
f*. = 1
Доказательство. Для каждого п (п = 1,2,...)
& = Рц(п) + £ PMfki
kex\{i}
(см. равенство (1.3.8)), а поскольку цепь возвратна, т. е. = 1,
то для каждого п (п = 1,2,...)
Рц(п) + 52 Pik(n)fki = l.	(1.3.12)
kex\{i}
С другой стороны, для каждого п (п = 1,2,...)
Рц(п)+ 52 Pik(n) = l.	(1.3.13)
kex\{i}
Вычитая последовательно из равенства (1.3.13) равенство (1.3.12)
получим
52 Pffc(n)(l - fki) = 0.	(1.3.14)
kex\{i}
для всех п = 1,2,... Если предположить, что найдется пара j, i
U 7^ я), у которой < 1, то из равенства (1.3.14) следует, что
для всех п = 1,2,... значения Ptj(ri) должны быть равны нулю.
Но цепь неприводима, поэтому найдется хотя бы одно п, для
которого Pij(n) > 0. Полученное противоречие и доказывает
теорему.
1.3, Существенные состояния. Классы эквивалентности
45
Так что в возвратном классе эквивалентности для любых j, i
значение f* = 1.
Следствие. Если в классе эквивалентности найдется па-
ра состояний i,j таких, что f*j < 1, то класс является невоз-
вратным.
В самом деле, в возвратном классе /* = 1 для любых i,j.
Теорема (о вероятности посещения состояния). Марков-
ская цепь с вероятностью 1 посещает возвратное состояние
бесконечно много раз, а невозвратное с вероятностью 1 посе-
щает конечное число раз.
Доказательство. Введем обозначения
= {цепь посещает состояние i бесконечно много раз},
= {цепь посещает состояние i не менее N раз}.
Ясно, что
<«> С Л™,
ОО
Л-, = П
4 4	|| 4 4 '
N=1
в справедливости равенства убеждаемся непосредственной про-
веркой.
Вычислим P(A*J£o — 0- Воспользуемся свойством непре-
рывности вероятности:
Р(Л*^о = 0 = limP(4JV)|eo = г).
Обозначим
Q(y =	Ко = *)•
Очевидно,
QT =	N = 2,3,...
Отсюда
Qu =(fii)N, tv = 2,3,...
leo = i) = UmQW = lim(/*r
46
Глава 1. Цепи Маркова — основные понятия и факты
Поэтому если состояние i возвратно, т. е. = 1, то
= 0 = 1,
а если состояние i невозвратно, т. е. < 1, то
Р(^Ко = г) = 0.
Тем самым теорема доказана.
Резюме. Состояния марковской цепи делятся на несуще-
ственные и существенные.
Множество существенных состояний распадается на непе-
ресекающиеся классы существенных сообщающихся между со-
бой состояний — классы эквивалентности.
Каждый класс эквивалентности является нулевым или
ненулевым.
Нулевой класс эквивалентности может быть как возврат-
ным, так и невозвратным.
Периодические цепи. Пусть {£&} — марковская цепь. Для
данного фиксированного целого t > 0 определим последователь-
ность случайных величин {£&}:
Ck = £kt, к = 0,1,2,...
Последовательность {£&} образует марковскую цепь — для {£&}
выполняется марковское свойство.
Пусть Р = [Pij] — матрица переходных вероятностей марков-
ской цепи {£&}:
— -Р{£а;+1 — jI'Oc =
a Q = [Qij] — матрица переходных вероятностей марковской
цепи {CJ:
Qij = -^{Cfc+l = 31Ск =
Из определения цепи {£&} имеем
Qij = -^{C/c+l — j\Ck — 0 — P{£(k+l)t = JlCfct = i} =
= P{£kt+t — JlCfct = i} =
t. e.
Qij = Pijti), i,3
1.3, Существенные состояния. Классы эквивалентности
47
или в матричной форме
Q = P(f) = (Р/.
Для любого целого s > О
= -^{Gh-s = j\Ck — 0 —	= i} =
= P{£kt+st = JlCfct = /} = P^st),
т. e.
Qij(s) = Pij(st), i,j € X,	(1.3.15)
или в матричной форме
Q(s) = P(sf).
Марковскую цепь с матрицей переходных вероятностей Р бу-
дем называть Р-цепью.
Из определения Р-цепи {£&}, Q-цепи {£&} и равенства
=	X,
следует, что состояние j достижимо из i в Q-цепи за s шагов
тогда и только тогда, когда в P-цепи j достижимо из i за st
шагов.
Теорема 1.3.9 (о структуре периодической марковской це-
пи). 1° В неприводимой периодической с периодом t марковской
P-цепи фазовое пространство G представимо в виде объеди-
нения t непересекающихся классов G$,G\,... ,Gt-\, P-цепь за
один шаг из класса Gy переходит в класс Gy+\ (и = 0,1,...
... Д - 2), из класса Gt-\ в класс Go; за st (s = 1,2,...) шагов
P-цепь из класса Gy переходит в класс Gy.
2° В Q-цепи (Q = P(t)) каждый из классов Go,Gi,... ,Gt-i
является непериодическим классом эквивалентности.
3° Если P-цепь возвратна, то каждый из классов эквива-
лентности Go, Gi,..., Gt-i в Q-цепи является возвратным.
Доказательство. Сначала докажем, что для периодиче-
ской с периодом t марковской цепи имеет место следующее свой-
ство:
Лемма. Если состояние i достижимо из состояния j за
и за П2 шагов (P^(ni) > 0, P^(ri2) > 0), то ni и П2 предста-
вимы в виде
48
Глава 1. Цепи Маркова — основные понятия и факты
П1 = V + Sit, П2 = v + S2t, 0 < и < t — 1,	(1.3.16)
причем и определяется единственным образом.
Из следствия 2 теоремы 1.1.1 (уравнение Колмогорова-Чеп-
мена) имеем
Pjj(ni + т) > Р^(щ)Р^(т),
Pjj(n2 + m) > Pji(n2)Pij(m).
Из неприводимости цепи следует существование хотя бы одно-
го т, для которого Р^-(т) > 0, далее т минимальное из таких
чисел (оно единственно). Поэтому
Pjj (rii + т) > О,
Pjj(n2 + m) > 0.
Отсюда, поскольку цепь периодична с периодом t, следуют пред-
ставления
ni + т = s'it,
п2 + т = s2t,
или
ni = s'it — т,
П2 = s2t — т.
или
ni = (s'it — st) + (st — т) = sit + z/,
П2 = (s2t — st) + (st — m) = S2t + z/,
где v = st — m. Выбрав s так, чтобы и лежало между 0 и t — 1 (та-
кое и определяется единственным образом), получим требуемое
представление.
Тем самым лемма доказана.
Представление
п = v + st, 0 < I/ < t — 1,
для числа п шагов, за которое в периодической с периодом t
цепи состояние i достижимо из состояния j, дает возможность
разбить фазовое пространство G марковской цепи на t непересе-
кающихся классов следующим образом. Поскольку цепь непри-
водима, то каждое состояние достижимо из состояния 1, причем
в силу леммы только за число шагов вида
п = v + st, 0 < 1у < t — 1.
1.3, Существенные состояния. Классы эквивалентности
49
Отнесем в класс Go все состояния марковской цепи, достижимые
из состояния 1 за
п = 0 + st
шагов. В класс Gi отнесем все состояния, достижимые из 1 за
п = 1 + st
шагов, и т. д., в класс Gy отнесем все состояния, достижимые
из 1 за
п = у + st
шагов (0 < у < t — 1).А поскольку у в представлении п = у + st
единственно, то классы Gy, у = 0,1,..., t — 1, не пересекаются.
Далее, пусть цепь находится в состоянии i из класса Gy
(у = 0,1,... , t — 2), т. е. состояние i достижимо из состояния 1
за st + у шагов. За один шаг из состояния г класса Gy цепь пе-
рейдет в некоторое состояние j. Состояние j достижимо из 1 за
(s£ + z/) + l = s£ + (i/+l) шагов, поэтому j принадлежит классу
6^+1. Таким образом, P-цепь из класса Gy за один шаг перехо-
дит в класс G^i, а из класса Gt-i за один шаг цепь переходит
в класс Go-
Пусть i 6 Gy, т. е. i достижимо из состояния 1 за y+s't шагов,
и пусть сделано st шагов, при этом цепь оказалась в некотором
состоянии 7, которое достижимо из состояния 1 за у + s't + st =
= у + (s' + s)t шагов. Поэтому j 6 Gy. Так что за st шагов цепь
переходит из класса Gy в класс Gy.
Убедимся, что в Q-цепи каждый из классов Gy является
классом эквивалентности.
В самом деле, все состояния из класса Gy сообщаются в
P-цепи, причем только за число шагов вида st, т. е. для дан-
ных г, j найдутся числа и S2, что Pjj(sit) > 0, Pjj(s2t) > О
или, что то же Qij(si) > 0, Qji(s2) > 0. Два последних нера-
венства обозначают, что каждые два состояния i,j из класса Gy
сообщаются в Q-цепи.
Далее, в Q-цепи состояния из класса Gy сообщаются только
с состояниями из Gy. Действительно, пусть i е Gy и i j,
т. е. существует такое s, что Qij(s) > 0, а, следовательно, и
Pij(st) > 0. Но из состояния i е Gy в P-цепи за st шагов можно
попасть только в состояние из класса Gy, поэтому j е Gy.
Убедимся, что класс эквивалентности Gy в Q-цепи неперио-
дический. Предположим обратное. И пусть j е Gy и н. о. д. тех
чисел и, для которых Qjj(u) > 0 равен d > 1, т. е. числа и имеют
вид и = vd. Переход из j в j в P-цепи возможен только за число
шагов вида ut, при этом
0 < Qjj(u) = Qjj(vd) = Pjj((vd)t) = Pjj(v(dt)).
50
Глава 1. Цепи Маркова — основные понятия и факты
Отсюда следует, что период состояния j в P-цепи не менее dt,
причем dt > t. Но период P-цепи равен t. Это противоречие и
доказывает, что Q-цепь является непериодической.
Осталось проверить, что если P-цепь возвратна, то каждый
из классов Gy в Q-цепи возвратен. Пусть i 6 Gy. Состояние i воз-
вратно в P-цепи, что равносильно расходимости ряда ^Рц(п).
Но в P-цепи из состояния i класса Gy в состояние i можно вер-
нуться только за st шагов, поэтому
^Piiin) = 'Y^Pu(st') = y^Q tils')
n	s	s
(воспользовались (1.3.15)). Так что ряд Qu(s) является расхо-
s
дящимся и, следовательно, i — возвратное состояние в Q-цепи.
Теорема доказана.
Замечание Если в периодической с периодом t марков-
ской цепи состояние i достижимо из j 6 Gf за п шагов, то
п = у + st, 0 < у < t — 1,
при этом за первые у шагов цепь, последовательно переходя
из класса в класс, перейдет в класс Gf+y, а затем за каждые
последующие t шагов будет переходить из класса Gf+y в класс
Gf+y, пока не окажется в состоянии i.
Пример 1.3.4 (Q-цепь для случайного блуждания). Рас-
смотрим одномерное случайное блуждание по целочисленной
решетке с вероятностью р перехода на единицу вправо и с ве-
роятностью q перехода на единицу влево (р + д=1, 0<р<1),
см. также пример 1.1.1. P-цепь неприводима и имеет период 2.
А потому матрица переходных вероятностей (Q-цепи
Q = (Р)2.
Фазовое пространство Z представимо в виде объединение
двух непересекающихся классов Go и G\, а именно
Go = {..., -2п,..., -2,0,2,..., 2п,...},
Gi = {..., -(2n + 1),..., -3, -1,1,3,..., 2п + 1,...}.
При этом мы за один шаг в P-цепи переходим из класса Go в
класс Gi, а из Gi в Go. В Q-цепи Go и Gi являются неперио-
дическими классами эквивалентности.
1.3, Существенные состояния. Классы эквивалентности
51
Пример 1.3.5. Марковская цепь с фазовым пространством
{1,2,3,4} задана матрицей одношаговых переходных вероятнос-
тей
"О 01/2 1/2 '
р_	о	0	1	О
1	О	О	О	•
1/2	1/2	О	О
Классифицировать состояния марковской цепи. Убедиться,
что цепь периодична. Пусть t — период цепи, представить
фазовое пространство в виде:
G = Go U Gi U ... U Gt—\.
В Q-цепи (Q = P(t)) найти матрицу переходных вероятностей
для классов эквивалентности Go,Gi, • • • , G*-i. Классифициро-
вать состояния в классах эквивалентности Gy, и = 0,1,...
...,t- 1.
Решение. Цепь неприводимая.
Из состояния 1 в состояние 1 можно попасть только за четное
число шагов: 2,4,6,... Поэтому состояние 1, а вместе с ним и
цепь, периодична с периодом 2.
Фазовое пространство G (согласно теореме 1.3.9) представи-
мо в виде
G = G0UGi = {1,2} U {3,4}.
Класс Go образуют состояния, в которые из состояния 1 можно
попасть 3ast + 0 = s- 2 + 0 шагов, такими состояниями являют-
ся {1,2}. Класс Gi образуют состояния, в которые из 1 можно
попасть 3ast+l = s- 2+ l шаг, такими состояниями являются
{3,4}-
Каждый из классов Gq и Gi в Q = Р(2)-цепи является неперио
дическим возвратным классом эквивалентности.
Матрица переходных вероятностей Q-цепи
Q = Р(2) = (Р)2 =
0
0
1
1/2
0
0
о
1/2
1/2 1/2 I Г 0
1	0	0
0	0	1
’ 3/4	1/4	0
1	о	о
0	0	1/2
0	0	3/4
0	1/2	1/2
0	1	о
ООО
1/2	0	0
0 '
0
1/2 •
1/4 J
52
Глава 1. Цепи Маркова — основные понятия и факты
Матрица переходных вероятностей <Qo класса эквивалентнос-
ти Gq:
3/4 1/4
1 О
Матрица переходных вероятностей <Q*i класса эквивалентнос-
ти Gp.
’ 1/2 1/2 ‘
3/4 1/4 ’
1.4 Примеры и задачи
Примеры
Пример 1.4.1. Матрица переходных вероятностей марков-
ской цепи с фазовым пространством X = {1,2,3} имеет вид
Р =
’ 0,1 0,5 0,4 ‘
0,6 0,2 0,2
0,3 0,4 0,3
Распределение цепи (по состояниям) в момент t = 0, другими
словами, распределение случайной величины имеет вид
/ 1 о 3 \
( 0,7 0,2 0,1 )•
Найти:
1° распределение цепи в момент t = 2;
2° вероятность того, что в моменты t = 0, 1, 2, 3 цепь бу-
дет находиться соответственно в состояниях 1, 3, 3, 2, т. е.
найти Р{£о = 1, £i = 3, £2 = 3, £з = 2}.
Решение.
1° Воспользуемся равенством (1.1.8) при п = 2, X = {1,2,3}:
з
P{^=j} = ^PiPij^, / = 1,2,3.
i=l
2° В силу теоремы 1.1.2 (см. (1.1.7)) искомая вероятность
выражается через начальное распределение цепи и одношаговые
переходные вероятности:
Р{£о = 1, £1 = з, & = 3, 6 = 2} =
= Р{£0 = 1}Р1зРззРз2 = 0,0336.
1.4. Примеры и задачи
53
Пример 1.4.2. Марковская цепь с фазовым пространством
X = {1,2,3,4,5} задается матрицей одношаговых переходных
вероятностей
p = [Pij] =	Г 0	1/3	1/3 1/3	0	0 0	0	1/2 0	0	1/2 .000	0 1/3 1/2 1/2 0	1/3 ] 1/3 0 0 1 J
Классифицировать состояния цепи.			
Решение. Состояния 1 и 2 — несущественные, так как из 1 и
из 2 можно с ненулевой вероятностью попасть в 5, но вернуться
из состояния 5 невозможно (цепь приводима).
Состояния 3 и 4 — существенные, 5 — существенное.
Состояния 3 и 4 образуют класс эквивалентности (конеч-
ный), поэтому состояния 3 и 4 ненулевые и возвратные (см. тео-
рему 1.3.5).
Состояние 5 образует класс эквивалентности, 5 ненулевое,
возвратное состояние.
Состояния 3,4,5 — непериодические.
Пример 1.4.3. Симметричную игральную кость подбрасы-
вают независимым образом неограниченное число раз. Пусть
— число выпавших очков при к-м подбрасывании кости, к =
= 1,2,... Рассмотрим последовательность случайных величин
Т)п = max{£i,£2,---,&i}, п= 1,2,...
Показать, что последовательность {г?п} образует марковскую
цепь, найти ее матрицу переходных вероятностей, классифи-
цировать состояния цепи.
Решение. Заметив, что
T]n+1 = max{£i,£2, • • • ,Сп,Сп+1} = max{r?n,£n+i},
получим
P{Vn+i =j\nn = г,бп-1 =	= Й} =
= -Pfa+1 = j,^?n	=n} =
P{rin =	= in-i,... ,771 =zi}
_ P{max{^n+i = j,r)n = j,	= tn-i,..., тд = ?i} _
Р{Пп =i,r]n-i	=ii}
54
Глава 1. Цепи Маркова — основные понятия и факты
_ -P{max{gn+i,z} = j,pn = i,T]n-i = in-i, = zj _
P{fln =	-,rn= Z1}
= P{max{£n+1,z} = j}P{r/n = г,рп-1 = zn t... ,771 = zi} =
P{z?n = z,z/n-i =	. .,m= 71}
= P{max{£n+1, z} = j}.
Воспользовались независимостью событий
{max{Cn+i,z} = j}, {т)п = i,... ,тц = zj.
Аналогично получаем
P{rh+1 = j\rin = z} = P{max{£n+1, z} = j}-
Откуда и следует, что для последовательности случайных ве-
личин {рп} имеет место марковское свойство и, следовательно,
последовательность {т/п} является марковской цепью, причем
стационарной.
Матрица одношаговых переходных вероятностей цепи
Pij = Р{т]п+1 = j\r]n = г} = -P{max{£n+i,z} = /}, z,j = 1,2,...6,
подробнее
	Г 1/6	1/6	1/6	1/6	1/6	1/61
	0	2/6	1/6	1/6	1/6	1/6
II II	0	0	3/6	1/6	1/6	1/6
	0	0	0	4/6	1/6	1/6
	0	0	0	0	5/6	1/6
	0	0	0	0	0	1 J
Состояния 1,2,..., 5 несущественные. Состояние 6 существен-
ное, оно образует класс эквивалентности и является возврат-
ным, непериодическим.
Пример 1.4.4. Монету, вероятность выпадения герба ко-
торой равна р (0 < р < 1), подбрасывают независимым образом
неограниченное число раз. Пусть ~ число выпавших гербов
при k-м подбрасывании монеты, к = 1,2,... Рассмотрим по-
следовательность случайных величин
Z?n+1 = (z?n + 1)/{1}(Сп+1), % = о, п = 0,1,2,...
Показать, что последовательность {??„} образует марковскую
цепь, найти ее матрицу переходных вероятностей, классифи-
цировать состояния цепи.
1.4. Примеры и задачи
55
Решение. В том, что последовательность образует марков-
скую цепь, убеждаемся аналогично тому, как это делалось в при-
мере 1.4.3.
Элементы матрицы одношаговых переходных вероятностей
цепи
г, f -| q P{fln+1 = j, Т)п = О
P(,„+1=*„=.} = —5— =
= Р{(т)п + l)J{i}(gn+i) = j,rin = г} =
Р{т1п = г}
_ Р{(г + l)J{i}(gn+i) = j,r)n = г} _
Р{т1п = г}
= Р{(.г + 1)/{1}(Сп+1) = э}Р{т)п = г} =
Р{т>п = 0
= Р{(г + 1)/{1}($п+1) = j},
Pij = P{(i + 1)-^{1}(£п+1) =	€ X.
Матрица переходных вероятностей цепи
q р О О О
q 0 р О О
q 0 0 р О
Цепь неприводима, непериодична.
Убедимся, что цепь возвратна. Для этого проверим, что со-
стояния 0 возвратно (см. теорему солидарности). Достаточным
условием возвратности состояния 0 является расходимость ряда
оо
У>о,о(п)
П=1
(см. терему 1.2.2).
Непосредственной проверкой последовательно получаем, что
Fo,o(l) = <7, Род(2) = <7, Род(3) = <7,..., Род(п) = q,...
56
Глава 1. Цепи Маркова — основные понятия и факты
— для того чтобы найти Ро,о(^ + 1) достаточно знать только
первый столбец матрицы Р(п), поскольку
P(n+ 1) = РР(п), п = 1,2,...,
а первый столбец матрицы Р(п) имеет вид
(q Ч Ч <1 •••)'•
Поэтому
оо	оо
52n,ow = 52 = с».
П=1	П=1
Другое доказательство возвратности состояния 0:
оо
Р{т < <х>\т)0 = 0} = 52 р{т = «Ь» = 0}
П=1
= Р(Р) + Р(ГР) + Р(ГГР) + ... =
= q+pq + p2q + ... =	+ р + р2 + ...) =	= 1
1 -Р
(буква Г обозначает выпадение герба, буква Р — выпадение ре-
шетки) .
Замечание. Марковская цепь {т/п} описывает длину серии
успехов в последовательности независимых испытаний с вероят-
ностью успеха р в одном испытании. Каждая новая серия начи-
нается после неудачи.
Пример 1.4.5 (случайное блуждание по двумерной решет-
ке). Рассмотрим симметричное случайное блуждание по дву-
мерной целочисленной решетке: вероятности смещения на еди-
ницу вправо, влево, вверх, вниз равны по 1/4. Исследовать на
возвратность состояние 0(0; 0) — начало координат.
Решение. Возвращение из 0(0;0) в 0(0;0) обеспечивают
траектории (пути), состоящие из i перемещений влево, i переме-
щений вправо, j перемещений вверх, j перемещений вниз (всего
перемещений 2г + 2j = 2п). Каждая такая траектория опреде-
ляется словом длиной 2п, составленным из i букв П (вправо),
i букв Л (влево), j букв В (вверх), j букв Н (вниз).
Вероятность частице пройти из 0(0; 0) в 0(0; 0) по данной
траектории длиной 2п равна (1/4)2п, по траектории длиной 2п,
1.4. Примеры и задачи
57
состоящей из i перемещений влево, i перемещений вправо, j пе-
ремещений вверх, j перемещений вниз равна

(2п)! /1\2”
коэффициент при (1/4)2" равен числу слов длиной 2п, состав-
ленных из букв П, Л, В, Н соответственно в количестве г, г, j, j.
А вероятность Роо(2п) возвращения из 0(0; 0) в 0(0; 0) равна
Р00(2п) =
(2п)!
(i,iJJ):2i+2j=2n
/1\2п ул (2п)!п!п!
_ /1\2п (2п)! ул п!п!
\4/ п\п\	ihljlj!
(W,j)'-i+j=n
/ -] \ 2п п	/ \ 2п
___ / 1 I z^n \	__ I 1 । гуп гуп
“ y4y	~ \4/ C2nC2n’
воспользовались тождеством
n
Era s~ii ______ s^n
— ^2n
i=0
Используя формулу Стирлинга (см. пример 1.3.3), получим
Ряд с общим членом 1 /(тгп) расходится, поэтому состояние 0(0; 0),
а вместе с ним и марковская цепь возвратная.
Установим использованное в доказательстве тождество
п
Es'iks'ik __ гуп
— ^2п-
к=0
58
Глава 1. Цепи Маркова — основные понятия и факты
Число кратчайших путей из точки 0(0; 0) в точку А(п;п)
равно Каждый такой путь проходит через одну и толь-
ко одну из точек АЦк;п — к), 0 < к < п (точки А^ лежат
на отрезке, соединяющем точки (0;п) и (п;0)). Число путей из
точки 0(0;0) в точку АЦк\п — к) равно С^+(п_^ = С^, поэто-
му число путей из точки 0(0; 0) в точку А(п;п), проходящих
через АЦк\п — к) равно (в силу правила умножения).
Сложив количество путей, проходящих через каждую из точек
АЦк,п — к), к = 0,1,...,п, получим общее количество путей из
0(0; 0) в точку А(п;п), т. е. (%(%. Тем самым тождество
к=о
доказано.
Замечание. Отметим, что в отличие от симметричного
случайного блуждания по одномерной целочисленной решетке и
по двумерной, симметричное случайное блуждание по трехмер-
ной целочисленной решетке является невозвратным. На нефор-
мальном языке это означает, что человек, злоупотребляющий
спиртным, случайно блуждая по городу с вероятностью 1 всегда
вернется домой, а вот хлебнувший лишнего воробей, возвраща-
ясь домой (все еще в трехмерном пространстве — не пешком)
рискует домой не вернуться.
Задачи
Задача 1.1. Марковская цепь с фазовым пространством
X = {1,2,3} описывается матрицей одношаговых переходных
вероятностей
’ 1/3 2/3
О 1/3
1/3 о
о
2/3
2/3
Найти вероятность того, что:
1° цепь, стартовав из состояния 2, через два шага окажется
в состоянии 1;
2° цепь, стартовав из состояния 3, через три шага вернется
в состояние 3.
Найти распределение цепи через три шага после старта
(в момент t = 3), если начальным распределением цепи (рас-
пределением в момент t = 0) является
12	3
1/3 1/3 1/3
Ответы:
1° Р{& = 1\^ = 2} = Р21(2)=2/Э-
1.4. Примеры и задачи
59
2° Р{& = 31 £0 = 3} = Рзз(З) = 12/27.
Распределение цепи через 3 шага после старта:
1	2	3	\
20/81 19/81 42/81 )
Задача 1.2. Матрица одношаговых переходных вероятно-
стей марковской цепи имеет вид
Р =
0,1 0,8 0,1 ‘
0,4 0,4 0,2
0,5 0,5 0
Распределение цепи в момент t = 0
величины £о) имеет вид
(распределение случайной
/ 1	о	Ч \
( 0,7 0,2 0,1 )•
Найти:
1° распределение цепи в момент t = 2;
2° вероятность того, что в моменты t = 0, 1, 2, 3 цепь будет
находиться соответственно в состояниях 2, 3, 1, 2;
3° вероятность того, что в моменты t = 0, 1, 2, 3, 4 цепь бу-
дет находиться соответственно в состояниях 3, 2, 1, 1, 3.
Ответы:
1° Распределение цепи в момент t = 2:
/ 1	2	3 \
t 0,351 0,491 0,158 )
2° 0,016; 3° 0,0002.
Задача 1.3 (существенные и несущественные состоя-
ния). 1° Могут ли все состояния марковской цепи быть сущест-
венными? у конечной марковской цепи? у бесконечной? (привес-
ти примеры).
О т в е т. У случайного блуждания по целочисленной решетке
(см. 1.3.3) все состояния существенные.
У конечной неприводимой марковской цепи все состояния
существенные.
2° Могут ли все состояния марковской цепи быть несущест-
венными? (привести примеры).
Ответ: в бесконечной марковской цепи все состояния могут
быть несущественными, в конечной — нет.
Примером марковской цепи, все состояния которой несущест-
венные, может быть, например, марковская цепь с матрицей пе-
реходных вероятностей
60
Глава 1. Цепи Маркова — основные понятия и факты
1/2 1/22
0	1/2
О О
1/23
1/22
1/2
1/24 1/25
1/23 1/24
1/22 1/23
3° Могут ли в марковской цепи быть как существенные, так
и несущественные состояния? (привести примеры).
Ответ: да, например, в марковской цепи с матрицей пере-
ходных вероятностей
1/3 1/3 ‘
1/2 1/2
1/2 1/2
4° Могут ли несущественные состояния марковской цепи быть
сообщающимися? (привести пример).
Ответ: да, см. пример 1.3.2, состояния 1,2,... ,п — 1 несу-
щественные сообщающиеся.
5° Могут ли несущественные и существенные состояния мар-
ковской цепи быть сообщающимися?
Ответ. Нет, не могут. Пусть i — несущественное состояние,
тогда найдется к такое, что i к, но i не достижимо из к.
Пусть j — существенное состояние и j о г, тогда j i к. Но
j — существенное состояние, поэтому fc —> 7, а, следовательно, и
fc —> 7 —> г, т. е. г достижимо из к — противоречие.
6° Могут ли существенные состояния марковской цепи быть
несообщающимися? (привести примеры).
Ответ: да, если марковская цепь содержит больше одного
класса эквивалентности, см. пример 1.3.2 (с. 37), состояния 0 и
п существенные, но несообщающиеся.
7° Каждая марковская цепь имеет хотя бы один класс экви-
валентности. Справедливо ли это утверждение?
Ответ: да для конечной марковской цепи, для бесконечной
— нет (см. 2° в задаче 1.3).
Задача 1.4 (нулевые, ненулевые состояния). 1° Могут
ли все состояния неприводимой марковской цепи быть нулевы-
ми? (привести примеры).
Ответ: Да — в бесконечной марковской цепи, см. пример
1.3.3 (с. 37) и пример 1.4.5 (с. 56). Нет — в конечной марковской
цепи, см. теорему 1.3.5.
2° Могут ли в конечной марковской цепи быть нулевые со-
стояния? (привести примеры).
1.4. Примеры и задачи
61
Ответ: да.
3° Могут ли все состояния конечной марковской цепи быть
нулевыми?
Ответ: нет (см. теорему 1.3.5).
4° Могут ли в конечной марковской цепи все состояния быть
ненулевыми? Если да, то что необходимо потребовать от такой
цепи?
Ответ: да, цепь не должна иметь несущественных состоя-
ний.
Задача 1.5 (нулевые и возвратные состояния). Может
ли неприводимая нулевая марковская цепь быть
1° возвратной;
2° невозвратной?
Решение. Заметим, что в конечной неприводимой марков-
ской цепи все состояния ненулевые, поэтому неприводимую ну-
левую марковскую цепь надо искать среди бесконечных цепей.
Случайное блуждание по целочисленной решетке является
примером неприводимой нулевой марковской цепи, поскольку
Р»о(2„) ~ ЙС.
у/1ГП
При этом цепь может быть как возвратной (при р = q = 1/2),
так и невозвратной (при р / q).
3° Может ли неприводимая марковская цепь, сходясь по ве-
роятности к ex?, с вероятностью 1 возвращаться в каждое свое
состояние бесконечно много раз? Если да — привести примеры.
Ответ: да, например, случайное блуждание по целочислен-
ной решетке, когда р = q = 1/2 — с одной стороны, случайное
блуждание, как нулевая марковская цепь, сходится по вероят-
ности к бесконечности, а с другой стороны, при р = q = 1/2 оно
возвратно.
4° Доказать, что несущественное состояние является невоз-
вратным.
5° Доказать, что несущественное состояние является нуле-
вым.
Задача 1.6. Доказать, что неприводимая конечная марков-
ская цепь возвратная.
Указание. Достаточно доказать, что такая цепь ненулевая.
Задача 1.7. 1° Доказать, что в невозвратной неприводимой
марковской цепи с фазовым пространством
X = {...,-2,-1,0,1,2,...}
62
Глава 1. Цепи Маркова — основные понятия и факты
для любого К
Р{ |£п | > К}	1 при п сю.
Другими словами, неприводимая невозвратная марковская цепь
с фазовым пространством X = {..., —2, — 1,0,1,2,...} при п
сю “уходит в бесконечность” (по вероятности).
Указание. Невозвратная марковская цепь является нуле-
вой.
Задача 1.8. Конечная неприводимая марковская цепь яв-
ляется ненулевой, а может ли неприводимая бесконечная мар-
ковская цепь быть ненулевой? (если да, то привести примеры).
Решение. Марковская цепь с фазовым пространством X =
= {1,2,...} и матрицей переходных вероятностей
является неприводимой ненулевой.
У матрицы Р(2) первый столбец имеет вид (100 ...)', а, сле-
довательно, такой же вид имеет и столбец у матрицы Р(2п),
п = 1,2,.... Так что Рц(2п) = 1, п = 1,2,..., поэтому цепь
ненулевая.
Задача 1.9. Привести пример неприводимой возвратной мар-
ковской цепи, которая была бы нулевой. Какое может быть чис-
ло состояний этой цепи: 1) только конечное, 2) только бесконеч-
ное, 3) может быть как конечным, так и бесконечным?
Ответ: случайное блуждание по одномерной целочисленной
решетке при р = q = 1/2 является возвратным. При этом цепь
нулевая, так как
РМ(2„) ~
х/КП
при п —> оо (см. (1.3.5)).
Неприводимая возвратная нулевая цепь может быть только
бесконечной.
Задача 1.10. Доказать, что
п
Pij(n) = У	“ fc)> П = °’ 1’ • • •
k=0
1.4. Примеры и задачи
63
Воспользовавшись последним равенством, установить, что
(см. также (1.3.9), (1.3.10)).
Указание. См. в теореме 1.2.2 доказательство равенства
Рц(п) = fii(k)Pii(n - к).
k=0
Задача 1.11. Симметричную игральную кость подбрасыва-
ют независимым образом неограниченное число раз. Пусть
— число очков, выпавших при к-м подбрасывании кости, к =
= 1,2,... Рассмотрим последовательности случайных величин
1)	Cn = min{£i,£2, • • • Лп}, П= 1,2,
2)	т;п+1 = min{77n + 1,^п}, % =Сь п= 1,2,...;
3)	#п+1 = min{0n + 2,£п}> #1 = 6, п = 1,2,...
4)т„+1 = тах{тп,£п}, П = Ci, п = 1,2,...;
5)<Лг+1 = max{(y>n - 2)+, £п}, уч = £1; п = 1,2,...,
где х+ = тах{0,х} — положительная часть числа х;
бИп+i =тах{(^„ - 1),Сп}, ^1=6, «= 1,2,...
Показать, что перечисленные последовательности образуют
марковские цепи, найти их матрицы переходных вероятностей,
классифицировать состояния этих цепей.
Ответ. В том, что последовательности образуют марков-
ские цепи, убеждаемся аналогично тому, как мы это делали в
примере 1.4.3.
1)	Матрица одношаговых переходных вероятностей цепи {Сп}:
Р = [-Ру] = [P{min{i,^„} = j}], i,j = 1,2, ...6,
подробнее
	г 1	0	0	0	0	0
	1/6	5/6	0	0	0	0
II а? II	1/6	1/6	4/6	0	0	0
	1/6	1/6	1/6	3/6	0	0
	1/6	1/6	1/6	1/6	2/6	0
	L i/е	1/6	1/6	1/6	1/6	1/6
Состояния 1,2,..., 6 не сообщаются, состояния 2,3,..., 6 несу-
щественные. Состояние 1 образует возвратный непериодический
класс эквивалентности.
64
Глава 1. Цепи Маркова — основные понятия и факты
2)	Матрица одношаговых переходных вероятностей цепи {т/п}:
Р = [Ру] = [P{rnin{z + l,£n} = j}], i,j = 1,2, ...6,
подробнее
	Г 1/6	5/6	0	0	0	0 1
	1/6	1/6	4/6	0	0	0
II II	1/6	1/6	1/6	3/6	0	0
	1/6	1/6	1/6	1/6	2/6	0
	1/6	1/6	1/6	1/6	1/6	1/6
	L i/е	1/6	1/6	1/6	1/6	1/6 J
Цепь {г/п} неприводимая, возвратная, непериодическая.
3)	Матрица одношаговых переходных вероятностей цепи {#п}:
Р = [Ру] = [P{min{z + 2,Cn} = J}], i,j = 1,2,... 6.
	Г 1/6	1/6	4/6	0	0	0 1
	1/6	i/е	1/6	3/6	0	0
II II	1/6	1/6	1/6	1/6	2/6	0
	1/6	1/6	1/6	1/6	1/6	1/6
	1/6	i/е	1/6	1/6	1/6	1/6
	L i/б	1/6	1/6	1/6	1/6	1/6 J
Цепь {0П} неприводимая, возвратная, непериодическая.
4)	Матрица переходных вероятностей цепи {тп}
Р = {pij} = [P{max{z,^n} = j}], i,j = 1,2,
подробнее
’ 1/6 1/6 1/6 1/6 1/6 1/6 ‘
О	2/6	1/6	1/6	1/6	1/6
О	0	3/6	1/6	1/6	1/6
О	0	0	4/6	1/6	1/6
0	0	0	0	5/6	1/6
0	0	0	0	0	1
Состояния 1,2,..., 5 — несущественные, состояние 1 образу-
ет класс эквивалентности.
5)	Матрица переходных вероятностей цепи {</?п}
Р = {Ру} = [P{max{(z — 2)+,£n) = J}] , i,j = 1,2,... ,6,
подробнее
1.4. Примеры и задачи
65
Г 1/6	1/6	1/6	1/6	1/6	1/6 I
1/6	1/6	1/6	1/6	1/6	1/6
1/6	1/6	1/6	1/6	1/6	1/6
О	2/6	1/6	1/6	1/6	1/6
О	О	3/6	1/6	1/6	1/6
О	О	0	4/6	1/6	1/6
Цепь неприводимая, возвратная, непериодическая.
6)	Матрица переходных вероятностей цепи {V’n}
Р = {Рц} = [P{max{(i-l)+,e„}=j}], i, j = 1,2,... 6,
подробнее
Г 1/6	1/6	1/6	1/6 1/6	1/6	I
1/6	1/6	1/6	1/6 1/6	1/6
р_	0	2/6	1/6	1/6	1/6	1/6
1Г_	0	0	3/6	1/6	1/6	1/6 '
О	0	0	4/6	1/6	1/6
. 0	0	0	0	5/6	1/6 .
Цепь неприводимая, возвратная, непериодическая.
Задача 1.12. Симметричную игральную кость подбрасыва-
ют независимым образом неограниченное число раз. Пусть £&
— число выпавших очков при к-м подбрасывании кости, к =
= 1,2,... Рассмотрим последовательности случайных величин
п
1)	Лп = 52п = 1,2,...;
2)	С„+1 = (с„ - 1)+ + С1 = 6, п = 1,2,...;
3)	0п+1 = (0п ~ 2)+ + Сп, 01 = £1, п = 1,2,...;
Показать, что последовательности {ту™}, {Сп}> {#п} образу-
ют марковские цепи. Найти матрицы переходных вероятностей,
классифицировать состояния цепей.
Ответ. В том, что {т?™}, {Сп}> {#п} образуют марковские це-
пи, убеждаемся аналогично тому, как мы это делали в примере
1.4.3.
1)	Матрица переходных вероятностей цепи {т/п}:
Р = [-Ру] = [Р{* + Сп = /}], i,j = 1,2,...,
подробнее
’0	1/6	1/6	1/6	1/6	1/6	1/6	0	о	...
р= 0	0	1/6	1/6	1/6	1/6	1/6	1/6	0	...
66
Глава 1. Цепи Маркова — основные понятия и факты
Все состояния марковской цепи {т/п} несущественные.
2)	Матрица переходных вероятностей цепи {Сп}:
Р = [Ру] = [P{(i - 1)+ + Cn = Л] , i, j = 1,2,...,
подробнее
’ 1/6	1/6	1/6	1/6	1/6	1/6	0	0	0	...	'
р =	0	1/6	1/6	1/6	1/6	1/6	1/6	о	о	...
Все состояния марковской цепи несущественные.
3)	Матрица переходных вероятностей цепи {#п}:
Р = [Ру] = [Р{(г - 2)+ + Сп = Л] , i, j = 1,2,...,
подробнее
’ 1/6	1/6	1/6	1/6	1/6	1/6	0	0	0..
1/6	1/6	1/6	1/6	1/6	1/6	0	0	0..
р =	0	1/6	1/6	1/6	1/6	1/6	1/6	о	о ..
0	0	1/6	1/6	1/6	1/6	1/6	1/6	0..
Цепь неприводимая, непериодическая.
Задача 1.13. Монету, вероятность выпадения герба кото-
рой равна р (0 < р < 1), подбрасывают независимым образом
неограниченное число раз. Пусть — число выпавших гербов
при fc-м подбрасывании монеты, к = 1,2,... Рассмотрим после-
довательности случайных величин
1)	77n+i = max{7?n,£n}, щ = £1; п= 1,2,...;
2)	Сп+1 = max{«n - l)+,Cn}, С1 =6, п = 1,2,...;
3)	0n+i =min{0n,£n}, #1 =С1, п= 1,2,...;
4)	</?п+1 = min{^n + 1,£п}> <Р1 = €1, « = 1,2,...
п
5)	V’n = n = 1,2,...
k=i
Показать, что последовательности {рп}, {Си}, {#п}> {<Рп}>
Ш образуют марковские цепи, найти их матрицы переходных
вероятностей, классифицировать состояния.
1.4. Примеры и задачи
67
Ответ. В том, что {г/п}, {Сп}, {<?„}, {<^п}> {Фп} образуют
марковские цепи, убеждаемся аналогично тому, как это дела-
лось в примере 1.4.3.
1)	Матрица переходных вероятностей цепи {ту™}-
Р = {Ру} = [Р{тах{г,£п} = Л], i,j = 0,1,
подробнее
Г 1-Р Р1
[О 1 ]•
2)	Матрица переходных вероятностей цепи {£п}:
Р = {ptj} = [Р{тах{(г - 1)+, £„} = Л] , i, j = 0,1,
подробнее
Г 1-Р Р1
L 1-Р РJ '
3)	Матрица переходных вероятностей цепи {0П}:
Р = {Ру} = [P{min{z,£п} = j}], i,j = 0,1,
подробнее
Г 1 о 1
L1-р р J ’
4)	Матрица переходных вероятностей цепи {<рп}:
Р = {Ру} = [^’{пйп{г + 1,£п} = Л], i,j = 0,1,
подробнее
Г 1-Р Р1
L 1-Р РJ ’
5)	Матрица переходных вероятностей цепи {V’n}
Р = {Ру} = [Р{* + U = Л], Ф J = 1,2, • • •,
подробнее
1 -Р
О
О
Р =
р ООО
1 — р р 0 0
0	1 — р р о
68
Глава 1. Цепи Маркова — основные понятия и факты
Все состояния марковской цепи {^п} несущественные.
Задача 1.14. Марковская цепь с фазовым пространством
{1,2,3,4} задана матрицей одношаговых переходных вероятнос-
тей
"О 01/2 1/2 '
р_	0	0	0	1
1	0	0	0
_	1/2	1/2	0	0
Классифицировать состояния марковской цепи. Убедиться, что
цепь периодична. Пусть t — период цепи. Представить фазовое
пространство в виде:
G = Go U Gi U ... U Gt—i-
В Q-цепи (Q = P(t)) найти матрицу переходных вероятностей
для каждого из классов эквивалентности Go, Gi,..., Gt-i. Клас-
сифицировать состояния в классах эквивалентности Gy, v =
= 0,1,. ..,f-l.
Задача 1.15. Марковская цепь с фазовым пространством
{1,2,3,4,5} задана матрицей одношаговых переходных вероят-
ностей
р =	Г 0	0	1	0	0 0	0	10	0 1/4	1/2	0	0	1/4 0	0	0	0	1 0	0	1/2	1/2	0
Классифицировать состояния марковской цепи. Убедиться, что
цепь периодична. Пусть t — период цепи. Представить фазовое
пространство в виде:
G = G0UGiU...UGt_i.
В Q-цепи (Q = P(t)) найти матрицу переходных вероятностей
для каждого из классов эквивалентности Go, Gi,..., Gt-i- Клас-
сифицировать состояния в классах эквивалентности G^, v =
= 0,1,. ..,f-l.
Задача 1.16. Монету, вероятность выпадения герба кото-
рой р, подбрасывают независимым образом неограниченное чис-
ло раз. Пусть £п — разность между числом выпавших гербов и
решеток после n-го подбрасывания.
Убедиться, что последовательность £п образует марковскую
цепь, найти ее матрицу переходных вероятностей.
1.4. Примеры и задачи
69
Указание. Пусть £п = i — разность между числом выпав-
ших гербов и решеток. Если в (п + 1)-м подбрасывании выпал
герб, то число выпавших гербов увеличивается на 1, число ре-
шеток остается тем же, и, следовательно, £n+i = г + 1, а
Р{Сп+1 — ^ + l|£n = i} = р
Если выпала решетка, то
•PRn+1 = г - 1|£п = г} = 1 - р.
Задача 1.17. В двух урнах находится 2N шаров (по N в
каждой), среди них N белых и N черных. Из каждой урны на-
удачу выбирают по шару и перекладывают из одной урны в
другую. Пусть £п — число белых шаров в первой урне после
n-го перекладывания (в момент п).
Убедиться, что последовательность £п образует марковскую
цепь, найти ее матрицу переходных вероятностей.
Указание. Пусть £п = к (1 < к < N — 1). Значение £n+i =
= к+1, если из первой урны выбран черный шар, а из второй —
белый, вероятность этого события равна (7V — к)2/N2. Значение
£п+1 = к — 1, если из первой урны выбран белый шар, а из второй
— черный, вероятность этого события равна к2/N2. Значение
£п+1 — к, если из первой и второй урны выбраны шары одно-
го цвета, вероятность этого события равна 2fc(7V — k)/N2. Если
= 0, то £п+1 = 1; если = N, то £n+i = N-1. Для 0 < к < N
Ал+1 = (^ - tf/N2, Рк,к-1 = k2/N2, Рк,к = 2k(N - k)/N2,
Род = 1, Pn,N-1 = 1-
Для остальных пар i,j значения P^j = 0.
Очевидно, что состояние £п+1 системы — число белых шаров
в первой урне после (п + 1)-го перекладывания — определяется
состоянием £п системы в момент п и не зависит от того, сколько
белых шаров было в первой урне до момента п. Поэтому после-
довательность {£п} образует марковскую цепь.
Задача 1.18. Организм в конце своей жизни производит
случайное число £ потомков. Распределение случайной величи-
ны
Р{£ = к} = ак, к = 0,1,2,...	(1.4.1)
Каждый из потомков в конце своей жизни независимо от дру-
гих потомков производит потомство, численность которого име-
ет распределение (1.4.1). (Мы будем предполагать, что продол-
жительность жизни одинакова для всех организмов.)
70
Глава 1. Цепи Маркова — основные понятия и факты
Обозначим через £п численность популяции в n-м поколении,
п = 1,2,...
Убедиться, что последовательность {£п} образует марков-
скую цепь, найти ее матрицу переходных вероятностей (после-
довательность {Сп} известна под названием ветвящегося процес-
са).
Указание. Пусть численность популяции в n-м поколении
равна г, т. е. £n = i. Каждый из i членов популяции произво-
дит £ потомков, в результате чего численность £п+1 популяции в
(п + 1)-м поколении становится равной £i + £2 + • • • + £?•
Непосредственной проверкой убеждаемся, что
= PRn+1 — j\Cn — 0 — Р{£1 + £2 + • • • + £? — j}-
Эта вероятность равна значению в точке j распределения суммы
£1 + £2 + • • • + 6
независимых случайных величин £1, & > • • • > &> распределение каж
дой из которых определяется равенством (1.4.1).
Задача 1.19. Доказать, что равенство (1.1.9) при каждом
фиксированном п задает вероятностное распределение на мно-
жестве последовательностей $оД1,... ,in целых неотрицатель-
ных чисел.
Глава 2
Предельные теоремы
для марковских цепей
2.1 Эргодическая теорема
Дискретное уравнение восстановления. Ключевым в ана-
лизе предельного поведения марковской цепи является следую-
щий результат.
Теорема 2.1.1 (уравнение восстановления). Пусть
1) F — вероятностное распределение, сосредоточенное на
множестве целых неотрицательных чисел такое, что н.о.д.
тех к, для которых
F({k}) =ak >0, k = 0,l,...,
равен 1;
оо
2) bk — сходящийся ряд с неотрицательными членами.
к=о
Если уравнение восстановления
п
Un ^к^п—к = ^п>	— 0, 1, . . . ,	(2.1.1)
к=0
имеет ограниченное решение и = (uq, и\,.. .):
sup \ип\ < М,
п
72
Глава 2. Предельные теоремы для марковских цепей
то оно имеет и предел, причем
оо / оо
limtzn = ^bk / ^kak,	(2-1.2)
"	fc=O I k=o
OO
если kak < oo, и
k=0
limun = 0,
n
oo
если kak — oo.
k=Q
Доказательство. Мы докажем теорему в предположе-
нии, что ai > 0, но она имеет место и в приведенной выше фор-
мулировке.
В условиях теоремы решение уравнения восстановления неот-
рицательно. Действительно, из ai > 0 следует 0 < 1 — ао- Пола-
гая в (2.1.1) последовательно п = 0,1,2 ..., получаем: при п = 0
ио — aouo = bo, t4o(l — &o) = bo,
и так как 0 < 1 — ao, bo > 0, то uq > 0; при п = 1
их - (ao^i + ai^o) = bi, ?zi(1 — ао) = i>i + aiuo,
и так как bi > 0, ai > 0, uq > 0, то и ui > 0. И так далее (по
индукции) получаем, что ип > 0 для всех п = 0,1,2,...
Для доказательства теоремы установим, что
оо
если kak < оо, и
k=Q
0 < lim ип < lim ип < 0
оо
если ^ак — оо.
к=0
Обозначим
ц = lim ип, Л = lim ип
2.1. Эргодическая теорема
73
Далее нам понадобится следующее вспомогательное утвер-
ждение.
Если {пП;.} — подпоследовательность последовательности
{пп}, для которой
limun. = Л = limnn,
nj 3
то и
limuni_d = А	(2-1-4)
nj
для каждого натурального d. ________
Заметим, что поскольку Л = limnn, то для данного е > О,
начиная с некоторого по (п > по)
ип < А + е.	(2.1.5)
Сначала покажем, что
limnn._i = А.
п7-	3
Предположим противное, т. е. unj_\ не сходится к А. Тогда най-
дется А' < А (найдется окрестность (А',+оо) точки А), что для
бесконечного числа значений индекса nj
— А < А.
Для этих индексов оценим unj сверху, воспользовавшись тем,
что unj удовлетворяют равенствам
Tlj
^nj =	> ^k^nj—k “Ь bnj
k=0
(см. (2.1.1)) или
N	rtj
Un3 =	> akunj—k + alunj — 1 +	akunj—k +
k=O,k^l	k=N+l
(TV выберем далее). Оценим каждое слагаемое в правой части
последнего равенства.
74
Глава 2. Предельные теоремы для марковских цепей
Поскольку unj-i < Л', то
< «1А'-
При достаточно больших nj значение
brij _ £>
оо
поскольку ряд bk сходится.
к=0
оо
Из сходимости ряда ак и ограниченности последователь-
но
ности {?in} следует, что найдется такое 2V, что
Tlj	ОО
'Г, akunj-k <м ^2 ak<M ^2 ak<^,
k=N+l	k=N+l	k=N+l
зафиксируем это N.
И, наконец, в силу (2.1.5), при достаточно больших nj
(nj > no,nj > TV) с учетом того, что к < N, имеем
N	N
^k^rij—k < (А + s)	Ofc <
к=О,к^1	к=О,к^1
<(A + s) а/* = (А + г)(1 — ai).
к=0, /с/1
“Собирая” все оценки, получим
tinj < (A+s)(l— 6ii)+6ii Az+s+s = А(1—cii)+s(l — cii)“H&iA'+2s
< А — Аб&1 + A 6Z-1 + 3s — А — 611 (А — А ) + 3s.
В частности, если
3 s = - 6Zi (А — А7),
то для бесконечного числа индексов nj имеем
unj < А — —611 (А — А ),
J 2
2.1. Эргодическая теорема
75
т. е. бесконечное число элементов последовательности {unj}, схо-
дящейся к Л, не принадлежит окрестности точки Л. Из получен-
ного противоречия и следует, что если unj А, то и unj_\ Л.
Повторяя те же рассуждения применительно к unj-i, убеж-
даемся, что Unj-2 сходится к Л и т. д.
Так что, если последовательность {unj} сходится к X, то и
последовательность {unj-d} также сходится к X для каждого
целого d > 0.
Аналогичное утверждение имеет место для ц = lim к.
Если подпоследовательность {unj} последовательности
сходится к ц:
limun. = ц = lim Un,
то и
limun—d = ц = limun	(2.1.6)
nj
для каждого натурального d.
Далее нам понадобится запись уравнения восстановления
п
^k^n—k ~ ^п> а — 0,1,...,
к=0
в терминах остатков:
Гп — ^п+1 + ^п+2 + • • • , П = 0, 1, . . . ,
ряда ^2 ак.
k=o
Очевидно,
го = ai + в2 + аз + ... = 1 - ао.
ап = гп-г -гп, п = 1,2,...,
ао = 1 - г0.
При п = 0 из уравнения восстановления (см. (2.1.1)) имеем
ио — ново = Ьо
или, в терминах остатков,
гоио = Ьо,
(2-1.7)
76
Глава 2. Предельные теоремы для марковских цепей
при n > 1 из (2.1.1) имеем
un - (aoun + aiUn-i + • • • + an-iui + anuo) = bn,
в терминах остатков —
t4n(l-ao)-((ro-ri)t4n_i + (ri-r2)t4n-2 + - • • + (rn-i - rn)u0) = bn
или
“Ь ^l^n—1 + ... +	(^O^n—1 + ... + 'f'n—1^0) = bn-
Обозначив
roun + riun-i + ... + rnuo = An, n = 0,1,2,...,
перепишем уравнение восстановления так:
A^ An-i — bn у n — 1,2,...,
при n = 0
Ao = &o
(см. равенство (2.1.7)). И, наконец, так:
An = bfc, n = 0,1,...,
k=o
или, подробнее,
п
roun + HUn-i + ... + rnuo = bk, П = 0,1,...	(2.1.8)
k=o
(уравнение восстановления в терминах остатков).
На следующем этапе доказательства, используя запись урав-
нения восстановления в терминах остатков, предельным перехо-
дом по п получим, что
lim и„ = ц = X = limun.
Пусть {nj} — последовательность индексов, для которых
limtu. = Л,
„ J
2.1. Эргодическая теорема
77
а, следовательно, и
lim uni-d = А
nj J
для каждого d. Положив в (2.1.8) п = получим
nj
rounj+r1unj_1 + . . .+rNUnj_N+rN+lUnj_^N+^ + . . .+rnjU0 = ^bk.
k=0
Отсюда
nj
rounj + ViUrij-l + • • • + nv Unj-N < bk.
k=Q
Переходя к пределу при nj —> оо в правой и левой частях по-
следнего неравенства, имеем
оо
А(го + И + ... + rN) < 52
k=o
отсюда
оо / N
А < ^bk / ^rk.
k=0 I k=0
Далее рассмотрим отдельно два случая:
(2.1.9)
ОО
52= +оо;
к=0
< сю
оо	оо
(заметим, что гк — 12 как)-
к=0	к=0
оо
Если гк — +оо, то переходя в неравенстве (2.1.9) к пре-
к=0
делу при 7V —> сю, получаем
А < О,
что с вместе с неравенствами 0 < р, < А < 0 доказывает теорему.
78
Глава 2. Предельные теоремы для марковских цепей
ОО
Если rk < °0, то из (2.1.9) имеем
k=o
оо / оо
А <52^ / ^гк.
к=0	/ к=0
Установим, что имеет место и неравенство
оо / оо
52/ ^гк < р.
к=0	/ к=0
Пусть rij — последовательность индексов, для которых
[1 = limtu.,
nj 3
а, следовательно, и
lim un d = у,
nj 3
для каждого d > 0. Для этих значений индексов из (2.1.8) имеем
+ П^п7--1 + • • • + rN Unj-N +
nj
+(r/v+i (jv+i) + • • • + rn.uo) = bk.
k=Q
Отсюда, учитывая что sup?i^ < M, получаем неравенство
к
nj
TOUnj + HUnj-l + • • • + rN Unj-N + M(rN+i + ... + rnj) > ^2 bk •
k=0
Переходя к пределу при nj оо в правой и левой частях этого
неравенства, имеем
оо	оо
р(.го + п + ... + rN) + М ^2 rk У
k=N+l	к=0
далее, переходя к пределу при 7V —> оо и учитывая, что
оо
lim
N—>оо
52 Гк
k=N+l
= 0
2.1. Эргодическая теорема
79
ОО
(рад rk сходится), получаем
&=0
оо	оо
P^rk >
к=0	к=0
ИЛИ
оо / оо
52Ьк / 52Гк -
к=0	/ к=0
Что вместе с ранее полученным неравенством
оо / оо
а < ^2Ьк / 52Гк
к=0	/ к=0
и доказывает теорему.
Эргодическая теорема для непериодических цепей.
Напомним, что
Putty = 1, Рц(п) = Р{£п = i|£0 = 0> п = 1,2, • • •,
/и(0) = О, ЛД1) =	= г|£0 = 0 = Рц(1),
= Р{£>п = Со =	7^ V = 1, 2, . . . , 71 — 1|£о = О’
п = 2,3,...,
Рц(п) = 52 ~кУ п = 1,2, . . . ,
к=0
Tj — момент первого возвращения в состояние г, его математи-
ческое ожидание
Mri = ^kfu(k).
к=0
Теорема2.1.2 (эргодическая). В неприводимой возвратной
непериодической марковской цепи для любых состояний i,j су-
ществуют limРц(п), limP^(n) и
limPjJn) = lim Рц(п),
п J	п
80
Глава 2. Предельные теоремы для марковских цепей
причем, если Mrj < сю, то
“»тР”(п) = Ж’
если = оо, то
limPjj(n) = 0.
п
Доказательство. Равенства
Ри(0) = 1, Рц(п) - Г fii(k)Pn(n - fc) = 0, n = 1,2,...,
fe=0
обозначают, что последовательность
Un = Рц(п), n = 0, 1 . . . ,
является ограниченным решением уравнения восстановления
п
^k^n—k —	— 0, 1, ... ,
к=0
у которого
= fatty, к = 0,1,2,...,
bo = 1, Ьп = 0, n = 1,2,...
При этом, во-первых, = fatty, к = 0,1,2,..., — вероятност-
ное распределение на множестве {0,1,2,...} — поскольку цепь
возвратна, то
оо
k=0
и, во-вторых, цепь непериодична, т. е. наибольший общий дели-
тель тех к, для которых Patty > 0 равен 1 (не нарушая общ-
ности будем считать, что /«(1) = Patty > 0). Поэтому согласно
теореме 2.1.1 ограниченное решение {Р^(п)} уравнения восста-
новления имеет предел, причем
lim Рц(п) = —-----
”	Е кШк)
k=o
1
Ж’
2.1. Эргодическая теорема
81
если Мтг < оо, и
limPjj(n) = О,
п
если Мтг = сю.
Установим ещё, что
lim Рц(п) = limPn(n).
п J	п
Имеет место следующее легко проверяемое соотношение:
п
Pji(n) = У fji(k)Pii(n ~k), п = 0,1,2, ... ,
fc=0
которое в обозначениях Pji(n) = уп, Рц(п) = хп, fji(k) =
перепишем так:
п
Уп =	bfoXn—кч 72 = 0, 1, 2, ... ,
к=0
причем, поскольку цепь возвратная, то
оо	оо
к=0	к=0
см. теорему 1.3.8.
Покажем, что если хп с при п сю (|xn| < 1 и |с| < 1), то
уп с при п сю.
Действительно,
п	п	оо
Уп ~ с	bfcXn—k — С = bfcXn—k — С bfc =
к=0	п=0	к=0
п	оо
— Ък(хп—к — с) — С bfc =
к=0	/с=п+1
N	п	оо
— Ь^^хп—к — с) + Ьь(хп—к — с) — с bfc.
к=0	k=N+l	&=п+1
82
Глава 2. Предельные теоремы для марковских цепей
Отсюда
N	п	оо
\Уп - с| < ^bk\xn_k - с| + ^2 bfel^n-fc - с| + С ^2 bk-
k=0	k=N+l	k=n+l
Будем оценивать правую часть, начиная со второй суммы.
Пусть е > 0. Выберем N так, чтобы
п	п	оо
bk\%n—k ~ с| — 2	< 2 bfc < £
fc=N+l	k=N+l	fc=N+l
и зафиксируем. Далее, поскольку последовательность {xi} схо-
дится к с, то при достаточно больших п
N
bk\^n—k ~ с| —
к=0
Третья сумма как остаток сходящегося ряда меньше е. Поэтому
при достаточно больших п
\уп - с| < 3s.
Тем самым теорема доказана.
Следствие 1. В ненулевой неприводимой непериодической
марковской цепи для любых состояний i, j существуют lim Рц(п),
п
limP7Jn) и
п J
limPn(n) = lim Рц(п),
п	п
среднее время возвращения
оо
Мгг =
k=Q
конечно и
ПтРй(п) = —.
п	MTi
Доказательство. Так как цепь ненулевая, то она воз-
вратна, и в силу эргодической теоремы существуют и равны
limРц(п\ lim Рц(п).
п	п J
2.1. Эргодическая теорема
83
Далее, среднее время возвращения Мтг в состояние i ко-
нечно — если бы Мтг = оо, то в силу эргодической теоремы
limРц(п) = 0, но последовательность Рц(п) не стремится к ну-
п
лю (цепь ненулевая). В силу эргодической теоремы
limPii(n) = -г^-.
п	MTj
Замечание. В силу теоремы 1.3.1 множество существен-
ных состояний марковской цепи распадается на непересекаю-
щиеся классы сообщающихся между собой состояний (классы
эквивалентности). Для тех из классов, которые являются воз-
вратными непериодическими, имеет место эргодическая теоре-
ма.
Эргодическое распределение. Пусть С — возвратный не-
периодический класс. Вероятностное распределение {тгД, задан-
ное на классе С равенствами
7Tj = lim Pjj (n), j 6 C,
называется эргодическим. Если при этом хотя бы для одного i
значение тг^ > 0, то класс С называется возвратным ненулевым
(эргодическим), если хотя бы для одного к значение = 0, то
класс называется возвратным нулевым (слабо эргодическим).
Определение эргодического распределения, возвратного нену-
левого и возвратного нулевого классов корректно. Из
оо
52	= 1
j=0
N
имеем ^ij(n) < 1- Переходя в последнем неравенстве к пре-
j=o
делу сначала по п, а затем по 7V, получим
оо
т. е. {тг^} является вероятностным распределением (собствен-
ным1 или несобственным).
Распределение {тг7-} называют собственным вероятностным распреде-
лю	оо
лением, если = 1 и несобственным, если	71 з < 1-
J=0	j=0
84
Глава 2. Предельные теоремы для марковских цепей
Далее, для любых i,j € С
Pjj(n + s + m)> Pji(n)Pu(s)Pij(m)	(2.1.10)
(см. следствие 3 из уравнения Колмогорова — Чепмена). В си-
лу неприводимости класса С числа пит можно выбрать так,
что Pji(n) > 0, Рц(т) > 0. Переходя в неравенстве (2.1.10) к
пределу при s оо, получаем
7Г7- > Pji (n)7ViPij(m).
Поэтому, если для некоторого i значение тгг > 0, то 7Vj > 0 и для
каждого другого j 6 С; если для некоторого j значение тг7 = 0,
то для всех i 6 С значение тгг = 0.
Заметим, что у нулевого класса эквивалентности С эргоди-
ческое распределение всегда существует, поскольку для каждого
состояния j из нулевого класса С
hmPjj(n) = 0.
Теорема 2.1.3 (о предельном распределении марковской
цепи). Распределение неприводимой возвратной непериодической
марковской цепи сходится к ее эргодическому распределению {тг^}:
lim Р{£п = k} = тг&, к = 0,1,...
п
Доказательство. Обозначим Р{£п = к} через Qn{{k}).
В силу (1.1.8) Qn({k}) можно представить в виде
оо
Qn({^}) — Р{£п — к} =	pjPёДн).
?=0
Отсюда
\Qn({k}) - 7Гк\ =
оо
^PiPikM - 7Гк
1=0
оо	оо
-ТГк^Рг
?=0	?=0
оо
- TTfc)
i=0
2.1. Эргодическая теорема
85
N	оо
< ^Pi \Pik(n) — TTfcl + ^2 Pi\Pik(.n) -як\<
?=0	i=N+l
N	oo
< "£2Pi\Pik(n) — TTfcl + 2£ Pi.
?=0	i=N+l
oo
Выберем N так, чтобы 2 Pi < e и зафиксируем. Далее, по-
i=N+l
скольку	7i> при n —> оо, то при достаточно больших п
N
&1ВД - 7rfe| < е,
г=0
а, следовательно,
l<2n(W) - TTfel < Зе.
Тем самым теорема доказана.
Стационарное распределение марковской цепи. Ста-
ционарным распределением марковской цепи с матрицей пере-
ходных вероятностей Р = [Рц] называется вероятностное рас-
пределение {vfc} (собственное или несобственное), для которого
при каждом п
^ViPij(n) =Vj, j = 0,1,...,	(2.1.11)
г=0
или, в матричном виде,
P'(n)v = V,
где v = (vo, vi, V2,..
Пусть {v^} — начальное распределение марковской цепи {£п}:
Р{£о = i} = Vi, i = 0,1,...,
тогда для любого п
52	= Р{£п = k}, к = 0,1,...
86
Глава 2. Предельные теоремы для марковских цепей
Если начальное распределение {г^} цепи является ее стационар-
ным распределением, то из последнего равенства и определения
стационарного распределения цепи следует
Р{£п = k} = vk, к = 0,1,...,
т. е. при каждом п распределение Р{£п = к}, к = 0,1,..., цепи
совпадает с ее стационарным распределением {v^} — с течением
времени распределение цепи не меняется.
Далее мы будем пользоваться следующим утверждением.
Для того, чтобы вероятностное распределение {и^} мар-
ковской цепи с матрицей переходных вероятностей Р = [Р^]
было стационарным, достаточно, чтобы
^ViPik = vk,k = 0,l,...,	(2.1.12)
?=0
или, в матричном виде,
P'v = V.
В самом деле, умножив правую и левую часть равенства
оо
ViPik = ^кч к = 0, 1, . . . ,
?=0
на Pkj и просуммировав по всем к, получим
оо	оо	оо
PikPkj =	VkPkj ч
i=0 k=0	к=0
ИЛИ
У2ViPij(2) =Vj, j = 0,1,...
i=0
Повторив эту операцию п раз, получим (2.1.11).
Распределение {v&}, для которого имеет место (2.1.12), так-
же называют стационарным.
2.1. Эргодическая теорема
87
Теорема 2.1.4 (о стационарном и эргодическом распреде-
лениях). Эргодическое распределение неприводимой ненулевой
непериодической цепи является ее собственным стационарным
распределением, и наоборот: собственное стационарное распре-
деление неприводимой возвратной непериодической цепи явля-
ется ее эргодическим распределением.
Доказательство. Заметим, что ненулевая цепь заведомо
возвратная, поэтому у неё существует эргодическое распределе-
ние.
Сначала покажем, что любое эргодическое распределение це-
пи {тг^} (ttj = limPjjfji)) является ее стационарным распределе-
нием, т. е.
оо
=^j, j =0, 1,...
г=0
Из уравнения Колмогорова—Чепмена для любых п имеем
оо	N
Pjj(n +1)=	> У^
к=0	к=0
N произвольное. Переходя в этом неравенстве к пределу при
п —> оо, получаем
N
itj > У^ ^k^kj-)
к=0
ат. к. N произвольно, то и
оо
j =0,1,...	(2.1.13)
к=0
На самом деле все нестрогие неравенства (2.1.13) являются ра-
венствами. Если предположить, что хотя бы одно из неравенств
(2.1.13) строгое и просуммировать все неравенства (2.1.13), то
получим противоречие:
оо	оо / оо	\	оо	оо	оо
У? Kj > У? I У? ^kPkj j = У27Гк У?	= У?7г/с-
j=0	j=0 \к=0	/	к=0	j=0	к=0
Откуда следует, что для всех j = 0,1,...
оо
У? ^kPkj = Kj.
к=0
88
Глава 2. Предельные теоремы для марковских цепей
Так что эргодическое распределение всегда является стаци-
онарным.
Убедимся, что в ненулевой (неприводимой) цепи эргодиче-
ское распределение {тч} является собственным стационарным
распределением.
Эргодическое распределение {тгД всегда является стацио-
нарным: для любого п
оо
^2^П/п) = тг,, j = 0,1,2,...	(2.1.14)
k=0
Переходя в последнем равенстве к пределу при п сю, причем в
левой части под знаком суммы (если такой предельный переход
возможен), получим
оо
УТ ^k^j — Яр
k=0
Отсюда, поскольку класс ненулевой и, следовательно tvj 0,
имеем
оо
12
к=0
т. е. эргодическое распределение в ненулевом классе является
собственным.
Убедимся, что в левой части равенства (2.1.14) можно перей-
ти к пределу при п —> сю под знаком суммы. Для этого оценим
сверху разность
оо
-TTj .
k=0
Имеем
оо
-7TJ
k=0
оо	оо
уТ^р^и - УТ7^
к=0	к=0
N
^7Vk(Pkj(n) ~7Vj)
k=0
k=N+l
N	oo
< ^27r*:i-p^(n) -141+2 ^2 ^k-
k=Q	k=N+l
2.1. Эргодическая теорема
89
Второе слагаемое, как это остаток сходящегося ряда, можно сде-
лать меньше данного е за счет выбора N. При фиксированном
N первое слагаемое меньше е для достаточно больших п. Так
что для любого данного е > 0 при достаточно больших п
оо
^2^kPkj(.n) - TTj
k=0
< 2г.
Последнее неравенство и доказывает справедливость (2.1.14).
Пусть теперь {^} — собственное стационарное распределе-
ние неприводимой возвратной непериодической цепи: для каж-
дого п = 1,2,...
оо	оо
^2ViPij(п) =Vj, j = 0,1,...,	= 1.
?=0	j=0
Убедимся, что {vj} является эргодическим распределением.
Как и в первой части теоремы, переходя в равенстве
оо
^ViPij^n) = Vj
i=0
к пределу под знаком суммы при п оо, получим
оо
=Vj, j = 0,1,...,
i=0
(существование пределов lim Рц(п) гарантировано возвратнос-
тью и непериодичностью неприводимой цепи). И поскольку рас-
оо
пределение {г^} собственное, т. е. = 1, то
?=о
Vj j =0,1,...
Замечание. В теореме в явном виде непериодичностью мы
не пользуемся. Непериодичность вместе с возвратностью обес-
печивает существование эргодического распределения.
Резюме. Если класс С нулевой, то все предельные зна-
чения для Pij(n) известны — они равны нулю (независимо от
того класс возвратный или нет, периодический или нет). Если
90
Глава 2. Предельные теоремы для марковских цепей
же класс С ненулевой (как следствие он возвратный) и непери-
одический (требование непериодичности цепи не принципиаль-
но), то в силу эргодической теоремы существуют предельные
(эргодические) значения для Pij(n):
lim (п) = 7Vj, j 6 C,
заведомо отличные от нуля (класс ненулевой).
Эргодическое распределение {тг?} ненулевого класса эквива-
лентности совпадает с его собственным стационарным рас-
пределением и поэтому эргодическое распределение можно по-
лучить как решение системы линейных уравнений
Р'тГ = 7Г, ^2^2 = 1.
iec
Пример 2.1.1. Рассматривается марковская цепь с фазо-
вым пространством X = {1,2,3}, заданная матрицей одноша-
говых переходных вероятностей
’ 4/5 1/5	0	‘
3/5 1/5 1/5
О 4/5 1/5
1° Существует ли limРц(п), i = 1,2,3?
п
2° Если limРц(п), существует, найти его.
п
3° Вычислить среднее Mri времени первого возвращения ъ
в состояние i, i = 1,2,3.
Решение. Марковская цепь, описываемая матрицей пере-
ходных вероятностей Р, неприводимая и непериодическая. По-
скольку цепь конечна, то она ненулевая и, как следствие, воз-
вратная. Поэтому согласно эргодической теореме существует
limРц(п) = 7Vj, i = 1,2,3.
п
Далее, в неприводимой ненулевой непериодической марков-
ской цепи эргодическое распределение совпадает с собственным
стационарным распределением, т. е. удовлетворяет системе
Р'7Г = 7Г,
3
Е^ = 1-
2.1. Эргодическая теорема
91
или, что то же, с	истеме					
	Г 4 5%1	+	3 -я2	+	0тг3 =	7Г1,
<	1 5"1	+	1 5"2	+	4 5"3 =	7Г2,
	Otti	+	1 5"2	+	1 5"3 =	7ГЗ,
	,	7Г1	+	7Г2	+	7Г3 =	1.
Решая эту систему, получим
12	4	1
= 17’	= 17’
Согласно эргодической теореме среднее время возвращения
Mri = 1/тгг, i = 1,2,3.
Эргодическая теорема для периодической цепи. Ис-
следование асимптотического поведения переходных вероятнос-
тей Pij(n) при п ч ос в периодической цепи сводится к их ис-
следованию в непериодической цепи.
Теорема 2.1.5 (эргодическая теорема для периодических
t-i
цепей). Пусть G = |J Gy — фазовое пространство неприво-
У = в
Зимой возвратной периодической с периодом t марковской це-
пи с матрицей переходных вероятностей Р = [Рц], матрица
[Qol — Q — Р(0-
Для каждого i Е Gy (z/ = 0,1, ...,£— 1)
/ ч ( Qi — lirnQi^n), если
lim (nt) =	п h
п J [0,	если
, ч ( Qi = limQiJn), если
ИтРДк + nt) = < 3 n
n	[0,	если
j е Gy,
3 i Gy,
j 6 Gy+k^
j Gy+k,
к = 1,2,. ..,t- 1.
Доказательство. Согласно теореме о структуре периоди-
ческой цепи (см. теорему 1.3.9) в Q-цепи каждый класс эквива-
лентности Gy является неприводимой возвратной непериодиче-
ской цепью, поэтому для гД 6 Gy в силу эргодической теоремы
92
Глава 2. Предельные теоремы для марковских цепей
существует lim Qjj (п) и
lim Qjj (n) = lim Qjj (n) = qj.
А поскольку
Pij(nt) = Qijfa)
(cm. 1.3.15), to
lim Pjj (nt) = lim (n) = qj
для i,j e Gy.
Если j Gy, to Pjj(nt) = 0 (за nt шагов из i 6 Gy можно
перейти только в класс Gy), а значит
lim Рц (nt) = 0.
п
Пусть теперь i е Gy, j е Gy+k (k = 1,2,..., t — 1). Убедимся
в справедливости равенства
lim Рц(к + nt) =qj-	(2.1.15)
Из класса Gy P-цепь за первые к шагов перейдет в класс
Gy+k (см. теорему 1.3.9), поэтому в силу уравнения Колмогорова-
Чепмена
Py(fc + nt)= Pis(k)PSj(nt). (2.1.16)
За последующие nt шагов P-цепь из класса Gy+k переходит толь-
ко в класс Gy+k (см. теорему 1.3.9).
При п —> оо правая часть равенства (2.1.16) имеет предел,
равный qj. Убедимся в этом. Для этого оценим сверху разность
Имеем
^2 Pis^Psjint') - qj
^2 PiS(k)Psj(nt) -qj
S(zGv+k
2.1. Эргодическая теорема
93
52 Pis(k')PSj(nt') - 52 Pis(k)qj <
s^Gv+k	seelie
< ^2 Pis^ ~ + 12 Pis^ \psj(nt) - <
sEM	s€.G и+к\М
< 52 P™№) \Psj(nt) - qj\ + 2 52 Pis(k).
stM	s^Gly^-ic\M
Для данного s > О, выбрав конечное подмножество М С Gy^
так, чтобы
52 Pis(k) £’
sEGu+^\M
а затем (при фиксированном М) п настолько большим, чтобы
52 Pisik') \PSj(nt) -qj\<£,
seM
получаем, что при достаточно больших п
Pis(k)PSj(nt) qj
sZGv+k
< £.
Так что правая часть равенства (2.1.16), а вместе с ней и веро-
ятность Pij(к + nt), при п —> оо имеет предел, равный qj.
Если j Gy+k, то Pij(к + nt) = 0 и, следовательно,
]ш1Рц(к + nt) = 0.
'П J
Пример 2.1.2. Найти предельные значения Рг](п) при
п <х> (если они существуют) для марковской цепи, заданной
матрицей переходных вероятностей
’О 01/2 1/2 '
О 0	3/4	1/4
1/2 1/2 О О
1/2 1/2 О О
94
Глава 2. Предельные теоремы для марковских цепей
Решение. Марковская цепь периодична с периодом 2. Со-
гласно теореме о структуре марковской цепи фазовое простран-
ство G цепи представимо в виде объединения непересекающиеся
классов Go и Gi, причем за 2 шага P-цепь переходит из класса
Gy в класс Gy, v = 0,1. Матрица переходных вероятностей
		Q = Р(2) =	(р;	)2,	
подробнее					
	 0	0	1/2 1/2 ‘		’ 0	0	1/2 1/2 ‘
(Л) — ТП) . ТП)—	0	0	3/4 1/4		0	0	3/4 1/4
О’ — 1г • 1г —	1/2 1	/2	0	0		1/2	1/2	0	0
	1/2 1	/2	0	0		L 1/2	1/2	0	0
		’ 1/2 1/2	0		0 ‘	
		1/2 1/2	0		0	
		0	0	5/8		3/8	
		0	0 5/8		3/8	
Матрица переходных вероятностей класса эквивалентности
Go = {1,2} имеет вид
Qo =
1/2 1/2
1/2 1/2 ’
класса эквивалентности Gi = {3,4} —
Qi =
5/8 3/8
5/8 3/8
Далее воспользуемся эргодической теоремой для периодичес-
кой цепи (теорема 2.1.5).
Для непериодического возвратного класса Go = {1,2} с мат-
рицей одношаговых переходных вероятностей
Qo =
1/2 1/2
1/2 1/2
найдем эргодическое распределение {<Zi, #2}, оно совпадает с соб-
ственным стационарным распределением цепи, т. е. является ре-
шением системы
f Qotf = ъ
[ <71 + <72 = 1,
2.1. Эргодическая теорема
95
где q = (qi,Q2)z- Подробнее:
qi/2 + Q2/2
qi/2 + Q2/2
qi + <72
qi,
Q2,
1.
Решением этой системы является
1 1
= 2’ 92 = 2
Аналогично находим эргодическое распределение {#3, q^} непе-
риодического возвратного класса Gi = {3,4} с матрицей одно-
шаговых переходных вероятностей
Qi =
5/8 3/8
5/8 3/8
как решение системы
(5/8)93 + (5/8)q4 = q3,
(3/8)93 + (3/8)<?4 = 94,
?з+?4 = 1,
где q = (Q3, </4)'. Имеем
5	3
93 = 8 ’ 94 = 8’
Поэтому согласно эргодической теореме для периодических це-
пей имеем: для i 6 {1,2}
lim Pjj (2ri) =
Qj = limQjj(n), j G {1,2};
0,	”	j € {3,4};
r, 7O	f 9j = limQjj(n), je{3,4};
limP,j(2n +1) = | 0	je{i 2};
для i € {3,4}
limPy(2n) =
qj = limQjj(n), j G {3,4};
0,	”	j G {1,2};
96
Глава 2. Предельные теоремы для марковских цепей
1,тРу(2„+1)=| 0_ п
Вероятности поглощения. Следующая далее теорема опи-
сывает предельное поведение Pij(n) при п сю, когда i — несу-
щественное состояние, а состояние j принадлежит некоторому
классу эквивалентности С. Класс С будем считать непериоди-
ческим (исследование периодической цепи сводится к исследо-
ванию непериодической).
Далее через тгДС) будем обозначать вероятность того, что
цепь, стартовав из несущественного состояния г, достигнет воз-
вратного класса С.
Теор е м а 2.1.6 (о вероятностях поглощения). Если i — несу-
щественное состояние, состояние j принадлежит возвратно-
му непериодическому классу С, то
lim Рц(п) = 7Ti(C)7rj,
п—^оо
где 7Vj = lim Pjj(n).
Доказательство. Оценим разность |Рц(п) —тц(C)irj|. Обо-
значим через тг^ (С) вероятность того, что цепь, стартовав из
невозвратного состояния г, войдет в класс С через состояние
к на 1/-м шаге (заметим, что цепь, попав в класс С, из него не
выйдет, поскольку С — класс эквивалентности). Тогда для тгj(C)
имеет место представление
оо
i2=i кес
а для Рц (п) — представление
12=1 кес
— цепь, стартовав из состояния г, входит в класс С (через одно
из его состояний к) на некотором шаге v (1 < и < п), а затем за
оставшиеся п — и шагов из состояния к попадает в состояние j.
Используя приведенные представления для тгДС) и Р^-(п),
оценим разность
|Р0(п) -^^((7)1
2.1. Эргодическая теорема
97
(далее Cf — конечное подмножество С):
|Ру(п)-7Г,7гДС')| =
п	оо
52 52	52 52
y=i kec	у=1кес
п	оо
5252^)(cxp^(n-i/)-7rJ>-7г.? 52 52 ^ (°)
У=1кес	у=п+1кес
52 52 ^(ik^pki<n - - ъ)+
у=1кеС'
+52 52 7rifc)(c')(p^(n-z/)-7rj)
v=lкеС\С’
оо
*з 52 52
y=n+i kec
N
< 52 52 7rifc)(c')ipfej(n - о - ^1+
у=1 кеС'
+ 52 52 7r^)(c')ipfc/n - - ^1+
l/=n+i кес'
п	оо
+52 52 7rifc)(c)ipfe/n-i/)-7rJ+7rJ 52 52
y=ikec\c'	v=n+ikec
< 52 52 7rife)(c')ipfej(n -р) - ^1+
у=1 кеС'
+2 Ё Е ++)+
р=лг+1 кес'
п	оо
+2Е Е <’(0) + ^ Е Е+’(с)-
y=ikec\c'	v=n+ikec
Пусть е > 0 произвольное фиксированное. Выберем N так, что-
бы вторая сумма, как остаток сходящегося ряда, была меньше е
(и зафиксируем N). Выберем конечное С' так, чтобы третья
98
Глава 2. Предельные теоремы для марковских цепей
сумма, как остаток сходящегося ряда, была меньше е (и зафик-
сируем С')- Четвертая сумма при достаточно больших п мень-
ше е (как остаток сходящегося ряда). И, наконец, первая сумма
при достаточно больших п, как конечное число “малых” слагае-
мых, меньше е — каждое слагаемое мало при больших п в силу
эргодической теоремы. Так что при достаточно больших п
\Pij(n) - 7Г,7ГДС)| < 4е,
откуда и следует утверждение теоремы.
Пример 2.1.3. Пусть марковская цепь задана матрицей
одношаговых переходных вероятностей
р =	Г 1/3	1/3	1/3	0	0	3 2/3	1/6	1/6	0	0 1/2	1/4	1/4	0	0 0	0	0	1	0 . 0	1/3	0	1/3	1/3	.
Найти limPjj(п) для всех пар (i, j).
Решение. Состояние {5} — несущественное, классы эквива-
лентности Ci = {1,2,3} и С2 = {4} являются ненулевыми непе-
риодическими. Поэтому для вычисления lim Pjj(n), i,j = 1,2,3,
можно воспользоваться теоремой о стационарном и эргодиче-
ском распределениях (см. теорему 2.1.4), limP44(n), очевидно,
равен 1.
Далее, Р^(п) = 0 для i = 1,2,3 и P4j(n) = 0 для j = 1,2,3,
поскольку состояние 4 и состояния 1,2,3 принадлежат разным
классам эквивалентности.
Значения limP^n) = 0, i = 1,2,3, и limP^n) = 0 т. к.
состояния {1,2,3}, {4} образуют классы эквивалентности, кото-
рым состояние {5} не принадлежит.
Для вычисления lim Р^(п), j = 1,2,3,4 воспользуемся тео-
ремой о вероятностях поглощения (см. теорему 2.1.6):
йтРзДп) = 7T5(Ci)7Tj, j = 1,2,3;
limP54(n) = 7Г5(С2)7Г4.
n
Легко видеть, что
/z-, ч 1	1	1	1
7Г5(С1)-3 + 9 + 27 + ---"2;
2.1. Эргодическая теорема
99
, 1 1 1 1
7Г5(С2)-§ + 9 + 27 + "'“ 2'
Поэтому
limP5j(n) = 7г5(С1)7г^ = Kj/2, j = 1,2,3;
limP54(n) = 7Г5(С2)7Г4 = 1/2.
п
Вероятности ttj, j = 1,2,3, находим, пользуясь теоремой о ста-
ционарном и эргодическом распределении (см. теорему 2.1.4):
7П = 7/15, 7Г1 = 4/15, 7Г1 = 4/15.
О предельном поведении марковской цепи. Как из-
вестно, множество всех состояний марковской цепи — фазовое
пространство — распадается на несущественные состояния и не-
пересекающиеся классы существенных состояний — классы эк-
вивалентности (некоторые классы эквивалентности могут состо-
ять из одного состояния). Мы исследовали предельное поведение
Pij(n) при п —> оо для всех возможных пар г, j :
1° Для несущественного состояния j
lim Pjj (ri) = О,
вне зависимости от того, каким является состояние i — су-
щественным или несущественным.
2° Если состояния i и j принадлежат разным классам эк-
вивалентности, то
lim Р^ (n) = О,
поскольку Pij(n) = 0 для всех п.
3° Состояния j и i принадлежат одному классу эквива-
лентности. Если класс эквивалентности нулевой, то
lim Р^ (ri) = 0.
Если класс эквивалентности ненулевой, то
lim Р^ (n) = 7Tj, j e C,
— в силу эргодической теоремы.
Из приведенных результатов о поведении Pij(ri) при п —> оо
следует, что при п —> оо распределение
Qn({fc}) = Р{£п = к}, к е х,
100
Глава 2. Предельные теоремы для марковских цепей
марковской цепи всегда сходится к некоторому предельному рас-
пределению:
1° В нулевом классе эквивалентности С для любого N > О
при п сю
Ж1 > N} -+ 1
— “цепь уходит в бесконечность** (см. теорему 1.3.4).
Если класс С нулевой возвратный, то цепь, уходя в беско-
нечность из данного состояния j, с вероятностью 1 возвраща-
ется в него бесконечное число раз, если же класс С нулевой
невозвратный, то цепь с вероятностью 1 возвращается в со-
стояние i конечное число раз.
2° В ненулевом классе эквивалентности существует соб-
ственное предельное распределение цепи, совпадающее с эргоди-
ческим:
limQn({fc}) = limР{£п = к} = тг&, к 6 С.
3° Цепь, стартующая из несущественного состояния i, “по-
глощается” классом (классами) эквивалентности. При этом
цепь, будучи поглощенной нулевым классом, уходит в беско-
нечность, если же цепь поглощается ненулевым классом эк-
вивалентности, то ее распределение сходится к собственному
эргодическому распределению.
Критерии возвратности и невозвратности марковской
цепи. Далее приводятся необходимые и достаточные условия
невозвратности марковской цепи в терминах существования ре-
шения некоторой системы линейных уравнений и достаточные
условия возвратности цепи в терминах существования решения
некоторой системы линейных неравенств.
Теорема 2.1.7 (критерий невозвратности цепи). Пусть В
— неприводимая марковская цепь с фазовым пространством
X = {0,1,...} и матрицей переходных вероятностей Р = [Р^-].
Для того, чтобы марковская цепь В была невозвратной, необ-
ходимо и достаточно, чтобы система уравнений
У> = Т^УЬ г = 1,2,...,	(2.1.17)
j=0
имела ограниченное отличное от константы решение.
Доказательство. В неприводимой марковской цепи В с
фазовым пространством X = {0,1,...} и матрицей переходных
2.1. Эргодическая теорема
101
вероятностей Р = [Pjj] вероятности достижения f*G удовлетво-
ряют равенствам
fi0 = Pi0+ Е г = 1,2,...	(2.1.18)
jex\{0}
(см. (1.3.7)). Равенства (2.1.18) означают, что последователь-
ность
2/0 = 1, yj = fj^ 7 = 1,2,...	(2-1.19)
всегда является решением системы (2.1.17).
Если цепь В невозвратная, то найдется j (j = 1,2,...) такое,
что
//о<1
(см. теорему 1.3.7). И следовательно, для невозвратной цепи В
существует ограниченное отличное от константы решение систе-
мы (2.1.17). Таким решением, например, является (2.1.19).
Пусть система (2.1.17) имеет отличное от константы ограни-
ченное решение {у3}:
\yj\ < С < оо, j = 0,1,...
Докажем, что тогда цепь В невозвратная.
Ограниченное отличное от константы решение системы (2.1.17)
можно считать таким, что
2/0 = 1, о <7/, <2, j = 0,1,....	(2.1.20)
В самом деле, вместе с каждым решением {т/Д системы (2.1.17)
его линейное преобразование:
Zj = &2/г + b, i = 0, 1, . . .
(для любых а и Ь) также будет решением этой системы. За счет
выбора а и b для значений
Zj = аУг + b,i = 0,1, ... ,
можно обеспечить выполнение условий
^о = 1, 0 < Zj < 2, i = 0,1,...,
102
Глава 2. Предельные теоремы для марковских цепей
(см. рис. 2.1.1), например, потребовав, чтобы а и b в линейном
преобразовании z = ay + b удовлетворяли системе
( aC + b < 2,
< —aC + b > 0,
ayQ + b= 1
(систему можно решить, выразив b из уравнения ay$ + b = 1 и
подставив его в неравенства).
Так что далее решение {yj} системы (2.1.17) такое, что
2/0 = 1, 0 < у3 < 2, j = 0,1,2...
Далее, вместе с марковской цепью В с матрицей одношаго-
вых переходных вероятностей Р = [Pij] рассмотрим марковскую
цепь В (ее параметры будем “маркировать” значком ~) с матри-
цей одношаговых переходных вероятностей Р = [Pij], у которой
состояние 0 является поглощающим экраном (далее {0} = Со),
а вероятности перехода между другими состояниями те же, что
и в цепи В. Цепь В получена из цепи В превращением состоя-
ния 0 в поглощающий экран. Матрица переходных вероятностей
Р цепи В имеет вид
Р = [А;] =
Ao А)1
Ao А1
Ao Ai
А)2
Р12
Р22
’10	0
Р10 Рц Р12
Р20 Р21 Р22
(2.1.21)
2.1. Эргодическая теорема
103
т. е.
Poo = 1, Poj —0, j =
Р0 =Р0, г = 1,2,..., 7=0,1,...
Каждое из состояний г, i = 1,2,..., в цепи В несущественное
(а следовательно, и невозвратное) — поскольку цепь В неприво-
дима, то состояние 0 достижимо из каждого состояния i (г 0)
в цепи В, а, следовательно, и в цепи В, поскольку Рю = Рю,
i = 1,2,... А так как Со = {0} — поглощающий экран в цепи В,
то состояния i = 1,2,... в цепи В несущественные.
Ограниченное отличное от константы решение {yj} (у$ =
= 1, 0 <	< 2, 7 = 0,1,2...) системы (2.1.17) при каждом
п = 1,2,..., является решением и системы
оо
Vi = 52 г = 0,1,...	(2.1.22)
7=0
В самом деле, {yj} — решение системы
оо
Vi =	i = 0,1,...,
7=0
поскольку при i = 1,2,... уравнения этой системы совпадают
с уравнениями системы (2.1.17), а при i = 0 соответствующее
уравнение последней системы имеет вид
Уо = До • Уо,
или
уо = 1 • уо-
Из
оо
Уг = 52 А7У7, г = 0,1,...,
7=0
ОО
yj = 52 р^Ук, j = о, i,...,
k=0
104
Глава 2. Предельные теоремы для марковских цепей
имеем
оо	оо	оо	оо	оо
У г —	?ij Pjkyk —	У k	?ij Pjk = Pik(^)yk
j=0	к=0	к=0	j=0	к=0
т. е.
оо
yi — Ък^Ук
к=0
и так далее. Так что для каждого п = 1,2,... система (2.1.22)
имеет своим решением ограниченное отличное от константы ре-
шение {yj} системы (2.1.17).
Из (2.1.22) для каждого п = 1,2,... имеем
оо
Vi = ^2 Д/(п)%' - Ло(п)уо = Ао(п), г = о, 1,2,...
j=0
т. е.
ЛоЫ < yi, i = 0,1,2...
Переходя в полученных неравенствах к пределу при п —> оо
в силу теоремы о вероятностях поглощения (см. теорему 2.1.6)
получим
7гДСо)7го < yi, i = 0,1,2,...,
а, учитывая, что тго = 1,
тгДСо) < yi, i = 0,1,2,...
И поскольку
7гДСо) = /*0^ = 0,1,2,...,
то для всех i = 0,1,2,...
f*0 < Уг-
Последовательность {ty} не является постоянной, а уо = 1, по-
этому найдутся такие ук, что у*, < 1 или у*, > 1. Если найдется
Ук < 1, то
fko <Ук<^-
И, следовательно, цепь В невозвратна — у возвратной цепи все
и в частности /£0, равны 1.
2.1. Эргодическая теорема
105
Если все yk > 1, то
Zj = ~Vi + 2, г = 0,1,...
— ограниченное отличное от константы решение системы (2.1.17),
причем Z{ < 1. И мы приходим к уже рассмотренной ситуации.
Тем самым теорема доказана.
Теорема 2.1.8 (достаточное условие возвратности цепи).
Пусть В — неприводимая марковская цепь с фазовым простран-
ством X = {0,1,...} и матрицей переходных вероятностей
Р = [Pjj]. Достаточным условием возвратности цепи В явля-
ется существование стремящегося к +оо решения {уД систе-
мы неравенств
оо
Vi —	Pijyj'") ^ = 1,2,...	(2.1.23)
j=0
Доказательство. Пусть {уД — стремящееся к +оо ре-
шение системы неравенств (2.1.23). Будем считать его положи-
тельным, поскольку вместе с каждым решением {уД системы
(2.1.23) ее решением будет
zj = У1 + j = 0,1,2,...
Решение {yj} системы неравенств (2.1.23) при каждом п =
= 1,2,... является решением и системы неравенств
оо
Уг > 52 г = 0, 1,...
j=0
(2.1.24)
(Pjj и Pjj(n) введены в доказательстве теоремы 2.1.7). В самом
деле, {yj} — решение системы неравенств
Из
Уг > 'P'Pijyj, г = 0,1,...
7=0
ОО
Уг >	г = 0,1,...,
7=0
106
Глава 2. Предельные теоремы для марковских цепей
ОО
yj > ^Pjkyk, j = 0,1,...,
k=o
имеем
оо	оо	/ оо	\	оо
Vi > Pijyj — Pij I PjkVk j — Pik^tyyk-, i — 0, 1, . . . ,
j=0	j=0	\k=0	J	k=0
ИЛИ
oo
yi > Piki.tyyk’) i — 0,1, ... ,
k=0
и так далее. Так что для каждого п = 1,2,... система неравенств
(2.1.24) имеет своим решением стремящееся к +оо решение {т/Д.
системы неравенств (2.1.23).
Из (2.1.24) для каждого п = 1,2,... имеем
М— 1	оо
yi > 52 &АпУУз + 52 ^з^Уз
j=0	j=M
М—1	оо
> 52 Рз&Ууз + ““{yr} 52 Аяп) =
j=0	j=M
М-1	/	М-1	\
= 52 Кз(пУуз+1 - 52	>
j=o	г~ \ j=o J
т. е.
м-1	/	м-i	\
yi > 52 Рз(.пУуз + чрп{уг} 1 - 52 АЯ71) ,«= 1,2,...
j=0	\	j=0	)
Перейдем в этих неравенствах к пределу при п оо. Для
i = 1,2,..., j'	0 получим
lim Рц(п) = 0,
n J
поскольку в цепи В все состояния j = 1,2,... несущественные.
Для $ = 1,2,...hJ = 0b силу теоремы о вероятностях поглоще-
ния
lim Ру (п) = 7Гг(Со)7ГО = 7fj(Co),
2.2. Цепь, описывающая очередь
107
поскольку i = 1,2,... — несущественные состояния, а класс
{0} = Со в цепи В возвратный. Так что в результате предель-
ного перехода имеем
yi > тГг(Со)уо + min{yr}(l - 7fj(C0)), г = 1,2,...
г>М
Отсюда
Перейдем в последнем неравенстве к пределу при М сю. Так
как уп сю при п сю, то и min{?/r} сю при М сю,
г>М
поэтому в пределе имеем
1 - 7Гг(Со) < 0, г = 1,2,...,
и следовательно,
7г»(Со) = 1, i = 1,2,...
А поскольку
= 4 г = 1,2,...,
ТО
/*о = 1, г = 1,2,...
Поэтому цепь В возвратна — в невозвратной цепи хотя бы для
одного i значение f*Q < 1 (см. теорему 1.3.7).
2.2 Дискретная марковская цепь,
описывающая очередь
Важным приложением марковских цепей является теория
массового обслуживания. Рассмотрим одну из простейших ее
задач — обслуживание с ожиданием.
Заявки в случайные моменты времени поступают к месту
обслуживания и становятся в очередь. Обслуживание одной за-
явки занимает фиксированное время — будем считать его рав-
ным 1. За единицу времени обслуживается одна заявка. Начина-
ется и заканчивается обслуживание в целочисленные моменты
времени. Найти распределение длины очереди в момент време-
ни п, если не при всех п, то хотя бы при достаточно больших,
т. е. в установившемся режиме.
108
Глава 2. Предельные теоремы для марковских цепей
Обозначим через цп число заявок, ждущих обслуживания к
моменту времени п — длину очереди из заявок к моменту време-
ни п. Случайную величину цп будем называть состоянием систе-
мы обслуживания в момент времени n, п = 0,1,2,... В течение
времени обслуживания данной заявки могут поступать новые
заявки. Обозначим через £п число заявок, поступивших за пери-
од обслуживания [n, n+ 1), число заявок £п является случайной
величиной, п = 0,1,2,... Будем предполагать, что случайные
величины £n, п = 0,1,..., независимы и одинаково распределе-
ны, каждая с распределением
P{£n = k} = ак, к = 0,1,...
Ясно, что по истечении периода обслуживания [n, n+1) система
из состояния т]п переходит в состояние
?7п+1 = (т?п - 1)+ + 6г, туо = 0, п = 0,1,...	(2.2.1)
Последовательность случайных величин {%} образует мар-
ковскую цепь. Чтобы убедиться в этом, проверим, что для {г?п}
выполняется марковское свойство. Имеем, учитывая, что слу-
чайные величины {£„} независимы,
Р{%+1 = j\fln = г, Vn-1 = in-i,..., г)0 = г0} =
= Р{(% - 1)+ + U = j \т]п = г,Tjn-i = in-i,..., Tfo = г0} =
= Р{(г - 1)+ + 6г = j, Tin = г, ??n-i = гп-!,.. , г?0 = г0} =
Р{т]п = г, r/n-i = in-i,..., г)0 = г0}
= Р{(г - 1)+ + 6г = j} = P{£n = j-(i- 1)+}.
Аналогично
Р{%+1 = j\Tln = о = Р{6г = j - G - 1)+}-	(2.2.2)
Так что последовательность случайных величин {т/п} — длина
очереди из заявок, ждущих обслуживания к моменту тг, обла-
дает марковским свойством, и, следовательно, является марков-
ской цепью. Элементы матрицы переходных вероятностей этой
цепи (см. 2.2.2) имеют вид
pij = Р{т1п+1 = j\Tln = г} = P{£n = j - (г - 1)+}, г, j = 0,1,...
(чтобы цепь за период обслуживания перешла из состояния i
в состояние за этот период должно поступить j — (г — 1)+
2.2. Цепь, описывающая очередь
109
заявок). Цепь стационарная — переходные вероятности Pjj не
зависит от п, поскольку £п одинаково распределены.
Поскольку £п — неотрицательная целочисленная случайная
величина с распределением
P&n = к} = ak, к = 0,1,...
(значения Р{£п = к} = 0, к = — 1, —2,...), то элементы
Pij = Pttn =	1)+}, i,j = 0,1,...
матрицы переходных вероятностей Р можно записать в следую-
щем виде: элементы первой строки (г = 0)
Poj = Р{£п = j - (о - 1)+} = Жг = Л = aj, j = 0,l,...,
а элементы, начиная со второй строки (i > 1), j = 0,1,...,
P0 = PR„=j-(i-l)+} =
= PRn=j-G-l)} = aj_(i_1))	(2.2.3)
при j — (i — 1) <0 значения	= 0. Матрица переходных
вероятностей цепи
Р= [Ру] =
ао
ао
0
0
ai а2 аз
ai а2 аз
ао ai az
0 ао ai
Далее будем предполагать, что к = 0,1,..., строго боль-
ше нуля. Это предположение обеспечивает неприводимость це-
пи {т)п}.
Среднее число заявок и распределение длины очере-
ди. Интуитивно ясно, что если среднее число заявок
Л/= ка^,
к
которые поступают за время обслуживания данной заявки, боль-
ше числа заявок, обслуживаемых за период (здесь больше 1):
52> х>
к
110 Глава 2. Предельные теоремы для марковских цепей
то с ростом п длина г]п очереди заявок будет неограниченно
возрастать. Если же среднее число заявок ^kak, поступивших
к
за период обслуживания, меньше 1:
< 1,
к
то естественно ожидать, что распределение длины очереди долж-
но стремиться к некоторому стационарному (равновесному) рас-
пределению.
Теорема 2.2.1. Если в марковской цепи
Лп+1 = (% - 1)+ + Сп, % = О, п = 0, 1, . . . ,
описывающей очередь,
оо
> 1,
k=0
и > 0, к = 0,1,..., то цепь {г]п} является невозвратной и,
как следствие, сходится по вероятности к сю.
Доказательство. Условие
ак > 0, к = 0,1,...,
обеспечивает неприводимость марковской цепи. Покажем, что
если
оо
^kak > 1,
k=o
то система уравнений
оо
Vi — ^ijyj’» ~ 2,...	(2.2.4)
j=0
имеет ограниченное отличное от константы решение, что, со-
гласно теореме 2.1.7, является достаточным условием невозврат-
ности цепи.
Будем искать решение системы (2.2.4) в виде
Уз =	.7 = ОД,,
2.2. Цепь, описывающая очередь
111
где х — число из промежутка (0; 1), т. е. убедимся в существова-
нии числа хо 6 (0; 1) такого, что yj = Xq, j = 0,1,..., является
решением (2.2.4).
Если yj = х3, j = 0,1,..., — решение системы (2.2.4), то
^PijXj = х\ i = 1,2,...	(2.2.5)
j=0
А поскольку, начиная со второй строки, т. е. при i > 1, элементы
матрицы Р = [Pij] имеют вид
= aj-^-ip
причем при j — (г — 1) < 0 значение aj_^_^ = 0, то
оо	оо	оо
52 РИх3 = 52 «7-0-1)^ = 52	г = 1,2,...,
j=0	j=0	j=i-l
и систему (2.2.5) можно переписать в виде
оо
— (г—1)*^ = > 1 = 1,2,...,
j=i-l
ИЛИ
оо
£	= х, i = 1,2,...,
.7=2-1
или
оо
^2akxk = х, i — 1,2, • • •
к=0
(все уравнения системы оказались одинаковыми).
Убедимся, что уравнение
/(х) = X,
оо
где f(x) = akx\ имеет решение на промежутке (0,1).
к=о
112
Глава 2. Предельные теоремы для марковских цепей
Рассмотрим непрерывную на [0,1] функцию
F(x) = f(x) ~ х-
Для F(x) имеем
F(0) = /(0) = а0 > 0;
ОО
F(l) = /(1)-1 = $>*-1 = 0,
k=0
оо
F'(x) = f’(x) - 1 = 5? kakxk~1 - 1,
k=i
oo
F'(l) = $>afe - 1 > 0,
k=l
последнее неравенство имеет место в силу условия теоремы. По-
этому на промежутке (0,1) найдется точка, в которой F(x) от-
рицательна. И поскольку F(x) непрерывна на [0,1], существует
точка xq 6 (0; 1), такая, что
F(xq) = f(xQ) - хо = 0,
или, что то же,
оо
^акх% = х0,
к=0
а в исходных обозначениях
оо
Fij Xq — Xq у i — 1,2,...
j=0
Вектор
Уд =хф j = 0,1,...
является ограниченным отличным от константы решением
системы (2.2.4), что влечет невозвратность цепи {т/п}.
Неприводимая невозвратная, а, значит, и нулевая цепь {т/п}
с фазовым пространством X = {0,1,...} при п —> оо сходится
по вероятности к +оо (см. следствие из теоремы 1.3.4). Послед-
нее означает неограниченный рост длины очереди с течением
времени.
Утверждение, аналогичное теореме 2.2.1 имеет место, если
за единицу времени обслуживается s заявок.
2.2. Цепь, описывающая очередь
113
Теорема 2.2.2. Если в марковской цепи
7?п+1 = (% - «)+ + 6г, % = О, П = 0, 1, . . . ,
описывающей очередь,
оо
52 ka* >s'
k=0
и > 0, к = 0,1,..., то цепь {г]п} является невозвратной и,
как следствие, сходится по вероятности к +оо.
Теорема 2.2.3. Если в марковской цепи
Vn+l = (jin - 1)+ + £п, % = О, П = 0, 1, . . . ,
описывающей очередь,
оо
52 ка* < х>
к=0
и > 0, к = 0,1,..., то цепь {г]п} является возвратной и, как
следствие, ее распределение сходится к эргодическому распре-
делению.
Доказательство. Условие
> 0, к = 0,1,...,
обеспечивает неприводимость и непериодичность марковской це-
пи. Покажем, что в предположении
оо
52 как <1
к=0
система неравенств
оо
Vi > РцУ;Ь ^—1,2,...,
j=0
имеет решение, стремящееся к +оо, что согласно теореме 2.1.8,
является достаточным условием возвратности цепи {т/п}, а, сле-
довательно, и ее эргодичности. Таким решением, в частности,
является
yj = 3, 3 = ОД, • • •
114
Глава 2. Предельные теоремы для марковских цепей
Убедимся в этом. Учитывая вид матрицы переходных вероятнос-
тей цепи, описывающей очередь (см. (2.2.3)), имеем:
оо	оо	оо
У2 ^0^ — У2а.7-(г-1)7 = У? —
j=0	j=0	j=i-l
оо	оо
= 52 aJ-(i-l)0' - (« - !)) + 52 «j-(i-l)G “ 1) =
j=?-l	j=i-l
oo	oo
= У2 kak + G — 1) = У2 kak — 1 + 2 < 2,
k=Q	k=0
i = 1,2,... Так что
г >	г = 1,2,...,
j=0
и, следовательно, в силу теоремы 2.1.8 цепь {т)п} возвратная.
Согласно теореме 2.1.3 распределение возвратной неприво-
димой непериодической цепи сходится к эргодическому распре-
делению. Последнее обозначает, что распределение длины оче-
реди с течением времени стремится к предельному распределе-
нию.
Утверждение, аналогичное теореме 2.2.3 имеет место, если
за единицу времени обслуживается s заявок.
Теорема 2.2.4. Если в марковской цепи
7?п+1 = (»7п - «)+ + £п, % = 0, п = 0, 1, . . . ,
описывающей очередь,
оо
k=0
< s,
uak > 0, к = 0,1,..., mo цепь {г]п} является возвратной и, как
следствие, ее распределение сходится к эргодическому распре-
делению.
2.3. Задача о разорении игрока
115
2.3 Задача о разорении игрока
Игрок Gm (с капиталом т) играет в азартную игру с игро-
ком Gm (с капиталом М), участвуя в серии последовательных
партий игры. В результате каждой партии капитал игрока Gm
с вероятностью р увеличивается на 1 (за счет игрока Gm) и с
вероятностью q = 1 — р уменьшается на 1 (в пользу игрока Gm)-
Результат каждой партии не зависит от результатов предыду-
щих партий. Если капитал одного из игроков становится равным
нулю, то игрок разоряется, игра прекращается. Найти вероят-
ность разорения игрока Gm.
Обозначим через капитал игрока Gm после k-й партии.
Последовательность случайных величин {£&} образует марков-
скую цепь, см. пример 1.1.2 (с. 13). Множеством состояний мар-
ковской цепи {£ь} является {0,1,..., п}, где п = т + М -— сум-
марный капитал игроков. Матрица переходных вероятностей це-
пи {£ь} имеет вид
р =	’10 0 0 q 0 р 0		... 0 0 ... 0 0 ... 0 0	0 ‘ 0 0	(2.3.1)
	0 q 0	р			
	6 6 6	6	... q 6	р	
	ООО	0	... 0 0	1 _	
Состояния 1,2,... ,п — 1 несущественные. Состояния 0 и п яв-
ляются поглощающими экранами, цепь, попав в поглощающее
состояние, остается в нем навсегда. Далее класс {0} будем обо-
значать через Со, а класс {п} — через Сп-
В терминах марковской цепи {£&} вероятность разорения иг-
рока Gm — это вероятность поглощения цепи классом Со- И, сле-
довательно, задача “найти вероятность разорения игрока Gm” в
терминах марковской цепи {£&} формулируется так: “найти ве-
роятность поглощения цепи {£&} классом Со”.
Уравнения для вероятностей поглощения. Пусть {Са}
— марковская цепь с матрицей переходных вероятностей [Р^-],
С — некоторый ее класс эквивалентности, Т — множество всех
несущественных состояний цепи, i — несущественное состояние
цепи. Через тгДС), как и ранее, будем обозначать вероятность
того, что цепь, стартуя из несущественного состояния г, рано
или поздно достигнет класса С, и, следовательно, будет им по-
глощена, а через тг[к\с) — вероятность того, что цепь, стартуя
116
Глава 2. Предельные теоремы для марковских цепей
из состояния г, достигнет класса С на k-м шаге (74(G) будем
называть вероятностью поглощения цепи классом С, а тг^\с)
— вероятностью поглощения цепи классом С на fc-м шаге).
Вероятности поглощения 74(G), г е Т, классом С цепи с
матрицей переходных вероятностей [Pij], удовлетворяют сис-
теме линейных уравнений
7Г,(С) = тгг(1)(С) + £Pi^C), i е Т. (2.3.2)
зет
Заметим, что тг^(С) вычисляется по элементам матрицы пере-
ходных вероятностей [Р^] :
^1)(C') = EPV’
зес
Вероятность разорения игрока, играющего с партне-
ром, капитал которого ограничен. Марковская цепь {£&},
описывающая размер капитала игрока Gm, играющего с партне-
ром Gm, капитал М которого ограничен, имеет конечное число
состояний: O,l,...,n(n = m + M — суммарный капитал игроков
Gm и Gm) и её матрица переходных вероятностей [Р^] имеет вид
(2.3.1).
Вероятность разорения игрока Gm, накопившего капитал до
размера i, равна вероятности поглощения тгДСо) цепи классом
Go = {0}, г = 1,2,... ,п — 1. Найдем вероятности
щ = тъ(Св), г = 1,2,... ,п — 1,
как решение системы уравнений (2.3.2), когда С = Go = {0},
матрица переходных вероятностей Р имеет вид (2.3.1), класс Т =
= {1,2,..., тг — 1}. При этом система (2.3.2) запишется так:
п—1
7гг(С’о) = тгг(1)(С’о) +^PyTTj^’o), г = 1,2,... ,п — 1,	(2.3.3)
где
тг^Со) = Е Pv = Е	• ’п-
jeco je{0}
2.3. Задача о разорении игрока
117
или так:
щ = Рю + Pijuj) i — 1,2,... ,п — 1.	(2.3.4)
J=i
Первое уравнение (соответствующее i = 1) системы (2.3.4) за-
пишется так:
их = q + puz-
Уравнения системы (2.3.4) для i = 2,3,..., п — 2 имеют вид
щ = quj-i + рщ±х-
Последнее уравнение (при i = п — 1) системы (2.3.4) имеет вид
^п—1 = q^n—2-
Так что система (2.3.4) запишется так:
их = q + pu2,
U2	=
<	щ	=	qui-x + рщ+х,	(2.3.5)
un-2	=	qun-3+pun_x,
un—i	— qun—2-
Будем искать	решение системы (2.3.5) отдельно для случая
q р и для случая q = р = 1/2.
Пусть q р. Сначала найдем решение системы
щ = qui-x + pui+x, i = 2,3,... ,п — 2.	(2.3.6)
Будем искать решение в виде щ = хг, i = 2,3,... ,п — 2. Под-
ставляя щ = хг, i = 2,3,..., п — 2, в уравнения
щ = qu^x + pui+x, i = 2,3,... ,п — 2,
получим:
хг = qx1-1 +рхг+\ i = 2,3,... ,п - 2,
или
рх2 + q = х.
118
Глава 2. Предельные теоремы для марковских цепей
Это квадратное уравнение имеет два решения: х = 1 и х =
= q/p-
При х = 1 имеем
Щ =	= хг = 1, i = 2,3,..., п — 2.
Но щ, i = 2,3,... ,п — 2, -— вероятности поглощения цепи клас-
сом Со, и они не могут быть равны 1, поскольку цепь с ненуле-
вой вероятностью может быть поглощена и классом Сп = {п},
поэтому решение тгДСо) = щ = 1, i = 2,3,..., п — 2, системы
(2.3.6) мы не можем рассматривать в качестве вероятностей по-
глощения классом Со-
Для х = q/p -— второго корня квадратного уравнения — име-
ем такое решение системы (2.3.6):
/ q\i
Uj = ( - I , i = 2,3,..., n — 2.
\PJ
Вместе с решением щ, i = 2,3,..., n — 2, системы уравнений
(2.3.6), ее решением является и
А + Вщ, г = 2,3,..., п — 2,
для любых констант А и В (в последнем убеждаемся непосред-
ственной проверкой). Выберем константы А и В так, чтобы это
решение было решением также первого и последнего уравнений
системы (2.3.5).
Из первого уравнения
u\ = q + pu2
системы (2.3.5) имеем:
А + Buy = q + р(А + Виъ),
А(1 - р) = q + B(pu2 - гн),
Aq = q + B(p(l\2-Я),
\ \Р/ Р/
Aq = q - Bq,
А + В = 1.
2.3. Задача о разорении игрока
119
Из последнего уравнения
un—1 — Q^n—2
системы (2.3.5) получаем:
А + Bun-i = q(A + Btin-2),
A(l-q) = B(qun-2 - un_
/ / \ n-2
п—1
Ар = В
Ар = -В
P '
Apn + Bqn = 0.
Таким образом, для определения А и В имеем систему уравне-
ний
А + В = 1,
Арп + Bqn = 0.
Отсюда
qn
(1-В)рп + В^п=0,
рп
В = —---------,
рп _ qn
рп
А = 1 - В = 1--------= -
рп — qn qn _ рп
И следовательно, решением системы (2.3.5), если q р, является
Uj = А + В
qn
рп
qn _ рп рп _ qn
=	1	(ап _ vn (Я VA = (д/р)' - (g/p)n
g"-pnV р \р) J i-(q/p)n
i = 1,2,... , n — 1.
Так что при q р игрок Gm, имея накопленный капитал г,
разорится с вероятностью
(q/рУ - (.q/рУ , 9	.
-------:——-----, Г = 1, 2, . . . ,П — 1.
1 - (q/p)n
120
Глава 2. Предельные теоремы для марковских цепей
Заметим, что вероятность разорения игрока Gm не зависит от
его начального капитала т, она определяется капиталом г, на-
копленным им к данному моменту.
Рассмотрим теперь случай, когда q = р = 1/2 . Система
(2.3.5) перепишется так:
f u\ = 1/2 + u2/2,
u2 = ui/2 + us/2,
<	Uj —	1/2 + 712+1/2,
^n—2 —	з/2 + Un—1/2,
<	Un— 1	— Un — 2/2.
Решением системы
является
Ui — i, i — 2,3,... ,n 2,
в этом убеждаемся непосредственной проверкой. Легко видеть,
что вместе с решением щ решением последней системы будет и
А	+ Вщ = А + Bi, i = 2,3,... ,n — 2.
Выберем теперь А и В так, чтобы это решение было также ре-
шением первого и последнего уравнений системы. Для первого
уравнения имеем
Л + В = | + |(Л + 2В).
Отсюда
А = 1.
Для последнего уравнения
1
un—1 — 2^п—2
системы имеем
А + В(п - 1) =	+ В(п - 2)).
2.3. Задача о разорении игрока
121
Отсюда
и, следовательно, решением системы (2.3.5), если q = р = 1/2
является
i
щ = 1-----, г = 1,2,... ,п — 1.
п
Так что если игрок Gm, с вероятностью р = 1/2 увеличивая свой
капитал на 1 в результате каждой партии (и с вероятностью
1/2 теряя единицу капитала), стал обладателем капитала г, то
вероятность его разорения
г
ur = 1----, г = 1,2,..., п — 1,
п
а вероятность неразорения
г
1 — ur = г = 1,2,..., п — 1,
п
пропорциональна величине г накопленного капитала.
Замечание. Аналогичные выкладки показывают, что ве-
роятность vr разорения игрока Gm, если он накопил капитал г,
равна
1 — ur, г = 1,2,..., п — 1.
Вероятность разорения игрока, играющего с беско-
нечно богатым партнером. Пусть теперь игрок Gm играет с
игроком Gqo, капитал которого неограничен (равен +оо). Мат-
рица переходных вероятностей марковской цепи {£&}, описыва-
ющей размер капитала игрока Gm, имеет вид
1
Q
О
Р =
ООО
О р О
q о р
(2.3.7)
состояние 0 (Cq = {0}) цепи является поглощающим, состояния
1,2,... — несущественные.
Система уравнений (2.3.2) для вероятностей щ = тгДС),
i 6 Г, поглощения цепи классом G, когда матрица переход-
ных вероятностей цепи имеет вид (2.3.7), класс Go = {0}, а
Т = {1,2,...} запишется так:
( ui = q + pu2,
I Щ = qui-i + pui+i, i = 2,3,...
(2.3.8)
122
Глава 2. Предельные теоремы для марковских цепей
Решение последней системы получаем так же, как и в случае
игры с игроком Gm, капитал которого ограничен.
Сначала найдем решение системы
щ = quj-i +pui+i, i = 2,3,...
При q p ее решением является последовательность
щ = А + в(^ , г = 2,3,...,
если q = р = 1/2, то решением является последовательность
щ = А + В • i, i = 2,3,...
При q/p > 1 и при р = <7 = 1/2из условия ограниченности
решения щ, i = 2,3,, получаем, что В = 0, и, следовательно,
как при q > р, так и при р = q = 1/2 решение системы
щ = qui-i +p^+i, i = 2,3,...,
имеет вид
Uj = A, i = 2,3,...
Выберем А так, чтобы последовательность щ = А, г = 1,2,3,...
была решением и уравнения
u\ = q + pu2
системы (2.3.8). Для этого А должно удовлетворять уравнению
А = q + рА.
Отсюда А = 1 и, следовательно, решением системы (2.3.8) яв-
ляется
щ = 1, i = 1,2,...,
т. е.
7г(Со) = щ = 1, i = 1,2,...
Последнее означает, что если q > р, то игрок Gm, играя с иг-
роком Gqo, капитал которого неограничен, неизбежно разорится
(вероятность разорения равна 1) вне зависимости от размера его
начального капитала.
Если вероятность р выигрыша игрока Gm больше вероятнос-
ти q выигрыша игрока Goo, т. е. р > q, то для получения выводов
2.3. Задача о разорении игрока
123
о вероятности 7гг(Со) разорения игрока Gm, играющего с игро-
ком Gqo, капитал которого неограничен, воспользуемся резуль-
татом, полученным в задаче о разорении игрока Gm, играющего
с игроком Gm, капитал М которого ограничен.
В качестве вероятности разорения 7rr(Go) игрока Gm, игра-
ющего с игроком Gqo, естественно рассмотреть предельное зна-
чение вероятности
ur = ur(n) =
(q/рУ - (q/p)n
i - {.q/p)n
разорения игрока Gm при п = М + т^оо — при неограничен-
ном росте капитала М игрока Gm, а именно
7Гг(С0) = (q/pY, Г = 1,2,...
Из последнего равенства следует, что чем больше накопленный
капитал г игрока Gm и чем больше вероятность р выигрыша
игрока Gm в одной партии, тем меньше вероятность 7rr(Go) его
разорения, что вполне согласуется с нашей интуицией.
Если, к примеру, р = 2/Зиг = 10, то вероятность разорения
игрока Gm, играющего с бесконечно богатым игроком, равна
/дУ=р/3У°= 1
\р)	\2/з)	1024’
а вероятность того, что игрок не разорится, естественно, равна
1 - 1/1024.
Интересно, что если вероятность р выигрыша игрока Gm
больше вероятности q выигрыша игрока G^, то игрок Gm с
вероятностью 1 — (q/p)r не только не разорится, но с ростом
числа к сыгранных партий неограниченно увеличит свой капи-
тал.
В самом деле, пусть игрок Gm начинает игру с капиталом г.
Покажем, что для любого целого положительного L при
fc —> (X)
P{£k > L} -+ 1 - тгг(Со) = 1 - (j) .
Очевидно,
Ш <L} = P{£k € Co} + P{1 < Cfc < L}.
(2.3.9)
124
Глава 2. Предельные теоремы для марковских цепей
По определению
оо	к	оо
тгг(Со) = £тг^(С0) = 2>W(Co)+ £ 7Г^(Со),
S=1	S=1	s = fc+l
и т. к.
к
Е^(С0) = Р{£к G Со},
S=1
то
тгг(Со) = Р{& G Со} + £ тг^(Со).
s=fc+l
Поэтому при А) —> СЮ
Р{£к е Со} -+ 7ГГ(СО).	(2.3.10)
Оценим сверху Р{1 <	< L}. Воспользовавшись соотношением
(1.1.8), получим
L	L оо	L
Р{1 < 4 < L} = ^Р{^к = j} =
j=l	j=l i=l	j=l
(для i У г значения pi = 0, a pr = 1 — цепь стартует из состо-
яния г). И поскольку состояния j = 1,2,..., L несущественные,
а, следовательно, и невозвратные, то Prj(k) 0 при к сю.
Поэтому для любого е > 0 при достаточно больших к
Р{1 < & < L} < г.
Из последнего неравенства и соотношений (2.3.9), (2.3.10) полу-
чаем, что для каждого L при fc —> сю
Р{£к > L} 1 - 7ГГ(СО) = 1 - (q/p)r.
Если у игрока Gm, играющего с бесконечно богатым игро-
ком Gqo, вероятность р выигрыша в одной партии равна, напри-
мер, 2/3, то он, начиная игру с капиталом m = 10, с вероят-
ностью
неограниченно увеличит свой капитал (ну очень разбогатеет).
2.4. Примеры и задачи
125
2.4 Примеры и задачи
Примеры
Пример 2.4.1. Пусть марковская цепь задана матрицей
одношаговых переходных вероятностей
Р =
Г 4/5
3/5
О
О
L 1/5
1/5
1/5
4/5
О
1/5
О О
1/5 О
1/5 О
О 1
1/5 1/5
0 1
О
О
О
1/5 J
Найти ПтД7(п) для всех пар i,j = 1,2,... ,5, если
п J
пределы существуют.
Решение. Классы Ci = {1,2,3}, С? = {4} возвратные нену-
левые непериодические, состояние {5} — несущественное.
Для вычисления 7Г5(С'1)>7Г5(С2) воспользуемся тем, что
ОО	оо
тг5(С1) = £ £	= £(тг^(ед +	+ ^(сд),
у=1 keCi	12=1
(см. обозначения в доказательстве теоремы 2.1.6). Аналогично
ОО	1 ОО	1
12=1	12=1
так что
= 3/4.
Для класса Сд
^(Сг) = £	= | + ^ + /; + -- - = /
12=1
Далее предельное поведение Pij{n) исследуется аналогично
тому, как это делалось в примере 2.1.3.
126
Глава 2. Предельные теоремы для марковских цепей
Задачи
Задача 2.1. 1) Доказать, что у конечной неприводимой непе-
риодической марковской цепи существует собственное стацио-
нарное распределение.
2) Доказать, что у конечной неприводимой непериодической
марковской цепи существуют пределы
lim Рц(п),
n J
причем их значения отличны от нуля.
Указание к п. 1. Описанная цепь ненулевая, а, следова-
тельно, возвратная, поэтому существует эргодическое распреде-
ление. Далее воспользоваться теоремой 2.1.4.
Задача 2.2. В двух урнах находится 8 шаров — в первой
4 белых, во второй 4 черных.
Из каждой урны наудачу выбирают по шару и переклады-
вают из одной урны в другую. Пусть £п — число белых шаров в
первой урне после n-го перекладывания. Предположим, что ша-
ры можно перекладывать неограниченное число раз (п оо).
Найти предельное распределение числа белых шаров в пер-
вой урне (если такое распределение существует).
Указание. Убедиться, что последовательность {£п} явля-
ется марковской цепью.
Предельные значения lim Р{£п — к} совпадают с эргодичес-
п
ким распределением {л*;}:
1	16	36	16	1
ТГО - уд, 7Г1 - —, 7Г2 — —, 7Г3 — —, 7Г4 - —.
Задача 2.3. В двух урнах находится 6 шаров (по 3 в каждой)
среди них 3 белых и 3 черных.
Из каждой урны наудачу выбирают по шару и переклады-
вают из одной урны в другую. Пусть £п — число белых шаров в
первой урне после n-го перекладывания. Предположим, что ша-
ры можно перекладывать неограниченное число раз (п оо).
Найти предельное распределение при п —> оо, т. е.
limР{£п = к}, /с = 0,1,2,3,
п
(если такое распределение существует).
Указание. Убедиться, что последовательность {£п} явля-
ется марковской цепью. Значения
limР{£п = к} = тг&, /с = 0,1,2,3.
п
2.4. Примеры и задачи
127
Матрица переходных вероятностей цепи
’О	1	0	0‘
1/9 4/9 4/9	О
О 4/9 4/9 1/9
0	0	10
Эргодическое распределение цепи
19	9	1
770 - 20’	“ 20’ 71-2 “ 20’ 773 “ 20’
Задача 2.4. Монету, вероятность выпадения герба кото-
рой равна р (0 < р < 1), подбрасывают независимым образом
неограниченное число раз. Пусть — число выпавших гербов
при fc-м подбрасывании монеты, к = 1,2,... Рассмотрим после-
довательность случайных величин
TJn+1 = (Лп + l)-f{i}(6г), % = о, п = 0,1,2,...
Вычислить
limР{т)п = к}, к = 0,1,2,...,
п
если эти пределы существуют.
Задача 2.5. Симметричную игральную кость подбрасыва-
ют независимым образом неограниченное число раз. Пусть —
число выпавших шестерок при к-м подбрасывании кости,
к = 1,2,... Рассмотрим последовательность случайных величин
Vn+I = (»7n + 1)/{6}(&i), % = о, п = 0,1,2,...
Вычислить
limР{т)п = fc}, к = 0,1,2,...
п
если эти пределы существуют.
Задача 2.6. Марковская цепь с фазовым пространством
X = {1,2,3} описывается матрицей переходных вероятностей:
' 1/4 3/4	0 '
1/4 1/4 1/2 .
0	1/4 3/4 .
Найти limPn(n), если он существует.
п
Ответ: ИтРц(п) = 1/10.
128
Глава 2. Предельные теоремы для марковских цепей
Задача 2.7. Марковская цепь с фазовым пространством
X = {1,2,3} описывается матрицей одношаговых переходных
вероятностей
Г 1/2 1/2	0 ‘
1/4 1/2 1/4 .
О 1/2 1/2
Существует ли предел limP22(^)? Если существует — найти
п
его.
Ответ: limP22(^) = 1/2.
п
Задача 2.8. Марковская цепь с фазовым пространством
X = {1,2,3} описывается матрицей переходных вероятностей
’ 1/4 3/4	0	‘
1/4 1/2 1/4
О 1/4 3/4
Задано распределение цепи в момент времени t = 0 (начальное
распределение):
(1	2	3 \
3/8 1/4 3/8 )•
Вычислить
limР{£п = к}, к = 1,2,3.
п
Указание. Воспользуйтесь следствием из эргодической тео-
ремы 2.1.2 и теоремой 2.1.4 (о стационарном и эргодическом рас-
пределении).
Ответ:
lim Р{£п = 1} = 1/7, lim Р{£п = 2} = 3/7, lim Р{£п = 3} = 3/7.
Значения пределов не зависят от начального распределения.
Задача 2.9. Рассматривается марковская цепь с фазовым
пространством X = {1,2,3,4}, описываемая матрицей переход-
ных вероятностей
2/3 1/3 О О
1/3 1/3 1/3 О
О 1/3 2/3 О
0	0	0	1
Вычислить limР^-(п), г, j = 1,2,3,4, если эти пределы сущест-
вуют.
2А. Примеры и задачи
129
Задача 2.10. Рассматривается марковская цепь с фазовым
пространством {1,2,3}, описываемая матрицей одношаговых пе-
реходных вероятностей
’ 4/5 1/5	0	‘
3/5 1/5 1/5
О 4/5 1/5
1° Существует ли lim Рц(п)?
п
2° Если существует ИтРц(п), найти его.
Ответ: ИтРц(п) = 12/17.
Задача 2.11. Рассматривается марковская цепь с фазовым
пространством {1,2,3,4,5}, описываемая матрицей одношаго-
вых переходных вероятностей
Г 1/3	2/3	0	0	0	Я
1/3	1/3	1/3	0	0
0	1/3	0	2/3	0	.
0	0	1/3	0	2/3
. 0	0	0	1/3 2/3 .
Классифицировать состояния марковской цепи. Для возврат-
ных состояний найти математическое ожидание времени перво-
го возвращения в состояние.
Ответ: Мтг = 17, Мт2 = 17/2, Мт3 = 17/2, Мт4 = 17/4,
Мт5 = 17/8.
Задача 2.12. Рассматривается марковская цепь с фазовым
пространством {1,2,3}, описываемая матрицей одношаговых пе-
реходных вероятностей
’ 4/5 1/5	0 ‘
3/5 1/5 1/5 .
0	4/5 1/5
Задано начальное распределение цепи (распределение в мо-
мент времени 0):
1	2	3 \
1/10 4/5 1/10 )•
Вычислить limР{£п = к}, к = 1,2,3.
130
Глава 2. Предельные теоремы для марковских цепей
Задача 2.13. Рассматривается марковская цепь с фазовым
пространством {1,2,3,4}, описываемая матрицей одношаговых
переходных вероятностей
’ 3/4 1/4 О О
1/4 1/2 1/4 О
О 1/4 1/2 1/4
О 0	1/2	1/2
1° Можно ли утверждать, что limP^n) существует?
п
2° Если ИтРз2(п) существует, найти его.
п
3° Вычислить математическое ожидание времени первого воз-
вращения в состояние 2.
Задача 2.14. Классифицировать состояния цепи Маркова с
матрицей одношаговых переходных вероятностей
Г 1/2	0	1/2	0	0	“I
0	10	0	0
0	0	1/2	1/4	1/4
0	0	2/3	1/6	1/6
. 0	0 1/3 1/3 1/3 .
и вычислить lim Рц(п), если эти пределы существуют.
Для возвратных состояний найти математическое ожидание
времени первого возвращения.
Задача 2.15. Найти предельное распределение марковской
цепи, заданной матрицей одношаговых переходных вероятнос-
тей
0
1/4
1/5
1/5
4/5
0
1/4
0	0	0	-1
1/5	0	0
1/5	0	0
0	1	0
1/4	1/4	0
Указание. См. пример 2.1.3.
Задача 2.16. Рассматривается марковская цепь {£п} с фа-
зовым пространством X = {1,2,3} и матрицей одношаговых
переходных вероятностей
’ 1/4 3/4	0 '
Р= 1/4 1/4 1/2
0	1/4 3/4
2А. Примеры и задачи
131
Задано распределение цепи в момент времени t = 0:
1	2 Ч \
1/4 1/2 1/4 J'
Вычислить limР{£п — к}, к = 1,2,3.
Ответ: lim Р{£п = 1} = 1/10, lim Р{£п = 2} = 3/10,
lim P{^n = 3f= 6/10.
Задача 2.17. Классифицировать состояния цепи Маркова с
матрицей одношаговых переходных вероятностей
Г 1/8
0
о
о
о
Р =
1/2	1/8	1/8
1	о	о
0	1/2	1/4
0	2/3	1/6
0	1/3	1/3
1/8 I
о
1/4
1/6
1/3 J
Найти предельное распределение марковской цепи.
Задача 2.18. Найти предельные значения Pij(n) для мар-
ковских цепей, заданных матрицами одношаговых переходных
вероятностей:
’ 0 1/3 2/3 ‘
0 2/3 1/3
1 о о
0 0 1/3 2/3
О 0 2/3 1/3
0 10	О
10 0	О
Задача 2.19. Найти предельные значения Ру(п) для мар-
ковской цепи, заданной матрицей одношаговых переходных ве-
роятностей
О 0	0 1'
О 0	10
1/4 3/4 О О
1/2 1/2 О О
132
Глава 2. Предельные теоремы для марковских цепей
Задача 2.20. Пусть марковская цепь задана матрицей од-
ношаговых переходных вероятностей
р =	Г V2 1/4 1/4 1/2 1/4 1/4 0	0 1/4 1/4
1/4	0	0	-1
1/4	0	0
1/2	0	0
О	1	О
О	1/4	1/4
Найти lim Ру (п) для всех пар (г, J).
Задача 2.21. Для марковской цепи с матрицей одношаго-
вых переходных вероятностей
’ 3/4 1/4 0	0	0	0 
О	3/4	1/400	О
р_ 1/4	0	3/4 О О	О
1/4 1/4 1/4 0	0	1/4'
1/5	1/5	1/5 0 1/5	1/5
.0	О	ООО	1
Вычислить lim Ру (n), i, j = 1,2,... 6, если эти пределы сущест-
п
вуют.
Ответ. Классы эквивалентности — С± = {1,2,3}, С2 = {6};
состояния {4} и {5} — несущественные.
limP^n) = 7Г4(С1)тг2, i = 1,2,3;
п
limP5i(n) =	i = 1,2,3;
п
limP56(n) = 7г5(С2)7г6; limP46(n) = тгДС^тгв-
п	п
Далее см. пример 2.4.1.
Задача 2.22. Для марковской цепи с матрицей одношаго-
вых переходных вероятностей
Г 3/4	1/4	О	О	О	О I
1/2	1/2	0	0	0	О
1/4	1/4	1/5	0	1/5	1/10
1/10	1/5	0	1/2	1/10	1/10
О	0	0	0	1/5	4/5
О	0	0	0	2/5	3/5
вычислить limРу(n), i,j = 1,2,...6, если эти пределы суще-
п
ствуют.
2А. Примеры и задачи
133
Задача 2.23. Для марковских цепей {^п}, {^п} , описанных в
задаче 1.11, найти: 1) lim Р^(п), г, j = 1,2,.. .6 (если эти преде-
лы существуют); 2) предельные распределения этих марковских
цепей (если они существуют).
Вычислить математические ожидания времени первого воз-
вращения в состояние.
Ответ.
1) Заметим, что состояния 2,3,... ,6 несущественные, а сос-
тояние 1 является поглощающим экраном.
Для i 1
6
£Ру(п) = 1.	(2.4.1)
J=1
Поскольку при j 1 значения lim Pij(n) = 0 — состояния i^j =
= 2,3, ...,6, несущественные, то переходя в равенстве (2.4.1)
к пределу при п оо, получим ИтРи(^) — 1-
2) Марковская цепь {0п} неприводимая, непериодическая,
возвратная, ненулевая. Поэтому существует эргодическое рас-
пределение
lim Pij(n) = 7Tj, j = 1,2,... 6
и оно совпадает с собственным стационарным распределением,
т. е. удовлетворяет системе
7Г,
1.
Подробнее эта система перепишется так:
7Г1	+	7Г2	+	7ГЗ	+	7Г4	+	ТГ5	+	7Гб = 6ТГ1,
7Г1	+	7Г2	+	7ГЗ	+	7Г4	+	ТГ5	+	7Гб = 6ТГ2,
4тг1	+	7Г2	+	7ГЗ	+	7Г4	+	ТГ5	+	7Г6 = 6ТГ3,
		ЗТГ2	+	7ГЗ	+	7Г4	+	ТГ5	+	7Гб = бтГд,
				27Г3	+	7Г4	+	ТГ5	+	7Г6 = 67Г5,
						7Г4	+	7Г5	+	7Г6 = 6ТГ6,
7Г1	+	7Г2	+	7ГЗ	+	7Г4	+	7Г5	+	7Г6 =	1.
Последовательно вычитая из первого и второго уравнений по-
следнее, получаем
1	1
7Г1 =	7Г2 =
6	6
134
Глава 2. Предельные теоремы для марковских цепей
Вычитая из третьего уравнения последнее, имеем
37Г! = 67Г3 — 1,
отсюда 7Гз = 1/4. И так далее, получаем
7	11	5
74 - 36’	“ 72’	“ 72’
Задача 2.24. Исследовать предельное поведение марков-
ских цепей описанных в задаче 1.11.
Задача 2.25. Пусть {£п} — последовательность независи-
мых одинаково распределенных целочисленных случайных ве-
личин, каждая с распределением
P{£k = j} = aj, j =0,1,2,...
Рассмотрим последовательности случайных величин
1)	Сп+1 = (Сп - 1)+ + Cn, С1 = 6, n = 1,2,...;
2)	еп+1 = (0п - 3)+ + Сп, 01 = 6, n = 1,2,...;
3)	</?п+1 = (<Ai - s)+ + £n, V’l = Ci, n = 1,2,..., s — целое
положительное.
Показать, что последовательности {^n}, {#п}5 {^п} образуют
марковские цепи. Найти их матрицы переходных вероятностей.
Пусть
1) имеют распределение
P{£k = j} = l/m, j = 1,2,..., m;
2) имеют распределение
m = j} =	- P)5~j, j = 0,1,..., 5.
Исследовать предельное поведение цепей {^n}, {#n}> {^n}-
При каких значениях параметров m, р цепи имеют собствен-
ное эргодическое распределение? Что можно сказать о предель-
ном поведении цепи, если цепь не имеет собственного эргодиче-
ского распределения?
Задача 2.26. Для марковской цепи из примера 1.3.5 най-
ти: 1) limi,j = 1,2,3,4 (если эти пределы существуют);
2) предельные распределения марковской цепи. Вычислить ма-
тематические ожидания времени первого возвращения в состо-
яние.
Глава 3
Марковские цепи
с непрерывным временем
3.1 Основные понятия и определения
Определение. Семейство случайных величин
е [0, оо)}
со значениями в R1, зависящее от параметра t 6 [0, сю), будем
называть случайным процессом со значениями в R1, заданным
на множестве [0, сю).
При каждом фиксированном t случайная величина —
функция на Q вероятностного пространства {Q,#, Р}:
e(f) = e(f,w),
поэтому случайный процесс
£(£)=£(£, cu), (t,cu) 6 [0, оо) х Q,
является функцией двух переменных t и си.
Для каждого фиксированного cu е Q функцию
£(£)=£(£, cu), te[O, оо),
со значениями в R1, заданную на [0, оо), будем называть траек-
торией случайного процесса 6 [0,оо)}.
136
Глава 3. Марковские цепи с непрерывным временем
Определение. Случайный процесс {^(t),t е [0,+оо)} со
значениями в {0,1,...} будем называть марковской цепью с не-
прерывным временем, если для него имеет место марковское
свойство: для любых to < ti < ... < tn < tn+i и jo, ji,..., jn-1, i, j
Шя) — j I	— i, £(£n-i) — jn-iy • • • > C(^i) —	C(^o) — Jo}:
= ^(Ul) — j | £(*n) — 0-
Далее множество X = {0,1,...} значений цепи будем назы-
вать её фазовым пространством.
Определение. Условную вероятность
PRO) = J|C(s) = 0 = Pij(s,t),
s,t е [0; сю), s < t, i, j = 0,1,2,..., называют переходной веро-
ятностью (вероятностью перехода) марковской цепи.
Вероятность
Pk(t) = РШ =k},t> 0,
называют вероятностью пребывания в состоянии к, к = 0,1,...
Определение. Марковскую цепь будем называть марковс-
кой цепью со стационарными переходными вероятностями —
стационарной марковской цепью, если ее переходные вероят-
ности
Р{£(£ + $) — 3’ I ^(s) — 0 — Pij(s>s + 0? Л j = 0> 1> 2,...; s,t > 0
не зависят от s. При этом переходные вероятности называют
стационарными и обозначают Pij(t):
Pij(s, s + t) = Pij(t), i,j = 0,1,2,...; s,t > 0.
Мы будем рассматривать марковские цепи со стационарны-
ми переходными вероятностями.
Определение. Матрицей переходных вероятностей мар-
ковской цепи {£(t),t 6 [0, оо)} будем называть матрицу, элемен-
тами которой являются переходные вероятности
Руw = р{еа+*)=j।e(s) = i}, i,j =
Непосредственно из определения матрицы переходных веро-
ятностей следуют такие её свойства:
3.1. Основные понятия и определения
137
1° Pij(t)>0, ^2Py(t) = l, t > 0; i = 0,1,2,...
j
— каждая строка матрицы переходных вероятностей задает на
фазовом пространстве X = {0,1,2,...} семейство вероятност-
ных распределений, зависящих от параметра t.
2° Переходные вероятности Pij(t) удовлетворяют уравнению
Колмогорова-Чепмена:
Pij(s + t) =	s,t>0, i, j = 0,1,2,...,
k=o
или в матричном виде,
Р($ + t) = P(s)P(f),
где P(f) = [Ро(ОЬ t > °-
Уравнение Колмогорова-Чепмена является непосредственным
следствием марковского свойства.
Дале мы будем требовать, чтобы переходные вероятности
Pij(h), i,j = 0,1,2,..., обладали свойством непрерывности в
точке 0:
т о Г если j —
0, если j?,
(в силу стационарности цепи непрерывность переходной вероят-
ности в точке 0 влечет непрерывность в каждой точке t > 0).
Непрерывность переходных вероятностей фактически обо-
значает непрерывность стационарной марковской цепи — если
цепь в момент t находится в состоянии г, то за малое время h
с вероятностью близкой к 1 цепь и останется в состоянии i (за
малое время с вероятностью близкой к 1 состояние цепи не из-
менится).
Переходную матрицу, элементы Р^(/г), г,j = 0,1,2,..., ко-
торой удовлетворяют свойству непрерывности, будем называть
стандартной матрицей.
ТеоремаЗ.1.1 (уравнениеКолмогорова-Чепмена). Переход-
ные вероятности стационарной марковской цепи удовлетворя-
ют уравнению Колмогорова- Чепмена:
Pij(s + t) = ^Pik(S)Pkj(t), s,t>Q, i,j = 0,1,...,	(3.1.1)
к
138
Глава 3. Марковские цепи с непрерывным временем
или в матричном виде:
P(s + t) = P(s)P(f).
Доказательство. Очевидно,
{£(s + t) =iC(0) = г} = |J{£(0) = i,£(s) = k,£(t + s) = j},
k
причем события в правой части несовместны. Отсюда
p{^+t) = j । е(о) = о = Е =j, e(s) = к । e(o) = о =
k
= -P{C(g + 0 = j, C(g) = M(Q) = 0 =
V p^°) =
v p{^s+t)=j\ g(s) = k, e(o) = pp{e(s) = k, g(o) = о
V	p^°) =
v p{^s+t)=j\ e(g) = к}рщ = к, g(o) = о
Y	pm = i}
= e p{^+t)=j\ e(s) = к}рш = к । e(o) = о =
к
— Pik(s)Pkj(t).
к
Замечание. Равенство
P(s + t) = P(s)P(f), s > 0Д > 0,
обозначает, что семейство операторов P(t), t > 0, обладает по-
лугрупповым свойством.
Следствие 1. Для любых ti,^2> • • • Дп
+ ^2 + • • • + tn) —	Piki (tl^Pk^(t2) • • • Pkn-ij(tn)•
ki,k2,---,kn-i
(3.1.2)
Доказательство.
Pij(tl + t2 + • • • + tn) = Pij(ti + (t>2 + • • • + tn)) —
3.1. Основные понятия и определения
139
— Piki(ti)Pkij(t2 + ts + • • • + tn) —
ki
= Pjki Gl)	Pkik2 (tz)Pk2jGs + ^4 “b • • • “b ^n) = • • •
ki	k2
•••—	Piki (tl)Pkik2(t2) • • • Pkn-ij(tn).
ki -)k2 • •fkfi—i
Следствие 2.
Pij^fy. + ^2 + • • • + tn) > Piki (^1)F/C1/C2G2) • • • Pkn-ij(tn)•
Следствие 3.
Pa(t) > (Pii(t/n))n.
Достаточно в следствии 2 положить t\ = t% = - - - = tn = t/п,
j = i,ki = i,k2 = 2,..., kn-i = i.
Задание марковской цепи. Случайный процесс {£(t),
t 6 [0, +00)}, в частности, марковская цепь с непрерывным вре-
менем {£(£) Д 6 [0, +оо)} считается заданной, если заданы ее ко-
нечномерные распределения, а именно, для любых 0 = to,ti,... tn
и го, 21,..., in заданы
Ptoti...tn Go, ^1 ч • • • in) = Р{Ш — 2q,£G1) — 21, . . . ,£(tn) = ^n}-
Как и для цепей Маркова с дискретным временем, марков-
ская цепь с непрерывным временем задается своим начальным
распределением (распределением при t = 0) и матрицей пере-
ходных вероятностей [P^G)], t > 0.
Убедимся в этом. Пусть 0 = to < ti <...< tn. Воспользо-
вавшись формулой умножения и марковским свойством, имеем
P{£Go) = *o,£Gi) = й, • • • ,£Gn-i) = in-i^(tn) = in} =
= P{CGn) = in I CGn—1) = in—li • • •, ^(^o) — ^0} x
xP{£(tn-l) = in-liC(tn-2) = in-21 • • • i£(fy) = ^0} =
— P{£(tn) = in I £(tn—i) = in—i}x
xP{£(tn-l) = in-li^(tn-2) = in-21 • • • i£(to) = ^0} =
— Pin-1 in(tn ~ tn-i)x
140
Глава 3. Марковские цепи с непрерывным временем
х/Ш-1) — *п-1,£(£п-2) = *п-2, • • • ,£(*()) = М =
^п-1*п(^П	^п—1) ’ Ргп-2 «п-1 (^П— 1 tn—2) X . . .
• • • X Pioi^ti - to) • P{£fao) = го}.
Равенство
Р{£(*о) — *o,£(*i) — й, • • • ,£(^п—1) — гп—1,£(М — in} —
— Pin-iinfan ~ tn—1) ’ Pin-2 «п-i fan—1 — tn—2) X • • •
... X Pi.iSh - to) • P{^to) = го}.	(3.1.3)
и обозначает, что цепь задается ее начальным распределением
Р{£(£0) = г0} и матрицей переходных вероятностей [Pij(t)].
Во многих ситуациях поведение матрицы переходных веро-
ятностей [Р^(/г)] в окрестности нуля определяет поведение ве-
роятностей пребывания Pnfa), п = 0,1,2,..., при всех t > 0.
Точнее, можно выписать систему дифференциальных уравне-
ний, которым удовлетворяют Pnfa)- Поэтому общий подход в
задании марковских цепей с непрерывным временем состоит в
задании (постулировании) вида матрицы переходных вероятно-
стей [Р^ (h)] в окрестности нуля.
При изучении цепей Маркова с непрерывным временем (как
и для цепей с дискретным временем) важной задачей является
изучение асимптотического поведения распределения £fa), т- е-
поведения вероятностей пребывания
P{£fa) = n} = Pnfa), п = 0,1,2,...,
при t сю.
3.2 Процесс чистого рождения
Пусть £(f) — размер популяции леммингов, зайцев, лис, вол-
ков, ... на данной территории. При благоприятных условиях
— достаточное количество пищи, отсутствие смертности, отсут-
ствие миграции размер популяции будет неограниченно расти.
(Реально неограниченный рост невозможен хотя бы потому, что
3.2. Процесс чистого рождения
141
при большом размере популяции пищи для всех не хватит.) Ма-
тематической моделью численности популяции в описанной си-
туации является так называемый процесс чистого рождения.
Определение. Процессом чистого рождения будем назы-
вать стационарную марковскую цепь с непрерывным временем,
переходные вероятности которой в окрестности нуля удовлетво-
ряют постулатам:
1° Р^Л+1(^) =	+ °(^)>	0 + О, к = 0,1,...;
2° Pk,k(h) = l~Xkh + o(h), h 0 + 0, к = 0,1,...-,
3°P^(0)=4j, k,j = O,l,...
Из 1° - 2° следует, что для j' к, к + 1
Pk,j(h) = о(К), h 0 + 0
— вероятности перехода в несоседние состояния есть величины
порядка o(h) при /г —> 0 + 0.
Параметры fc = 0,1,2,..., — неотрицательные числа,
o(h) могут, вообще говоря, зависеть от к.
Числа Хк, к = 0,1,..., называют инфинитезимальными ха-
рактеристиками или инфинитезимальными интенсивностя-
ми роста процесса чистого рождения.
Матрицу
Г —До	До	0	0
0	-Д1	Д1	0	...
0	0	—Д2	Д2	• • •
называют инфинитезимальной матрицей процесса чистого рож-
дения.
Заметим, что в точке нуль существуют производные пере-
ходных вероятностей процесса чистого рождения и они равны
интенсивностям роста:
-f’fc, fc+l (0) = ^k,
РкДО) = -Afe.
Первый постулат процесса чистого рождения обозначает, что
при малых h вероятность покинуть состояние к (перейти в сос-
тояние к + 1) растет пропорционально времени h (как Д^/г), вто-
рой постулат обозначает, что при малых h вероятность остаться
в состоянии к убывает (как 1 — Д^/г).
Из определения процесса чистого рождения следует, что пе-
реходные вероятности обладают свойством непрерывности.
142
Глава 3. Марковские цепи с непрерывным временем
Постулируя такой вид переходных вероятностей цепи при
малых h (локально), мы обеспечиваем монотонность траекторий
цепи — за малое время (локально) цепь из данного состояния к
может перейти только в соседнее состояние fc+1 (с вероятностью
Л^/^ + о(/г)), либо остаться на месте (в состоянии fc), естественно,
с вероятностью 1 — Xkh + o(h).
Заданные локально (при малых /г) переходные вероятности
Pij(h) определяют вероятности пребывания Pk(t) = P{£(t) = к}
цепи для всех t > 0.
Теорема 3.2.1. Вероятности пребывания
PkW = РШ = к}, к = 0,1,2,...,
процесса 6 [0;оо),£(0) = 0} чистого рождения, выходя-
щего из 0, удовлетворяют системе дифференциальных уравне-
ний
ГР'(г) = -А0Р(М
Hfe+iW = -^k+iPk+itt) + XkPk(t), к = 0,1,...,
с начальными условиями
Ро(О) = 1, РДО) =0, к = 1,2,...
Доказательство. Сначала составим уравнение для веро-
ятности Ро(О пребывания цепи в точке 0.
Для процесса чистого рождения
Po(t + h) = P{£(t + h) = 0} = P{^t + h) = 0, ^(0 = 0} =
= P{£(t + h) = 01 e(t) = 0}P{C(t) = 0} = Poo(/i)Po(t) =
= (1 - А0/г + о(/г))Ро(0,
отсюда
Po(t + h) = P0(t) - XohPo(t) + P0(t)o(h)
или
P0(t + h)-P0(t) = _	+ Po(f)2^).
n	ti
Переходя к пределу в правой и левой частях при /г —> 0 + 0
(предел правой части существует), получаем
P^t) = -AoPo(i).
(3.2.1)
3.2. Процесс чистого рождения
143
Далее получим уравнения, которым удовлетворяют вероят-
ности пребывания Pk(t), к = 1,2,... Имеем
Pfc+1(£ + h) = P{£(t + h) = к + 1} =
(/fc+i	\ \
W + Л) = k +1}n UW) = 4	=
\?=0	//
fc+1
= £pw + /l) = fc + i,ew = 4 =
?=0
A+l
= £ P{^t + h) = к +11 £(t) = i}P{^t) = i} =
?=0
A+l
= £ =
?=0
— Pk+1, fc+l(^)A:-|-l(0 + Л^Л+1(^)^(^) +
к-1
+ Pi(t)Pi,k+l(h) —
?=0
= ^+1(0(1 — ^к+ih +	+ Pk(t)(Xkh + o(/z))+
k—1
?=0
— Pk+i(t) ~ Xk+ihPk+i(t) + XkhPk(t) + o(/z).
Отсюда
Pk+i(t+h) — -Pfc+iW — —Xk-^-ihPk-^i^+XkhPk^+o^h), h 0+0,
где o(h)/h 0 при /г —> 0 равномерно no t. Разделив левую
и правую части на h и перейдя к пределу при h 0 + 0, для
вероятностей пребывания Pk(t), к = 0,1,..., получим систему
дифференциальных уравнений
Г-^о(^) = ~/о 2 21
{PU1W = -XMPk+iW + XkPk(tl к = 1,2,...
144
Глава 3. Марковские цепи с непрерывным временем
с начальными условиями
Ро(О) = 1, Pfc(O) =0, k = 1,2,...
Для вероятностей пребывания Pk(t) можно доказать суще-
ствование и левосторонних производных.
Из первого уравнения системы (3.2.2)
Р'(0 = -AoPo(f),
с учетом начального условия Ро(О) = 1 получаем
Po(t) = e~Xot.
При конкретных значениях А& > 0 можно последовательно про-
интегрировать уравнения (3.2.2).
Определение. Временем пребывания марковской цепи
{£(£),£ 6 [0;оо),£(0) = 0}, стартующей из состояния 0, в со-
стоянии 0 будем называть случайную величину
то = inf{t : е(0 / 0, е(0) = 0}.
Цепь до момента то пребывает в состоянии 0, а в момент то
“уходит” из состояния 0.
Следствие. Время пребывания то в состоянии 0 процесса
чистого рождения, выходящего из 0, распределено показатель-
но с параметром Aq:
Р{т0 <0 = 1- e-Aot, t > 0.
Действительно, при t > 0
Р{т0 < 0 = 1--PR0 >t} = 1-P{£(t) = 0} = l-Po(t) = 1-e~Xot.
Пуассоновский процесс. Одним из частных случаев про-
цесса чистого рождения является пуассоновский процесс.
Определение 1. Пуассоновским процессом с параметром
А (А > 0), стартующим из нуля, называется процесс чистого
рождения t 6 [0; +схз),£(О) = 0}, у которого интенсивности
роста
Хк = А, к = 0,1,2,...
3.2. Процесс чистого рождения
145
Теорема 3.2.2. У пуассоновского процесса
[0,оо),£(0) = 0}
с параметром Л, стартующего из нуля, вероятности пребыва-
ния
Pk^ = (^~e~xt’fc = 0’1’---
Доказательство. Согласно теореме 3.2.1, вероятности пре-
бывания РД£), к = 0,1,2,..., процесса рождения и гибели, у ко-
торого интенсивности роста А^ = А, fc = 0,l,2,..., удовлетворя-
ют системе дифференциальных уравнений
(P^t) = -APo(t),
1Л+1W = -APfc+i(t) + APfc(i), к = 0,1,...
при начальных условиях
Ро(О) = 1, РДО) = 0, к= 1,2,...
Для решения последней системы уравнений введем функции
Qk(t):
Pk(t) = e~XtQk(t), к = 0,1,...,	(3.2.3)
и перепишем систему в терминах Qk(fy. Имеем:
(е XtQk+\(t)^ =—Хе XtQk+i(t) + Хе XtQk(f),
—Хе XtQk+i(t) + e XtQM(t) =-Хе XtQk+i(t) + Хе XtQk(f),
Q'k+l(t) = XQk(t), к = 0,1,...	(3.2.4)
Заметим, что поскольку
Ро(О) = 1, РДО) =0, к = 1,2,...,
то из равенств (3.2.3) для Qk(t) получаем начальные условия
Qo(O) = 1, ЗДО) =0, к= 1,2,...
Решим систему дифференциальных уравнений (3.2.4) при
начальных условиях
Qo(O) = 1, ЗДО) =0, к= 1,2,...
146
Глава 3. Марковские цепи с непрерывным временем
Ранее мы получили, что
ад = e"At,
поэтому из (3.2.3) при к = 0 имеем
Qo(0 = I-
Для <3i(t),Q2(t), • • •	   последовательно получаем
<2'1(0 = AQo(t) = А,
<31 (t) - <31 (0) = At,
что с учетом <3i (0) = 0 дает
<	31 (t) = At;
<	32(0 = A<3i(t) = A2t,
A2/2
<	?2(t)-<?2(0) = ^,
что с учетом <Эг(О) = 0 дает
И Т. д.,
Возвращаясь к функциям Pk(t), получаем
Pfc(t) = e-^Qkit) =	к = 0,1,...
Так что для пуассоновского процесса е [0, оо),£(0) = 0}
с параметром Л, стартующего из нуля, при каждом t случай-
ная величина имеет пуассоновское распределение с пара-
метром At
Эквивалентным выше данному определению пуассоновского
процесса является следующее.
Определение 2. Пуассоновским процессом с параметром
Л (Л > 0), стартующим из нуля, будем называть случайный
3.2. Процесс чистого рождения
147
процесс {£(£), t е [0; +оо),£(0) = 0}, удовлетворяющий следую-
щим постулатам:
1)	для любых 0 = to < ti < ^2 < • • • < tn-i < tn случайные
величины £(fi) - £(fo), £(*2) - £(h), • • •, £(tn) ~ £(*n-i) незави-
симы (£(£) — процесс с независимыми приращениями),
2)	приращения £(t) — £(s), 0 < s < t, имеет распределение
Пуассона с параметром X(t — s):
P{£(t) - C(s) = к} =	~ s^k e-4t-s^ fc = 0,1,2,...
Неформально пуассоновский процесс с параметром Л, выхо-
дящий из нуля, можно описать так. Стартуя из нуля, процесс
в течении времени то, распределенном показательно с парамет-
ром Л, пребывает в состоянии 0. В момент времени то процесс
скачком переходит в состояние 1 и пребывает в состоянии 1 в те-
чении времени ti, распределенном показательно с параметром Л
и не зависящим от то- В момент времени to + ti процесс скачком
переходит в состояние 2 и пребывает в состоянии 2 в течении
времени тг, распределенном показательно с параметром Л и не
зависящим от то и ri. В момент времени то + л + Т2 процесс
скачком переходит в состояние 3 и т. д.
Определение. Пусть то, л,Т2,... — последовательность
независимых показательно распределенных с параметром Л слу-
чайные величины. Последовательность моментов времени (по-
следовательность случайных величин)
tn = ткч 72 = 0, 1, 2, ... ,
к=е
называется простейшим потоком событий с параметром Л (ин-
тенсивности Л).
Пуассоновский процесс с параметром Л задает простейший
поток событий:
tn = 1~ki 72 = 0, 1, 2, ... ,
к=0
где ть — время пребывания процесса £(t) в состоянии /с, к =
= 0,1,2,...
Справедливо и обратное. Простейший поток событий
tn = 1~ki 72 = 0, 1, 2, ... ,
к=0
148
Глава 3. Марковские цепи с непрерывным временем
с параметром Л определяет пуассоновский процесс
W), t€ [0;+оо),е(0)=0}
с параметром Л, выходящий из нуля. В момент времени t процесс
£(t) принимает значение к, если tk-i < t < tk, к = 1,2,... На
промежутке [0, то] значение £(t) равно 0.
Процесс Юла. Рассмотрим один важный частный случай
процесса чистого рождения, так называемый процесс Юла.
Предположим, что в момент времени t = 0 в популяции име-
ется N особей (7V > 0). Через £(t) обозначим размер популяции
в момент времени t. Предположим, что каждая особь популяции
независимо от других в интервале времени длиной h с вероят-
ностью (3h + o(h) порождает новую особь.
Если в момент времени t размер популяции £(£) = /с,
(fc = N, N + 1,...), то за время h размер популяции увеличи-
вается на 1 с вероятностью
+ o(Zi))1 (1 — ph — othyf-1 = kBh +	/1^0 + 0.
Поэтому переходные вероятности процесса £(t) при малых h
(/г —> 0 + 0) имеют вид
P{£(t + h) = к + 11 ^(0 = к} = kf3h + о(/г),
P{^t + h) = k\ ^(0 = к} = 1 - (k(3h + o(h))
или
Рк,к+! = kfth + o(h) = Xkh + o(h),
Pk,k — 1 — k(3h + o(h) = 1 — Xkh + o(h)
(у процесса Юла Xk = k/3).
Система уравнений (3.2.2) для вероятностей пребывания про-
цесса Юла, стартующего из 1 (размер популяции £(0) в момент
времени 0 равен 1), имеет вид
(P[(t) = -X1P1(t),
= —^+1^+1(0 + ^kPk(t)) к = 1, 2, . . . ,
подробнее,
l^+1 w = -(к+1)ж+1 w + fcmw, к = 1,2,...
3.3. Процессы рождения и гибели
149
Начальные условия
Р1(0) = 1, Рк(0) = 0, к = 2,3,...
Решением этой системы является
Л(<) = е"^,
Pfc(t) = е-^(1 - е-^к~\ к = 2,3,...,
в чем можно убедиться непосредственной проверкой.
Заметим, что
Pfc(t) = е-^(1 - е-01/-1, к = 1,2,3,...,
является геометрическим распределением с параметром pt =
_	“смещенным на 1”, т. е. заданным на множестве
к = 1,2,3,...
3.3 Процессы рождения и гибели
Естественным обобщением процесса чистого рождения яв-
ляется процесс рождения и гибели — если в момент t процесс
находится в состоянии /с, то за малое время h он переходит в
одно из соседних состояний (fc + 1) или (fc — 1) или остается в
том же состоянии к.
Определение. Процессом рождения и гибели будем назы-
вать стационарную марковскую цепь с непрерывным временем,
переходные вероятности которой в окрестности нуля удовлетво-
ряют постулатам:
1° Pk,k+i(h) = Xkh + o(h) при /г —> 0 + 0, к > 0;
2° Р^_1(/г) =	ПРИ > 0 + 0, к > 1;
3° Рк k{h) = 1 — {Хк + pk)h + при /г —> 0 + 0, к > 0;
4°Р^(0)=<^, fc,j =0,1,2,...
Из 1° - 3° следует, что для j к — l,fc,fc+l
Pk,j(h) = о(/г), /г —> 0 + 0
— вероятности перехода в состояния отличные от соседних есть
величины порядка o(h) при /г —> 0 + 0.
Параметры Хк, цк {ро = 0,Ао > 0), к = 0,1,2,..., неотри-
цательны, их называют инфинитезимальными характеристи-
ками {инфинитезимальными интенсивностями) рождения и
гибели соответственно.
150
Глава 3. Марковские цепи с непрерывным временем
В равенствах пунктов 1° — 3° член o(h) может зависеть от к.
Определение. Матрицу
—Ао Ао	О	О
Ш	-(Ai+jtzi)	Ai	О
О	-(А2 + ^2)	А 2
0	0	цз -(Аз + ^з)
будем называть инфинитезимальной матрицей процесса рож-
дения и гибели.
Замечание. Инфинитезимальная матрица процесса рож-
дения и гибели — это матрица производных переходных вероят-
ностей процесса в точке нуль.
Обратные дифференциальные уравнения Колмого-
рова для процесса рождения и гибели. Переходные вероят-
ности Pjj (t) процесса рождения и гибели удовлетворяют системе
дифференциальных уравнений, известных под названием обрат-
ных дифференциальных уравнений Колмогорова. Получим эти
уравнения.
Пусть h > 0, t > 0. Из уравнения Колмогорова-Чепмена име-
ем при i = 1,2,..., j =0,1,2,...
Рг^(/г+i) = 52 д* W-Pfej w =
fe=0
—	+ Pj^(h)Pjj{t) + Pi,i+\(h)Pj+^j(t) +
+'^Pi,k(h)Pk,j(t), i = 1,2,...,	(3.3.1)
к
в последней сумме суммирование ведется по всем к i — 1, г, г+1.
При /г —> 0
^Pi'kWPkJf) < J2'Pi,kW = 1-(Л^-1(/1) + Рм(/1)+Рм+1(^)) =
к	к
= 1 - (щЬ + о(/г)) - (1 - (Аг + Hi)h + о(/г)) - (Aj/г + о(/г)) = о(/г).
Так что
52 PijAh'jPk^t') = о(/г).
3.3. Процессы рождения и гибели
151
Используя последнее равенство и постулаты 1°-3° процесса рож-
дения и гибели, равенство (3.3.1) можно записать так:
i = 1,2,... Перенесем Pi,j(t) в левую часть, разделим получен-
ное равенство на h и перейдем к пределу при /г —> 0 + 0. В ре-
зультате получим
P[j(t) =	- (Ai +	+ AjPi+ij(t), i = 1,2,...
(3.3.2)
Для i = 0, j = 0,1,2,... выкладки аналогичные приведенным
выше дают
^j(t) = -AoPoj(t) + AoPij(t),	(3.3.3)
при t = 0
^j(O) = fcj = 0,1,2,...
Уравнения (3.3.2), (3.3.3) называются обратными дифферен-
циальными уравнениями Колмогорова.
В обратных дифференциальных уравнениях начальное со-
стояние является “переменным”, а конечное состояние “фикси-
рованным” (в Рц меняется первый индекс).
Обратные дифференциальные уравнения удобно записывать
в матричном виде
р'(0 = i/P(f),
где р — инфинитезимальная матрица процесса рождения и ги-
бели, F(f) = [-F’j(f)]-
Прямые дифференциальные уравнения Колмогоро-
ва для процесса рождения и гибели. При выводе обрат-
ных дифференциальных уравнений Колмогорова мы воспользо-
вались уравнением Колмогорова-Чепмена, разбив промежуток
(0, t + h) на части (0, h) и (h,t + h). Другая ситуация возникает
если промежуток (0, t + h) разбить на части (0, t) и (t,t + h) и
использовать тот же подход, что и при выводе обратных диф-
ференциальных уравнений.
Из уравнения Колмогорова-Чепмена при j = 1,2,..., i =
= 0,1,... имеем
Pij(f + /г) =	=
к=0
= Pi,j-i(t)Pj-ij(h) + Pj,j(t)Pj,j(h) + Pjj+i(j)Pj+ij(Ji)+
152 Глава 3. Марковские цепи с непрерывным временем
+£р^)рк;(Ь), j = 1,2,...	(3.3.4)
k
Оценим 'Е,'Pi,k(.t)Pk,j(.h) :
k
52	= 52 pi,b(t)hok(X) =
k	k
= /zsupofc(l)\2 Р?Д0 < /zsupofc(l).
k	k	k
Далее будем предполагать, что для k / j — 1,7,7 + 1 переход-
ные вероятности Pkj(h) = ho^X) при /г —> 0 + 0 удовлетворяют
соотношению
supofc(l) = о(1).
к
В этих предположениях при /г —> 0 + О
52'^Л(4)Р^(/г) = о(/г).
к
Из равенства (3.3.4), последнего равенства и постулатов 1°-3°
процесса рождения и гибели при 7 = 1,2,... имеем
Pij(t + /i) =	+	+ P?j(^)(l — (Aj + jtzj)/i + o(/i))+
+PiJ+1(t)Xj+1h + o(h)) + o(h).
Перенесем P?j(0 в левую часть, разделим полученное равен-
ство на h и перейдем к пределу при /г —> 0. В результате для
7 = 1,2,... получим
= Aj-iP?j-i(O — (Aj + /ij)Pjj(t) + p,j+iPij+i(t)- (3.3.5)
Для 7 = 0, i = 0,1,... выкладки аналогичные приведенным
выше дают
Р'цХ = -AoP?,oW + ^1Рг,1 W- (3.3.6)
При t = 0 значения Рм(0) =	7 = 0,1,..., i = 0,1,...
Уравнения (3.3.5), (3.3.6) известны под названием прямых
дифференциальных уравнений Колмогорова.
3.3. Процессы рождения и гибели
153
В прямых дифференциальных уравнениях конечное состо-
яние является “переменным”, а начальное состояние “фиксиро-
ванным” (в Pjj меняется второй индекс).
Прямые дифференциальные уравнения удобно записывать в
матричном виде
P'(t) = iZ(P(f))T,
где р — инфинитезимальная матрица процесса рождения и гибе-
ли, ит и — матрицы, транспонированные соответственно
к матрицам р и P(t), F(t) = [P'j (£)].
Эргодическая теорема для процесса рождения и ги-
бели. Для процесса рождения и гибели имеет место следующее
утверждение, аналогичное эргодической теореме для дискрет-
ных марковских цепей.
Теорема 3.3.1 (эргодическая для процесса рождения и ги-
бели). Переходные вероятности Pjj{t), i,j = 0,1,2,..., процес-
са рождения и гибели с интенсивностями рождения Xj и гибе-
ли pj и их производные Pjj(t) при t оо имеют пределы
lim Pj At) = 7г?, lim Р' At) = 0, j = 0,1,2,...,
t—>оо	t—>оо
пределы tvj не зависят от начального состояния i и удовлетво-
ряют уравнениям
-АОТГО + ^17Г1 = О,
Xj—i^j—i — {Xj + Pj)^j + Pj+iiTj+i = 0, j' = 1,2,...
Формально последние уравнения для пределов 7tj получают-
ся предельным переходом при £ —> оо в правой и левой частях
прямых дифференциальных уравнений Колмогорова:
p'(t) = l/T(p(f))T.
Предельные значения
7г? = lim Pi At), j = 0,1,2,...,
t—>+oo
задают на фазовом пространстве {0,1,2,...} цепи вероятностное
распределение (собственное или несобственное). Действительно,
из
оо
52	= 1
j=0
154
Глава 3. Марковские цепи с непрерывным временем
имеем
N
— 1-
J=1
Предельным переходом при t сю получаем
N
52^'
7=1
отсюда при N —> оо имеем
ОО
52^' - L
j=0
Определение. Вероятностное распределение
7г7 = lim Pi ЛГ), j = 0,1,2,...,
J t—^oo
называется эргодическим распределением процесса рождения и
гибели.
Теорема 3.3.2 (о предельном значении вероятностей пре-
бывания). У процесса рождения и гибели предельные значения
вероятностей пребывания Pk(t) существуют и совпадают с эр-
годическими вероятностями:
lim Pk(t) = тгк, к = 0,1,...
t—>оо
Доказательство. Достаточно показать, что для данно-
го s
|Л(<) - TTfel < £
при достаточно больших t.
Пусть {яД — начальное распределение цепи. Тогда
оо
Pk(t) = P{£(t) = к} = y^XiPik(,t)
i=0
Отсюда имеем
\Pk(t} - TTfcl =
оо	оо
?=0	?=0
3.3. Процессы рождения и гибели
155
N	оо
—	Xi |.Pifc(£) — TT/cl + 2 Xj.
?=0	i=N+l
Второе слагаемое не превосходит s за счет выбора N достаточно
большим, а первое не превосходит s при достаточно больших t
в силу эргодической теоремы.
Определение. Вероятностное распределение {иД будем
называть стационарным распределением процесса рождения и
гибели с матрицей переходных вероятностей [Р^(£)], если для
всех t > О
оо
^2	(f) = vh i = °> 2> • • •
i=0
Теорема 3.3.3 (об эргодическом и стационарном распреде-
лениях). У процесса рождения и гибели эргодическое распределе-
ние является стационарным распределением и наоборот, соб-
ственное стационарное распределение является эргодическим.
Доказательство. Убедимся, что эргодическое распреде-
ление является стационарным.
Из уравнения Колмогорова—Чепмена для любых s,t и N
имеем
оо	N
Pjj(s + ^) —
к=0	k=0
Переходя в этом неравенстве к пределу при s оо, получаем
N
^k^kj (^)
k=Q
(в силу эргодической теоремы lim Pi Д£) = я>). А поскольку N
t—^oo 1
произвольно, то и
оо
TTj >	j = 0,1,...	(3.3.7)
fc=o
На самом деле все нестрогие неравенства (3.3.7) являются ра-
венствами
оо
7TJ = ^TTfePfe/f), j = 0, 1, . . .
k=0
156
Глава 3. Марковские цепи с непрерывным временем
Если предположить, что хотя бы одно из неравенств (3.3.7) стро-
гое и просуммировать все неравенства (3.3.7), то
оо	оо / оо	\	оо	оо	оо
52^’ > 52 (52	)= 52 52	= 52
7=0	j=0 \k=0	J	k=0	j=0	k=0
Из полученного противоречия следует, что
оо
= TTj, j = 0,1,...
k=o
Так что эргодическое распределение является стационарным.
Пусть теперь {^} — собственное стационарное распределе-
ние цепи:
оо
ViPij(t) =Vj, j = 0,1,...,	(3.3.8)
i=0
ОО
j=0
Формально переходя к пределу при t ч ос в правой и левой
частях равенств (3.3.8) (в силу эргодической теоремы пределы
Pij(t) существуют), получаем
оо
=Vj, j =0,1,...
?=0
оо
Отсюда, учитывая что vi — 1, имеем
?=0
Ч? = ТГ7 , J = 0, 1, . . .
Корректность предельного переходя следует из неравенства
оо	оо	N	оо
5 >	~ ViKj < 52^l‘^(^) —	5 >
?=0	?=0	?=0	i=N+l
в котором правая часть меньше 2s при достаточно больших t
(второе слагаемое меньше е за счет выбора ЛГ, при фиксирован-
ном N первое слагаемое меньше е за счет выбора t).
3.3. Процессы рождения и гибели
157
Теорема3.3.4 (о представлении эргодического распределе-
ния). Пусть е [0,оо)} — процесс рождения и гибели с
интенсивностями роста Xj и гибели pj(р3> 0, j = 1,2,...),
Ao Al	Aj-i
ио = 1, Uj =------------—, 7 = 1,2,...
Р\ Р2	Pj
Если
оо
^2 uk < оо,
k=0
то существует собственное эргодическое распределение про-
цесса 6 [0,оо)} и оно представимо в виде
= из^~, .7 =0,1,2,...
У?
к=0
Если
оо
= +оо,
k=0
то эргодическое распределение является несобственным и
TVj = 0, j = 0,1,2,...
Доказательство. Заметим, что
и3j = 1,2,...	(3.3.9)
Pj
Согласно эргодической теореме (см. теорему 3.3.1), эргоди-
ческое распределение {тг^} (собственное или несобственное) су-
ществует и удовлетворяет уравнениям
-Аотго + Z^iTTi = 0,
Xj_iTTj-1 - (Xj + Pj)itj + pj+iitj+i = 0, 7 = 1,2,...	(3.3.10)
Решение последней системы уравнений можно представить
в виде
= UkTro, к = 1,2,...	(3.3.11)
158
Глава 3. Марковские цепи с непрерывным временем
Действительно, из первого уравнения имеем
7Г1 = (АоМ1)тго = 'Щтго-
Предположим, что представление (3.3.11) имеет место и при к =
= 2,3,... ,7 и установим, что оно имеет место и для к = j + 1.
Из равенства (3.3.10) имеем
=	“1“	~
Из равенств
тгк = ^7Го, к = 1,2,... J,
и равенства (3.3.9) получаем
=	“1“ P'j^'UjTTfy ~	—	1^0 =
— XjU jiffy + (jjsjU	Xj—iUj—i^To) =
— XjUjTTfy “И (^/JjjUj Xj— 1 Uj— 1)тГ() = XjUjTTfy
t. e.
= XjUjTTfy
или
TTji+i = (Aj/P'j-^-i^UjTTfy = Uj+iTTfy) j = 1,2,...
Так что эргодическое распределение {ттк} процесса рождения и
гибели представимо в виде
7Tk = ukTTfy, к = 0,1,...
Учитывая последнее представление, имеем
оо	оо	оо
52	(3.3.12)
к=0	k=fy	k=fy
оо
Если ряд uk сходится, то положив
к=0
оо
7Г° = l/^Ufe,
k=0
3.4. Обслуживание с ожиданием
159
получим
оо
52^ =
к=0
т. е. существует собственное эргодическое распределение {тг^},
при этом
= uj^o = uj^-----> j = 0,1,2,...
У7 Uk
к=0
Единственность эргодического распределения следует из един-
ственности предела
7Vj = Jim	j = 0,1,2,...
oo
Если uk = +°° (ряд расходящийся), то из равенства
к=0
оо	оо
fc=0	k=0
учитывая, что {тг&} — вероятностное распределение, следует, что
тго = 0. Поэтому распределение
7Tj = UjTTQ = 0, j = 0,1,2,...,
несобственное.
Замечание. Тот факт, что
= 0, к = 0,1,2,...
(при ик = оо) обозначает, что цепь при t сю “уходит на сю”.
к
3.4 Обслуживание с ожиданием
Мы рассмотрим классическую задачу теории массового об-
служивания в той постановке, в какой она была решена А.К. Эр-
лангом.
1° На обслуживающий прибор поступает простейший поток
требований интенсивности Л.
160
Глава 3. Марковские цепи с непрерывным временем
2° Если в момент поступления требования прибор свободен,
требование начинает немедленно обслуживаться. Если прибор
занят, то требование становится в очередь за поступившими ра-
нее требованиями.
3° Время обслуживания £ каждого требования показательно
распределено с параметром ц и не зависит от продолжительнос-
ти обслуживания ранее поступивших требований.
Задача. Найти распределение длины ^(t) очереди — коли-
чества £(£) требований в очереди в момент времени t (если не
при всех t, то хотя бы при достаточно больших, т. е. в уста-
новившемся режиме).
Реальных ситуаций, в которых возникают подобные задачи,
великое множество. А.К. Эрланг решил эту задачу примени-
тельно к телефонной связи.
Рассмотрим подробнее введенные в пунктах 1° и 3° понятия
простейшего потока требований и обслуживания требований.
Простейший поток требований. Под простейшим пото-
ком требований интенсивности Л мы понимаем последователь-
ность случайных величин
tn = п = 0,1,2,...
fc=o
где Tk, к = 0,1,2,..., — независимые показательно распределен-
ные с параметром Л случайные величины:
Р{тк <f} = l- Xe~xt, t > 0.
Значения tn,n = 0,1,2,..., мы интерпретируем как моменты
поступления требований (tn — момент поступления (п + 1)-го
требования, t$ = то — момент поступления первого требования),
случайные величины к = 1,2,..., мы интерпретируем как
промежутки между поступлениями требований.
В простейшем потоке требований с параметром Л за ма-
лое время h (h 0 + 0) требования поступают так: одно тре-
бование поступает с вероятностью Xh + o(h), два и больше
требований поступают с вероятностью o(h).
В самом деле, простейший поток требований с параметром Л
определяет пуассоновский процесс {£(t), t 6 [0; оо)} — число тре-
бований £(t), поступивших к моменту времени t, t 6 [0; оо). Для
пуассоновского процесса с параметром Л
P{£(t) - С(з) = k} =	fc = о, 1,...
3.4. Обслуживание с ожиданием
161
Поэтому
P{e(f + /i)-e(i) = 1} = ^-e~Xh = A/z(l — A/z + o(/z)) = A/i+o(/i),
т. e. вероятность поступления одного требования за время h:
P{£(t + h) - £(f) = l} = Xh + o(h), h 0 + 0.	(3.4.1)
Вероятность поступления двух и более требований
р{&+h)~ e(t) > 2} = i - p{^t+h) - at) < i} =
= i - (p{e(t+h) - e(t) = o} + p{^t+h) - at) = i}) =
= 1 _ (^-e~Xh + ^e~Xh^ = 1 - e"Aft(l + Xh) =
= 1 - (1 - Xh + o(/i))(l + A/i) = (A/i)2 + o(/i) = o(/i), h 0 + 0,
t. e.
P{£(t + h) - £(f) > 2} = o(h\ h 0 + 0.	(3.4.2)
Показательное время обслуживания. Из предположе-
ния о показательном распределении времени обслуживания £
требования:
Р{< <0 = 1- t > 0,
и независимости случайных величин СьСг, • • • (время обслужи-
вания Q г-го требования не зависит от продолжительности об-
служивания поступивших ранее требований) следует, что за ма-
лое время h (h 0 + 0) требования обслуживаются так: одно
требование за время h обслуживается с вероятностью
ph + о(/г), два и более требований за время h обслуживают-
ся с вероятностью о(К), /г —> 0 + 0.
Действительно, поскольку в каждый момент времени прибор
обслуживает только одно требование, то вероятность того, что
до момента h будет обслужено находящееся на обслуживании
требование равна
Р{С < h} = 1 - e~^h = /j,h + o(h),	0 + 0,	(3.4.3)
где £ — продолжительность обслуживания требования — пока-
зательно распределенная с параметром р случайная величина.
Далее, требования обслуживаются одно за другим. Пусть
Q — время обслуживания г-го требования, i = 1,2,... Тогда
162
Глава 3. Марковские цепи с непрерывным временем
событие “до момента времени h будет обслужено п требований”
представимо в виде
{Ci + С2 + • • • + Cn < h}.
Пусть — событие “за время h будет обслужено более одного
требования”, Ясно, что
Ah, С |^J {Cl + С2 + • • • + Cn < h},
n=2
00
P(Ah) < 52	+ C2 + • • • + Cn < h},
n=2
n
{Cl + C2 + • • • + Cn < h} c P|{C? < ^}>
i=l
n
P{Ci + C2 + • • • + < h} < П P{Ci < h} = (M + o(/i))n < (2M)n,
i=l
00
P(A) < V(2M)n < (2M)2——— < 8(M)2 = h	0 + 0,
Zl	1 - 2»h
т. e. вероятность того, что за малое время h (h 0 + 0) будет
обслужено два или более требований равна о(/г), /г —> 0 + 0.
Марковская цепь, описывающая очередь. Относитель-
но длины очереди	6 [0;+оо)} в задаче обслуживания с
ожиданием имеет место следующее важное утверждение.
В предположениях о простейшем потоке поступления тре-
бований и показательном распределении времени их обслужи-
вания длина очереди е [0;оо), является стационарной
марковской цепью с непрерывным временем.
Выпишем элементы матрицы переходных вероятностей мар-
ковской цепи, описывающей длину очереди требований.
Пусть длина очереди £(£) = к и h малое (/г —> 0 + 0). Вероят-
ность P{£(t + h) = к+11 С(0 = к} увеличения длины очереди на
единицу за время h равна вероятности поступления одного тре-
бования за время /г, эта вероятность равна Xh + о(/г), /г —> 0 + 0.
Поэтому
P{^t + h) = к + 11 £(f) = к} = Xh + о(/г), h 0 + 0,
3.4. Обслуживание с ожиданием
163
или
Pk-k+i(h) = Xh + o(h), /г —> 0 + 0.
Пусть длина очереди £(t) = к > 0 и h малое (h 0 + 0).
Вероятность P{£(t + h) = к — 11 £(£) = к} уменьшения длины
очереди на единицу за время h равна вероятности того, что за
время h будет обслужено одно требование, эта вероятность рав-
на ph + о(/г), /г —> 0 + 0. Поэтому
Р{£(£ + h) = к — 11 £(t) = к} = ph + o(h), /г —> 0 + 0,
или
Pk-,k-i(h) = ph + o(h), /г —> 0 + 0.
Далее, вероятность того, что за малое время /г (/г —> 0 + 0)
длина очереди изменится более чем на 1 равна о(/г), посколь-
ку вероятность увеличения длины очереди более чем на едини-
цу равна o(h) и вероятность уменьшения длины очереди более
чем на единицу равна о(/г), h 0 + 0. Поэтому вероятность
Р{£(£ + h) = к\ £(£) = к} того, что длина очереди за время h
не изменится, равна вероятности события, противоположного к
событию “длина очереди увеличится на 1, или уменьшится на 1,
или изменится более чем на 1”:
P{^(t + h) = k\ £(f) = к} = 1 - (Л/г + /г/г + o(h)),
или
Pk;k(h) = 1 — (Xh + ph) + o(h), /г —> 0 + 0.
Таким образом, для марковской цепи {£(t),t 6 [0, сю)}, опи-
сывающей длину очереди, в предположениях о простейшем по-
токе поступления требований и показательном распределении
времени их обслуживания имеют место следующие утвержде-
ния: при /г —> 0 + 0
Pk,k+i(h) = Xh + o(h),
Pk.k-i(h) = ph + o(h),
Pk,k(h) = 1 - (Л + p)h + o(h).
Последнее означает, что марковская цепь {£(t),t е [0;оо)}, опи-
сывающая очередь, является процессом рождения и гибели с
интенсивностями рождения X и гибели ц.
Предельное поведение длины очереди. Рассмотрим по-
ведение длины очереди {£(t),t 6 [0; сю)} при больших t (t сю).
164
Глава 3. Марковские цепи с непрерывным временем
Согласно теореме об эргодическом распределении процесса
рождения и гибели (см. теорему 3.3.1) длина очереди, как про-
цесс рождения и гибели, имеет эргодическое распределение —
распределение P{£(t) = 7}, j = 0,1,2,..., длины очереди
при t оо стремится к некоторому предельному распределе-
нию {ttj}. При этом, согласно теореме о представлении эргоди-
ческого распределения (см. теорему 3.3.4), если
оо
Ufc < оо,
k=0
то эргодическое распределение представимо в виде
= uj^—> 3 = i,2,--,
к=0
а если
оо
У2 uk = +°°>
k=0
то эргодическое распределение является несобственным и
7Г; =0, j =0,1,2,...,
где
Ao Al Aj-i
uq = 1, Uj =--------——,	> 0, 7 = 1,2,...
Pl Р2 Pj
Поэтому если в цепи {£(£), t 6 [0; сю)}, описывающей очередь,
значение X/р меньше 1, т. е. среднее время обслуживания одного
требования 1 / /z меньше среднего времени 1/А между поступле-
нием требований, то
и, следовательно, цепь имеет собственное эргодическое распре-
деление:
^3 =
^к
к=0
7 — 0,1,2,...
3.5. Свойство дифференцируемости ...
165
(совпадающее с геометрическим распределением с параметром
1 — Х/ц). Последнее означает, что если Х/ц < 1, то при достаточ-
но больших t распределение длины очереди “устанавливается”.
Если, например, Л = 1, ц = 2 — среднее время обслуживания
одной заявки \/ц = 1/2, среднее время между поступлениями
требований 1/Л = 1, то
7Г0 = 1/2, 7Г1 = 1/4, 7Г2 = 1/8, 7Г3 = 1/16, . . .
Эти равенства можно интерпретировать так: с течением време-
ни в очереди с вероятностью 1/2 будут отсутствовать требова-
ния, с вероятностью 1/4 будет одно требование, с вероятностью
1/8 — два требования, ...
Если X/ц > 1 — среднее время обслуживания \/ц одной за-
явки больше среднего времени 1/Л между поступлениями тре-
бований, то
эргодическое распределение цепи несобственное и имеет вид
7rjt = 0, к = 0,1,2,...
Последнее означает, что если Х/ц > 1, то со временем распреде-
ление длины очереди требований “уходит на оо” — длина очере-
ди со временем неограниченно растет.
Мы рассмотрели простейшую ситуацию — одного обслужи-
вающего прибора. Разумеется, обслуживающих приборов может
быть больше одного.
3.5 Свойство дифференцируемости
переходных вероятностей
Из предположения непрерывности в нуле переходных веро-
ятностей Pij(t) стационарной марковской цепи с непрерывным
временем можно получить неожиданно много содержательных
результатов. Одним из таких результатов является дифферен-
цируемость Pij(t).
Мы докажем дифференцируемость Pij(t), i,j = 0,1,2,...,
в точке 0. Дифференцируемость Pu(t) и Pij(t) (j / i) будем
доказывать по отдельности.
166
Глава 3. Марковские цепи с непрерывным временем
Теорема 3.5.1 (о дифференцируемости Р^(£)). Если пере-
ходные вероятности Pa(t) марковской цепи непрерывны в нуле,
то они и дифференцируемы в нуле — существует конечный или
бесконечный предел
lim--------= -Р??(0) = qj
для каждого i.
Доказательство. Нам будет удобно доказать дифферен-
цируемость в нуле функции
= -lnPa(t), te [0,оо).
Дифференцируемость Pu(t) будет следовать из равенства
Рц(Г) = ехр{—</?(£)}, t € [0, оо).
Функция = — 1пРц(Г) определена корректно, поскольку
при всех t > 0 значение Pu(t) > 0. В самом деле из непрерывнос-
ти Pu(t) в нуле и равенства Рц(0) = 1 следует, что для данного
е > 0 найдется такое и, что при всех s из [0, гл]
Рц(з) > 1-е.
А в силу следствия из уравнения Колмогорова-Чепмена для дан-
ного t и любого п
PaW>(Pjj ал<.
При достаточно больших п значение s = t/n принадлежит про-
межутку [0,и], поэтому
Р^(£) > 0
для всех t 6 [0; сю).
Отметим, что функция <p(t)
1° неотрицательна и конечна;
2° полуаддитивна:
</?(£ + s) <	+ </?($).
Неотрицательность и конечность <p(t) следуют из неравенств
о < PuW < 1,
3.5. Свойство дифференцируемости ...
167
полуаддитивность <p(t) следует из неравенства
Pii(t + $) > Рц(/)Рц(з).
Дифференцируемость ip(t) в точке 0, т. е. существование пре-
дела
<p(t) - (/2(0)	<p(t)
lim ----------— = lim —
t—>o	t	t—>o t
мы докажем, установив, что верхний и нижний пределы <р>(€)/t
равны числу
^(0
qi = sup —— :
t>0 t
а именно,
Inn—— =qi, hm——=qi.
i—>0 t	i->0 t
Поскольку (p(t) 6 [0, oo), to snp(cp(t)/t) = qi может прини-
t>o
мать, вообще говоря, любые значения из [0;+оо]. Мы рассмот-
рим отдельно случаи < оо и ф = +оо.
1° Пусть
qi = sup —— < оо.
t>o t
По определению sup(</?(£)/£) = qi для данного е > 0 найдется
t>o
to > 0 такое, что
а._£<м
Чл	.
to
Представим to в виде
to = nh + 5, 0 < 5 < h < to,n > 0.
В силу полуаддитивности </?($) имеем:
£ < <£>(*о) _ <p(nh + 6) < ncp(h) + </?(5) _ n<p(h) </?(5) _
~ to	to ~ to	to to
to	to
_ nh	</?(5)
to h to
to
т. е.
nh </?(5)
Qt S ~ to h + to
168
Глава 3. Марковские цепи с непрерывным временем
Вычислим нижний предел от правой и левой частей последнего
неравенства при /г —> 0:
- s < lim------= lim-------------------hm + lim ^~L.
h-t-O \ Й) h to J h-t-O ^0 h—>0	h—>0 ^0
Значение
lim = lim = 0,
h^0
поскольку функция </?(s) непрерывна в нуле, <£>(0) = 0 и 5 ч 0
при /г —> 0. Равенство
nh	nh
lim — = lim — = 1
h^0 *0	to
следует из равенства to — nh = 8. Поэтому
Qi - e < lim
h->0 П
И, следовательно,
qi- £ < hm —— < hm —— < sup —— = qi.
h^o n	n h>0
К поскольку e произвольно, то
qi = lim —7— = hm —— = qi.
л->о h h^o h
Поэтому, во-первых, существует
lim^ =</(0)
t^o t у J
и, во-вторых,
</(0) = sup——— = qi.
t>o t
Далее, поскольку
Pn(t) = exp{-</?(f)},
3.5. Свойство дифференцируемости ...
169
Putt) = -</Л*)ехр{-^(£)},
Р'№ = -</(0)е° = —<//(0) = -qi.
Так что
--fii(O) =Qi= sup
t>0 t
2° Пусть теперь
</?(£)
sup------= qi = +сю.
t>o t
Из равенства
sup(<^(t)/t) = qi = +оо
t>o
следует, что для данного М > 0 найдется to > 0 такое, что
м<^.
to
Отсюда, повторяя приведенные выше рассуждения, получим
t^Q t
Поскольку М может быть выбрано сколь угодно большим, то
.	^(0 . Г--- ^(0
+ СЮ < 11Ш--- < 11Ш----.
£->0 t	t
И, следовательно,
г ^(0
lim------------------------= Qi = +сю.
t—>о t
Теорема 3.5.2 (о дифференцируемости Pij(t)). Если пере-
ходные вероятности Pij(t) i,j = 0,1,2,..., марковской цепи
непрерывны в нуле, то Pij(t), j / г, дифференцируемы в нуле
—существуют конечные пределы
lim	= Qij, J + i,
i,j = 0,1,2,...
170
Глава 3. Марковские цепи с непрерывным временем
Доказательство. Сначала докажем лемму.
Для данных i,j (j г) и е > 0 найдется to (достаточно
малое), что при любых h и п (п — целое неотрицательное)
таких, что 0 < nh < to, выполняется неравенство
(1 — Зс)
h ~ nh
(3.5.1)
Доказательство леммы. Для данного h (произвольного, но
фиксированного) по марковской цепи {£(t), t 6 [0, сю)} с непре-
рывным временем определим марковскую цепь с дискрет-
ным временем:
&Л = £(kh), к = 0,1,...
Матрица одношаговых переходных вероятностей цепи рав-
на [Рц (h)], а матрица n-шаговых переходных вероятностей рав-
на [Р^ (п/г)].
Для марковской цепи {£п,д} определим вероятности jPa(nh)
перехода из i в i с запретами:
jPiiW = 1,
jPii^h) — P{£n,h — ^ч £o,h — ^ч £>u,h 7^ Зч V = 1,2,..., П— 1 | (,o,h = 0
— вероятность того, что цепь стартовав из i, за п шагов
вернется в i без захода в j. Напомним еще, что
fij (nh) = Р{£n,h = ji ^0,h = ^ч £>v,h 7^ Зч V = 1,2,..., П~ 1 | £о,Л = 0 •
Имеет место следующее неравенство:
п—1
Ру(п/г) > ^2 jpu^h)pijWpjj(.(.n ~ О' + 1))М (J / «)• (3-5.2)
L/ = 0
Каждое слагаемое в правой части (3.5.2) соответствует пути
длиной п, ведущему из состояния i в состояние j (шаг длиной h),
у которого имеется переход из i в j за один шаг. Эти пути несов-
местны, но, вообще говоря, не исчерпывают всех путей из i в j за
п шагов (здесь учтены только пути, у которых имеется переход
из i в j за один шаг, но среди путей из i в j не все такие).
3.5. Свойство дифференцируемости ...
171
Оценим правую часть (3.5.2) снизу. Для этого сначала оце-
ним снизу jPn(i/h), воспользовавшись равенством
У— 1
Рц(уК) = 57 /y(m/l)Pjj((z/ - то)^) + jPiiivh),
тп=1
— переход из i в i за и шагов возможен с заходом в j и без захода
в j. Имеем
У—1
jPutyh) = Palish) - 52 fijtmh'jPjitt1' ~ m)h) >
m=l
у— 1
> Pjj(vh) — max Pji((v — m)ti)	>
~ ~	m=l
> Pn(i/h) — max Pji((p — m)h),
l<m<y—l
t. e.
jPafvh) > Pa(vh) — max P™((z/ — m)h).	(3.5.3)
Из (3.5.2) и (3.5.3) имеем
Py(n/l) >
n— 1
>	- .max Pji^-m^Pij^Pjj^n- (i/+ l))/i)).
y=0
(3.5.4)
Далее, пусть e > 0 (произвольное, но фиксированное). Для дан-
ных г, j в силу непрерывности Рц(1), Pji(t), найдется та-
кое to (достаточно малое), что при 0 < t < to
Putt) > 1 - s, Pji(t) < s, Pjj(t) > 1 - e.
Поэтому для любых h > 0 и целых к таких, что 0 < kh < to
имеют место неравенства
Pa(kh) > 1 — г, Pjj(kh) < е, Pjj(kh) > 1 — е.
172
Глава 3. Марковские цепи с непрерывным временем
Учитывая последние три неравенства, для h > 0 и п таких, что
nh < to, из неравенства (3.5.4) получаем
п—1
Ру(п/г) > J2(l - г - г)Ру(/г)(1 - г) =
1/=0
= (1 - 2s) (1 - s)nP0(/z) > (1 - 3s)nP^(/z),
или
PZJ(nh) > (1 — 3e)nPij(h).
Разделив обе части последнего неравенства на nh, получим нера-
венство (3.5.1).
Тем самым лемма доказана.
Дальнейшее доказательство теоремы будет основано на нера-
венстве (3.5.1).
Обозначим
1 •
qij = ШИ —
Заметим, что значение
qij < оо.
Действительно, из леммы следует, что для данного е > 0 най-
дется такое to, что для любых п и h, удовлетворяющих условию
nh € (to/2, to) С (0, to],
(1 — Зс)	(nty < 1 —
h ~ nh ~ to/2 to"
поэтому qjj < ex?.
Далее докажем, что
р— Pij(t)	1- Pij(t)
lim —-— < qa = lim —-—
t -чгд	t
Поскольку
1- Pij(t)
qij = hm
t^o t
то для данного s > 0 найдется tf G (0, to) такое, что
tf
< q^ +
3.5. Свойство дифференцируемости ...
173
В силу непрерывности Pij(t) последнее неравенство имеет место
и в некоторой окрестности (Д — h^t! + ho) точки tf (дополни-
тельно выберем ее принадлежащей промежутку (0 До)), т. е.
р. .(А
—< Qij + £•> t G (tf — ho, tf + Hq) С (0, to). (3.5.5)
Для достаточно малых h (0 < h < ho) найдется такое п, что
nh 6 (t' — ho, t' + ho) C (0, to). Поэтому из (3.5.1) и (3.5.5) имеем
(1 _ 3c}Fij^ < Pi^nl^ <(/ +£
(	’ h - nh -q^+£
при h < ho- Так что для h < ho
Вычисляя верхний предел при /г —> 0 от правой и левой частей
последнего неравенства, получим
(1 - Зе) lim	+ s,
h^o h J
а поскольку e можно выбрать сколь угодно малым, то
что вместе с равенством
r PijW
qij = hm —
завершает доказательство теоремы.
Пр им ер 3.5.1. Для процесса рождения и гибели с интен-
сивностями роста Xi и гибели щ вычислить
Qi — — Рц(9) и Qij — Fiji®)-
Решение. По определению процесса рождения и гибели
при /г —> 0 + 0
{Xih + o(h), если j = i + 1;
1 — (A^ + Pi)h + o(h), если j = i,
Pih + o(h), если j = i — 1.
174
Глава 3. Марковские цепи с непрерывным временем
Pij(h) непрерывны в нуле, поэтому согласно теореме о диффе-
ренцируемости Pij(h) существуют производные Р-(0) и Р^-(О),
j i (собственно говоря, существование производных следует и
из вида переходных вероятностей Р^(/г)). При этом
р' /го г 1 —
Qi = ~Рц(9) = lim---------------=
л->о h
_	1 _ (1 “ (Ai + Лг)^ + °(^)) _ х . ,
— ПШ	— Лг “Г /1?,
h—>0	h
г>!	((\\	1*	•f>i,i+l(^') г Aj/l + o(h)
Qi,i+1 = Pi,i+i(0) = bm -------------= bm--------т-----= Xi,
h—>0	h	h—>0	h
Uih + oth)
Qi,i-i = -fi,i-i(0) = hm-------------= Щ,
’	tl
для j i — 1,г, г + 1
P/,(0) = lim = lim = 0.
v h^0 h h^0 h
3.6 Распределение времени пребывания
в состоянии
Из теоремы о дифференцируемости Рц(Г) мы получим важ-
ное утверждение о распределении времени пребывания цепи в
данном состоянии.
Определение. Временем пребывания в состоянии i мар-
ковской цепи {£(£), t 6 [0, оо)}, стартующей из г, будем называть
случайную величину 77, определяемую равенством
Ti = inf{t: £(t) / i, €(0) = 0-
Марковская цепь {£(£)> t € [0, oo)} в момент т, скачком ухо-
дит из состояния г. Мы будем считать, что в момент значение
£(77) все еще равно г, т. е. £(77) = Г
Теорема 3.6.1 (о распределении времени пребывания). Ес-
ли у стационарной марковской цепи {£(£), t 6 [0, оо)}
Qi < оо,
то время пребывания Tj в состоянии i цепи, стартующей из i,
имеет показательное распределение с параметром qi:
Р{п < 11 £(0) = г} = 1 “ exp{-^f}, t > 0.
3.6. Распределение времени пребывания
175
Доказательство. Пусть t > 0 — произвольное фиксиро-
ванное. Рассмотрим событие
{ъ > £,£(0) = г}
— время пребывания Tj цепи, стартующей из состояния г, в со-
стоянии i больше t. Разобьем промежуток [0, t] точками
sk — fc = 0, 1, . . . , 2П ($о = 0, 82” = t)
2П
и обозначим через An(t) событие, состоящее в том, что в момен-
ты времени fc = 0,1,..., 2П, цепь находится в состоянии i:
An(t) = {£ («о) = i,£ («1) =	(«2") = г} •
Ясно, что
-^n+i(^) С An(t), n = 1,2,...
Непосредственной проверкой можно убедится, что
{Tj > t,£(s0) = г} = Q An(t).
П=1
Из последнего равенства в силу свойства непрерывности веро-
ятности имеем
(оо	\
P|An(f) = limP(An(f)). (3.6.1)
11	In
n=l /
Вычислим lim P (An(t\).
В марковской цепи конечномерные распределения, в частнос-
ти и
P(An(t)) = *Ш) = i, C(«1) =«,•••> C(«2"-1) = i,C(«2") = i}>
выражаются через распределение начального состояния и пере-
ходные вероятности (см. (3.1.3)):
P(An(i)) = Р{С(«о) = i, £(«i) = г, , С(«2"-1) = г,С(в2п) =	=
= Р{£(в2п) = i I C(s2n-1) = г}Р{£(в2п-1) = i I ^(®2П—2) =«}...
• • • -Р{С(«1) = i I €(so) = i}P{£(s0) = i} =
176
Глава 3. Марковские цепи с непрерывным временем
=	-Р{<Ы = *}-
Поэтому (3.6.1) можно переписать так
/ St\\2n
Р{тг > £,фо) = г} = -Р{С(«о) = 4lim ( Рп эд •
п \	\Л'1 J J
(	( t \\2П
Найдем lim ( Рц (	) )	•
Поскольку Pu(s) дифференцируема в нуле и по условию тео-
ремы —Р/ДО) = qi < оо, то
Pu(s) = 1 - qis + o(s), s —> 0.
Положив s = t/2n, при n —> оо получим:
Рц I 77“ I — 1 — Q?77“ + О I	I ,	(3.6.2)
\2n J 4 2n \ 2n)	v 7
(^(2"))	= y1 ~qi?n +0 (2”))	=
ln^n(t) = 2” In (1 - qt^- + о	~
~2n (-«^ +°	= -%i + o(l),
ln^n(i) -> -qit,
<^n(i) -> e~git.
Так что при n 00
/	/ . \\2n
<^„(f) = [Pa (2^))	-»•e-9it,
limP(An(i)) = PR(so) = i}e~git.
n
Поэтому равенство (3.6.1) можно переписать так:
P{n > t,£(s0) = г} = P{C(so) = 0е 9it
3.6. Распределение времени пребывания
177
Отсюда
Р{тг >t|£(0) =0 = e~qit, t >0,
Р{п < 11 C(0) =г} = 1- e~9it, t > 0,
т. e. время пребывания цепи, стартующей из состояния г, в со-
стоянии i имеет показательное распределение.
Следствие. Если qi = 0, то
Р{тг = +оо I £(0) = г} = 1,
Другими словами, если qi = 0, то цепь, стартовав из состоя-
ния i, останется в i навсегда.
Доказательство. При qi = 0 из равенства (3.6.2) имеем
Отсюда, повторяя выкладки теоремы, получим что для любого
t > 0
р{г{ > t ie(o) = о = 1-
Переходя в последнем равенстве к пределу при £ —> +оо, полу-
чим
P{Ti > +ОО | £(0) =0 = 1-
Определение. Состояние г, для которого
qi < оо,
называется устойчивым.
Состояние г, для которого
Qi = 0,
называется поглощающим (цепь, попав в поглощающее состоя-
ние г, остается в нем навсегда).
Состояние г, для которого
qi = -hoc,
называется мгновенным.
Среднее время пребывания цепи во мгновенном состоянии
равно нулю. Попадая в такое состояние, цепь мгновенно его по-
кидает. Теория марковских цепей с непрерывным временем, име-
ющих мгновенные состояния, крайне сложна.
178
Глава 3. Марковские цепи с непрерывным временем
Мы не будем рассматривать марковские цепи, у которых
имеются мгновенные либо поглощающие состояния.
Вложенная цепь. Событие “цепь, пребывая в состоянии г,
в момент времени t покидает г” обозначает, что для любого,
сколь угодно малого /г, происходит событие
{€(<) = i, £(£ + />) / О-
Обозначим через
Лц(/г) = P{£,(t + h)=j\ £(t) = i, £(t + h)^i}
вероятность того, что цепь в момент t + h пребывает в состо-
янии j при условии, что пребывая в момент t в состоянии г,
в момент t + h она в состоянии i не пребывает. Тогда
Ру = lim Rijfji)
естественно рассматривать (интерпретировать) как вероятность
события “покидая состояние i, цепь переходит в состояние j”.
Убедимся, что lim Rijth) существует, и более того
lim Rij(h) =
h—>o lJ' 7 qi
Для Rij(h) имеем
Rdj(h) = pm+h) = j\ e(t) = i, +h)^i} =
= Р{& + h)= j, £(t) = i, + h)^i} =
pm = i,
pm+h) = j,e(o = i} pm+h) = j\e(f) = i}
p{&t+h^i,= о p{t(t+h)/i\e(t) = o
p{^t+h) = j\^t) = i} p^h)
l-P{^t + h) = i\^t) = i} l-Pathy
t. e.
<3-6-3’
мы воспользовались тем, что
{£(t + h) =	=z} C {£(t + h)	= z},
3.6. Распределение времени пребывания
179
W + ^)	+	=г} = {£(t + h) =	= г}.
Разделив числитель и знаменатель правой части равенства (3.6.3)
на h и переходя к пределу при /г —> 0 (существование предела
следует из дифференцируемости Рц{1) и P^-(t)), получим
lim Rii(h) = hm ---z, ч 4 ., = — = рц.
h^o J h^o (1 — Pii(hY)/h qi J
Итак, вероятность того, что цепь, покидая состояние г, пе-
рейдет в состояние j равна
/П —
Pij ~ о 
Чг
Например, для процесса рождения и гибели вероятность pij
того, что цепь, покидая состояние г, перейдет в состояние j, рав-
на
Pi,i+i = lim Riti+i(h) =	,
Л->0	qi	Xi + щ
Pi,i-1 = lim7?M_i(/i) =	,
Л->0	qi	Xi + щ
для j i — 1, г + 1 значения
Pij = lim Rij(K) = ^ = 0,
h,—>0	qi
см. также пример 3.5.1 (с. 173).
Структура марковской цепи с непрерывным временем опи-
сывается следующим утверждением.
Стационарная марковская цепь е [0;оо),£(0) = г},
стартовав в момент времени t = 0 из состояния г, пребывает
в i случайное время ъ, имеющее показательное распределение
с параметром qi = -Р/ДО).
По окончании времени пребывания цепи в состоянии i цепь,
уходя из состояния i, переходит в состояние j / i с вероятнос-
тью р^ = q^ /qi и пребывает в состоянии j случайное вре-
мя Tj, имеющее показательное распределение с параметром qj,
и т. д.
Определение. Пусть	6 [0;оо)} — стационарная
марковская цепь с непрерывным временем и фазовым простран-
ством X = {0,1,2,...}, р^ = q^/qi — вероятность перехода из
180
Глава 3. Марковские цепи с непрерывным временем
состояния i в состояние j (J i) по истечении времени пребыва-
ния Ti цепи в состоянии i. Марковскую цепь {£п} с дискретным
временем, фазовым пространством X и матрицей переходных
вероятностей
[Ру], i,j е х, pa = о, i е х,
будем называть вложенной марковской цепью стационарной мар-
ковской цепи 6 [0;оо)}.
Матрицу \pij] называют матрицей переходных вероятностей
вложенной марковской цепи.
Определение. Числа Vij(i,j = 0,1,2,...), определяемые
равенством
= I -Qi, если j = i,
tj I Qij, если j i,
называются инфинитезимальными интенсивностями перехо-
да марковской цепи 6 [0;оо)} с непрерывным временем,
а матрицу v = [z/^] называют матрицей инфинитезимальных
характеристик.
Матрица инфинитезимальных характеристик задает марков-
скую цепь: уц = qz — параметр показательного распределения
времени пребывания цепи в состоянии г, а р^ = Qij/Qi — вероят-
ность перехода из состояния i в состояние j (j г).
Заметим, что матрица инфинитезимальных характеристик
i/ = P'(0).
3.7 Обратные дифференциальные
уравнения Колмогорова
Определение. Марковскую цепь {£(f),f € [0;оо)} с непре-
рывными в нуле переходными вероятностями будем называть
консервативной, если для всех i
^2 Hi = (Ь (9<<И< °°)-	(3.7.1)
j-j/i
Другими словами, марковская цепь консервативна, если для всех i
У? Pij = 1-
j-j^i
Эквивалентность определений следует из равенств р^ = Iq2,
i,j = 0,1,2,...
3.7. Обратные дифференциальные уравнения
181
Пример 3.7.1. Процесс рождения и гибели консервативен,
поскольку
Qm+i =	Qij = °,	-+
qi = Xi + щ.
Теорема 3.7.1 (обратные уравнения Колмогорова). В кон-
сервативной цепи Маркова переходные вероятности Pij(t) удов-
летворяют обратным дифференциальным уравнениям Колмо-
горова:
Р'гД) = Е QikPkj^ ~ QiPijW) (3-7.2)
k:k^i
для всех i,j = 0,1,2,...; в матричном виде
P'(f) = Рр(£),
где и — инфинитезимальная матрица.
Доказательство. Из уравнения Колмогорова-Чепмена име-
ем
Ру (/г + t) - Pij (t) = Е PikWPkjtt) - Pijlt) =
к
= 52 pfc(/i)pfeJ(t) + (Paw - 1)р^.
k:k^i
Отсюда
Pij(h + t)~ Pjj(t)
h
=l +p"th: ip->w-
k:k^i
Формально переходя к пределу при /г —> 0 + О, причем в правой
части под знаком суммы, для всех г, j, получим
~ QikPkj(t) qiPijfy-
k-.k^i
Для обоснования предельного перехода установим, что
Е ^кРкД} < lim 1 Е Pik(h')Pkj(t') <
k-.k^i	/wO+О h к.к^
182
Глава 3. Марковские цепи с непрерывным временем
— . к УТ PikWPkj^t) < УТ QikPkj(t)-
^0+0h
Для любого N
1	N	1
-	£	Pik(h)Pkj(t) <	-	£	Pik(h)pkj(t).
tl	£'	tl	£<
k=l,k^i	k:k^i
Отсюда
N 1
52 QikPkjit) < lim - y''Pik(h)Pkj(t),
k=i^i	h^+°hk^i
а так как N произвольно, то
52 qikPkj(t) < lim | 52 pik(h)Pkj(tY (3.7.3)
k-.kjti	h-Ю+О к.к^
Докажем теперь, что
к lijrLn 7? УТ Pik(h)Pkj(t) < УТ QikPkj(t)-
k-.k^i	k-.k^i
Пусть N достаточно большое, так что i 6 [0,7V). Тогда
52 pik(h)pkj(t) < 52 pik(h)pkj(t) + 52 рм =
k:k^i	k=l,k^i	k=N+l
N	N
= 52 pik(h)pkj(t) + i-^PikW =
k=l,k^i	k=l
N	N
= 52 вд)ркд«)+((1-рй(/г))- 52 pm).
k=l,k^i	k=l,k^i
Разделив на h и вычислив верхний предел при h 0 + 0 от
обеих частей, получим
1	N	N
Um Т Pik(h)Pkj(t) < QikPkjW + \Qi ~ Qik ) •
Л->0+0 Г1 £z£'	\	£'	/
k:k^i	к=1, k^i	k=l,k^i
3.8. Примеры и задачи
183
При N +оо, учитывая, что процесс консервативен (см. (3.7.1)),
а, следовательно,
N
Qi~ 52 Qik °’
к=1, k^i
получаем
lim Г 12 pik(typkj(t) < 52 <kkPkj(t)-
ft—>0+0 h f--'	f-'
к-.к^г	к\к^рг
Из последнего неравенства и неравенства (3.7.3) следует, что,
во-первых, существует
Йо S £ р*‘*
к\к^г
и, во-вторых, он равен QikPkj(t)-
k:k^i
Тем самым теорема доказана.
Замечание. Переходные вероятности Pij(t) консерватив-
ной марковской цепи удовлетворяют системе обратных
дифференциальных уравнений (3.7.2) и без предположения кон-
сервативности, но последнее делает доказательство теоремы осо-
бенно простым.
3.8 Примеры и задачи
Примеры
Пример 3.8.1 (цепь с двумя состояниями). Пусть 6
6 [0, ex?)} — стационарная марковская цепь с непрерывным вре-
менем и фазовым пространством X = {0; 1}.
Найти Pij(t), i,j = 0,1, по известным qo и qi, если состо-
яния цепи ненулевые, т. е. qo > 0 и qi > 0, и не мгновенные,
т. е. qo / сю и qi / сю.
Решение. Поскольку фазовое пространство X = {0; 1} со-
стоит из двух состояний и состояния ненулевые — цепь не оста-
ется в состояниях 0 и 1, то вероятности перехода во вложенной
цепи равны:
Poi = 1, Рю = 1.
Далее,
_ Qij • / •
Pij ~	•> 3
Qi
184
Глава 3. Марковские цепи с непрерывным временем
поэтому	Qoi	<7ю Poi = —, Рю = —, Qo	Q1
а т. к.	Р01 = 1, Рю = 1,
то	«и = qo, qw = qi
и, следовательно, матрица инфинитезимальных характеристик
Г -Qo Qoi 1	Г -Qo Qo I
L Q10 -Qi J	L Qi -Qi J ’
Переходные вероятности	= 0,1, найдем как реше-
ния обратных дифференциальных уравнений Колмогорова:
Р'(^) =
подробнее
Роо(О = -Qo-Poo(i) + Qo-Pio(i),	(3.8.4)
Poi (0 = -Qo-Poi(i) + Qo-Pu(i),	(3.8.5)
PwW = Qi-PooW - Qi-PioW,	(3.8.6)
Pf1(t) = giPoi(t)-9iPii(t),	(3.8.7)
с начальными условиями
Py(0) = <^, м = 0,1.	(3.8.8)
Поскольку
Poo(t) + Poi(t) = 1, Pio(i) + Pn(t) = 1,	(3.8.9)
то для решения системы уравнений (3.8.4) — (3.8.7) достаточно
найти РОо(О и Рю(£), решив систему уравнений (3.8.4) и (3.8.6).
Вычитая уравнение (3.8.6) из уравнения (3.8.4), получим:
(Poo(f) - PioW)' = -(Qi + Qo)(PooW - PioW). (3.8.10)
Решением последнего дифференциального уравнения при на-
чальном условии
Роо(О) - Рю(0) = 1
3.8. Примеры и задачи
185
является
Poo(t) - Pio(t) = е-(<го+^.	(3.8.11)
Подставляя в (3.8.4), получим:
= -</ое-(9о+91)*.
Откуда
f P^(s)ds = - f qoe-^+^sds,
Jo	Jo
Poo(t) = Роо(0) - -5— (1 - е-^+^)‘).
qo + qi
Итак,
P00(t) = —Я’— + _Я2_е-(9о+91)*5 t > 0.
Qo + <71 Qo + Ql
По P00(t) находим оставшиеся Pij(t).
Подставив выражение для Роо(О в равенство (3.8.11), нахо-
дим, что
Р10(<) = —----------^e-(90+Ql)t5 t > 0
qo + qi qo + qi
Наконец, из (3.8.9) получаем, что
Poi(i) = 1 - Poo(t) = —--------®e-(9o+</i)t5 t > 0)
qo + qi qo + qi
Pn(f) = 1 - Pio(t) =	90	+	91 e~(go+gl)t, t > 0.
QO + Ql QO + Ql
Из найденных представлений для Pij(t), i,j = 0,1, получаем
lim Pjo(t) = ———, i = 0,1,
i->oo	qo + qi
lim Pn(t) = ———, i = 0,1.
i—>oo	qo + qi
Пример 3.8.2. Пусть t G [0,oo),£(0) = 0} — процесс
чистого рождения, стартующий из 0 с фазовым простран-
ством X = {0,1,2,...} и положительными интенсивностями
роста Xk.
186
Глава 3. Марковские цепи с непрерывным временем
Вероятности пребывания Pk(t) = P{£(t) — &}> fc = 0,1,2,...
удовлетворяют системе дифференциальных уравнений
p^t) = -лад,
= -AfcPfc(t) + Afe-iPfe-i(f), к > 1.
(3.8.12)
Система (3.8.12) имеет единственное решение {Pfe(f)}, удовле-
творяющее соотношениям
Pk(t) > о,
оо
к=0
Показать, что если
оо
Ep*w = 1
к=0
при всех t > О,
то ряд
(3.8.13)
расходится.
Решение. Из (3.8.12) получаем:
XkPk(t) = -P^t) + Afc_iPfc_i(f).	(3.8.14)
Пользуясь рекуррентным соотношением (3.8.14), имеем:
^kPk(t) — Pk(t) + ^к— 1Рк—1(0 —
= -P^t) - P^t) + Afc_2Pfc_2(f) = ... = -£ P'(t)-
j=0
Интегрируя последнее равенство, получаем:
Afc fpk(s)ds= (-^PXs)) =
о	\ j=o J о
3.8. Примеры и задачи
187
k	k
= £(pz(o)-p/f)) = i-£pz(t),
j=0	j=0
(воспользовались тем, что процесс стартует из нуля: Ро(О) —
= 1,РД0) = 0J = 1,2,...) или
t
к
j=0
0
Отсюда имеем
t
f Pk(s)ds < -к
J	Afc
о
(3.8.15)
Предположим, что
ОО
£nw = i-
к=0
Сложив почленно неравенства (3.8.15) (fc = 0,1,2,...) и вос-
пользовавшись теоремой Лебега о монотонной сходимости, по-
лучим:
оо оо t	t оо	t
52 д- 52 / Pk(s)ds = / ^Pktsjds = Idt = t
fc=0 Лк k=o о	о fc=°	о
при всех t > 0, что доказывает расходимость ряда (3.8.13).
В случае же, когда ряд (3.8.13) сходится, для некоторого to
оо
52 pk(do) ± 1,
к=0
т. е. в момент времени to мы имеем дело с парадоксальной ситуа-
цией (ведь события {£(to) = к}, к = 0,1,2,... образуют полную
группу событий и сумма их вероятностей обязана равняться 1).
Объяснить это явление можно так: при достаточно быстро стре-
мящихся к бесконечности интенсивностях роста (настолько
быстро, что ряд (3.8.13) сходится) размер популяции может за
188
Глава 3. Марковские цепи с непрерывным временем
конечное время Т вырости до бесконечности (так называемый
взрыв) и процесс при t > Т не определен.
Задачи
Задача 3.1. Выписать обратные дифференциальные урав-
нения Колмогорова для процесса чистого рождения.
Ответ:
Р'(^) =
где
-Ао
О
Ао
-Л1
О
О О
А1 О
—А2 А2
Задача 3.2. Доказать, что для любого состояния г марков-
ской цепи с непрерывным временем вероятность возвращения в
исходное состояние Рц(£) строго больше нуля при всех t > 0.
Указание. Воспользоваться уравнением Колмогорова-Чеп-
мена.
Задача 3.3. Пусть i,j — два состояния марковской цепи с
непрерывным временем и существует to такое, что Pij(to) > 0.
Доказать, что > 0 для любого t > 0.
Указание. Воспользоваться формулой Колмогорова-Чеп-
мена.
Задача 3.4. Доказать, что для процесса чистого рождения
переходные вероятности удовлетворяют соотношению
t
= Aj-i e~Xit f e^Pij-^sjds, j > i.
0
Указание. Воспользоваться прямыми дифференциальны-
ми уравнениями.
Задача 3.5. Пусть £(£) — процесс чистого рождения с ин-
тенсивностями роста Ло = 1, А1 = 3, Л2 = 2, Аз = 5. Найти Ро,п(£)
при п = 0,1,2,3.
Задача 3.6. Пусть — пуассоновский процесс с интен-
сивностью А = 5. Найти:
1)Р{£(3) = 8, е(7) = 12}; 2)Р{£(3) = 3, £(6) = 5}.
Задача 3.7. Пусть £(£) — пуассоновский процесс с интен-
сивностью А = 7. Найти
Р{£(3) = 81 £(10) = 22}.
Литература
[1]	Боровков А. А. Курс теории вероятностей / А. А. Боровков.
— М. : Наука, 1972. — 288 с.
[2]	Гихман И. И. Теория вероятностей и математическая ста-
тистика / И. И. Гихман, А. В. Скороход, М. И. Ядренко.
— К. : Вища шк. Головное изд-во, 1979. — 320 с.
[3]	Гнеденко Б. В. Введение в теорию массового обслуживания
/ Б. В. Гнеденко, И. Н. Коваленко. — М. : Наука, 1966. —
432 с.
[4]	Зубков А. М. Сборник задач по теории вероятностей: учеб,
пособие для вузов / А. М. Зубков, Б. А. Севастьянов,
В. В. Чистяков. — 2-е изд., испр. и доп. — М. : Наука. Гл.
ред. физ.-мат. лит., 1989. — 320 с.
[5]	Карлин С. Основы теории случайных процессов / С. Кар-
лин. — М. : Мир, 1971. — 536 с.
[6]	Мешалкин Л. Д, Сборник задач по теории вероятностей /
Л. Д. Мешалкин. — М. : Изд-во Моск, ун-та, 1963. — 155 с.
[7]	Миллер Б. М. Теория случайных процессов в примерах и
задачах / Б. М. Миллер, А. Р. Панков. — М. : ФИЗМАТ-
ЛИТ, 2002. - 320 с.
[8]	Розанов Ю. А. Случайные процессы / Ю. А. Розанов. —
М. : Наука, 1971. - 288 с.
[9]	Скороход А. В. Элементы теории вероятностей и случай-
ных процессов / А. В. Скороход. — К. : Вища школа, 1980.
- 344 с.
190
Глава 3. Марковские цепи с непрерывным временем
[10]	Теория вероятностей: Сб. задач. / А. Я. Дороговцев,
Д. С. Сильвестров, А. В. Скороход, М. И. Ядренко. —
К. : Вища шк. Головное изд-во, 1980. — 432 с.
[11]	Турчин В. Н. Теория вероятностей и математическая ста-
тистика: учебник / В. Н. Турчин. — Д.: Изд-во Днепропетр.
ун-та, 2008. — 656 с.
[12]	Тутубалин В. Н. Теория вероятностей и случайных процес-
сов / В. Н. Тутубалин. — М. : Изд-во Моск, ун-та, 1992. —
400 с.
[13]	Феллер В. Введение в теорию вероятностей и ее приложе-
ния: В 2 т. / В. Феллер. — 3-е изд. — М. : Мир, 1984. — Т.1.
- 527 с.; Т.2. - 751 с.
[14]	Ширяев А. Н. Вероятность / А. Н. Ширяев. — М. : МЦН-
МО, 2004. - Т.1. - 520 с.; Т.2. - 408 с.
[15]	Bhattacharya R. N. Stochastic Processes with Applications /
R. N. Bhattacharya, E. C. Waymire. — Philadelphia: SIAM,
2009. - 676 p.
[16]	Chung K. L. Markov Chains with Stationary Transition
Probabilities / K. L. Chung. — Berlin: Springer-Verlag, 1960.
- 278 p.
[17]	Lefebvre M. Applied Stochastic Processes / M. Lefebvre. —
N.Y.: Springer Science+Business Media LLC, 2007. — 382 p.
[18]	Norris J. R. Markov Chains / J. R. Norris. — Cambridge:
Cambridge University Press, 1997. — 238 p.
[19]	Parzen E. Stochastic Processes / E. Parzen. — San Francisco:
Holden-Day, 1962. — 324 p.
[20]	Privault N. Understanding Markov Chains / N. Privault. —
Singapore: Springer, 2013. — 354 p.
[21]	Resnick S. Adventures in Stochastic Processes / S. Resnick. —
Boston: Birkhauser, 2005. — 626 p.
[22]	Stirzaker D. Stochastic Processes and Models / D. Stirzaker.
— Oxford: Oxford University Press, 2005. — 332 p.
Оглавление
Предисловие.................................... 3
1	Цепи Маркова — основные понятия и факты 5
1.1	Определение цепи Маркова.
Простейшие свойства........................ 6
1.2	Возвратность.............................. 21
1.3	Существенные состояния.
Классы эквивалентности.................... 31
1.4	Примеры и задачи.......................... 52
2	Предельные теоремы
для	марковских цепей	71
2.1	Эргодическая теорема ..................... 71
2.2	Дискретная марковская цепь,
описывающая очередь ......................107
2.3	Задача о разорении игрока.................115
2.4	Примеры и задачи..........................125
3	Марковские цепи
с непрерывным временем	135
3.1	Основные понятия и определения ...........135
3.2	Процесс чистого рождения..................140
3.3	Процессы рождения и гибели................149
3.4	Обслуживание с ожиданием..................159
3.5	Свойство дифференцируемости
переходных вероятностей...................165
3.6	Распределение времени пребывания
в состоянии...............................174
3.7	Обратные дифференциальные
уравнения Колмогорова ....................180
3.8	Примеры и задачи..........................183
Литература....................................189
Навчальне видання
Турчин Валерш Миколайович
Турчин €вген Валершович
MAPKOBCBKI ЛАНЦЮГИ
Основы! поняття, приклады, задач!
Навчальний посгбник
для студентов
вищих навчальних закладгв
(росгйською мовою)
Редактор К).В. Козаченко
Художник К.Д. Ткаченко
Орипнал-макет B.M. Турчин
ГПдниеано до друку 01.02.2016 р.
Формат 84x108/32. Ум. друк. арк. 10,08.
Тираж 300 нрим. Зам. № 010216.
Видавництво i друкарня TOB «Л1зуновПрес»
49127, м. Дшнронетровськ, вул. Немировича-Данченка, 30/166.
Свщоцтво суб’екта видавничоГ снрави:
cepin ДК № 3597 в!д 06.10.2009 р.
BiddpyKoeano з готового авторського оригша.л-макета
(1з прав, на с. 1, 2, 3, 191, 192)
ТУРЧИН
Валерий Николаевич
Автор 107 научных и научно-
методических работ,
14 учебников и учебных пособий
по теории вероятностей
и математической статистике.
Заведующий кафедрой
статистики и теории вероятностей
Днепропетровского
национального университета
имени Олеся Гончара.
ТУРЧИН
Евгений Валериевич
Автор 27 научных и научно-
методических работ,
2 учебных пособий по теории
вероятностей и математической
статистике.
Доцент кафедры статистики
и теории вероятностей
Днепропетровского
национального университета
имени Олеся Гончара.