/
Author: Пинскер М.С. Гармаш В.А.
Tags: электротехника математика инженерия обработка информации
Year: 1980
Text
АКАДЕМИЯ НАУК СССР
ИНСТИТУТ ПРОБЛЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ
МЕТОДЫ
ПЕРЕДАЧИ
И ОБРАБОТКИ
ИНФОРМАЦИИ
ИЗДАТЕЛЬСТВО «НАУКА»
МОСКВА 1980
УДК 621.394.154
Сборник посвящен вероятностно-статистическим методам решения
задач теории передачи и обработки информации. Изучаются оценки
корректирующей способности каскадных кодов, находятся области
допустимых скоростей передачи для канала со многими
пользователями, исследуются методы статистической обработки информации.
Рассчитан на научных и инженерно-технических работников.
Ответственные редакторы:
доктор физико-математических наук М. С. ПИНСКЕР,
кандидат технических наук В. А. ГАРМАШ
М Q55(02b-80 78°-~80» кн- 2- 1502000000 © Издательство «Наука», 1980 г.
( УДК 621.391.154
f ПОТЕНЦИАЛЬНЫЕ И РЕАЛИЗУЕМЫЕ
ft КОРРЕКТИРУЮЩИЕ СВОЙСТВА ОДНОГО КЛАССА
jf ОБОБЩЕННЫХ КАСКАДНЫХ КОДОВ
\ Э. Л. Блох, В. В. Зяблов
1. ВВЕДЕНИЕ
Линейные каскадные коды произвольного порядка, или
обобщенные каскадные коды, были рассмотрены в работах [1—3],
где изучались построение кодов, нижние оценки их кодового
расстояния и относительно просто реализуемые алгоритмы
каскадного декодирования. Было показано, что рассматриваемое
построение гарантирует нижнюю оценку кодового расстояния,
реализуемую при каскадном декодировании, которая тем лучше, чем
больше порядок каскадного кода. Однако при любом порядке т,
даже при т ->• оо, эти нижние оценки остаются хуже границы Вар-
шамова—Гилберта (ВГ).
В работе [4] исследовалась нижняя оценка эксдоненты
неправильного каскадного декодирования. Как и для нижней оценки
кодового расстояния, было показано, что оценка экспоненты тем
лучше, чем^болыпе порядок каскадного кода, но при любом
порядке оценка хуже экспоненты Галлагера [5]. Характерной чертой
всех этих исследований является то, что оценивались
корректирующие свойства, реализуемые при каскадном декодировании,
и искались классы каскадных кодов произвольного порядка,
оптимизирующие реализуемые корректирующие свойства.
В работах [6, 7] находились верхние и нижние оценки кодового
расстояния каскадных кбдов произвольного порядка, но уже
независимо от алгоритма декодирования, т. е. потенциальные
корректирующие свойства. Нижняя оценка кодового расстояния
находилась исследованием ансамбля случайных каскадных кодов
произвольного порядка и равнялась границе ВГ при надлежащем
выборе структуры этих кодов.
Отметим, что структуры каскадных кодов, оптимизирующие •
реализуемые и потенциальные корректирующие свойства,
получились различными. При этом оптимизация реализуемых
корректирующих свойств в предельном случае при т -> оо приводила
к ухудшению потенциальных корректирующих свойств до
реализуемых.
Задача оптимизации реализуемых при каскадном
декодировании корректирующих свойств при возможно лучших
потенциальных корректирующих свойствах рассмотрена в настоящей работе.
Для этого в п. 2 строится ансамбль каскадных кодов произвольного
порядка с неслучайными внутренними кодами. В п. 3 находится
3
г
производящая функция среднего по ансамблю спектра весов
кодовых слоев. В п. 4 оценивается среднее по ансамблю кодовое
расстояние, а в п. 5 находятся условия, при которых оно равно
границе ВГ. В п. 6 исследуются потенциальные, а в п. 7 реализуемые
корректирующие свойства для рассматриваемого ансамбля
случайных каскадных кодов бесконечного порядка.
2. АНСАМБЛЬ КАСКАДНЫХ КОДОВ
Процесс кодирования линейных каскадных кодов порядка ттг
кратко может быть описан следующим образом. Двоичное слово
длины п = лгх/г2 представим в виде прямоугольной
таблицы-матрицы размеров пхХп2. В соответствии с порядком каскадного
кода ттг при помощи 771 горизонтальных линий разобьем эту матрицу
на ттг + 1 подматрицу. Число строк в первой снизу подматрице
m
обозначим а0 (а0 ;> 0),во второй ах и т/д. так, что S ai = n1. Ин-
1=0
формационные символы расположим в левом верхнем углу этой
матрицы, которую обозначим через [а; в i-й подматрице (щ) они
занимают первые bt столбцов (Ь0 = 0) так, что общее число
информационных символов
т
к = 2 afc. (1)
До кодирования оставшиеся п — к позиций матрицы \i
заполняются нулями. Матрицу \i будем называть информационным
словом. Кодирование информационного слова \i осуществляется
последовательно внешними, а затем внутренними кодами.
При кодировании внешними кодами каждая подматрица jxf,
i = 1, ттг кодируется соответствующим внешним кодом Biy
линейным над полем GF (2а*) длины тг2, со скоростью передачи i?2* ^
= bi/n2. В результате подматрица [А* переходит в подматрицу yt
тех же размеров аг X тг2, представляющую собой кодовое слово
1-го внешнего кода Bt. Кодирование внешними кодами превращает
матрицу [х в матрицу у, которую будем называть
вспомогательным словом.
При кодировании внутренними кодами каждый столбец у^\
j = 1, п2 матрицы у умножается слева на соответствующую
невырожденную матрицу G® порядка пъ в результате чего
получаем столбец
aO) = G<V>.
Столбцы а^> образуют матрицу а, которая является кодовым
словом каскадного кода порядка т.
Схематично слова \i, у, а показаны на рис. 1.
В частном случае матрицы G(0J\ которые будем называть
кодирующими, могут быть невырожденными нижними треугольными
4
J
°m
ai
at
a*
'*
1
ул
/
1 1
I
1
1
1
r
U)
3=14
/*
x?
.Ф
ж
W
Рис. 1
u
cc
матрицами. В этом случае легко организовать кодирование так
[3], что каскадные коды будут систематическими. Кодирующие
матрицы G0?), вообще говоря, могут быть как различными для
разных /, так и одинаковыми для всех /, ; = 1, п2. В последнем
случае, т. е. когда G0;) = G0, / = 1,и2, кодирование внутренними
кодами можно представить как матричное умножение матрицы
G0 на матрицу у, т. е.
а = G0y.
(2)
Именно этот случай и будет рассматриваться в дальнейшем.
Если для некоторого / все столбцы ySj подматриц y8J s =
О, i — 1 являются нулевыми, а столбец уи Ф О, то столбец <х#>,
полученный в результате кодирования в соответствии с (2),
можно трактовать как кодовое слово некоторого линейного двоичного
кода At длины пх со скоростью передачи
R
и
т
(3)
s=i
порождаемого первыми к1{ = V as столбцами матрицы G0. Ta-
ким образом, мы приходим к внутренним кодам длины пг
^mCI Am-l С • • . CZ А},
которые будем называть системой вложенных кодов, порожденных
матрицей G0. Следует отметить, что в настоящей работе принята
нумерация внешних Bt и внутренних At кодов, обратная
нумерации, данной в работах [1—3], т. е. i-e коды соответствуют кодам
5
с номером т — i + 1. В силу равенства (1) и определения
скоростей передачи Rlt и R2t внутренних и внешних кодов скорость
передачи каскадного кода порядка т определяется выражением
1=0
•#Jti+l)#2i,
(4)
где Ri%m+i = 0.
При изучении асимптотики (щ ->■ оо) корректирующих свойств
каскадных кодов большой интерес представляют каскадные коды
сколь угодно большого порядка (иг->-оо), которые будем
называть каскадными кодами бесконечно-
% го порядка. При этом ограничимся
случаем, когда
lim at =
lim -^- =
m-»oo "l
OO,
(5)
:Q, i=l,m.
Рис. 2
При рассмотрении каскадных
кодов бесконечного порядка слова jx, 7»
а будем представлять в виде
единичного квадрата, поделив
вертикальные и горизонтальные размеры
этих слов соответственно Harax и тг2.
В указанном единичном квадрате каждый из внешних кодов
изображается горизонтальной полоской шириной Axt -*■ 0 при тгх -> оо.
Положив Rlt = х, R2t = £/, видим, что кривая у = / (х) (рис.
2) определяет структуру каскадного кода бесконечного порядка
(независимо от распределения величин а$), причем скорость
передачи
R.
•)ydx,
(6)
где х0 = Rn — скорость передачи внутреннего кода Л1#
В настоящей работе исследуются потенциальные и
реализуемые при каскадном декодировании корректирующие свойства
кодов одного из ансамблей возможных, случайных каскадных
кодов [6]. Рассматриваемый ансамбль представляет собой обобщение
на случай произвольного т (в том числе и т-^оо) ансамбля
каскадных кодов первого порядка, исследованного в работе [8] и
названного в ней ансамблем П. Для этого ансамбля в качестве
внешних кодов Bt выбираются случайные коды PC, т. е. коды PC со
случайным преобразованием [8]. В качестве кодирующих матриц
бо* выбирается одна и та же для всех /, 7 = 1» Щ неслучайная
матрица G0.
Рассмотрим двоичное слово — столбец а^> длины тгх, символы
которого, начиная снизу, разбиты на т + 1 слово atJ по ah i =
= О, т символов в каждом, т. е.
т
Выделим некоторые v из этих слов, соответствующих набору
где 0 < h < i2 < . . . < iv < Щ и обозначим .
через -4^,*,,...,|у множество слов вида а^> = б07(Л, где G0 —
произвольная двоичная невырожденная квадратная матрица
порядка пг\ уФ — любое двоичное слово — столбец длины nl9
у которого ненулевые символы могут быть только в наборе (ix,
Hi- • •» *v)- Тогда множество слов A\v{ .,*v представляет собой
линейный двоичный код с at + aj + . . . + aiv информацион-
V
ными символами, т. е. код А{ %\ ...,iv содержит2s==1 кодовых
слов, из которых одно слово нулевое.
Утверждение 1. Существует такая матрица G0, что для любых
v = 1, //г и любого набора (iu i2l . . ., iv) в коде A\i%i ...^ число
кодовых слов Ni i ...эгу(м^)веса и? ^> 0 удовлетворяет условию
v
Лм ivH<«?2mC2~ "' -1"18 . (7)
Доказательство. Рассмотрим множество всех ненулевых
двоичных слов длины тгх. Любое слово из этого множества принадлежит
коду Aivi2 tiv (т. е. аФ = аФ) тогда и только тогда, когда
слово
f/^C^aW (8)
имеет ненулевые символы только в наборе (iXl i2»« • •» *v)i т. е.
если уФ = 7(;)*
Известно, что если слово а,Ф фиксировано, а матрица G0
выбирается случайно из множества всех двоичных квадратных
матриц порядка тгх, то вероятность получить посредством (8)
любое также фиксированное заранее слово уФ равна (2ni —1)"1
и не зависит от выбора слов а,Ф и уФ. Таким образом, вероятность
Piv . ...iy (w), что слово веса w ^> О принадлежит случайно
выбранному коду 4^.. ,iv (порожденному случайно выбранной
матрицей G0), определяется как
v v
2 а{ -(ш- 2 с4 )
*V...ivИ = (2s==1 ~ 1)/(2Я1 - 4)<2 ss=1
г
и не зависит от w. Следовательно, среднее по всем случайным
кодам А* ...,1у число кодовых слов iV{lf...,iv (w) веса w^> О равно
v
tf* ivH = 04 ц(»ХО 8 * •
Известно [8], что доля кодов Aiv.. м i (w), у которых число
кодовых слов веса и>]> 0 iV*,..., iv (">) будет превышать среднее по всем
кодам ili,...,^ число кодовых слов того же веса ^iv...tiv(w)
в nl2m раз, не превосходит величины {п%2т)~\ т. е.
р{1Л...^И<1/«?2т. (9)
Пусть р — доля матриц G0, порождающих хотя бы один код
^*,...,iv> У которого хотя бы для одного w^> О и одного набора
(h> hi • • •» *v), v = 1, //г, не выполнено условие (7). Очевидно,
что
m ni
p<S S Spb ц(»). (10)
Подставляя в (10) оценку (9) и учитывая, что для
фиксированного v Ф 0 число различных наборов (£1э г2» • • •> *v) равно
Сто, а общая сумма всех возможных наборов равна 2т — 1,
получаем
Следовательно, доля матриц G0, не удовлетворяющих
утверждению 1, меньше 1 и стремится к нулю при пх^-^ оо, что и
завершает доказательство утверждения.
В дальнейшем при построении ансамбля каскадных кодов
будем использовать только матрицы G0, удовлетворяющие
утверждению 1.
3. ПРОИЗВОДЯЩАЯ ФУНКЦИЯ
СРЕДНЕГО СПЕКТРА ВЕСОВ
Так же как и в работах [7, 8], для исследования
потенциальных корректирующих свойств каскадных кодов оценим
производящую функцию
+ (*)= S N(w)z»,
1
где N (w) — среднее по ансамблю число кодовых слов веса w
каскадного кода. Для этого рассмотрим подмножества 5tf1}..., iv,
каждое из которых состоит из всех таких и только таких слов
a (iu . . ., iv) (таблиц размеров пг X п2), которые определяются
произведением
* *
а (**!, . . ., iv) = G0y (&1э . . ., iv),
•*
где 7 (iXl . . ., iv) — любая двоичная матрица размеров пх X л2,
* * *
у которой ровно v подматриц у^, уг^ . . ., yiv ненулевых, а все
остальные подматрицы размеров а% X щ нулевые.
Причем
1 < к < h < • • • < *v — та.
Ясно, что для каждого фиксированного v число различных
множеств 3(*,..., iv равно Cm» так что число всех подмножеств (1 ^ v <^
< т) равно 2т — 1.
Пусть Mit ...t i (w) — число всех слов веса w в множестве 9t*,..., iv,
а &и,.., iv — верхняя оценка вероятности Pilt #шш> iy того, что любое
фиксированное слово a (i±, . . ., iv) является словом каскадного
кода из ансамбля. Тогда для среднего числа Niiyh { (w) кодовых
слов веса w каскадного кода, содержащихся в множестве ?(£..., iv,
справедливо неравенство
^ ivH<^ <vN^ v
Из определения множества 9(*, ...,iv очевидным образом
следует
т
V=l<ii,...,iv) V
m
<S S ^ s»^ ivW-
v=l(ii,...,4v)
Тогда, обозначая
имеем
n m
^W=SivMzro = S S %, iv(z). (ill
w=l \=1 (ii,...,iv )
9
Причем для z > О
п
%. iv(*x а ми <vMPi, 1у=Рп iV<Pi„...,iV(z)'
ги=1
п
rAeTiit...liv(z) = S^ii,...,iv(0))zW —производящая функция числа
w
слов веса w соответствующих множеств 3tf, ##м { . Для оценки
функции фг1э .... iv (z) введем, как и в работе [8], производящую функ-
цию (0{lf ...t iv (z) числа всех различных столбцов-слов a (ilf. . ., iv)
веса м> ^> 0. Тогда в соответствии с утверждением 1 имеем при
*>0
v
-(ni- S а.)
<an,...,iv (2) < И?2™2 -I [(1 + S)m - 1] <
v
-(m-S а{ )
<rc*2w2 s=i (1+*)»'.
Повторяя рассуждения, приведенные в работе [8], легко у бе*
диться, что
?i1,...,iv(2) = [o)i1,...;iv(2) + 1]П2-1 0«i,....iv (*) + 1]п%
так что для ipit iv (z) получаем оценку
v
-(m- 2 а- )
4>ь vW<^ ivl"?2"12 -1 (1+г)"«+1]"2<
V V
— (ni— 2 ax ) — (n—n2 2 0| )
<^i, iv(nt2m)n*[(l + z)nl + 2 «=i 8]«*2
(12)
Выбранное из множества 9t*,..., iv слово а (г1? . . ., iv)
является кодовым словом каскадного кода из ансамбля тогда и только
тогда, когда все ненулевые подматрицы yt, . . ., yiv соответствую-
*
щей им матрицы у (1х, . . ., iv) представляют собой кодовые слова
внешних кодов Ви, . . ., Biyj. Поэтому в силу независимости
выбора внешних кодов вероятность /\..., iv определяется очевидным
равенством
V
Pi iv=n^(ris),
s=l
где Р (Tis) — вероятность того, что подматрица yis является
ненулевым словом is-To\ внешнего кода В-н. Если выбранное слово
10
*
a (ix,. . ., iv) содержит l ненулевых и щ — l нулевых столбцов,
то, как следует из леммы 2 работы [8],
[О, если 1^П2 — bis,
, если 1^> г?2 — bis.
Таким образом, для всех I > О
и в качестве верхней оценки Pit *v вероятности Piu ..., iv можно
принять величину
v - %
Pi = e-2 -is \ ;
Подставляя это выражение в (12),J получаем, что при z ^> О
v.
~ (п- 2 а{Ъ{) щ- S а{
*к.....ц (*) < (ntpy *v2 ^ К* + *)* + 2 ,** ]«..
Учитывая, что ev ^ ew, из выражения (И) имеем при z ^> О
v
m — (п— 2 а{ Ъ{)
Ъ{*)<ет(г&т)"*Ъ S 2 s=1 X
v=l(ii,...,iv)
v
ni—2 at
X [(1+^ + 2 8=i ]*. , (13)
Для дальнейшего упрощения полученной оценки, кроме
обычного условия Ьх <. Ь2 < . . . < bm, примем дополнительное
условие ах ^ а2 <^ • • • ^ #m» которое включает интересный с
практической точки зрения случай ах = а2 = . . . = аш.
При этих условиях, учитывая, что
v m
-(п- 2 ahbis) -(п- 2 asbe)
2 ss=1 <^ 2 e-m-v+i ?
v m
-(ni- 2 at ) -(m- 2 as)
2 Ss=1 <[ 2 s^m-v+i ^
получаем
m
m — (n— 2 agbs)
ф (z) < em (*][2m)»* S О s=m-v+i x
v=i
m
ni— 2 as
X [(1 + Z)n* + 2 s=m-v+i ]n2#
Обозначая m — v + 1 = i и заменяя Cm на 2m, окончательно
11
**-■
запишем последнее выражение в виде
m
ф(z)< T (z) = (2е)ж(n*2m)^ S Y, (г), (14)
1=1
где
4% («) = 2"n(1"Ri) [(1 + z)* + 27li(1-R*) ]%
m m
д« = 4- HiaA=Z(i?is - R*»*>R**> (15)
s=i s=i
Rt = R.
Представим ^ (z) в виде
*Ю=2 4»iW=S 4^iM*e.
i=l i=l u>=l
fen
Необходимые для дальнейшего величины Nt {w) и 3 ^i (w)
«7=1
оцениваются сверху очевидными неравенствами [7]
*,м<ш {-*!«.}< wp«.}.
On
«7=1
Отсюда получаем для среднего по ансамблю числа кодовых
слов веса w случайного каскадного кода
Что касается вероятности Р (d^ 6га) того, что случайный
каскадный код из рассматриваемого ансамбля имеет кодовое
расстояние d ^ б/г, то вследствие очевидной оценки
fin 6n m
гу=1 ге=*1 i=l
имеем
Полученная для рассматриваемого в работе ансамбля
случайных каскадных кодов оценка производящей функции i|) (z),
определяемая выражениями (14) и (15), лишь постоянным множителем
отличается от аналогичной оценки для другого ансамбля,
введенного в работе [7]. Так как в работе [7] было проведено исследование
для каскадных кодов произвольного, но конечного порядка, то
12
последующий анализ проведем лишь для каскадных кодов
бесконечного порядка (т ->• оо).
При т ->■ оо полученные выше выражения соответственно
принимают вид
Yx (z) = (2е)т (тг?2т)»2 [(1 + *)т + 2»«(i-*>]»« 2-n(1-R*> , (16)
где
i?x = $/(s)ds,
О
Z>0 ^2 '
N (w) < it SN*{w) dx < it S !>f01~?^"}da;'
P(d<en)<it inf {^#-W
Или в развернутой форме
JV И < i (2.Г («ЯП* ?2-<-R*>» inf (К1 + г)-+№2^)"ГМ Л
*0 J Z>0 L 2 J
(17)
И
SCO
i>(d<6w)<-2-(2e)m(re?2'n)«2C2-(1-H*)n inf x
xo J l>z>0
x(m+^^}fc (18)
4. КОДОВОЕ РАССТОЯНИЕ СЛУЧАЙНЫХ КАСКАДНЫХ КОДОВ
БЕСКОНЕЧНОГО ПОРЯДКА
Переходя к исследованию оценки (18), заметим, что
(1 + z)ni + 2(1~*)ni< 2 max ((* + *)ni; 2d-*)*},
так что
inf {[(l + ^ + 2^r'|<2?uinf х
1>2>0 V 3° J 1>Z>0
X {max {(г* + zi-6)n; (z-^d-*))"}}.
Введем величину б», определяемую равенством
1-8„
2м—г=тг- + 1.
13
из которого следузт, что
* = log, 2(1-в*).
Для каждого х рассмотрим при z ^> О график функции
фж(г) = тах{(г-* + г1-в)п;
(z-62i-*)"} =max {(z~e + zi"e)n;
при различных значениях параметра 8Х (рис. 3). Так как функция
z~b + z1"6 имеет минимум при zmin = 6/(1 — 6), равный 2Н<6>,
то в тех случаях, когда бх< б (т. е. когда бх/(1 — 8*) < zmin),
функция фа- (z) имеет минимум при z = 6/(1 — 6), равный 2пН<б>
(см. рис. 3, а). Если же 8Х > 6 (т. е. 6^/(1 — 8Х) > zmin), то
функция фа- (z) имеет минимум при z = 6^(1 — 8Х) (когда z~b +
+ zi~b = 2-б + £-66^/(1 — бх)), равный (рис. 3, б)
[(-Г-Т—V"* л 1 . Г = [ ^ ^ , Т = 2»Kl-^)-*l0g»(2l-«-l)] .
Ul-a,/ I — Лж J L (21-*—l)6 J
Из полученных результатов в соответствии с выражением (5)
непосредственно следует, что
хо
Р (d < 6и)< — \ 2nIVe)+P(«..«.™)] dXj (19)
о
где
р ,.._Г^(в) = Я(в)-(1-Дя) при 6>бж,
х( } l^(6) = -eiog,(2i-* —1) —я + Дя при 6<бх-
(20)
Легко проверить, что Fxl (бх) = F& (бх) и что при
фиксированных х и Rx прямая
F* (6) = - 6 log2 (2"-1) - х + Rx
является касательной к кривой
Fxl (б) = # (б) - (1 - Дх)
в точке б = бх.
Таким образом, график функции Fx (б) имеет вид, показанный
на рис. 4, причем на рис. 4, а представлен случай, когда 8Х ]>
> бВг (Их), а на рис. 4, б — случай, когда бх< бВг (#*), где бВг
(Дх) — корень уравнения Fx\ (б) = 0.
Обозначим корень уравнения Fx (б) = 0 через б*. Тогда, как
видно из рис. 4 (в силу выпуклости кривой Fxl (б)), имеем
при бх > бвг (Rx), бх < бвг (Rx),
(21)
при бх < бвг (Rx), б£ = бвг (Rx)-
14
Рис. 3
Рис. 4
*U
Рис. 5
15
t
Причем так как Rx < R, то бВг (Rx) > бвг (#)•
Введем теперь наименьший из корней уравнений Fx (6) = О,
О < х < х0
S* = inf6*.
X
Так как на отрезке 0 <^ б <^ 0,5 функции Fx (б) (для всех х>
О <^ х <^ х0) возрастают, приходим к выводу, что при б < б*
и всех х величины Fx (б) < 0.
Учитывая, что при п-*оо (%->(», тг2->оо) для всех m<Z
< 7гх, в том числе итв-оо, величина
R(n т п) = т log2 ^ + log2 т 1 т + log2 2 + 2 log2 7Zl
из равенства (19) получаем, что при б < б*
Р (d < блг) ^ 0.
Но это означает, что среди случайных каскадных кодов из
рассматриваемого ансамбля существуют такие (и доля их стремится
к 1), кодовое расстояние которых при п ->- оо удовлетворяет не-
равенству
d> л (б* — е),
где е ^> 0 — сколь угодно малое число.
Таким образом, б* (R) представляет собой границу
асимптотически достижимого на указанном ансамбле отношения кодового
расстояния d к длине кода п. Так как величина б* (R) определяет
заведомо достижимую границу кодового расстояния каскадных
кодов бесконечного порядка, будем называть ее нижней границей
кодового расстояния каскадных кодов бесконечного порядка.
5. УСЛОВИЯ ДОСТИЖИМОСТИ ГРАНИЦЫ ВГ
При х = х0 имеем RXo = R и, как следует из (21), нижняя
граница б* (R) кодового расстояния каскадных кодов бесконечного
порядка не может превысить границы ВГ, т. е.
б* (R) < бвг (Л).
Для выяснения условий, при которых нижняя граница б*(R)
величины б (R) = din для каскадных кодов бесконечного порядка
совпадает с границей ВГ, обратимся снова к графику функций
Fx (б), определяемых равенством (20), приведенным на рис. 5
для двух значений х: х = х0 и х < х0. На этом рисунке обозначен
через 8Х1 корень уравнения Fxl (б) = 0, а через бх2 — корень
уравнения Fx2 (б) = 0. Таким образом,
бХ1 = бвг (Rx),
б*2 = (Rx - x)/log2 (2i-« - 1),
16
так что при х = х0 6^1 = бВг (Я), а б*^ < бвг (Щ- Как видно
из рис. 5, для достижения границы ВГ необходимо и достаточно
выполнение следующих условий:
1. При х = х0: бХо^ &вг (R), что эквивалентно условию
*o>log22(l-SBrCR)).
2. При #< х0:
либо 6X <^ бвг №«)» что эквивалентно условию
z>log22(l-6Br(#x)),
либо 6*2 > бвг (Л)? что эквивалентно условию
(Яя - x)/log2 (21- -1) > бвг (Л).
Заменяя неравенства строгими равенствами, получаем уело-
вия достижимости границы ВГ в предельной форме, т. е.
равенства б* (R) = бвг (#):
1) х0 = log, 2 (1 - бвг (Я)), (22)
2) для всех х <^х0
(Rx - ж)/ log2 (21"* - 1) = бвг (Д). (23)
Выражение (23) позволяет определить предельную структуру
каскадных кодов бесконечного порядка, на множестве которых
достигается граница ВГ.
X
Учитывая, что Rx = ^yds, перепишем (23) в виде
о
X
х -1 у ds = - бвг (Щ log» (21'* - i);
О
после дифференцирования по х получаем
I/ = l_6Br(JR)1jflr. (24)
Отсюда с учетом равенства (22) следует, что при х = х0
выполняется условие у = 0. Кроме того, при х = 0 получаем, что у (0) =
= I/max = 1—2 бВг (#)• Структуру, определяемую равенством
(24), будем называть структурой С.
В работе [6] для каскадных кодов произвольного порядка
были получены верхние оценки кодового расстояния б(в> (R). Для
каскадных кодов бесконечного порядка величина б<в> (R) имеет
вид
б<в)(Д)= inf (l—y(x))/2.
о<;х<хо
Так как для каскадных кодов структура С, 1 — у (х) —
возрастающая функция, то для нее наименьшее значение достигается
17
г
при х = 0. Следовательно, в этом случае согласно (24)
№ (В) = бвг (Я)-
Полученные результаты можно сформулировать в виде
утверждения.
Утверждение 2. В ансамбле каскадных кодовых кодов
бесконечного порядка структуры С существуют коды, достигающие
границы ВГ, и нет кодов с кодовым расстоянием, асимптотически
превышающим эту границу, т. е. для лучших каскадных кодов
структуры С граница ВГ является асимптотически точной.
6. ЭКСПОНЕНТА ВЕРОЯТНОСТИ ОШИБКИ
В ДСК БЕЗ ПАМЯТИ
Перейдем теперь к оценке спектра весов кодовых слов
случайного каскадного кода бесконечного порядка.
Используя очевидное неравенство Р (£ > af) ^ На (где |
и | — случайная величина и ее среднее значение, а а ^> 1), легко
показать, что среди случайных каскадных кодов из некоторого
ансамбля существуют коды, спектр весов кодовых слов которых
удовлетворяет неравенству [8]
N И < х (я) N И,
где х (п) — функция, возрастающая не быстрее степенной,
с показателем степени к ^ 1, т. е. %(п) = Апк.
Используя соотношения (17), (22), (23) и повторяя метод,
примененный выше для оценки кодового расстояния, приходим к
утверждению 3.
Утверждение 3. Среди случайных каскадных кодов
бесконечного порядка структуры С существуют коды, спектр весов
кодовых слов которых удовлетворяет неравенству
N (и>)< X (л) 2П [н<ш/п)-1+н] _ 2пГН(1я/п)-1+н+о(1)] f (25)
где о(1) = log2 (х (п))/п -> 0 при п -> оо.
Но из работы [8] следует, что всякий двоичный линейный код,
спектр весов кодовых слов которого удовлетворяет неравенству
(25), обеспечивает при передаче по ДСК без памяти при
декодировании по максимуму правдоподобия экспоненциальное по п
убывание вероятности ошибки. Причем экспонента вероятности
ошибки E(R) при всех Д, 0 ^ R <^ С (где С — пропускная способность
канала) совпадает с так называемой экспонентой Галлагера [5]
Е (R) = Ег (R).
Отметим, что экспонента Ег (R) является асимптотически
точной при высоких скоростях передачи, т. е. от /?кр до С. При
малых скоростях передачи экспонента Ег (R) определяется
вероятностью перепутать два слова на расстоянии, соответствующем гра-
18
нице ВГ. Поэтому в этом диапазоне скоростей для увеличения
F (R) по сравнению с Ег (R) необходимо иметь коды с
расстоянием, большим границы ВГ. Так как для каскадных кодов
бесконечного порядка структуры С это невозможно, Ev (R) будет
асимптотически точной и в области низких скоростей передачи.
В силу асимптотической точности ET(R) в области и высоких,
и низких скоростей, а также выпуклости E(R) [5] Ev (R) будет
асимптотически точна и на линейном участке.
Приведенные выше результаты доказывают следующее
утверждение.
Утверждение 4. В ансамбле каскадных кодов бесконечного
порядка структуры С существуют коды, обеспечивающие в ДСК без
памяти при декодировании по максимуму правдоподобия
экспоненту вероятности ошибки Е (/?), совпадающую при всех скоростях
передачи R с экспонентой Галлагера Ет (R), которая для лучших
кодов из этого ансамбля является асимптотически точной.
7. РЕАЛИЗУЕМЫЕ КОРРЕКТИРУЮЩИЕ СВОЙСТВА
Утверждения 2 и 4 определяют соответственно максимальную
кратность достоверно исправляемых ошибок t = Г" (d — 1)/2 ~~|
и экспоненту вероятности ошибки в ДСК без памяти,
обеспечиваемые каскадными кодами бесконечного порядка структуры С, при
декодировании по максимуму правдоподобия.
Так как сложность декодирования по максимуму
правдоподобия растет с длиной кода п по экспоненциальному закону, то
реализация упомянутых выше корреляционных свойств каскадных
кодов практически неосуществима для сколько-нибудь
значительных длин кода. Поэтому будем говорить, что кодовое расстояние
и экспонента вероятности ошибки, определяемые утверждениями
2 и 4, характеризуют потенциальные корректирующие свойства
каскадных кодов структуры С.
В отличие от потенциальных введем реализуемые при
каскадном декодировании кодовое расстояние d(H> = 2#н> + 1 и
экспоненту вероятности ошибки Е(и) (R).
Каскадным называется такое декодирование, которое
осуществляется последовательно для каждого £, i = 1, m сначала
внутренними At, а затем внешними Вг кодами соответственно длиной
nL и щ [2].
Как следует из [2], если пг имеет порядок mlog2w2, то
сложность каскадного декодирования растет с длиной п = n-jt^
каскадного кода не по экспоненциальному, а лишь по степенному
закону с показателем степени порядка т. Пусть т растет как
угодно медленно с п, например т = с log log п или т =
= с log log log n, что всегда возможно. Тогда сложность каскадного
декодирования будет порядка пс1°81°вп или пс1°81°в1овп. При
исследовании корректирующих свойств каскадных кодов, реализуемых
при каскадном методе декодирования, было показано,что нижняя
19
h
оценка кодового расстояния d(H> = тгб(н> (R) определяется
равенством [2]
б(н) (Д)= min {61{62i},
где 8ti = &xilnx, S2f = d2i/n2l a dlf, c^i — соответственно кодовые
расстояния внутренних и внешних кодов.
Выбираем в качестве системы вложенных внутренних кодов
двоичные коды длины пъ каждый из которых при пх -> оо
достигает границы ВГ, т. е. коды, для которых при всех iy i = 1, т
и лгх —>■ оо
бц = бвг (Ru),)
что в соответствии с утверждением 1 всегда возможно.
Учитывая, что при тг2 «-^ оо для внешних кодов PC 62f =
= 1 — R2i, получаем для каскадных кодов бесконечного
порядка
8(*)(R) = ml[(l-y)8BT(x)].
X
Для структуры С, определяемой равенством (24), наименьшее
значение (1 — у)8вт (#) достигается при х = х0, когда у = 0.
Таким образом мы приходим к следующему утверждению.
Утверждение 5. Пусть ансамбль каскадных кодов бесконечного
порядка структуры С построен на основе матрицы G0,
удовлетворяющей утверждению 1, и кодов PC в качестве внешних. Тогда
для любого кода из ансамбля реализуемое при каскадном
декодировании кодовое расстояние асимптотически оценивается снизу
величиной
й(н) = n6<H> (R) = 8вг (*о) и,
где
х0 = log2 2 (1 - 8ВГ (/?)).
Оценим теперь реализуемые корректирующие свойства в смысле
экспоненты вероятности ошибки. Так как в качестве G0 выбрана
матрица, удовлетворяющая утверждению 1, то в силу ограничений
на спектр весов кодовых слов внутренних кодов каждый из них
при декодировании по максимуму правдоподобия обеспечивает
в ДСК без памяти экспоненциальное по пх убывание вероятности
ошибки с экспонентой, совпадающей с экспонентой Галлагера
(Eii(Ru) = 2?r (^lO)* Учитывая также, что в качестве внешних
кодов выбраны коды PC, как следствие из работы [4] получаем,
что при каскадном декодировании в ДСК без памяти
реализуемая экспонента оценивается снизу равенством
£(н) (Д) = Шщ {(1_RH)Er(Rii)}.
Отсюда для каскадных кодов бесконечного порядка имеем
E^(R) = ini{(l-y)ET(x)}.
X
20
9
as
Л
4J
4?
\
\
\
\
\\ \
\ \V
e=0,01
£=OJ/S
C*-0L63b
as
-. w*
Рис. 6
Ц2 0,4 0,6С*0,8 С Я
Рис. 7
1,0 С
Для структуры С наименьшее
значение (1 — у)Ег (х)
достигается при х = х0. Таким образом мы
приходим к следующему
утверждению.
Утверждение 6. Пусть ансамбль
каскадных кодов
бесконечного порядка структуры С построен
на основе матрицы G0,
удовлетворяющей утверждению 1, и кодов
PC в качестве внешних. Тогда
для любого кода из ансамбля
реализуемая при каскадном
декодировании экспонента вероятности
неправильного де кодировавия
оценивается снизу величиной
£Ы (R) = Ет {х0) при 0 < R < С*,
где х0 = log2 2 (1 - 8ВГ (Я)), С* = 1 - Я (1-2^),
а С — пропускная способность ДСК без памяти.
Величина С* получена из условия, что скорость передачи
^ii = хо первого внутреннего кода равна пропускной
способности С. Результаты соответствующих расчетов представлены на
рис. 6—8. Причем экспонента вероятности ошибки подсчитывалась
в предположении, что вероятность одиночной ошибки в ДСК без
памяти 8 = 0,01.
Рис. 8
21
Литература
1. Блох Э. Л., Зяблое В. В, Кодирование обобщенных каскадных кодов.—
Проблемы передачи информации, 1974, № 3, с. 45—50.
2. Блох Э. Л., Зяблое В. В. Обобщенные каскадные коды. М.: Связь, J976^
240 с.
3. Блох Э. Л., Зяблое В. В. Обобщенные каскадные коды.— В кн.:
Актуальные проблемы теории информации. Вопросы кибернетики, 1977, вып. 29 г
с. 3—28.
4. БлохЭ. Л., Зяблое В. В. Экспонента вероятности ошибки при каскадном
декодировании.— В кн.: VII Всесоюз. конф. по теории кодирования и
передачи информации: Доклады. Москва; Вильнюс, 1978, ч. 2, с. 23—28.
5. Галлагер Р. Теория информации и надежная связь: Пер. с англ. М.:
Советское радио, 1974. 720 с.
6. Блох Э. Л., Зяблое В. В. Границы для кодового расстояния каскадных
кодов.— В кн.: Проблемы избыточности в информационных системах.
Вопросы кибернетики, 1977, вып. 34, с. 48—60.
7. Блох Э. Л., Зяблое В. В. Случайные каскадные коды произвольного
порядка.— В кн.: Построение и анализ систем передачи информации. Мл
Наука, 1978, с. 17—31.
8. Блох Э. Л,, Зяблое В. В. Потенциальные и реализуемые
корректирующие свойства каскадных кодов на основе кодов Рида — Соломона.— В кн.г:
Повышение верности передачи цифровой информации по дискретным
каналам. М.: Наука, 1974, с. 5—17.
УДК 621.39d.154
ПРОПУСКНЫЕ СПОСОБНОСТИ
ДЛЯ НЕКОТОРЫХ ШИРОКОВЕЩАТЕЛЬНЫХ КАНАЛОВ
Г. Ш. Полтырев
1. Дискретный широковещательный канал (ШК) без памяти1,
задается двумя матрицами переходных вероятностей {Р±, Р2} =
= {Pi (Уг I Х)>Р2 (1/2 I *)}> з е X, уг е YX1 у2 е Г8> где X —
входной алфавит ШК, a Yx и Y2 — выходные алфавиты каналов Рг
и Р2 соответственно. Кодом для ШК называется совокупность.
{хич\ A}tj; Alj}; is = l,enR*, 5=1,2; / = l,en*°;
«к«ЕГ; Л^СУГ, 5=1,2; А\^А\^ = ф,
если is Ф i's или / Ф /'.
U = {xili2J} есть множество кодовых слов, а множества {А}^}
и {A\j} называются решающими областями каналов Р± и Р2
соответственно; Лх, Л2> Д> ~~ тР°йка скоростей передачи по ШКГ
величины Дх и R2 — скорости передачи частных информации по-
каналам Рг и Р2 соответственно, а величина Л0 — скорость
передачи общей информации. Вероятностью ошибки декодирования:
кода для ШК является величина
Ре = шах {ехр (— n(Rx + i?2 + Д0))> SSSРг (*W <= А\<).
s ii i2 j
22
Тройка скоростей (Лх, Л2, Л0) называется допустимой для ШК,
^сли для любого 8 > 0 найдется код со скоростями Лх, Л2, Л0,
такой, что Рв <С е. Функция С0 (Лх, Л2), значение которой
представляет собой верхнюю грань допустимой величины Л0 при
фиксированных Лх и Л2, называется пропускной способностью
ШК. В случае, когда Л0 = О (передача общей информации
отсутствует), говорят о допустимых парах скоростей Д1э Л2 и
пропускной способности Сх (Л2) или С2 (Лх) (заметим, что функции
<Сг (Л2) и С2 (Лх) взаимно обратны).
ШК называется ухудшающимся (УШК), если найдется такая
•стохастическая матрица Р0» что Р2 = Р\Р0. При этом канал Р2
называется ухудшенным вариантом канала Рг.
Будем говорить, что код для ШК удовлетворяет ограничению
О = {ф#, сё}1=г> где ф^ — действительные функции, а сб —
действительные числа, если для любого Я = (х1, . . ., хп) (= U
выполняются неравенства
п
Через £Pq будем обозначать множества распределений
вероятностей на X, таких, что если р {х) ЕЕ ^е» т0
В настоящей работе будет определена пропускная способность
Сг (Л2) УШК при фиксированном ограничении 0 на множество
кодовых слов. Затем мы определим пропускные способности
С0 (Rlt Л2) для параллельного ШК (ПШК) и суммы ШК (СШК) с
.ухудшающимися в разные стороны компонентами. Эти результаты
дополняют работы [1].
2. Пусть 5, Ху Ух, Y2 — марковская последовательность
случайных величин р (sxyxy2) = p (s)p (x | s)p (уг \ х)р0 (у2 | уг).
Определим функцию £/$ (t) следующим образом:
CfQ(t)= sup I(YX;X\S), (1)
p(sx):I(S;Y2)>*|
p(x)e^e, |8|<oo
чгде I s I — мощность множества S; p (x) = Up (s)p (x \s).
Лемма 1. Функция Cfe (*) выпукла вверх.
Доказательство этой леммы практически совпадает с
доказательством леммы 4 в [2].
'% Следующая лемма устанавливает, что верхнюю грань в (1)
можно заменить на максимум, а мощность множества S
ограничить мощностью множества X.
Лемма 2.
CfQ(t)= max I(Yi;X\S)
p(sx):I($;Y2)>t
23
Доказательство. Доказательство утверждения леммы может
быть проведено аналогично доказательству леммы 8 в [2] и леммы
1 в [3]. Пусть
D ((Л, р («)) = / (S; У2) + ^1 (Хг; YJS).
Из выпуклости Je (0 следует (см. [2, 3]): для доказательства
утверждения леммы достаточно показать, что для любых [х ^> О
и о ]> | X | справедливо равенство
max D (\i, p(sx) = шах D (\*>,p(sx)) = Z) (ji,6). (2)
p(8X):p(ac)C^e P(s*):p(x)e<^e
|S|«J \Щ<\Х\
Пусть p* (x I s) и />*(s) — распределения вероятностей, при
которых достигается max в левой части (2), Обозначим через £Р*
множество всех р (s), таких, что
%%p*(s)p*(x\s)yg(x) = %%p(s)p^x\s)q>g(x)==c*<cg. (3)
S X S X
Очевидно, что ^е — выпуклое множество. Используя теорему
Куна—Таккера, легко показать, что необходимые и достаточные
условия, которым должно удовлетворять р (s), доставляющее
max в (2) при ограничениях (3), суть
YPaQ/2|s)In fttol'> +nYY/r*(*|s),
k
%P*(x\s)p1(y1\x) £J £-J
для всех 5 с равенством для 5, таких, что р (s) ^> 0. Дальнейшее
доказательство полностью совпадает с доказательством леммы 1
в [3].
Теорема 1. Пропускная способность УШК при фиксированном,
ограничении 0 на множество кодовых слов равна
Сг (Д„ 6) = Je (Д.).
Доказательство теоремы 1 аналогично доказательству теорем 1
и 2 в [3].
3. Рассмотрим ПШК с ухудшающимися в разные стороны
компонентами: {Р19 Р2} = {рг (ух | х) = Pll (у1± | хх) • р12 (у12 | х2);
Р2 {У2 I х) = P2i (У21 I х1)-р22 {у22 | *,)}, X = ХХХ2] Yx = Y1XY12;
Y2 = Y21Y221 каналы {р21 (у21 \ хх) и {р12 (у12\ х2)} являются
ухудшенными вариантами каналов {рп (уп \ хх)} и {р22 (у22 \ х2)}
соответственно. Пусть Xt = {0, . . ., kt}, i = 1, 2npt = {ptg}gLor
i — 1, 2 — вероятностные векторы, задающие распределения на
Xh i = 1, 2. Будем рассматривать ограничения на входе ПШК
вида 9 {р19 р2) = {9lf 92}, где в, = {ф^ (xt), pig}^ xt e Xi9
24
t = i, 2;
{1, хг = g,
о, *,**. (4)
Пусть Ж = (^4» ^L • • •> ^i^ss) S -X71 = (XiZg)"1 иг^ — число
букв xt = g в последовательности £. Векторы rt = {г^| га},
г = 1, 2; g* = О, А| назовем композицией вектора $. Заметим, что
функции вида (4) задают ограничения на композиции проекций'
кодовых слов для ПШК на его компоненты. Обозначим через
I- (Хг; Yt) и J— {Х2\ Y2) взаимные информации, вычисленные при
распределениях рг на Хг и р2 на X2.
Теорема 2. Пропускная способность ПШК с ухудшающимися
в разные стороны компонентами при ограничении 0 (рг, р2) на
множество кодовых слов равна
С1 (Я„ Рг, рш) = I-Pl (Хг; ¥г) + Ci2 (Д2, ft), R2 < 7- (Z2, Yt),
С? (Дх, ft, ft) = J- (-ЯГ,; У2) + С21 (R19 ft), R, < /^ (*lf Ух).
Здесь С12 (у, ft) = J&1 (v) и С21 (у, ft) = У& (у), где Je1 —
Функция, обратная функции Jq.
Доказательство теоремы 2 аналогично доказательству теоремы 1
и 2 в [1].
Следующая теорема устанавливает пропускную способность
C%{RX, Д2) Для ПШК с ухудшающимися в разные стороны
компонентами без ограничений на входе.
Теорема 3. Пропускная способность CJ (Дх, R2) ПШК с
ухудшающимися в разные стороны компонентами равна
Со (fli, /?2) = maxmin{(Cit(i?2, ft, ft) - Дх),
Pl,P2
(C^(i?i, рьр,) —Д.)}.
Доказательство. Допустимость любой тройки (Дх, Д2, Д0),
такой, что Д0 < С0 (Дц Д2), является непосредственным
следствием теоремы 3 работы [1]. Далее заметим, что любой код для
ШК объема Мг X М2 X М0 (Мг = enR*, М2 = enR*, М0 = епКв)
содержит подкод со словами с фиксированной композицией
объема Mi Mi М0, где М'г> (п + 1)-* Мх; rft >(n + 1)-* M2\
Мо > (п + 1)~к М0; к = кх + &2. Недопустимость тройки (Д1э
*йг> -Но)» -Но > С? (Дх, Д2) следует из того, что слова этого подкода
удовлетворяют ограничению 0 (г1? г2), где гг и г2 определяются
композицией слов, а также из того, что если для ШК допустима
тройка Дх, Д2, Д0, то допустимы и тройки Rx + Д0, Д2, 0 и
Rn R% + #о> 0 из теоремы 2.
4. Рассмотрим СШК с ухудшающимися в разные стороны
компонентами:
{Ри P2> = {PiO/i|*), P%(V*\*)}> X = XX{JX2, Y1 = Y11]IJY12,
25
У2 = F21 U ^22*
, , ч (Pij(»ii|*j)* SSXj, J/i^Fij,
Pi 2/i*Hb» (5)
r ^ ' ' [0 в противоположном случае. х '
Каналы {p21 (z/21 | хг)} и {/?12 (z/12 | x2)} являются ухудшенными
вариантами каналов {рг1 (у1г \ хг)} и {р22 (у22 \ х2)} соответственно.
Пусть 9 (рг, р2) — ограничения, определенные в предыдущем,
пункте. Введем обозначения:
^ exp{/-t(Xi; Уц)}
* ехр {/-2 (Хх; У u)> + ехр {/-, (X%; Y„) '
Л
h (И. Рь Л) = In (ехр {Dxl (|i, /h)} + ехр {/-f (Х2; У22)}),
h (I*. Pit Р») =]п (ехР (А* (|*, р2)} + ехр {J- (Хх; Yn)}),
где Dlt (\х, рг) и D22 ([г, /?2) — функции, определенные в (2) для^
ШК {Рп, Р21} и {Р22, Р12} соответственно.
Теорема 4. Пропускная способность СШК с ухудшающимися
в разные стороны компонентами при ограничении на множества
кодовых слов 0 (/?!, р2) равна
С?(А, Ръ Pi)=* inf (Ml*) —НА),
A<H(0 + (i-*)^№; Ум).
d (А, Рь Л) = inf (Д (|i) - |ii?0, Дх < # (t) + tl- (Xi; Fllt)
где Я (t) = — t In t — (l — t) ln(l — t).
Пропускная способность Cl {Rly R2) для СШК с
ухудшающимися в разные стороны компонентами без ограничения на входе
устанавливается в следующей теореме.
Теорема 5. Пропускная способность Cfj (Rlf R2) СШК с
ухудшающимися в разные стороны компонентами равна
С?(Д1э Д,) = тахт1п{(С?(Яь ри Pt) — R%),
(С? (А, РьЙ) —А)}.
Доказательство. Допустимость любой тройки (Д1? Д2, Д0)г
такой, что Д0 CZ С? (А, А)» может быть выведена из следующих
соображений. Пусть фиксированы р19 р2иа ^> 0. Рассмотрим код.
G0 для СШК, у которого в каждом слое первые an букв
принадлежат Хг, а остальные (1— а)п букв — Х2. Используя теорему Зг
легко показать, что для любых е)>0и 6 ^> 0 существует код са
скоростями (Д1? Д2, R0):
Д0 = min {(аС? (Д2/(1 - а), р19 р2) - Ях),
((1 - а)С* (Дх/а, plf р2) - Д2)} - б
и вероятностью ошибки декодирования Ре < е. Из определения
26
СШК следует, что из кода G0 перестановками символов кодовых
слов могут быть получены коды Gt, i = 1, 2, . . ., С£а с теми же
скоростями и вероятностью ошибки, что и код G = \jGt, которые
также имеют вероятность ошибки декодирования Ре < е.
Учитывая сказанное и производя оптимизацию по а, можно показать
допустимость любой тройки (i?x, Л2, i?0), лежащей под С° (i?x, i?2)-
Недопустимость троек (Д1э Д2, i?0), лежащих над С$ (Д1э Д2),
может быть доказана аналогично тому, как это было сделано
в теореме 3.
Литература
i. Полпъырев Г. Ш. Пропускная способность для параллельных
широковещательных каналов с ухудшающимися компонентами.— Проблемы
передачи информации, 1977, т. 13, № 2, с. 23—25.
2. Ahlswede Я. F., KornerJ. Source coding with side information and a converse
for degraded broadcast channels.— IEEE Trans, on Inf. Th., 1975, vol. 21,
N 6.
3. Галлагер Р. Г. Пропускная способность и кодирование для некоторых
широковещательных каналов.— Проблемы передачи информации, 1974,
т. 10, 3, с. 3—14.
УДК 621.391.154
ПРОПУСКНАЯ СПОСОБНОСТЬ
СТАЦИОНАРНОГО ГАУССОВСКОГО
ШИРОКОВЕЩАТЕЛЬНОГО КАНАЛА
М. С. Пинскер, Г. Ш. Полтырев
1. ВВЕДЕНИЕ
Широковещательный канал (ШК) с двумя приемниками
представляет собой совокупность двух каналов (двух составляющих),
имеющих общий вход и различные выходы, так что каждому из
них не доступен сигнал на выходе другого.
Передача по ШК х может быть описана следующим образом
{рис. 1) г. На передающей стороне имеются три независимых
источника иг, и2, w12. Кодер канала должен осуществлять такое
отображение каждой тройки сообщений, порождаемых этими
источниками, в один из сигналов на входе канала, чтобы приемник
на выходе первого канала мог с произвольно малой вероятностью
ошибки воспроизводить сообщения источников иг ии12, а приемник
на выходе второго канала — сообщения источников и2 и и12.
Пусть длительность сигнала, в который отображается тройка
сообщений, равна Г и М19 М2, М12 — числа сообщений,
порождаемых соответственно источниками цх, и2, и12 за время Т. Тогда
1 В дальнейшем под ШК будем понимать канал с двумя приемниками.
27
(Лх, Л2, Л12), где R, = (In MJ/T, Л2 = (In Mt)IT, Л12 = (In Л/12)/7\
называется тройкой скоростей передачи по ШК. Тройка скоростей
является допустимой для ШК, если для любых е > 0 и б ^> О
найдется достаточно большое 7\ такое, что существует
кодирование на входе ШК со скоростями R\, R\, Л*2, где Д$ = max (Л$—
__6, 0), i = 1, 2; Л?2 = max (Л12 — б, 0), при котором
вероятность ошибки декодирования на выходе первого и второго
каналов меньше е. Множество^ называется множеством допустимых
"г
"i
J
Яядер
\ ,, f\ -
Н /7/7/97Z/7 / [■— ж
/^/1
/faмнут 2
_Л/7р.2
J,H
Рис. 1. Схема передачи по широковещательному каналу с двумя приемниками
скоростей для ШК, если любая тройка (Л1? Л2, Л12) е .# является
допустимой. Множество всех допустимых скоростей называется
областью пропускной способности. Пропускной способностью
ШК называется множество точек СМД2 = {(^i> ^2» £12)}» таких,
что произвольная их окрестность содержит как допустимые
тройки, так и тройки, не являющиеся допустимыми. Очевидно, что
£i, 2, 12 является частью границы области пропускной способности
и определяется ее плотностью.
Иногда удобно задавать пропускную способность ШК
функцией от двух переменных: или Сх (Л2, Л12), или С2 (Л1? Л12), или
(Дх, R2) (мы не используем обозначений вида Сх (С2, С12),
чтобы подчеркнуть, что при таком задании пропускной
способности скорости, стоящие в скобках, играют роль свободных
переменных). Заметим, что пропускная способность любого ШК
является выпуклой функцией, так как если некоторое множества
М {(Л15 Л2, Л12)} допустимо, то допустимо и его выпуклое
замыкание. Последнее следует из рассмотрения передачи с разделением
времени. Под разделением времени понимается такой метод
передачи, при котором в течение а-й, 0 <^ а <^ 1 доли времени
передача осуществляется кодом со скоростями Вг, R2, Л^, а в течение
(1 — а)-й доли времени — со скоростями R[, Л2, Л^. При этом
результирующая тройка скоростей есть Лх = aR[ + (1 — a)RXr
R2 = аДг + (1 — а)Л2', Л12 = аЛ^2 + (1 - а)Ли-
Величины Лх и Л2 называют скоростями передачи частной
информации первому и второму приемникам соответственно, а
величину Л12 — скоростью передачи общей информации. В
случае Л12 = 0 (передача общей информации отсутствует) говорят
о допустимых парах скоростей (Л1? Л2) и пропускной способности
28
Ci.t= «Ci, C21 0)} = {(CI, C§)}, где (Clf Clf 0) e С1л11и С? = Clr
C° = С2. При передаче частных информации пропускная
способность ШК может быть задана с помощью функции одного
переменного: С\ (R2) или С\ (Rx).
В настоящей работе рассматривается ШК, составляющие
которого представляют собой стационарные гауссовские каналы с
непрерывным или дискретным временем (рис. 2). Входной сигнал
х (t) проходит через линейный стационарный фильтр с
передаточной функцией Н (/), к сигналу на выходе которого прибавляется
4ft Щ'М
хШ
Рис. 2. Схема стационарного гауссовского канала
Рис. 3. Определение спектральной плотности мощности Р (/) сигнала на входе
стационарного гауссовского канала
независимый стационарный гауссовский шум £ (t) со
спектральной плотностью N0 (/). Для канала с непрерывным временем
t GE (—°о, °о), а для канала с дискретным времением t ЕЕ {0, ±1,
±2, . . .).
Функцию N (/) = N0 (f)/\H (/)|2 называют спектральной
плотностью шума, приведенного ко входу канала. При заданных
N (/) и средней мощности Р сигнала на входе пропускная
способность С стационарного гауссовского канала равна
F
c=-Hln(1 + $7F)d/'
где F = оо в случае канала с непрерывным временем и F = г/2
в случае канала с дискретным временем; Р (/) — спектральная
плотность мощности входного сигнала, полученная путем
«наполнения водой объема Р спектральной плотности N (/)» (рис. 3),
т. е. имеет вид
F
P(/) = max{(^-7V(/)), 0}, §P(f)df = P.
Пропускная способность стационарного гауссовского канала
может быть получена из пропускной способности параллельного
гауссовского канала с помощью соответствующего предельного
перехода [1].
29
Пропускная способность стационарного гауссовского ШК
полностью определяется спектральными плотностями N± (/) и N2 (/)
шумов, его составляющих, приведенных ко входу. Аналогично для
обычного стационарного гауссовского канала пропускная
способность стационарного гауссовского ШК может быть получена
с помощью соответствующего предельного перехода из
пропускной способности параллельного гауссовского ШК без памяти.
Обоснование этого перехода может быть сделано стандартным
образом [1] и поэтому в настоящей работе опускается.
Вычисление пропускной способности параллельного
гауссовского ШК опирается на результаты работы [2], в которой была
найдена область пропускной способности для параллельного
дискретного ШК без памяти с ухудшающимися в разные стороны
компонентами. Результаты, полученные в [2], могут быть
непосредственно перенесены на параллельный гауссовский ШК в
случае, когда фиксированы значения средних мощностей сигналов
на входе каждой из его компонент. В настоящей работе мы
обобщаем этот результат на случай, когда фиксирована общая
средняя мощность на входе ШК. При этом основная трудность
состоит в нахождении распределения мощности по компонентам ШК,
оптимизирующего соответствующие взаимные информации
(оптимизирующее распределение). Если в случае обычного канала
с ограничением на среднюю мощность Р такое распределение
одно, то в случае ШК каждой паре (Cj, C\) ЕЕ С1)2 или каждой
тройке (С1э С2, С12) ЕЕ Clt2>12 может соответствовать свое
оптимизирующее распределение.
При предельном переходе от пропускной способности
параллельного к пропускной способности стационарного гауссовского
ШК оптимизирующее распределение мощности по компонентам
переходит в оптимизирующую спектральную плотность мощности
входного сигнала . В п. 2 приведены выражения для спектральных
плотностей, на которых достигаются пропускные способности
С1у2 = {(Cj, С\)} и С1|2д2 = {(Ci» C2, С12)}. Эти соотношения
получаются предельным переходом из соответствующих
соотношений, найденных в пп. 3 и 4. Для сокращения изложения далее
рассматривается только случай непрерывного времени. Для канала
с дискретным временем аналогичные результаты получаются при
замене пределов интегрирования на F = V2.
Отметим, что в [3] рассматривалась задача определения
области допустимых пар скоростей (Д1? Л2) для гауссовского
параллельного и стационарного ШК. Однако хотя граница полученной
в [3] области совпадает с пропускной способностью С12,
доказательство этого факта в [3] отсутствует. Кроме того, полученная
в [3] характеризация области допустимых скоростей имеет более
сложный вид, чем та, которая получена в настоящей работе (см.
пп. 2 и 3).
30
2. ФОРМУЛИРОВКА ОСНОВНЫХ РЕЗУЛЬТАТОВ
Остановимся сначала на определении пропускной способности
Ch2- Значения С\ и С£, а также спектральные плотности входного
сигнала, на которых они достигаются, будем задавать в этом
случае с помощью параметра а.
Пусть Р — мощность сигнала на входе гауссовского
стационарного ШК. При каждом действительном а рассмотрим
разбиение интервала (—оо, оо) на два множества:
Ока) = {/: ^2 (/) > N, (/) + а}, Ока) = {/: N2 (/) < N^f) + a}.
Положим
^a)(/) = U</), /e(W
Хотя функция N(a)(f) при отрицательных а может принимать
отрицательные значения, будет удобно сохранить за ней название
спектральной плотности.
Пусть P(a)(f) — спектральная плотность мощности сигнала
на входе ШК, полученная путем «наполнения водой объема Р
спектральной плотности 7V(a) (/)», т. е.
Р(в) (/) = max {(V) - #<«> (/)), 0}, (1)
оо
J Pm{f)df = P. (2)
—оо
Рис. 4 иллюстрирует определение спектральной плотности
iW/)-
Пусть Р(а) (/) и \а) — решения системы уравнений (1) и (2).
ПОЛОЖИМ Pw-I-O/V). %а) = & (^l(/)/^2(/))Signa<P(iTa}^
Q(a) = {/ : PW (/) > °) и
<P(«)(f), /eQi
*««>(/)'
(а)»
P(a)^(/)-^i(/) . Q по ПО (Ъ
10, /$"i(a)U(%n%)),
где i = 1, / = 2 при а>0и1 = 2,/ = 1 при а < 0.
Обозначим через М1) и W2) решения системы уравнений (1),
(2) при подстановке вместо iV(a) (/) соответственно Nx (/) и N2 (/).
Теорема 2.1. Пропускная способность Clf2 {(С?» С£)}
стационарного гауссовского ШК со средней мощностью входного сиг.
нала Р может быть задана параметрически следующим образом;
<*ч-4-Н1+ twTfU )«• <4>
—оо
—оо
Дэ y =* 0 при a > 0, у =1 при a < 0, —Ж1) < a < Ж2).
31
с.
с2дЫ)
Рис. 4. Определение спектральной
плотности мощности P(a){f)
сигнала на входе стационарного га-
уссовского ШК
Рис. 5.$Типичный вид пропускной
способности С2 (Ri) стационарного
гауссовского ШК
Из определения ^Р(а)(/) и соотношений (3)—(5) следует, что
при передаче информации по стационарному гауссовскому ШК
вся область частот делится на три полосы (см. рис. 4): в I
подынтегральное выражение в (5) равно нулю и информация передается
только первому приемнику, во II подынтегральное выражение
в (4) равно нулю и информация передается только второму
приемнику, в III — в (4) и (5) подынтегральные выражения отличны
от нуля, при этом часть мощности расходуется на передачу
информации первому приемнику, часть второму в соответствии с
методом суперпозиции кодов Т. Ковера 14]. Типичный вид С2 {Ri)
приведен на рис. 5.
Перейдем теперь к определению пропускной способности
^1,2Д2 = \(^1» ^2> Cl2)}"
Разобьем область всех допустимых пар {(i?i, R2)} на три
непересекающихся подмножества (см. рис. 5): Dx = {(Л1? R2): ^i ^
> С? (0), R2 < С°2 (0)}, D[ = {(i?x, R2): Лх < С\ (0), R2 >
> Cl (0)}, D2 = {(Лх, R2) : Rx < C°x (0), R2 < C\ (0), где С\ (0) =
= C°i(a). i = 1, 2 при а = 0.
32
Пусть Pt (/) > 0, i = 1,2; положим
P)U)
Qi(0)
где i, 7 = 1, 2, i # /, Q,(0) = й№), * = 1, 2 при а = 0.
Теорема 2.2. Пропускная способность С12 (Д1э Д2)
стационарного гауссовского ШК при средней мощности входного сигнала Р
может быть задана следующим образом:
[С;(Я,)-Яь (Дь ftjEfll,
Си (Дь Д«) = CJ (Дх) - Д2, (Дь Д2) е D[9 (7)
lsupmin{/?, /J},
где верхняя грань берется по всем функциям Рг (/) > 0 и Р2 (/) > 0,
таким, что
1 \ 1„Л. г Pl(/)'
Т- ^ ^Р+ЗД^-Ль (8)
4 S М1+■&$■) *>=*«• (9)
Q2(0)
оо
$ (Pi(f) + P*(f))df = P. (10)
— оо
Доказательство теоремы 2.2 приведено в п. 4.
При (Д1э Д2) (= /)2 формула (7) дает неявное выражение для
С12 (Д1? Д2). Для получения явного выражения пропускной
способности нужно вычислить sup min в (7).
Разобьем D2 на два подмножества D2 и D2» таких, что в D2
входят пары (Дх, Д2), для которых в (7) sup min = min sup,
а в D2 входят (Дх, Д2), для которых в (7) sup min < min sup.
В п. 4 показано, что для (Д1э Д2) s #2
С2 (Дх, Д2) = min {(С* (Д2) - Дх), (CJ (Дх) - Д2)}. (11)
Таким образом, при (Д1э Д2) е= J?i U ^2 пропускная
способность Clt2yl2 может быть получена с помощью простых
соотношений (7) и (11), если вычислена пропускная способность Clf2.
В случае (Дх, Д2) £Б D2 пропускная способность С1|2Д2 не может
быть получена из С1}2. Для ее задания надо вычислить
спектральные плотности Рх (/) и Р2 (/), на которых достигается верхняя
грань в (7). В п. 4 показано, что для (Д1? Д2) G= D2
С12 (Дь Д») = sup II (12)
2 Заказ № 3138 33
h
где верхняя грань берется по всем Р1 (/) > 0 и Р2 (/) ]> 0,
удовлетворяющим равенствам (8)—(10) и равенству
7? = II (13)
Показано также, что Рг (/) и Р2 (/), на которых достигается
верхняя грань в (12), являются решениями системы уравнений
(8)—(10), (13) и
Р (/) = max {((Yi/V4) - Nt(/)), 0} | /: Pi (/) = 0,
1=ъ_л ъ ^m },. ,_1<2; 1фи
P(f)+Xi{f)
1 — Уз
*U) + *t(/)
1 Уз
Pl(/)'
maxi
1-6,
<V4Ji,7
,0}
/:Pj(/)>0,
*, 7 = 1,2;
(14)
(15)
где 8X = (vj + y3 — l)/v3 и 62 = (y2 — у3)/(1 — у3).
Утверждения теоремы 2.2 в сочетании с соотношениями (11)
и (12) суммированы в следующей теореме.
Теорема 2.3. Пропускная способность С12 (i?i, R2)
стационарного гауссовского ШК при средней мощности входного сигнала Р
может быть задана следующим образом:
(Дъ Д«)е01,
(ДьЯ.)еЛ;,
С12 (Ri, R2) <
Ci (R^) — Ru
Сг {Ri) — Rti
min{(C?(fl,)-fli), (С5(Д!) —Д,)}, (Bi,ft)ei)i,
'l(O)
+ -Г J to(* +
l(/)+*i(/)
Л(/) + ^1(/)
)d/, (Яь Д.) €=/>;,
'2(0)
где Р (/), P-l (/) и Р2 (/) определяются из системы уравнений
(8)—(Ю), (13)—(15).
3. ПРОПУСКНАЯ СПОСОБНОСТЬ Clt2
ПАРАЛЛЕЛЬНОГО ГАУССОВСКОГО ШК
Рассмотрим непрерывный ШК с дискретным временем и
независимыми стационарными гауссовскими шумами без памяти. Если
{х (0KL-co — последовательность на входе этого канала, а
{Уз (0}ь=-сс, / = 1,2 — соответствующие ей последовательности
на выходах, то шумы {zj (0К1-с*, /=1,2, где Zj (i) = yj (i) —
— Xj (i), представляют собой последовательности независимых
гауссовских величин с нулевыми математическими ожиданиями
и дисперсиями о\ и о\ соответственно. Векторный ШК с п незави-
34
симыми стационарными гауссовскими компонентами, являющими*
ся ШК без памяти, называется параллельным гауссовским ШК-
Шум в таком ШК может быть описан двумя га-мерными
случайными гауссовскими векторами, соответствующими двум
составляющим ШК. Каждый из этих векторов имеет независимые
компоненты, нулевые математические ожидания и дисперсии {crifr}fr=1 и
Для определения пропускной способности гауссовского парал- *
лельного ШК сначала рассмотрим случай, когда мощности
входных сигналов компонент фиксированы. В этом случае гауссов-
ский параллельный ШК рассматривается как параллельный ШК
с ухудшающимися компонентами. При этом воспользуемся
результатами пропускной способности дискретных параллельных
ШК, которые были получены в работе [2]. Заметим, что, производя
оптимизацию распределения допустимой мощности на входе ШК
по его компонентам, мы получим пропускную способность при
ограничении на общую среднюю мощность.
Пропускная способность для дискретного параллельного ШК
без памяти с двумя ухудшающимися в разные стороны
компонентами определена в [2]. Дискретный канал с переходной матрицей
Q = {q (z | х)} называется ухудшенным вариантом канала с
переходной матрицей Р = {р (у | #)}, если найдется такая
стохастическая матрица Р0 = {Р0 (z \ у)}, что Q = РР0. Как показано
в [2], для ШК с переходными вероятностями {р (у | х) =
= A (#i I xi)P2 (У2 I *2); q(z \x) = qx (zx \ xx)q2 (z2 \ х2)} и
такого, что каналы {ql (zx \ хх)} и {р2 (у2 | х2)} являются
ухудшенными вариантами каналов {рх (ух | хх)} и {q2 (z2 \ x2})
соответственно, пропускная способность Glt2 = {(С?, С%)} задается
соотношениями
С?(Д2) = С(1) + max I (Y2;S2)fi2<C{2\ (16)
С\ (Rx) = С(2) + max / (Zx; Sx), Rx < C(1\ (17)
Po(siXi): I(Yu Xi\Sx)=Ri
где С*1) и C<2) — пропускные способности каналов {px (yx \ xx)}
и {q2 (z2 | x2)} соответственно; Sx, Zx, Yu Zx и S2, X2, Z2, Y2 —
марковские последовательности случайных величин. Вторые
слагаемые в (16) и (17) представляют собой пропускные способности
С\ (R2) и С» (Rx) ШК {р2 (у2 | *2), q2 (z2 | х2)} и {Pl (ух | хх),
4i (^l I #i)}, являющихся компонентами канала {р (у \ х), q (z \ x)}
соответственно.
Пусть средняя мощность входного сигнала для к-ш
компоненты параллельного гауссовского ШК фиксирована и равна Рк и
®1к <^ о\ъ- Тогда ее пропускная способность C^l = {(С$, С2*)}
может быть задана параметрически следующим образом [5]:
Cl,k=±-ln{l+Plk/olk),
Cllc=±ln(l + Pn/(Pn + olk)), Ри + Рп = Рк- (18)
2* 35
Заметим, что (18) может быть получено из соотношения
С?,* = max I{Zk;S),
p>(sx):I(Yk-,Xk\S)=Ri
если положить S = N (О, Р2Лг), £ = Хк — 5 = N (О, Р1к), £ и S
независимы, где N (О, Р) обозначает гауссовскую случайную
величину с нулевым средним и дисперсией Р.
Разобьем множество индексов {1, п) на два подмножества К1
и К2, таких, что о\к < о\к при к е Ки о21к > cr|fr при к е #2-
Далее нам будет удобно полагать, что i^ = {1, 2, . . ., кг},
%2 — {^i + 1» • • •> w)i Введем следующие обозначения:
xSi = (д?!, . . ., Skl); xS2 = (5fc1+i, . . ., п); Хг = (Хг, . . ., Х^4);
Х2 = (-X^fri+i» • • •» ^n)» Yj_ = (У1? . . ., Ykl); Y2 = (^ы-ь • • •
• • •» ^n)5 Zi = (Z1? . . ., Zfrl); Z2 = (Zfc1+1, . . ., Zw); Sk = N (0,
a*); ** - sk = Л' (0, plfr), * e *i; 5t = лг (o, Plfc); ** - sk =
= iV (0, jP2ft), к ее K2 {Sk, Xk — 5ft}ftel суть совокупность
независимых случайных величин, Х1? Х2 — векторы сигналов на
входе гауссовского параллельного ШК, a Yj, Y2 и Z1? Z2 — векторы
сигналов на его выходе. С учетом этих обозначений имеем
7i = /(Xi; Y1\S1)=4rVln(l + -f), (19)
/! = /(*.; Y,) = -J- £ ln(l + _^_), (20)
^^/^;Zl)==4^1n(l+T-^-),' (21)
/i = /(X«; Z2|52) = 4- V ln(l + -%), (22)
C«^/(Xi; ¥0-4-^(1 +A), (23)
C(2) = / (X2; Z2) = 4- £ In (l + -A) , (24)
где Pfe = P^ + P2ft.
При любом фиксированном выборе {Рк}к=х значений средних
мощностей на входах компонент параллельного гауссовского
ШК может рассматриваться как параллельный ШК с двумя
ухудшающимися в разные стороны компонентами, причем одна
представляет собой гауссовский параллельный ШК с компонентами,
принадлежащими множеству Кг1 а другая — с компонентами,
принадлежащими множеству К2. Выражения пропускной способ-
ности Clt2 (16), (17) допускают непосредственное распространение
на случай параллельного гауссовского ШК при фиксированных
{i\}L=r С учетом (19)—(24) и выражения для пропускной
способности гауссовского ШК (18) пропускная способность
параллельного гауссовского ШК может быть задана соотношениями
С\ (Д2) = С(1) + max /?, Д2<С(2),
Р1к+Р*к=РГ Р1Ь Р2*>°
С\ (А) = С(2) + max /J, /?х<С(1)
{pibP2*>b=r4=Rl
Р1Лг+Р2^Рй' Plb P2fr>0>
или, что эквивалентно одному соотношению,
C°2{R1)= max (/J +/J)- (25)
Plfe+P2fe=Pfe' Plfe» P2fe>0
Для определения пропускной способности параллельного
гауссовского ШК в случае ограничения на среднюю мощность Р
входного сигнала следует осуществить максимизацию правой части
п
(25) по {JPfr}3t=i, таким что 23 Р* = Р-
Мы приходим к следующей теореме.
Теорема 3.1. Пропускная способность С\ (Лх) стационарного
параллельного гауссовского ШК без памяти с п компонентами
при средней мощности входного сигнала Р задается соотношением
C°2(R1)= max (/2 + /2). (26)
n
2 <pi*+p2fr>eP. Р1Ъ p2fr>°
/c=l
Для отыскания максимума в (26) воспользуемся методом
неопределенных множителей Лагранжа. Составим функционал
п
В соответствии с теоремой Куна— Таккера необходимые
условия, которым должны удовлетворять {Pik}k=i и {P2k)1k=*i> дающие
максимум J в области Pjk ^> 0, / = 1, 2, к = 1, /г, суть
дУ/dPjK = О для всех / и к, для которых Pjk ]> О,
dJ/dPjk <; 0 для всех / и к, для которых Pjk = 0. (27)
Полагая К\ = {к : PJfe = 0}, #1 = {ft: />д > 0}, i, / = 1,2,
37
t
i Ф j и Pk = Plk + P2l(, условия (27) можно привести к
следующему виду:
^-max^-oD.OlK^^. .? /=^ 2. .^;. (2g)
^ = max|—T-1—-, 0] I ^ _ = ^ 2; ._^ (29)
Pfc = max{(|i; — ajfc), 0} J
где jij = —ЯХД2; jx2 = —1A,2.
Значения неопределенных множителей Лагранжа ^ и А,2
п п
определяются из соотношений 1\ +1\ = Rx и 2 Рк= S (^ifr + ^2*)
соответственно. Нетрудно видеть, что решение системы (28), (29)
единственно, и поэтому на нем достигается максимум
функционала J.
При изменении параметра А,х в интервале (0, оо) получаем
кривую С\ (i?i). Однако непосредственное использование
соотношений (28), (29) для нахождения значений {/^ &}£=!, {P2k}k=v
на которых достигается пропускная способность С1>2
параллельного гауссовского ШК, связано с существенными трудностями.
Ниже вводится параметр а, отличный от Хц позволяющий
получить обозримое описание распределения мощности входного
сигнала по компонентам, при котором достигается пропускная
способность ШК. Пусть Р — средняя мощность сигнала на входе
параллельного гауссовского ШК. При каждом действительном a
рассмотрим разбиение множества индексов {1, п) на два
непересекающихся подмножества К^а) = {к : о\к ]> orfjt + а} и if2(a) =
= {к : о\ъ < о21к + а}.
Положим
2 (°h+a' к^К*
L2(a)«
Заметим, что с$(а) при отрицательных а может принимать
отрицательные значения.
Пусть i\(a> — мощность сигнала на входе k-й компоненты
параллельного гауссовского ШК, определяемая из системы
уравнений
Рт) = шах {(к{а) — a|(a)), 0}, (30)
п
2 Рк{а) = Р.
Положим Р(а) = 1 — а/Х(а), где Я(а) — решение системы урав-
38
нений (30), Kha) = {к: (<&/<&)^»« < ptgna}, K(a) = {k: Pi(e)>
>0} и
*laf-tJk' *е^(в)ПХ(в,П^а„ (31)
о, *£#i<«) U (Я?(а)П #(«))•
i, / = 1, 2; 1ф)
Обозначим через №*), i — 1, 2 решение системы уравнений (30),
получаемое при подстановке <т&, i = 1, 2 вместо а|(о)- Теперь
можно сформулировать следующую теорему.
Теорема 3.2. Пропускная способность С1>2 = {(Cj, Ср}
стационарного гауссовского параллельного ШК без памяти с п
компонентами при средней мощности входного сигнала Р задается
параметрически следующим образом:
p(i)
ад = ^-у>[1 + ^—ш-
уЦ%) + °Ъ
CS(a)-4-yiii(l+ ^
(l-V)^Va) + ^
где 7 = 0 при а ;> 0, у = 1 при a < 0.
Доказательство. Для этого достаточно показать, что между
параметрами а и Ях можно установить взаимооднозначное
соответствие, при котором {Рцс}к=1 = {Pjt(a)}fe==b £ = 1, 2, определяемые
соотношениями (30), (31), удовлетворяют условиям (28), (29).
Непосредственной проверкой легко убедиться в том, что такое
соответствие задается с помощью соотношения
Хг = (1 _ аД(а)), -Ж1) < а < Ж2),
где А,(а) — решение системы уравнений (30).
4. ПРОПУСКНАЯ СПОСОБНОСТЬ СЬ2)12
ПАРАЛЛЕЛЬНОГО ГАУССОВСКОГО ШК
Аналогично предыдущему определим сначала пропускную
способность С1>2,12 гауссовского параллельного ШК в случае, когда
фиксированы значения средних мощностей на входах компонент.
При этом снова воспользуемся результатами работы [2]. Затем,
производя оптимизацию распределения допустимой мощности
на входе ШК по его компонентам, получим пропускную
способность при ограничении на общую среднюю мощность.
Как отмечалось выше, если средние мощности сигналов
{Pfe}fr=1 на входах компонент гауссовского параллельного ШК
фиксированы, то он может рассматриваться как параллельный
ШК с двумя ухудшающимися в разные стороны компонентами.
39
В [2] показано, что для ШК, задаваемого переходными
вероятностями {рх (z/i | xt) р2 (у2 | х2); qx (zx \ хг) q2 (z2 | x2)} и такого, что
каналы {qx (zx | х^} и {р2 (у2 I #2) являются ухудшенными
вариантами каналов {рг (уг \ хг)} и {q2 (z2 \ x2)} соответственно,
допустимы все тройки скоростей (Д1? Д2, ^12) > Для которых выполняются
неравенства
#i + #i2<C(1)+ max I(Y2; S2), (32)
Po(s.a2): I(Z2; X2\ Sc)=R2
Ri + Rn < C(2) + max / (Zi; 52), (33)
Д12 < max min {(/ (yl5 5X) + / (Y2; S2)), (/ (Zx; 5X) + / (Z2; S2))})
(34,
где max берется по распределениям р0 (s^) и р0 (s2x2) на Si-X^
и S2X2, таким, что / (Ух; Xx \ St) = min {C*1), Rx} и / (Z2; X2 |
I S2) = min {C(2>, i?2}, где С*1) и С<2)— пропускные способности
каналов {рг (уг \ хх)} и {q2 (z2 \ x2)}соответственно Sx, X1,YlJZ1
и S2, Z2, У2, Z2 — марковские последовательности случайных
величин.
Аналогично тому, как это было сделано в предыдущем пункте
для случая отсутствия общей информации, описание множества
допустимых скоростей соотношениями (32) —(34) можно
распространить для гауссовского параллельного ШК с фиксированными
{Рк}к=1- Для этого в дополнение к обозначениям, введенным выше,
положим
/! = /(SxS2; YlY2) ' f>fl+ „ *"., ) +
+4-1 Ч1+-^Ы' (35>
hi . p \
H±I(Si, S2; Z1Z,)-4-Vto[i+--^r] +
jfej \ *lfr "Г °2)t
+ т S Ч' + ТтН
(36)
При этом соотношения (32) — (34) принимают вид
#i + Rn < C(1) + max ll = I(R2), (37)
о
Plk+P2k=Pk> Р1Кш P2k>0
R* + R12 < C(2) + max /£= / (ft), (38)
<pi*>teKt:'i-R*
JPlk+^k-^fc"» plb P2fr>°
40
i?i2< max a + b, (39)
{Pifc)fc=if *=*l,2:4-mln(C<*>f R2)
Z^minCCd), RO
. Plk+P2k=Pk> Plk, P2k><>
Обозначим множество всех троек (Л1? Л2, Л12),
удовлетворяющих (37) — (39), через J#, а множество всех троек,
удовлетворяющих (37) — (38), через J?. Очевидно, что любая тройка (Л1? Л2,
R12) §= $ недопустима для рассматриваемого ШК. Это следует
из того простого факта, что если для ШК допустима тройка
скоростей (Л15 Л2, Я12), то допустимы и пары (R\ = Л1? R\ = Л2 +
+ Л12), (Лх = Лх + Лх2, Л2).
Лемма 4.1. Для стационарного параллельного гауссовского
ШК без памяти с п компонентами при фиксированных Рк, к = 1, п
множества Л и М совпадают.
Доказательство. При Л1; > С*1) P2fe = 0, & е= /^ и из (37) —
(39) следует, что Л2 <^ С*2), Л12 <! / (Л2) — Rv Аналогично
при Л2 > С<2), Лх < С*1) и Л12 < / (Лх) — Л2. Пусть теперь
Rx < CW и Л2 < С<2>. Для фиксированных {P^}fr=i» {^2frKU>
pik, p2k > 0, Plfr + P2fe = JPfc, A: = 1, n имеем при Лх = /J
в соответствии с (19) и (35)
(40)
и при Л2 = /2 в соответствии с (22) и (36)
(41)
Так как множества Zx и К2 не пересекаются, то из (40) и (41)
следует, что в (39) max min = min max и, следовательно,
Д12 < min {(/ (Д2) - ДО, (/ (Л0 - Д,)}.
Последнее неравенство эквивалентно неравенствам (37), (38),
что и завершает доказательство леммы.
Разобьем множество всех допустимых для гауссовского
параллельного ШК пар скоростей (Л1? Л2) на три
непересекающихся подмножества Dx = {(Л1? Л2) : Rx > Cj (0), Л2 < С\ (0)},
/>; = {(Лх, Л2): Л! < С? (0), Л2 > С2° (0)}, D2 = {(Лх, Л2) :
41
•• Ri<C°i (0), Д2 < C\ (0)}, где С? (0) и С°2 (0) определены в
теореме 3.2 при а = 0.
Имеет место следующая теорема.
Теорема 4.1. Пропускная способность С1>2)12 стационарного
параллельного гауссовского ШК без памяти с п компонентами
при средней мощности входного сигнала Р может быть задана
соотношениями
C12(Ri, Л,) = Я (Л2) - R19 (Л15 RJeDi, (42)
С1Ш(В19 R2) = Cl(R1)-R2, (Л15 Л2)е/?1, (43)
С12 №, Да) = m*x min {/?, /§}, (Л15 Л2) е #2, (44)
где max в (44) берется по {Р^}£=1 i = 1,2 таким, что
2 п
Zj ^^1^ = ^; ^ifc» ^2fc >0; /! = /?!; /2 = Л2.
i=l /c=i
Доказательство. Из леммы 4.1 следует, что пропускная
способность параллельного гауссовского ШК С1>2>12приограничениии
на общую среднюю мощность входного сигнала Р является
границей объединения множеств троек скоростей, определяемых не-
п
равенствами (37)—(39) при всех {Р&К-=1> таких, что 2 Р* = Р ->
Pfe]>0. Очевидно, что при любых Rx и Л2 Rx + С12(Л!, Л2) <[
< С\ (Л2) и Л2 + С12 (Л15 Л,) < CJ (Лх). Пусть (Л1? Л2) < Я}
и пусть С^ (Лх) достигается на {Р&}£=1- Из теоремы 3.2 следует,
что для такого распределения мощности по компонентам CW ;>
;> С J (а = 0) > i?i. Тогда из леммы 4.1 имеем Лх + С12 (Л1? Л2) ;>
> С2 (Лх). Равенство (42) доказано. Аналогично доказывается
равенство (43).
Для доказательства (44) заметим, что из (39) следует
С\2 (Ль Я2) < max min (/J, 7j), (45)
где max берется по {Pifr}fr=n i=l, 2 таким, что
2 2 /\* = *\ Ри, *» > 0, Л - min (СО), Лх), /*=ппп (С<*>, Л2).
• Покажем, что при (Л1? Л2) €= #2 в (45) можно положить 1\ =
= Лх и /2 = Л2. Тогда из леммы 4.1 будет следовать (44). Заметим
сначала, что ни при каких {Pfr}jc=i не могут одновременно
выполняться неравенства С*1) < Лх и С<2) < Л2. Пусть Рг + Р2 = Р,
Рх, Р2 ^> 0. Рассмотрим функцию
/ (Pi, Д2) = max C(1) +
+ max ^ ^2) = C(1)(Pi) + /?(Pi, Л2).
{^L^+i1 2 2 pi/r=p*
i=i fr=rfri-f-i
4а
Пусть фиксированы (Rl9 R2) €Е D2 и Рх так, что С*1) (Рг) < Rx.
Из леммы 4.1 следует, что при этом допустима тройка (Rl9 i?2,
R12) = / (Pi, i?2) — Ri> Покажем, что в этом случае найдется Р19
такое, что №> (Рг) = Лх и / (Р1э Л2) — Rx > 7 (Plf i?2) — Лх.
Отсюда и из того, что тройка (Л1? Л2, Л12 = / (Р1? Л2) — Лх)
допустима, будет следовать, что в (45) можно положить I\ = R±.
Пусть Р* — значение Р±, при котором достигается С? (а = 0)..
Тогда С*1) (Рг) < Лх < CW (Pi). Следовательно, Рг < Р* и
найдется i*i< Pi<P*, такое, что С*1) (Рх) = Rx. При этом в силу
монотонности по Рх функций I (Р19 Д2) в интервале {0, Р{)
I (P, R2) — R± > / (Pi, i?2) — Я1# Аналогично показывается, что
в (45) можно положить /2 = Д2. Теорема доказана.
При (Л1? Л2) ЕЕ /)2 формула (44) дает неявное выражение для
C12(R1, R2). Для получения явного выражения нужно вычислить
max min в (44).
Разобьем множество D2 на два непересекающихся
подмножества D'2 и D2, таких, что в D2 входят такие пары (Rl9 Л2), для
которых в (44) max min = min max, а в D2 входят (Rl9 i?2), для
которых в (44) max min < min max.
Для (Rlt R2) E: D'2 имеем
Си (Яъ R%) =min l(Ci (Щ - i?i), (Cl (R1) -R2)}.
Определение пропускной способности при (Rl9 R2) ЕЕ D2
опирается на следующую лемму.
Лемма4.2. Пусть ft(xx, х2, . . ., хп) и/2 (хи х2, . . ., хп) —
действительные функции, D — замкнутое множество в ^-мерном
пространстве и max min {fl9 /2} достигается в точке {х J?=i. Тогда
D
если Д (^i, . . ., хп)Ф12(х1, . . ., хп), то функция, принимающая
меньшее значение в точке {£*}£=!, имеет в ней локальный
максимум.
Справедливость утверждения леммы 4.2 очевидна. Из данной
леммы и единственности максимумов функций /J и 1\ следует, что
при (Rl9 R2) ЕЕ #2 (44) эквивалентно соотношению
Си (Дц Л,) = max I°v (46)
2 n
где max берется по {Р1к}^19 i = 1, 2 таким, что 2 2 Piis = P%
Ptt > 0, i = 1, 2; fc = Т7^; /i = Дх; I\ = Д2; /J = /J.
Используя аналогично предыдущему разделу метод
неопределенных множителей Лагранжа и теорему Куна — Таккера, можно
получить необходимые условия, которым должны удовлетворять
{Plfr}£=1 и {P2fr}fr=i> Дающие максимум в (44). Точнее, пусть
43
Пусть *; = (*_: Л* = 0>, К\ = {к : Рл > 0}, *, / = 4,2,
i ф j и пусть /^ — /*lt + p2ll. Вычисляя частные производные
функционала О и осуществляя несложные преобразования,
получим, что необходимые условия, которым должны удовлетворять
{ЛЛ£=1 и {^2*}5с=и Дающие максимум в (46), суть
Pfc = max (Yi (у4 — о*к), 0}]
*EJfi, i = l, 2, (47)
1-7з
+
7з
Уз
<Y4
'»+"
а
1*
П + б
= ?4
PiJt==max(M^L,0}j
/сЕ^ I, / = 1, 2; *=^/,
(48)
где Si = (Yi + 7з — 1)/?8» S2 = (у2 — 7з)/(1 — 7з) и значения
постоянных множителей Лагранжа уг, у2, 7з и 74 определяются
2 п
из соотношений /J = Лх; /| = Д2; /° — /* = 0; j S^» = ?
i=l fe-i
соответственно. Так как решение системы (47), (48) единственно,
то на нем достигается максимум функционала J.
Таким образом, имеет место следующая теорема.
Теорема 4.2. Пропускная способность Clf2fl2 стационарного
параллельного гауссовского ШК без памяти с п компонентами
при средней мощности входного сигнала Р может быть задана
соотношениями
Ci2(Ri, R2) =
lCl(Rt)-R» (ДьА)|
С'2 (Ri) — #2, (i?ii #2) <
min {(С? (Д2) - i?i), (Cj (ЛО - Д,)}, (Дь Л,)
kSIn(1+TT^)+
ьГ?Г \ ^2* Т" 3ifr /
ке=К2
#2,
где {Pik}k=i и {/^2?c}te=i определяются из соотношений (47) и (48).
Теоремы 3.2 и 4.2 полностью определяют пропускную
способность стационарного параллельного гауссовского ШК без памяти.
Произвольный стационарный гауссовский процесс может быть
разложен в гармонический ряд на интервале [—Г/2, Г/2],
коэффициенты которого в пределе при Г *->- оо некоррелированы.
Поэтому пропускная способность стационарного гауссовского ШК
может быть получена предельным переходом из пропускной
способности стационарного параллельного гауссовского ШК без
44
памяти. При этом из утверждения теорем 3.2, 4.1 и 4.2 следуют
утверждения соответственно теорем 2.1, 2.2 и 2.3. Строгое
обоснование предельного перехода может быть сделано аналогично
обоснованию, делаемому при вычислении пропускной способности
обычного стационарного гауссовского канала [1].
Литература
1. Галлагер Р. Теория информации и надежная связь. М.: Советское радио,
1974.
2. Полтырев Г, Ш. Пропускная способность для параллельных
широковещательных каналов с ухудшающимися компонентами.— Проблемы
передачи информации, 1977, т. 13, № 2, с. 23—35.
3. Hyghes-Hartoga D. The Capacity of the Degraded Spectral Gaussian
Broadcast Channels.—Technical Report N 70002—2, Inform. Syst. Lab. Center
for Syst. Res. Stanf. Univ., July, 1975.
4. Cover T. Broadcast Channels.— IEEE Trans. Inf. Th., IT—18, vol. 1,
1972, p. 2-14.
5. Bergmans P. P. A simple Converse for Broadcast Channels with Additive
Gaussian Noise.— IEEE Trans. Inf. Th., IT—20, vol. 2, 1974, p. 279—
280.
УДК 621.391.154
ОБ ОЦЕНИВАНИИ ЧАСТОТЫ
МНОГОКАНАЛЬНЫМ ПРИЕМНИКОМ
Г. К. Голубев
1. Пусть наблюдаемый на отрезке [0, Т] случайный процесс
X (t) допускает стохастический дифференциал
dX (t) = cos (2nQt + Ф) dt + dg (*), X (0) = 0, (1)
где | (t) — стандартный винеровский процесс; £ (0) = 0; <p —
неизвестный мешающий параметр, ср Е= [0, 2я].
Задача оценивания 9 играет важную роль в технических
приложениях и подробно описана в литературе [1—4].
В настоящей работе рассмотрен один из методов оценивания
параметра 9 £= 0 = (сос — W, сос + W), сос > W по
наблюдениям X (t) из (1) при Г-х».
Известно, что оценка максимального правдоподобия (ОМП)
б параметра 9 по X (t) удовлетворяет соотношению
TISsup El ф (в — 9)2 ^L = 1, (2)
г-*ооеея ' °
где EQt(p(-) означает усреднение по мере в пространстве
непрерывных функций на [0, Л, порожденной процессом X (t) из (1), К —
45
некоторый компакт из 0. Известно также, что для любой другой
оценки 8 параметра 6
ПЫ sup El ф (в — б)2 ^L > 1 (3)
<ре[о, 2я]
(см., например, [1]; строгое доказательство соотношений (2) и (3)
вытекает из результатов [4]).
К сожалению, ОМП параметра 0 относится к физически
нереализуемым оценкам. Для ее нахождения необходимо знать
значения функционалов
т т
I cos 2лШХ (t) и J sin 2лШХ (t)
о о
во всех точках 8 ЕЕ в (см. [1]). Поэтому довольно часто [1]
пользуются следующим приемом: вычисляют значения
т т
^ cos 2nQktdX(t) и lsin2nektdX(t) (4)
о о
в точках 8* = сос + к/Т, к = О, ±1, ± 2, . . ., ± WT и в
качестве оценки частоты 0у принимают то значение 6^, которое
максимизирует выражение
Т 2 Т 2
(J cos 2nQktdX (*)) + (J sin 2n%tdX (t)) .
о о
Описанный метод оценивания получил название «оценивание
с помощью многоканального приемника».
Ясно, что даже при отсутствии шума
supEf ф(вг — е)2=1/4Г2
век '
ф£[0, 2Я]
и поэтому
lim sup El ф (вг — в)2 -^- = оо,
г->оовек *
Ф6[0, 2Я]
т.е. оценка 0у очень сильно отличается по своим асимптотическим
свойствам от ОМП.
В настоящей работе показано, что, используя выходные
сигналы тех же AWT + 2 корреляционных приемников, т. е. вычисляя
(4), можно строить оценки, обладающие столь же «хорошими»
асимптотическими свойствами, что и ОМП.
Опишем кратко общую ситуацию оценивания с помощью
многоканального приемника. Пусть {t|)J, i = 1,4 WT + 2 —
некоторая ортонормированная система функций в L2 (О, Г).
46
Тогда по статистикам
г
у. = J ^ (*) dX (*), i = l,4WT + 2
о
(У/ — выходной сигнал в г-м канале (AWT + 2)-канального
приемника) необходимо построить оценку параметра 9. Другими
словами, по гауссовским наблюдениям
У, = mt (9, Ф) + 1Ь i = 1AWT + 2, (5)^
т
где mi (9,ф) = J cos {2пЫ + ф) tyi (t) dt,
о
a li — независимые гауссовские случайные величины с
параметрами (0, 1), требуется оценить 9 ЕЕ 0.
2. Пусть А^т — оператор проектирования в L2 (О, Т) на
подпространство, порожденное функциями г|^. Тогда задача
оценивания 9 по Yt из (5) эквивалентна задаче оценивания 9 по
наблюдениям У (t), допускающим стохастический дифференциал
dY (t) = AfT cos (2я9* + ф) dt + d% (t). (6)
В этом несложно убедиться, выписывая отношения
правдоподобия в задачах (5) и (6) (см. [5]).
Пусть 9* — ОМП, построенная по наблюдениям Yt из (4),
т. е. 0* — одно из решений уравнения
4WT + 2
м 2 т-/ме*,Ф)]2 =
Фе [о, 2я] к=1
4WT+2
= inf inf 2 РЧ-'Мв.ф)]1. (7)
069 ф£[0, 2Я] ^=1
Справедливо следующее утверждение.
Лемма 1. Пусть функции {i|)J, i = 1,4 WT + 2 таковы, что
для сигнала А^т cos (2я9£ + ф) выполнены следующие
соотношения:
1 А^Т wcos (2jtW + ф) |Г> ClT3'
inf || 4fт [cos (2ли* + ф) — cos {2nvt + ф)] ||а > ^Г1/.,
|и-г?!>Г-5А
где ^ и с2 — некоторые постоянные. Тогда для любого компакта
KCZ®
г [0, 2Jt]
lim sup Я? ф (9* — 9)2 Ц4- cos (2я9* + ф)||2=
г^оовек ' II ** И
гл]
-^-cos(2rt9*-f Ф)|2х
^-со8(2пв^+Ф)||2"1"1. (8)
= lim
X
inf 1
eejf I
фе[о,
AfT
2Я]
Доказательство вытекает из теоремы 1 работы [5] х.
3. Рассмотрим конкретную задачу оценивания с помощью
корреляционного приемника. В этом случае удобно
рассматривать систему функций t|$, состоящую из пар
{Yjr cos 2я9*'> Vtsin 2я9*'}' А=0'±4' ±2' •''' ±WT-
Предварительно установим некоторые свойства оператора про-
ектирования Л^о на подпространство, порождаемое системой
функций {ф?}. Обозначим для краткости
Д (0ц 02» ф) = cos (2^8^ + ф) — cos (2я82£ + ф).
Лемма 2. Существуют постоянные сг и с21 такие, что начиная
с некоторого Т> Т0 выполнены неравенства
\\AfT ^ cos (2я8* + ф)||2 > ClT\ (9)
inf || А$ТЬ (Эх, 92, ф) ||2 > ъГК (10)
iei-e2|>r-5/4
Доказательство. Несложно убедиться, что
WT
+ w(et + e)r J V ~Т <cos 2я9*' cos Iя ^ - в) Г - ф] +
+ sin 2я8** sin [я (в* — 9) Т + ф]}.
Поэтому
|^0 жсо8(2яв* + Ф)(| = ^ Т[Ж я(9,-9)Г j +
XV Т
+ ~ L [ я(9,-9)Г +^(П>^3
Для доказательства (10) обозначим
© (81,8,)= £ т[
Т Г sin яГ (9fc — ех) sin яГ (9^ — 92) ]«
яГ (9^. — 9Г) лТ (9. — 92)
и заметим, что найдется а > 0, такое, что
||Л^Д(81,82, ф)||2>аО(вь82).
1 Хотя в [4, 5] рассмотрены задачи оценивания без мешающего параметра,
все результаты этих работ непосредственно переносятся на данный случай.
48
Обозначим 6Х — 02 = z и предположим, что 8i GE [9fc, Qk -f-
+ Va Л для некоторого А. Рассмотрим следующие случаи:
1) exeie. + v^, ь + ЧгТ], 2>o.
Тогда
inf D(9i>ei + z)> inl -y-
Sin3tr[(6fe — e! + 2)"|2
sinjtrte^-e!)
яГ (6fr - 6i + 2)
f> Ы 4-Л inf (ii^V
>
>
! 1 \ ВД /»J
r <»<•«■■
T<V<T
2) QiS[8t + 1/4y, Oit + Vin, z<0.
В этом случае
inf Z)(9i,e! + z)>
-2>T-'/«
' sin лГ (6fe+1 — 6г) sin яГ (efr+1 — 0! + z) "12
«Г(в,
inf -5- -
_2>г-'/< ^ [
. inf 1*Г inf (i!2J3LY
4 " 2
/_sin_^_V I2
fr+1 '
яПв^-е^*)
>
>
2 " 4
Совершецно аналогично рассматривается область вг (= [9^,
б* + V4 Л- Лемма доказана.
Теорема 1. Пусть 9* — оценка, построенная по AWT + 2
линейным статистикам Yt согласно (7). Тогда для любого
компакта К d в справедливо равенство
= 1.
(11)
lim sup El ф (9* — 9)21 ~4гG0S (2л9* -f ф)
г->оо век ' II ак)
сре[о, гя]
Доказательство. На основании (9) и (10) несложно убедиться,
что для сигнала А*$Т cos (2nQt + ф) выполнены условия А и Б в
[4]. Поэтому, воспользовавшись (8), получим
lim sup 2?е, Ф(9*
Г->оо ф<=К
<ре[о, гя]
-О)2
lim
Т-»оо
2л2Г3
II ^9
inf
• cos(2ji0£ + ф) =
д Sin Я (6А-6) Г "]2
(f<=[0, 2Я] ^=-Wr
ае л (в,.
— в) т y
+
+
ЗТ2уз г sin я (8fe — 6) Г -|ч-1
~2— [ я (в*-6) Г JJ
49
>
Разлагая функцию ехр (2яШ£) в ряде Фурье на отрезке [-—Г/2,
772] по полной системе функций (1/]/ Т) ехр (2niQkt), к = О, ±1,...
и пользуясь равенством Парсеваля, найдем
_JL_I V т \ д sinjt(9A> — 9)у]2
+ -
я27-з г sin я (вл —в) Т
г sinn(Ug — й
[ «О*-в):
-6) Г
= 1.
Поэтому, учитывая, что | Qk — 0 | > б при Об^и | к\ >
> ИГ, где б = min [р (сос -ТУ, Я), р(сос + W, К)], а р (х, К) =
= inf | я — у|, найдем
lim
wr
тГ^ 2^^e^frJLr 2 L *е я(вк-в)Г
inf
д sin я (6Л — 0) Т
+
+
я2Гз г sin я (6fr — 6) Т
X
г sin я (tf fr — t
L *(0*-е):
Е~ т7 Г^ cos я (fy
> 1 — 2 lim sup 9<rr2T3
X
>fe — в) Г 8тя(вл — 6) Г 12
lf=WT
6) Т
ЯГ (6,-6)2
>1
— ЗПт Y •
fc=0
= 1.
Используя (3), получаем (И). Теорема доказана.
Число линейных статистик, равное AWT, является
минимально (с точностью до эквивалентности) возможным для построения
оценок, обладающих единичной асимптотической эффективностью.
Ниже (теорема 2) показано, что если число линейных статистик
N (Т) таково, что N(T)/AWT <; а < 1, то асимптотическая
эффективность любой оценки, построенной по N (Т) линейным
статистикам, строго меньше 1. Точнее, будет установлен следующий
результат.
Обозначим через 9Кдг класс всех измеримых функций,
отображающих RN в Д1, и
R(a)— lim inf inf X
г—эо №}eL2(o, Г) ееэдлг/тл
N(T)<a*WT l v<=jjcN(T)
2я2Г3
X sup Ei ф (6 (Уь ..., YN(T)) — 6) —^
ф<=[о, 2л]
Здесь, как и в д. 1,
т
Yt= ^i(t)dX(t), i=TJUT).
-50
Теорема 2. Если lim N (T)/WT = а < 1, то
Т-+оо
R (а) = (1 - (1 - а)3)-1. (12)
Лемма 3. Для величины R (а) справедливы оценки
R (а) < [1 - (1 - а)3]"1, (13)
г 4аИТ ^
Д(а)> lim 2 К(Т)\ , (14)
L Г->оо i=l J
где Xt (T) — собственные числа положительного вполне
непрерывного интегрального оператора на отрезке [О, Т] с ядром
К(*, т) = -jttxcos2жос (t — t) —nW(t__x) •
Доказательство. Применяя теорему 1 для наблюдений на
отрезке [Г (1 — а), Л, получим
г
Л(а)<11пТ^р1{ jj [^-со8(2я9^ф)]2^р =
"""^ Г(1-а)
= [1 —(1—а)8]"1.
Неравенство (14) представляет собой незначительную
модификацию леммы 3 в [5]. Лемма доказана.
Таким образом, для доказательства теоремы 2 осталось уста-
новить оценку
<aWT
lim 2 МГ)<1—(1—а)3- (15)
Г—оо г=1
Имея в виду п. 4, установим несколько более общий
результат, чем (15). Пусть
Кх (*, т) = 2 cos 2ясосГ (t — т) д/, 1 L
(*-т)
— ядро вполне непрерывного интегрального оператора,
действующего на отрезке [0, 1].
Лемма 4. Если а > 1, то для собственных чиселц(а)(Г) вполне
непрерывного интегрального оператора с ядром а (^Кг (£, т)атг
я (О ЕЕ £2 (0» 1)> действующего на отрезке [0, 1], справедливо
соотношение
mWT
1^ -ШТ Ул ^ (Т) < sup Г a2 (*) Л. (16)
г—* mese=a e
Доказательство может быть проведено методом, приведенным
в работе [6], где установлено аналогичное утверждение для
оператора с ядром a (t) а (т) sin 2nWT (t — т)/я (t — т). Поэтому
отметим здесь лишь некоторые детали, специфичные для данного
случая.
51
t
Собственные числа [г(/} (Т) оператора с ядром Кх (£, т) обладают
следующими свойствами:
оо Г
1. 2 v\1)(T) = $K1(t,T)dt = 4lVT [7, с. 194].
г=1 о
2. Пусть б > 0. Найдется число С6 > 0, такое, что [г^ <
<ехр (—C6i) при i >(1 + 6)4 ИТ.
Покажем справедливость свойства 2. Ядро исходного
оператора разлагается в сумму ядер
ехр (2шюсГ (* — т)) я(;__Т)—- +
г / о • г ,. чч sin 2nWT (t — т)
+ ехр (— 2яиосГ (t — т)) я(,_.т)—'- .
В этом случае [8, с. 195]
mJS-i < I** + Ия (17)
где [х$ — собственные числа, определяемые следующим образом:
Г sin 2nWT (t — r) , ч , ,,ч
J я(;-т) L 4>i СО dt = рм (*).
о
Из леммы Видова [7] вытекает, что существует постоянная
Св, такая, что \in ^ ехр (—Сеп) при п > (1 + е) 2ИТ. Из этого
неравенства и (17) следует свойство 2.
Пользуясь тем, что в силу свойства 2 экспоненциальный спад
собственных значений оператора с ядром Кг (£, т) начинается со
значений с вдвое большим номером, чем номер, с которого
начинается экспоненциальный спад собственных значений оператора
с ядром sin 2nWT (t — т)/я (t — т), и повторяя далее почти
буквально выкладки работы [6], придем к (16).
Из (16), полагая a (t) = t, получаем (15). Таким образом^
теорема 2 доказана.
4. Рассмотренный выше метод оценивания частоты сигнала
можно перенести на задачу оценивания частоты сферической
волны, распространяющейся в Rn. Пусть наблюдаемое гауссовское
поле #(*!,..., £п) представляет собой смесь сферической волны
неизвестной частоты sin (2яг0 + ф), 0е8 и белого гауссов-
ского поля п (*!, . . ., tn):
x(t±1 . . ., tn) = sin (2лг8 + ф) + п (*lf . . .,*п), 0<г<Д. (18)
Здесь, как и выше, ф — мешающий параметр, фЕ(0, 2я], а
гауссовское поле п (£1? . . ., tn) имеет корреляционную функцию
Мп (tu . . ., tn)n fa, . . ., тЛ) = 8 (tx — Tj)- . .. -6 (tn — тп), г =
= У ti + • • • + *п« Обозначим 2?£ф (•) — усреднение по мере
Ре,у (•) в пространстве непрерывных линейных функционалов на
шаре S (R) радиуса R в i?n, порожденной гауссовским случайным
полем х (tx, . . ., tn) из (18).
52
Как и ранее, будем рассматривать задачу оценивания
параметра 9 по наблюдениям х (^, . . ., tn) на шаре S (Д). В качестве
оценок параметра рассмотрим только такие оценки, которые
являются функциями конечного числа линейных статистик от
наблюдаемого поля х (tx, . . ., tn).
Отметим, что в рассматриваемой ситуации все результаты
[4, 5], как и результаты пп. 1—3 настоящей работы, имеют тот же
самый вид за тем исключением, что вместо нормы в L2 (О, Т) *
нужно использовать норму в L2 \S (Д)1:
\\-\\%(R)= $ H*<tti -...•**„.
S(R)
Рассмотрим сразу конкретную систему функций, состоящую из
пар
{Д-п/2у-*/2 (п) sin 2nQkr, R-n/tir1/* (n) cos 2nQkr},
fy = coc + k/R, к = 0, ±1, • • ., ±WR,
где v (n) — объем единичной сферы в Дп.
Пусть 9£ — ОМП параметра 9, построенная по наблюдениям
Y[1) = R~n/2v-l^(n) J sin2st&irz(tb...,tn)dtu...,dtn,
S(R)
Y[2) = R'n/2v-^(n) J cos2nQirz(tu...ttn)dt1,...,dtn,
S(R)
* = 0,±1,±2,..., + Ш?.
Для оценки 9* имеет место результат, аналогичный теореме 1.
Теорема 3. Для любого компакта К С в
lim sup Е^ф(е*-9)2|4-со8(2я9г + ф)|2 =1.
фе[0, 2Л]
Доказательство этого утверждения аналогично доказательству
теоремы 1.
Рассмотрим теперь ситуацию, когда в нашем распоряжении
имеется не 4WR линейных статистик, а произвольное число N(R).
Теорема 4. Пусть SRjy — множество измеримых функций,
отображающих RN в Д1. Если lim N (Д)/4Ш? = a < 1, то
К->оо
Ш inf inf sup Egq>(Q(Y1,...,Y!HR)) — Q)2x
X | Ж sin (2я9г + Ф) £<*> = 11 - (1 - «ОТ1, (19)
a Yi= J ^t{Ltii...,tn)x(t1,...,tn)dtx,...,dtn, i = l,N(R).
S(R)
Доказательство. Метод доказательства (19) аналогичен
доказательству (12). Воспользовавшись теоремой 3 для наблюдений
53
поля х (tt, . . ., tn) в шаровом слое
Я(1 —а)<У*;+... + £<Я,
получим оценку сверху для правой части в [18]
Tim" inf inf sup Е^ф(0(Уь ...,YN(R))— 9)2Х
X ||-^- sin(2явг + Ф) |2s(R) < Пш ^ [-^-sin (2*9/- + <р)]2 х
S(R)
Xd^/jf r-^sin(2ner + 9)]2dy—
I S(R)
- J [ J^- sin (2я9г + Ф)]2еЦ = [1 - [1 - а]*"]"1. (20)
S(B(i-a))
Пусть теперь Xt (Л) -— собственные числа интегрального one-
ратора, действующего на сфере 5 (i?), с ядром К (£, т) (£, т —
векторы в Rn):
(Oc~Wo
Х-|Г81п(2Яв|т| + Ф)йвЛр|-й-8т(2ябг + Ф)РВ) =
= ||-^- sin (2n0r + Ф) |gR) 4я* | * 11 t | cos 2я<ос (| t \ -1 t |) X
Bin2«W(|t|-|T|)
urfF(|*|-M) *
Из леммы 3 в [5] получаем оценку снизу
"ПИТ inf inf sup Е?,,(в(У1, ...,YN(R))~в)аХ
я-*во^>вад«")]5е»ЛГ(В)ф6вевя]
4aWK
x|-^si„(2rtr0 + f)|fs(R)> lim [ £ Ми)]"1- (21>
Очевидно, что собственные функции интегрального оператора
с ядром К (£, т) являются сферически-симметричными. Поэтому,
переходя к сферическим координатам, найдем, что Xt (R) суть,
собственные числа интегрального уравнения
R
п + 2 С о / \ sin 2nW (rx — г2) , ч n-i j
-^ j nr2 cos 2яшс (n - r.) znTF^-r,) *« (Г2> Гг dr*=
0
54
Положив ifo (r) = (pi (r)?-71-1/2, приходим к интегральному
уравнению с симметричным ядром
R п+1 п+1
^-JrH r22 cos2™>e(ri-r,)X
Как и при доказательстве теоремы 3, воспользовавшись
леммой 4 при a (t) = £(n+i)/2, получим
lim 21 Х4(Д) = [1 — (1— а)^]"1.
К-*оо г—1
Последнее равенство, (20) и (21) завершают доказательство
теоремы.
Литература
1. Витерби Э. Д. Принципы когерентной связи. Пер. с англ. М.: Советское
радио, 1970. 392 с.
2. Возенкрафт Дж., Джекобе И. Теоретические основы техники связи.
Пер. с англ. М.: Мир, 1969. 640 с.
3. Ван Трис Г. Л, Теория обнаружения, оценок и модуляции: Пер. с англ.
М.: Советское радио, 1972. Т. 1. 744 с.
4. Ибрагимов И. А., Хасъминский Р. 3. Оценка параметра сигнала в гаус-
совском белом шуме.— Проблемы передачи информации, 1974, № 1,
с. 39-59.
5. Голубев Г. #., Хасъминский Р. 3. Оценивание в гауссовском белом шуме
с помощью конечного числа линейных статистик.— Теория вероятностей
и ее применение, 1979, № 4.
•6. Бирман М. Ш. Об асимптотике частичного следа одного семейства
интегральных операторов.— Записки научных семинаров Ленингр. отд-ния
мат. ин-та АН СССР. Л.: Наука, 1980, т. 81, с. 73-87.
7. Widow, H. Asymptotic behavior of the eigenvalues of certain integral
equations. II, Arc. Rat. Mech. Anal., 1964, N 3, p. 215—229.
8. Функциональный анализ/Под общ. ред. С. Г. Крейна. М.: Наука, 1972.
544 с.
УДК 621.391.154
К ВОПРОСУ ОБ АСИМПТОТИЧЕСКИ
ДОСТАТОЧНЫХ СТАТИСТИКАХ
С. Ю. Ефроймович, М. С, Пинскер
1. ВВЕДЕНИЕ
Пусть на а-алгебре $ задано семейство вероятностных мер
# = {Pq; 9 ^в}. Известно, что если для семейства Щ можно
построить нетривиальную достаточную статистику, то решение
многих статистических задач значительно упрощается. Однако,
во-первых, лишь для узкого класса семейств вероятностных мер
55
можно построить нетривиальные достаточные статистики, а во-
вторых, возможность построения такого рода статистик очень
чувствительна к изменению семейств вероятностных мер,
например к смесям [1, с. 13, 14].
Поэтому естественным (конечно, если придерживаться теории
больших выборок) является введение асимптотически достаточных
статистик, удовлетворяющих следующим требованиям: они
асимптотически должны обладать вероятностными свойствами
достаточных статистик, их можно строить для широкого класса
вероятностных мер и они сохраняют свои статистические свойства (робаст-
ны) при малых изменениях этих семейств.
Понятие «достаточная статистика» впервые было строго
введено Р. Фишером в 1925 г. в [2]. В этой же работе им был поставлен
вопрос о целесообразности выделения класса статистик, фишеров-
ское информационное количество которых близко к
информационному количеству Фишера для & (заметим, что если эти
информационные количества равны, то статистика достаточна).
Естественно было ожидать, что такой класс статистик будет удовлетворять
сформулированным выше требованиям к асимптотически
достаточным статистикам [3], последнее было подтверждено в работах
[4, 5].
Существенный шаг в развитии данной проблемы связан с
фундаментальными трудами Ле Кама [6—9]. Основываясь на
задачах проверки статистических гипотез, Ле Кам предложил
определять асимптотическую достаточность статистики Т через
вариацию распределений вероятностных мер соответственно из
семейств & и <§', где семейство W таково, что статистика Т для
него достаточна (см. более подробно далее определение 1
асимптотически достаточной статистики по Ле Каму, причем в этом
определении мы ограничиваемся случаем, когда #' также
определено на $). В работах Ле Кама и ряде других [10] показано,
что для семейств гладких вероятностных мер в случае
независимых и марковских наблюдений объема п асимптотически
достаточной статистикой при п—> оо является информант (болееподробна
см. п. 2). В этих же работах показана возможность построения
асимптотически эффективных критериев проверки статистических
гипотез с помощью асимптотически достаточных статистик.
Независимо от указанных выше подходов к определению
асимптотически достаточных статистик при байесовской постановке
задачи возник теоретико-информационный подход к
сформулированной проблеме [11—13], заключающийся в следующем. Пусть £ —
сигнал на выходе канала с распределением Р„, зависящим от
значения и сигнала 8 на входе канала, и 9 — также случайная
величина с распределением F. Тогда определено как совместное
распределение (9, £), так и (9, Т) и асимптотическая достаточность
определяется через разность между информацией по Шеннону,
содержащейся в £ относительно 9, и информацией по Шеннону,
содержащейся в Т относительно 9. Отметим, что если эта
разность равна нулю, то 9, Г, £ образуют цепь Маркова и Г —
56
достаточная статистика. В [11, 12], как и в работах Ле Кама,
доказана возможность построения асимптотически эффективных
критериев проверки статистичееских гипотез на основе
информационно асимптотически достаточных статистик. В [13] показано,
что целый ряд статистических оценок является информационно
асимптотически достаточными статистиками.
При байесовской постановке задачи можно указать и другие
направления [14—16], примыкающие к
теоретико-информационному и связанные с использованием для определения
асимптотически достаточных статистик апостериорного распределения
вероятностей, Кульбаковской информации и т. п.
В настоящей работе будет исследована связь между
различными определениями асимптотически достаточных статистик,
приведены примеры статистик и показана их применимость для
решения различных статистических задач, в том числе и для
решения задач оценивания, доказана факторизационная теорема.
Некоторые из полученных результатов были анонсированы в
[17-19].
В работе используются следующие обозначения: Var (Р'; P) —
вариация распределений Р' и Р; I [£, rj] -— информация по
Шеннону между случайными величинами | и rj; J| (и) — фишеровское
информационное количество случайной величины £,
распределение которой зависит от значения и параметра в; %(А) —
характеристическая функция множества А; Ас —дополнение множества
А (соответствующие определения см. в [9, 11]). Введем также
следующие обозначения: £х, £2> • • •» £п — последовательность
наблюдений с совместным распределением Ре>п(-)> заданным в
измеримом пространстве (Жп, §п). При байесовской постановке
задачи будем использовать обозначения Рп(-» •)> Р^п (•) и Ре.^п (*| •)
для соответственно совместного распределения (£п, В),
распределения £п = (Si, ^2^ • • •? £п) и апостериорного распределения
параметра 8.
Наряду с вероятностной мерой Р на протяжении всей работы
будет рассматриваться вероятностная мера Р', и там, где это не
может привести к недоразумению, будем использовать знак ' для
обозначения соответствующих операций по мере Р', например
М' {•} — математическое ожидание по мере Р\
2. ОПРЕДЕЛЕНИЯ И ПРИМЕРЫ
АСИМПТОТИЧЕСКИ ДОСТАТОЧНЫХ СТАТИСТИК
Перейдем к рассмотрению определений асимптотически
достаточных статистик [9—15] и изучению их взаимосвязи. Пусть
задана последовательность вероятностных семейств с£п = {Р0,п;
в ЕЕ 9}, определенная соответственно на последовательности
измеримых пространств (Ж", $п), п = 1, 2, . . . Вероятностная мера
Ре,п зависит от параметра 8, значения которого принадлежат
открытому множеству 6 ЕЕ Rk. Пусть задана последовательность
статистик ТПУ т. е. последовательность ^-измеримых отобра-
57
жений пространства (Жп, г$п) в измеримое пространство (Sn, 6П),
Определение 1. Последовательность статистик Тп
называется асимптотически достаточной по Ле Каму для &nj если
существует последовательность семейств $п = {Реу, 9(=в}
вероятностных мер Pefn» определенных на %п и таких, что
статистика Тп является достаточной для $'п и для любого компакта
supVar(Pe>n; Pe,n) = o(l), п~>оо. (1)
век
Если в определении 1 семейство $'п доминировано некоторой
мерой vn, то будем говорить, что статистика Тп —
асимптотически достаточная по Ле Каму и доминированная.
Пусть 6П — положительная числовая последовательность,.
бп —> 0 при п —> оо.
Определение 2. Последовательность статистик Тп
называется бп асимптотически достаточной в точке 60е9 для
#п, если существует последовательность семейств &'п = {Ре,п»
9Ев} вероятностных мер Ре,п» определенных на %п и таких»
что статистика Тп является достаточной для Щп и для любого
ограниченного множества В a Rk:
sup Var (P;, „; Pe, n) = о (1), n -+ oo, (2)
е<=мп
где Mn = {9: {S^1 (9 - 90) £iS}n в}.
Определение 3. Последовательность статистик Тп
называется бп асимптотически достаточной для $п, если
существует последовательность семейств $'п = {Pe>n; 0g9}
вероятностных мер Ре,п> определенных на %п и таких, что статистика Тп
является достаточной для #п, и для любого ограниченного
множества В d Rk и любой точки 90е6 справедливо (2).
Естественно рассмотреть и байесовскую постановку задачи.
Пусть 0 — случайная величина с распределением F,
определенном на измеримом пространстве (RK, ,53fe).
Определение 4. Последовательность статистик Тп
называется байесовски асимптотически достаточной для 8пч если
существует последовательность семейств Щп = {Ре,п; 9 ЕЕ 6}
вероятностных мер Ре,п» определенных на $п и таких, что
статистика Тп является достаточной для &п и
^Var(P;,n; Pu,n)dF(9<u) = o(l), га->оо. (3)
Определение 5. Последовательность статистик Тп
называется информационно асимптотически достаточной для Щпг
если
/ [9, £п] - / [9, Тп] = о (1), п ^ оо. (4)
58
Определения 1—4 введены Ле Камом [6—9], определение 5
дано в [11—13].
Нетрудно заметить, что если последовательность статистик
асимптотически достаточна по Ле Каму для Шп, то она и бп
асимптотически достаточна и байесовски асимптотически достаточна для
&п. Если статистика бп асимптотически достаточна для $п, то
она и бп асимптотически достаточна в точке 60Еб для #п.
Покажем теперь, что если статистика информационно
асимптотически достаточна для #п, то она и байесовски асимптотически
достаточна для $п (отметим только, что других непосредственных
«соотношений» между введенными в определениях 1—5
статистиками нет).
Пусть Тп — информационно асимптотически достаточная
статистика для Щп. Из соотношений
I [9, Г] - / Ю, Тп] = / [9, С" | Тп] = М {In (dPej:n/dPeirn)} (5)
следует, что М {In (dP^n/dPejr )} = о (1), п -> оо и (см. (3.34)
120])
M{|ln(dPeltn/dPe,rn)|}=o(l), л->оо. (6)
Используя равенство (6), покажем, что статистика Тп
байесовски асимптотически достаточна для &п. Для этого введем в
рассмотрение на (5П X Здк) вероятностную меру Рп, задаваемую
соотношением
р;(Спе^,ееВ) = ^РСп(Г<^п) JdPeiTn(e<M|2fn =
к в
= Тп{хп)).
Нетрудно заметить, что
VQ,n(lneEA\Q = u) = \dFin(t>n^xn)x
X [dP0|rn (в< и | Тп = Тп (xn))/dF (9< и)], (7)
Р0|£п(9е5|Г = ^) = Ре|гп(9еВ|7п = 7,п(^)). (8)
Из равенства (8) следует достаточность статистики Тп для
семейства $'п -= {Ре, п; в G 0} вероятностных мер Ре, п*
определенных в (7). Справедливость асимптотического равенства (3) для мер
Ре, п и Ре, п следует из (6) и (7). Таким образом, статистика Тп —
•байесовски асимптотически достаточна.
Кроме определений 1—5, известны и многие другие
определения. Так, при байесовской постановке задачи в [И, 12, 14]
предлагается для определения асимптотически достаточных
статистик использовать информационное количество Кульбака.
Однако, как показано в [12], такой подход тождествен теоретико-
информационному. В [15] предлагается подход с точки зрения
вариации апостериорных распределений, и статистика Тп назы-
59
вается асимптотически достаточной, если выполнено (6). Связь
такого подхода с теоретико-информационным очевидна. В
настоящей работе мы ограничимся изучением асимптотически
достаточных статистик, введенных в определениях 1—5.
Замечани е 1. Кроме изложенного выше
асимптотического подхода, известен и неасимптотический подход [9, 12, 15]t
когда рассматриваются е-достаточные статистики. При таком
подходе в определениях е-достаточных статистик вместо
асимптотических равенств (1)— (4) фигурируют неравенства вида
Var (?;, «; Ре, „) < е или I [0, £п] - I [8, Тп] < 8.
Рассмотрим теперь некоторые примеры асимптотически
достаточных статистик. Одним из наиболее важных результатов работ
[9, 10] является доказательство утверждения, что в условиях
равномерной локальной асимптотической нормальности семейства
&п в точке wG8, информант Д (и, п) = [dp (£n | и)1ди\/
/ [р (£п I и) ф (л)] является бп = (1/ф (п)) асимптотически
достаточной статистикой в точке и, где р (хп \ и) — плотность
распределения £Л при 8 = и, ф (п) — правильный нормировочный
множитель. В работах [9, 10] приведены условия, при которых
семейство $п равномерно локально асимптотически нормально в точке
и для стационарной и эргодической последовательности
независимых и марковских наблюдений, а в [21] — для произвольной
последовательности зависимых наблюдений.
Нетрудно показать, что в условиях равномерной локальной
асимптотической нормальности многие общепринятые
статистические оценки являются бп = (1/ф (п)) асимптотически
достаточными статистиками. Например, если оценка 8П (£")
асимптотически минимаксна в точке и (определение см. в [22]), то, согласна
следствию 2 работы [21], ф (п) [8П (£п) — и] — J3 (и) Д (и, п) ->• О
по вероятности Pw>n при п ->- оо, где |3 (и) — некоторая функция
и, и в соответствии с [10] оценка 9П (£п) является бп = (1/ф {п))
асимптотически достаточной статистикой в точке и. Таким
образом, например, при достаточно широких предположениях работ
[23, 24], оценки максимального правдоподобия, байесовские и
обобщенные байесовские оценки являются бп = (1/]Лтг)
асимптотически достаточными статистиками.
Условия, при которых перечисленные выше оценки являются
информационно асимптотически достаточными статистиками,
можно получить из результатов работ [25, 26]. В [25] приведена
асимптотическая граница сверху для 7 [0, £п], а в [26] — снизу для
I [9, Вп (£п)1, причем в условиях, примыкающих к условиям
локальной асимптотической нормальности семейства &п, эти
границы асимптотически совпадают.
60
3. ОЦЕНИВАНИЕ
ПО АСИМПТОТИЧЕСКИ ДОСТАТОЧНЫМ СТАТИСТИКАМ
Естественность введения понятия асимптотически достаточных
статистик следует из возможности их применения для решения
задач проверки статистических гипотез [9—11]. Вопрос же об их
использовании при оценивании неизвестного параметра остается
открытым. Принципиальная трудность применения этих
статистик при решении задач оценивания заключается в том, что если*
рассматривается все пространство наблюдений, то нетрудно
заметить, что риск оценки, построенной на основе такой статистики,
может во много раз превосходить риск оценки, построенной по
всем наблюдениям. В то же время именно возможность построения
по достаточным статистикам оценок, риск которых для выпуклых
функций потерь не превосходит риска оценок, построенных по
всем наблюдениям, является отличительной особенностью
достаточных статистик. Поэтому целесообразно рассмотреть вопрос
о таком изменении обычного критерия оценивания, при котором
асимптотически достаточные статистики будут обладать при
решении задач оценивания такими же статистическими свойствами,
как и достаточные статистики, и в то же время новый критерий, так
же как и обычный, будет характеризовать качество оценивания
неизвестного параметра.
Прежде чем определить новый критерий, приведем следующую
теорему, которая показывает, что, только «немного» изменив
исходное семейство &п, можно по асимптотически достаточной
статистике построить оценку, риск которой не превосходит риска
оценки, построенной по всем наблюдениям.
Пусть 0П (£п) — произвольная оценка параметра 9, а IV (z/,
9) — функция потерь, строго выпуклая вниз и дифференцируемая
по у и такая, что минимум W (у, 9) по у для любого 9 достигается
в единственной точке у = 9. Здесь и далее для простоты изложения
ограничимся случаем в d R1.
Теорема 1. Необходимым и достаточным условием
асимптотической достаточности по Ле Каму и доминированности
последовательности статистик Тп является существование
последовательности семейств <§п = {Ре, п; вЕб} вероятностных мер Ре, п>
определенных на 5П и таких, что &п доминировано,
справедливо (1) и для любой оценки 9П (£п) существует оценка 9П (Т^)*
для которой при любом 9gO
Ме {W (9n (Гп), 9)}<Ме{^(9п(Г), 9)}.
Доказательство теоремы 1 непосредственно вытекает из
результата работы [27].
Поэтому для решения задач оценивания с использованием
асимптотически достаточных статистик естественно ввести в
рассмотрение вместо риска оценки ее эпсилон-риск (е-риск), который
определяется на подмножестве значений наблюдений, вероятность
61
которого не меньше 1 — е, е > 0 (т. е. при исследовании качества
оценивания мы разрешаем не учитывать событие вероятности е).
Перейдем к определениям. Пусть W (у, 9) — произвольная
функция потерь.
Определение 6. Эпсилон-риском оценки 9П (£")
параметра 9 называется величина
r8 {W (0П (С»), в)} = inf Мв {х (Ав,п) W (0П (С»), в)},
где inf берется по множествам AQ п, таким, что Aq n d $n и
Pe,n anE4e,n)> 1-е.
При байесовской постановке задачи пара случайных величин
(1п, 9) имеет распределение Рп в пространстве (Жп X Л1, ЗРхй1).
Определение 7. Байесовским е-риском оценки 9П (£п)
называется величина
Ле О? (ёп (С"), в)} = inf м{Х (л„) тг (ёп (и, в)},
где inf берется по множествам Ап, таким, что Ап CZ ($п X 3d1)
и РП((Г, 6)еЛ„)>1-в.
Сформулируем теперь теоремы, показывающие, что в смысле
«-риска асимптотически достаточные статистики обладают такими
же статистическими свойствами, как и достаточные статистики.
Теорема 2. Пусть последовательность статистик Тп
асимптотически достаточна по Ле Каму для <§п. Тогда существует оценка
% (^п)> такая, что для произвольных компакта К CZ в и г ^> О
Гг {Wn (0П (Тп), 0)} < (1 + О (1)) Мв {Wn (0П (П, в)}
при /г ->• оо равномерно побЕ^ для любых выпуклых вниз по у
функций потерь Wn (г/, 9).
Теорема 3. Пусть последовательность статистик Тп — бп
асимптотически достаточна в точке 60G6 для $п. Тогда
существует оценка 9П (Тп) такая, что для произвольных ограниченного
множества В a R1 и е ]> О
г, {Wn (0n (Тп), 0)} < (1 + о 1)) М в {Wn (вя (П, б»
при гс ->- оо равномерно по 9 на множестве Мп = {9: бй1 (9 — 90) ЕЕ
ЕЕ 5} для любых выпуклых вниз по у функций потерь Wn (z/, 9).
Теорема 4. Пусть последовательность статистик Тп байесовски
асимптотически достаточная для Щп. Тогда существует оценка
% (Тп), такая, что для произвольного е > О
Яв {Wn (вя (Гп), в)} < (1 + о (1)) М {ТУП (9П (С1), 6)}
при л «->■ оо для любых выпуклых вниз по у функций потерь
Wn(y, 9).
Теорема 5. Пусть Тп — последовательность информационно
асимптотически достаточных статистик для $п. Тогда существует
оценка 9П (Гп), такая, что для произвольного 8 ^> О
Re {Wn (Ьп (Тп), 9)} < (1 + О (1)) М {Wn (вп (П, 6)}
62
при лг -^- оо для любых выпуклых вниз по у функций потерь
Wn (у, 9).
Если рассматривать и рандомизированные оценки 9П (Тп, £)»
где £ — случайная величина, распределение которой зависит
только от значения статистики Тп {т. е. £п, ТП1 £ образуют цепь
Маркова), то справедливы более сильные результаты. Так, для
случая информационно асимптотически достаточных статистик
имеют место следующие две теоремы.
Теорема 6. Пусть Тп — последовательность информационно-
асимптотически достаточных статистик для $п. Тогда существует
рандомизированная оценка 9П (Тп, £п), такая, что для
произвольных 6 ;> О и е > О
Дб+е {Wn (Ьп (Тп, Е»), В)} < (1 + о (1)) Rb {Wn (8» (С»), в)}
при тг-> оо для любых функций потерь Wn (г/, 9).
Положим Vх = min {/, а]. Будем говорить, что ф (тг) —
нормировочный множитель для распределения Рп и функций потерь
In (у) = Wn(z + z/, z) = Wn (z + у — z), если для любого
а>0и произвольной оценки 9П (£П) справедливо неравенс тво
М {% (Ф (тг) (6Я (Н - 9))} > с (а) > О
и существует оценка 9* (£п), такая, что М {1п (ф (/г) (9* — 9))} к
X 1 при тг-> оо [22].
Теорема 7. Пусть Гп — последовательность информационно
асимптотически достаточных статистик и ф (тг) —
нормировочный множитель для Рп и 1п (у). Тогда существует
рандомизированная оценка Ьп (Тп, £п), такая, что для любого а > О
М {% (Ф (тг) (9П (Гп, 1п) - 9))}/М {ft (Ф (тг) (5» (Г) - 9))} + 1
при тг -> оо.
Доказательство сформулированных результатов
непосредственно вытекает из лемм 1—4, приведенных ниже. Для их
формулировки введем в рассмотрение семейство вероятностных мер
&п — {Ре,п; 9 ЕЕ в}, для которого статистика Тп достаточна,
числовую последовательность Хп, А,п^>1» функцию / (к) =
= 4к/(У~к — I)2 и две новые оценки
9П (Тп) = Ме {9П (П | Тп, 9» (П е К (Tnh Ъп (Гп))}, (9>
где ап (Тп) и Ьп (Гп) — случайные последовательности,
определяемые из равенств
Рв.п (е„ (И < anjrn) | гп) = р;>п (еп (и > ь„ (Г) | гп) =
= (v2) [1 - i/jA„], (Ю>
и в; (г„) = м {ёп (?) | гп, ёп (с») е (<£ (гп), &* (г„))}, (и>
где а„ (Гп) и Ъп (Тп) — случайные последовательности, такие, что
Рг» (ё„ (?) < 4jt„)I г„) = р£п (ё„ (Г) > ь; (гя) | тп) =
= (V2)[l - \/VK\. (12)
(Если распределения не непрерывны, то для нахождения ап {Тп),
Ъп (Tn)i а>п (Тп), Ьп (Тп) применяем рандомизацию.)
Лемма 1. Пусть
£n > f (Ю Var (Pe ,п> * 0,п )• (13)
Тогда
rEn {W (9П (Гп), 6)} < К Me {W (Ъп (П, в)}.
Лемма 2. Пусть
8П > f (К) I Var (PUt n; Pw,n) dF (6 < u). (14)
Тогда
^n{w$n(Tn), в)}<япм{^(еп(П, в)}.
Положим
д/ = /[е, ri-/[в, гп1.
Лемма 3. Пусть Тп — последовательность информационно
асимптотически достаточных статистик для &п и справедливо
неравенство
8п > / (К) {А/ + 5]/"А7}. (15)
Тогда
дЕп {^ (е* (тп), е»< япм {w (en (П, е». (16)
Отметим, что функция / (X) монотонно убывает при к -► оо на
интервале (1, оо) и / (X) —►■ 4 при Я —> оо и / (Я) —> 16/(А, — I)2
при X —> 1.
Введем теперь в рассмотрение рандомизированную оценку
вп (^n, Sn) с распределением P^n (6£ (Гп, £п)< у | Гп) =
= Р^п (9П (р1) < у | 7^) и множество Вп С (<F X 531) значений
(£п, 0) пары случайных величин (£п, 9), такое, что для всех (хпу
| In (dPUt п (Г < хп\ Тп (xn))/dJ>in ttn<xn\Tn (хп))) | <
< In' У К.
Лемма 4. Пусть ^ > [2А/ + 10|/"Д/ ]/1п (А,п). Тогда
М {% (Вп) Wn^ (9* (Г., U, 6)} < К М {Х (5n) W (вп (Г). 9)}
для любой функции потерь f (^, 0), и Рп (Вп) >= 1 — еп.
Приведенные теоремы 2—7 и леммы 1—4 показывают, что
в смысле е-риска асимптотически достаточные статистики обладают
асимптотически такими же статистическими свойствами, как п
достаточные статистики.
Доказательство леммы 1. Пусть А q z n — множество, на
котором мера Ре, п (° I Tn = z) абсолютно непрерывна относительно
меры Рв,'п (• \ Тп = z). Определим функцию dPe,п(- I Тп = z)l
64
/^Ре, п (• I ^n = z) равной производной Радона-Никодима на
Aq, 2, п и равной бесконечности на множестве Ле, 2, п« Обозначим
через Уе,-z, n подмножество значений у ЕЕ в, удовлетворяющих
неравенству
<й>9, „ (0П (£)< у | Тп = z)/dPe, „ (б„ (Г) < У I Гя = I
= z)<jAn) (17)
и введем в рассмотрение Za>n — подмножество значений гб5",
удовлетворяющих неравенствам
Ре, я (в„ (П < ап (z) | Тп - z) > рп, (18)
Ре. я (9п (Г) > Ьп (г)] | Г„ = z) > р„,5 (19)
Ре.п (б„ (С") €= {П, *,;« П («» (z). Ьп (г))} | Гп = z)< рп/£Г,
(20)
где pn = (VK - 1)/(2^„).
Доказательство леммы 1 вытекает из следующих двух
утверждений.
Утверждение 1. Пусть
Pe,n{Tn€EZce>n)^en. (21)
Тогда для оценки Э„ (Тп), определенной в (9),
ren {W (8П (згя), в)> < ь„ме {W (е„ (О, в)}.
Утверждение 2. Пусть Тп — достаточная статистика
для S'n и выполнено (13). Тогда справедливо неравенство (21).
Доказательство утверждения 1. В соответствии с
определением (9) оценки 0„ (Гп)
W (6„ (г), в) = W (М'в {0„ (Г) | Тп = z, 9„ (О ЕЕ (а„ (г), Ь„ (г))}, в).
Применяя неравенство Иенсена, находим, что
W (Э„ (z), в)< М9 {W (ё„ (Г), в) | Тп =г, ёп (Г) <= К (г),- &„ (г))} =
= [1/Ре,»(в„(Г) S К (*), Ь„ (z)) | Г„ = г)] X
X J ^(У,в)йР;,п(ё„(П<г/|г,п = 2). (22)
Пусть z €E ZetU. Правая часть выражения (22) состоит из двух
сомножителей. В соответствии с определением (10) а„ (z) и bn (z)
[1/Ре, п (Эп (Г) S К (*), Ьп (*)) | Гп = *)]]=. /£. (23)
Второй сомножитель оценим, разбив область интегрирования
на два подмножества: (ап (я), Ъп (z)) f] У0,2,п и (an(z), Ьп (z)) f]
3 Заказ NS 3138 65
П^е,2,п. Имеем
J W(y,Q)dPetn(Qn{tr)<y\Tn=z) =
(an(z)f bn(2))
= J ^(j/,e)dp;,n(enn<i/|7Tn=z) +
{(вп(2),Ьл(2))ПУв,2,п>
+ J W (z/, 6)dP'e, n (6Л (Ся) < у | Tn = z). (24)
Первое слагаемое в правой части неравенства (24) оценим,
воспользовавшись неравенствами (18) — (20) и выпуклостью вниз
функции потерь, второе — с помощью справедливого на Y%%z,n
неравенства, обратного (17):
dPQtn(Qn(C)<y\Tn=z)/dPetn(^n)<y\Tn = z)<VK^
Имеем
J W(y,Q)ai>'Qtn(Qn(tr)^y\Tn = z)^
<УК{ $ W(y,e)dJ>etn(en(t>n)^y\Tn = z) +
(an(z), bn(z)f
+ J Wto,B)dPB9n&{?)<y\Tn = z)} =
(an(z)t bn(z)) }
= VKMe{W(Qn£n),Q)\Tn = z}, z(=Zetn. (25)
Подставляя в правую часть неравенства (22) правые части (23)
и (25), находим, что
W{Qn(z),Q)^K MQ{W(en(C),Q)lTn = z}, zEEZQtn.
В соответствии с определением е-риска из последнего
неравенства и из (21) следует справедливость утверждения 1.
Доказательство утверждения 2. Введем в рассмотрение
следующие множества: Ye,z,n = {у:у < «п (*)}, ^e,z,n= {У:У> bn(z))>
Yltztn = {Ye,ztn П (an (z)> bn (z))}. Также введем подмножества
ZlyU С Sn, i = 1, 2 значений z, таких, что (9n =Bn (£n))>
pe,n(en_ey^2,n|rn=z)<p;,n(0;en,2,n|rn=z)-
-(VK-i)%l(2K)t (26)
и подмножество Z%yn d Sn значений z, таких, что
Pe,n(enen>,,n|?'„ = z)>pn/V (27)
Нетрудно заметить, что
^е,n = ^e,nU^e,nU^e,n и P^n{TnEz Z%>n) <;
<SPe,n(rneZJ,n),
66
а следовательно, согласно (13) для доказательства (21) достаточна
показать справедливость неравенства
21 Ре. п (Тпе 4, п) < [4М/^~ I)2] Var (Р^, п; Ре, я). (28V
<«i
Покажем справедливость неравенства (28). Используя
непересекаемость множеств Уе,2,п» Y%,ztm Y%,z,n и проводя простые
преобразования, находим, что
Var (P;tп; Ре,п) > S IРе,п((впSУ*в§ г,п},(ГпеZ$,я»-
-Ре,«((впеГе(2(Я),(Гпе4)П})|>
3
>2[ J Pi.»(^,ei1,,.n|rn=«)dP;.n(2,«<2)-
- J Р9>п(ёпеУ^,п1г'„=г)ЙРв,п(Гп<2)]. (29>
60, n
Воспользовавшись неравенствами (26) и (17) для оценки
правой части (29), получаем
Var(P;in;Pe>n)S>{2 $ Р;,п(впе=П>г,„|Гп = г)х
4=1 zi
X [d¥'e, „ (Tn < z) - dPe, „ (Tn < z)]} +
2
+ {[{VX- 1)2/2яп] 2 pe, n {Тп <= 4, n) +
i*=l
+ ll-l//Xn] j P;,„(enen,2>n|7,n = Z)dPe,„(7'n<2)}.
4.n
(30)
Первое слагаемое в правой части неравенства (30) оценим
следующим образом:
i=1 7*
ze, n
- dPe, Л (7n <*))]> — var (Ре,»; Ре, я),
а для оценки второго слагаемого воспользуемся неравенством (27)L
Имеем
2
[(VK- if/2K\ S ре, « (Гп ЕЕ 4, я) + (1 - 1//М X
i=l
1 X J Pe,n(eney3e,2,n|2,n = z)dPG,n(7Tn<z)>
zQ,n
3
> l(VK- 1)2/2Я„1 2 Ре,n, (Г«€= A «)•
Таким образом,
Var(Pe , nl *в, n) >-Var(Pe ) +
+ [2//(xn)iSPe.«(rnez<e.*),
i=l
что и доказывает справедливость неравенства (28). Утверждение 2
доказано.
Доказательство леммы 2. Введем в рассмотрение множество
Zn пар (z, u) €= (5П, в), для которых справедливы (18) — (20).
Доказательство леммы 2 проводится аналогично доказательству
леммы 1, и поэтому приведем здесь лишь два основных его этапа.
Первый заключается в доказательстве следующего утверждения.
Утверждение 3. Пусть
Рп «г», 0) е Й) < еп. (31)
Тогда для оценки 8П (Гп), определенной в (13),
Игп {W фп (Тп), 6)} < MI {W(Qn (Г), в)}.
Второй этап доказательства заключается в следующем
утверждении.
Утверждение 4. Пусть Тп — достаточная статистика
для $п и выполнено (10). Тогда справедливо неравенство (31).
Доказательство утверждения 3 дословно совпадает с
доказательством утверждения 1, а доказательство утверждения 4
осуществляется так же, как и доказательство утверждения 2, если
вместо Var (Ре, п, Ре, п) рассматривать М {Var (Р0, п; Ре, п)}.
Утверждения 3, 4 очевидны и означают справедливость леммы 2.
Доказательство леммы 3. Прежде всего отметим, что, согласно
(5) и [12] (формула (2.14)), справедливо неравенство
М {Var (Р⧄ (- | Тп); Р;я (• | Тп))} < {2Д/ + ЮУЩ (32)
и при достаточно] больших п мера Р^п (• | Тп) абсолютно
непрерывна относительно меры PVt7l (• | Тп) [20, с. 10].
Введем в рассмотрение подмножество Уи>2|П С в значений у,
такое, что для у е YUtZ>n
dP^n $n<y\Tn = z)/dPUyn ($n<y\Tn = z)> YTn. (33)
Определим также подмножество Zn пар (z, и) ЕЕ (£п, в), для
которых справедливы неравенства (18), (19), но уже с ап (z) =
= а%, (z) и Ъп (z) = bn (z) (a% (z) и Ъ% (z) определены в (12)), и
(сраввите с (20))
рс« (епе {YUtZin п (4 Ю, «(*))> I ^п = *)< Рп/С (34)
Доказательство леммы 3 вытекает из следующих двух
утверждений.
Утверждение 5» Пусть
Рп «г», е) е zcn) < 8П. (35)
Тогда справедлива лемма 3.
Утверждение 6. Пусть Тп — последовательность
информационно асимптотически достаточных статистик и выполнено
(15). Тогда справедливо неравенство (35).
Доказательство) утверждения 5. Пусть Ь% (Тп) — оценка,
определенная в (И). Положив Рм>п (• | Тп = z) = P^n (• | Тп =
= z) и проведя рассуждения, повторяющие доказательство
утверждения 1, показываем справедливость утверждения 5.
Доказательство утверждения 6. Введем в рассмотрение
подмножества Zn, i = 1, 2 пар (z, u) e (5n, в), для которых
справедливо неравенство
Pw, n (6n (= Fu, z, n | Тп = z) ^ Р^п (Эп (= Ум, zyn\Tn = Z) —
- (VK- 1)2/(2^„), (36)
(где множества Yxu^z%n = У^2>п и Y\z^ i = 1, 2 определены при
доказательстве леммы 1), и подмножество Z% пар (z, и) Е- (Sn,
в), таких, что
Рсп (6П е ?1,2, п | Гп = z) > рп /Я^ (37)
где У*,г,п = {Yu^n П К (*), «to)}._
Нетрудно заметить, что Z£ = Zi (J Z* (J Z£ и, следовательно,
Pn ((г«, в) e zn) < 2 pn ((rn, e) <= zi). (38)
Оценим правую часть неравенства (38). Так как множества
Уи,г,п» i — 1» 3 не пересекаются, то
M{Var(Pe,n(.|7,n);P^(.|rn)}>
>ЗМ{х(2п)[Рп(епеУгв,Гп,п|7тп)-
г=1 b n
— Ре, п (0n eУе, rn, n | ^п)]}»
и, оценивая правую часть последнего неравенства с помощью
неравенств (33), (36) и (37), находим
M{Var(Pe,n(-|2,n);P;n(.|7,n))}>
69
> {(УК - l)V2X»l S Pn (Г» <= %) +
+ (l -i//£) м (x (z*) p;„ (Gn e Я. тп. n | r«)} >
>l(/^-i)2/2X„] S Pn((2'n,0)ezt).
i=l
Таким образом,
Д Р» ((Г„, 6) €= Zi) < РМКХ -1)2]
4 M{Var(Pe,„(-|rn);P£„(.|rn))}.
Подставляя в правую часть последнего неравенства правую
часть неравенства (32), а полученное неравенство и неравенство
(15) используя для оценки правой части (38), получаем (31).
Утверждение 6 доказано.
Доказательство леммы 4. Пусть Вп%и — цилиндрическое
множество в Вп с; основанием и. Нетрудно убедиться в справедливости
следующей цепочки соотношений:
Mw {% (Вп9 и) W фп (Тп, &,), и)} =
= MUJMU {% (Вп, и) W (6„ (Гя, у, и) | Тп}} <
< У X.MU {M {х (В», и) W фп {Тп, In), и) \Тп}} =
= У 1пМи {М {х (В», и) W фп (Г), и) | Тп}} <
< %пМи {Ми {% (Bnt и) W фп (С1), и) | Гп}} =
= KMu{x(BntU)W фп(С),и)}.
Таким образом, для доказательства леммы осталось показать,
что Рп ((Сп> 8) ЕЕ Вп) > 1 — еп. Для этого заметим, что
М {| In (dPtVnt G/dP^|rn) I > < Д/ + 5 /^
112], и, следовательно, воспользовавшись неравенством Чебышева,
завершаем доказательство леммы 4.
4. ФАКТОРИЗАЦИОННАЯ ТЕОРЕМА
Перейдем теперь к рассмотрению факторизационной теоремы для
асимптотически достаточных статистик, характеризующей
семейства вероятностных мер, допускающих построение нетривиальных
асимптотически достаточных статистик. Для формулировки теоремы
удобно предварительно ввести ряд обозначений. Пусть hn (xn)
и £e,n (z) — последовательности неотрицательных измеримых
функций, заданных соответственно на пространствах (Жп, §п) и
{5™, @n); vn — некоторая последовательность мер на (Ж*, $п) и
Лпч ge,n> vn для любого 9е9 удовлетворяет равенству
'§K(xn)gefn{Tn{xn))vn{clxn) = l. (39)
?•
Введем нч $п вероятностную меру Ре'п> определяемую
соотношением
Ре, п(В)=[ К (хп) ge, n {Tn (*»)) v" (dxn), (40)
и обозначим через Ле,п множество значений хп, для которых мера
Ре,п абсолютно непрерывна относительно меры Ре>п. Тогда на Л9,п
определена производная Радона — Никодима
Фе.п (хп) = dPG,n (С1 < xn)/dPQ,n (Ц1 < хп).
Теорема 7. Необходимым и достаточным условием
асимптотической достаточности по Ле Каму и доминированности
последовательности статистик Тп для Шп является существование
последовательностей функций hn, gQtn и последовательности мер vn,
удовлетворяющих (39) и таких, что для любого компакта К CZ 6
sup {J11 - фе, n {хп) | К (хп) gQt п (Тп (хп)) vn (dxn) +
век w
+P,e,n(A»)} = °(1). »-»°°- (41)
Доказательство теоремы 7. Пусть последовательность
статистик Тп асимптотически достаточна по Ле Каму и доминирова-
на для &п. Тогда существует последовательность Ш'п = {Ре,п;
6g6} семейств вероятностных мер Ре,п, соответственно доми-
нированных некоторой последовательностью мер vn и таких, что
статистика Тп достаточна для &„ и справедливо (1). Таким
образом, по факторизационной теореме для достаточных статистик [1,
с. 66] существуют неотрицательные измеримые функции hn на
($", Г) и *е,п на (Sn, в"), такие, что Р;,„ (dxn) = hn (а») ft,n
(Тп (хп)) vn (dxn) и
$hn(xn)ge,n(Tn(xn))vn(dxn) = i.
Справедливость для таких функций условия (41) следует из (1)
и представления
Var(P'G,n;Pe,n) =
= j X Ие, ») I dPe, n/dPe, n -11 dPe, n + Pe, n (A»)
{20, c. 8, 9]. Необходимость доказана.
Покажем теперь достаточность условия теоремы для
асимптотической достаточности по Ле Каму и доминированности
последовательности статистик Тп. Введем в рассмотрение вероятностную
меру Ре,п на $п, задаваемую соотношением (40). В соответствии
с (40) семейство &'п = {Ре,гГ» в£0} вероятностных мер Ре|П
Доминировав) мерой vn, а по факторизационной теореме для
достаточных [статистик Тп достаточна для &п и из (41) следует справед~
ливость (1). Таким образом, последовательность статистик Тп
71
асимптотически достаточна по Ле Каму и доминирована. Теорема
7 доказана.
Факторизационные теоремы для остальных видов
асимптотически достаточных статистик аналогичны теореме 7 и
формулируются аналогично. Заметим только, что отличие в подходах к
определению асимптотически достаточных статистик с точки зрения
факторизации заключается лишь в законе стремления к единице
Фе,«(£").
Литература
1. Закс Ш. Теория статистических выводов/Пер. с англ. Е. В. Чепуриной.
М.: Мир, 1975. 776 с.
2. Fisher R. A. Theory of Statistical Estimation.— Proc. Camb. Phil. Soc.r
1925, vol. 22, p. 700-725.
3. Savage L. F. On Rereading R. A. Fisher.— The Ann. of Statist., 1976,
vol. 43, p. 444—500.
4. Rao С R. Asymptotic Efficiency and Limiting Information.— In: Proc.
4 Berkeley Symp. on Math. Statist, and Probability. Berkeley — Los
Angeles, 1961, vol. 1, p. 531—544.
5. Rao C. R. Apparent Anomalies and Irregularities in Maximum Likelihood
Estimation (With Discation).— Sankhya, 1962, vol. 24, p. 73—102.
6. Le Cam L. On the Asymptotic Theory of Estimation and Testing
Hypothesis.— In: Proc. 3 Berkeley Symp. on Math. Statist, and Probability.
Berkeley — Los Angeles, 1965, vol. 1, p. 129—156.
7. Le Cam L, Sufficiency and Approximate Sufficiency.—Ann. Math.
Statist., 1964, vol. 35, p. 1419-1455.
8. Le Cam L. Limits of Experiments.— In: Proc. 6 Berkeley Symp. on Math»
Statist, and Probability. Berkeley — Los Angeles, 1972, vol. 1, p. 245—263.
9. Le Cam L. Notes on asymptotic methods in statistical decision theory.—
Berkeley: Universite de Montreal and Universite of California, 1974. 270 p.
10. Pycac Дж. Континуальность вероятностных мер/Пер. с англ. А.
Пинского. М.: Мир, 1975. 254 с.
11. Perez A. Information, e-Sufficiency and Data Reduction Problem.— Ky-
bernetika, 1965, vol. 1, p. 297—323.
12. Perez A. Information-Theoretical Risk Estimation in Statistical
Decision.— Kybernetika, 1966, vol. 3, p. 1—21.
13. Пинскер М. С, Информация, содержащаяся в наблюдениях и
асимптотически достаточные статистики.— Проблемы передачи информации,
1972, т. 8, № 1, с. 45-61.
14. Вайда Л. О сохранении и максимизации информации при редукции
данных.— Проблемы передачи информации, 1970, т. 6, № 2, с. 31—39.
15. Bernardo Т. М. The use of information in the design and analysis of
scientific expermentation. London: Departament of Statist and Computer
Science University College London, 1975. 192 p.
16. Christa O. Zur Asymtotiscen Effectivitat von Parameterschatzungen fur
Semimarkovschen Prozesse.— Wiss. Z. Techn. Univ. Dresden, 1975, vol.
24, N 2, s. 383-388.
17. Ефроймович С. Ю. Некоторые свойства эпсилон-риска.— В кн.: Докл.
VI конф.1 по теории кодирования и передачи информации. Москва-
Томск, 1975, ч. 1, с. 67—69.
18. Ефроймович С. Ю., Пинскер М. С, Асимптотически достаточные
статистики.— В кн.: Тез. докл. II конф. по теории вероятностей и
математической статистике. Вильнюс, 1977, ч. 1, с. 148—149.
19. Ефроймович С.[Ю., Пинскер М. С. Оценивание по информапионно
асимптотически достаточным статистикам.— В кн.: Докл. VII Всесоюз.
конф. по теории кодирования и передачи информации.
Москва-Вильнюс, 1978, ч. 1, с. 66—69.
72
20. Линскер М. С. Информация и информационная устойчивость случайных
величин и процессов. М.: Изд-во АН СССР, 1960. 203 с.
21. Ефроймович С. Ю. Локальная асимптотическая нормальность для
зависимых наблюдений.— Проблемы передачи информации, 1978, т. 14,
№ 3, с. 73—84.
22. Hajek J. Local Asymptotic Minimax and Admissibility in Estimation.—
In: Proc. 6 Berkeley Symp. Math. Statist, and Probability. Berkeley —
Los Angeles, 1972, vol. 1, p. 175—194.
23. Ибрагимов И. Л., Хасъминский P. 3. Свойства оценок максимального
правдоподобия и байесовских для неодинаково распределенных
наблюдений.— Теория вероятностей и ее применение, 1975, т. 20, № 4, с. 703—
711.
24. Ogata У., Inagaki N. The Weak Convergence of the Likelehood Ratio.—
Ann. Inst. Statist. Math., 1977, vol. 29, p. 165—187.
25. Ефроймович С. Ю. Информационные неравенства для многомерного
параметра и свойства асимптотически достаточной статистики.— Науч.
труды/Моек, физ.-техн. ин-т. Радиотехника и электроника, 1974, вып. 8,
с. 78-82.
26. Ефроймович С. Ю. О нижней границе информации по Шеннону.— В кн.:
Докл. VII Всесоюз. конф. по теории кодирования и передачи
информации. Москва; Вильнюс, 1978, ч. 1, с. 61—65.
27. Bahadur R. R. A Characterization of Sufficiency.— Ann. Math. Statist.,
1955, vol. 26, N 2, p. 286-293.
УДК 621.391.154
АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ РИСКА
БАЙЕСОВСКОЙ ОЦЕНКИ
ДЛЯ МНОГОМЕРНЫХ ГАУССОВСКИХ НАБЛЮДЕНИЙ
Е. К. Трищенко
1. Пусть наблюдаемый вектор XGii* есть сумма
неизвестного сигнала 9 и гауссовского случайного вектора е£, где £ имеет
нормальное распределение с параметрами (0,Д), а е j> 0, так что
х = е + 8^. (1)
Предположим, что вЕЛ* имеет распределение ^,
абсолютно непрерывное относительно лебеговой меры на Rk, а
соответствующая плотность р (у) удовлетворяет следующему условию Л-:
функция У р (у) имеет градиент в L2 (Rk), т. е. существует функция
grad Yp (у) €= ^2 (Rk) co значениями в Rk, такая, что при
|*|-0
$ lVW+t) - УШ - (g^d УШ> т2 dy = o(\t |2). (2)
Условие (2) в одномерном случае вытекает из абсолютной
непрерывности функции р (у) и существования у нее фишеровского
информационного количества [1]. В многомерном случае условие
73
(2) гарантирует, очевидно, конечность информационной матрицы
Фишера
/ = 4 J grad VJiy) (grad Yp (у))* dy
я является минимальным условием регулярности р (у) (см. [2]).
Из (2) следует, в частности, что gradj^p (у) непрерывен в L2 (Rk)f
т. е.
Т (0 = J |grad Yp¥+T)\-grad Vfffi\%dy -> 0 (3)
Rft |t|-*0
Основной результат настоящей работы составляют следующие
две теоремы
Теорема 1, Если плотность распределения 0 удовлетворяет
условию А, то среднеквадратичный риск оценки Те = М (В/Х)
удовлетворяет соотношению
М [(Те - 9)(Г8 - 6) *] <>2Л - е4Д/Д + о (г) 4.
Если к тому же функция р (у) абсолютно непрерывна по
каждому аргументу, то справедливо также равенство
М [(Те - 0)(Г8 - 9)*] = е2Д - е4/Ш? + о (е) 4. (4)
Здесь * — знак транспонирования, а
I = 4 \ grad Yv (У) (g^d Yp Ы)* dy
в*
— информационная матрица Фишера плотности р (у).
Теорема 2. Если выполнено условие Л, то асимптотическое
соотношение (4) справедливо также для оценки
ал~Х + ^Вг^УЖх[\£^Ш.\<К{в))1 (5)
Ур(*) VI Ур(*) I / i
если, например, Щ
К (г) = min [е'1/*, ^-A (eV.)]. (6)
Доказательство этих теорем дано в п. 2, 3, здесь же кратко
излагается история вопроса и выводятся некоторые следствия.
Следствие. Пусть Хх, . . ., Хп — независимые
наблюдения сигнала 8 в гауссовском шуме с ковариационной матрицей R.
Тогда для наилучшей в среднем квадратичном оценки Тп =
= М (6/Хь . . ., Хп) справедливо соотношение
M[(Tn-Q){Tn-Q)*]=-LR-±RIR + o(-L).
Такая же формула верна и для оценки
*-*+±*xWL4EffiF\<K^- (7)
74
n
где X = — Vj Хь Ki (n) = K\ "7=")» ^ (8)—Функция, определяемая
равенством (6).
Для доказательства этих результатов достаточно заметить, что,
во-первых,
vп
где In — гауссовская величина с параметрами (О, R), и, во-вторых,
оценка Тп зависит лишь от достаточной статистики X [3].
Свойства оценок вида (5), (7) для одномерного случая при
дополнительных предположениях изучались в [4]. В [5] приведены
формулировки теорем 1 и 2 для одномерного случая.
2. Удобнее доказывать сначала теорему 2. Предположим, что
det R Ф 0. Тогда простым преобразованием координат х = R42y
общий случай может быть сведен к случаю, когда R = Е —
единичная матрица, что мы и будем ниже предполагать. (В
вырожденном случае теорема тоже верна. Его рассмотрение может быть
сведено к рассмотрению невырожденной матрицы R в меньшем
числе измерений. Для краткости мы не будем на этом
останавливаться.)
Обозначим g (х) = gradj^p (x)/\/"pl^c); %г (х) = % (х: | g (z)|<
< К (8)).
Так как в силу (4) при R = Е
М [(о, - 6) (о, - 9) *] = е*Е + №М {g (X) g* (X) %* (X)}|+
+ 4eW {g (X)XX - 6) * xe (X)h
то справедливость теоремы 2 будет установлена, если доказать
следующие леммы.
Лемма 1. Если R = Еу X определено из (1), ар (х)
удовлетворяет условию А, то при 8->0и выборе К (е) согласно (6)
справедливо соотношение ggg
UmM{g(X)g*{X)y*(X)}=-Ll.
е-*0 *
Лемма 2. Если выполнены условия леммы 1, то
lim ± M {g (X) (X - 9)* Хг (X)} = - 4- /.
8—0 8 J^
Доказательство 1. Положим || В II = sup | (5А,, А,)|,
где (•, •) — скалярное произведение в Rk, и пусть
^^)==ш^ехА~^-}
(2я)"
Тогда очевидны неравенства
И М {g (X) g* (X) xe (X)} - М {g (0) g* (6) Xe (G)} || =
75
= | С ф(г) dz [ g{x)g*(x)xe{x)[p(x — ez) — р(ж)]&с|<
Rk Rk
<X2(e) J9(z)dz j \p{x— ez) — p(x)\dx. (8>
Rk Rk
Из (З) вытекает (см., например, [2], лемма 1.7.1)
справедливость в L2 (Rk) соотношения
t
YJW)- Vp(* — *) = I (§rad Vp(*—**)> 0ds. (9)
0
Оценим интеграл в правой части (8), пользуясь неравенством
Коши — Буняковского:
\ ф (z) dz \ \р{х — ez) — р (х) | dx <;
Rk Rk
< е j ф (z) dz Г j Г^ (grad Vp{x — ezs), z) ds 1 da: 1 x
X Г f (|/р(ж — ez) + /p^))2da:l1/2 <2e { \z\<p(z)dzX
lRk J B*
1 1/a
X [Jcte J | grad//>(;*;—ess) |2ete] 2<8(Sp/)1/2.
Отсюда следует, что при К (г) *= о (s~1^) правая часть (8)
стремится к нулю при 8 —>- 0. Далее, при 8 -> О, К (г) -*> оо
М fe (9) g* (6) Хв (в)} = J g (у) g* (у) р (у) dy =
\g(y)\<K(e)
= J gradl/"^)(grad]/"^))*di/^4-7 (10>
\g(V)\<K(s)
в силу условия grad Yp (у) ^ ^2 (Я*), и лемма доказана.
Доказательство леммы 2. Очевидны равенства
M{g(X)(X-Q)*Xe(X)} =
= е \ ф (z) dz \ ф (я) Z*Xg (ж) р (х — ez) dv =
Rk Rk
= 8 ^ ф (z) dz § g (x) z*x8 (x) (p (x — ez) — p (x)) dx.
Rk Rk
Поэтому
В = M {g (X) (X - 9)* Xe (X)} + e22M {g (9) g* (9) Xe (9)} —
= e J ^ИХеИ^ J ф(г)[р(ж_е2) —р(ж) +
+ 28 Yp (x) (z> grad У р (x)))z* dz.
76
В силу (10) для доказательства леммы достаточно показать,
что при е -> 0
IIВ || = о (е2). (И)
Очевидно,
Ц В|| <еЯ(е) J |Z|<p(z)dz J (}/"M*-eZ) + /J^))X
Bfe Rk
х [| -/рй + Yp{*—*z) + (е*> sradУрЙ)I +
+ l(8z,grad/^)) ^g^/^») И^ = Г1 + Г2.
-rjv ж r />w; yp(x)+ yp(x_ez) |J ^
Снова применяя неравенство Коши — Буняковского, получим
У2<е2Я(е) J |z|2<p(z)dz{jj | grad VpW) |2 ^ J |У7Й~
Rk Rk Rk
— Yp(x — ez) I2 сЦ'/2 < -|- *2# (e)J| / II1/2 jj | z |2 ф (z) dz X
l 2 t/
X I \ d# \ (grad ]Л/? (a; — &zs), ez) ds\ \ <
к* о
<4-«*wimii/'jj изф(#х
R*
1 1/z
X l[ds \ |grad]/*/>(x — ezs)j2darj <
о л*
< 4-1| /|| ett (8) -^
Таким образом,
Г2 = 0(е3Я(е)).
Рассмотрим
J1 = vLK(t) j |z|<p(z)dz x
(12)
X
«
i I VzM-V^i*-**)
r |2 у/г
(z,grad]//>(z))| dzj
Разобьем этот интеграл на сумму двух по областям z ^> е~1/>
я | z | ^ е-1/2. Первый из них, очевидно, есть о (еш), тгг > 0.
77
Второй можно представить, учитывая (9), в виде
еа#(е) J \z\<p(z)dzx
|2|<e-V2
X(S 14" S (gradVp(* + *5) — grad ]/У(*)>*)*| **} 2<
<e*#(e) j |z|<p(z)dzX
о
X j— \ ds \ |grad|/"p(F+15) — gradVp(s)\2dx\ *.
-e в*
Из этой оценки и из (3) следует соотношение
Ух = 0 (е2# (е) Т1/2 (е1/»)). (13)
Соотношение (6) обеспечивает в силу (12), (13) выполнение
(И), и лемма 2, а вместе с ней и теорема 2 доказаны.
3. Доказательство теоремы 1. Так как квадратичный риск
оценки Те минимален, то из уже доказанной теоремы 2 следует
неравенство
М \(Тг - 9) (Те — В)*] < г*Е — еН + о (е4).
Поэтому достаточно установить противоположное
соотношение. Воспользуемся для этого неравенством Рао — Крамера.
В данном случае его можно записать в виде: для любой оценки Т
по п. 1 и любого J.Gi?fc
АГ(Г-в, Х)«>(Ь(в),Х)« + е»| (£ + ■§) ^f.
где b (Q) *= М (Г/0) — 8 — смещение оценки Г. Усредняя по
распределению 0, получим в правой части выражение
D = J [(Ъ (у), X)* + е* (X, X) + 2е* (Х,^- X) +
+ *№*•'■*$■*•)№)• М
Рассмотрим отдельно
Rh Rk
Среднеквадратически риск оценки Тг не превосходит среднеквад»
78
ратического риска любой другой оценки, в том числе и оценки Хг
поэтому
м (тг—е) (ту— е)* < м {х—щх—9)* = е2я.]
Отсюда нетрудно показать справедливость следующих
неравенств:
ll»<»)P*<»)*<**, . (W)
?(*+тР)(* + (т?4><'- <1в>
Применяя интегрирование по частям (относительно,
например, координаты ух), получим
С (• дЪ. (у) г
) dyi ) дух P^dy= ) 1ь»(5»г/2,...,Ы^(^»1/2,...,Ы—
-A д&-1 Rfr-1
— Ьг(— А,у2,... ,Ук)р(— A,y2,... ,yk)]dy2i.. .,dyk —
в
- J <foi J bi(y)^-rfy,f...fd№. (17)
-A Rfr-1
Из соотношений (15) и (16) легко показать существование ко»
нечного предела при Л,5-> оо и интеграла, стоящего в левой
части данного равенства, а также у
в
$ dyi J Му)-^^!. ■■-.*№■
-A Kfr-i
Отсюда и из равенства (17) следует существование конечных
пределов у величины
$ bi(y)P(y)dy^ ...,dyk при |z/i|-> oo.
А из (15) и (16) следует, что эти пределы могут быть равны
только нулю. Поэтому, переходя к пределу при А ->• оо, В-*- оо
в (17), получим
С помощью этой формулы получим
D> $ [(Ь(у)Л)2 + г2(КЬ)-
Rk
-Мф(у)Л)(2Щ1®-Л)]р(у)йу =
79
= e* (X, X) + I {[b (у), X)» - 2e* (&$$L , x) ]* _.
- 4e* (^M , *)*} p (y) dy > e' (X, X) - e* (IX, X).
Тем самым
Л/ [(Г8 _ 9) (Ге — в)*1 > е2Я — е4/.
Это неравенство вместе с (9) дает утверждение теоремы 1.
Литература
1. Hajk I. Local asymtotic minimax and admissibility in estimation.—Proc.
6th Berkeley Symp. Math. Stat, and Probability, 1972, pt. 1, p. 175—194.
2. Ибрагимов И. А,, Хасъминский P. 3. Асимптотическая теория
оценивания. М.: Наука, 1978. 526 с.
3. Заке Ш. Теория статистических вызовов: Пер. с англ. М.: Мир, 1975.
776 с.
4. Ибрагимов И. А., Хасъминский Р. 3, Об оценке среднего в нормальной
совокупности.— Проблемы передачи информации, 1974, № 2, с. 64—74.
5. ТрищенкоЕ. #., Хасъминский Р. 3. О квадратическом риске оценок в гаус-
совском шуме,— В кн.: Докл. VII Всесоюз. конф. по теории
кодирования и передачи информации. Москва; Вильнюс, 1978, ч. 1, с. 138—142.
ЬУДК 621.391.154
О СХОДИМОСТИ ОДНОЙ НЕПРЕРЫВНОЙ МОДИФИКАЦИИ
ПРОЦЕДУРЫ РОББИНСА-МОНРО
В МНОГОМЕРНОМ СЛУЧАЕ
Э. X. Мустафаев
Строится процедура стохастической аппроксимации,
описываемая стохастическим дифференциальным уравнением Ито. Эта
процедура для функций регрессии, близких к линейным,
сходится с вероятностью 1 к корню уравнения регрессии при
существенно более общих условиях, чем известные ранее.
Известные условия сходимости с вероятностью 1
многомерной процедуры Роббинса — Монро к корню х0 уравнения
регрессии R (х) = 0 требуют существования функции Ляпунова,
удовлетворяющей определенным свойствам (см., например, [1]). В
частности, в линейном случае, когда R (х) *= Вх, эти условия
выполнены, если все собственные числа матрицы В имеют
действительные части одного знака и этот знак известен наблюдателю.
Только что приведенное ограничение на матрицу В является слишком
жестким/
80
В [2] для дискретного времени была построена модификация
процедуры Роббинса—Монро, которая в линейном случае
сходится к х0 при существенно более общем условии, а именно когда
лишь det В Ф 0.
В настоящей работе этот результат из [2] переносится на
непрерывные процедуры, описываемые стохастическими
дифференциальными уравнениями Ито. При этом по сравнению с [2] будут
ослаблены некоторые условия на функцию R (х). Последнее
обстоятельство связано с рассмотрением для матрицы (dR/dx)(xQ)
оценки, отличной от соответствующей из [2] (см. по этому поводу
также [3, 4]).
Пусть R (х) = (Rx (x), R2 (х), . . ., Rt (x)) — вектор из Z-мер-
ного евклидова пространства Ег. Будем считать, что в каждый
момент времени t>l ив каждой точке хЕЕ| наблюдатель
может производить измерения значения функции R (х) со
случайной ошибкой типа гауссовского «белого» шума. Тогда результаты
измерения Yt (x) имеют вид
Yt (x) ^R(x) + a (*, х) | (t).
Здесь о (ty x), t ;> 1, х ЕЕ Ег — матрица порядка I X к, £ (t) ~
5= (1г (£), . . ., £к (t)) — йг-мерный стандартный винеровский
процесс.
Обозначим через Ftj t ^ 0 монотонно возрастающую
последовательность cr-алгебр, связанную с процессом £ (t) следующим
образом: \г (t) — Ft измеримы, причем случайные величины lt (t -f-
+ 5) — It (£), i = 1, . . ., к не зависят в совокупности от
любого события из Ft при 5^0.
Пусть далее X (£), t > 0 — некоторый Fгизмеримый
случайный процесс, с (t) — непрерывная положительная функция, а
еи i = 1, . . ., I — вектор из Еь все координаты которого равны
нулю, кроме i-и, равной 1. Проведем в каждый момент времени
t измерения Yt (х) в двух точках х + с (t) и х —- с (t) и обозначим
через W0 (t) матрицу, i-й столбец которой равен
1 [• Yu(X(u) + c(u)e.)-Yu(X(u)-clu)e.)
w«i = — ) Щй) du>
l
Положим
W(t) = (W«1{q{t))> еСЛИ detW°(<?(0)^0, (1)
I /, если detW0(q(t)) = 0,
где Q (0 —- некоторая непрерывная неограниченно возрастающая
с ростом t функция.
Рассмотрим теперь процедуру
X (t) = - 2ф- Yt (X (*)), X (1) = х, (2)
где х — произвольная начальная точка из Ez.
1/о4 Заказ MS 3138
81
Уравнение (2) понимается как стохастическое
дифференциальное уравнение Ито
X(t) = -^- R(X(t)) + e(t,X(t))Ut)].
Всюду ниже будем считать, что это уравнение имеет при
любом t > 1 единственное с точностью до стохастической
эквивалентности /^-измеримое непрерывное с вероятностью 1 решение.
Справедливо следующее утверждение.
Теорема. Пусть
1) матрица-^—(х) существует, равномерно непрерывна в Ej
^ограничена,
2) симметричная матрица
dR , ч 6R* ( ч , dR* . ч dR , ч
равномерно относительно х, у ЕЕ Е* положительно определена,
3) выполнено неравенство х
sup ||a(^,^)5||]<(oo.
Тогда процедура (1), (2) обладает с вероятностью 1 свойством
X (t) —► #0, если только функция с (t) выбрана так, что
lim с
t-
от
Г] Условие 2) теоремы является довольно ограничительным. Однако
оно выполнено, если R (х) = Б#, причем det В Ф 0.
Доказательство теоремы. Будем считать для простоты х0 *= 0.
Это, конечно, не ограничивает общности.
Лемма 1. Пусть X (t) — произвольный ^-измеримый при
каждом t 1> 1 случайный процесс, а функция с (t) удовлетворяет
условиям (3).
dR
Пусть, далее, матрица -=—(х) равномерно непрерывна в Ег и
выполнено условие 3) теоремы. Тогда почти наверное (п. н.)
t
№о«)-±^(Х(и))<1и\->0
При t -> ОО.
Доказательство аналогично доказательству соответствующих
утверждений из [1, гл. 7, 5].
1 Через || А|| — Л/ 2 ^-обозначена норма матрицы А = ((«ij)), i = 1, • ••
. . ., k] f = 1, . . .', /.
82
Рассмотрим множество А матриц вида
1
при всех t ;> 1.
Обозначим через Аь (R) множество матриц, отстоящих г от
множества A (R) не более чем на 6.
Лемма 2. Пусть выполнены условия 1), 2) теоремы. Тогда най- ,
дется такое б0, что
а) все матрицы из Аь0 (R) невырошдены;
б) для некоторой постоянной а0 ^> 0 справедливо неравенство
А?Аг + Аи?*><ь1, (*)
каковы бы ни были матрицы Аи А2 из Аьй (R)$
в) sup || Л"11|< ос. (5)
Ае^бо (R)
Доказательство. Условие 2) теоремы означает, что
OR . ч ai?* dR* , . dR . ч. Т
дх ч ' da; Vi// ' дх KV' дх
для некоторого е > 0. Следовательно,
АА* + А*А > е/ (6)
для любой матрицы А ЕЕ A (R). Таким образом, все матрицы из
A (R) невырождены.
Так как
sup
зсеЕг
dR . ч
= Д0< со,
то найдется постоянная А: ^> 0, для которой А*А < kl для4всех
4Gti (Д). Отсюда следует неравенство (АгА~ых, х) > Аг1 (я, х),
А^А (Д), х<= Е,.
Значит,
а= mf ^ __«-i>0. (7)
Леей (R)
Пусть Ль Л 2 е е>4б (R). Тогда
1 Под расстоянием от множества <а% (R) до матрицы А понимаетсявеличина
inf |Г-Л|.
Гее* (R)
4* 83
причем \\Тг\\ < б, || Г2|| < б. Отсюда из условия 2) теоремы
находим
АгА1 + А2А$ > е/ + Г, (8)
причем матрица Г симметрична и
|| Г ||< 4#0б + 262. (9)
Так как матрицы из Ль. {Щ при достаточно малых б0 невы*
рождены, то неравенство (8) при всех достаточно малых б экви»
валентно неравенству
А?Аг + Аи?*> гА?А?*+А?ТА?\
Отсюда из (7) и (9) вытекает, что
А^Аг + А*А%** > а0/, а0 == — ае
при всех достаточно малых б.
Соотношение (5) вытекает из (6). Лемма доказана.
Для любой матрицы W порядка I X I обозначим
\W'\ если И^=Л«.(Я),
1 —1Я-\ если W^AbAR),
где б0 — постоянная из леммы 2, В = (dR/dx)(0).
Наряду с процессом X (t) рассмотрим процесс X (£),
определенный следующим образом:
d{t) = -Jb^L]R{Jt(t)) + a(t,X(t))i(t)],
Ь(в) = П-
Здесь W (t) — матрица, i-й столбец которой равен
Ql° Y (J? (и) + с (и) е.) -Y(k(u)-c (и) е{)
(10)
•W J
du,
2с (и)
1
s :> 1, У] — Fs — измеримая случайная величина, М \ г\ | 2 <; оо.
Применяя формулу Ито и функции V (х) j= | x |2, получим
" 1 11W, (п\ Я (X 1и\\ X 1,Л\
s
+ £Ji!M.l*_2^^Wlii***i. (11,
s i=i
где аг- (гг) — столбцы матрицы А (и) *= Wx (u)o (и, X (и)), а,ц
элементы матрицы А (и)А* (и).
84
Заметим, что в силу утверждения в) леммы 2 и условия 3)
теоремы справедливо равенство
sup \ai(u)\<k1 (12)
(здесь и ниже kt — некоторые положительные постоянные).
Обозначим через тп момент первого выхода процесса X (t) из
области | х | < п, п ^ 1, 2, . . . и положим
xn(t) = min(xn,t).
Тогда в силу леммы 3.1 гл. 3 из [1] и (12) имеем
( пс (з (и), Х(и)) Л
М{ ) и ^W/^H0' * = 1> •••>*• (13)
S
Кроме того, так как
1
R(x) = \ -gj- (га) zdi;,
о
то
1
2 (#х (и)Д(х), х)= (5(#i («)-g- (кг) + -^-(иг) Wt (и))dvx, х).
о
Отсюда и из утверждения б) леммы 2 имеем
2 (#х (и) Л (£ (и)), X (а)) > a0V (X (и)). (14)
Из (11), принимая во внимание (12) — (14) , находим
M{V(X(%u(t)№-v (&(*))<
<— J -^^Ч-гН:)- <15>
s *"
Переходя в (15) к пределу и учитывая, что хп -> оо при тг —►■ оо,
получим
(16)
Из (13), в частности, имеем
m{v(X (*)) +4-/ *".}< (г (*<«)) + 4")-
Следовательно, Y(X (t)) + &2/£ — супермартингал и, значит,
о вероятностью 1 существует конечный предел
liml2(*) = £<oo. (17)
85
Кроме того, как это следует из (16),
\ *-*- аи < зо п. н.
Поэтому X2 (и) -> 0 по некоторой подпоследовательности ип ->-
-> оо при тг—>■ оо. Отсюда из (17) вытекает, что £ = 0 п. н.
Рассмотрим теперь процесс (1), (2). Из первого утверждения
леммы 1 имеем
Wo(t)--=-±-^(X(u))du + T(t),
1
где || Г (t) ||-*0 при t-+ оо.
Пусть 6 ^> 0 произвольно. Выберем число s = s (6) из
условия
Р{8иР||П(0||<бо}>1—6f.
Тогда, очевидно,
Р (Wo {q (*)) е^бо (R) при всех t > s} > 1 — 6/2. (18)
Выберем еще N из условия
Р{\Х(з) |<iV}>l -6/2 (19)
и положим
IX(8), если |Х(*)|<#,
Ziv(5)'~l 0, если \X(8)\>N.
Тогда, учитывая (18), (19), можно утверждать, что процесс
X (t) совпадает с процессом (4), где X(s) — Хц (s) с вероятностью,
большей, чем 1 — 6. Отсюда, учитывая произвольность 8 и
соотношение X (t) -> 0 п. н. при £-»- оо, получим утверждение
теоремы.
Литература
1. Невельсон М, Б., Хасьминский Р. 3. Стохастическая аппроксимация
и рекуррентное оценивание. М.: Наука, 1972. 240. с.
2. Невельсон М. Б., Хасьминский Р. 3. Адаптивная процедура Роббинса—
Монро.— Автоматика и телемеханика, 1973, № 10, с. 71—83.
3. Fabian V. Asimptotically Efficient Stochastic Approximation the
Case R. M.— Ann. Math. Statist., 1973, N 3, p. 486—495.
4. Nevelson M. B. On Some Asymptotical Properties of Recursive Estimates.—
In: Proceedings of the Colloquia Mathematical Society Janos Bolya. Limit
Theorems Probability Theory (Keszthely, 1974), N 11, p. 193—225,
Budapest, 1975.
5. Venter J. N. An extension of the Robbins—Monro procedure.— Ann. Math.
Statist., 1967, N 38, p. 181—190.
86
УДК 621.391.154
О СЛАБО РАЗДЕЛЯЮЩИХ ПЛАНАХ
А. Г. Дьячков, М. Б. Малючгов
ПРЕДИСЛОВИЕ
Данная работа продолжает начатое в [1] исследование
несимметричной модели планирования отсеивающих экспериментов
(ПОЭ). Отмеченная И. Чиссаром аналогия между ПОЭ и теорией
многодоступных каналов связи (MAC) явилась стимулом для
новых исследований ПОЭ и помогла выработать терминологию,
более привычную для специалистов теории информации. С
различными постановками задач и приложениями ПОЭ можно
ознакомиться в [2]. Нашей целью является изложение ряда новых
результатов о ПОЭ и обсуждение связи этих результатов с
достижениями теории MAC.
В работе использованы следующие обозначения: полужирным
шрифтом набраны векторы и матрицы, последние подчеркнуты
снизу: х *= || xt (/) ||, причем xt и х (/) есть соответственно £-я
строка и /-й столбец матрицы х. Для вектора х *=(хг, . . ., хп)
п
обозначаем | х | = 2 хг-
Далее, В *= {О, 1}, [п] — множество целых чисел от 1 до гг,
ф —пустое множество; для подмножества А С QAC есть его
дополнение, \ А \ — мощность, AN — множество
^-последовательностей с элементами из А, О (s, t) и U (s, t) — множества
соответственно упорядоченных и неупорядоченных s-наборов
(первые кратко называем s-наборы) несовпадающих чисел из [£],
их элементы обозначаем соответственно w и {w}. В частности, w
есть 5-набор, в котором wx < . . . < w8, [s] ^= (1, . . ., 5);
IО (5, t) | = (t)s = ПИ (t — i); \U (5, t)\ = Cst = (t)Js\
Случайные величины обозначены греческими буквами £, tj, . . .
. . . Е^ — математическое ожидание £. Величина I (£ Д tj) *=*
s= Ец (In [jh (I | t))/jh (I)]) есть информация между случайными
величинами g и г), имеющими совместное дискретное
распределение IX (| ^ X, Г) *= у).
Далее, f (t) ~ g (£), / (t) =^ g (t) обозначают соответственно,
что при t ->- оо
lim (/ (t)/g (t)) = 1, Ш (/ (t)/g (*)) < 1,
А
а символ = означает «равно по определению»,
arg max / (x) = {х^А : f (х) = max / (у)}. (1)
А А
87
Внутри раздела нумерация формул и теорем сквозная. При
ссылке на номера формул и теорем другого раздела мы
приписываем слева к их индексам номер раздела.
1. ВВЕДЕНИЕ
Пусть каждый из s источников передает одно из множесва [t]
сообщений. Для передачи сообщений все источники используют
один и тот же блоковый двоичный код длины N, т. е. матрицу
х i= || xt (]') ||, хг (]) (= В. Символы xt (= X j= В1 обозначают
строки, а х (/) (= BN — кодовые столбцы, отвечающие сообщению ;',
/ S [t]. Кодовые столбцы передаются по дискретному
многодоступному каналу без памяти (MAC), который задается
вероятностями Р (z | а) приема символа 2GZ- {zj, . . ., Zz \} при
передаче s-набора двоичных букв а ЕЕ В8. Если выполнено условие
А. Сообщения различных источников не совпадают, то
получается схема, изучаемая ПОЭ. Здесь, таким образом, имеется
зависимость между сообщениями источников, которая исчезает
асимптотически при t->- оо, s- const (см. 2.2). Ситуацию, где нет
ограничения А, обозначим Д.
Итак, слову сообщений w j= (m;1, . . ., ws) ЕЕ О (s, t)
сопоставляется в ПОЭ 5-набор х (w) столбцов матрицы х, а приемник
получает случайный столбец £ £= ZN, такой, что
Р (g = Z | X (W)) = PN (Z | X (W)) = П^ Р (Zi | X, (W)). (2)
При Д слова сообщений w ЕЕ W8, x (w) определяются
аналогично. Будем предполагать, что оператор перехода Р (z | а)
существенно зависит от всех аргументов а1? . . ., as, т. е. для к (=
ЕЕ [s] справедливо
В приложениях полезно представление оператора перехода
в виде наложения случайных искажений (шума) на
детерминированное преобразование входа а (называемое в ПОЭ функцией
отклика). Для этого в (28Х \Z |)-матрице Р *= \\ Р (z\ а) ||
обозначим через R множество несовпадающих строк матрицы Р, г *=
*= | R |, как-то перенумеруем элементы множества й от 1 до г
и сопоставим s-набору а число т) (а) *= z/, у 6= [г], если строка
Р (• | а) = Р (• | у) — у-я по порядку в множестве R. По
определению имеем Р (• | а) 5= Р (• | tj (а)), так что искомое
представление оператора Р получено. Оно, очевидно, обладает свойством:
Е. Все строки Р (• | у), у ЕЕ [г] различны. Ясно, что имеется
взаимооднозначное соответствие между операторами Р и парами
(Р (• \у), ц:В8-+У, у е= Y), удовлетворяющими Е. Если для
Р выполнено (3), то функция ц существенно зависит от всех своих
аргументов, т. е. для к ЕЕ [s]
т) (. . ., ак = 0, . . .) =f= ц (. . ., ак *= 1, . . .).
88
Для иллюстрации вводимых ниже понятий рассмотрим
простой пример канала без шума и г) (аг, а2, as) >= at + a2 — а3.
Ясно, что в этом случае слова сообщений (i, /, к) и (/, i, к) дают
одинаковое распределение на приемнике, так что приемник не
сможет восстановить, какое из этих слов было передано. Для
перестановки я *= (ях, . . ., jxs) ее О (5, 5) и aG£s обозначим 5-набор
(аЯ1, . . ., ал) через л;а. Вводим
20 = {Л(^6> (s, s): Р (. |яа) = Р(- |а) для всех йеВ8}, (4)
которая, очевидно, есть подгруппа О (s, 5), рассматриваемая как
симметрическая группа. Пусть 2$, * *== 1, . . ., ЯГ — 1 — левые
смежные классы О (s, 5) по 20. По известной теореме Лагранжа
0{s,s) = U?^u 2,П2,- = 0 и |20| =
= |2|| для всех i = l,..., Я — 1, Я|2о| = $! (5)
Слова сообщений w и v будем называть неразличимыми (для
MAC Р (г | а)), если {w} ?= {у} и rcw= (и?Л1, . . ., wn ) *= у для
яЕ=20. Множество классов Ж (w) неразличимых слов О (s, £)
состоит из -ЙГС< элементов. Решающая функция приемника
(декодер) есть отображение d: XN X ZN -+ б (s, t). Ошибка передачи
происходит, если при истинном слове wd (х, z) ф Ж (w).
Вероятность (условная) ошибки зависит лишь от класса Ж (w) и
обозначается SP (К (w), х, d). При равномерном априорном
распределении на О (s, t), порождающем в силу (5) такое же на О (s, £),
вероятность ошибки есть
& (х, d) = | о (s, t) Г12^(8i t) дь (л, х, d). (6)
Код называем (у, й)-кодом (или (7, с?)-разделяющим (слабо)
планом [2]), если З5 (х, d) < 7- Введем &d (5, t, N) s= min 2P (x, d).
Скоростью (у, с?)-кода х размером N X t назовем R (7, x, d) s=
t= In t/ЛГ,
i?f (5, 7, d) = max R (7, x, d). (7)
Очевидно, имеем Я* (5, 7, d) — In £/min {N: SPd (s, t, N) < 7}.
Отметим, что в классической теории MAC [3, 4] разные источники
могут использовать различные коды, так что проблема
неразличимости не возникает и представляет интерес изучение набора
скоростей передачи Rt для источников i Е Ы.
Введем решение наибольшего правдоподобия 6 (x, z) формулой
8(х, z) = argmax /V(z|x(w)), (8)
"~ Ж (w) GO (s} t)
причем если (8) имеет несколько корней, то один из них
выбирается равновероятно наугад. Как известно [5], для любого х
дь (х, 6) = min $> (x, d) = ^ ф- (9)
5 Заказ Я* 3138
89
В тех случаях, где используется декодер б, его символ
опускаем.
Темой работы является получение асимптотических оценок
сверху и снизу величины Rt (s, 7» d) при t-+■ 00. В первом
приближении полученные результаты можно подразделить на 2
вида. К первому виду относится исследование границ в
предположении, что
5 — const, t -^ оо, | In 7 | j= о (In £), (10)
т. е. изучение «пропускной способности» MAC в заданном классе
кодов, сообщений и декодеров. Ко второму виду относятся
аналогичные результаты в предположении, что
5 i= const, t -^ оо, In 7 ~ —a In *i (И)
где число а > 0 не зависит от £.
Представляет интерес ситуация, где про число источников
известно только, что оно <^ 5. Предполагается, что MAC Р: Ви -> Z
определен для любого числа сообщений и ^ s и удовлетворяет
(3). Введя аналогично классы различных сообщений О (и, t),
и (= Ы, обозначим Т (s, t) j= Uuse[s]6 (u, t) и будем считать, что
на Т (s, t) задано равномерное априорное распределение. На этот
случай и на ситуацию Д непосредственно переносятся все
введенные выше понятия, а их обозначения будем снабжать индексом
<; 5 вместо 5 и Д: i?f* «; s, у) и т. д. В 2.1, 2.2 просто
доказывается следующее утверждение:
Лемма 1. Если выполнено (10), то Rt (s, у) ~ Rt (<^ sy у) ~
~ R? (*, 7) ~ В? (< *, 7).
При а ]> 1 величины Д* (^ 5, 7) и /?^ (5, 7)» по-видимому,
не эквивалентны между собой и ни одну из них не удалось с
точностью до эквивалентности оценить.
Далее, в работе мы ограничимся (кроме 2.1 и 2.6)
исследованием ситуации, когда число значимых факторов известно и равно
5. Определим случайные величины | G X, | Е XN
распределениями
Рр(|=х) = Р(х) = ПЦ/>(х4 (/)), Р(1) = 1-Р(0) = р\
P^(| = x)nf=A(Xi), |i€=[0,llw.
Пара |, £ при истинном слове w имеет распределение
P?(S = x, 5 = z) = P(x)JP(z|x(w)). (13>
При w = [s] t= (1, . . ., s) верхний индекс меры Р$ опускаем.
Пусть
{v>CM, |{v}| = i;, {v}* = [s]\<v},
S{v} = (ii,ieE{v}), (14)
/8<v} = /(£A&{v>c|S{v}).
90
В силу (3) /3 {v} > 0, р ф В.
Наконец, для множества распределений М *= {\х} на лебегов-
ской сг-алгебре подмножеств [0, 1] введем
/№{v) = J/p{v}|*(dp). (15)
Основной результат п. 2 (следствие теорем 2.1 и 2.2) есть
Теорема 1. При выполнении (10) существует
lim Rt{s, у) =max min min {/^{v}/(s — v)} = C(s). (16)
/-»« |цемо<с<8{у}еи(с,8)
Оценка сверху в (16) доказывается с помощью леммы 1 и
некоторой асимптотической модификации неравенства Фано [1]
в 2.3, другое доказательство, также обобщающее неравенство
Фано, дано в 2.4. Оценка снизу в (16) получается обобщением
метода случайного кодирования Шеннона [6] в 2.2, 2.5 посвящен
рассмотрению случаев, в которых можно дать более эффективную ха-
рактеризацию С (s), чем в (16). В 2.6 мы разбираем случай
равновероятных sG[S].
В п. 3 развиты методы оценки Rt (s, 7) Для случая (И),
развивающие технику Р. Галлагера [5]. Их следствием является
также асимптотика Rt (s, у) в случае (10). Мы поместили и
первоначальную схему доказательства для случая (10) ввиду ее большой
прозрачности и возможности оценки остаточного члена для Rt (s, у)
[1, 2].
2. ОПРЕДЕЛЕНИЕ ПРОПУСКНОЙ СПОСОБНОСТИ
1. Доказательство леммы 1.1. Оценка-К* снизу. Ввиду того
что обоснования всех эквивалентностей аналогичны, докажем
для определенности, что Rt (s, 7) ^= R? {s, У)- Достаточно
доказать, что у-код х для первого случая при | In у \ =^ In t является
Y'-кодом для ситуации Д, In у' ~ In у, так как множество
сообщений в Д шире.
Отметим, что множество V (s, t) *= [t]* \ О (s, t) слов, не
удовлетворяющих условию А, включает не более const t'1 \0 (s, t) \
элементов. Поэтому, даже оценивая вероятность ошибки кода при
передаче слова из V (s, t) единицей, получаем, что вклад их в
^д (?)
Г*2У€Еу (s, о^Д (v, х) < const Г1. (1)
В силу отмеченной выше оптимальности решения 6 остается
оценить ^д (w, х) для wGO(s,i). Пусть Z (w) и ZR (w) есть
декодирующие множества решения 6 в ситуациях А и Д. Отметим,
что Z(w)f)Z (v) *= 0, Ж (w) ф Ж (w) из О (s, *) и Z* (w) f]
П z* (w) *= 0 для жл (w) ф ж* (V), v e M8, w e W.
Причем на Zд (v) выполняется неравенство
P.v (z J x (v)) > max {PN (z | x (w), we [t]8}. (2)
5* 91
Имеем по определению у-кода (1) и (2):
^д (х) — У — const Г1 < const /"s2weo(s,o2vev^ X
PN(Z(w)n^(v)|x(w))<
< const *-s2veEv <*, о P (ZE (v) | x (v)) < const Г1.
Отсюда уже без труда получается результат леммы 1.1.
2. Оценка Jit (s, 7) снизу при выполнении (1.10). Введем класс
Мм мер fiEM, сосредоточенных в каких-то k^N точках р2, . . .
. . . ., р^, для которых ju, (pr) j= JVr/iV, где 7V >= Nt + . . . + Nk
nNr^> 0 —целые числа, г ЕЕ: [к]. Для \jlEEiMn определим
случайную величину 1 на множестве (N X £)-кодов:
Р^ (1 = х) = Рц (х) = n{Li P?i (Si = х,),
P(i(|i = xi) = p'3Ci|(l-prr,xi|
для Nx + . . . + JW-x < i < N, + . . . + Nr.
Пара |, £ имеет при передаче слова w распределение
P?(l = x,g = z) = Prl(x)P^(z|x(w)).
При w я= [s] и {v} CZ [5] условная информация
I(EA|Mc|l{v}) = iV/№{v}.
Утверждение. При выполнении (1.10) справедливо
(при i?f s= i?< (5, 7), или Я, «s, 7), или #f (s, 7). или i?f «5, 7))
Rt^ sup min min (7|Ul{v}/(5 — y)). (3)
Получим более точную оценку, нужную в 2.6. Ввиду симметрии
6 оценки Ер^ 3d (1) сводятся к оцениванию
РЫ(ЪфЖ[1\)= S />Й(*еЛ ({▼},*)), (4)
^ {v}C[sJ,neO(v, s) ^
где Л ({v}, л) *= {JT (w): {w} f| [5] 5= {v}, и;л. s=v,,i6 [1;]}.
Далее в доказательстве индексы [s] и jh опускаем. Обозначая
a (w) j= Pjy (g 11 (w)), при любом выборе порога W *= РГ (§ {v}, £)
верно
P(6eA({v}^)||{v})<P(ap]<W||(v)) +
+ S P(a(u)>W|S{v}) = I+II. (5)
UGA ({v}, я)
В отличие от предыдущих работ выберем
И' = Р«(£|1|{у})Г^-о(Лт),
/({v}frt) = E(ln[PN(C|HS])/P»(6|6{v})]) =
= iV/(i{v} + Eln[PiV(g|l{v})/Pu(C|l{v})]. (6)
Оценка I в (5) с помощью теоремы о больших уклонениях сум-
92
1
мы независимых случайных величин протекает так же, как в [21.
Слагаемые II оцениваются так:
Р (а (и) > W11 {v} = х {v}) = 2 ри & Мс) pN (z | х {v}) <
cc(u)>W
<e-' 2 P«(x{v}c)P(z|x{v})X
z, x{v}c
XPiy(z|x(u))/P«(z|x{v})=<exp(-/({v},jt)).
Таким образом, получаем
P (беЛ ({v}, я) < *s"» exp (— / ({v}, я)) =
= exp ((s — v)lnt— NJyt, ({v}, jt));
/|i({v},rt) = /,»{v} +J^p({v},rt)(i(dP),
*э ({v}, я) = Epp In [Рэ (С 1g {у»/РЦ (С11 {v})]. (7)
Легко проверить с помощью неравенства Иенсена, что второе
слагаемое /ц (7) неотрицательно (это информация Кульбака
между распределениями Р» (£ || {v}), PjJ (£ || {v}). Поэтому
главный вклад в (4) дают «тождественные» я j= [»]. Повторяя с этого
места рассуждение в [1], закончим доказательство утверждения
для Rt (s, у). Другие случаи аналогичны.
Легко видеть, что /р {v} непрерывны по Ре [0, 1], поэтому
в силу слабой компактности М существует
maxG(s,p,) min min (/цМ/(* — v))=G(s1\i) (8)
HGM 0<u<s {v} eU (i\ s)
и предельным переходом из (3) следует
Теорема 1. lim Rt (s, у) ^ С (s) при выполнении (1.10).
Отметим, что хотя доказательство теоремы 1 основано (как и
доказательство нижней оценки для области допустимых скоростей для
MAC в [4, 7]) на развитии метода случайного кодирования [6],
нам приходится преодолевать значительные дополнительные
трудности, так что наш результат не следует из [4, 7].
Оценки Rt (s, у) сверху при условии (1.10)
Теорема 2. R (s, 7) =< С (s).
Дадим здесь два доказательства. Одно основано на лемме 1.1
и использует независимость слов из [t]8, другое включает
предварительную «чистку» 7-к°Да> обеспечивающую асимптотическую
независимость слов из О (s, t), далее оба доказательства
протекают параллельно.
Пусть {х'} есть семейство 7"К°Д°В размера N X t. Согласно
теореме 1, можно считать, что при выполнении (1.10) TV =< С (s) In t.
Нашей целью является доказательство противоположного
неравенства для любого С <С С (s). Сначала мы установим, что
можно построить другое семейство y'-кодов {х'}, 7' ~ у размера N' X
X t', для которых N' <^ N, t' ~ t и во всех строках
In t < I xt I < t - Int. (9)
93
Пусть / (£), О <; / (t) =^ С (s) In21 — функция t. Назовем /
особыми строками i, для которых .либо
1) Iхг |</(0.
либо
2) *-/(*)< | х, I-
Столбцы кода х, в которых на их пересечении особыми строками
стоят в первом случае единицы, а во втором — нули, назовем
/-редкими. Справедливы следующие утверждения,
доказательства которых мы опускаем ввиду их элементарности.
Лемма 1. Если из у-кода х вычеркнуть все /-особые строки
и /-редкие столбцы, то получится у'-код, 7' ~ У-
Лемма 2. Найдется такая функция / (£), 0 =^ / (t) ^ С (s)ln21,
что ни для какой строки кода х не выполняется ни одно из
неравенств / («)< | Х| |< / (t) + lii t или t — f (t) — In t < I X! |<
Если применить результаты леммы 1 к функции / (t), даваемой
леммой 2, то после вычеркивания строк и не более С25) In3 t
столбцов получается 7'-код, для всех строк которого справедливо (9).
Поэтому будем предполагать выполненным условие (9) в
дальнейшем изложении.
Пусть {v}cz[s], |{v} I j= v. Для слова w ЕЕ О (s, t) обозначим
w {l} *= (и7*» i S {v}). При равномерном распределении ю ЕЕ
е О (s, t) величины <о {v}, <o {v}c имеют совместное распределение
—, если Ь П Ь = 0,
Р (о {у}) = Ь, со {v}c = Ь' =
-V
CvtCs{i
{ 0, если b П Ь' Ф 0,
так что при выполнении (9), t -►■ 00 и 5 *= const это распределение
сходится по вариации к произведению распределений двух
случайных выборок объемов v и 5 — v из множества [t]. Введем
l\ {v} =£ xf (со {v}), 1< {v}± х (со {v}). Величины Ц {v}, ^ {v}c
имеют совместное распределение
P(li{v} = l,li{v}=r) = 6?,Pi(l)Gs^ *Р|_,.|,
1 t-111, ^
где G£p (1) — распределение выборки без возвращения объема и
из совокупности t шаров, среди которых | х | ;= tp шаров —
вида 1, а остальные — вида 0. Таким образом, при t -^ оо, 5 j= const
и (9) совместное распределение g{ {v} и £l {v}° сходится по
вариации к распределению бернуллиевских величин с вероятностью
Pi *= I /x*| ft единицы каждая.
Рассмотрим последовательность случайных величин
®{v)e —|4v}c^E.|4v}^**(E,|'M). (10)
где
6* (z, b) = arg шах PN (z | x (w)).
- A (b {v})
94
Очевидно, что вероятность ошибки решения б* не больше у,
а (10) есть марковская цепь как при а) ЕЕ [t]\ так и при со ЕЕ
GE О (s, £). По теореме переработки информации [5] имеем
l(©{v}«A**(E,|4v})<i(|1{v}cAS,
|4v}) = I(|4v}cA5||4v}) + a, (11)
где а *= Е In [P (V {v}c 1|< {i;})/i> (|* {v}% в ситуации Д а
равно нулю, а для со ЕЕ О (s, £) а стремится к нулю при £ —►■ оо, s :=
*= const. Доказательство последнего следует из того, что вклад
в а сингулярной части распределения |' {v}, §' {\}с равен нулю,
а на оставшейся части отношение условной и безусловной
вероятностей равномерно стремится к 1.
Ввиду того что MAC -— без памяти, имеем
id'M^^l'MXS^idlM^ACiliav}). (12)
С другой стороны, из неравенства Фано [5] и
равнораспределенности К (со) Е= О (s, t)
I(&{v}°Ab*(S>V{v})>(i — v)(s-v)]nt. (13)
Окончательно получаем для любого {v} CZ [5] из (11) — (13)
(1 _ у) Rt {Sj у) < N'i р^ / (Ь д Ц {v}c 1|< {v})/(5 _ v)] _
~[N(s-v)]-i2LiI&iAli{v}c\4{v})~
~J/p{v}|i«(dp)/(e-i;),
где iV|Ht (P) есть число строк г, для которых | xt | j= Аф. Отсюда
уже непосредственно следует утверждение теоремы 2.
3. Неасимптотическое неравенство Фано. Для
последовательности а = (аи a2J . . . , as) E: В8 и множества {v} = {Arx, &2, . . .
. . . , kv}, 1 ^ кг< к2 <....< kv <^ s определим
подпоследовательность a {v} = (akl, ak2, . . . , а^). Зафиксируем план х =
= II xt (У) II» * €= f-^Ь 7 €= W. Введем на аЕ^1 распределение
вероятностей \iW (a, {v}) = [г* (a {v})-[ij (a {v}c), где {v}c = Ы\
\ {v}, причем для непустого {v}, v G= [s] число
|*t (a {v}) = (| Xi |)| a {v> 1 • (t — I X| |V_, a {v} |/(0„,
a \it (a {0}) = 1. Отметим, что
^({v},|xi| = SS^(i)(a,{v})ln[P(z/a)/ 2 m(a{v}«)P(*/a)]=
a 2 a {v}c
=i(?iAii{v}ci!i{v}),
где совместное распределение тройки £«» |г {v}c, |,- {v} случайных
величин
Р(& = *. !{v}c = a{v}«, Ii{v}=a{v}) = |i(*)(a,{v})i>(«|a).
95
Теорема 3. Для любого {v} с [s] и любого х число
S(^({v}, | х. |) + In (2 (sb^))
Ш№-г^ l-#>(x) (*),
Нетрудно понять, что из теоремы 3, называемой
неасимптотическим неравенством Фано, вытекает асимптотическое неравенство
Фано, сформулированное в теореме 2.
Доказательство теоремы 3. Оно использует идею рассуждений
из [3]. Пусть ради упрощения записи {v} = {1, 2, . . . , у},
причем будем рассматривать лишь нетривиальный случай v s
sb- l].
Для каждого размещения х = (хх, . . . , xs_„) s О (s — v, t)
определим во множестве О (s, t) подмножество W (x, {v}°) = {w :
: w {v}c = x}. Введем для планах и классов словCfC (w)
непересекающиеся декодирующие подмножества решения наибольшего
правдоподобия Lx (w) = {z : PN (z | x {w}) ;> PN (z | £ {w'} для
любого w' ф Ж (w), где «#* (w) — классы слов сообщений,
неразличимых с w. Имеем
1-5&(х) = (071 2 23 Pw(£*(w)|x(w))i<
хео (s-p, о weTV (х> {v}c -
< 23 S PN(i,({X»|x(x'),x(x)),
хеО (s—i>, о х'еО (и, о "~
где Lx ({x}) — объединение множеств Lx (w), которое берется по
тем классам Ж (w), из сообщений которых можно составить
размещение х Е= О (s — v, t).
Пусть A {v} и A {v}c — произвольные матрицы из 0 и 1
соответственно размеров N X vslN X (s — v). Обозначим для плана х
через [гх (A {v}) ([iXN(A {v}c)) отношение числа размещений x'sOx
X(v, t) (x£0(s- v,t)),таких, что x (x') =A {v} (x (x) = A {v}c),
к общему числу размещений (t)v ((£)s-i>)- Используя данные
обозначения, можем написать
1-^(х)<-|^-^ £ PN(Lx({x))\A{y),^(x)) х
* X A{v>
X kc (A {v}) = (*)„ («)_„ Q ({v}, *)/(*),,
где
e({v})X)=(*)7i„ S Px(^({«»lx(«))
— вероятность правильного решения при передаче сообщения хв
имеющего равномерное распределение на О (s — v, t), когда х (х)
получено путем однократного использования одностороннего
канала с переходной матрицей
Wz|~A{v}c)A J PN(z|A{v},A{v}>x(A{v}),
— A{v} — — —
96
на выходе которого проводится декодирование списком [1]
фиксированной длины (s)s-v. Последнее означает, что при получении на
выходе z ЕЕ Lx (w) в качестве выходного сообщения выдается
список из всевозможных (s)s.v размещений объема s — v,
составленных, из s сообщений класса CfC (w), и правильным решением
считается ситуация, когда переданное размещение принадлежит
этому списку.
Далее, согласно неравенству Фано для спискового
декодирования фиксированной длины, которое легко вывести, обобщая
рассуждения при доказательстве теоремы 4.3.1 в [1], получаем
\Ъ\
1 Ц\ ^ I(£Aj{v})+ln(2(,)8.l?) (t)v(t)s_v
где тройка .случайных величин g, | {v}, §{v}c имеет совместное
распределение Р (£ = z,I{v}c = A {v}c, f {v} = A {v}) = PNX
X(z/A {v}, A {v}0-^ (A {v}).u, (A {v}c).
Из известных свойств информации вытекает, что
i (g ЛI {у)с)< i (5 ЛI wc/I {v}) < 2 i (Si Л h <^>C/Ii {v}),
где случайные величины в правой части последнего неравенства
определены при формулировке теоремы. Теорема 3 доказана.
4. Ординарные модели. Хотя (1.16) формально решает вопрос о
пропускной способности MAC в нашей задаче, остается вопрос
упрощения (1.16). Полезно, в частности, было бы установить
границу для минимального числа точек носителя мер, достаточного
для представления (1.16). Остается неопровергнутым
предположение о том, что max min в (1.16) достигается на «чистых стратегиях»
по р, т. е. jii ЕЕ Мг, хотя имеются примеры, показывающие, что
Jp {v} не есть, вообще говоря, выпуклая функция р. Интересным
является и вопрос о том, на каком {v} может достигаться max min в
(1.16). Назовем MAC ординарным, если он достигается при {v} =
= 0.
Если модель ординарна, то очевидно, что
С (s) = max 1^{ф}/8. (14)
fe[o,i]
Теорема 4 [1]. MAC P ординарен, если для любых параметров
рандомизации р (= [0, 1] и перестановок л; (= О (s, s) верна одна
из следующих эквивалентных систем неравенств:
1) Ip(jAE(«u)|S(rtUr^l]))Ai(M,rt)<7(M + ilrt)f
2) Щ1(яи+1)\\Ъ(я[й]))кН(и+1,я)^Н(и,я),
3) Д2Фи = qw — 2фп + фи.х < 0, Фп А Н (£ 11 (л [й])),
где Н (g | т|) -^ Е In P(l\i\), ttEb- 1], л fc] = (ях, . . .
. . . , пи).
Доказательство теоремы 4 легко следует из формулы
h т=2U* i (е л б (») I s &=*\),
97
получаемой [1] на основе цепного свойства условных вероятностей.
Условия теоремы 4 допускают эффективную проверку. Так,
справедлива следующая теорема.
Теорема 5 [1]. Если MAC симметричен, т. е. для любых
л ЕЕ 0(s, s) Р(-1 а) = Р (• | яа), то он ординарен. С другой
стороны, MAC без шума, для которого
ц (аь ..., as) = ai + 2-=2 ах (mod 2),
не ординарен [1] при s]> 3.
Отметим, что ординарность симметричных MAC не следует из
[3]. Хотя, как можно проверить, и там на диагонали Rx = ...= Rs
максимальная скорость есть (14), но она в некоторых случаях
(например, для MAC без шума с г) = а± + а2) достигается только
на нетривиальном делении времени (и, конечно, на .независимых
кодах для каждого источника), что еще раз оттеняет сходство и
различие наших теорий.
5. Равные априорные вероятности для 8GS. Иногда более
естественным подходом к случаю неизвестного s, чем описанный во
введении, является следующий: предполагаем, что априорные
вероятности qs для 5 Е: IS] равномерно по t ограничены сверху и
снизу: 0 < Ь < qs < b' < 1.
Нетрудно понять, что этот случай асимптотически при t -> оо,
5 = const исследуется так же, как и случай равных qSJ что мы и
предположим в дальнейшем. Нашей целью является получение
границы снизу для Rt ([5], 7) — наибольшей скорости передачи
слов сообщений из Т (£, t) со стремящейся к 0 вероятностью
ошибки ?f> ([£], t, N):
^([Sht,N) = mmS^i:Li\6(s9t)\^ 2j #([5], *, x),
teO(s, t)
где $> ([£], CfC (w), x) — вероятность ошибки метода
максимальной апостериорной вероятности 6' при плане х и передаче w.
Введем Г — совокупность наборов (5, u, {v}, я), где s 6= [£],
и е IS], {\} С [Sh я GO (v, и), | {v} | = v < min {5, и}. Пусть
передается слово [s], s(=[S]. Для (s, и, {v}, я)еГ рассмотрим
множество Л(5, и, {v}, я) слов w (= О (ur t), для которых {w} f]
П Is] = {v} и wni = vt, iG [v]. Рассуждаем по схеме 2.2 начиная
с (4), где вместо Л ({v}, л:) подставляем Л = Л (s, и, {v}, я), но
(5) заменяем на
*Ч«'еЛ| S {v})<J> (a [S]<W|S {i>>) + 2J />(2-ма(м)>
~ ~ пел
>^|j{v}).
Вводя / формулой (6), получаем Р (2s"wa (u) > W | | {v}) ^
^ *s~w ехР (—«О» так что Для ^ (б' €Е А) получается та же оценка,
что и в 2.2, хотя теперь |и| не обязательно есть s. Повторением
дальнейших рассуждений доказывается следующая теорема.
Теорема 6. ИтпД, ([£], у)^тах minG(w,[x) при выполнении 1.10.
нем ue[S]
98
3. ВЕРХНЯЯ ЭКСПОНЕНЦИАЛЬНАЯ ГРАНИЦА ВЕРОЯТНОСТИ
ОШИБКИ
1. Формулировка результатов. Для фиксированного множества
{v} = {кг, к2, . . . , kv}, 1 < кг < к2 < ... < kv < s, v е Ы
определим на a {v} = (aklJ акг, . . . , akv^^Bv распределение
вероятностей
Р<Ю (a {v}) = pi«wi (1 _ p)Maiviif о < р < 1,
где использованы обозначения теоремы 2.3. При v = О положим
Р(Р) (а {о}) = 1. Положим также Р(® (а) = Р(Э)(а {s}). В каждом
смежном классе 2fe,/c = 0, if — 1 зафиксируем перестановку
л* е 2*. Основной результат данного раздела содержит
Теорема 1. Пусть R ]> 0 — фиксированное число, a t =
= Гехр {i?JV}~l. Пусть Nl9 N2, . . ., Nj, 2JV/ = JV — произвольный
набор неотрицательных целых чисел. .Тогда для распределения
вероятностей q = (дг, q2, . . . , qj), где qj = Nj/N и для любого
набора чисел р = (р2, 02> • • • > Pj)> 0 < р;- < 1 справедливо
неравенство
З5 (5, Гехр ДОП.#)<(К- 1)ехр {-NE0(q, P)} +
+ %Cv$(2Cvs-l)exV{-NEv(4,$,R)}, (l)
где
j
E0 (q, p, #) = min max 2 4j#o (а, я:*, p,-),
fre[K-i] a>o ;=i
Z)o(a,rt,p) = —1п{23Р(Э)(а)Р(2|а)^/>(2|яа)'°},
z а
а при i; GE [5] величина
£„(q,p,*i?) = max {JZf(p,q,P) —»рД>,
0<P<1
J
40) (p, q, P) = min 2 ?jDW (p, p,), (2)
{v} j=l
Z)(v)(p,p) = —ln{ 2 S^tP)(a{v}c)X
a(v)c z
X [ S Pm (a {v}) P (z I a)i/u+P>]1+p} , (3)
a{v}
причем минимум в (2) берется по всем Cl подмножествам {v}cz [5],
число элементов в которых одно и то же и равно v.
Отметим, что в записи показателей экспонент используется та
же самая теоретико-информационная функция (3) параметра р ^>
;> 0, которая была введена в [4] при описании показателей
экспоненты верхней границы для случая классического декодирования
в MAC. Тем же способом, что и в [6], где рассматривался случай
симметричного MAC, можно доказать, что определенная (3) функ-
99
w
ция параметра р ^ 0 выпукла вверх при любом
фиксированном р, 0<р<1. Кроме того, легко проверить, что число
dDW (р, р)/др |р=0 = /р ({v}°), т. е. является условной
информацией (1.14). Для каждого v £Е Ы положим Cv (q, Р) =
= min 2^7^({v}c), где минимум берется по всем Cvs
множествам {v}cz [5] мощности v. Из отмеченного выше свойства
выпуклости (3) вытекает
Теорема 2. Ev (q, p, Л) как функция параметра Л > О
неотрицательная, монотонно не возрастает и выпукла вниз. Причем
if i « pJ>0' если fl<y-lc»(q,P),
Л Л?, Р.Д)( = 0, если i?>^C„(q,P).
Ряд других важных свойств этих величин для некоторых
частных случаев, симметричных MAC, получен в [6]. Введем
функцию параметра Л ]> О
Е (R) = sup min {Е0 (q, Р)> Ex (q, р, Л), . . . , Ea(q, p, Л)},
где точная грань берется по всем конечным распределениям
j
вероятностей q = (дг, q2]. . . , gj),0 < qj < 1, ]>j #j = l и всем
конечным наборам чисел р = (р1? р2, . . . , pj), 0 < р; < 1.
Заметим, что если С — пропускная способность MAC, определенная
(1.16), то Е (R) > 0 при R < С и Е (Л) == 0 при R > С. Из
теоремы 1 следует
Теорема 3. Для любого а ]> 0 в условиях (1.11) величина
Rt (s, £~a) ;> R (а), где Л (а) — значение параметра Л > 0,
являющееся единственным корнем уравнения аЛ = 2? (Л). При этом
lim Л (а) = С.
а-*о
2. Доказательство теоремы 1. Пусть А = || At (j) || , iE IN],
j 6= Ы — произвольная матрица из 0 и 1 размера N X s. Каждому
непустому {v} = {кг, к2, . . . , kv) c[s], v е Ы, 1 < ^ < А:2 <
< ... < Л„ ^ s сопоставим подматрицу A {v} = || At (km) ||, iG
6Е UV], tti ЕЕ М, составленную из столбцов А, имеющих номера
кг, к21 . . . , kv, причем столбцы расположены в порядке
возрастания их номеров. При v = s матрицу A {s} будем обозначать просто
символом А. На множестве всех 2Nv матриц A {v} введем
распределение вероятностей
/>^(A{v}) = pl^T,l(l-P)w-|l«v»1, 0<р<1,
Если v = О, то положим Pffl (А {О}) = 1. Для каждого слова
на выходе z, каждого {v} и матрицы A {v}° определим функцию
параметра о ^ О
gW (a, z, А Мс) = £ Р№ (A {v}) PN (z | А)", (4)
— A{v| — —
100
с помощью которой зададим функцию параметров p^U и р, 0<
<р<1;
^}(Р,Р)= 2 S^}(A{i;}c)[gJvv)(l/(l + p),z,A{v}c)pp. . (5)
A{v}c z
Пусть символ лА = || At (лк) ||, i (= IN], к £E[S] обозначает
матрицу, полученную из А с помощью перестановки л = (я1?
я2, • • • 1 ^s) S 0(5, 5) столбцов А. Для перестановки л;*- Е= 2ft,
^ ^ [К — 1] определим функцию
GP (op) = S2 i>$} (A) PN (z I A)« Pn (z I л* A)°
z A — — —
параметров а>Оир, 0<р<1.
Введем, как и в п. 2, ансамбль планов х = || xt (j) ||, /Е IN],
/Eli], распределение вероятностей в котором
Р($ (х) A pW (1 _ p)"HS f 0 < р < 1,
4 = 2 2*1 У).
- 1=1 ;=1
Пусть SF> (w) — средняя по ансамблю условная вероятность
ошибки, если истинное слово сообщений было равно w.
Лемма 1. Для любого набора чисел afc, к (= [К — 1] и любого
набора чисел р8, 0^рр^ 1, i?G Ы справедливо неравенство
¥м < 2 <№ {**, Р) + '2 (2с.г -1) (сикр s f!vv) (Рв> р), (6)
Ь=1 г>==1
тде внутреннее суммирование во второй сумме идет по всем Cvs
непустым {v}, имеющим одинаковое число элементов v.
Отметим, что в частном случае, когда Nx = N, рх = р, теорема 1
непосредственно вытекает из леммы 1 с помощью стандартных
рассуждений метода случайного кодирования, если учесть, что
G№ (а, р) = ехр {- ND0 (а, лк, р)},
Ftf (р, Р) = ехр {- ND^ (p, P)}, (7)
j
а число C]LS К < £и. Пусть теперь N — 2 Nj- Обозначим через хх
совокупность из 7VX первых строк х, через х2 — совокупность из N2
следующих строк хит.д. Введем распределение в ансамбле матриц
х размера N X t
j
QNW^UPNfiXj). (8)
Из (6) и (7) вытекает, что величина 2Р (w) для ансамбля (8)
ограничена сверху правой частью (1). Следовательно, для заверши
ния вывода теоремы 1 осталось провести
1U1
Доказательство леммы 1. Латинскими жирными буквами и,
Ь, и будем обозначать элементы из U (v, t), О <; v *С 5. Эти
элементы, считая, что их символы расположены в порядке возрастания,
будем также интерпретировать как подмножества [t]. Пусть и +
+ b — объединение непересекающихся множеств и и Ь, а если
ucb, той = b — и — разность этих множеств, т. е. b = u + и.
Пусть для любого и = {и1ч и2, . . . , uv} ЕЕ U (Vj £), 1 <^ их <
< и2 < ... < uv <; t и плана х^ символ х (и) = || xt (щ) ||, i ЕЕ
GE [N], k (= М определяется аналогично х (w).
Пусть, не нарушая общности, истинное слово сообщений
w£[/(s,l). Зафиксируем произвольное подмножество u £ w.
Положим b = w — и, т. е. w = b + и. Обозначим через Р (х,
w, и) условную вероятность того, что при истинной гипотезе w
решение по правилу наибольшего правдоподобия будет ошибочно
и при этом совокупность всех сообщений этого решения,
принадлежащих слову w, есть b = w — u. Тогда условная вероятность
ошибки ЗГ° (CfC (w), x) = 2 Р (х, w, и), а ее среднее по ансамблю
& (w) = S Р (w> и)> гДе Р (w> u) — среднее по ансамблю
значение условной вероятности ошибки SP (x, w, u), а суммирования
ведутся по всем 28 подмножествам u cz w. Для вывода леммы 1
достаточно установить следующие утверждения.
Лемма 2. Если множество и =ф пустое, то Р (w, ф)
ограничена сверху первой суммой в правой части (6).
Лемма 3. При каждом v ЕЕ Ы сумма чисел P(w,u) по тем
подмножествам и с: w, для которых | и| = у, ограничена сверху
членом второй суммы в правой части (6), имеющим номер v.
Доказательство леммы 2. Для каждого ^ЕЙ-Ии
выходного слова z определим в ансамбле матриц х событие
X[k) (w) = {х : PN (z |х (w)) < PN (z | x (rtfcw))}.
Пусть
Xz(w)= U ZW(w),
тогда
TJ^J) = 2i ^ PW(x)PN(z\x(w)) =
z Xz(w)
= a 2 P$ (* (w)) PN (z I x (w)) QN (X2 (w) | {x (w)}),
z x(w) "" ~ ~
где здесь и ниже {х^ (w)} — событие в ансамбле, состоящее из тех
2N(f-s) матриц х, у которых подматрица х (w) фиксирована, а
символ QN (•!•) обозначает условное распределение в ансамбле.
Далее
Qn(Xz^)\It(w)})<:^ Py(.|,(w)) J •
л=1
102
где ок ^ О —произвольные числа. Следовательно,
fr=l z x(w)
X Pjv (Z | X (**W))a* = S G#>*, p).
Лемма 2 доказана.
Доказательство леммы 3. Для данного у €Е Id зафиксируем
произвольное множество u cz w, | и | = v. Пусть iicM- произ-'
вольное подмножество, такое, что uf]w=^n|u| = i;. Для
каждого и, число которых равно СД8, каждой перестановки л;*,
Q <^ k ^ К — 1 и каждого выходного слова z введем в ансамбле
матриц х событие:
ХР (и, Ю = {х : PN (z | х (як (b + и))) > PN (z | * (b + u))}.
Определим
Xz{u)=U U*?} («.*).
* a
где объединение берется no к, 0 ^ к ^ К — 1и всем С?_8
множествам и. Имеем
^(w,u)<S S ^)(x)PiV(z|x(b + u)) =
= S S S ft* (z | x (b + u)) P$ (x (u)) P$> (x (b)) X
z x(u) x(b) "" "
X^jv"(^(u)|{x(b + u)}). (9)
Для каждой пары (к, и) условная вероятность
^(Х^(и,й)|{х(Ь + и)})<
< V Р<« (х Ш \ ^<'15 ("><Ь + й))> У _
<1А (X(U))L J»w<«|x<b + u)) J -
x(u)
= P„ (z | x (Ь + u))-° /<»> (a, z, x (b)), (10)
где a ^> 0 — произвольное число, а величина
/£> (a,z,x(b)) = 2 P^)(x(»))^w(*|«(«t(b + u)))<'.
x(G)
Заметим, что для каждой пары (к, и), общее число которых рав-
ло Ct-iK, найдется множество {Т} Q [s] мощности v, такое, что
справедливо тождество
ф (a, z, х (Ь)) = *£> (a, z, x (Ь)), (И)
тде функция в правой части определена (4). Для каждого {v},
103
число которых равно С", обозначим через Н {у} совокупность всех
пар (&, и), для которых выполнено (11).
Для любого числа р, 0 <^ р <; 1, учитывая (10), (И), имеем
(?iv(Zz(u)|{x(b + u)})<
< 2 ( 2 Qn (X™ (и, и) | {х (b + u)»)P <
< (CUR)? PN \ъ | х (Ь + u))-"P 'S [*£> (a, z, ;х (Ь))Р, (12)
где суммирование идет по всем множествам {v} мощности v.
Зафиксируем множество {v}cz Ы мощности v, такое, что
2 Pf (x (u)) PN (z | х (b + u))° = gft} (a, z, x (Ь)). (13)
х(и) -
Положив о = 1/(1 + р), с помощью (9) и (12) получаем
неравенство
р!у^) < 2 (сику 2 S ^ (х (ь» х
;v} z x(b)
X *£> (1/(1 + р), z, х (Ь)) [g£> (1/(1 + р), z, x (b))F.
Далее, используя определение (5), нетрудно показать, что
Р(^7Г)<(С1ЛУ{FW(р,р) + 2 [/№(р,р) + *у>(p,р)]}.
Заметив, что каждому из Cvs подмножеств u czw можно взаимно
однозначно сопоставить подмножество {v}c:[s], которое
удовлетворяет (13), приходим к утверждению леммы 3.
Теорема 1 доказана полностью.
Литература
1. Малютов М. Б., Матвее П. С. О планировании отсеивающих
экспериментов при несимметричной функции отклика.— Математич. заметки,1980,
т. 27, № 1.
2. Малютов М. Б. Математические модели и результаты в теории огсеи-
вающих экспериментов.— Вопросы кибернетики. М.: Советское радио,
1977, вып. 35, с. 5—69.
3. Van der Meulen E. С, On a problem by Ahlswede regarding the capacity
region of certain multiway channels,— Information and Control, 1974, vol.
25, N 4, p. 351-356.
4. Slepian D., Wolf J. K. A coding Theorem for multiple access channels with
correlated sources.— Bell Systes Tech. J., 1973, vol. 52, N 7, p. 1037—1067.
5. Галлагер Р. Г. Теория информации и надежная связь. М.: Советское радио,
1974.
6. Дьячков А. Г. Границы вероятности ошибки для некоторых ансамблей
случайных кодов.— Проблемы передачи информации, 1979, № 2.
7. Ulrey M. The capacity region of a channel with S senders.— Information
and Control, 1975, vol. 29, N 3, p. 185—203.
104
УДК 621.391.154
ТОЧНОСТЬ ОЦЕНКИ ТОЧКИ МИНИМУМА
ФУНКЦИОНАЛА ТИПА СРЕДНЕГО РИСКА
ПО КОНЕЧНОЙ ВЫБОРКЕ
А. Б. Цыбаков
Задачи статистического оценивания, опознания образов и
другие часто сводятся к нахождению точки с = с* минимума
функции
I(c)=[Q(x,c)dF{x),
где Q (х, с) — известная функция потерь, F (х) — неизвестная
функция распределения случайной величины х со значениями из
некоторого измеримого пространства (Эс, 3d). Непосредственная
минимизация / (с) невозможна, если вид функции F неизвестен.
Поэтому обычно находят точку сп минимума эмпирического риска
п
1п (с) = — \ Q (хг, с), который строится по выборке Хп = (х19 ...
г=1
. . . , хп) из совокупности с неизвестной функцией распределения
F (х). В связи с этим возникает задача построения доверительных
интервалов для параметра с*.
Эта задача для конечных п и в асимптотике при п*+- оо
рассматривалась в ряде работ (см., например, [1]) при Q (х, с) = 1п/> (х, с),
где р (х, с) — плотность распределения элемента F (х, с) одно-
параметрического семейства функций распределения, которому
принадлежит неизвестная функция F (х). В [2] получено
асимптотическое распределение оценки одномерного параметра сдвига
при неполной информации об F (х). Там доказано, что при
определенных условиях случайная величина Yn (сп — с*)
асимптотически нормальна со средним 0 и дисперсией
SfHz-e*)dF(z)
° — [ф'(е*)]2 V '
(смысл обозначений см. ниже).
В данной работе построены доверительные интервалы для с*
при конечных п в случае, рассмотренном в [2], а также в
многомерном случае при неполной априорной информации относительно
функции F.
Приведем условия, накладываемые на функции Q и F в этой
работе. Будем предполагать, что хг, . . . , хп— независимые,
одинаково распределенные случайные величины с функцией
распределения F (х), а с* — единственный минимум / (с). Обозначим через
105
<ЖП),53(П)) выборочное пространство случайной величины Хпу
через (С, 53 (С)) измеримое пространство, которому принадлежат
значения с, и через Р вероятностную меру на ,®(п>, порожденную
функцией распределения случайной величины Хп. Функцию потерь
Q : % X С *+ R + будем считать выпуклой по с.
Пусть сначала Ж = R, С = R, а
I(c) = ^Q(x — c)dF(x).
К этому случаю сводится, например, статистическая задача
оценки параметра сдвига. Не умаляя общности, можно положить
€* = 0. Зададим класс 3t функций потерь следующим образом.
1. Пусть В cz R — множество точек, в которых F (х) имеет
непрерывную плотность р (х). Будем считать, что / (х) == Q' (х)
определена на Л и непрерывна всюду, кроме, быть может,
конечного множества А = {aj, i = 1, . . . , т и A cz В. В точках at
функция / (х) имеет конечные скачки ht. Доопределим / на А
«соотношениями / (at) = V2 (/ (at + 0) + / (at — 0)).
2. Ha R \ A f (x) имеет непрерывную производную, причем
/' (at + 0) и /' (at — 0), i = l, . . . , т конечны. Под | /' (at) \
будем подразумевать max { | /' (at + 0)| , | /' (at — 0)| }.
При фиксированной выборке Хп оценка сп является корнем
уравнения
2/(**-*») = о. (2)
Ограничимся рассмотрением того случая, когда сп как функция
Хп является 33<п>-измеримой.
Из результатов [2—4] следует, что класс 3t довольно широкий:
в него входят такие Q, которые в качестве решения сп уравнения
(2) дают выборочное среднее, выборочную медиану, винзоризован-
лое среднее и другие оценки.
Обозначим ф (с) = I f (х — с) dF(x). Приведем без
доказательства следующую лемму.
Лемма 1. Если для Q ЕЕ % существует число е ^> 0 и функция
if (х), такие, что г|) (х) > | /' (х — с)\, х £= R, с е [— е, е] и
$№**(*)<<*>* (3)
то ф (с) дифференцируема в нуле и
ф'(0) = - J f(x)dF(x).
R\A
Если функция Q ЕЕ 31 растет на бесконечности не быстрее, чем
х2, то (3) удовлетворяется, какова бы ни была функция
распределения Fy поскольку в качестве -ф (х) можно взять постоянную.
Для случая ^Е31 справедливы следующие утверждения [2].
Лемма 2. Если для некоторого с значение ф (с) конеч-
106
\
но, то ф (с) существует для всех с (возможно ср (с) — ± оо) и
монотонно убывает по с.
Лемма 3. Если для некоторого с функция ср (с) ]> 0 при с < с
и ф (с) < 0 при с^> с, то сп -*- с (Р — п.н.).
Справедлива следующая теорема.
Теорема 1. Если выполнены условия леммы 1 и, кроме того,
ф(0) = 0иф' (0) < 0, то сп ^ 0 (Р — п.н.).
Если, помимо того, для некоторых чисел \i и Я выполнено хотя
бы одно из двух условий
а) J/2(* — c)dF(x)^%, c&R,
б) |/(*)|<Ц, *<=Я,
то для любого б > 0 справедливы оценки:
в случае а)
Р(|сп|>6)<2Я-,Л(б()б). (4)
в случае б)
^(К|>в)<2ехр[—^п], (5)
где А (6) = min (| ф (б)|, ф (— б)).
Доказательство. Первое утверждение теоремы следует из лемм
1—3. Для получения оценок (4) и (5) заметим, что при любом б ]> 0
{Хп:\сп(Хп)\>8} = {Xn:/n(6)<0} (J {Xn:l'n(-8)>0} =
= {Хп:-/;(б)-ф(б)>-ф(б)}и
и{Хп:Ы-6) + ф(-8)>ф(-6)К
Здесь Ф (б) < 0, ф(- б) > 0 и М{1*п (б)} = - <р (б), М {l'n (- б)} =
= — ф(—б). Второе утверждение теоремы следует теперь
из неравенства Чебышева в случае а) и из неравенства Хефдинга
[5, с. 76] — в случае б).
Пусть теперь Ж = i?M, С = RN и 1п (с) при заданной выборке
Хп имеет единственный минимум в точке сп(Хп), причем сп как
функция Хп является $3<П)-измеримой. Обозначим через S (а, б)
сферу в RN с центром в точке а радиуса б (в евклидовой метрике),
а через 9Rjv (e, б) — число точек минимальной е-сети (в той же
метрике) на S (а, б), SRjv (е, б) = 1 при е ]> 2 б. Если е < 28,
то $*! (е, б) = 2, а при iV ^> 1 получается оценка
/ N — 1 \
*" (в, б) < Hn (e/26) (—) *-
(х)
где
X
#*(*) = $
о *Г
107
Теорема 2. Если при любом х е= RM функция Q (х, с)
непрерывно дифференцируема посЕ^, для некоторого числа L при
любых с', с" (= RN выполняется неравенство
\VcQ(x,c')-VcQ(x,c')\^L\c' — cr\
и для некоторых чисел X и \х выполнено одно из двух условий
тде са, а = 1, . . . , N — компоненты вектора с е RN;
б) |Vc<?(*,c)|<^, ^GF, czeRn,
то cn •-> с* (Р — п.н.) и для любых 6>0и0<сс <1в случае а)
в случае б)
Р(|с„-е.|>6К^(1^-,1)ехр[- <'-*»«> .],
(?)
тде
Д(б)= min (V/(c* + 6p),p).
P<=S(0,1)
Доказательство теоремы 2 в некотором отношении аналогично
доказательству теоремы 1.
Полагая N = 1, с* =0иа*>1, получаем вместо неравенств
(б) и (7) неравенства (4) и (5). В [6] при условии компактности С
лолучены оценки вероятности Р ( 11 (сп) — I (с*) | > б) для
конечных п. Теорема 2 дает сходный результат для задачи
аргументной оптимизации, не требуя компактности С.
В качестве примера рассмотрим оценку параметра сдвига
распределения Коши р (х) = 1/л (1 + х2) с помощью выборочной
медианы сп. Выборочной медиане, как это следует из (2),
соответствует функция потерь Q (х) = \ х | .
В 1-й строке таблицы даны вероятности Р ( \сп\^ 1,09),
вычисленные по точному распределению сп. Во 2-й строке
приведены оценки этих вероятностей по теореме 1. 3-я строка соответствует
оценке по асимптотическому нормальному распределению со
средним 0 и дисперсией (1).
5
0,22
1,С0
0,12
7
0,16
0,75
0,07
9
0,12
0,57
0,04
и
0,08
0,43
0,02
15
0,04
0,24
0,01
108
Как видно из таблицы, применение асимптотического
распределения дает оценку снизу для искомой вероятности. На практике,
если вид распределения F точно неизвестен, использование
асимптотического распределения может привести к неоправданно
хорошим результатам, и поэтому лучше пользоваться оценками теоредо
1 и 2.
Литература
1. Закс Ш. Теория статистических выводов. М.: Мир, 1975.
2. Huber P. I. Robust estimation of a location parameter.— Ann. Math. Stat.,
1964, vol. 35.
3. Цыпкин #. 5., Поляк Б. Т. Огрубленный метод максимума
правдоподобия.— В кн.: Динамика систем. М.: ГГУ, 1977, вып. 12.
4. Martin R. D., Masreliez С /. Robust estimation via stochastic
approximation.— IEEE Trans. Inf. Th., 1975, vol. 21, N 4.
5. Петров В. В. Суммы независимых случайных величин. М.: Наука, 1972.
6. Фетисов В. Н. Оценка длины выборки при решении экстремальных задач
методом Монте-Карло.—ЖВМиМФ, 1976, т. 16, № 1.
УДК 621.391.154
АДАПТИВНЫЙ СЛУЧАЙНЫЙ ДОСТУП
В ШИРОКОВЕЩАТЕЛЬНЫЙ КАНАЛ
В. А. Михайлов
Система связи. Рассмотрим систему связи с некоторым числом
станций. На станции имеется устройство для передачи сообщений
другим станциям и для приема. Сообщения всех станций имеют
фиксированную длину и называются пакетами. Пакет наряду с
полем данных содержит адресное поле, указывающее номера
станций, которым он направляется.
Единственным средством связи между станциями является
канал (например, спутниковый). Все время передачи по нему
разделено на разные интервалы, называемые окнами. Станции
знают моменты разделения окон t = 0, 1, 2, ... и могут начать
передачу пакета только в эти моменты. Длина окна равна длине
пакета, и в окне возможна успешная передача не более одного
пакета. Шум в канале настолько мал, что им пренебрегают. Такие
системы связи рассматривались в работах [1—3]. Выход канала
без задержки поступает на каждую инстанций. Станции, принимая
его, безошибочно различают три возможные ситуации в окне: ни
одна из станций не вела передачу (пустое окно), две или более
станций вели передачу (конфликт), одна станция вела передачу
(успешная передача).
109
Если в момент t у станции имеется пакет для передачи, то она
передает его в этот момент с некоторой вероятностью р (t) и не
передает с вероятностью 1 — р (t). Вероятность р (t) в момент t
является общей для всех станций и есть функция от выхода канала
(т. е. от последовательности, состоящей из пустых окон, успешных
передач или конфликтов) с момента t = 0. Способы задания
функции р (t) могут быть различными. Случай р (t) = const известен и
называется системой «синхронная АЛ ОХ А» [1].
Если станция передала пакет в окне £, то к моменту t + 1
она может определить, была ли передача успешной или произошел
конфликт. В случае успешной передачи считается, что передача
пакета завершена. В случае конфликта пакет должен быть передан
вновь, и он передается в окне t + 1 с вероятностью р (t + 1)
и т. д. до тех пор, пока не будет передан успешно.
Здесь рассматривается система с бесконечным числом станций.
В течение окна t в системе возникает V (t) новых пакетов для
передачи и {V (£), t = 0, 1, 2, ...^последовательность
независимых, одинаково распределенных величин. Пусть
Pr{V(t) = k) = Qk, к = 0, 1, 2, .. . , (1)
•MV{t)= %kQk=l
и существуют такие С ^> 0 и а ]> 0, для которых
Q*<Ce-aK (2)
Станция может находиться только в двух состояниях:
свободное, когда у нее нет пакетов для передачи, и задолженное — при
наличии одного пакета для передачи. Таким образом, V (t) — это
число станций, которые перешли из свободного состояния в
задолженное в течение t. В этой работе рассматривается функция
р (£), которая определяется следующим образом: функция р (t)
принимает значения из множества {1/т; т = 1, 2, ...}. Считается,
что при t = 0 все станции находятся в свободном состоянии и
р (0) = 1. Далее р (t) определяем по следующему правилу: если
р (t) = 1/т, то
P{t+i)=
i 1/m + l, если в окне t был конфликт,
1/т, если в окне t была успешная передача,
] 1/(т — 1), если окно t было пустое и тю>1, ' '
I 1, если окно t было пустое и т = 1.
Точная формулировка задачи и результаты. При заданном t
рассмотрим вектор N (t) = (ггх (г), п2 (£))> где пг (t) — число
станций в задолженном состоянии в момент £, а п2 (t) — т, где т =
= lp(t)]~x. Последовательность {N (t), t = 0, 1, ...} образует
110
— <
цепь Маркова с переходными вероятностями:
P(kJ),(ntm) =
'Q*-n[l— ?i(w,m) — q0(nym)],kp>n, l = m + l,
Qk-n<lo(n,m),k^n, l = m— 1, tfi> 1,
Qk-n+iqi{n,m),k^n — 1, Z = ra, ^
()*_п, n = 0, l = m = \,
[Ов других случаях,
тде g^ (л, яг) и ^0 (га, m) представляют собой условные вероятности
успешной передачи и пустого окна соответственно в окне t
при условии n± (t) = п, n2(t) = m, q1{n,m) = -^ll —J \
(1 \n
*—sr) ■
Найдем условие эргодичности цепи N (t). Если N (t) не эрго-
дична, то с вероятностью 1 число станций в задолженном состоянии
стремится к бесконечности при t •**■ оо.
Теорема 1. Пусть к0 — положительный корень уравнения
ек = к + 2, а Х0 = к0е~к% тогда, если к < Я0, цепь N (t) эргодична,
а если Я > А,0, цепь N (t) невозвратна (к0 ^ 0,364). Доказательство
теоремы основывается на приводимых ниже результатах.
Лемма о полу мартингалах. Пусть дана последовательность
случайных величин 50, S±, . . . , причем существуют такие С > 0
и а > 0, что Pr{\Si+1 — 5| | > z/S,, 5^ ;. . . , S0} < С^-"*
для всех л:. Обозначим через т момент первого достижения
отрицательной полуоси, т. е. т = 0, если S0 <^ 0, и т = тг, если £п <^ 0,
^i > 0 при i = 0, 1, 2, . . . , л — 1.
Лемма 1. Если при заданном S0 для некоторого е > 0
М (Sn/Sn-i, Sn_2> • • • > So) ^ ^n-i — 8»
то М т < C2eaS% где 0 < a < а, а С2 < оо.
Если для некоторого е > 0
ЛГ (SJSn-U • • • , ^0) > 5я-1 + е,
то Рг {т <С оо} < 1.
Лемма 1 содержится в [5] для случая, когда скачки за один шаг
равномерно ограничены.
Почти линейные полумартингалы, ассоциированные с цепями
Маркова. Пусть А — некоторое счетное подмножество евклидова
пространства Rm. Пусть {N (£), t = 0, 1, 2, ...} — неприводимая
апериодическая цепь Маркова с множеством состояний А и
существуют такие С > 0 и а > 0, что
Рг {| Лг (t + 1) — N (t) | > x/N {t) = a} < C^"ax для всех a e
e-4 и #>о.
in
Определение. Вещественную функцию / (х), х G= Rn будем
называть почти линейной, если 1) / (х) дифференцируема и df (x)/
/dxt < С < с» для всех х е Rn, 2) для любых е > 0 и г > О
существует такое Л8> г > 0, что для всех х : | 5" | > Л£> г
. |«Р |/Ы-/Й-У.(1/{-^)^-| |<е.
(5)
Нетрудно показать, что функция / (#), получающаяся путем
гладкого сшивания конечного числа почти линейных кусков,
является почти линейной функцией.
Теорема 2. Если существует такая почти линейная функция
/ (2), х е Rn, то множество {а:а£4С^; / (а) < С} конечно
для всех С, и существует такое е > О, что для всех а 6= А (кроме,
быть может, конечного числа)
п ^
г=1 г
то цепь N (t) эргодична.
Теорема 3. Если для некоторого е ]> О существует такая почти
линейная функция / (5), х е= Лп и некоторое С, что для всех
3 : / (3) > С
п ^
^Af(Wi(« + l)_naOl^W = a)^L>e, (7)
i=l *
то цепь Маркова N (t) невозвратна.
Условиям (6) и (7) можно дать геометрическую интерпретацию,
а именно: скалярное произведение вектора среднего скачка цепи
./V (t) и вектора градиента функции / (#) в одном случае
отрицательно, а в другом положительно.
Заключение. Для доказательства теоремы 1 достаточно
построить почти линейные функции на множестве R] = {х = (хи
х2) : хг ;> 0; х2 ;> 0; действительные}, удовлетворяющие теоремам
2 и 3 соответственно. Пусть X ]> Я0, построим почти линейную
функцию / (хг, х2) на R2t, удовлетворяющую условию теоремы 2.
Пусть
M{(*i* *г) = ^ К (* + !)- *i (0 I ^ (0 = (*, *2)), (8)
Ж2 (5Х, 52) = Л/ (л, (* + 1) - п2 (t) \N(t) = (*lf s2)),
где 51? 52 — целые, неотрицательные.
Пусть s± = ks2, тогда легко показать, что
lim Mi (ks2, s2) = X — ке~к JL fii {к),
112
1^1 Мг (ks2, s2) = 1 - 2e-* - he*. i= \х2 (к),
причем сходимость в (9) равномерная по к.
Перепишем условие (6) в виде
ЛМ*Ь *»)/» (*1, **)
Mi (sv s})
<-е.
(10)
На рисунке кривая 1 является графиком функции \1г (к)1
/[г2 (к) в зависимости от к, а точка к0 — корнем уравнения [г2 (А) =
= 0. Пусть кг < к0 и [ij (AriJ/fXa (&2) > 1, а также &2 > к0 и (хх (й^)/
у(х2 (к2) <— 1. В области хг < кгх2 функция / (х1ч х2) = 2 х1 + х2.
В области хх > к2х2 функция / (хг, х2) ^= Ьх (2 хх — у), где Ьг ^> 0.
В области ^^2 ^ хг <^ x2&2 функция / (xL, х2) = У Ь2х\ + Ь3хгх2 +
+ &4а|. Коэффициенты b2J bs,
fe4 находятся из условия
гладкого сшивания на границах
хх — кгх2 и хг = к2х2. Из
построения функции / (#!, х2)
следует, что всех к выполняется
условие
/ (кхг, х2) = ф (к).
(И)
Покажем, что построенная
таким образом функция / (хи х2)
удовлетворяет условию
теоремы 2. Для этого достаточно
найти такие е]> 0 и R ]> 0, для
которых имеет место (10) для
всех Si и 52 : s\ + s\ > Л2. Так
как сходимость в (9) равномерная, то из (11) следует, что для
доказательства достаточно показать справедливость неравенства
*<*>^жЧ-££)]
<-е.
(12)
На рисунке кривая ABCD является графиком функции (—/i2x
X (k)/f'Xl (к)). Непосредственно из рисунка (и это можно показать
аналитически) видно, что неравенство (12) имеет место при
некотором е ^> 0.
Построение функции / (х1? х2) в случае к ^> %0 проводится
аналогично.
ИЗ
В заключение заметим, что в случае р (t) = const (синхронная
АЛОХА) цепь N (t) будет невозвратна при всех X.
Литература
1. Abramson N. The troughput of Packet Broadcasting Channels.— IEEE
Trans, on Com., 1977, vol. 25, N 1, p. 117—128.
2. Цыбаков Б. С, Коган Я. А., Тафт В. В. Сети ЭВМ с использованием
земных радио- и спутниковых каналов связи.— Зарубежная
радиоэлектроника, 1978, № 4, с. 39—65.
3. Цыбаков Б. С., Михайлов В. А. Свободный синхронный доступ пакетов
в широковещательные каналы с обратной связью.— Проблемы передачи
информации, 1978, № 4, с. 32—60.
4. Малышев В. А. Классификация двумерных положительных случайных
блужданий и почти линейные полумартингалы.— ДАН СССР, 1972, т. 202,
№*3, с. 526-528.
СОДЕРЖАНИЕ
Э. Л. Блох, В. В. Зяблов. Потенциальные и реализуемые
корректирующие свойства одного класса обобщенных каскадных
кодов 3
Г. Ш. По л ты рев. Пропускные способности для некоторых
широковещательных каналов 22
М. С. Пинскер, Г. Ш. Полтырев. Пропускная способность
стационарного гауссовского широковещательного канала 27
Г. К. Голубев. Об оценивании частоты многоканальным
приемником 45
С. Ю. Ефроимович, М. С. Пинскер. К вопросу об асимптотически
достаточных статистиках 55
Е. К. Трищенко. Асимптотическое поведение риска байесовской
оценки для многомерных гауссовских наблюдений 73
Э. X. Мустафаев. О сходимости одной непрерывной модификации
процедуры Роббинса—Монро в многомерном случае 80
А. Г. Дьячков, М. Б. Малютов. О слабо разделяющих планах 87
A. Б. Цыбаков. Точность оценки точки минимума функционала
типа среднего риска по конечной выборке 105
B. А. Михайлов. Адаптивный случайный доступ в
широковещательный канал 109
УДК 621.321.154
Б л о х Э. Л., 3 я б л о в В. В. Потенциальные и реализуемые корректирующие
свойства одного класса обобщенных каскадных кодов.— В кн.: Методы передачи
и обработки информации. М.: Наука, 1980.
Рассматривается ансамбль обобщенных каскадных кодов с неслучайными
внутренними кодами и случайными кодами Рида—Соломона в качестве внешних.
Доказывается, что в этом ансамбле есть каскадные коды бесконечного порядка,
такие, что границы Варшамова —Гильберта для кодового расстояния и оценка Гал-
лагера для экспоненты вероятности ошибки являются асимптотически точными.
Оцениваются реализуемые при каскадном декодировании кодовое расстояние и
экспонента вероятное!и неправильного декодирования.
Ил. 8, библиогр. 8 назв.
УДК 621.391.154
ПолтыревГ. Ш. Пропускные способности для некоторых
широковещательных каналов.— В кн.: Методы передачи и обработки информации. М.: Наука,
1980.
Определена пропускная способность ухудшающегося широковещательного
канала (ШК) при ограничениях на входе. С помощью этого результата получены
выражения для пропускных способностей параллельного ШК и суммы ШК с
ухудшающимися в разные стороны компонентами в случае, когда все три скорости
передачи отличны от нуля.
Библиогр. 3 назв.
УДК 621.391.154
Пине к ер М. С., Полтырев Г. Ш. Пропускная способность
стационарного гауссовского широковещательного канала.— В кн.: Методы передачи и
обработки информации. М.: Наука, 1980.
Определена область пропускных способностей для параллельного
гауссовского широковещательного канала дискретного времени с двумя приемниками.
Получены соотношения для определения распределения мощности входного
сигнала по компонентам параллельного канала. С помощью результатов для
параллельного канала получены область пропускных способностей стационарного
гауссовского широковещательного канала непрерывного времени и соотношения для
определения спектральной плотности мощности сигналов на входе канала.
Ил. 5, библиогр. 5 назв.
УДК 621.391.154
Г о л у б е в Г. К. Об оценивании частоты многоканальным приемником.—
В кн.: Методы передачи и обработки информации. М.: Наука, 1980.
Рассматривается задача оценивания частоты синусоидального сигнала, про4
шедшего по каналу с гауссовским белым шумом. Находится минимальное число
каналов многоканального приемника, необходимое для построения оценок,
обладающих единичной асимптотической эффективностью.
Библиогр. 6 назв.
УДК 621.391.154
ЕфроймовичС. Ю., ПинскерМ. С. К вопросу об асимптотически
достаточных статистиках.— В кн.: Методы передачи и обработки информации. М.:
Наука, 1980.
Исследуется связь между различными определениями асимптотически
достаточных статистик, показана возможность применения этих статистик для решения
задач оценивания неизвестного параметра.
Библиогр. 27 назв.
УДК 621.391.154
'Грищенко Б. К. Асимптотическое поведение риска байесовской оценки для
многомерных гауссовских наблюдений.— В кн.: Методы передачи и обработки
информации. М.: Наука, 1980.
Рассматривается задача оценивания многомерного параметра по
независимым наблюдениям Xi = в+ еЦ, г = 1, . . ., п, где £^ — гауссовская
случайная величина, е > 0. При некоторых условиях получено асимптотическое
разложение по степеням е2 среднеквадратического риска оценки Те*= М (Q/X).
Библиогр. 5 назв.
16
УДК 621.391.154
Мустафаев Э. X. О сходимости одной модификации процедуры Роббинса—
Монро в многомерном случае. — В кн.: Методы передачи и обработки информации.
М.: Наука, 1980.
Рассматривается задача оценивания корня х0 уравнения регрессии в
многомерном случае, когда случайные помехи представляют собой гауссовский «белый»-
шум. Строится модификация процедуры Роббинса—Монро, которая для функций
регрессии, близких к линейным, сходится с вероятностью 1 к х0 при существенно
более общих условиях, чем известные ранее.
Библиогр. 5 назв.
УДК 621.391.154
Дьячков А. Г., Малютов М. Б. О слабо разделяющих планах.— В кн.:
Методы передачи и обработки информации. М.: Наука, 1980.
Исследуются несимметричные модели планирований отсеивающих
экспериментов. Выводятся новые асимптотические оценки сверху и снизу для допустимых
скоростей ((v, <2)-плана).
Библиогр. 8 назв.
УДК 621.391.154
Цыбаков А. Б. Точность оценки точки минимума функционала типа среднего
Киска по конечной выборке.— В кн.: Методы передачи и обработки информации.
[.: Наука, 1980.
Получены доверительные интервалы для точки минимума функционала типа
среднего риска при конечной выборке. Аналогичные результаты получены в
многомерном случае при неполной априорной информации относительно
распределения.
Табл. 1, библиогр 6 назв.
УДК 621.391.154
Михайлов В. А. Адаптивный случайный доступ в широковещательный
канал.— В кн.: Методы передачи и обработки информации. М.: Наука, 1980.
Предлагается алгоритм множественного доступа, не требующий внешнего
управления. Доказывается, что этот алгоритм является эргодическим для скорости,
передачи, меньшей 0,364.
Ил. 1, библиогр. 4 назв.
МЕТОДЫ ПЕРЕДАЧИ И ОБРАБОТКИ
ИНФОРМАЦИИ
Утверждено к печати
Институтом проблем передачи информации
АН СССР
Редактор В. А. Климов
Редактор издательства М. Г. Макаренко
Художник М. Р. Ибрагимов
Художественный редактор Н. Н. Власик
Технический редактор А. М. Сатарова
Корректоры М. С. Бочарова, И. А. Талалай
И Б № 17433
Сдано в набор 26.03.80
Подписано к печати 02.09.80
Т-16315. Формат 60X90»/i6
Бумага типографская № 1
Гарнитура обыкновенная
Печать высокая
Усл. печ. л. 7,5 Уч.-изд. л. 7,9
Тираж 2950 экз. Тип. зак. 3138
Цена 80 коп.
Издательство «Наука»
117864 ГСП-7, Москва, В-485, Профсоюзная ул., 90
2-я типография издательства «Наука»
121099, Москва, Г-99, Шубинский пер., 10
В ИЗДАТЕЛЬСТВЕ «НАУКА»
ГОТОВЯТСЯ К ВЫПУСКУ В СВЕТ СЛЕДУЮЩИЕ КНИГИ:
Вычислительные сети (адаптивность, помехоустойчивость, надежность).
В книге рассмотрена структура сложных систем обработки
информации. Предложен метод адаптивной коммутации каналов, при котором в
сети может использоваться коммутация как каналов, так и пакетов, в
зависимости от информации. Рассмотрены источники ошибок систем
обработки информации и методы повышения их помехоустойчивости и
надежности. Приводятся программные методы повышения помехоустойчивости
в системах ввода, хранения и передачи информации, а также методы
синтеза структур сетей.
Для научных и инженерно-технических работников, занимающихся
проектированием помехоустойчивых систем передачи данных.
Грановская Р. М., Березная И. Я., Григорьева А. Н. Восприятие и признаки
формы.
Книга посвящена проблеме переработки информации о форме
зрительных объектов у человека. Приводятся результаты эксперимента по
опознанию и классификации человеком несмысловых фигур, букв и цифр.
Предложенная система признаков хорошо коррелирует с признаками,
используемыми человеком при решении зрительных задач. Вводится оценка
сложности формы, обосновывается правомерность и работоспособность
предложенных алгоритмов.
Для специалистов по кибернетике, искусственному интеллекту,
инженерной психологии и для всех, кто ищет новые принципы для создания
ЭВМ.
Ярославский Л. П., Мерзляков Н. С. Цифровая голография.
Книга посвящена основам теории цифрового представления волновых
полей, их преобразованиям, алгоритмам вычисления этих преобразований,
синтезу и записи голограмм, пространственным фильтрам для оптических
систем обработки данных, визуализации информации, методам цифрового
восстановления голограмм и интерферограмм, цифровому моделированию
голографических процессов. Показано применение методов в оптике,
акустике, измерительной технике, при неразрушающем контроле.
Для специалистов по моделированию полей различной физической
природы.
119
Заказы просим направлять по одному
нов «Книга — почтой» «Академкнига»:
480091 АЛМА-АТА, 91,
УЛ. ФУРМАНОВА, 91/97;
370005 БАКУ, 5, УЛ. ДЖАПАРИДЗЕ, 13;
320005 ДНЕПРОПЕТРОВСК, ПРОСПЕКТ
Ю. ГАГАРИНА, 24;
7G4001 ДУШАНБЕ, ПРОСПЕКТ
ЛЕНИНА, 95;
252030 КИЕВ, УЛ. ПИРОГОВА, 4;
277001 КИШИНЕВ, УЛ. ПИРОГОВА, 28;
443002 КУЙБЫШЕВ, ПРОСПЕКТ
ЛЕНИНА, 2;
197110 ЛЕНИНГРАД, П-110,
ПЕТРОЗАВОДСКАЯ, УЛ., 7;
220012 МИНСК, ЛЕНИНСКИЙ
ПРОСПЕКТ, 72;
из перечисленных адресов магази-
117192 МОСКВА, В-192, МИЧУРИНСКИЙ
ПРОСПЕКТ, 12;
630090 НОВОСИБИРСК,
АКАДЕМГОРОДОК, МОРСКОЙ ПРОСПЕКТ, 22;
620151 СВЕРДЛОВСК, УЛ. МАМИНА-
СИБИРЯКА, 137;
700187 ТАШКЕНТ, УЛ. ДРУЖБЫ
НАРОДОВ, 6;
450059 УФА, 59, УЛ. Р. ЗОРГЕ, 10;
720001 ФРУНЗЕ, БУЛЬВАР
ДЗЕРЖИНСКОГО, 42;
310078 ХАРЬКОВ, УЛ.
ЧЕРНЫШЕВСКОГО, 87.