t

д д БОРОВКОВ

ir

ОЦЕНКА ПАРАМЕТРОВ
ПРОВЕРКА ГИПОТЕЗ
А. А. БОРОВКОВ

51 9 Z

МАТЕМАТИЧЕСКАЯ

СТАТИСТИКА

•	С '' Q ! I,

ОЦЕНКА ПАРАМЕТРОВ

ПРОВЕРКА ГИПОТЕЗ

Допущено Министерством высшего
и среднего специального образования СССР
в качестве учебного пособия для студентов
математических и физических спегуиалъностей вузов



МОСКВА «НАУКА»
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ

19 8 4

ФУНДАМЕНТАЛЬНАЯ

Библиотека

М И И Т а_J
22.172
Б 82

УДК 519.31

Боровков Л. Л. Математическая статистика.— Учебник.— М.: Наука.
Главная редакция физико-математической литературы, 1984.— 472 с.

Книга написана на основании лекций, которые читались автором в те-
чение многих лет на 3-м курсе математического факультета Новосибирского
университета.

Книга охватывает широкий круг вопросов, включающий в себя осно-
вания современной математической статистики, предельные теоремы для
ампирических распределений и основных типов статистик, основы теории
оценок и теории проверки гипотез. Излагаются, в частности, методы оты-
скания оптимальных и асимптотически оптимальных процедур.

Книга рассчитана на аспирантов и студентов математических и физи-
ческих специальностей высших учебных заведений.

Илл. 5. Библ. 80 назв.

Александр Алексеевич Боровков
О

МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Редакторы Л. Л. Новиков, М. М. Горячая
Технический редактор Е. В. Морозова
Норректор Н. Б. Румянцева

ИВ № 2239

Сдано в набор 20.04.83. Подписано к печати 03.01.84.
Формат 60x90716- Бумага тип. №3. Обыкновенная гар-
нитура. Высокая печать. Условн. печ. л. 29,5. Условн.
кр.-отт. 29,75. Уч.-изд. л. 31,17. Тираж 23 000 экз. Заказ
594. Цена 1 р. 30 к.

Издательство «Наука»

Главная редакция физико-математической литературы
117071, Москва, В-71, Ленинский проспект, 15

4 типография издательства «Наука».

630077, Новосибирск 77, Станиславского, 25

г 1.702060000—020

Ь ---------------

U33(02)-84

72-83

©Издательство «Наука»»

Главная редакция
физико-математической литературы,
1984
Предисловие...................................................... 7

Введение......................................................13

Глава 1

Выборка. Эмпирическое распределение.
Асимптотические свойства статистик

§	1.	Понятие выборки...........................................17

§	2.	Эмпирическое распределение	(одномерный случаи) - .	.	.	21

§	3.	Выборочные характеристики.	Два типа статистик ....	25

1.	Примеры выборочных характеристик (25). 2. Два типа ста-
тистик (26).

§ 4.	Многомерные выборки............................................28

1.	Эмпирические распределения (28). 2*. Более общие варианты
теоремы Гливенко— Кантелли. Закон повторного логарифма (29).

3. Выборочные характеристики (30).

§ 5. Теоремы непрерывности.....................................  .	31

| 6*. Эмпирическая функция распределения как случайный процесс.
Сходимость к броуновскому мосту...........................-	35

*

1. Распределение процесса nFn(f) (35). 2. Предельное поведение про-
цесса wn(t) (39).

§	7.	Предельное	распределепие	для	статистик	первого	типа	...	41

§	8*.	Предельное	распределение	для	статистик	второго	типа	...	46

§	9*.	Замечания	о непараметрическпх статистиках....................54

§ 10*. Сглаженные эмпирические распределения. Эмпирические плот-

ности ........................................................55

Глава 2

Теория оценивания неизвестных параметров

1. Предварительные замечания ....................................61

| 2. Некоторые параметрические семейства распределений и их
свойства......................................................63

1. Нормальное распределение на прямой (63). 2. Многомерное нор-
мальное распределение (64). 3. Гамма-распределение (64). 4. Рас-
пределение «хи-квадрат» IIд с k степенями свободы (65). 5. • Экспо-
ненциальное распределение (66). 6. Распределение Фишера	с

числом степеней свободы А,, А2 (66). 7. Распределение Стьюдента
Тд с А степенями свободы (67). 8. Бэта-распределение (В-распределе-
нче) (69). 9. Равномерное распределение (69). 10. Распределение
Коши Ка о с параметрами (а, о) (72). 11. Логнормальное распре-
деление Бааг (72). 12. Вырожденное распределение (72). 13. Рас-
пределение Бернулли Вр (73). 14. Распределение Пуассона (73).

15.	Полиномиальное распределение (73).

§ 3.	' Точечное оценивание. Основной метод'получения оценок. Сос-
тоятельность, асимптотическая нормальность..........................74

1.	Метод подстановки. Состоятельность (74). 2. Асимптотическая
нормальность. Одномерный случай (78). 3. Асимптотическая нор-
мальность. Случай многомерного параметра (78).

§ 4.	Реализация метода подстановки в параметрическом случае. Ме-
тод моментов........................................................79

1.	Метод моментов. Одномерный случай (79). 2. Метод моментов.
Многомерный случай (81), 3, Обобщенный метод моментов (82).
§ 5*	. Метод минимального расстояния............................

§ 6.	Метод максимального правдоподобия .	.	. ...............

§ 7.	О сравнении оценок ........................................

1.	Среднеквадратический подход. Одномерный случай (93). 2. Асим-
птотический подход. Одномерный случай (96). 3. Среднеквадратич-
ный и асимптотический подходы в многомерном случае (99).

§ 8.	Сравнение оценок в параметрическом случае. Эффективные
оценки ....................................................... ,

1.	Одномерный случай (103). 2. Многомерный случай (109).

§ 9.	Условные математические ожидания...........................

1.	Определение у. м. о. (110). 2. Свойства у. м. о. (114).

§ 10.	Условные распределения .	..............................

§11.	Байесовский и минимаксный подходы к оцениванию пара-
метров . А.......................................................

§ 12.	Достаточные статистики.....................................

§ 13	*. Минимальные достаточные статистики.......................

§ 14.	Построение эффективных оценок с помощью достаточных ста-
тистик. Полные статистики........................................

1.	Одномерный случай (140). 2. Многомерный случай (142). 3. Пол-
ные статистики и эффективные оценки (142).

§ 15.	Экспоненциальное семейство...............................•

§ 16.	Неравенство Рао — Крамера и /(-эффективные оценки .

1.	Неравенство Рао-—Крамера и его следствия (149). 2. й-эффек-
тивные и асимптотически ^-эффективные оценки (154). 3. Неравен-
ство Рао — Крамера в многомерном случае (157). 4. Некоторые вы-
воды (163).

§ 17*. Свойства информации Фишера................................

1. Одномерный случай (164). 2. Многомерный случай (167). 3. Матри-
ца Фишера и замена параметра (170)..

§ 18	*. Оценки параметра сдвига и масштаба. Эффективные эквива-
риантные оценки .................................................

1.	Оценки параметров сдвига и масштаба (171). 2. Эффективная
оценка параметра сдвига в классе эквивариантных оценок (172).
3. Минимаксность оценки Питмена (175). 4. Об оптимальных оцен-
ках параметра масштаба (177).

§ 19	*. Общая задача об эквивариаптцом оценивании................

§ 20.	Интегральное неравенство типа Рао — Крамера. Критерии
асимптотической байесовости и минимаксности оценок

1.	Эффективные и сверхэффективные оценки (183). 2. Основные не-
равенства (185). 3. Неравенства в случае, когда функция д(0)/7(О) не
дифференцируема (189). 4. Некоторые следствия. Критерии асим-
птотической байесовости и минимаксности (191). 5. Многомерный
случай (193).

§ 21.	Расстояния Кульбака — Лейблера, Хеллпнгера и %2. Их свойства
1. Определения и основные свойства расстояний (194). 2. Связь
расстояний Хеллпнгера и других с информацией Фишера (197).
3. Существование равномерных границ для г(Д)/Д2 (199). 4. Мно-
гомерный случай (199). 5*. Связь рассматриваемых расстояний с
оценками (202).

§ 22*	. Разностное неравенство типа Рао — Крамера................

§ 23.	Вспомогательные неравенства для отношения правдоподобия.
Состоятельность оценок максимального правдоподобия .

1.	Основные неравенства (209). 2. Оценки для распределения и мо-
ментов о. м. п. Состоятельность о. м. п. (211).

§ 24.	Асимптотические свойства отношения правдоподобия .

§ 25.	Свойства оценок максимального правдоподобия. Асимптотиче-
ская нормальность. Асимптотическая оптимальйость

1.	Асимптотическая нормальность о. м. п. (221). 2. Асимптотическая
эффективность (222). 3. Асимптотическая байесовость о. м. п. (223).
4. Асимптотическая минимаксность о. м. п. (225).

§ 26*. Приближенное вычисление оценок максимального правдопо-
добия ..............................................    .

§ 27*. Свойства оценок максимального правдоподобия при отсутствии
условий регулярности. Состоятельность ...........................

83
85

93

103

НО

116

120
127

133

140

146
149

164

170

180

1,83

194

203

208

212.

221

225
§ 28. Результаты §§ 23—27 для случая многомерного параметра .	.	237

1. Неравенства для отношения правдоподобия (результаты § 23)
(297). 2. Асимптотические свойства отношения правдоподобия (ре-
зультаты § 24). (238). 3. Свойства о. м. п. (результаты § 25) (243).

4. Приближенное вычисление о. м. п. (246). 5. Свойства о. м. п. при
отсутствии условии регулярности (результаты § 27). (246).

§ 29. Равномерность по 6 асимптотических свойств отношения прав-
доподобия и оценок максимального правдоподобия ....	246

1. Равномерные закон больших чисел и центральная предельная
теорема (246). 2. Равномерные варианты теорем об асимптотических
свойствах отношения правдоподобия и оценок максимального правдо-
подобия (248). 3. Некоторые следствия (252).

§ 30*. О статистических задачах, связанных с выборками случайно-

го объема. Последовательное оценивание......................253

§ 31. Интервальное оценивание....................................254

1. Определения (254). 2. Построение доверительных интервалов в бай-
есовском случае (255). 3. Построение доверительных интервалов в
общем случае. Асимптотические доверительные интервалы (256).

4. Построение точного доверительного интервала с помощью задан-
ной статистики (259). 5. Другие методы построения доверительных
интервалов (262). 6. Многомерный случай (264).

§ 32. Точные выборочные распределения и доверительные интерва-
лы для нормальных совокупностей.........................................265

1. Точные распределения статистик х, (265). 2. Построение точ-
ных доверительных интервалов для параметров нормального рас-
пределения (268).

Глава 3

Теория проверки гипотез

§ 1.	Проверка конечного числа простых гипотез......................270

1.	Постановка задачи. Понятие статистического критерия. Наиболее
мощный критерий (270). 2. Байесовский подход (272). 3. Минимакс-
ный подход (2781). 4. Наиболее мощные критерии (279).

§ 2.	Проверка двух простых гипотез.................................280

§ 3*. Два асимптотических подхода к расчету критериев. Числен-
ное сравнение.......................................................284

1	Предварительные замечания (284). 2. Фиксированные гипотезы
(285). 3. Близкие гипотезы (290). 4. Сравнение асимптотических под-
ходов. Числовой пример (293). 5. Связь и. м. к. с асимптотической
эффективностью о. м. п. (298).

§ 4.	Проверка сложных гипотез. Классы оптимальных критериев 299
1. Постановка задачи и основные понятия (299). 2. Равномерно наи-
более мощные критерии (302). 3. Байесовские критерии (303). 4. Ми-
нимаксные критерии (304).

§ 5.	Равномерно наиболее мощные критерии .	.	.	.	.	.	.	304

1	Односторонние альтернативы. Монотонное отношение правдоподо-
бия (304). 2. Двусторонняя основная гипотеза. Экспоненциальное се-
мейство (307). 3. Другой подход к рассматриваемым задачам (312),
4. Байесовский подход и наименее благоприятные априорные рас-
пределения при построении п. м. к. и р. н. м. к. (313).

§ 6*. Несмещенные критерии.........................................316

1. Определения. Несмещенные р. п. м. к. (316). 2. Двусторонние аль-
тернативы. Экспоненциальное семейство (318).

§ 7*. Инвариантные критерии........................................321

§ 8*. Связь с доверительными множествами...........................326

1. Связь статистических критериев и доверительных множеств. Связь
свойств оптимальности (326). 2. Наиболее точные доверительные ин-
тервалы (328). 3. Несмещенные доверительные множества (332),
4. Инвариантные доверительные множества (333).

§ 9. Байесовский и минимаксный подходы к проверке сложных ги-
потез .............................................................336

1. Байесовские и минимаксные критерии (336). 2. Минимаксные кри-
терии для параметра а нормальных распределений (340). 3. Вырож-
денные наименее благоприятные распределения для односторонних
гипотез (347),
§10. Критерий отношения правдоподобия...........................  349

§ 11*. Последовательный анализ .-	...........................352

1. Вводные замечания (352). 2. Байесовский последовательный кри-
терий (353). 3. Последовательный критерий, минимизирующий сред-
нее число испытаний (358). 4. Вычисление параметров наилучшего
последовательного критерия (360).

§ 12.	Проверка сложных гипотез в общем случае .....	363

§ 13.	Асимптотически оптимальные критерии. Критерий отношения
правдоподобия как асимптотически байесовский критерий для
проверки простой гипотезы против сложной..........................373

1.	Асимптотические свойства к. о. п. и байесовского критерия (373).

2.	Асимптотическая байесовость к. о. п. (375). 3. Асимптотическая не-
смещенность к. о. н. (379).

§ 14.	Асимптотически оптимальные критерии для проверки близ-
ких сложных гипотез...............................................380

1.	Постановка задачи и определения (380). 2. Основные утверждения
(384).

§ 15.	Свойства асимптотической оптимальности критерия отношения
правдоподобия, вытекающие из предельного признака опти-
мальности ........................................................388

1.	А. р.л. м. к. для близких гипотез с односторонними альтернати-
вами (388). 2. А. р. н. м. к. для двусторонних альтернатив (390).

3.	Асимптотически минимаксный критерий для близких гипотез, ка-
сающихся многомерного параметра (391). 4. Асимптотически мини-
максный критерий о принадлежности выборки параметрическому под-
семейству (394).

§ 16.	Критерий %2. Проверка гипотез по сгруппированным данным. 400
1. Критерий х2- Свойства асимптотической оптимальности (400). 2.
Применения критерия х2- Проверка гипотез по сгруппированным дан-
ным (404).

§ 17.	Проверка гипотез о принадлежности выборки параметрическо-
му семейству..................................................  .	408

1.	Проверка гипотезы	Группировка данных (408).

2.	Общий случай (412).

§ 18.	Устойчивость статистических решений.........................415

1.	Оценка среднего для симметричных распределений (417). 2. Ста-
тистики ’ Стьюдента uSq (418). 3. Критерий отношения правдоподо-
бия (419).

П р и л о ж е п и е I. Теоремы типа Гливенко — Кантелли ....	421

Приложение II Функциональная предельная теорема для эмпи-
рических процессов................................................423

Приложение 1II. Свойства условных математических ожиданий 428
Приложение IV. Факторизационная теорема Неймана — Фишера 431
] [ р и л о ж е п и е V. Закон больших чисел и центральная предель-

ная теорема. Равномерные варианты.............................434

Приложение VI. Некоторые утверждения, относящиеся к интег-
ралам, зависящим от параметра..................................438

II р и л о ж е н и е VII. Неравенства для распределения отношения,
правдоподобия в многомерном случае.............................443

Таблица I. Нормальное распределение Фол...........................448

Т а б л и ц а II. Квантилп нормального распределения..............449

Таблица III. Распределение хи-квадрат Нк..........................450

Таблица IV. Распределение Стьюдента Т к...........................454

Библиографические замечания.......................................457

Литература......................................................  462

Список основных обозначений.......................................466

Предметный указатель ............................................ 470
В основу этой книги положены лекции по математической
статистике, которые автор в течение многих лег читал па 3-м
курсе математического факультета Новосибирского университета.
Со временем курс лекций неоднократно менялся в поисках ва-
рианта, который был бы по возможности более стройным^ доступ-
ным и в то же время соответствовал бы современному состоянию
этой науки. Были испробованы варианты, начиная с курса
преимущественно рецептурного характера с изложением основ-
ных типов задач (построение оценок, критериев и изучение их
свойств) и кончая курсом общего теоретико-игрового характера,
в котором теория оценок и проверка гипотез представлялись как
частные случаи единого подхода. Ограничения по времени (один
семестр) пе позволяли объединить эти дополняющие друг друга
варианты, каждый из которых в отдельности обладал очевидными
недостатками. В первом случае набор конкретных фактов мешал
развитию общего взгляда на предмет. Второй вариант испытывал
недостаток в простых конкретных результатах и оказывался
загруженным многими новыми непростыми понятиями, трудными
для усвоения. По-видимому, наиболее приемлемым является ва-
риант, в котором изложение элементов теории оценок и теории
проверки гипотез сочетается с последовательным проведением
линии на отыскание оптимальных процедур.

Основу книги составляет объединение материала, читавшего-
ся в разное время в лекциях, расширенное за счет разделов,
присутствие которых диктуется самой логикой изложения. Глав-
ной целью являлось изложение современного состояния предмета
в сочетании с максимально возможной доступностью и математи-
ческой цельностью и стройностью.

Содержание книги распадается на 3 главы п Приложения.

В главе 1 изучаются свойства (в основном асимптотические)
эмпирических распределений, лежащие в основе математической
статистики.

В главах 2, 3 излагаются соответственно теория оценок п
теория проверки статистических гипотез. Первые части каждой
из этих глав посвящены описанию возможных подходов к реше-
нию поставленных задач и отысканию оптимальных процедур.
Вторые части посвящены построению асимптотически оптималь-
ных процедур.
Книга содержит также 7 Приложений. Они связаны с теми
утверждениями в основном тексте, доказательство которых выхо-
дит за рамки основного изложения либо по своему характеру,
либо по трудности.

Имеются еще библиографические замечания, не претендующие
па полноту, но позволяющие проследить возникновение и разви-
тие основных направлений математической статистики. При этом
везде, где это возможно, оказывалось предпочтение ссылкам на
монографии (как на более доступный вид литературы), а не на
оригинальные статьи.

В настоящее время существует довольно много книг по мате-
матической статистике. Выделим из них следующие четыре,
в которых представлено большое количество материала, отра-
жающее современное состояние предмета,— это книги Г. Краме-
ра [37.], Э. Лемана 140], Ш. Закса 130] и И. А. Ибрагимова и
Р. 3. Хасьминского (31J. Из них наибольшее влияние на изло-
жение настоящей книги оказали монографии [31] (некоторые
идеи этой книги использовались в §§ 23—25, 27—29 гл. 2) и
[40] (изложение §§ 5—8 гл. 3 близко по содержанию к соответ-
ствующим разделам [40]). Остальное изложение мало связано по
строю с имеющимися книгами.

Наряду с известными результатами и подходами в настоящую
книгу включены некоторые новые разделы, упрощающие изложе-
ние, ряд методологических улучшений, а также некоторые новые
результаты и результаты, впервые публикуемые в монографи-
ческой литературе.

Ниже приводится краткое описание методологической струк-
туры книги (см. также оглавление и краткие предисловия к
каждой из глав).

В §§ 1, 2 главы 1 вводятся понятия выборки, эмпирического
распределения и устанавливается теорема Гливенко — Кантелли,
которую можно рассматривать как фундаментальный факт, со-
ставляющий основу статистических выводов.

В § 3 вводится два типа статистик (статистики I и II типов),
включающие в себя подавляющее большинство практически ин-
тересных статистик. Эти статистики определяются как значения
G(P„) функционалов G (удовлетворяющих некоторым условиям)
от эмпирического распределения Рп. Позже, в §§ 7, 8, уста-
навливаются предельные теоремы о распределении этих стати-
стик. Это разгружает последующее изложение и освобождает от
необходимости для каждой конкретной статистики проводить
практически одни и те же рассуждепия, не относящиеся при том
к существу дела.

В § 5 собраны вспомогательные теоремы (названные в книге
«теоремами непрерывности») о сходимости распределений и о
сходимости их моментов. Это также разгружает последующее'
изложение.
В § 6 (ои ие обязателен при первом чтении) устанавливается,
что эмпирическая функция распределения Fn (0 есть условный
пуассоновский процесс, и приводится формулировка теоремы (до-
казанной в приложении I) о сходпмости процесса и п (/'’*(/)—
— F (t)) к броуновскому мосту.

В § 10 вводятся сглаженные эмпирические распределения,
позволяющие приближать не только само распределение, по и его
плотпость.

В § 3 главы 2, посвященной оценкам неизвестных парамет-
ров, вводится единый подход к построению оценок, названный
«методом подстановки». Он состоит в том, что оценку 0* для
параметра 6, представимого в виде функционала 0 = G(P) от
распределения Р выборки, следует искать в виде 0* = G(P*),
где Р?) —• эмпирическое распределение. Все «разумные» оценки,
используемые на практике, являются оценками подстановки.
Оптимальность оценки достигается путем выбора подходящего
функционала G. Если статистика 0* = G(Plt) является стати-
стической I или II типов, то теоремы главы 1 позволяют не-
медленно установить состоятельность этих оценок и их асимпто-
тическую нормальность. В §§ 4, 5 этот подход иллюстрируется
па оценках, полученных с помощью метода моментов и метода
минимального расстояния. С тех же позиций можно было бы
рассматривать и оценки максимального правдоподобия (§ G), по
непосредственное их изучение позволяет получить более глубо-
кие результаты, необходимые в дальнейшем.

Сравнение оценок в главе 2 происходит па основе двух под-
ходов: среднеквадратического (сравниваются Мо(0*— 0)2 ) и
асимптотического (сравниваются дисперсии предельного распре-
деления ]/и (0* — 6) в классе асимптотически нормальных оце-
нок). В параметрическом случае это позволяет выделить 3 типа
оптимальных оценок: эффективные оценки в классах Кь с фик-
сированным смещением 6, байесовские и минимаксные оценки.
На основе тех же принципов выделяются классы асимптотически
оптимальных оценок при асимптотическом подходе. Для построе-
ния эффективных оценок используются следующие традиционные
методы: первый носит качественный характер и связан с принци-
пом достаточности (§§ 12—14); второй метод основан на количе-
ственных соотношениях, вытекающих из неравенства Рао — Кра-
мера (§ 16); третий связан с соображениями инвариантности
(§§ 17, 19), позволяющими сузить класс рассматриваемых оценок.
Отысканию асимптотически оптимальных оценок, а также изу-
чению асимптотических свойств функции правдоподобия посвя-
щены §§ 20—30. Параграф 20 содержит интегральное неравен-
ство типа Рао — Крамера, которое позволяет, в частности, полу-
чить простые критерии асимптотической байесовостп и минимакс-
ности оценок, а также обосновать выделение некоторого подклас-
са оценок Ко, которым следует ограничиться в поисках асимпто-
тически эффективных оценок. Это позволяет путем изучения
асимптотических свойств оценок максимального правдоподобия в
§ 25 сразу установить асимптотическую байесовость и мини-
максность названных оценок и их асимптотическую эффектив-
ность в Ко. Параграфы 21—24 носят вспомогательный характер.
Интервальное оценивание параметров рассматривается в §§ 31,
32 и в § 8 главы 3.

Глава 3 посвящена проверке гипотез. В §§ 1, 2 рассматрива-
ется случай конечного числа простых гипотез. Выделяются (ана-
логично теории оценивания) три типа оптимальных критериев —.
наиболее мощные в подклассах, байесовские и минимаксные. Ус-
танавливаются связи между этими критериями и находится их
явный вид. При этом в основу рассмотрений положен байесовский
принцип (а не лемма Неймана — Пирсона), что, па наш взгляд,
упрощает изложение и делает его более прозрачным. В § 3 из-
лагаются асимптотические подходы к расчету критериев для про-
верки двух простых гипотез и производится их сравнение. В § 4
рассматривается общая постановка задачи о проверке двух слож-
ных гипотез и определяются классы оптимальных критериев
(равномерно наиболее мощные, байесовские, минимаксные). Па-
раграф 5 посвящен отысканию равномерно наиболее мощных
критериев в тех случаях, когда это возможно. В §§ 6, 7 решает-
ся та же задача, по в классах критериев, суженных на основа-
нии соображений несмещенности и инвариантности. При этом в
основу рассмотрений, как и в §§ 1, 2, положен байесовский под-
ход. В § 8 с помощью полученных результатов строятся наибо-
лее точные доверительные множества. В § 9 рассматриваются
байесовские и минимаксные критерии. Параграфы 10, 13 по-
священы критерию отношения правдоподобия. Он оказывается
равномерно наиболее мощным во многих частных случаях и
обладает свойством асимптотической байесовости при весьма ши-
роких предположениях. Изучение свойств асимптотической опти-
мальности критерия отношения правдоподобия продолжено в
§§ 15—17. В § 11 установлена оптимальность этого критерия в
задачах последовательного анализа. Параграфы 14, 15 посвяще-
ны отысканию асимптотически оптимальных критериев для про-
верки близких гипотез, и найден их простой явный вид для ос-
новных статистических задач.

Существенной особенностью книги является тот факт, что в
пей рассмотрены лишь статистические задачи, связанные с ис-
пользованием одной выборки; задачи с двумя и более выборками,
а также общий теоретико-игровой подход к проблемам статисти-
ки будут изложены в отдельной книге, которая будет являться
прямым продолжением и дополнением настоящей.

Книга имеет многоцелевое назпачепие. В ее полном объеме
опа, конечно, ближе к программе кандидатского минимума по
специальности «математическая статистика», чем к учебному по-
собию для студентов. Однако в книге предусмотрена система мер,
упрощающих первое чтение, которая делает книгу доступной и
для студентов. Параграфы повышенной трудности или «более
продвинутые» по своему содержанию отмечены звездочкой, их
следует при первом чтении опускать, как и текст, набранный
петитом. Кроме того, изложение технически более сложного слу-
чая, относящегося к многомерному параметру, почти везде вы-
делено в отдельные разделы и параграфы, которые также можно
пропускать.

Преподаватели ВУЗов, уже знакомые хотя бы частично с
предметом, могут выбирать из книги совокупность параграфов
(вариантов может быть много), используя которые (пе обязатель-
но полностью) можно составить семестровый курс математиче-
ской статистики. Вот один из вариантов: §§ 1, 3, 5 главы 1;
§§ 2—4, 6—12, 14, 16 (21, 23—25), 31, 32 главы 2; §§ 1, 2, 4,
5, 12 (13, 16) глаЪы 3. Параграфы, взятые в скобки, посвящены
асимптотически оптимальным процедурам. Их следует в зависи-
мости от подготовленности студентов либо максимально облегчить,
либо опустить вовсе.

Чтение книги предполагает знакомство с курсом теории ве-
роятностей в объеме учебника А. А. Боровкова [Ц]. Ссылки на
эту книгу, в'отличие от других ссылок, появляются в тех местах,
которые предполагаются читателю известными, и служат, глав-
ным образом, для напоминаний.

Нумерация параграфов в книге в каждой главе самостоятель-
ная, как и нумерация теорем (лемм, примеров и т. д.) в каж-
дом параграфе. Для удобства чтения используются разные систе-
мы для ссылок на теоремы, леммы, примеры, формулы и т. д.,
в зависимости от того, как далеко от читаемого места они нахо-
дятся. Если делается ссылка на теорему 1 или формулу (12)
читаемого параграфа, то ссылки на них будут' выглядеть так:
теорема 1,- формула (12). Если делается ссылка па теорему 1 и
формулу (12) одного из предыдущих параграфов этой главы (на-
пример, § 13), то ссылки будут иметь такой вид: теорема 13.1,
формула (13.12). Наконец, если ссылки относятся к другой гла-
ве, то будет появляться еще указатель номера главы (первая
цифра). Например, теорема 2.13.1 означает теорему 1 § 13 гла-
вы 2, а формула (2.13.12) — формулу (12) § 13 главы 2. То же
самое относится к обозначению параграфов. Ссылка па § 13
означает ссылку на § 13 этой главы, а ссылка па § 2.13 озна-
чает ссылку па § 13 главы 2.

Значок < означает окончание доказательства.

Для удобства читателя в конце книги помещены список ос-
новных обозначений и предметный указатель.

Написание этой книги было весьма трудным многоэтапным
делом. Значительную помощь при подготовке первоначальных
записок лекций к печати и по устранению недостатков в них
мне оказал И. С. Борисов. Второй вариант рукописи прочел по
моей просьбе К. Л. Боровков, который представил мне длинный
список полезных советов и замеченных им погрешностей. Он
же существенно помог мне при «чистке» окончательного вариан-
та рукописи. В поисках новой критики я обратился с просьбой
ознакомиться с рукописью к А. И. Сахаиенко. Он также пред-
ставил мне длинный список замечаний и предложений по улуч-
шению изложения, многими пз которых я воспользовался. Наибо-
лее существенные изменения при этом коснулись доказательств
в §§ 16, 21, 23, 29 главы 2, §§ 13—15 главы 3, Приложениях II,
V (см. также библиографические замечания).

Много цепных замечаний, направленных на улучшение кни-
ги, было сделано Д. М. Чибисовым. Рукопись просматривали
В. В. Юрннский и Л. А. Новиков и также сделали ряд полезных
замечаний. Всем названным коллегам и всем тем, кто так или
иначе помогал мне при работе над книгой, я хотел бы выразить
здесь свою глубокую и искреннюю признательность и благодар-
ность за пх труд и содействие в написании книги.

Сентябрь 1982 года

А. А. Боровков
Настоящая книга посвящена изложению основ раздела ма-
тематики, который называется математическая статистика. Пос-
леднюю для краткости называют иногда просто статистикой. Од-
нако следует иметь в виду, что такое сокращение возможно лишь
при достаточно хорошем взаимопонимании, поскольку сам по
себе термин «статистика» соответствует обычно несколько иному
понятию.

Что представляет из себя предмет математической статисти-
ки? Можно приводить разные описательные «определения», ко-
торые . в большей или меныпей степени отражают содержание
этого раздела математики. Одно из самых простых п грубых ос-
новано на сравнении, связанном с понятием выборки из гене-
ральной совокупности и с задачей о гппергеометрпческом распре-
делении, которая обычно рассматривается в начале курса теории
вероятностей. Зная состав генеральной совокупности, там изуча-
ют распределения для состава случайной выборки. Это типичная
прямая задача теории вероятностей. Однако часто приходится
решать и обратные задачи, когда известен состав выборки и по
нему требуется определить, какой была генеральная совокуп-
ность. Такого рода обратные задачи и составляют, образно гово-
ря, предмет математической статистики.

Несколько уточняя эго сравнение, можно сказать так: в тео-
рии вероятностей мы, зная природу некоторого явления, выяс-
няем, как будут вести себя (как распределены) те или иные
изучаемые памп характеристики, которые можно наблюдать в
экспериментах. В математической статистике наоборот — исход-
ными являются экспериментальные данные (как правило, это
наблюдения над случайными величинами), а требуется вынести
то пли иное суждение или решение о природе рассматриваемого
явления. Таким образом, мы соприкасаемся здесь с одной из
важнейших сторон человеческой деятельности — процессом поз-
нания. Тезис о том, что «критерий истины есть практика» имеет
•самое непосредственное отношение к математической статистике,
поскольку именно эта паука изучает методы (в рамках точных
математических моделей), которые позволяют отвечать на во-
прос, соответствуют ли практика, представленная в виде ре-
зультатов эксперимента, данному гипотетическому представлению
<о природе явления или пет.
При этом необходимо подчеркнуть, что, как и в теории ве-
роятностей, нас будут интересовать не те эксперименты, которые
позволяют делать однозначные, детерминированные выводы о
рассматриваемых в природе явлениях, а эксперименты, резуль-
татами которых являются случайные события. С развитием пау-
ки роль такого рода задач становится все больше и больше, по-
скольку с увеличением точности экспериментов становится все
труднее избежать «случайного фактора», связанного с разного
рода помехами и ограниченностью наших измерительных и вы-
числительных возможностей.

.Математическая статистика является частью теории вероят-
ностей в том смысле, что каждая задача математической статис-
тики есть по существу задача (иногда весьма своеобразная) тео-
рии вероятностей. Однако сама по себе математическая статис-
тика занимает и самостоятельное положение в табеле о науках.
Математическая статистика может рассматриваться как паука о
так называемом индуктивном поведении человека (и не только
человека), в условиях, когда оп должен на основании своего не-
дерминированного опыта принимать решения с наименьшими для
него потерями*).

Математическую статистику называют также теорией ста-
тистических решений, поскольку ее можно характеризовать как
пауку об оптимальных решениях (последующие два слова тре-
буют пояснения), основанных на статистических (эксперимен-
тальных) данных. Точные постановки задач будут даны позже,
в основном тексте книги. Здесь же мы ограничимся тем, что
приведем три примера наиболее простых и типичных статисти-
ческих задач.

Пример 1. Для многих изделий одним из основных пара-
метров, которым характеризуется качество, является срок служ-
бы. Однако срок службы изделия (скажем, электролампы), как
правило, случаен, и заранее определить его невозможно. Опыт
показывает, что если процесс производства в известном смысле;
однороден, то сроки службы |2, • - • соответственно 1-го, 2-го
и т. д. изделий можно рассматривать как независимые одинаково
распределенные величины. Интересующий пас параметр, опре-
деляющий срок службы, естественно отождествить с числом
0 — Одна из стандартных задач состоит в выяснении, чему
равно 0. Для того чтобы определить это значение, берут п го-
товых изделий и проверяют их. Пусть х15 х2,...., хп— сроки,
службы этих проверенных изделий. Мы знаем, что

) Подробнее об этрм см. [46].
n
при n —>оо. Поэтому естественно ожидать, что числох =— х{
7=1
при достаточно большом п окажется близким к 0 и позволит в
какой-то мере ответить на поставленные вопросы. При этом оче-
видно, что мы заинтересованы в том, чтобы требуемое число
наблюдений п было по возможности наименьшим, а наша оценка
числа 0 по возможности более точной (завышение параметра О,
как и его занижение, приведут к материальным потерям).

Пример 2. Радиолокационное устройство в моменты вре-
мени fj, Z2, . tn зондирует заданную часть воздушного про-
странства с целью обнаружения там некоторого объекта. Обозна-
чим Xi, ..., хп значения отраженных сигналов, принятых устрой-
ством. Если в заданной части пространства интересующий пас
объект отсутствует, то значения х, можно рассматривать как
независимые случайные величины, распределенные так же, как
некоторая случайная величина £, природа которой обусловлена
характером различных помех. Если же в течение всего периода
наблюдений объект находился в поле зрения, то х, будут наряду
с помехами содержать «полезный» сигнал а, и значения х, будут
распределены как | + а. Таким образом, если в первом случае
наблюдения х, имели функцию распределения Г(х), то во вто-
ром случае их функция распределения будет иметь вид F(x — a).
По выборке х17 ..., хп требуется решить, какой из этих двух
случаев имеет место, т. е. существует в заданном месте интере-
сующий нас объект или нет.

В этой задаче окажется возможным указать в известном
смысле «оптимальное решающее правило», которое будет ре-
шать поставленную задачу с минимальными ошибками. Сформу-
лированная задача может быть усложнена следующим образом.
Сначала объект отсутствует, а затем, начиная с наблюдения с
неизвестным номером 0, появляется. Требуется по возможности
более точно определить момент 0 появления объекта. Это так
называемая «задача о разладке», имеющая и целый ряд других
интерпретаций, важных для приложений.

Пример 3. Некоторый эксперимент производится сначала
Th раз в условиях А и затем п2 раз в условиях В. Обозначим
х1? . ..,хп и ух, . ..,Уп2 результаты этих экспериментов соот-
ветственно в условиях А и В. Спрашивается, сказывается ли из-
менение условий эксперимента па его результатах? Иными сло-
вами, если обозначить через РА распределение xf,
и через Рв — распределение у,, 1 < i С п2, то вопрос состоит в
том, выполнено соотношение РЛ = Рв или нет.

Например, если нужно установить, влияет ли некоторый пре-
парат на развитие, скажем, растений или животных, то парал-
лельно ставятся две серии экспериментов (с препаратом и без),
результаты которых необходимо уметь сравнивать.
Часто возникают и более сложные задачи, когда аналогич-
ный вопрос ставится для многих серий наблюдений, проведенных
в различных условиях. Если результаты наблюдений зависят от
условий, то бывает необходимым проверить тот или иной харак-
тер этой зависимости (так называемая задача о регрессии).

Пример 3 и названные более сложные проблемы относятся
к классу статистических задач с двумя и более выборками. Такие
задачи будут рассмотрены в отдельной книге (см. Предисловие).

Список примеров типичных статистических задач, разных по
сложности и по своему существу, можно было бы продолжить.
Однако общими для всех них будут следующие два обстоя-
тельства:

1.	Перед нами не было бы никаких проблем, если бы распре-
деления результатов наблюдений, которые фигурируют в зада-
чах, были нам известны.

2.	В каждой из этих задач мы должны по результатам экс-
периментов принимать какое-то решение относительно распреде-
ления имеющихся наблюдений (отсюда и название «Теория ста-
тистических решений», упоминавшееся выше).

В связи с этими двумя замечаниями принципиальное значе-
ние для всего дальнейшего и, в частности, для решения приве-
денных в качестве примеров задач, приобретает следующий факт.
Оказывается, по результатам наблюдений хъ ..., х„ над некото-
рой случайной величиной £ можно при больших п сколь угодно
точно восстановить неизвестное распределение Р этой случайной
величины. Аналогичное утверждение справедливо и для любого
функционала 6 — 0(Р) от этого неизвестного распределения.

Этот факт лежит в основе математической статистики. Ему
и более точным постановкам задач будет посвящена глава 1.
ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ.
АСИМПТОТИЧЕСКИЕ СВОЙСТВА СТАТИСТИК

В §§ 1—4 вводятся понятия выборки и эмпирического распределения
п рассматриваются их простейшие свойства, главным образом асимптоти-
ческие, лежащие в основе математической статистики.

В § 5 излагаются так называемые теоремы непрерывности (о сходимо-
сти распределений функций от последовательностей случайных величин) ,
используемые на протяжении всей книги.

§§ 6—10 посвящены более топким асимптотическим свойствам эмпири-
ческих распределений п изучению предельных распределений для основ-
ных типов статистик. ..

’	§ 1. Понятие выборки

0	И	'

\гч	Исходным материалом люоого статистического исследовании

sa/j является совокупность результатов наблюдений. В простейших
случаях они представляют собой экспериментальные (получеппыо
в результате опытов) значения некоторой случайной величины
Лх. £. Мы уже отмечали, что в задачах статистики распределение Р
этой случайной величины хотя бы частично неизвестно.

Точнее, пусть G — эксперимент, связанный со случайной ве-
личиной £. Формально для этого эксперимента со случайной ве-
личиной £ мы должны построить математическую модель, в ко-
торую входит веро'ятпостпое пространство (й?, S^,P), и задать
на нем подходящим образом измеримую функцию, которая и
называется случайной величиной £ (см. ИИ). Пространств»
(^, Р) не ограничивая общности можно считать «выбороч-
ным» (см. [11]), т. е. считать, что $6 есть пространство значе-
ний	В этом случае Р можно называть распределением

£. Если % — числовая случайная величина, то SB есть числовая
прямая 7?; если £— вектор, то 8B=Rm, т>1. В дальнейшем
мы, как правило, и будем иметь в виду только два эти случая,
т. е. под S? понимать R (одномерный случай) или Rm, т > 1
(многомерный случай). В качестве чаще всего выбирают ст-
ал гебру борелевских множеств *).

*) Многие разделы книги сохранятся п в более общей ситуации, когда
8? есть произвольное метрическое пространство с о-алгеброй 53^ борелев-

ских множеств, т. е.
ми из Вв.

2 А. А. Боровков

о-алгеброп, порожденной открытыми мпожества-

ФУЭДЖШЬШ
БИБЛИОТЕКА
м и т а
Если заранее известно, что Р сосредоточено на части В^Ъ%>
пространства то может оказаться удобным под SS понимать
В, а под	—сужение о-алгебры £)^>па В.

Рассмотрим п независимых повторений эксперимента G (см.
£11], стр. 38) и обозначим Xi, ..., хп совокупность полученных
наблюдений. Вектор

Хп =* (xt, ..., х„)

называется выборкой, объема п из совокупности с распределением
Р. Иногда используют укороченные или более полные варианты
этого термина: «выборка из распределения Р» или «простая
выборка объема п из генеральной совокупности с распределе-
нием Р».

Символически соотношение «Хп есть выборка из распределе-
ния Р» будут записываться с помощью знака С= следующим
образом:

ХП^Р.	(1)

Такого рода запись будет использоваться нами и для других
случайных величин. Например, соотношение

^Р	(2)

будет означать, что | имеет распределение Р. Такое использова-
ние символа (== находится в соответствии с (1), поскольку послед-
нее определено для любого п, в частности, для п= 1.

Если £ и 1] есть две случайные величины (вообще говоря, за-
данные на разных пространствах) с одинаковыми распределе-
ниями, то этот факт мы будем обозначать. £ — т), так что если
d

Хп и Yn есть две выборки одинакового объема из распределения
Р, то мы можем писать Хп -- Уп.

d

В правых частях (1), (2) вместо распределения Р иногда
может стоять функция распределения, соответствующая Р. Так
что если Fix) = Р((—©о, x'))i то запись

Хг (= F

будет тождественна с (1).

Само понятие «выборки из генеральной совокупности» встре-
чается также при рассмотрении простейших вероятностных мо-
делей, связанных с извлечением шаров пз урны в классическом
определении вероятности (см. [111, § 2 гл. 1). Следует отметить,
что введенное выше определение выборки находится в полном
согласии с этим понятием, введенным ранее, и по существу сов-
падает с пим. Если х, (или случайная величина £) могут при-
нимать лишь s значений щ, ..., as. и вероятности этих значений
рациональны, т. е.

P(5 = «j) = ^,	2^ = лг, .

5—1

то выборку Хп можно представить как результат «выборки с воз-
вращением» (в смысле гл. 1 [11D из урны с N шарами, из них
на Ni шарах, написано щ, па N2 шарах паписапо а2 и т. д.

Как математический объект выборка X — Хп (индекс п мы
часто будем опускать) есть не что иное, как случайная величина
(xi, ..хп) со значениями в «п-мерпом» пространстве $Вп ~ SB X
X SB X .. .X SB и распределением, определяемым для В ==•
= X В2 X ... X Вп,	равенствами

Р(ХеВ) = Р(х1еВ1, ...,хяе Вп) = П P(Xi ge В2).	(3>

i=l

Другими словами, распределение Р па $Вп есть n-кратпое прямое
произведение заданных «одномерных» распределении.

Относительно обозначений для распределения Р в других мы
будем придерживаться следующих соглашений, которые мы от-
части уже использовали в (3) и которые нигде не приведут пае
к недоразумениям.

1.	Мы будем использовать один и тот же символ (в частности,
Р) для распределений в (<й?, и для прямого произведения
этих распределений в (ЯГ, »£.) (см. (3)), где — о-алгебра бо-
релевских множеств в $Вп. Различие будет определяться лишь
аргументом функции Р.

2.	Вероятность попадания величины X в множество В, ска-
жем из нам иногда будет удобно обозначать через Р(/?), а
иногда через Р(х^В). Это одно и то же в силу того, что $Вп есть
выборочное пространство для X.

3.	Наконец, символ Р мы будем попользовать для обозначе-
ния общего понятия вероятности (т. е. для вероятности, относя-
щейся к каким-то другим случайным величинам без конкретиза-
ции вероятностного пространства).

В силу (3) мы можем рассматривать выборку X как элемен-
тарное событие в выборочном вероятностном пространстве
(«"Л. Р) (см. [Ц] гл. 3 § 2). Отметим, что относительно вы-
борки X мы будем допускать двойственное толкование этого обоз-
начения и объекта: как случайной величины и как вектора реаль-
ных числовых данных, полученных в фактически осуществлен-
ных экспериментах. Как показывает опыт, такое двойное толко-
вание вполне приемлемо н нс приводит к недоразумениям, хотя
и допускает одновременное существование, записей вида
Р(х! < t) = F(t) и вида Xi = 0,74, х2 = 0,83 и т. д.
Отметим также, что координаты х, выборки X мы обозначаем
«прямыми» буквами х, оставляя «курсивные» буквы х для обозна-
чения переменных величин. Вектор (ж,, ..., яп)е	,

мы будем обозначать полужирными буквами х — (т,, ..хп).

Выборка является основным исходным объектом в задачах
математической статистики. Однако на практике элементы ее
хи х2, ... далеко не всегда являются независимыми. В своих
рассмотрениях мы также пе будем исключать такой возможно-
сти. Чтобы при этом пе делать дополнительных оговорок, мы в
случае зависимых наблюдении будем считать, что имеем дело с
выборкой объема п = 1, а наблюдения представляют собой коор-
динаты вектора Xi (ведь прпрода пространства & произвольна).

В следующих рассмотрениях нам часто придется иметь дело
с выборками Хп неограниченно возврастающего объема п. В та-
ких случаях удобно предполагать, что задана выборка Х„ =
= (xi, х2, ...) бесконечного объема, а X — Хп есть совокупность
ее первых п координат. Под выборкой бесконечного объема Х„
мы будем понимать элемент выборочного вероятностного прост-
ранства (^°°,	Р), где — пространство последовательно-

стей (жъ а?2, ...); о-алгебра порождена множествами П {^1*=
еN = 1, 2, ...; распределение Р обладает свой-
ством (3). По теореме Колмогорова (1111) такое распределение
всегда существует. Стало быть, предположение о существовании
выборки Хх бесконечного объема никак пе ограничивает
общность.

Саму бесконечную последовательность (бесконечную выборку)
в рассмотрениях, носящих теоретико-вероятностный характер,
дюжпо трактовать как элементарное событие (ср. с [111).

’ В тех случаях, когда нам нужно будет понимать как под-
вектор X^, мы будем писать

где [•!,, — оператор проектирования из в <^”1, определенный
очевидным образом. В соответствии с предыдущим запись

Хоо^Р

будет означать, что Хх есть выборка бесконечного объема из
распределения Р.

Если возникнет необходимость особо отметить тот факт, что
речь идет о распределении в (^’°°, $3^) (или в (^п, при
н<оо), а не в , й^>),то мы будем использовать также обозна-
чение Р°°(Р’г). Сохранение верхних индексов «°°» и «и» во всем
тексте привело бы к громоздким обозначениям.
§ 2. Эмпирическое распределение (одномерный случай)

Пусть дана выборка X — (xt, .... xn)^= Р, Xi<= = В. Рас-
смотрим вещественную прямую R с о-алгеброй борелевских
множеств S3 и дискретное распределение Рп на (/?, S), сосредо-
точенное в точках х1? ..хп, для которого вероятность значения
Xi полагается равной 1/п. Другими словами, для любого В ©
по определению

pJ(B) = —,	(I)

где. v(/?)—число элементов выборки X, попавших во множество
В. Распределение Рп называется эмпирическим распределением,
построенным по выборке X (или соответствующим выборке X).
Его можно представить также в следующем виде. Пусть
!/(/?) — распределение, сосредоточепное в точке х:

fl, х<=В,

1х = (О, х ф В\

71

тогда, очевидно, v(B) = 2

п

Р*(В) = |5К4(В).	(2)

1=1

Яспо, что Р* (В) для любого борелевского В как функция от
выборки есть случайная величина. Таким образом, мы имеем
здесь дело со случайной функцией множеств, или со случайным
распределением.

Предположим теперь, что Х^^ЦР, Хп ~	и п -> оо.

Мы получим тогда последовательность эмпирических распределе-
ний Р*. Замечательный факт состоит в том, что эта последова-
тельность неограниченно сближается с исходным распределением
Р наблюдаемой случайной величины. Этот факт имеет принци-
пиальное значение для всего последующего изложения, посколь-
ку он показывает, что неизвестное распределение Р может быть
сколь угодно точно восстановлено по выборке достаточно боль-
шого объема.

Теорема 1. Пусть В и Хп = [-XoJn^S Р. Тогда при
П~+ °°

р?:(В)--^Р(5).
п.и.

Сходимость с вероятностью 1 здесь имеется в виду относи-
тельно распределения Р = Р°° в (А°°, §3°°, Р). Предположение
Xn — lXoJn нужно нам для того, чтобы случайные величины
К (В) были заданы па одном вероятностном пространстве.

Доказательство. Обратимся к определению (2) и за-
метим, что IXi {В) есть независимые одинаково распределен-
ные случайные величины, MIXi(5)~P(IXi(5)= 1) — Р(х4е
е=В) = Р(В). Так как Р* (В) есть среднее арифметическое этих
величин, то остается воспользоваться усиленным законом боль-
ших чисел. <]

Теорема 1 устанавливает сходимость Рп (В) и Р (В) в каж-
дой «точке» В. Однако имеет место и более сильное утвержде-
ние о том, что такая сходимость в известном смысле равномерна
но В.

Обозначим через 3 совокупность множеств В, являющихся
полуинтервалами вида [а, Ь) с конечными или бесконечными
концами, п предположим опять, что Хп=.[Хм],г.

Теорема 2 (Гливенко — Кантелли).

sup | Р,*, (В) — Р (В)	0.

веЗ	п.н.

Собственно, с именами Гливенко и Кантелли связано несколь-
ко иное утверждение, относящееся к важному понятию эмпири-
ческой функции распределения. По определению это есть функ-
ция распределения, соответствующая Р«. Другими словами, эм-
пирической функцией распределения Fa (я?) называется функция

^(х)=Р7*((- оо,я)).

Величина nF* (х) равна числу элементов выборки, которые мень-
ше, чем х. В реальных условиях для построения Fn(x) часто
используют следующую процедуру. Элементы выборки (хъ ...
..., хп) упорядочивают по возрастанию, т. е. образуют из нее
последовательность

х(1) хС2) 'С ... 'С х(П), '

которая называется вариационным рядом. Тогда мы можем по-
ложить

/г*(^) = 4 ПРИ (Х(Ю> x(H-i)L

где к пробегает значения от 0 до и, х(0) = — °°, х(п+п.= °°. Очевид-
но, Г* (ж) представляет из себя ступенчатую функцию, имеющую
скачки величиной 1/п в точках X;, если все х, различны.

Пусть F(x) = Р((—<», ж)) есть функция распределения £ (или,
что то же, xj и ХП = [ХСО]„. Теорема Гливенко — Кантелли со-
стоит в следующем:
Теорема 2А. При п-+ <*>

sup | F* (х) — F (х) |—> 0.
X	п.н.

Ниже индекс п у обозначений Г«мы будем опускать и пи-
сать просто F*.

Доказательство теоремы 2А. Предположим сначала
для простоты, что функция F непрерывна. Пусть е > 0 — произ-
вольно малое заданное число такое, что число N = 1/е целое.
Так как F непрерывна, то можно указать числа z0 = —oot
zlf ..zN-b Zjv = oo такие, что

F (z„) = 0, F (zj = в = E....F (z„) = te = A ..., F (z.„) = 1.

При zetzft, zft+1) справедливы соотношения

F*(z) - F(z) C F*(zft+1) - F{zk) = F*(^+1) - F(zfc+1) + e,

(3)

^*(z) - Fkz) > F*(zft) - F(zk+1) = F*(zJ - Hzfe) - e.

Обозначим Ak множество элементарных событий 0)==^, па
которых F*(zk) -+F(zh). По теореме 1 P(Aft) = 1. Стало быть, для

N

каждого we Л = П Ah найдется w(oj) такое, что при всех
k=0

п((й) будет выполняться

|F*(zfe)-f(zJ| <Е, fc = 0, 1......N.	(4)

По вместе с (3) эти неравенства влекут за собой

snp|F*(z) — jF(z)|<;2e.	(5)

z

Итак, это соотношение имеет место для произвольного е > 0,
всех we/ и всех достаточно больших	Так как

Р(Л) = 1, то теорема для непрерывной функции F доказана.

Для произвольной функции F(x) доказательство происходит
совершенно аналогично. Надо лишь воспользоваться следующим
обстоятельством: для любой F(x) существует конечное число то-
чек —00 == z0 < Zi < ... < zx_, < zN = oo таких, что

F(zh+l) - F(zh + 0) < е, к = 0, 1, ..., N - 1	(6)

(для определенности можно считать, что множество {зД содержит
все точки скачков F, по величине больших, чем, например, е/2).
Совершенно аналогично (3) получаем, что при ze (zfc, z/1+J

F*(z) -F(z) ^F*(zft+1) -F(zk+l) + e,

F*(z) - F(z) F*(zk + 0) - F(zh + 0) - e.	(7)

К множествам Ah, которые определяются как прежде, доба-
вим множества к = 0,1, ...,А, па которых F^(zh + 0)
-►	+ 0). Тогда по теореме 1 Р(А^)=Р(Л^) = 1, и на мио-

жестве Л= П ЛД» Р(^)=1» при достаточно больших
Ь=0

?г>п(св) будет справедливо (4), а также неравенства

, lF*(zft+0)-F(zfe + 0)| < е, /с-0, 1, ..., N.

Вместе с (7) эти неравенства влекут за собой (5). <]

Теорема 2А является частным случаем теоремы 2, так как
множества (—«>, х) принадлежат 3; с другой стороны, теорему 2
нетрудно получить в качестве следствия теоремы 2А, поскольку
для В = [а, Ь)

К (В) - Р (В) | < IF* (6) - F (b) I + I Fl (а) - F («) |,

и, стало быть,

S" р| р,‘ (В) - Р (В) | < snp[ I Fl (Ъ) - F (i) I + I Fl (a) - F (a) | ]—0.

B=3	aJ>	п.н.

Замечание 1. Нетрудно видеть, что такого же рода рас-
суждения позволяют нам в качестве совокупности множеств 3
в теореме 2 брать совокупности интервалов («, Ь), отрезков [а, 61
и их конечных (в числе не более некоторого N) объединений.

С другой стороны, если в качестве 3 в теореме 2 взять до-
статочно богатый класс множеств, то утверждение теоремы пере-
стает быть верным. Например, если 3 содержит объединения
любого конечного числа интервалов, то множество Вп ==>
= U (— 1/n2, xft -ф 1/п2) е 3, Рп(Вп) — 1, а для равномерного
й=1 X	/

па [0, 11 распределения Р(Вп) ^2/п, так что

sup | Р* (В) - Р (В) I > р; (В„) - Р (В„) -> 1.

BG3

В заключение этого параграфа отметим, что представление
(2) позволяет получить для Р71 и более точные теоремы об
асимптотическом поведении, чем теоремы типа Гливенко — Кап-
телли (эти результаты будут представлены в §§ 4, 6). Чтобы
проиллюстрировать возможности, которые здесь есть, напомним,
п

НТО 2 Ы(В) в (2) есть сумма независимых одинаково распре-
г--1

деленных случайных величин в схеме Бернулли,

М1,,(В) = Р(Ц(В) = 1) = Р(В),

МП,(В) = Р (В), DIX. (В) = Р (В) (1 - Р (В)).

Поэтому из центральной предельной теоремы немедленно выте-
кает следующее утверждение:
Теорема 3. Р*(В) представимо в виде

Р,‘(В) = Р(В) + ^2-,	(8)

\/ п •

п

где распределение t,n (В) = -7=	(1Х,- (В)— Р(5)) сходится к

р п t—1

нормальному распределению с параметрами (О, PCS)(1 — P(Z?))).

Дальнейшее изучепце Рп (В) в этом направлении содержит-
ся в § 6. Более точные теоремы о сходимости с вероятностью
1 см. в § 4.

§ 3. Выборочные характеристики. Два типа статистик

1.	Примеры выборочных характеристик. Выборочными харак-
теристиками называют обычно различные измеримые функцио-
налы от эмпирического распределения, или, другими словами,
функции от выборки, которые предполагаются измеримыми. Наи-
более простые среди ппх — выборочные (или эмпирические) мо-
менты. Выборочным моментом порядка к называется значение

п

а* = at (X) = f xhdF* («) = -~ 2 xi-
' 1=1

Выборочный центральный момент порядка к равен

4° = 4° (X) = J(х - 4)‘ dF- (4 = 42 - 4)'1.

1=1

* *°

Для выборочных моментов аь и а2 в литературе распростра-
нены специальные обозначения х и S2:

п	п

—	„*	1 X5	с2	*°	IV/

х — ах	— х^	S	а% —	— (Xj	х)-«

i=i	i=i

В статистических задачах используются самые различные
выборочные характеристики. Например, выборочная медиана
— это среднее значение вариационного ряда, т. е. значение
t* = x(tn), если n — 2m— 1 (нечетно), и £* = (x(m) + х(т+1))/2,
если п — 2т (четно). Напомним, что медианой £ непрерывного
распределения Р называется решение уравнения F(£) = 1/2.

Более общим понятием является понятие квантили поряд-
ка р. Это число, для которого = р. Так что медиана есть
квантиль порядка 1/2. Если F имеет точки разрыва (дискретную
компоненту), то это определение теряет смысл. Поэтому в общем
случае мы будем пользоваться следующим определением;
Квантилью порядка р распределения Р называется число
= sup {х: F(x) р}.

Как функция от р квантиль есть пе что иное, как функция
F~l(p\ обратная к Fix).

Такое определение Zv (или F~l(p)), в отличие от предыду-
щего, очевидно, имеет смысл для любых Fix).

Ясно, что наряду с выборочными медианами мы можем рас-
сматривать выборочные квантили Ср порядка р, равные по опре-
делению значению x(t), где Z=lrcp] + 1, x(ft)—члены вариацион-
ного ряда для выборки X, к — 1, ..., п. Для р = 1/2 мы сохраним
определение С* — С1/2» данное выше (оно совпадает с приведен-
ным лишь при нечетных п).

2.	Два типа статистик. Пусть дана измеримая функция S
от п аргументов. Выборочная характеристика S(X) = iS(xr, хп)
часто называется также статистикой. Из сказанного выше ясно,
что любая статистика есть случайная величина. Ее распределе-
ние полностью определяется распределением Р(В) = P(xt В)
(напомним, что S(X) можно рассматривать как случайную вели-
чину, заданную па (#п,	р), где Р — n-кратпое прямое про-

изведение одномерных распределений xt).

Мы выделим здесь два класса статистик, которые часто будут
встречаться в дальнейшем. Они будут построены с помощью сле-
дующих двух видов функционалов G(F) от функций распределе-
ния F:

Функционалы вида

G(F) = h^g(x)dF(x)],

где g — заданная борелевская функция, h — функция, непрерыв-
ная в точке а = j g(x) dF0(x), где Fo такова, что X Fo.

II. Функционалы G(F), непрерывные в «точке» Fo в равно-
мерной метрике: G(F(n)) -> G(F0), если sup | F(n) (х) — Fo (х) | О,
носители*) распределений F(n) принадлежат носителю Fo. Здесь
Fo опять есть функция, для которой X £= Fo.

Соответствующие классы статистик мы определим с помощью
равенства

S(X) = G(rI),

где F* — эмпирическая функция распределения. Мы получим
тогда

*) Носитель Л р распределения Р с функцией распределения F есть
множество, для которого Р(Л^) = 1,
§ 3]

I.	Класс статистик I типа, представимых в виде
(п
2=1

Очевидно, все выборочные моменты имеют вид аддитивных ста-
п

тистик — g (хг) и относятся к статистикам I типа.

™ i=l	—-

II.	Класс статистик, которые мы будем называть статистика-
ми II типа или статистиками, непрерывными в точке Fo.

Ясно, что, например, выборочная медиана .будет непрерывной
статистикой в точке F, если существует медиана £, F(£) = 1/2,
и F непрерывна и строго возрастает в точке £.

Принадлежность функционалов одному из названных классов,
конечно, не является альтернативной. Функционал GkF) может
не принадлежать ни одному нз этих классов или принадлежность
обоим сразу. Например, если G есть функционал I типа, носи-
тель F сосредоточен на отрезке la, б! (F(.a)=^0, F(d) = l),
а функция g имеет ограниченную вариацию па [я, Ь], то G бу-
дет одновременно функционалом II типа, так как в этом случае
функционал

ь

J g (?) dF (ж) = g (6) — [ F (х) dg (х)
а

непрерывен относительно F в равномерной метрике. Сказанное
означает, что статистики I типа х и S2 будут также статистика-
ми II типа, если Х(==Р и Р сосредоточено па конечном ин-
тервале.

Теоремы 2.1, 2.2 мы можем дополнить здесь следующим ут-
верждением о п. п. сходимости выборочных характеристик.

Теорема 1. Пусть, как и прежде, Хп — |Хго]„ (= F, Тогда,
если S .(X) = G (Fесть статистика I или II типа, то при
п ©°

G(F*)—rC(F).

II.н.

Здесь предполагается, конечно, что значение (7(F) существует.

Таким образом, выборки большого объема позволяют оцени-
вать не только само распределение Р, по и функционалы от этого
распределения — по крайней мере те, которые принадлежат одно-
му из названных в теореме классов.

Доказательство утверждения для обоих классов стати-
стик почти очевидно. Пусть, например, G(F) = /if f g (х) dF (х)] ~
Тогда

л	71

S = 5 (X) = J g (х) dF* (ж) =42# М

есть сумма независимых случайных величин с математическим
ожиданием

М#(хг) = Jg(z) dF(x),

Поэтому по усиленному закону больших чисел X—>Mg(x1).

Пусть теперь А = {X^t 5(Х) -> Mg (xL)}. Тогда Р(Л) — 1, и ес-
ли Хте е А, то X (X) Mg (xj, h (5 (X)) -> h (Mg (xj). Другими
словами, на множестве А

Утверждение теоремы для функционалов второго типа есть
прямое следствие теоремы Гливенко — Кантелли. <

Из теоремы вытекает, что абсолютные и центральные выбо-
рочные моменты п. и. сходятся при п -+ °° к соответствующим
моментам распределения Р:

4 = 4 (X) = 4 2 х* —* Мхь

7=1 П.Н.

п

а*° = 4°(X) = 4 2 (х« “ х)'“ “* М (xi - Мх,)”.
н

В частности,

?2=4 2 <х< - х>3=4 2х? - " - Dx. 

V=1

Таким образом, мы установили важный факт, имеющий для
нас принципиальное значение: эмпирическое распределение и
широкий класс функционалов от пего с ростом объема выборки
неограниченно сближаются с соответствующими «теоретически-
ми» значениями.

Более точные теоремы о распределении выборочных характе-
ристик будут изложены в §§ 7, 8.

§ 4. Многомерные выборки

1. Эмпирические распределения. Совершенно аналогичным об-
разом выглядят построения эмпирического распределения и выбо-
рочных характеристик в многомерном случае, когда наблюдаемая
случайная величина а вместе с пей и выборочные значения
хь ..хи есть векторы размерности m>l: xft = (xftil, ..., xft,m).
Здесь P(Z?) =P(t; ее/?) есть распределение в c%? = R"\ а выбороч-
ным пространством здесь будет («’" 8^, Р), где Р есть п-крат-
ное прямое произведение распределений Р в (-R’",	=

Обозначение X £= Р полностью сохраняет свой смысл.

Эмпирическое распределение Рп по выборке X строится, как
и раньше, как дискретное распределение с массами величины
1/п в точках хь ..х„, так что

г—1

где v(7?)—число точек, попавших в множество В, 1Х.— рас-
пределение, сосредоточенное, в точке х„

Утверждение теоремы 1 о сходимости Рп (В) —> Р (В) здесь,,
пл. .

очевидно, сохранится.

Обобщение теоремы Гливенко — Кантелли на многомерный
случай связано с появлением качественно новых вопросов. Один
из них — обобщения понятия интервалов на многомерный слу-
чай. Таких обобщений может быть несколько — это могут быть,,
например, прямоугольники, выпуклые множества и др.

Простейший вариант обобщения теоремы Гливенко—Кантел-
ли таков.

Пусть y = (yi, ..ут) есть точка Rm и Bt есть угол с вер-
шиной в точке t =	.., tm):

Bt — {у e R"’: yh < th, к = 1, ..., m).

Функция

называется эмпирической (/пункцией распределения.

Т е о р е м а 1. Пусть Хп = [Хто]„, Х^(=/В. Тогда

sop |/ * (£) — Л(/)|—>0
t	п.н.

При П-+ °о.

2*. Более общие варианты теоремы Гливенко — Кантелли. За-
кон повторного логарифма. Одно пз возможных обобщений тео-
рем типа Гливенко — Кантелли состоит в следующем. Пусть 6 —
класс всех выпуклых множеств в R"1.

Теорема 2. Пусть ХЯ = [ХСС]„, Х^б=Ё Г, распределение Р
абсолютно непрерывно относительно меры Лебега в Rm. Тогда

fup | Р,‘(В) — Р(В)| —0.	(1)

П.н.

Другие возможные обобщения теоремы 1 можно получить с.
помощью утверждений Приложения I.
Замечание 1. Требование абсолютной непрерывности рас-
пределения Р относительно меры Лебега в теореме 2 существен-
но. На это указывает следующий пример. Пусть Р есть равномер-
ное распределение на единичной окружности (т. е. па границе
круга) в В2. Построим замкнутый многоугольник Вх с вер-
шинами в точках хъ ..., хп, лежащих на окружности. Это выпук-
лое множество. Однако Р (Вх) — о, р;(вх) = 1, и, следователь-
но, соотношеиие (1), где © — класс выпуклых мпожеств, неверно.

Утверждения теорем типа Гливепко — Кантелли можно суще-
ственно уточнить — по крайней мере для простейших классов
множеств. Например, для эмпирических функций распределений
Fn(t) (см. теорему 1) можно указать такую детерминированную
последовательность Ьп 0 при п -+ для которой с вероятно-
стью 1 (для почти всех «точек» Х«)

lim sup b^1 sup | F* (I) — F (t) | — 1.
ii-юо	t

r\	1	“	1 / In ll) П

Сказывается, что порядок малости Ьп такой же, как у —-—.

Теорема 3 (закон повторного логарифма). Если F(t) не-
прерывна, 7 0

Р (lira sup ]/ hHn/7si;p । F* F (01 = t

Теорема 3 тесно связана с нормальным приближением для
Fn (t) вида (2.8), которое в многомерном случае, очевидно, так-
же имеет место.

Доказательство теорем 1, 2 отнесено нами в Приложение 1.
Доказательство теоремы 3 см. в [33].

3. Выборочные характеристики. В многомерном случае, как
и в одномерном, они представляют собой различные измеримые
функции от выборки. Простейшие из них — выборочные момен-
ты. Например, выборочные моменты первого порядка равны

п

fc—i

Моменты второго порядка (обычные и центральные)
п

ai,ij ~ a2,ij (X) — ~	X/{ iX/i(j, I, j = 1, . . . , Hl,

/t=l

n

QSij = ~	°lj)>

ft=l

и т. д. Как и в одномерном случае, легко убедиться с помощью
усиленного закона больших чисел, что эти характеристики с ве-
роятностью 1 сходятся к соответствующим «теоретическим» мо-
ментам. В частности, Sij—>M(xlj{— Mxlii)(x1j—Mx^j). Нетруд-
п.н.

но убедиться (подробнее об этом см. в следующем параграфе),что
этим же свойством обладают и выборочные коэффициенты кор-
реляции

п-н-

р(Х1,Ь

хи) =

М(х1Л-Мх1л)(хи~ Мхи)
/Ох1>;Схм

Для получения более точных теорем о распределении выбо-
рочных характеристик нам будут полезны так называемые тео-
ремы непрерывности.

§ 5. Теоремы непрерывности

В дальнейшем вам понадобятся некоторые вспомогательные
утверждения, которые мы будем часто использовать и которые
можно было бы назвать теоремами непрерывности. Цлл удобства
мы выделяем их в отдельный параграф. Одну теорему такого
типа мы уже использовали — это теорема 3.1. Первая теорема
непрерывности будет очень близка к этой теореме.

Теорема 1 (первая теорема непрерывности). Пусть X ==
— [XОО	Тогда если Sn — Sn(X) есть последовательность

скалярных или векторных статистик таких, что Sn—>- 50, и
п.н.

//(s)— функция, непрерывная почти всюду относительно распре-
деления случайной величины So (г. е. H(s) непрерывна в каждой,
точке множества В, Р(50 е В) = 1), то Н (Sn (X))—> Н (50).

п.н.

Если Sn сходится к 80 по вероятности (Вп-^-ВвУ, то при тех
\ р )

же прочих условиях Н (Sn)-+- Н (6\().
р

Доказательство теоремы почти очевидно. Так как веро-
ятности событий А = {Хоо.- Sn(X^) -> SCl(X«,)} и С = {Х«,: SAX^)^
<= В} равны 1, то в силу равенства Р(Л П С) = Р(А) + Р(С) —
— PG4 U С) вероятность события А П С (па котором II(Sn(X№))
-* Ж5О(ХЮ))) также равна 1.

Чтобы упростить доказательство сходимости по вероятности,
мы предположим дополнительно, что 50 = const (нам только этот
случай и понадобится). Для заданного е>0 найдется 6 >0 та-
кое, что событие ЛП={ХГО: |Sn — 50|<6) влечет за собой
1ЖЖ) — Ж50)| < е и, кроме того, Р(ЛТ1)>1 —е при всех доста-
точно больших п. Следовательно, для таких п имеем 1 — е <
<Р(Лп)<Р(|ЖЖ)-Ж50)1 <е). <

Прежде чем формулировать последующие теоремы, введем
некоторые обозначения, которые будут удобны в дальнейшем.
Пусть дана последовательность случайных векторов —
= (т/п \	, TjnO (пе обязательно на одном вероятностном про-

странстве). Если распределения слабо сходятся при п со к
распределению некоторой случайной величины ц, то этот факт
мы будем обозначать символом

Ж=>!1.	(1)

Здесь мы используем для случайных величии знак => слабой
•сходимости распределений. Этот знак будет употребляться по-
прежнему и для самих распределений, так что соотношение (1)
эквивалентно тому, что

*

где Qn и Q суть соответственно распределения и 1]. Такое со-
глашение удобно и пе приводит к недоразумениям.

Ясно, что из т|п —> 1] или 1]п —*• 11 следует т)п => ц (ср. с
Р	п.н.

11'11, стр. 133).

Таким образом, если речь идет о соотношении (соответствую-
щем слабой сходимости) между объектами одной природы (меж-
ду случайными величинами или между распределениями), то мы
будем использовать символ =>. Наряду с этим, нам было бы
удобно иметь также символ для выражения «распределения i|„
слабо сходятся при п к Q». Это соотношение мы будем за-
писывать в виде

'	(2)

лак что символ (==> выражает тот же факт, что и =>, по соединя-
ет объекты разной природы так же, как это делает символ 6В
в соотношении ц (== Q (слева в (2) стоят случайные величины,
а справа — распределение).

Пусть !)„ и 1] есть случайные векторы из R*.

Теорема 2 (вторая теорема непрерывности). Если Г|п=>т]
и H(t), t^R“ есть непрерывная функция из R* в R\ то Н (ци)=>
=>Я(П).

Отметим, что эта теорема па самом деле верна и в более об-
щей форме*): Если т]п=>т] и IIU) непрерывна в точках множе-
ства А е Р(ц е Л) — 1, то Н (трг) => Н (11).

Доказательство теоремы 2. Пусть Qrl н Q есть со-
ответственно распределения т]п и 1]. Слабая сходимость Q;; > Q
означает по определению, что для любой непрерывной и ограни-
ченной функции /: Rs R выполняется

J / (у) Qn W) J / (У) Q (^У),

*) Подробнее об этом см. [5].
или, что то же самое,

М/СПп)-*- М/(л)-	(3)

Аналогичное соотношение мы должны получить и для рас-
пределении Жц™) и Я(ц). То есть, мы должны установить, что
для любой непрерывной ограниченной функции g: Rh -> R спра-
ведливо Mg (И (Лп))-^ Mg (Я (л)). Но это очевидным образом
следует из (3), так как суперпозиция g^ g ° Н: Rs -> R непре-
рывна и ограничена. <3

Теорема 3 (третья теорема непрерывности). Пусть Лп=>
//({), t^R, есть функция, дифференцируемая в точ-
ке а. Тогда если bn~+Q есть числовая последовательность, то

(Н (а 4- Ьпт]п) — Н (а))/Ьп => г]Н' (а).	(4)

Доказательство. Рассмотрим функцию

((Н (а + я) — Я (а))/х, х =/= О,

Д(Ж) = [Я'(а), я = 0,

которая будет непрерывной в точке х = 0. Так как ЬпЛп => 0, то
в силу первой теоремы непрерывности h (Ъпт\п) h (Q) ~ Н' (о).
Пользуясь второй теоремой непрерывности, получим

(Я (а Ьят]гг)	Я (я))/bn = h	Ло =^Я (о) тр <3

Мы приведем теперь два последовательных обобщения теоре-
мы 3 на многомерный случай, которые будут нам полезны.

Теорема ЗА. Пусть Лп^(лп\ . •., Лп° ) => Л =(л(1\ • • • >Л<8) )>
Я(0— скалярная функция вектора	..., tj такая, что

существует производная Н'	в точке а. Тогда

при Ьп 0

(Н (а + м») - Н (a))/bn => t) (Я' (а))т = 2 Л<Л. (5)

.7=1 J

Здесь индекс Т соответствует транспонированию.

Если ц(Я'(а))г = 0 с вероятностью 1 {например, Я'(«)=0),
„„/.V	_ л 52Я(0

а матрица И (t) производных dt dt существует в точке а, то
bi 3

(Н (а + м.) - Н (а))/Ъ^ => 1ПЯ" (а) Ч’ = 7 J

i,j=l 1 з

(6)

Пусть теперь Я(£)—векторная функция. Тогда, очевидно,
предельное распределение для каждой компоненты Hj будет
описываться теоремой ЗА, а относительно совместного распреде-
ления будет справедлива

3 А. А. Боровков
Теорема ЗВ. Пусть => ц Rs, H(.t)^Rh— векторная,
функция такая, что производные Нj, j — 1, ... ,k, удовлетворя-
ют условиям теоремы ЗА. Тогда

(Н (а + Ьпг|„) — Н (а))/Ьп => т] {ТГ («))т.

Если ц(Я/(«))т = О с вероятностью 1, а матрицы Н j, 7=1, ...,k,
существуют в точке а, то

(II (а + Ь„п„) - II (а))/Й=Ц (’l«i (“) ЧТ, •  •.	(«) Л

Доказательства этих утверждений по существу ничем
не отличаются от доказательства теоремы 3, и поэтому мы пред-
ставляем их читателю в качестве упражнений. Вроме того, мы
предлагаем убедиться, что символ => в (4)—(6) можно замелить
на —*- или —>, если соответственно выполняется цп—* В или
и. п.	Р	п.н.

-> II.

р

Содержание теорем 1—3 можно резюмировать следующим об-
разом. Пусть означает один из символов —>, —=?>. Тогда
п.н. Р

если Н непрерывна, то из цп Ц следует Н (цп) Н (ц).

Если Н дифференцируема в точке а,	то для Ьп -* О

(Н (а + Мп) — Н {а))!Ъп Н' (а) ц.	(7)

Замечание 1. Нетрудно видеть, что если а зависит от п
так, что а ап = а0 + о(1), и производные в теоремах 3, ЗА, ЗВ
непрерывны, то соотношение (7) сохранится в форме

(Я (ап + 6пт)„) — Н {ап)}!Ьп Н' (н0) ц.	(8)

Для доказательства достаточно заметить, что левая часть (8)
представима в виде Я'(ап)Цп, гдессп = Qan 4- (1—0) (ап +

а0, |01<1,и воспользоваться второй^ теоремой непрерывности.

То же самое замечание справедливо для многомерных анало-
гов этого утверждения в теоремах ЗА, ЗВ.

Сформулированные теоремы касались сходимости почти на-
верное и сходимости распределений. Четвертая теорема непре-
рывности относится к сходимости интегралов.

Теорема 4 (теорема непрерывности для момептов). Пурги
{•qK} — последовательность числовых случайных величин п ц
при п о°. Тогда, если выполнено хотя бы одно из следующих
условий’.

ОО

1)	lim sup (* Р (| т)(11 2> ж) dx-*- 0 при N-> оо,
а-» оо 'N

ОО

2)	Р (|Цп |> *)< ф U), J ф (^) dxCoo,

о
3)	М | т|п |1+а < с < оо для некоторого а>>0,
го Jim Мт)п = Мц.

Отметим, что условие 1 означает равномерную по п сходи-

ОО

мость к нулю J Р (| т)п | Z> х) dx при N ->
N

Д о к а з а тельство. Из обобщенного неравенства Чебышева

следует, что условие 3 влечет за собой 2. В свою очередь, усло-
вие 2 влечет за собой условие 1.

Пусть выполнено условие 1 Для простоты- рассуждений пред-,
положим сначала, что т]п>0. Тогда, интегрируя по частям, по-
лучим
ОО	’ ОО

Мт|п — J X dP (г]п х) = J Р (I]n х) dx.
о	о

Из этого представления, из сходимости Р(ц„ 5* х) Р(р > .г) для
почти всех х и из равномерной по п сходимости интеграла
ОО	f

Р (л» гс) следует законность предельного перехода под
6
знаком интеграла, в силу которого
оо	ОО

lim Мт|п — lim [ Р (т)п #) dx = [ Р (т| Z^xjdx ~ Мл.
71-»оо	11-* ОО g	g

В	общем	случае	следует	воспользоваться	представлением

Ля = Лп — Лй,	где	Лп	= max (лп, 0), л7	= max (— Лп,	0).	<]

Отметим, что условие 1 можно рассматривать также как ус-
ловие равномерной интегрируемости -q„, из которой немедленно
следует требуемая Сходимость МЛп“*-Мл (см., например, [111,
142]).

§ 6*. Эмпирическая функция распределения
как случайный процесс. Сходимость к броуновскому мосту

В этом параграфе мы будем предполагать известным понятие
случайного процесса (скажем, в объеме [11]) и, в частности,
определения и простейшие свойства винеровского и пуассонов-
ского процессов.

1.	Распределение процесса nF*(t). Ограничимся рассмотре-
нием одномерного случая —R. Пусть, как и прежде, /’?*(/) =
= P»i ((—оо, £)) есть эмпирическая функция распределения, со-
ответствующая выборке X = Хп (== Р.

3*
Функция F*(t) есть функция двух переменных: t и X, или,
что то же, случайная функция от t или случайный процесс.

Найдем конечномерные распределения этого процесса. Пусть
Л < t2 < ... < tm — произвольные т точек числовой оси. Положим
t0 — ~ °°, t„,+1 = oo и обозначим

&&= g(tj+l) - g(tj)

приращения функции g(t) ла полуинтервалах Д,= [£ь £J+1), /=*
= 0, 1, ..т. Рассмотрим приращение А,лп процесса

лп(<) = nFj(t).

Очевидно, это есть число элементов выборки, попавших в Aj.
Вероятность попадания одного элемента выборки (скажем, xj
в Д, равна р3 — Р(Д7). Так как попадания в Аь 7 = 0, 1, ..., m,
представляют собой т +1 несовместных событий, то мы, оче-
видно, имеем здесь полиномиальное распределение (см. [11],.
стр, 111) для вектора (АолЛ, ..Д„,лп) с вероятностями р«,
m

. • •> Рту У1 Р; =1. Как известно,
5=0

Р (Аолп — A'q, . . . , Атп’П'П “ km) =	Р Ро • • -Рт j (1

О’ • • • пг

7П

где S kj = п.
5=0

Пусть теперь ц(п)_ не 10, 11, есть непрерывный слева пуассо-
новский процесс (см. [11], стр. 304) с параметром %, ц(0) = 0.
Приращения этого процесса независимы,

Р(П(И)=Л)=<ГХ“-^.

Если функция распределения Fit) = Р((—«>, t)) непрерывна,
то мы можем сделать непрерывную замену времени, положив
w =/?(£), —оо <£<00, и определить тем самым процесс л(£) =
= T](F(t)) на всей оси. Рассмотрим приращения этого процесса

Aj.n = H(tJ+l) — nit}) = ц (Е(£?+1)) — r|(F(£j))

на интервалах Aj. Тогда

т	/т _	т

Р (Аол А-о, .... Amn = кт) = П е Pj 4V = П

5=о	5‘	5=о г

Л условная вероятность тогЬ же события при условии л (оо) =?
т

= 2 А;31 — п будет равна
3=0

Р	~— Ар, • .. , А^л —-

= Р(Аоя==А'о’ -	= М

Р (л (оо) — п)

т	\

У, А;Л = ПI ~

j=0	/

— Р (До31 ~ ^о> • • •, А?пЛ — Ат)  ——
А

т д-j
и! -тт
3=0 г

(2)

Мы получили при любом % > 0 то же самое выражение, что и в
правой части (1). Таким образом, мы доказали следующее ут-
верждение.

Теорема 1. Если FU) непрерывна, то распределение про-
цесса nFn (£) совпадает с условным распределением процесса
л(£) = ц(Г(/)) при условии nl°°) = п (ц(1) = п).

Теорема показывает, что отклонения n(F*(t)— ^(0) рас-
пределены так же, как x\(F(t)) — nF(t) при условии т](1) = п,
и задача с точностью до замены времени и — F{t) сводится к
изучению отклонений т\(и) — пи для условного (г](1) = ?г) пуас-
соновского процесса на отрезке [0, 1] или, что то же, к изуче-
нию отклонений n(F*(0 — t), гре F*(t) соответствует равно-
мерному на [0, И распределению.

Полезным бывает и другое представление для процесса
nFn(t). Пусть £1э £2, ...— точки скачков пуассоновского процес-
са т](£), так что т)(£к + 0) = к. Как известно (1111), разности
=	(to = 0), к = 1, 2, ..., независимы и показательно

распределены,

P(£ft>.r) = е~Кх,

имеет Г-распределепие с плотностью (см. также § 2.2)

1

Чтобы упростить формулировки, предположим, что F(t) —t, t £
е [0, 1], t0 =0, tm+1 = 1, так что ц(£) = n(i).

Теорема 2. Распределение процесса nFn(t) совпадает при
любом v>0 с условным распределением процесса n(tu\ 0 < t <
< 1, при условии £n+i — V.	4

Другими словами, утверждение теоремы 1 сохранится, если
условие л(1) = « заменить значительно более узким условием
л(1)=п, л(1 + 0) = п+1 (мы считаем, что траектории nit) не-
прерывны слева).

Поскольку вероятность этого нового условия равна 0, то, воз-
можно, следует добавить (см. §§ 4, 8 в [1Ц об условных мате-
ВЫБОРКА. ЭМПИРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ

[ГЛ. 1

матических ожиданиях, а также § 2.9), что под условным рас-»
пределенпем мы понимаем вероятности

Р(ДП+1=Р) =

Р(Л;Сп+1е^)
Р (£п+1 е ^v)

где А = {Дол(^) = ко, .Amn(tv) — кт}, A^tv) = л(£,-+щ) —:
— nUjV).

Доказательство. Событие {£n+i е= dv} представим в виде
произведения двух событий

B = {n{v)=n} и С — {л(к+ dv) — л(к) = 1).

События В и АВ не зависят от С, так как события В и АВ,
с одной стороны, и событие С, с другой, относятся к прираще-
ниям процесса л па непересекающпхся интервалах времени.
Поэтому

т» / л	\ Р {АВС) Р {АВ) и , л , . \	.	/Q4

I* (^/£n+i  — р)	р {ВС) — р {В) (A/tt {у) - — п).	(3)

Точно так же, как в (2), убеждаемся, что это выражение от v
(как и от X) не зависит и совпадает с (1). <

Следствие 1. Распределение процесса nFn{t) совпадает
с распределением л(££и+1),	1.

Это вытекает из того, что для В = {Дол(Д;,1+1) = к0,

..., ДшлС^п+Э = кт} имеем в силу (3)

р	А 3

Р (В) = Р (Л/С„+1 = V) Р (c„+1 е= dv) = п! П -ГТ-
J	з з1

Из следствия 1 вытекает

Следствие 2. Совместное распределение элементов вари-
ационного ряда х(1), ..., х(п> выборки X из равномерного распре-
деления совпадает с совместным распределением

%п

£п-Н	£п+1

или, что то же, совместное распределение разностей x(i)t х(2) —
— x(i), х(П) — х(ге_1), 1 — Х(п) совпадает с совместным распре-

делением





В заключение этого раздела найдем моменты второго порядка
для приращений процесса n(F*(t) — F {t)\ Нам будет удобнее
иметь дело с процессом

u>"(t) = Vn(F*(t)-F(t)\

.Очевидце, чтц МДдип = О, М (A,;;/')2 = &jF(l — &jF), Для
вычисления смешанных моментов заметим, что (i¥=j)
п

М(Д1®П-Д^П)=4 2 М(1хк(Д.)-Р(Д>))(Ц(Д,)-Р(ДП) =
h,i=l

п

= | 2 [МИЦДОЩД^-РСДОРСД;)).
A,Z=1

Так как

MIxJAi) IXj(Aj) =

|P(Ai)P(Aj) при k^l,
(О при к = Z,

то М (А^П.ДХ) = - Р (ДО Р(Д5) = — AtF-AjF.

Таким образом, приращения процесса wn отрицательно кор-
родированы.

2.	Предельное поведение процесса wn(t). Мы будем считать,
что FW) непрерывна. Из п. 1 следует тогда, что мы можем ог-
раничиться рассмотрением равномерного па [0, 1] распределения
#(t)=£, 0<£^1.

Обозначим через w(t) стандартный винеровский процесс, т. е.
процесс с независимыми приращениями, для которого w(t) рас-
пределено нормально с параметрами (0,7). Процесс

ш°(0 — iv(t) — tw(i)

называют броуновским мостом (по той причине, что у пего за-
креплены оба конца: ш°(0) =	— 0). Распределение этого

процесса совпадает с условным распределением процесса w(£)
при условии гр(1) — 0 (более точно, надо взять условие |ш(1)| <
< е и перейти к пределу при е 0).

Оказывается, что конечномерные распределения процессов
zpn (/) = VTi (F* (t) — F (£)), t е= [0,1],

сходятся при n -> к соответствующим распределениям броунов-
ского моста

Этот факт позволяет приближать процессы wn(t), которые
называют иногда эмпирическими процессами, с помощью процес-
са	Именно, мы можем представлять себе, что при боль-

ших п имеет место приближенное равенство

/re(F:(t)-P(t))«»°(t),

(4)

описывающее распределение уклонении Fn(t) от F(t) (папомним,
что мы считаем здесь Fit) —t, t<^ [0, 11).

Однако утверждение типа (4) нам понадобится в более силь-
ной форме. Рассмотрим, например, статистику U— Vп sup (F*(t)—
t

— F(ty), Высказанное утверждение делает естественным пред-
40

положение о том, что при больших п случайная величина U
приближенно распределена так же, как sup w° (£). Однако из
нашего утверждения это никак не следует, поскольку U нельзя
представить как функцию от значений и?*(()= уп (f: (o-r(o)
в каком-либо конечном числе точек. Поэтому существенно более
сильным является следующее утверждение.

Обозначим через D(a, b) пространство функций на отрезке
[а, &], непрерывных слева (в точке а справа) п имеющих лишь
конечное число скачков, и через С(а, Ь) пространство всех непре-
рывных на [а, Ы функций. Очевидно, что траектории wn(t) при-
надлежат Р(0, 1). Кроме того, известно (см. [111, гл. 13), что
траектории w°(t) принадлежат С(0, 1) с вероятностью 1. Для
простоты мы можем считать, что все траектории w(t) и, следо-
вательно, w°(t) лежат в С(0, 1) (см. [11]). Поскольку 6(0, 1) <=
с=7Х0, 1), то (ZMO, 1), по), где оп есть о-алгебра подмножеств
из Z)(0, 1), порожденная цилиндрическими множествами*), мы
можем считать выборочным пространством **) процессов wn п iv°.

Теорема 3 (функциональная предельная теорема для эм-
пирических процессов). Пусть / — функционал, определенный на
пространстве D(0, 1) и обладающий следующими свойствами:

1)	f(wn) и /(ip°) являются случайными величинами (т. е. j(y)
осуществляет измеримое отображение (6)(0, 1), oD) в (R, S3));

2)	/(у) есть функционал, непрерывный в «точках» простран-
ства С(0, 1?) относительно равномерной метрики, т. е.	f(y)

при п-+ с», если у^С(О, 1) и р (уп, у) — sup | уп (t) — у (t) | -> 0.

o«t«i

Если эти условия выполнены, то
/(шп) =>

Если функционал f непрерывен в равномерной метрике в любой
точке у Р(0, 1), то условие 1) выполняется автоматически.

Очевидно, что функционал U, рассмотренный выше, удовлет-
воряет условиям теоремы, так что при п -* оо

U => sup (£).

Поскольку распределение правой части в этом соотношении
можно найти в явном виде (см., например, [51, [58]):

Р ( sup w° (£)>	= e~2z\

то мы получаем таким образом приближенное выражение для
распределения U, .

*) То есть, множествами вида {.v(6)e^i, ... y(hn) В„,}, где
Bi, ..., Bm — борелевские множества.

**) (Do, о) есть выборочное пространство процесса £(£), если на нем
задано распределение процесса В, так что траектории g(f) лежат в £)э.
Использование теоремы 3 для вычисления предельного рас-
пределения других статистик рассмотрено в последующих пара-
графах.

Доказательство теоремы 3 отнесено нами в Приложение II.

§ 7. Предельное распределение
для статистик первого типа

Напомним, что статистиками первого типа мы называем ста-
тистики Sn (X) — G(F*l), где функционал G имеет вид G (F) =
= h (J g (х) dF (x)j. Другими словами,

fn	\

Мы уже видели (теорема 3.1), что если X^F0 и h. непрерывна
в точке а ~ g (х) dF0 (х), то Sn—> h (a).

J	п.н.

Теорема 1. Если X Fo, h дифференцируема в точке а,

У g2(x)dF0(x)<oo, то

Vп (Sn (X) — h (fl)) => h' (a) g,
где £€=Ф0 о2, tf2=f(i(£) — fl)2dF0(x). Ф0>ог здесь означает нор- 
мальное распределение с параметрами (0, о2).

Доказательство. Статистику SAX) представим в виде

п

а +	T7=-2(g(Xi) — а)

V п L V п w

где по центральной предельной теореме (см. [Ц])

п

Ч" = А- 2 te <Х*> - «)	Ф»,а?-

И 1 i=i

о2 = М (g (хД. — а)2 = j (g (х) — fl)2 dF0 (х).

Остается воспользоваться третьей теоремой непрерывности при
Ьп = l/Vn. <

Иногда функционалы первого типа удобнее рассматривать в
виде G (F) = h Q g (х) d(F — F0)j. Очевидно, все сказанное со-
храняется и для них с той лишь разницей, что а следует поло-
жить равным 0.

Приведем аналог теоремы 1 для случая, когда функция
g = (gi, ..gs) есть вектор (т. е. G (F) =s g1(x)rfF(x), ...
...,j gAx)dF(x)}\
Теорема 1А. Пусть Sn(X) = G(F*), h(t) дифференци-
руема в точке a— J g (х) dF0(x), а матрица вторых моментов о2 =*
— II °ij II = М (g (xj — a)T(g (хх) — а) конечна. Тогда	,

S

(5„ (X) - h («)) Vn I (К (й))г = 2

3

(1)

где I = (Вп ...,ЫёФ01О2

Если £(//(а))т = 0 с вероятностью 1, а матрица вторых про

д£
dt-dt-

изводных h" (7) =

существует в точке а, то

(Sn (X) - h (й)) п A Ik" (а) г = 4 2

i,j=l г 3

Для доказательства теоремы 1А следует воспользоваться тео-
ремой непрерывности 5.3А и многомерной центральной предель-

1 VI
ной теоремой, в силу которой —-т=? 2j (g (Xi) — о) =>£ (см.

V П г=1
ложение V).

Совершенно аналогично выглядит теорема о предельном рас-
пределении 5П(Х), когда функция /г, а вместе с пей и статистика
5П(Х), являются векторами. Читатель без труда воспроизведет
ее формулировку и доказательство с помощью теоремы 5.3В.

Пример 1. Пусть	и Ро тдково, что Мх1~а4>0,

Dx1=d2<oo. Что из себя представляет в этих условиях пре-
(п \

X = — Xi I? Усло-

г=1	/

вия теоремы 1 здесь, очевидно, выполнены при h{t) = i/t, g(x) =
= х, при этом а = сс, o2 = d2, hka)~l/a, h'{a) =—l/о2. В силу
теоремы 1

(S - 1/а) /и - ?/а2,	5Ф„

так что

(5-1/а) /п&Фолг/о«.

Пример 2. Найдем предельное распределение статистики

если МхА = a, Dx2 = d2 и Мх^С <х>. (Мы уже знаем, что в силу
первой теоремы непрерывности52—->d2.) Найти требуемое Пре-

H.и.
дельное распределение нетрудно непосредственно, воспользовав-
шись представлениями

п

S- = 2 (xi —а2) — (х — а)2,
г=1

п	«

(5! - <F) /п =	2 К'Ч - «)2 - <4 - /и (X - «)2.

Однако мы воспользуемся теоремой 1А. В условиях этой теоремы
мы должны положить

G (F) ~ J (х — a)2 dF (ж) — (J х dF (х) — а)2,
так что giGr) — (х — а)2, g2(x) = х, h(t) = С — (i2 — а)2. Поскольку
в точке а = (t/2, а)

dh (а) _ . dh (а) _ q

dt± ~ dt2 ~ и’

ТО

(s2 — d2) Vn =>	^Ф0 г2, ь’2 = M (хг —а)4—с?4.

Пример 3. Статистика %2. В заключение этого параграфа
мы рассмотрим пример статистики, которую можно относить к
статистикам как 1, так и II типов.

Рассмотрим статистики, построенные с помощью функциона-
лов вида

G(F) = h^edF),	(2)

где g есть функция ограниченной вариации на отрезке [а, &]
таком, что F(a)=0, F(b~) = 1 (а и b могут быть бесконечными).
Так как J g dF ~g(b) — J F dg, то функционал G(F) будет непре-
рывным в равномерной метрике, если только непрерывна функ-
ция h. Нетрудно понять, что выделенный класс статистик пред-
ставляет собой пересечение классов статистик I и II типов.

То же самое справедливо в случае, когда g есть векторно-
значная функция с компонентами gi, имеющими ограниченную
вариацию.

Рассмотрим теперь разбиение вещественной оси (пространства
па непересекающиеся интервалы Ди Дг и обозначим
vi = nP*(Ai), рг — Р0(Д,) (Ро есть распределение, соответствую-
щее Fo, так что Х^=Р0). Статистикой «хи-квадрат» х2 = х2(Х)
называют статистику
Очевидно, что это есть статистика П типа, так как она
с точностью до множителя п соответствует функционалу

Г

G(O = Gi(P) = S
i=l

(P(Ai)~Po(Ai))2
Po(Ad

Чтобы представить %2(Х) как статистику I типа, рассмотрим
функционал вида (2)

G(O = ^[Jgd(F-F„))

т

с функцией h (и) = 2 и векторной функцией g с координатами
5-1

g.(х\ = р/ VPi ПРИ х

i (0 при х ф Aj.

Так как функция h дифференцируема, = 0,	= 26{;

3	г j

(6У — символ Кронекера), то, положив Sn(X) — G(F*), мы
получим

nSn (X) ±=х п 2

5=1

* г=Х2(Х).

I? п J V Pj 1

При X в силу второй части теоремы 1А

х2(*)=>2&	(3)

5=1

где | = (gt, ..., |г) есть нормально распределенный вектор (пре-
I vt — прх	vr — прг \ \

дельный для —уг— , •••»	])с ггулевым средним и с

матрицей ог = HoJI вторых моментов,

= М^^=М(^(Х1)- /pi)(gj(x1) — Vр})

{из определения gj следует, что Mgj (хг) = VPj). Так как
gi(x)gj(x) = 0 при i ¥=/ и Р (g-J (xr) = 1/pj) = pj, Р (g2 (xj = 0) =

С= 1— Pj, то	___

~ PiPi'

Выясним теперь, что из себя представляет распределение пра-
вой части в (3) (т. е. предельное распределение х2(Ю).
Рассмотрим ортогональное преобразование в Rr с матрицей С
и рассмотрим вектор

Вектор ц, так же как и £, будет нормально распределен. Дейст-
вительно, нормальность величины | означает, что ее х, ф. равна
(см. [11])

•аТ

Ме’,Е = е 2	,

где о2 = По,,11 есть матрица вторых

= Ме“сТбТ

моментов. Но х. ф. для ц

--tCTc2CtT
2

= е

имеет тот же вид и, следовательно, ц есть нормальный вектор,
но с матрицей вторых моментов d~ = CtgzC — lldyll, так что

= МтрТ)} =	“ 2j ^Zi	PlPk) Chj ==s

h,l	h,l

= 2 Mi.J — (s Czi VPi'j (2 Ck] VPkj. (4)

Выберем теперь матрицу С так, чтобы ее первый столбец имел
координаты Си = У pi (это соответствует фиксированию первого
вектора преобразованной системы координат и возможно, так как

2	— 2рг = 1 !• Тогда, очевидно, второе слагаемое в (4) в

<£=т	/

силу ортогональности С равно 1 лишь при i =] = 1 п равно О
в противном случае. Это означает, что du = Мтц — 0,

=	= при z > 2, и, следовательно, щ = О с вероят-

ностью 1, а величины ц2, ..., цг независимы и нормально распре-
делены с параметрами (0, 1). На основании ортогональности С
получаем

2Й=2п>?=2М,

>1 w i-2	(5)

%2(Х)=>2ч|.

5=2

Распределение правой части в этом равенстве называется распре-
делением х («хи-квадрат») с г—1 степенями свободы (см. [111,
а также § 2.2). Мы будем встречать это распределение в после-
дующем изложении неоднократно.

Еще одно доказательство (5) будет получено в следующем
параграфе. Кроме того, (5) будет доказано в § 3.16 с помощью
более общих соображений.

Некоторые другие примеры использования теорем 1, 1А будут
содержаться в последующих главах.
§ 8*. Предельное распределение
для статистик второго типа

Мы ограничимся здесь случаем 96 = R. Рассматриваемый
функционал G(77n) будет случайной величиной, если он осуще-
ствляет измеримое отображение (Л(—°®, ®°), ос) в (7?, £3). Однако
в дальнейшем нам будет удобнее иметь дело с функционалами,
определенными не на ZK—°®, °®), а на Z)(0, 1) (ср. с § 6).

Для того чтобы это сделать, устроим отображение Р(—°®, °®)
в D(0, 1). Пусть функция распределения Fo, соответствующая
выборке, непрерывна и монотонна, так что определена обратная
функция F^l(t) (равная квантили Fo порядка О. Нам достаточно
будет рассматривать значения G(F) для функций F, носитель
которых содержится в носителе Fo. Каждой F мы поставим
в соответствие функцию

2~(«) = F(f0-I(f)) = F/’0-,(«).

Очевидно, что Д’-[0,1], где есть носитель F, так что
jpe/XO, 1) и есть функция распределения. Обратное преобразо-
вание ZMO, 1) в ZX—°®, °®) осуществляется равенством

FGi)=F(FM)^FF0Gi).

1 [оставим теперь в соответствие функционалу G функционал б?,
определенный па функциях распределения H^D(0, 1) (A’HS
— [0, 1]) равенством

£(#)== GCffFo).	’	(1)

Обращение этой формулы имеет вид

G(F) = G(FF^X).

Эти равенства сводят изучение функционалов G(F) к изучению
функционалов <7(Я), определенных па функциях распределения
из Z)(0, 1). В силу этих равенств

С (FJ) = G ЩХД = G Щ*).	(2)

Здесь

= лх1	(3)

есть пе что иное, как эмпирическая функция распределения вы-
борки из равномерного на [0, 1] распределения. Действительно,
согласно теореме 6.1 процесс пБ*г (0 = nF*n (FQ 1(f)) имеет то же
распределение, что и пуассоновский процесс л (F0(F01 (£))) —
= л(£), ^g[0, 1] (с параметром % > 0) при условии л(1)=щ
В силу той же теоремы 6.1 это доказывает требуемое утверж-
дение.
Сказанное означает, что изучение 6!(7?*) сводится к изучению
функционала G от эмпирического распределения, соответствую-
щего равномерному на [0, 1] распределению.

Пример 1. Пусть G(F) = есть квантиль порядка р функ-
ции распределения F. Тогда GtH) — GUIFo) есть квантиль поряд-
ка р функции распределения HF0 пли, что то же (предположим
для упрощения, что Н непрерывна), решение уравнения
//(F0(f)) = p, равное F^^H ~х(р)).

Это значит, что выборочная квантиль С* = G(F*) = G(z>*)
(см. (2), (3)) выборки X^.F0 есть не что иное, как значение
функции F^1 от выборочной квантили т]р =	1 (р) порядка

р выборки Y из равномерного распределения.

Следовательно, если нам удастся найти предельное распреде-
ление т)р, то предельное распределепие можно будет полу-
чить с помощью теорем непрерывности.

Пример 2. Рассмотрим функционал G (F) = sup |P(f)—
— со«<оо

— ^о(О1« В этом случае

G (Н) = G(HF0) = sup | Н (Fo (£)) — Fo (i) | = sup \H(u) — u\,
—oo<f<oo	[0,1]

так что

G(F*)==G(D*) = sup ]D*(u) — u|,

U€[0,l]

п в соответствии с содержанием § 6 распределение статистики
G (F*) не будет зависеть от Fo, если Fo непрерывна. В этом
смысле статистику G (F*) можно называть инвариантной относи-
тельно непрерывного распределения выборки.

П р и м е р 3. Функционал

оо

G(F)= J|F(i)-F0(t)l',dF0(Z)
— ОО

также порождает статистику G(F*), инвариантную относитель-
но Fo, так как

1 1

G (Я) = f I Н (и) - и р du, G(F*) =-. [ | Dn {и) - и |ft du.

о	о

Пример 4. Рассмотрим функционал

G(F)=2

J=1

(V-Vo)2
Vo

где k)F суть приращения функции F на интервалах Aj = [^,
образующих разбиение вещественной прямой. Очевидно, что
?2G(F*) есть не что иное, как статистика %2, рассмотренная
в примере 7.3 в качестве статистики I типа.

Имеем

G(И) = G(HF0) = 2(А^-Г°д"А/о)2,
3=1	j О

где	'	*	.

Д//Ло = H(F0(ti+lY) ~ HUW) - ^Н, -

S H есть приращения Н па интервалах 6^=1т3, rJ+i), Tj = F0(tj).
Стало быть, обозначая той же буквой 6j длину интервала 6j,
мы получим

G (F.J) = G (f,X) = G(Z>:) = i (бХ - 6;)2/6;.

5=1

Правая часть здесь есть статистика п_’х2 для выборки Y из
равномерного распределения с разбиением {бД. Это значит, в
частности, что в примере 3 предыдущего параграфа мы могли бы
ограничиться рассмотрением равномерного распределения Fo, хо-
тя сама по себе статистика %2 не является инвариантной относи-
тельно Fo.

Таким образом, мы можем не ограничивая общности считать,
что функционал G(F) задан на /Ж), 1) и F^t) = t, t е [О, 1L
Переход к «исходным» функционалам осуществляется по фор-
мулам (1), (2) и будет проиллюстрирован па дальнейших при-
мерах.

Для того чтобы можно было найти предельное распределение
для функционалов второго типа G(A*), необходимо, как и в
предыдущем разделе, наложить на функционалы некоторые усло-
вия гладкости.

Положим для краткости И ж | = sup |^(Z) |.
t <1

Определение 1. Функционал G(F) называется непрерыв-
но дифференцируемым порядка к в точке Fn, если существует
функционал gCF0, v), который для любой функции v^C(0, 1)
и любой последовательности	1) такой, что Пщ —пН-^О

при h *+ 0, удовлетворяет соотношениям

h	fZY

g(F0,vh)-^ g(F0,v),

Последнее соотношение означает, очевидно, непрерывность в
равномерной метрике в точках из <7(0, 1) функционала g(F0, и),
который можно называть производной порядка к от G по направ-
лению V.

Замечание 1. Папомним, что здесь везде под Fo можно»
донимать равномерное на [0, И распределение.
Покажем, что в примере 1 функционал G(F) = Р~*(р) от рас-
пределения F на [0, 1] непрерывно дифференцируем в «точке»
F0(t) = t, t е [0, 1].

Действительно, по определению

G(Fb 4- hvh) = max (i: F0(t) 4- hvh(t) < p).

Так как этот функционал является непрерывным в равномерной
метрике в точке Fo, то мы можем положить G(F0 4- hvh) = р 4- 6,
где 6 = 6(A) -> 0 при h -* 0. Далее, из соотношения II гд — нН -> 0,
г^С(0, 1) следует |рл(р 4- б) — гл(р)| в r(h) -* 0 при h-*(). Так
как F0(p 4- 6) =р + 6, то для t — G(F0 + pvh) = р 4- 6 получаем

4- hvh(t) = р 4- 6 4- hVhkp 4- 6) = р 4- 6 4- Мнл(р) 4- тг(/г)) «5 р,

где I т1 < 1. Аналогичное обратное неравенство можно написать,
пользуясь тем, что F0(t 4-0) + hvh(t 4-0) р. Отсюда следует, что
б = —А(нл(р) 4- Т1г(Л))} ItiI < 1, так что

G(Po + M G(Fo) б
h	~~ h

Таким образом, производная g(F0, v) в этом примере равна

g(F0, v) = — v(p). <]	(5)

В примере 2 функционал G(F)~ sup |F(i)— Fo (/) |, оче-
*е[од)

видно, также является непрерывно дифференцируемым по любо-
му направлению, так как G(F0) = 0,

G (Fn + hv\
g(F0,v) =----\---- = sup |

i

В примере 3 функционал G(F) ~ J | F (t) — Fo (/) |ft d7? (/) для
о

любой функции ограниченной вариации является непрерыв-
но дифференцируемым (Ze ro порядка) по любому направлению*
так как

g (?., v) =	= f ]»(«) |‘ ап (о.

л
о

Аналогичное утверждение справедливо относительно приме-
ра 4 о функционале

6(F) = 2

(V-Vo)2

который будет непрерывно дифференцируемым второго порядка*

4 а. А. Боровков
так как для пего

/г х G(Fo+hv)

3=1	3 °

Обобщением функционалов в примерах 2—4 являются функ-
ционалы вида G(F) = Gt(F — Fo), где функционал Gt является
однородным в том смысле, что С1(/гн) — hkG(v). Очевидно, все
такие функционалы будут дифференцируемыми.

Сформулируем теперь основную теорему о функционалах вто-
рого типа. Пусть по-прежнему F0(t) —t,	[0, 11.

Теорема 1. ЕслиХ^Рй и функционал G(F) дифферен-
цируем (порядка к) в смысле определения 1, то

где w° есть броуновский мост.

Доказательство. Известно (см., например, (51), что ком-
пакты в метрическом пространстве непрерывных функций С(0, 1)
с равномерной метрикой описываются следующим образом. Каж-
дом функции <р(Д) > 0, фСА) -* 0 при Д -> 0, и числу 7V > 0 соот-
ветствует компакт

K = K(q, N) = {y^C(0, 1): (од(у)^<р(Д), !у(0)|
где со а (у) есть модуль непрерывности у:

«д(у)= sup |у(0 — у(и}\.

|t—и|^Д

Обозначим через Kh множество

Kh = {у ge Z)(0, 1): <йд(у) < <р(Д) для всех Д > Д; Iу(0) I С N).

Множества Kh можно было бы назвать «предкомпактами» (этот
термин используется в функциональном анализе в ином смысле),
порожденными компактом К. Ясно, что Kht cz Khz при /ц <

ОО

0 К1п — К и что ZC, <= (Ю'₽(Л), где (KY есть 8-окрестпость мпо-
71^1

жества К.

Покажем теперь, что для заданного б>0 существуют ком-
пакт К (и, стало быть, соответствующее ему семейство предком-
пактов К,д и последовательность hn 0 при п со такие, что

lim sup Р (io11 ф Ki,n) <б.	(б)

?1->оо

Действительно, по теореме 6.3, для любого функционала /,
непрерывного в равномерной метрике, выполняется /(шя)=>
=>/(ip°), где w1l(t) = Vn(F*(t) — t),	Так как <од(у)

является таким функционалом, то а»д(шп)=>-<од (w°). По
юд(1^°)—-*0 при Д0, так как траектории w° почти наверное
11. л.
непрерывны. Следовательно, для заданных е и б при достаточно
малом А

Р(к>д(гр°) > е) б.

Считая, не ограничивая общности, число е точкой непрерывности
распределения coa(ip°), мы получим

lim sup Р (<0д (щп) > е) б.

Пусть теперь еа4 0— некоторая последовательность, а числа
Аа I 0 таковы, что

lim sup Р Гсод/( (щп) > Е/Д 6/2ft+1.
71—> оо	\	7

Образуем функцию <р(Д) = Efe при А [Afi+], АД. Ясно, что
<р(А) -> 0 при А -> 0, и мы можем рассмотреть предкомпакты Khy
построенные по функции ср. Тогда для любого к < оо

&+1

lim sup Р (wn ф lim sup У, Р(сод.(wn) > Ej) <2
тг->оо	?i-> со j=l

Л+1

У| Иш SUP Р (“Л; (ш”) > е./)	6/2

5=1 П—^ое

(при к == °° это неравенство может быть неверным). Полученное
соотношение означает, что при каждом б существует последова-
тельность hn -+ 0 при п -> °° такая, что выполнено (6). Рассмот-
рим теперь величину

[G (ЛД - ОД)] nw = g(Fe, №") + Н„ (и>п\

где Нп(.х} = 1G(FO + х/Уп) — С(7г0)]?гЛ/2 — g(F0, х). Так как в силу
теоремы 6.3 и определения 1 g(F0, wn) => g(F0, и>°), то нам доста-
точно убедиться, что

Я„(и>п)->0.	(7)

р

Заметим, что для любого компакта K<^C(Q, 1) и любой после-
довательности hn -> 0 мри п -> оо

sup | Нп (х) | -> 0.	(8)

ие£>(о.1)
ке(К)Л«

Допустив противное, мы придем к существованию последо-
вательности' Xn^Di.0,1) такой, что lkrn — xll-> 0, х ^(7(0,1),
lim sup |7/n(a?n)l > 0, что противоречит дифференцируемости G.

71-^00

На основании (6), (8) получаем

Р ( I Нп (»") | > е) < Р (| Нп (i₽”)|> е, wn е + Р (<»" К„п),
lim sup Р ( |	(m”) 17> е)^ 6.
Так как 6 произвольно, то соотношение (7), а вместе с пни
и утверждение теоремы доказаны. <

Вернемся к рассмотрению примеров.

Пусть 1]р — выборочная квантиль порядка р для выборки Y
из равномерного па [0, 1] распределения. Тогда из (5) и теоре-
мы 1 получаем, что

(п* — р) /п => — w° (р) = w° (р).
d

Мы установили, далее, что в общем случае, когда Fo — произволь-
ная непрерывная функция распределения, справедливо равенство

Если мы воспользуемся теперь третьей теоремой непрерывности,
то получим

Следствие 1. Если Xnf==.F0, Fo непрерывно дифференци-
руема в точке Ср, / (Ср) — Fo (СР) > 0, то

Для доказательства падо заметить лишь, что условия след-
ствия 1 означают непрерывную дифференцируемость Fo 1 в точ-
ке Р,

(/•'«Чр))' = у, *

'о (''о (Р>) ZV₽)

Так как М r/У (р) — 0, Dh?° (р) = М (w (р) — pw (I))3 = М (w (р) (1 —
— Р) + Р (^ (1) — (р)))2 = р (1 — р)2 + Р2 (1—Р) =Р (1—Р), то ут-
верждение следствия 1 можно записать также в виде

(С* — Ср) Vn а2, о2 = р (1 — р)//2 (Ср). <i

В примере 2 функционал G (F) = sup | F (t) — Fo (t) J диф-
ферепцируем и, стало быть, по теореме 1

G (F*) п => sup | w° (£) |.

Распределение Ц = sup | w° (t) | найдено в явном виде ([58]):

Р (п < z) = К (z) = 1 + 2 2 (- I)'1 е"“2г2.

Zf=l

Функция K(z) называется функцией Колмогорова.

Мы видели, что в общем случае, когда FQ — произвольная не-
прерывная функция распределения, распределение статистики

D (X) = sup | F* (0 — Fo (Q |
остается тем же, что и для случая F0(i) = f, t^lO, И. Мы полу-
чили таким образом

Следствие 2 (теорема Колмогорова). Если Xg=FQ, Fo не-
прерывна, то

VnD(X)^Kt

Это означает, что максимальное уклонение Z)(X) функции
Fn(t) от Fo (£) имеет порядок i/Hп и может быть приближенно
представлено в виде Z)(X) « rj/Vn.

В примере 3 мы видели, что другая статистика (ее обозначают
часто через wz)

оо

«! =

—оо

также инвариантна относительно Fo. Из теоремы 1 вытекает
Следствие 3. Если X^FQ, Fo непрерывна, то

1

П(£Г => j* [w° (t)}2 dt.
о

1

Распределение J [tP° (i)]2 dt также найдено в явном виде и,
о

наряду с распределением K(z), табулировано. Применительно
к примеру 4 теорема 1 дае^ нам

Следствие 4. Если X(== 7’0, Fo непрерывна, то

x2=>2(6X)W

где F, 7 = 1, 2, ..г, образуют разбиение отрезка [0,11 и опреде-
лены в примере 4.

Еслп положить £=(£1, ...,	=	то, пользуясь

тем, что 6jU'° =	— гр(1)67-, где w—стандартный винеровский

процесс, мы получим

^€=Ф01а2.

j=i

Здесь матрица о2 = HoJI та же, что и в примере 7.3, так как

= bjW — fS ~ 2

v ft f ft=l

«ftj = 6kj — 6j, M (б/(н>) (6zw) = 6/.гбгг
(6л/ — символ Кронекера),

М (6^°) (6;U’°)
г г j

=--	(б'А “ «А) = «у - /«А-

V

Повторяя рассуждения примера 7.3, мы получим, что 2 имеет

5=1
распределение %2 с г — 1 степенями свободы.

В заключение этого параграфа отметим, что далеко не все
статистики, представляющие интерес, могут быть отнесены к ста-
тистикам I пли 1J типа. Достаточно рассмотреть, например, ста-
71—1

тистику 5 (X) = 2 xixi+i или статистики 5, связанные с функцпо-
7—1

налами (/<’), где функционалы Gn «существенно» зависят от п
(не только через выборку), такие, как, скажем, максимальный
член вариационного ряда £ (*Х) = х(я) =	?1и др.

§ 9*. Замечания о пепараметрпческнх статистиках

Есть одно свойство, в отношении которого статистика Ёр
в примере 8.1 существенно отличается от статистик в примерах
8.2—8.4. Это свойство состоит в том, что предельное распределе-
ние статистик в примерах 8.2—8.4 (см. следствия 8.2—8.4) никак
с функцией распределения Fo не связано. Этого нельзя сказать
о статистике (ср. со следствием 8.1).

Определение 1. Статистика S(X) называется асимптоти-
чески непараметрической, если »S(X)^>Q, когда п -* оо, и Q не за-
висит от распределения X, т. е. не зависит от Z;o, еслиХ(==/?0.

Отметим, что сама функция S при этом может зависеть or Fo.
Сам термин «пепарамстрпческая» является не совсем удачным;
однако он весьма распространен (он оправдан в случае, когда 1'0
принадлежит некоторому параметрическому семейству — тогда
распределение Q не зависит от параметра и в этом смысле явля-
ется непараметрическим). Иногда используется другой термин —
«свободный от распределения».

Мы видели в §§ 6—8, что статистики V?iZ7(X), InDIX),
псо2(Х), %2(Х) являются асимптотически пепараметрическнми.

Заметим теперь, что теорема 6.1 делает возможным введение
и более узкого понятия. В теореме 6.1 установлено, что пРп (£)
распределено так же, как ц(Х0(£)), где ц(п)—условный пуассо-
новский процесс с произвольным параметром % > 0 при условии
ц(1)=п (см. § 6), т. е. процесс, от Fo не зависящий. Таким об-
разом, если статистика S построена как функционал б(/?*)(или
G(Fn — Fo)), который инвариантен относительно замены «вре-
мени» t у аргумента, то распределение 5 от Fo зависеть не будет.
Например,

D = sup | Fl (f) — Fo (t) | = A sup | p (Fo (t)) — nFa (£) |
t	d n t

I

— — sup | 1] (u) — un\. (1)
n usp.ll

Сказанное делает уместным

Определение 2. Статистика 5 (X) называется непарамет-
рической, если ее распределение не зависит от F0(X^F0).

Соотношения (1) означают, что статистика D является пе-
параметрической.

Мы отмечали также (см. следствие 8.3), что статистика о2, на-
ряду с D., не зависит от Fo и, стало быть, тоже является пепара-
метрической.

Статистика у2, являясь асимптотически пепараметрической,
ire будет обладать свойством пепараметричпости. В этом легко
убедиться непосредственно па примере, положив г = 2, п — 1.

Другие примеры пепараметрических статистик мы получим,
если рассмотрим значения Fn (£.р), где — квантиль порядка р,
так что п Fn (£р) = р (р) (см. § б). Число г, элементов выборки X,
d

меньших, чем х,,— так называемая ранговая статистика,— также
будет пепараметрической статистикой.

Понятия пепараметрической и асимптотически непараметри-
ческой статистик весьма полезны в теории проверки статистиче-
ских гипотез (см. главу 3), так как распределение этих статистик,
знать которое необходимо при построении критериев, достаточно
вычислить лишь одни раз (например, для равномерного распре-
деления Fo) и оно будет годиться для любых других распределе-
ний выборки.

§ 10*. Сглаженные эмпирические распределения.
Эмпирические плотности

В § 2 мы каждой выборке X поставили в соответствие рас-
пределение Рп, которое назвали эмпирическим и которое пред-
ставляет собой сумму п атомарных распределений, сосредоточен-
ных в точках Xi, ..., х„. Это распределение обладает рядом заме-
чательных свойств, описанных в предыдущих разделах. Однако
использованное памп определение Рп далеко не единственно
возможное, а в ряде случаев и не самое естественное. Существуют
и другие подходы к определению Рп> при которых изученные вы-
ше полезные свойства эмпирических распределений не только
полностью сохраняются, по и дополняются рядом новых.
Мы ограничимся здесь обсуждением вопроса о природе рас-
пределений, которые мы помещаем в точки х,. В использованном
нами определении Рп это были вырожденные распределения
IX.(Z?)} так что

п

р*(В)=^-2ь{(В).	(1>

»-1

В этом случае эмпирическое распределение -оказывается сингу-
лярным относительно меры Лебега и, стало быть, не имеет плот-
ности. Это может оказаться неудобным в тех случаях, когда нам
заранее известно, что исходное распределение Р имеет плотность.
При этом условии было бы желательно иметь такое гладкое эм-
пирическое распределение Рп, для которого вместе со сходи-
мостью РП->Р во всех установленных выше смыслах имела бы
место также сходимость плотностей /н-> /, где и / есть плот-
ности, соответствующие Р* и Р.

Этого нетрудно добиться следующим образом. Пусть Q — ка-
кое-нибудь распределение, имеющее плотность. Положим

Р*„*(В)=|2ч(-^).	(2)

г=1	' п 7

уу_

где —— есть множество точек	для которых х 4- yh е

В; hn -> 0 при п -> «о.

Очевидно, что Рп (В) есть не что иное, как «средняя сумма»
распределений Q, сжатых до размеров hn и «посаженных» в точ-
ки Xi. Определение (2) обобщает (1). Формула (1) получается из
(2), если положить Q = I0, так как IX.(Z?) == 10 (7? — х^)=
/ В — х.. \

= IJ—-------I при любой последовательности {ha}.

\ "п /

Отметим следующие свойства распределения Р„ , которое
мы будем называть сглаженным эмпирическим распределением.

1.	Распределение Рп есть свертка распределении Рп и

р„(В)=мр’*(й)--= Jq 'ЭДЭД)

есть свертка распределений Р и Q(Z?/fcn). Другими словами, РП(В)
есть распределение случайной величины £ + где £€=РГ
qgQ. Из теорем непрерывности следует, что при hn -+ О

Р„ => Р.	(3)

Напомним, что для распределения ”/г мы имели точное
равенство

МР* = Р.

2.	Если распределение Р абсолютно непрерывно относительно
меры Лебега, то распределение Рп будет удовлетворять теоремам
типа теоремы Гливенко — Кантелли. Действительно, в этом слу-
чае сходимость (3) будет означать равномерную сходимость рас-
пределений по всем интервалам. Ограничиваясь для простоты
одномерным случаем, будем иметь (F**(t), Fn(x) и Q(x) обо-
значают функции распределения, соответствующие Р**, Рп и Q)

Гп (Ч - F(4 = J<? dFt (S') - F (х) =

= - JF'K (у)	- F (x) = /•’„ (x) -F&-

Здесь, как уже отмечалось, разность Fn(ar) — Г(х) -* 0 равномерно
по х, а интеграл, присутствующий в правой части, пе превосхо-
дит sup | F* (у) — F (у) | —0.

?/	п.н. *

3.	Преимущество Рп перед Рп, ради которого это распределе-
ние и вводилось, состоит в том, что это распределение имеет
плотность

(q(x) есть плотность распределения Q), которая при каждом х
при п -> оо, hn 0 сближается с плотностью /(т) распределе-
ния Р.

Прежде чем доказывать соответствующее утверждение, заме-
тим, что для получения хороших результатов о сближении /г< (г)
с / (х) следует пользоваться гладкими ограниченными плотностя-
ми q. При выборе, скажем, неограниченных q оценка
гладкой плотности ((х) будет нарочито портиться. Так как вы-
бор q находится в наших руках,, то мы можем считать, что ио
крайней мере выполнено условие

cl2 — j g2 (j) dt <Z оо,	.	(5)

Теорема 1. Если q удовлетворяет условию (5), fix') непре-
рывна и ограничена, hn-+ 0 при п -+ оо так, что nhn -* <», то

jt (х) = /» (Ч + Z; (!')/ У nll„,

(в)
где fn(x) есть неслучайная функция

f„ U) = МА’ (х) = мл;1? f) = A ( q IЛШЛ / (t) dt =
\ nn / ,ln J \ "n J

= J g (z) / (ж — zhn) dz-^f (.r)	(7)

при hn -* 0. Случайные величины £„(.?) асимптотически нор-'
малъны, Ln (х) (=> ф0,о2(х), о2 U) = / (х) d1.

Доказательство. Сумма в (4) есть сумма независимых
одинаково распределенных случайных величин в схеме серий,
ври этом /п(х) = M/nU)представлено в (7). Положим

^А,п -- г—— | <7 / ~ 7	| • - hnjn (л) I,

у tifin L \ “п )	]

Тогда

/*	— fn U) = -7= 2 U«»	== 0»

V nhn

= f Q2 (2) / (X — zhn) dz-+- / (х) J q1 (z) dz = / (x) d~. (8)

Таким образом, M|2,^ f(x) d2ln, если /(z) > 0. Условие Линде-
берга в нашем случае имеет форму

!>«)-> 0	(9)

при п оо и любом е>0. Так как 7г?г/2 (^') —> 0,	2 (д2 ((х—

—хД/Л?!)	7/n/n(^)), то для выполнения (9) достаточно, чтобы

( х — х, \	/ х — X; \	г--- \

7Г q21 ~1Г " q (~~7t— > е Уnhn )-* °*
п \ п /	\ п !	/

Это соотношение имеет место, так как левая часть его равна
(ср. с (8))

[	^2(2)/(л’ — z!in)dz^c J g2 (z) cZz->0.

г>(?)>еД/ h/1(1	Q(z)>e"[/?i/in

n

Таким образом, к случайной величине Ln (х) = У ^ft>n примени-
k=l

ма центральная предельная теорема. Это доказывает теоре-
му 1. <
§ It)]

СГЛАЖЕННЫЕ ЭМПИРИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ

59

В рассматриваемом задаче естественно возникает вопрос об
оптимальном выборе hn и функции g(Z). Однако ответ па него
зависит от свойств гладкости /(ж). В самом деле, пусть, например,
/Ст) положительна лишь на конечном интервале и дважды непре-
рывно дифференцируема с фиксированным значением <р =
= (/’ (>г))2 Предположим также, что j zq (z) dz = 0 (это всег-
да так для симметричных q(z)) и что D2 = §z~q (z) dz < оо. Тогда
/n U) = J* q (z) f (x — zhn) dz ==

= J q (z) / ix) — zh nf (x) 4------------~ f (x) 4- о

Мы

— f (•?) +...J z2q (z) dz + о (h “).

видим, что

fn (x) — / (x) = -------- + —= 4- О fe),

Z у nhn

мр:о)-/о)]2^



(10)

Минимизация этого выражения no hn и q даст, в силу асимп-
тотической нормальности £>,(ж), наименьший возможный «раз-
брос» /*(х) около значения fix). Однако минимизирующие зна-
чения hn и q при этом будут зависеть от х через неизвестные
значения fix) и fix). Чтобы избавиться от этого эффекта и по-
лучить оптимальность «в среднем», естественно рассмотреть ин-

теграл

(И)

главная часть которого будет равна
чится, если в (10) убрать о (/?„)),

<Р + ~п~ (это полу-
’п

2

Минимум этого выражения достигается при h

d

При таком выборе hn интеграл (11) будет равен

-qffDdif5 +о{гГ^),

(12)

fn(x) — fix) = (^4") (^^^--r/U) /<PSn)4-p(n 2/л),

€4 Фол

Таким образом, скорость сходимости здесь составляет лишь
n~z/j в отличие от скорости которая имеет место для сходи-
мости функций распределения. Это естественный факт, так как
в оценке значения fix) принимает участие, грубо говоря, не вся
выборка, а лишь те наблюдения, которые сосредоточились в неко-
торой убывающей окрестности точки х.

Выражение (12) позволяет оптимальным образом выбрать
и функцию g(z), т. е. функцию, длячкоторой минимизируется Dd2.
Считая, не ограничивая общности, что D — 1, мы получим задачу
минимизации d2 = j q2 (z) dz при условиях j q (z) dz = j z~ q (z) dz —
= 1, J zq (z) dz = 0.

Отметим, что если / имеет непрерывные производные более
высокого порядка 2т > 2, то можно получать и более высокие
скорости сходимости к пулю разности fn (х) — f (х). При этом,
однако, надо использовать обобщенные распределения Q, «плот-
ность» которых q может принимать значения обоих знаков и по-
зволяет удовлетворять условиям J zimq (z)dz = 1, J z3q (z) dz ~ 0
при всех l<J<2m- 1. В этом случае путем прежних рассуж-
дений мы сможем получить скорость сходимости’ порядка
2?П	1

----- ----1'24-----

47П+1 .	'	2(47П+1)	е-	g,

п -- п	, которая будет тем лучше, чем больше т.

Этот факт объясняется тем, что для более гладких fix) к оценке
значения fix) привлекаются элементы выборки, лежащие во все
более широких окрестностях точки х.

С другой стороны, выбирая гладкие функции qiz), мы можем
обеспечить возможность оценивать не только плотности fix), но
и их производные. В этом также можно убедиться с помощью
приведенных выше рассуждений.

Функции fn (х) вида (4) называют часто оценками Розеибла-
та — Парзепа плотности fix), или ядерными оценками fix). Функ-
ции qiz) называют при этом ядрами. На практике часто исполь-
зуют «прямоугольные» ядра, т. е. полагают

(1 при zg[—1/2,1/21,
?(z) = (0 при z^[—1/2,1/2|.

Иногда поступают еще проще — разбивают вещественную прямую
на маленькие интервалы Д, (длиной hn) и полагают fnix) = —.—
п,1п
при	где Vj—число элементов выборки, копавших в Д>

Такая функция fnix) называется гистограммой выборки. Нетруд-
но проверить, что если fix) непрерывна, то гистограмма f* ix)
наряду с функцией, определенной в (4), также обладает свойст-
вом сходимости fn (л)-> / (х), если только	nhn
ГЛАВА 2

ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ

§ 2 содержит описание наиболее распространенных параметрических
семейств распределений и их основных свойств.

В §§ 3—6 излагаются основные методы получения точечных оценок.

В |§ 7, 8 обсуждаются подходы к сравнению оценок.

§§ 9—20 посвящены методам построения оптимальных (в том или
ином смысле) оценок. Выделены следующие 4 направления:

1)	(§§ 9—11, 20) Байесовский и минимаксный подходы к построению
оптимальных оценок. §§ 9, 10 носят вспомогательный характер и содержат
определения и изложение основных свойств условных математических ожи-
даний и условных распределений.

2)	(§§ 12—15) Построение оптимальных (эффективных} оценок с по-
мощью принципов достаточности и несмещенности.

3)	(§§ 16, 17, 22) Построение оптимальных (эффективных) оценок на
основе неравенства Рао — Крамера.

4)	(§§ 18, 19) Использование соображений инвариантности.

В §§ 21—29 изучаются асимптотические свойства отношения правдо-
подобия. На этой основе устанавливается асимптотическая оптимальность
оценок максимального правдоподобия. Результаты §§ 21—29 составляют
также основу теории асимптотически оптимальных критериев, развитой в
главе 3.

§§ 31, 32 посвящены интервальному оцениванию.

§ 1. Предварительные замечания

Как мы уже отмечали в предыдущих разделах, исходным
объектом статистических исследований является выборка

— (хъ ..., хи), Xj

из распределения Р, которое полностью или частично неизвест-
но. В математической статистике традиционно выделяют в каче,-
стве основных два следующих класса задач:

1.	Оценка неизвестных параметров.

2.	Проверка статистических гипотез.

Задачи первого класса возникают, когда по выборке X = Х„
нужно оцепить какую-нибудь неизвестную числовую характери-
стику 6 распределения Р (оно ведь неизвестно). То есть, для за-
данного функционала

е = е(Р)

от распределения Р мы должны указать функцию от выборки
(или, что то же, статистику)

е* = еЖ>),

предназначенную для использования вместо параметра 0 в каче-
стве ет'о приближения. Мы видели в предыдущей главе, что
предпосылки для этого существуют. Статистику 6* называют
оценкой параметра 0. Разумеется, оценок для параметра 0 может
быть очень много. Теорема 1.3.1 показывает, что, например, для
оценки функционала 0 — 0(Р) вида

6 = f g (^) dF (х)

естественно использовать статистику
п
1=1

По можно, конечно, рассматривать и другие оценки, скажем,

n-v2

-V 2

1	2 ;=V1+1

где хо), /= 1, и., п,— элементы вариационного ряда и т. д. В ка-
честве 0* можно брать п значения, не зависящие от выборки.
Можно положить, например, 0*	0, хотя это не всегда разумно

и совсем плохо, если множество возможных значении 0 не со-
держит 0.

В связи с последним замечанием отметим, что часто в поста-?
повке задачи об оценивании содержится указание па то, каким
является множество G возможных значений параметра 0. Напри-
мер, если оценивается доля 0 какого-нибудь минерала в руде, то
ясно, что 0 [0, Н.

Во многих случаях бывает заранее известно также, что рас-
пределение Р выборки X пе может быть произвольным, а при-
надлежит какому-то определенному семейству распределений

К задачам оценки параметров относится пример 1 из Вве-
дения.

Задачи второго класса имеют дело с проверкой того или ино-
го предположения (гипотезы) о неизвестном распределении Р.
Например, мы можем проверять гипотезу о том, что Р имеет тот
или иной заданный вид. К этому типу задач относится пример 2
из Введения.

Позже мы увидим, что .качественной разницы между задача-
ми первого класса (теории оценок) и второго класса (проверка
статистических гипотез) не существует.

В этой главе мы приведем постановки задач и подходы, ко-
торые тесно связаны с результатами предыдущем главы и кото-
рые можно назвать «чисто статистическими», в отличие от более
общих теоретико-игровых подходов, которые будут изложены
нами в отдельной книге (см. предисловие).

В известной мере чисто статистические подходы выражают
существо методов математической статистики. Исторически они
были осознапы значительно раньше, чем более общие методы.
Что же касается их применения, то, по-видимому, человек поль-
зовался ими, явно или неявно, па протяжении всего пути процес-
са познания.

Все это оправдывает отдельное изложение чисто статистиче-
ских подходов, несмотря па то, что некоторые моменты этого из-
ложения в рамках более общих концепций можно рассматривать
как частные случаи. Одновременно мы обнаружим некоторую
недостаточность чисто статистического подхода для более точных
постановок задач. Это поможет нам попять целесообразность
других точек зрения.

§ 2.	Некоторые параметрические семейства распределений
и их свойства

Рассмотрим некоторые семейства распределений, зависящих
от параметров (или параметрические семейства распределений),
которые часто возникают в приложениях и будут появляться в
дальнейшем изложении как по существу его, так и в качестве
иллюстраций.

1.	Нормальное распределение на прямой. Символом Ф(/ о2 мы
будем обозначать нормальное распределение с параметрами
(а, о2), т. е. распределение с плотностью

_(х—а)2

/ \	1	2(1$

. так что

Фа,02(«) = .(
В

Если £ €ёФ0, 1 и к > 0 — целое число, то, очевидно,

M£2Zi+1 = 0.

Для моментов четного порядка, пользуясь заменой х~^2и, на-
ходим

= — Г Л-“гУМж = J и”е-и	Г (к + 1/2),

р J	у 2л J у2и ул

где

ОО

Г (1) — J xK~Je~xdx
о
есть Г-фупкция, Г(л) — (X — 1)Г(1 — 1), Г(1/2) = Ул, так что
М£2'£ = (27с — 1) I! = (27с — 1)(27с - 3) .... 1.

Такой же результат мы получили бы, дифференцируя 2к раз ха-
рактеристическую функцию е”*	в точке £=0.

2.	Многомерное нормальное распределение, В многомерном
случае — R”1 символ Фа о2 будет означать нормальное рас-
пределение в Rm с вектором математических ожиданий а =
— (аь ..а,п) и матрицей центральных вторых моментов <т2 —
= Псг0!1, f, / = 1, ..., т. Если А есть матрица, обратная к о2 (в тех
случаях, когда опа существует), то плотность <ра о2 (#) в Rm рас-
пределения Фа будет иметь вид (см. [111, стр. 148)

/ \ l/l АI /	1.	\л/	\Т\

Ч’ад»(ж) = ^^75ехР(-у(ж-а)Л(л:-а) )• -

где хТ есть транспонированный вектор. Напомним также (мы
этим фактом уже пользовались в § 1.7), что х. ф. величины £(==
<== Фа,о2 равна

= exp (itaT — toHT

где t = (tit ..., tm) есть вектор в Rm.

3.	Гамма-распределение. Символ Га л будет означать таг. на-
зываемое «гамма-распределеппе» (или Г-распределение) с пара-
метрами (а, X). Плотность уа,Ах) этого распределения зависит
от двух параметров а>0и^>0и равпа (см. [11], § 7 гл. 6)

ТаЛ (х) =

„к >

а 1—1 —ах

Г (А)	»

О,

х^О,
x<Z О,

(2)

где Г(Х) есть Г-фупкция, определенная в (1). Характеристиче-
ская функция Г-распределепия имеет вид ([11])

ОО

J е ,хТад (я) dx = (1 —	\	(3)

о	4	7

Если В£=ГаЛ, то
оо	- оо

= X f	f	<4>

о	о

Такой же результат при целых f>0 можно было бы получить,
дифференцируя характеристическую, функцию. Полагая 7=1, 2,
находим

Мс=Ш, D& = 1/а2.	(5)

Из формул (3), (4) видно, что параметр а играет роль мас-
штаба, так что

т]/а(=ГаЛ, если т]^Г1Л.

В силу этого обстоятельства многие свойства Г-распределе-
ний достаточно изучать при каком-нибудь одном значении се, на-
пример при а = 1 или а = 1/2. Второе значение часто будет для
пас более удобным, так как .распределение Г1/2> >. играет важную
самостоятельную роль в математической статистике и называ-
ется распределением «хи-квадрат» (или ^-распределением).

4.	Распределение «хи-квадрат» Н,( с к степенями свободы.
Так называется распределение Н1( = Г1/2, л/2 при целых к>0. Мы
сохраним это название за распределением Hft и при произволь-
ных к > 0. Характеристическая функция распределения Hft рав-
на в силу (3)

Отметим следующие три свойства распределения II..

1)	Если ц, независимы,гр(== IIA , i= 1, .. ,,s, то

к = j ki.

г=1	г—1

Это свойство сразу вытекает из вида характеристической функ-
ции распределения Нл.

2)	Если £ 6Е Фа>а2» г®е п-з естъ к-мерное нормальное рас-
пределение с невырожденной матрицей вторых моментов о2, то

Q (s) = (6 - а) а'г (5 -	И,,.

Действительно, характеристическая функция случайной ве-
личины ()(£) равна

Произведя замену переменных — 2it = у}, мы получим выра-
жение

(1 - 2И)~"/2 И-”;:1 f e~^dVl ... dy„ = (1 -
(zn)  - a

что и требовалось доказать. Независимость интеграла в левой
части от изменения области интегрирования вытекает из анали-
тичности подынтегральной функции и ее быстрого убывания мри
(ср. с [11], стр. 131).

5 А. А. Норовков
Из сказанного вытекает, что распределение Hfe имеет случай-
ная величина

где независимы, £з€=Ф0, i- Термин «число степеней свободы»
связан именно с этим представлением.

3)' Так как = 1, М^ = 3,	= 2 для	то

в силу центральной предельной теоремы при к со

__ К

<6>

Отсюда и из теорем непрерывности § 1.5 следует, что наряду
с (6)

1/2)? — /2^ —1^Ф0Д.

Эта сходимость служит основой для приближенного (при боль-
ших к м х) равенства Нй((0, й?)) ~ Ф(У2л? — V2A1 — 1), ФСг) —
=Фо, i((—°°, я)), которое, как правило, оказывается более точ-
ным, чем приближение H/i (-(0, ж)) л; ф[	вытекающее

из (6).

Отметим еще один частный случай Г-распределеппя, часто
встречающийся в приложениях.	*

5.	Экспоненциальное распределение. Это есть распределение
Га, 1 с плотностью

ае~ах, х > 0.

Из формул (5) получаем для £€=Гад

М^ = 1/а, D£ = 1/а2.

Рассмотрим теперь некоторые распределения, связанные с
нормальным и гамма-распределениями и играющие важную роль
в математической статистике. В отличие от предыдущих, эти
распределения нам прежде не встречались.

6.	Распределение Фишера F&r*2 с числом степеней свободы
ki, к2. Так называется распределение случайной величины

t = ф/’|2,

где щ независимы,	j — 1,2. Из свойств Г-распредело-

ний следует, что распределение £ останется тем же при T)j6=
^Га,й7-/2 и любом а>0и что £ при целых kj допускает пред-
ставление

где случайные величины независимы, Зу€ЁФ0,1, €л^Фо,1.
Найдем плотность распределения	Имеем

р р	р р	—1 А. 2—1

Р«<*) = J | Г1,Ч(Й!1)Г1,Ч(*)= J J “

►	u/v<x	v—O и=0

х*1 1 р ?чь?.2-1 —c(1+x)j	т’1 1	Г(^|+^2)

ЖУЖГ jv е " (1 r (S)г

(7)

Требуемая плотность получится, очевидно, если подставить сюда
= kj^. Нетрудно найти моменты случайной величины £ (если
они существуют);

MU = Г(\ + М С	_ г (МЛ !(>.,-о

ь ЧЧНМ j (1 + 1Г)мц * Т(Ч)Г(Ч) •

В частности, при I = 1, 2 находим

(8)

М£ =

М£2 =

мм-п
(4-9(S-2) '

Распределение Фишера называют иногда также распределе-
нием Снедекора. Это связано с тем, что Фишер предложил ис-
пользовать и табулировал, собственно, не распределение £, а рас-
1

пределение случайной величины yln£. Распределение же £ бы-
ло несколько позже подробно табулировано Спедекором.

7.	Распределение Стьюдента *) Tft с к степенями свободы. По
определению это есть распределение случайной величины

Ут (« + •• • +$)’

где независимы, £;€=Фод> 7 = 0, ...,/с. Очевидно, что — t
имеет то же самое распре деление и, стало быть, распределение
Стьюдента симметрично относительно начала координат. Далее,

t2 1	। t2 1]	’

t>H “Г • • • *1 Ъ,£	, *2

где гр независимы,	ЛзбЁЁЦч- Это значит, что У/к имеет

) Стьюдент — псевдоним В. С. Госсста.
распределение Фишера. Рассмотрим случайную величину т ~
= Vl, £ ='HiAhi *Ь€=Нй-Так как Р(т < х) = Р(£ < я2), то плот-
ность /(т)(з?) случайной величины т будет равна

1ы(х)=2х]т (х>) = 2х (^.(1 +^)ll+4 - =

~ re->H(4.'(i+v)4+v	=^/2’ х > °-

Отсюда при Xi — 1/2^ Х2 — к/2 очевидным образом можно полу-
чить плотность |Z|/VA. Так как распределение t симметрично, то
для плотности случайной величины t окончательно полу-
чаем

4 /,Л_ Г«/г + 1)/2) / . х2\-»+Й«

V^r(W2) I1’—/	•	(9)

Ясно, что все моменты t нечетного порядка (если они существу-
ют) равны нулю. Для моментов четного порядка 21 имеем, в си-
лу (8),

где следует положить Xi = 1/2, . Х2 = А72, 21 < к. При Z = 1 полу-
чаем

к — Z.

По своей форме функция ’напоминает плотность нор-
мального закона. Более того, с ростом к

1w (я)-^т-~е~х2'2,
|/ jt

что означает сходимость ?€=>ФР, i при &->-«>. Однако име-
ет более «толстые хвосты», поскольку функция (9) убывает с ро-
стом Ш значительно медленнее, чем е~х2/2, так что При всех £>о

ТД(-Ь, М) < Фо. <((—£>, &)),	(10)

При этом разница между правой и левой частью в (10) при не-
больших к может быть существенной.

Сходимость t = V/c^0/Vt}2 к нормальному закону читатель мо-
жет доказать и другим путем, с помощью теорем непрерывности.

1] 1

Например, достаточно заметить, что —р- ф- ,,, ф

1	п.н,

и, стало быть, t —> Е.о, t => £0.

п.н.
8. Бэта-распределенпе (В-расвределенпе)

распределение Вл1,1.2 с плотностью

Г(\ + \)

Ч\)Г(Ч)
О,

х'х '(i-x)4 *

Так называется

х е [0,1],
ж^[0, Ц.

Аб) U) =

Своим названием оно обязано бэта-функцпи

1

В (\, Л2) = J хх 1 (1 — aj?2 Xdx~
о

ЧЧГ(Ч
г(\Ч-\) *

Бэта-распределение связано с гамма-распределепием и с рас-
пределением Фишера путем следующего утверждения:

Если тр независимы, т|?-С= Га,Л; (м.ш тр (==	т0

В —---21-— —-— еЕ В

Р ,11 + П2

где С =‘П1/112^Р2Л1,2Х2.

Доказательство этого утверждения весьма просто, так как в

силу (7) Р (|3

1 — ху

ге,+м ( х
r(\)r(4)U“J '

1 (a,-T /..J Ч"1 /,	г/2”1

— 2

Для моментов случайной величины р имеем

мв> = г(\ + лг) Г ч+<-1	_ Г(\ + Ч)Г(А, -1-1)

' Г (X,) г (Z2) J 1	(1 х> ах - г (л,) г (Хх + z2 + I) •

При 7 = 1,2 находим

МВ = ——— мр2 =-------Ll2_L_2)---

р z1 + z2’ ,v|p (M-Wi + M-i)'

9.	Равномерное распределение. Частным случаем В-распредс-
леиия является равномерное на [О, И распределение, которое
получится, если положить Х1=Л.2= 1.

Символом Ua, ь мы будем обозначать равномерное распределе-
ние па отрезке [«, &], так что Bi,! = Uo, i.

С помощью В-распределепия можно описать распределение
членов вариационного ряда х(й) выборки X.

Теорема 1. Если Х£=Р есть выборка из распределения
Р с непрерывной функцией распределения F, то

У(Ю — F (xw) B/i,n-fe+i
Доказательство. Так как у& = I1 (х/{) СЕ U01 то у(/{) =
— F (хсю) можно рассматривать как член вариационного ряда
выборки Y f=E UOil. Найдем Р (У(/ц & (и, и + du)). Событие {у(М е
е (и, и + du)} можно представить как объединение пелересекаю-
щихся событий

А, — {у,- ge (п, и 4- du), у,- = y(ft)},
которые происходят, когда у> попадает в (н, и 4- du) (вероятность
этого равна du), к— 1 из оставшихся п — 1 наблюдения попадает
в область (0, и), п — к наблюдений — в область \и, 1). Следова-
тельно,

Р(Л.) ±= C'lZj-i?'1 (1 - u.)n~hdu, •

Р (у(/{) е (и, и + du)) = пСн^и1'-1 (1 — u)n~,!du.

Это и значит, что плотность у(М существует и равна

• п\

(/с—1) ! (п—к) !

— u)a~h =

_____Г +-1*____________ г/'-1 (1 _ u\n~h
Г (к) I’ (п — к -I- 1)_11 >

<]

Па основании теоремы 1 можно без большого труда получить
и предельное распределение членов вариационного ряда, когда
объем выборки X неограниченно возрастает. Мы остановимся
здесь лишь па одном результате, вытекающем из теорем непре-
рывности.

Теорема 2. Если а =-----------> а0 е (0, 1) при п-+<х>, то

1/ (1 — «,Д

У(/<) а	Фол.

у п

Доказательство. В силу теоремы 1 y(ft) C=Bfti n_Z(+1 и, ста-
ло быть, в силу свойств В-распределения, справедливо представ-
ление

А» = 2(п — Л +1). •

Положим для удобства ~ а, а2 = 1 — а и предположим, что
а==й0 фиксировано. Тогда, очевидно, к,/(п 4-1) = 2щ, / = 1, 2,
и в силу свойств распределения %2

= fc; + V2k^,	(= Фо,.;
Остается воспользоваться теоремой непрерывности 1.5.3Л прп

Н <0 = Т-ГТ’ = Т7=тТ'
г 1ч	V п 1

Так как гр (а стало быть, и независимы и

дН	'2	__ _	*1	.

=\'1 + '2)2’	вЬ” (Ч + У2’

то мы получаем

(У(л) —«1) "Ин + 1 => б?2	—l/a2g(2,-zz l/«1a2L £€=Ф0,1.

Если а зависит от п, то следует воспользоваться замечани-
ем 1.5.1. <]

Следствие 1. Если а — k/(n + 1) -> о0е (0, 1) и непрерыв-
ная функция F непрерывно дифференцируема в точке ~
(.квантиль порядка а0), то

*«,>-£+	5„&Ф.л.	(И)

/ (ч) V»

где £ = Е-|(а) — квантиль порядка a, f(x) = F'(x).

Это утверждение получается сразу из теоремы непрерывности
1.5.3 (с учетом замечания 1.5.1), если воспользоваться представ-
лен мем

>«) - F-1 Ош) = I"1 (\ + ] Z—Z,.)

у	dF"1 (.г)	1

и тем фактом, что---------~ ----------

/(А1-1 (.г))

Замечание 1. Утверждение (11) несколько обобщает ут-
верждение следствия 1.8.1. Его можно обобщить и в другом-на-
правлении. Пусть при х £

[ F {х) — F (Е) | — с ] х £ р’, у > 0.

Тогда нетрудно видеть, что при у -> а

и что, стало быть,

— €) «2V => («0 (1 — «o))2v I Цс Г sign Е,

^Фо.Р

(12)

При у = 1, с = /(^) отсюда следует (11).
10.	Распределение Кошп Кя „ с параметрами (а, о). Так на-
зывается распределение с плотностью

fca.a (*) =	------тт = ------—-------

л [o’ + (х - сс)~] Я(Т , p-gU
\ ° J

как и в случае нормального закона, параметры апо здесь явля-
ются, соответственно, параметрами сдвига п масштаба. Форма
распределения Ко, i очень похожа па форму Фо, i, однако kOii, как
и плотность распределения Стьюдента, имеет значительно более
«толстые хвосты» (т. е. более медленное убывание при 1ж1	*>),

так что распределение Ко, t не имеет даже конечного математиче-
ского ожидания. В [11] отмечалось (см. гл. 7), что распределения
Ка.о, как и нормальные распределения, обладают свойством ус-
тойчивости. Характеристическая функция х0, i(<) распределения
Ко i равна

-«0.1(0 = еЧ".

поэтому

ха,о (о = exp {iat — Ор|},

(() ^а2,ст2 (0 = еХР (а1 4~ аг) (°1 4“ °г) I И }»

так что свертка Ка1>а1 и Ка2,о2 равна Kai+a2iO1+O2.

Нетрудно видеть, что Ко, i=Tt.

В приложениях часто приходится иметь дело с разного рода
функциями от нормально распределенных случайных велпчйн.
Одна из них — экспоненциальная функция, с которой связано
так называемое логнормальное распределение.

11.	Логнормальное распределение L 2. Мы будем говорить,
что 'П^Ь0, а2, если In п(=Е Фа а2- Другими словами, ц == е\ где
££=Фао2. Отсюда видно, что распределение La 2 сосредоточено
на положительной полуоси.

Плотность La (j2, в силу формул для плотности функции
от случайной величины (см. [11], стр. 53), равна

М1”)* *•

Кроме того, находим

(v-a-

Мп — f е'   -~.=г е 2О" dy = exp ° \ ~ а х

J о у 2л	2с>

X f ~^= ехр(-	= е“+<’2/2,

J о у 2л \	*-и	1

(у—а)2

М>1’- = f е2!' -4^ е ~^dV = ем<,\

J о у 2л
12.	Вырожденное распределение. Символ 1п (это обозначение
памп уже использовалось в § 1.2) будет означать вырожденное
распределение, сосредоточенное в точке а.

В общем случае, когда рассматривается произвольное семей-
ство распределений, зависящих от параметра 0 (скалярного или
векторного), мы будем использовать обозначение Ре. Само семей-
ство будет обозначаться символом

.	{Ре)бев,

где 0 —- множество возможных значений параметра 0. Такие же
обозначения будут применяться к семействам распределений 1 —
12. Например, {Фа, будет означать семейство всех нормаль-
ных распределений с единичной дисперсией.

Распределения 1 —11 абсолютно непрерывны 'относительно
меры Лебега. Введем теперь обозначения для трех хороню из-
вестных дискретных распределений (абсолютно непрерывных от-
носительно считающей меры р(В): р(В) = к, если В содержит к
целочисленных точек).

По определению £ f== Вр

13.	Распределение Бернулли Вр.
(/г — целое, р [0, 11), если

Р(ё = А) = СУг(1-рГ\

14.	Распределение Пуассона П?. Это
ется равенством

П,.(В)= У

распределение определя-

X > 0.

к<=в,

15. Полиномиальное распределение. Мы будем обозначать его

В”, где п > 0 — целое число, р = (р1? ..., pr),'Pj ^0» 2 Pj — -1-
3=~1

Для целочисленного случайного вектора v = (v1} ..., vr) мы будем
Г

писать v (= Вр, если для к = (А\, ..., Ay), kj 0, 2 kj — n спра-
ведлпво

т> /	7 \	*	^г1

Р ( V = А) = —..... .. рг .

Г * • • г-

Распределение Вр соответствует последовательности п неза-
висимых испытаний, в каждом из которых наступает один из г
несовместных возможных исходов Ai, ..., Лг; при этом вероят-
ность появления исхода А, в одном испытании равна pj. Коорди-
наты V, вектора v означают частоты появления событий Aj после
п испытаний (см., например, HU). Очевидно, что при каждом
7 = 1, ..., г

vj^B”
Исход /-го испытания в описанном эксперименте можно описать
r-коордипатпым вектором Xj, у которого г—1 координата равны
нулю и одна координата равна 1. Номер этой хкоординаты есть
номер события, которое лроизонгло при у-м испытании. Очевидно,
71

что v = 2 xj. Относительно выборки X, составленной из х4, ...

..Хп, нам будет удобнее писать

где Вр = В*. Пространство для такой выборки, очевидно,
конечно п состоит из г точек. Если p = (pi, Дг), pi + p» = l, то мы
получим схему Бернулли, для которой мы будем использовать
те же обозначения, отождествляя	с ВР1 = (см. п. 13).

В общем случае распределение Вр зависит па самом деле лишь
от (г — 1)-мерпого параметра (уд, ..., рг-,), так что вместо ин-
декса р можно было бы писать (рь ..., pr-t).

Многие из рассмотренных выше распределений, например
распределения Фол»	Т/;, П?., табулированы в руковод-

ствах по математической статистике и в специальных таблицах
(см., например, [8]).

§ 3. Точечное оценивание. Основной метод
' получения оценок. Состоятельность,
асимптотическая нормальность

f. Метод подстановки. Состоятельность. Понятие оценки было
введено нами в § 1. Формально, оценка — это то же самое, что
и статистика, т. е. любая измеримая функция 6* от выборки. Не-
формально, смысл, вкладываемый в этот новый термин, состоит
в том, что оценками б* мы называем лишь статистики, предна-
значенные для использования вместо неизвестного параметра 6.
Другими словами, 0* есть некоторое приближение для G, осно-
ванное па выборке. Величину 0* называют также точечной оцен-
кой для 0 в отличие от интервальных оценок, которые будут
рассмотрены позже.

Задание оценки обычно предполагает задание функций (от
выборок Хп), определенных при всех возможных значениях п.
Поэтому в дальнейшем термин «оценка» будет означать семей-
ство статистик 6* = G,t(X„), определенных при всех п==1, 2, ...,
где 0* есть функция па или, что то же, одну функцию 0* —
==6*(л, Хоо), определенную па произведении множества целых
чисел и

В соответствии с § 1 мы будем считать, что в постановке за-
дачи об оценивании определено множество 8 возможных зпаче-
1шй параметра 0 и семейство ‘ZP возможных распределений Р вы-
борки X (это могут быть, скажем, лишь нормальные распределе-
ния Фа, 1 или распределения Пуассона П?., для которых требу--
§ 31

ОСНОВНОЙ МЕТОД ПОЛУЧЕНИЯ ОЦЕНОК

75

ется оцепить неизвестные параметры се, л). Если какие-либо огра-
ничения на 0 (иа Р) отсутствуют, то можно считать, что @ (53)
совпадает с евклидовым пространством ‘ соответствующей размер-
ности (с множеством всех распределений).

Если для обозначения параметра вместо 0 используется ка-
кая-нибудь другая буква, например А, то оценки этого параметра
будут обозначаться тем же способом: добавлением к X верхнего
индекса «звездочка». Например, для параметра а нормального
закона естественно рассматривать оценку



Выборочные моменты, используемые для оценки

Мхх — J х Р (dx) и Dxj = J (ж — MxJ2 Р (dx),
имеют свои специальные традиционные обозначения

Мы уже отмечали, что для данного параметра можно указать
сколь угодно много разных оценок, и прежде чем обсуждать, ка-
ким образом в каждой конкретной ситуации следует сравнивать
их достоинства, мы остановимся на некоторых общих «регуляр-
ных» методах их построения.

Эти методы объединяют в себе наиболее разумные подходы
к проблеме оценивания и позволят нам получать в дальнейшем
наилучшпе в том или ином смысле оценки.

В основе почти всех приемов оценивания лежит следующий
основной метод, который можно было бы назвать методом под-
становки эмпирического распределения (или, для краткости, ме-
тодом подстановки).

Пусть Хп (Ц Р, и неизвестный параметр 0 представим в виде
некоторого функционала G от распределения-Р:

O-G(P).

Пусть, далее, Р*, как и прежде, означает эмпирическое распре-
деление. Тогда метод подстановки предписывает в качестве оцен-
ки 0* взять функцию

e* = G(p,*,).

Такие опенки мы будем называть оценками по методу под-
становки или, для краткости, просто оценками подстановки.

Функционал G иногда бывает задан в неявном виде как ре-
шение некоторого уравнения Ж0, Р) = 0, разрешимого относи-
тельпо 0. В этом случае оценками подстановки в соответствии
с основным определением мы будем называть любое решение
уравнения я(е, р’) = о.

Если известно, что множество возможных значений параметра
0 <= Rk ограничено областью 0 из R\ не совпадающей с R\ то эту
информацию можно учесть при построении оценок подстановки.
Допустим, что область 0 замкнута, и пусть & есть множество
возможных распределений выборки X, 0 = {G (Р)}ре^>. Оп-
ределим функционал СДР) для произвольного Р как значение
i е 0, для которого достигается

min|t-C(P)| = |G1(P)-G(P)h

/<=0	Ц)

так что СДР) есть точка из 0, ближайшая к С(Р), Так как
СДР) = С(Р) = 0, если Р то оценка

0* = С1(РЦ	(2)

вместе с сЩ.) будет оценкой подстановки, при этом множе-
ство возможных значений 0* будет принадлежать 0.

Про оценки (1), (2) мы будем говорить, что они получены
сужением метода подстановки.

Пусть, например, оценивается параметр а нормального рас-
пределения Фа. 1, и нам заранее известно, что сс <= [О, 11. Тогда
может оказаться, что оценка а* = х 9= [О, И (очевидно, что
x=^^tdFn{t) есть оценка подстановки). Сужение метода под-
становки рекомендует в качестве оценки взять точку из [0, 11,
ближайшую к х.

Отметим теперь, что в сформулированном виде метод подста-
новки не всегда имеет смысл. Дело в том, что исходный функ-
ционал С может оказаться не определенным па множестве эмпи-
рических распределений. Пусть, например, заранее известно, что
распределение Р принадлежит классу абсолютно непрерывных
относительно меры Лебега распределений, так что каждое Р е &
имеет плотпость /. Нас интересует значение

0 == G (Р) = J f (т) dx = J dx.

Ясно, что в этом случае <?(Р*) не имеет смысла, так как Р*
есть дискретное распределение. В таких случаях метод подста-
новки всегда можно естественным образом модифицировать так,
чтобы оп сохранил свое существо. В приведенном примере, где
G(P) есть функционал от плотности /, следует в качестве 0*
в соответствии с методом подстановки рассмотреть значение
G (Р„ ), где Р** — сглаженное эмпирическое распределение
(см. § 1.10), обеспечивающее сходимость эмпирической плотно-
сти к /(^).

Может оказаться также, что в некоторых случаях G (Р„)
будет иметь смысл не для всех Хп, а лишь для Хп^Лп, где
Р(Х;с-И,)->1 при п -> оо. Это обстоятельство для существа
дальнейшего изложения роли играть не будет, и для определен-
ности можно положить G (Рп) — 0 для Хп ф Ап.

В этом параграфе мы для простоты будем предполагать, что
G (Р*) имеет смысл при всех Хп <= и что 0* есть случайная
величина, т. е. функция &(РП) осуществляет измеримое ото-
бражение £Fn в /Г‘, где к есть размерность 0.

Принцип подстановки представляет собой весьма естествен-
ный подход к задаче, поскольку, как мы уже знаем, распреде-
ление Р?* неограниченно сближается с Р с ростом п.

Пусть Хп = [XJn.

Определение 1. Оценка 0* = 07i(Xi) (или последова-
тельность 0* (У)) называется состоятельной, если

0*->0
р

при п оо.

Оценка 0* называется сильно состоятельной, если при п.-+ оо

0*-^0.

И.Н.

Пусть F, как обычно, есть функция распределения, соответ-
ствующая Р.

Теорема 1. Пусть 0 = СЧР) и- функционал G принадлежит
одному из двух классов', либо он представим в виде

G(F) = h\\g(x)dF(x)\	(I)

где h — функция, непрерывная в точке а = g (х) dF0(x) (функ-
ционал 1 типа), либо -в виде

G(P)~G,(F),	(II)

где функционал G, непрерывен в точке Fn в равномерной метри-
ке (функционал II типа). Тогда если Х^Т\, mo 0* = G(Pn)
есть сильно состоятельная оценка:

0*—>0.
п.п.

Утверждение этой теоремы немедленно следует из теоремы
1.4.1.
2.	Асимптотическая нормальность. Одномерный случай.

Определение 2. Оценка 0* параметра 0 называется
асимптотически нормальной (а. н.) с коэффициентом о2 > 0, если
(0* — 0) /л^Фо ог.

Последнее соотношение может читаться также следующим
образом: оценка 0* а. и. с параметрами (0, с2/п).

Пусть 0* есть оценка подстановки параметра 0 = G'(P) и вы-
полнено (I), т. е.
(71	\

42^) -	. (3)

1—1	/

есть статистика I типа. Тогда из результатов § 1.7 вытекает сле-
дующее утверждение. Предположим, что 0 — скалярный пара-
метр, a g — скалярная функция.

Теорема 2. Пусть X{=^FQ, h дифференцируема в точке
а= j g (ж) dF0 (ж), 0 < | h' (а) | < оо, J g2 (х) dF0 (х) < оо. Тогда
0* — а. н. оценка с коэффициентом

°2=\h' (a)]2 J (g (-0 —а}~ dF0 (х).

Примеры, рассмотренные в § 1.7, можно взять в качестве
иллюстраций и к этой теореме, так как статистики, рассмотрен-
ные в них, используются в качестве оценок.

Аналогичным образом мы могли бы, пользуясь результатами
§ 1.8, получить условия асимптотической нормальности оценок,
являющихся статистиками Л типа. Читатель может получить
нужные утверждения, если воспользуется теоремой 1.8.1 без ка-
ких-либо ее изменений, потребовав, однако, чтобы в ее форму-
лировке выполнялось к — 1, а производная g была такой, что
g(^o» ^С)^Ф0.02.

3.	Асимптотическая нормальность. Случай многомерного па-
раметра.

Определение 2А. Оценка 0* ~ (Oi, ..., Ой) называется
а. н. оценкой 0 == (0И ..., 0ft) с матрицей о2, если

(0*-О) /пОФ0.„2,	(4)

где Фо о2 есть fc-мерпое нормальное распределение с нулевым
вектором математических ожиданий и матрицей вторых моментов
о2 — || Oij ||. Плотность этого распределения равна (см. § 2)

Ч’О.<,Л®) =

VI л I ~^Л*Т
(2л)й/2

где Л — матрица, обратная к о2, ж = (.г(, . . ., лд).

Если 0* есть оценка подстановки и опа является статистикой
I типа (т. е. представима в виде (3), где g, вообще говоря, вместе
с 6* и h есть векторная функция), то для выяснения условий
асимптотической нормальности можно воспользоваться теоремой
1..7.1А и замечанием к пей. Мы получим тогда следующее ут-
верждение.

Теорема 2Л. Пусть 6* е Rk определяется равенством (1),
где g = (gu ,. gs) е Rs, а вектор-функция hit) = (hi(t), ...

hh(t)), t=(tlt .. is), имеет в точке a = (al, ..., ах), a}—
f

gj(x) dF0(x), частные производные -^-(«), i = l, ...» fc,

----- 1, ...» s. Тогда, если Fo, mo

(б*-0)Г?7=>^т,

где £ — (£n . . ., Ls)€E Фо rf2 есть нормально распределенный век-
тор с нулевым средним и матрицей вторых моментов d2 = IldJI,
= М ^(xj — fii)(gj(Xi) — Gj), t, j	Я = 11/г011 есть

dh-i

матрица размера kXs с элементами Ьц =	$ = 1,

j -- 1, ..., s.

Это означает, в свою очередь, что 6* при выполнении условий
теоремы 2Л является а. и. оценкой с матрицей о2 = Н(РНТ =
= ЦН£с,Нт. Отметим, что матрицы о2 и d2 здесь имеют, вообще
говоря, разные размерности (Л и $).

§ 4.	Реализация метода подстановки
в параметрическом случае. Метод моментов

Пусть Х^Р0, где {Pebee есть известное нам семейство рас-
пределений Рн, зависящих от параметра 0. Неизвестный пара-
метр 0 из множества 6 может быть в наших рассмотрениях как
скалярным, так и векторным. Например, если Х^=Фао2, то 0 =
= (а, о2) двумерно, а множество 0 может быть как полуплоско-
стью {—оо < а < <х>, о > 0), так и какой-нибудь ее частью.

Математическое ожидание и дисперсию статистики S =« S(X)
по распределению Ре мы будем обозначать соответственно
MoS, Do5.

Мы рассмотрим ниже несколько методов оценивания, каждый
из которых можно трактовать как реализацию принципа подста-
новки эмпирического распределения.

1.	Метод моментов. Одномерный случай. Выберем g(x) так,
чтобы функция

m (0) = Meg (хА) = J g (х) Ре (dx)	(1)

была монотонной и непрерывной. Область m(Q) значений т(0),
(')?.?(•) имеет ту же «природу», что и 0. Если, например, 0 есть
отрезок вещественной осп, то т(0) также будет отрезком.
Очевидно, что уравнение m(0) = t однозначно и непрерывно
разрешимо в области ш(0) относительно 0: 6 = zzz_|(i), и что (1)
эквивалентным образом можно записать в виде

6 = тГ1 (J g (х) Ре (&)].	(2)

Предположим для простоты, что

— р	п

g = J g (^) dPn (х) = А 2 g (Xi) е т (©)
d	1=1

при всех X е $п.

Определение 1. Оценкой по методу моментов называется
оценка

0* = m-4(g).	(3)

Если g^ni(0), то можно положить согласно (3.1), (3.2)

0* =’т~*(£0),

где go ш(0) есть ближайшая к g точка из т(0).

Нетрудно видеть, что это есть оценка по принципу подстанов-
ки. Выбор функции тп(0) позволил нам выразить 0 в виде функ-
ционала (2). Ясно также, что оценка (3) является статистикой
I типа, так что, в силу теоремы 3.1, оценки по методу моментов
будут сильно состоятельны. Если к тому же функция m диффе-
ренцируема в точке 0, ( g2 (z) Ре (dx) < qo , то по теореме 3.2
сценка по методу моментов будет а. и: с коэффициентом
К (0))-2 Deg (X,).

Метод моментов был предложен К. Пирсоном (в несколько
более частном виде) п исторически является первым регулярным
методом построения оценок.

Свое название «метод моментов» получим потому, что его
существо состоит в приравнивании друг другу «теоретических»
и эмпирических моментов (математических ожиданий) величины
g(xj): ведь оценка (3) есть не что иное, как решение уравнения

71

™ (в) == 4 2 % (xi). .

i=i

Можно добавить также, что в качестве g(x) часто выбирают
функцию g(x) = х или g(x) = xh, к> 1, так что наше уравнение
превращается в уравнение для обычных моментов.

Равенство (4) можно рассматривать также как результат при-
равнивания среднего значения величины g(xt) «по пространству»
ее среднему значению «по времени».

Неоднозначность метода моментов, как и всего принципа
подстановки, здесь видна особенно хорошо: ведь выбор функции
g(x) почти ничем не ограничен.
§ 4]
к

Пример 1. Пусть- X (== Га1 и а не известно. Построим
оценки по методу моментов с двумя простейшими функциями
g(x): g^(x) — х и g2(x) = х2. Справедливы следующие равенства
(см. п. 5 § 2):

ОО

тг (а) = Magi (xj = J яГад (dx) = 1/а,

О

ос

т2 (а) = Mag2 (xj ==J хТкД (dx) = 2/а2.
О

П

Решая уравнения mt (а) — х, m2(a)= —^х|, мы получим
г=1

оценки по методу моментов

Обе эти оценки являются статистиками I типа, и мы можем
описать их асимптотические свойства. На основании равенств
(2.4) получаем

Dagi (*1) = Da*! = Ш2, Dag-2 (xi) = DaXi = 20/сС4.

Так как для первой оценки т1(а)~ — 1/а2, а для второй т2(а) =
= — 4/а3, то на основании теорем 3.1, 3.2 мы получаем, что обе
оценки а* и а** являются сильно состоятельными и а. н. с ко-
эффициентами соответственно

Видимо, оценку а* следует предпочесть, так как ее «раз-
брос» при больших п вокруг истинного значения а, измеряемый
дисперсией предельного распределения, меньше, чем «разброс»
для а**.

2.	Метод моментов. Многомерный случай. Совершенно анало-
гичным образом рассматривается случай, когда 0 — многомер-
ный параметр.

Пусть, как и прежде, к есть размерность 0. Выберем вектор-
функцию g(x) — (gt(x), ..., gh(x)) так, чтобы уравнение

m(Q) = t,
где

t = (J,, ..., th), m(0) = (ml (0), ..., mk(G)),

m. (0) = M egj (*i) = J gj ($) ?0

было однозначно и непрерывно разрешимо относительно 0 —
6 А. А. Боровков
~m~l(t) в области т(0) значений т(0), 0^0. Допустим для
простоты, что вектор

принадлежит области лг(0) при всех X е

Определение 1А. Оценка 0* = m~l(g) называется оцен-
кой по методу моментов.

Как и прежде, из теоремы 3.1 следует, что такие оценки 0*
будут сильно состоятельными.

Для того чтобы имела место а. и. 0*, нужно потребовать до^
полнительпо, чтобы функция тп была дифференцируемой,
j (.г) Ро (dx) < оо. Утверждение о предельном распределении
О* нетрудно получить с помощью теоремы 3.2Л.

Пример 2. Рассмотрим в качестве {Pfl} семейство нормаль-
ных распределений Фа 2. Полагая g'/.z) = ar, g2(x) = х\ получим
следующие уравнения для метода моментов:

решение которых есть

«*=х,	=

г=Т

Мы предлагаем читателю в качестве упражнения найти оцен-
ки по методу моментов для всех параметрических семейств, при-
веденных в § 2.

3.	Обобщенный метод моментов. Возможно следующее обоб-
щение метода моментов, которое существенно расширяет рассмот-
ренный выше класс оценок. Ограничимся для простоты случаем
одномерного параметра 0. Рассмотрим функцию двух переменных
g(x, 0) и предположим, что для всякого распределения Р урав-
нение

J g(x, 0)P(tZ.z) = j g(x, 0)Pe(tZz)	(6)

разрешимо относительно 0 — G(P), так что последнее равенство
вместе с (6) превращается в тождество 0 = G(P0) при Р = Ро.

Оценкой по обобщенному методу моментов мы назовем
оценку

0* = С(Р,‘).

Очевидно, что, как и оценки во методу моментов, это есть
оценки подстановки. Исследование свойств таких оценок более
сложно. В этом мы убедимся в последующих параграфах, по-
скольку окажется, что одпа из оценок подстановки, которую мы
будем детально изучать, будет оценкой по обобщенному методу
моментов.

§ 5*. Метод минимального расстояния

Метод, указанный в заголовке, как и метод моментов, являет-
ся реализацией принципа подстановки и состоит в следующем.
Рассмотрим какой-нибудь функционал от двух распределений
d(P, Q), который обладает тем свойством, что как функция от
Q оп достигает своего минимума при Q = P и <Z(P, Q)>d(P, Р)
при Q^P. Мы будем рассматривать величину cZ(P, Q) (пли.
d(P, Q) — cZ(P, I’)) как «расстояние» между Q и Р, так что Р
можно определить как значение Q, при котором d(P, Q) дости-
гает своего наименьшего значения.

Пусть теперь Х^=Р, Р неизвестно и принадлежит семейству
53. Обозначим, через (Q)^> распределение из ближайшее к
распределению Q в смысле расстояния d, и допустим, что оно
существует:

<?((Q)^, Q)= min сЦП,

так что (Q)^> = Q, если Q

Определение 1. Оценкой распределения Р по минимуму
расстояния d называется распределение Р* =?= (Р*)^ е где
Р?*, как п прежде, эмпирическое распределение.

Таким образом, при П = Р* — (Р?*)^> минимизируется
й(П,Р,*). Если 9? совпадает с множеством всех функций распре-
деления, то, очевидно, Р* = Р71.

Пусть теперь & ~ {Ро}е==© есть параметрическое, семейство,
удовлетворяющее следующему условию:

(Ло)	РО1=4=Ро2 при

В этом случае отображение 0 -> Ре ^взаимно однозначно, так что
распределение Р е SP позволяет единственным образом восстано-
вить параметр 0, для которого Р = Ре. Этот факт можно выра-
зить и иначе: существует функционал G, определенный па
такой, что 0 = С(Ре).

Введем в рассмотрение функционал (Q) = СЭто
ость, очевидно, значение 6 О, при котором Ро будет ближайшим
к Q распределением в смысле расстояния d, так что

G,(Pe) = G(Pe) = e.	(1)

Определение 2. Оценка 0* = G1(P*t) называется оцен-
кой параметра 6 по минимуму расстояния d.
Другими словами, 0* есть значение из 0, для которого
d(Pe.,P:)=infd(Pe, Р,‘).

Очевидно, что здесь мы снова имеем дело с принципом подста-
новки. Это вытекает из определений и (1). Разумеется, расстоя-
ние d и семейство Ф = {Р0} должны обладать свойствами, обес-
печивающими измеримость отображения 8&п в 11\ осуществляе-
мого функционалом GX(P*), так чтобы 0* была случайной ве-
личиной.

Отметим теперь, что в параметрическом случае при выполне-
нии условия (Ао) сужение метода подстановки (см. (3.1), (3.2))
и метод минимального расстояния дают один и тот же класс
оценок.

Действительно, мы уже зпаем, что оценки минимального рас-
стояния 0* являются оценками по методу подстановки, при этом
0* е 0. Пусть теперь 0* есть оценка по методу подстановки:
0* = G(Pn), где G(Pe) = 0, 0*е0. Определим расстояние
<Z(P, Q) = IG(P) — G(Q)I. Тогда, очевидно, при 0 = 0* достигается

inf й(Р0, Pl) = inf | G (Ре) - С (Pi) I = inf I 0 - G (P*) I = O._
бе©	eee	eee

Можно заметить также, что метод моментов существенно уже
метода подстановки, поскольку очевидно, что нс каждый функ-
ционал G Такой, что G(P0) — 0, допускает представление вида
G (Ро) = m-1 (J g (х) Ре (dx)).

Вернемся к оценкам минимального расстояния. Ясно, что
можно указать много «разумных» расстояний d, которые можно
использовать для построения оценок. Мы могли бы в качестве d
взять расстояние

. d (Р, Q) = sup | FP (х) — FQ (х) |
X

ИЛИ

d (Р, Q) = У (Fp а) - Fq (x))"dFQ (х),

где Fr(x) — функция распределения, соответствующая распреде-
лению Р. Оценками 0* по минимальному расстоянию здесь будут
значения 0,. для которых достигается соответственно

inf sup | FPq (x) — Fn (x) |,
В некоторых задачах (ср. с (371) используются так называе-
мые оценки по . минимуму /2 (хи-квадрат). Это есть оценки по
минимуму расстояния

где	Аг— разбиение 2? (пли /?', если х} m-мерпы) па

г < со интервалов, так что (J Ai = R. Таким образом, оценка 6*
г=1

по минимуму %2 есть значение 0, при котором минимизируется

„ У (ро (\) - V-)2 _ -у ("ре 04) - \)2

Й ре(дг) g «М4)	’ V 9

Здесь v, — nP* (AJ есть число наблюдений х>, попавших в ин-
тервал Дг. Статистика в правой части (3) есть уже известная
нам статистика х\ отсюда и происходит название оценки.

Ниже мы увидим, что существует такой функционал G, 0 =
= G(Pe), для которого оценки по принципу подстановки, называе-
мые оценками максимального правдоподобия, будут в известном
смысле папцучшимп. В силу этого обстоятельства оценки, рас-
сматриваемые в этом параграфе, не имеют, вообще говоря, широ-
кого распространения и подробнее нами рассматриваться не будут.

§ 6. Метод максимального правдоподобия

Пусть снова & есть параметрическое семейство {Ре}еео.
Относительно этого семейства мы будем предполагать в дальней-
шем везде, где это потребуется, выполненным условие

(Ло)

Рб± 5^ Ре2 при 0Х Ф 02,

а также следующее условие, которое мы назовем условием (Лц).

(Ли): Существует с-копечная мера ц в фазовом пространстве
(J2? ,$8$С),такая что все распределения Р9 & имеют относителъ-

dP0

ио этой меры плотность^ (х) —	(х), так что

Ре (В) = ( /о (я) н(<4
в

В этом случае говорят, что мера ц доминирует распределения Ро.

Все семейства распределений, рассмотренные в § 2, очевидно,
удовлетворяют условиям (Ло) и (Лц). В качестве ц для одних
распределений надо взять меру Лебега (абсолютно непрерывные
распределения), для других — считающую меру (дискретные рас-
пределения), Считающая мера ц определяется так: ц(В) = к,
где к есть число точек с целочисленными координатами, при-
надлежащих В.

К первым относятся нормальное Фа о2, логнормальное Lr/ о2
распределения, Г- и В-распределепия, равномерное распределе-
ние, распределение Коши, распределения Стьюдента и Фишера.
Ко вторым — распределения Бернулли, Пуассона, вырожденное
в нуле и полиномиальные распределения. Вид плотностей /е(ж)
этих распределений приведен в § 2. В дискретном случае (когда
р есть считающая мера) плотность /е(ж) совпадает с вероятностью
Р(1({ж}) события {xi=a:}; здесь {ж} означает множество, состоя-
щее из одной точки х. А1ожпо отметить также, что, например,
нормальное распределение Фг/ а2 и распределение Пуассона вза-
имно сингулярны. Вместо меры Лебега п считающей моры мы
моглп бы брать и другие меры — например, нормальное распре-
деление Фо> i и распределение Пуассона IL соответственно. Од-
нако в этом случае плотности /е(#) будут, очевидно, другими.
Мы предлагаем читателю пайтп их. Приведенные выше примеры
относились к случаю %? —R пли 33 = т > 1. В произвольном
фазовом пространстве (<2?,	природа меры р может быть бо-

лее сложной.

Введение условия (Л(1) удобно прежде всего тем, что оно
позволит нам в дальнейшем с единой точки зрения рассматривать
два наиболее важных в приложениях типа распределений — аб-
солютно непрерывные и дискретные. С точки зрения условия
(Л(1) качественная разница между ними отсутствует. Кроме того,
становится несущественной размерность фазового простран-
ства 33.

Условимся писать

/(ж) = g(x) п. в. [р],

если существует множество Л, р(Л) = 0, такое что f(x) = g(x)
для всех х Л. Очевидно, /(ж) = g(^) п. в. [р] тогда и только
тогда, когда

J (/ (*) — g (^))V (^) = °-

Лемма 1. Пусть / и g — две плотности вероятности относи-
тельно меры р. Тогда

j / (ж) In / (ж) р (с?ж)> J / (ж) In g (ж) р {dx),	(1)

если оба эти интеграла конечны. Знак равенства возможен лишь
в случае / = g и. в. [р].

Здесь принято соглашение, что интегралы в (1) по множеству
Л, па котором /(ж) = 0, равны пулю при любой #(ж).
Доказательство. Пам надо доказать, что

Так как 1п(1 + ^)^л; при всех х	— 1 и знак равенства возмо-

жен лишь при х — 0, то

In — in fl + (JL&L _ iY\ _£l£h _ i
;(x)	(/X/U) jp/(s)

и знак равенства здесь возможен лишь прп /(х) = g(x). Поэтому

[ / (*) 1п7^ Р	< J/И (т^- ~	Р =

= J#(z)h(^) — J/(ж) |Л(с?ж) == °. (2)

Если соотношение f = g п. в. [ц] не имеет места, то, очевидно,
знак неравенства в (2) будет строгим. <3

Рассмотрим теперь семейство & = {Ре}е<=е, удовлетворяющее
условиям (До), (Ии), и «расстояние» d(P0, Q) между произволь-
ным распределением Q и распределением Ре е

d (Ре, Q) = - J In /о (ж) Q (dx).	(3)

Определим функционал G{Q) как значение 0, при котором
достигается

min d (Ро, Q) = d (PG(Q), Q).
о

Из леммы 1 и условия (Ио) следует, что

— J /6() In /он {dx) > — J /е0 In /е0Р {dx), .

й(Ре,Рво)>й(Рвс.Р„о)

при 0	0О. Эго означает, что

G(Po0) = 00.	(4)

Определение 1. Оценкой максимального правдоподобия
{о. м. п.) называется значение 0* = &(Р*), т. е. значение О,
при котором достигается

' п

max I In /о {х) Р* {dx) = max ~ У In /е (xj).	(5)

о а	о 11

Символ пад обозначением оценки везде в дальнейшем будет
соответствовать о. м. п.

Из определения и (4) следует, что о. м. п. является оценкой
подстановки. Ее можно рассматривать также как оценку но
минимуму расстояния (3). Это расстояние тесно связано с рас-
стоянием Кульбака — Лейблера между распределениями, которое
играет в математической статистике особую роль и будет нами
рассмотрено позже.

В определении 1 семейство {Ре) предполагается таким, чтобы
0* была случайной величиной*).

Поскольку максимум некоторой функции может достигаться
в нескольких точках, то о. м. и., вообще говоря, не един-
ственна. Соответствующий, пример мы приведем несколько позже.

Название этой оценки связано со следующей важной интер-
претацией выражения

71	71

2 In /о (х{) = In П /е (х<),

1=1	1=1

присутствующего в (5). Для простоты рассмотрим сначала диск-
п

ретпый случай, когда ц — считающая мера. Тогда Ц (х{) есть
1=1

вероятность появления исхода X — (хъ ..хп), Стало быть, мы
выбираем в качестве 0* значение параметра, которое максими-
зирует эту вероятность (ведь функции <р(0) > 0 и In <р(0) дости-
гают экстремумов в одних и тех же точках).

Аналогичное толкование имеет место и в общем случае. В си-
лу независимости х,- имеем для множеств В = В±х ... хВп, В^ е

P0(Xge7?)= f /о(и)н(^'1) ••• f /о Un) И (^\).	/0х

вп	}

Напомним, что ж,-, в отличие от элементов выборки х,-, обознача-
ют переменные величины, вектор Uj, . .., жп) обозначается через
х. Пусть рп есть п-кратное прямое произведение мер р, так что
71

р71 {dx) — JJ p,{dxi). Тогда (6) означает, что
1=1

Ро (X е= В) = J (П /о ОО I н” (dx)

В \	1	/

п

и что, стало быть, функция /е {х) — JJ /0 {х*) есть плотность
1=1

распределения случайного вектора X в <%?п относительно ме-
ры р”,

.( /о U) р’ {dx) -= 1.

*) То есть 0* осуществляет измеримое отображение (£?п, 8^) в
(Я\ 8А).
п

Таким образом, И/е(зд) рг(<£г) можно интерпретировать (ана-
г=1

логично дискретному случаю) как вероятность попадания выбор-
ки в параллелепипед, образованный пересечепием «полос» (х{,
4- dXi), п оценка максимального правдоподобия максимизирует
по 0 эту вероятность.

Функция

П	1

/е (^0 = П/о(Хг) '
i=l

как функция от 0 называется функцией правдоподобия, а функ-
ция

л(Х,0) = 1п/в(Х) = 2г(х4,е),

г=1	-х

где Цх, 0) = In fo(x),— логарифмической функцией правдоподобия.

Такое же название за функциями / и L мы будем сохранять
и в том случае, когда в качестве аргумента вместо X стоит пере-
менный вектор х. Таким образом, функция правдоподобия /е(ж)
есть функция на SBn X О, являющаяся при каждом 0s 0 плот-
ностью вероятности относительно меры рп, так что плотность
/oCirJ в &В также есть функция правдоподобия для случая п.= 1.

С другой стороны, /е(Х), например, в случае SB — R можно
рассматривать как функцию правдоподобия выборки объема 1
в многомерном случае, когда SB =Rm — R’1.

Важно отметить, что о. м. п. от выбора меры ц никак пе за-
висит, так как при замене ц па какую-нибудь эквивалентную
меру щ, функция правдоподобия /е(®) изменится лишь па мпо-
dtX ,
житель (х), от 0 не зависящей.

Асимптотические свойства о.- м. п. можно было бы исследо-
вать на том же пути, который мы использовали при изучении
оценок по методу моментов. Именно, мы пользовались там тем
фактом, что оценки по- методу моментов являются статистиками
I типа. Это позволило нам сразу установить их сильную состоя-
тельность п асимптотическую нормальность. При выполнении не-
которых условий на /е(-т) о. м. п. будут статистиками II типа,
п это также позволяет (см. теоремы §§ 1.5, 1.8) устанавливать
их состоятельность и асимптотическую нормальность. Однако нам
будет удобнее изучать свойства о. м. п. непосредственно (см.
§§ 23—27), так как это позволяет провести исследование более
экономно и полно.

Найдем функции правдоподобия и о. м. п. для некоторых рас-
пределений из § 2. Для гладких функций правдоподобия макси-
мум проще всего искать путем приравнивания нулю первых про-
пзводпых.
Пример 1. Нормальное распределение Фа о2 в %? — R име-
ет плотность

w(®)

(х—а)2

1 е 202
о

— оо<^сс<^оо, о2>0.

Полагая в этом случае 0 = (а, о2), получим

п	п

/о (^) = (2л) 2П-П ехр —	2 (хг ~ а)2

2(Г

п

L (X, 0) = —In 2л — п In о-------------V Оч — а)2.

2	20 Я

Так как In есть
/ и L достигают

монотонная функция, то, как уже отмечалось,
максимума при одних и тех же 0. Имеем

dL

да (Г

dL
да

Решая для точки максимума систему уравнений

dL

да

= 0,

п

^ = 0
eta.

получаем

*

(о2)* = S2 = 1
'	'	ft

п

Нетрудно проверить, что в этой точке действительно достигается
максимум L.

При м е р 2. Рассмотрим Г-распределеппе с плотностью

Та = гТГГ хК~1е~аХ^ > 0, ct > О,

в случае, когда параметр А известен. Имеем

L (X, сс) = In ct — п In Г (Л) (X — 1) У In :<j — сс X
7=1	i=~l

dL Ли —

—— =--------ХП, Ct — A/X.

da a ’

П ример 3. Биномиальное распределение Bp. Здесь дляХ(==
€= имеем P(Xi = 1) = р, Р(х, = 0) = 1 — д,

/Р(Х) = р'(1 - р)п~\
где v — число появлений 1 среди элементов хо ..., хп. Стало быть,
£(Х, р) = v 1пр + (п — v) In (1 — р),

д L	v	п — V	v

др	р	1 — р ’	п

Мы предлагаем читателю в виде упражнения попытаться най-
ти о. м. и. для всех параметрических семейств, приведенных в
§ 2, и сравнять их с оценками по методу моментов.

Приведем теперь два примера несколько иного типа, когда
функция /о не является гладкой по 0, и методы отыскания о. м. и.,
связанные с дифференцированием, пе действуют.

Пример 4. ПустьX^UOil.|_G (равномерное распределение
на [0, 1 + 01). Здесь

_ J1,	же [0,1 + 0],

/о(ж)= [0,	х £[0,1+0],

[1,	0 x(i) х(п) 1 + 01

|0 в противном случае,

где х(п + ... + х(п) — вариационный ряд. Оценка м. п. в этом при-
мере пе единственна. Действительно, /е(Х) — 1 (т. е. максимально-
му значению) при любых 0, удовлетворяющих соотношениям х(п) —
— 1 + 0 + Хь Так как х(п) — х(1)	1, то такпеДЭ всегда существуют.

Мы можем взять, в частности, 0* = x(d пли 0* = х(п) — 1.

Пример 5. Пусть X U0,e. Здесь

/е U) =

х е |0, 0],

х ф [0, 0],

(о-п

если х.; <= |0, 0] при всех i — 1, 2, ...

в противном случае.

Чтобы получить вид функции /е(Х) как функции от 0, перепишем
условие хд е [0, 01, г = 1, ..., п, в эквивалентной форме 0^
> maxxi = х(п}. Таким образом, /е(Х) = 0 при 0е[0, х(п)), и
/о(Х)—в~п при 0е(х(п), «О. График этой функции представлен
па рис. 1. Здесь, как и в предыдущем примере, функция /0 раз-
рывна. Максимум /е достигается в точке 0* = х(п).

Аналогичным образом читатель может найти о. м. и. для дву-
мерного неизвестного параметра (а, р), когда X (Ц Ua>0.

Если /е(ж)*иеограпилена и точки же, в которых /8(же) = 00,
зависят от 0, то метод максимального правдоподобия в значи-
тельной мере теряет свой смысл (мы приняли здесь соглашение
/G(zB) = оо, если /0(ж) -> °° при х\ х0 или х t же). Проще всего это
вонять па примере параметра сдвига, когда /е(ж) = /(ж — 0),
/(ж) > 0, /(0) = о®. Тогда /0(Х) = оо при 0 == хъ ..., 0 = хп и, стало
быть, 6* принимает по крайней мере п значений, совпадающих
с элементами выборки. Существо этого эффекта в том, что в этом
случае «всплески» /6(^) не дают возможности судить о положе-
нии точки «истинного» максимума /е(^0, обусловленного влия-
нием всей выборки (ср. с §§ 24, 25). Чтобы получить таковой,
следовало бы каким-то образом
«сгладить» выбросы /е(Х).

Оценки м. п. обладают следу-
ющим важным свойством инва-
риантности относительно замены
параметра.

_________Теорема 1. Пусть ^(0) есть
х(п}	в функция, осуществляющая вза-

имно однозначное отображение

Рис-	множества 0 на множество В.

Тогда если 0* есть о.м.п. по вы-

борке X параметра 0, то р* — £(0*) будет о.м.п. по выборке X
параметра ^ = ^(0) для параметрического семейства {Qp ==
где 0(р) есть функция, обратная к ^(6).

Доказательство теоремы мы опускаем ввиду его очевид-
ности.

Отметим, что неявно мы уже пользовались теоремой 1 в при-
мере 1, где в поисках о. м. п. для о2 искали максимум L по о и
затем взяли (о2)* — (о*)2.

Другой пример использования этой теоремы — отыскание
о. м. п. в случае X^=La о2, т. е. в случае, когда распределение х{
логнормально: In х^=Фа 2. Для таких х,- среднее а и дисперсия
сТ равны соответственно (см. § 2)

а = ехр {сс + о2/2}, й2 — п2(.е°2 — 1).

Если обозначить а* и (d2)* о. м. п. для а и dz, то в силу свой-
ства инвариантности получим для функции (a, d2) = £(а, о2) (см.
пример 1)

. £•=<*₽{?+#), (аг)’ = (2*)!р-1),

где У = (уп ...,уя),У)= 1пХ|,у = -^2уь^=42Ь'< —У?.

1=1	1 " г=1

Приближенному вычислению о. м. п. в более сложных ситуа-
циях посвящен § 26.'

В заключение этого параграфа сделаем следующее замечание. Мы уже
говорили, что о. м. п. является оценкой подстановки. Ио о. м. п. при опре-
деленных условиях можно рассматривать и как оценку обобщенного мето-
да моментов. Действительно, предположим, что функция /е (ж) дифференци-
руема по 0, и законно дифференцирование по этой переменной под знаком
интеграла в равенстве

J /е (л) И = !•

Тогда

О-J/J(x)p(dx) = J 2^./e(x)p(-dx) =
{7е(ж)^о} 6

- = J V (х, 6) /0 (ж) ц (dx) = М6Г (хр 0).
{/eW^o}

Таким образом, если мы в (4.6) положим g(x, 0) = V(xt G), то получим для
оценки по обобщенному методу моментов уравнение

J V (х, G) Р* (dx) = J V (х, 6) Ре (dx) = О

или, что то же,

L'(X, 6)=0.

Это есть уравнение для о. м. п.

§ 7.	О сравнении оценок

Мы видели, что существует много весьма естественных под-
ходов к получению оценок. Возникает вопрос — как сравнивать
между собой разные оценки и какие оценки следует предпочи-
тать другим? Мы выделим два подхода к сравнению оценок —
среднеквадратический и асимптотический.

Первый из них основан на сравнении средпеквадратических
уклонений. Второй подход применим лишь к выборкам большого
объема, так как он основан на сравнении «рассеиваний» распре-
делений для (0* —0)Vn при больших п. Основанием для такого
сравнения служит обычно вид предельных распределений для
(0* —0)Уп при п -> оо (если таковые существуют). Соответствую-
щие предельные теоремы дают нам условия, при которых распре-
деление (0* — 0)Утг при больших п можно приближать с помощью
упомянутых предельных распределений.

В этом параграфе предполагается, что оценки сравниваются
при каком-то одном неизвестном, ио фиксированном распределе-
нии выборки Р.

1.	Среднеквадратпческий подход. Одномерный случай. Этот
подход используется при рассмотрении оценок но выборке X лю-
бого фиксированного (нс обязательно большого) объема. Он со-
стоит в сравнении средпеквадратических уклонений М (0* — О)2.

Правило 1. Оценку 0Х, в соответствии со средпеквадрати-
ческим подходом, мы будем считать лучшей, чем02, если

м(оГ-о)2<м(е; -е)2.	(1)
Широко распространено представление о том, что средцеквад-
ратическая погрешность является наиболее подходящей числовой
характеристикой точности оценки, хотя это обстоятельство со
многих точек зрения является спорным — ведь можно сравнивать,
скажем, величины М 6* — 01, также описывающие средние зна-
чения уклонений 0* от 0.

Несомненное преимущество характеристик М (0* — 0)3 состав-
ляет тот факт, что (0* — О)2 есть аналитическая функция разпости
0* — 0. Это делает многие рассмотрения более удобными, а так-
же позволяет приближать, как мы увидим позже, значения
М/(0*—0) для гладких функций /.

Наряду со средпеквадратическим уклонением для описания
свойств оценок часто используется также величина смещения.

Определение 1. Смещением оценки 0* называется вели-
чина л

Ъ = М0* — 0.

Оценка 0*, для которой &=О, называется несмещенной.

Средпеквадратическоо уклонение связано со смещением и дис-
персией оценки равенством

М (0* — 0)2 = D0* + &2,
так что для несмещенных оценок средпеквадратическоо уклоне-
ние совпадает с дисперсией.

Само по себе свойство несмещенности представляется, оче-
видно, желательным свойством оценок, поскольку опо означает,
что в дайной последовательности оцениваний среднее значение
оценок будет совпадать с истинным значением параметра. Если
этого свойства пет, то опенка называется смещенной.

Пример 1. Рассмотрим следующие три оценки для среднего
значения 0 = Mxt распределения Р:

ег = к, е* = с*; е* = х">+х<->,	(2)

где £* — выборочная медпапа, x(h), к = 1, ..., п,— значения вариа-
ционного ряда, так что £* = х((«+1)/2)» если п нечетно, н £* =

1 '

=-2 (х(п/2)	Х(П/2+1)), если п четно (при п = 1, 2 все три оценки

совпадают). Все оценки являются несмещенными, если распреде-
ление Р, из которого извлечена выборка, симметрично относитель-
но 0(Р((—оо, 0 — £)) = P((G +1, оо)) при любом t^O). Это следует
из того, что распределение всех трех оценок также будет симмет-
ричным относительно 0. Для х утверждение о несмещенности
Мх = 0 очевидно и без предположения о симметрии.

Вычислим средпеквадратические уклонения оценок (2). Для
простоты мы ограничимся случаем Р = U0.i, и = 3, для которого
оценки (2) перейдут в

ег = х, е; = х(Я, е: = -ХрЧ

Имеем.

I

DX1 = J (ж - 1/2)W = 1/12, М (б? — о)2 = Dy = Dxj/3 = 1/36.
о

Далее, в силу определения медианы (п нечетно) {£* <Zx} =
= {^U)>l/2} и, стало быть,

РЙ*<х) = Р(^(ж)>1/2) = -S Р(пГЩ) = 7>).	(3)

Л=(«+1)/2

Для п — 3

P(Fs(x) = l) = P( n	I = F3(a;),

Р (3>: (я) = 2) = ЗР (х) (1 - F (х)).

Вероятность Р(£*^(щ u + du)) складывается из вероятностей
событий вида {xi е (и, и + du)}{x2 < иКх3 > и). Так как всего
возможно 6 таких комбинаций, то Р(£*^(п, и + du)) = &f(u) X
X F(u)(l — F(u))du, и, следовательно, £* имеет плотность, равную
(это вытекает и из (3))

6/(n)F(u)(l-F(iz)),
и

где F (и) = j / (t) dt = Р (xj <Z и). В случае P — иод эта плотность

— оо

будет равна б.г (1 — х) при хс_ [0, 11, так что

1

м к*)2 = fe^d - x)dx = 6 (4-4) = те-
J	\	О ] IV

о

о?* = м й*)2 - (м?*)2=4 - 4=

Пам осталось найти дисперсию оценки

п* __ Х(1) ~1~ Х(3)

Рассуждая аналогично предыдущему, нетрудно убедиться, что
вероятность Р(х(1)	(и, и + du), х{3) е (v, v + dv)) при и < v равна

6/(h)/(i?)(F(p) — F(u))du dv. Поэтому для Р = U0.i

I V

М (о*)2 ~ J J	6 (v — и) du dv.

О о

Значение этого интеграла равно 11/40 (вычисления читатель
может провести самостоятельно), так что

do:=м (е:? - (мо:г= 4 - 4-=

Итак, оценка О* оказалась наилучшей. Для' других значений
п и других распределений Р положение может оказаться другим.
Мы увидим, например, что для Р = Фа о2 паилучшей оценкой для
а будет 0* — х.

Пример 2. Несмещенные оценки дисперсии. Рассмотрим
оценку для дисперсии

а также оценку

=4- 2 <х< - Mxi>2= 4- 2х?+<Mxi)2 - 2xMxi

{обе по принципу подстановки) в том случае, когда Мхх извест-
но. Оценка S^, очевидно, является несмещенной. В то же время
s2 = 4;2Cx<-x)2 = v2(xi-x±Mxi)2 =

= 12 <х* - Мх>)2 - (х - Мх>)2=s> - (х - Mxi)2 < «г.

Таким образом, оценка S2 является смещенной,

МА2 = Dx, — Dx = (1 — -1) Dx,.

Это соотношение показывает, что мы можем рассматривать и в
случае неизвестного Мх2 несмещенную оценку дисперсии, равную
5» = ^-152=^-12(х*-х)2> MSj = Dx>.

Перейдем теперь к асимптотическому подходу к проблеме
сравнивания оценок. В этом случае правило для предпочтения
оценок выбирается однозначно.

2.	Асимптотический подход. Одномерный случай. Пусть даны
две оценки 01 и 02 такие, что

°!	O2

где Q — некоторый предельный закон распределения, один п тот
же для 01 п 02, а о2>сц. Тогда при больших п распределения
(0* — 0) ТАг/щ, г =1,2, будут близки к Q, и несомненно, что
«рассеивание» 0* вокруг 0 будет больше «рассеивания» 0Х,
и нам следует предпочесть 0г.
Таким образом, существо асимпотического подхода состоит в
сравнении предельных распределении оценок.

Мы уже видели и будем убеждаться в этом и в дальнейшем,
что многие возникающие естественным образом оценки, в том
числе и оптимальные (об этом ниже), являются асимптотически
нормальными, т. е. для них справедливо (4) при Q = Фод. Это
позволяет нам сформулировать следующее естественное правило
сравнения а. и. оценок.

Пусть даны две а. и. оценки 01 и 02 с коэффициентами of и
соответственно.

Правило 2. Оценку 0L следует признать лучшей, чем 62»
если of < of.

В дальнейшем, при использовании этих и других правил, мы
будем наряду с термином «лучше» использовать, где это требует-
ся, также слова «нс хуже», «хуже», «пе лучше». Опи будут со-
ответствовать знакам неравенства <, >, > между of и of (или
между — О)2 и М(0* — е)2 в (О). Если of = of, то оценки
мы будем называть асимптотически эквивалентными. Предлагае-
мое соглашение естественно, и в дальнейших определениях мы
оговаривать его каждый раз пе будем, а будем ограничиваться
лишь определением отношения «лучше» или аналогичных ему.

Отметим, что в классе а. п. оценок минимальность рассеива-
ния 0* означает, что величина

lim Р ( | 0* — 0 | < п/

П->оо

будет максимальной при каждом и. Это обстоятельство делает
указанное правило для сравнения а. н. оценок бесспорным.

Асимптотический подход при всей своей естественности об-
ладает существенным недостатком: он применим лишь к выбор-
кам большого объема и лишь в классе а. н. оценок.

Отмеченные два подхода в известном смысле близки друг к
ДРУГУ — в обоих случаях дело сводится к сравнению дисперсий
или величин, близких к ним. Конечно, величина о2/?гв (4) при
Q —Фо.1 может существенно отличаться от М (0*—0)2. Однако
примеры, иллюстрирующие этот факт (мы предлагаем читателю
, построить их), носят, как правило, искусственный характер.

Дальнейшее изложение этой главы во многом связано с пост-
роением оценок, оптимальных для каждого пз двух введенных
подходов.

II рпмер 3. Пусть -АГа>1. В примере 1 § 4 было показано,
что обе оценки

«1 = (х) и ос2 — 2,х» 1

являются оценками но методу моментов. Кроме того, а* является
2 А. А. Боровков
также о. м. п. Было установлено, далее, что обе оценки а. и. с

5	*

коэффициентами, соответственно, а2 и-^- а2, так что оценка
лучше, чем а2 с точки зрения асимптотического подхода. 1от же
результат при и > 2 мы получим для среднеквадратичного под-
хода.

Приведем теперь пример, показывающий, что в зависимости
от свойств распределения одна и та же оценка может быть луч-
ше или хуже, чем некоторая другая фиксированная оценка.

Пример 4. Рассмотрим задачу об оценке 0 = Mxlt если из-
вестно, что X (== Р и Р — симметричное относительно точки 0
распределение (ср. с примером 1). В этом случае медиана рас-
пределения £ совпадает с 0. Мы рассмотрим две оценки для 0
(обе по принципу подстановки): среднее 0х = х и выборочную
медиану 0* = С*. Пусть, для определенности, п нечетно. Из'след-
ствия 2.2.1 при к = (п, + 1)/2 следует, что если функция распреде-
ления F непрерывно дифференцируема в точке 0 = £, то

(£*_у	5@фо>1, /И=Г(х).

Иными словами, в этом случае является а. п. оценкой с ко-
эффициентом о2 = 1/(4/2 (£)).

С другой стороны, а. и. оценка х имеет коэффициент of = Dxlr
Таким образом, если

то мы должны предпочесть оценку х. Если знак неравенства бу-
дет обратным, то £*. Следует отметить, что числа j (ж — QfdF (х)
и /(£) представляют очень мало' связанные между собой харак-
теристики распределения.

Рассмотрим важный частный случай, когда мы оцениваем на-
j

раметр а по выборке Х(=Фа о2.В этом случае / (а) = / (£)=
так что

,2 Л о о _2
о2 — о- > ст — Oj.

Это значит, что статистика х в данной ситуации лучше, чем £*.
Однако, как мы видели, нетрудно построить пример распределе-
ния, для которого предпочтительнее будет статистика £*.

Пример с медианой весьма поучителен и в другом отношении.
Он показывает, что скорость убывания степени рассеивания £* —
— £ может быть любой. Чтобы убедиться в этом, достаточно об-
ратиться к замечанию 2.2.1. В условиях этого замечания норми-
рующим множителем,, который обеспечивает сходимость £* —£.
к предельному распределению, является величина /г‘/(2П, где -у —
любое неотрицательное число (см. (2.12)). Множитель }'п соот-
ветствует лишь гладким распределениям.

Приведем теперь один реальный эксперимент с выборкой объ-
ема п==101 из нормальной совокупности Фод и посмотрим*),
как значения х и £* приближают 0 при п — 11, 21, 51, 101. По-
лученные данные приведены в следующей таблице:

п	11	21	51	101
X	—0,283	—0,254	—0,148	—0,072
	—0,291	—0,292	—0,078	—0,044

В этом примере опенка £* при п = 51,101 ведет себя лучше,
что есть результат случайного отклонения. Чтобы почувствовать
преимущества х, надо было бы провести много таких экспери-
ментов.

Посмотрим теперь, как выглядят два сформулированных вы-
ше подхода к сравнению оценок в многомерном случае, когда О
есть вектор (0t, ..0h).

3.	Среднеквадратичный и асимптотический подходы в много-
мерном случае. Асимптотический подход, как п прежде, мы бу-
дем использовать лишь в классе а. п. оценок. В этом случае все
дело сводится к сравнению многомерных нормальных распределе-
ний (предельных для (0* — 6)Улг), которые полностью дписыва-
ются матрицей вторых моментов о2 (см., например, теорему 3.2А).

Если рассматривать средпеквадратпческпй подход к сравнению
точных распределений 0*, то дело также сведется к возможности
сравнивать два распределения в Rh на основании знания момен-
тов- (0* — 0) второго порядка. Таким образом, в обоих случаях мы
должны уметь сравнивать по «степени рассеивания» матрицы
моментов второго порядка.

Рассмотрим наиболее естественные способы сравнения.
Пусть Qi и Q2 — два произвольных распределения в R\ Обозна-
чим и S2 какие-нибудь случайные векторы, обладающие эти-
ми распределениями: Qi.

Определение 2. Мы будем говорить, что среднеквадрати-
ческое рассеивапие распределения Qt около точки а е Rh не боль-
ше, чем рассеивание Q2, если для любого вектора а = (щ, ..., ak)

М (|j а, а)2 М ($о — а, а)2,	(5)

it

где (х, а) = 2 xi°i ость скалярное произведение.

7—1

*) Выборка X построена с помощью случайных чисел, взятых из таб-
лиц [8] (взяты первые 101 число на стр. 434).

7*
Мы будем говорить, что рассеивапие для Qi меньше, чем для
Qz, если в (5) имеет место знак строгого неравенства хотя бы
для одного а.

Если а = М/ — М£2, то неравенство (5) означает, что по лю-
бому направлению а дисперсия распределения Qj (т. е. дисперсия
проекции па а) не превосходит такой же величины для Q2-

Если d‘j — [ d$ | — матрица вторых моментов Q;, I — 1, 2, то,
раскрывая скобки в (5) при а = 0, получим для любых ..., ah

h	h

2	2	d^a^. '	(6)

i,j=l	ij=l

Это соотношение па языке матриц мы будем обозначать
dl^dl '	(7)

Опо означает неотрицательную определенность матрицы^— d{.

Таким образом, среднеквадратическое рассеивание Q( около
нуля не превосходит такового для Q2 тогда и только тогда, когда
для матриц моментов второго порядка имеют место неравенства
(6), (7)1

Правила предпочтения оценок в многомерном случае можно
сформулировать следующим образом.

Среднеквадратический подход:. оцепка 6* лучше, чем 02, если
среднеквадратичное рассеивапие 01 около точки 0 меньше, чем
такая же величина для 02.

Если d] есть матрица вторых моментов 0/ — 0, то утвержде-
ние «оцепка 0[ лучше, чем 02 » означает, что d± <Z d:>.

Асимптотический подход: оценка 0й лучше, чем02, если сред-
неквадратическое рассеивапие около пуля предельного распреде-
ления для(©1 — б) У п меньше, чем такая же величина для (02 —
- 0) Уп.

Другими словами, если (б/ — 0) Уп	Фо о2, то утверждение

«оценка 0* лучше, чем 0* » означает, что of < of.

Можно показать, что если 0х и 02 — две а. и. оценки и 0f
лучшем, чем02, то

ИшР((0*-0) /nel?)>limP((0*-0) /пе В) (8)
2i-»oo	П-^оо

для любого центрального эллипсоида *) В.

h

*) Ради краткости условимся область 2 (\jxixj С с называть эл~
г	^=1

k

липсоидом в Rh, а поверхность 2 ^ijxixi с оллипсом,

г,3=1
Мы видим, что в обоих случаях сравнение оценок сводится
к установлению неравенств для матриц моментов второго поряд-
ка.. Некоторое отличие состоит в том, что в первом случае момен-
ты не обязательно 'центральные.

Установим теперь некоторые соотношения, эквивалентные (6),
(7). Положим

v (0*) = М (0* — 0) V (0* — 0)т

и обозначим через множество всех неотрицательно определен-
ных матриц V = Нру11. Если Hdyll есть матрица вторых моментов
0* — 0, тор очевидно, v (0*) = 2 vijdij.

Лемма	тогда и только тогда, когда

для любых V е ®+.

Доказательство. В одну сторону утверждение очевидно,
так как матрица Va == е S3+ и для такой матрицы

ъ (е?) = м (е? - 0) va (е? - е)т = 2
(см. (6)).

Чтобы доказать утверждение в обратную сторону, заметим,
что частичный порядок, основанный на неравенствах (5), инва-
риантен относительно вращения осей координат. Именно, если
С — матрица ортогонального преобразования и 0* лучше 62 для
параметра 0, то ©iC лучше 02С дагя параметра QC. Это следует
из равенств

(OiC - ОС, а) = ((0? - 0) С, а) = (0? - 0, аСт)

и определения 2.

Пусть теперь df <С d^, т. е.

2	< 2 d^a^.	- (9)

Это означает, что п(0*)с п(0*) для матриц V вида Уо = 11^^11,
а стало быть, п для диагональных матриц Edlag <= S9+, поскольку
последние представимы в виде суммы к матриц вида Va. Пусть
теперь V — произвольная матрица из S3+, С есть ортогональное
преобразование такое, что CTVC == V<uag. Тогда

и (0*) =» М (of - 0) V (0? - 0)т - М (0Г - 0)CEdiag CT(0f - Of.

Из сделанных выше двух замечаний и из (9) следует, что правая
часть этого равенства меньше, чем	,

м (е; - е) cvM№cT (ej - е)г = м (е£ - е) у(e2‘- е)т= v (e2‘). <

Существует и другой способ сравнения рассеивания (см. [37]),
который предполагает, однако, что оба распределения Qi и Q2
ие вырождены в Rk и имеют нулевое среднее. В этом случае мат-
рицы центральных вторых моментов rf? будут положительно оп-
ределены, и для них существуют обратные At = (df) *.

Пусть бГ ость матрица вторых моментов распределения Q и
А =

Определение 3. Эллипсоидом рассеивания распределения
Q называется эллипсоид

Шт < /с + 2,
который однозначно выделяется среди всех эллипсоидов следу-
ющим своим свойством: если рассмотреть равномерное распреде-
ление U на этом эллипсоиде (т. е. распределение в Rh с посто-
янной плотностью внутри эллипсоида и нулевой плотностью вне
его), то первые и вторые моменты Q и U совпадают (см. (37J,
стр. 333).

Лемма 2. Пусть матрицы d2, 1 = 1,2, не вырождены. Сред-
неквадратическое рассеивание Q< около нуля не больше рассеива-
ния Q2 тогда и только тогда, когда эллипсоид рассеивания для Qi
лежит в эллипсоиде для Q2.

Доказательство. Пусть эллипс tAttT = 1 лежит внутри
tA2tT = l. Как известно, существует певырождепиое линейное
преобразование t — uL, которое переводит эллипс tAdT = 1 в еди-
ничную сферу Si, а эллппс tA2tT = 1— в эллипс с главными
осями по направлениям осей координат. Это означает, что А, =
^LAtLT = E (единичная матрица), А2=е LA2Lt = diag(Xi, ...
..., Хл),0<Х-<1, / = 1,	Так как АГ1 = Е, А"1 =-.

= diag(X72, «. • №), то эллипс tA2 xtT — 1 будет инверсией "от-
носительно единичной сферы эллипса S2, и, следовательно,
он будет располагаться в S,. Так как А2* = (Lr)-1A2Z/~1, то,
делая «обратное» преобразование и = tLT, мы получим, что эл-
лппс tA^4r = td2t=l лежит снаружи от tA2yt‘ ~ td2tT = 1. Оче-
видно, что такое же соотношение справедливо для эллипсов
td2tT — с и td2tl — с. По это означает, что равенство td2tT = с
влечет за собой td2tq = с td22tT. Утверждение в обратную сто-
рону доказывается точно так же. <1

Важно заметить теперь, что, в отличие от одномерного слу-
чая, сравнение рассеиваний распределений с помощью матриц
вторых моментов устанавливает лишь частичный порядок па
.. „	7	/1 0\

множестве всех распределении. Например, матрицы 6^ = К 11
,	/2 0\

а2 = I J пе лучше и пе хуже одна другой, так как для век-
тора а = (1, 0) (6) справедливо, а для вектора а = (0, 1) неравен-
ство будет обратным. Это существенное неудобство введенного
порядка, хотя сам но себе он сомнений не вызывает.
Мы можем сделать множество оценок (или множество рас-
пределений) вполне упорядоченным, если будем сравнивать, ска-
жем, М | 0* — 0(2, где Ы есть евклидова норма в /С, так что

ъ

Mj0*-0|2-M2 (О* - G;)2.	(10)

i=l

Такой способ упорядочивания является уже спорным, так как в
разных обстоятельствах точность по различным направлениям
может цениться по-разному. Чтобы как-то учесть это обстоятель-
ство, можно в качестве обобщения рассматривать меру точности
i?(0*) = М (0* — 0) V (0* — 0)г,

где V — неотрицательно определенная матрица (случай (10) со-
ответствует V — Е).

Из леммы 1 следует, что если рассеивание ©Г около 0 мень-
ше, чем рассеивание 0*, то v(0*)< г(02 ). Обратное, вообще го-
воря, неверно — выполнение неравенства ^(0i)<^t;(©2) для ка- .
кой-нибудь одной матрицы V (предложенный выше полный поря-
док основан па фиксированной матрице) не означает еще, что
рассеивание ©i около 0 меньше, чем рассеивание 02.

Перейдем теперь к рассмотрению важного параметрического
случая, когда оцениваются неизвестные параметры распределе-
ний из параметрических семейств.

§ 8.	Сравнение оценок в параметрическом случае.
Эффективные оценки

В предыдущем параграфе мы выделили два подхода (средне-
квадратичный и асимптотический) к сравнению качества оценок.
Введем теперь некоторые понятия, связанные с этими подходами
в параметрическом случае, когда распределение выборки X при-
надлежит некоторому семейству'^ = {Ре}. Символами Мо и Do
мы обозначаем, как и прежде, математическое ожидание и дис-
персию по распределению Р6.

1.	Одномерный случай. Напомним, что в соответствии со сред-
пеквадратическим подходом мы должны говорить, что ©Г лучше,
чем 02, если

(6)	= Мо (е; - е)2 < Мо (о: - е)2 = </.2 (е>.	<i>

По в параметрическом случае (0), Z = 1, 2, суть функции
от 0, и мы должны говорить «0Х лучше 02 в точке 0», если
d1(0)<</2(0).

Аналогичным образом дело обстоит при использовании асимп-
тотического подхода, когда сравниваются а. и. оценки при боль-
ших объемах выборки п путем сравнения их предельных рас-
пре делений. Оценка 0* считается лучше, чем 0*, в точке 0, если
в соотношениях	<

(9?-е)	z = i,2,	(2)

справедливо оДб) <о2(0)*).

Таким образом, в обоих случаях задача сравнения оценок
приводит к вопросу о сравнении функций, скажем, <Zz(0), 0^0.
Это множество неупорядоченное, и в классе всех оценок можно
ввести частичный порядок следующим образом.

Правило 1. Оценка 0* лучше, чем 0*» если dt(0) d2(0)
(или соответственно щ(0)	б2(0)) при всех 6е0и хотя бы для

одного 6 выполняется строгое неравенство d,(0) < d2(0).

Если оценка 0* такова, что для нее существует оценка 6ц
которая лучше, чем 0*, то в таких случаях говорят, что 6* —
недопустимая оценка.

Остановимся сначала на среднеквадратичсском подходе в од-
номерном случае и рассмотрим существующие тут -возможности
сравнивать оценки. Прежде всего, следует отметить, что наилуч-
шей оценки в смысле приведенного определения, вообще говоря,
не существует. То есть не существует оценки 0* такой, что для
любой другой оценки ©i справедливо неравенство d(0).^c?i(0),
где ^(0) определено в (1), d(0) соответствует 6*.

Действительно, если взять оценку 0Х 0г = const е 0, то

(6) — Me (©Г — 0)2 =. 0 ’ при 0 = 0Ъ и для нанлучшей оценки
0* (если бы такая существовала) будет выполниться d2 (0J =»
= Мех (0* — 0J2 = 0. Поскольку 0t произвольно, то d2(Q) 0. По
это возможно лишь в «вырожденном» случае, когда наблюдения
однозначно определяют значение параметра 0. Например, когда
Х^1() или	Ue,е+1 и 0 = {1, 2, ...}.

Таким образом, нижняя огибающая всех функций d2(0) равна
пулю, по в «невырожденных» случаях пи для какой оценки О*
эта функция не реализуется.

Задачу можно сделать более содержательной, если искать
наилучшие оценки 0* в тех или иных подклассах оценок, которые
выбираются достаточно разумным образом. Одним из возможных
способов выделения таких подклассов является фиксирование
смещения Ы0).

Определение 1. Оценка 0о К называется эффективной
в классе К, если для любой другой оценки Q* К Ме(Оо — б)2^
Me (6* — 0)2 при всех 0G0.

Особую роль играет класс Ко несмещенных оценок — это
класс оценок, для которых Ь(0) = 0.

*) Мы уже отмечали, что в широком классе случаев d2 (0) — п~+
+ о(«"-1). Однако из определений чисел (0) и (0) это не следует.
Эффективные оценки в классе KQ — {0*: М^О* = 0} несме-
щенных оценок называются просто эффективными. Так что эф-
фективные оценки — это несмещенные оценки с минимальной
дисперсией.

Само по себе свойство несмещенности, как уже отмечалось,
является несомненно желательным, так как оно означает отсут-
ствие систематической погрешности при использовании оценки.

Вопрос о существовании оценок с данным смешением 6(0) (в
частности, несмещенных оценок) сводится к разрешимости ин-
тегрального уравнения относительно g(a?):

Jg(®)Pe(X ей®) = 0 4-6(9)',	(3)

где gtX) — 0*; левая часть этого уравнения представляет собой
Ме0*.

п

Если выполнено "условие и /0 (,r) = JJ /е (.г j) есть функ-
i=i

ция правдоподобия, то уравнение принимает вид

J g (ж) fe («) и“ (dx) = 9 + Ь (9).	(4)

Следует отметить, что решение (4) для заданной 6(0) существует
далеко не всегда, и, в частности, не для всех семейств {Ре} суще-
ствуют несмещенные оценки параметра 0. Рассмотрим, например,
схему Бернулли с неизвестным параметром р (вероятностью ис-
хода {xi —1}) и допустим, что нам надо оцепить параметр 0 =
= (р(р), где ср — заданная функция. Тогда уравнение (4) для не-
смещенной оценки будет иметь вид

2 g (ж) /е (ж) = О

или, что то же,
2б(А)/(1-?Г=Ф(р),	:	(5)

fc=o

где G(k) = 2 g(^), А есть множество точек х, у которых к
x^Ah

координат равны 1. Но левая часть (5) есть полином от р степе-
ни п. Это означает, что уравнение (5) может быть разрешимо,
если только <р(р) есть полином степени не выше п.

Рассмотрим теперь класс Кь оценок с фиксированным смеще-
нием 6(6) и допустим, что существует эффективная в Кь оценка.

Теорема 1. Эффективная в Кь оценка единственна с точ--
•ностью до значений на множестве	для которого РеС4) =

= 0 при всех 0 е 0, .
Доказательство. 1 Густь ©о,	— две эффективные в Ка

оценки. Обозначим

o = D„or, д, = оГ-е, е* -°" j"-1, z = o,i.

Так как

Мо+М2 ,

A А	($)

-Ц_1_=о*-0, д0 - а, = о0* - 0Х*.

то

ме (0* - 0)! +1 мв (о„‘ - еЦ’- = D + Ь’- (0).	(7)

Но 6* (= Кь, и, стало быть, Me (6* — 0)2^/J + Ь2(0).

Пз (7) вы-

текает тогда, что ,

Ме(е„‘-01’)’-<О,

01 — оо п. в.*). <]

Проведенное обсуждение проблемы сравнения оценок относи-
лось к средпеквадратпческому подходу. К нему же относится но
существу и следующее

Определение 2. Оцепка 0t е К называется асимптоти-
чески эффективной (а. э.) в К, если при п -> оо для любой другой
оценки 6* из К и каждого 0 е 0

lim sup

7l-»00

МеК-ВУ
Ме (6* — О)’2

<1.

(«)

Мы перейдем теперь к асимптотическому подходу, с которым
определение 2 также тесно связано. Задача здесь, как и прежде,
состоит в сравнении функций о(0), характеризующих предельное

*) Справедливо следующее утверждение, обобщающее в известном
смысле теорему 1. Если 0q— эффективная в Къ, а 0* — произвольная в
Кь оцепка, так что h — De0*/DoO* ^1, то коэффициент корреляции
р(О0*, б*') между оценками 0* и 0* равен

p(0j, о*) = Ул.

Доказательство читатель может провести самостоятельно, убедившись,
чго при р(0*,	11 соответствующем выборе а оценка

0* — (1 — а) 0* + а0* е= Кь

будет удовлетворять неравенству Do0* < Dt,0*, противоречащему эффек-
тивности 0*.
§ 8]

нормальное распределение, по проблема в целом несколько упро-
щается. Дело прежде всего в том, что сравнение происходит
лишь в классе а. п. оценок, Который мы в дальнейшем будем
обозначать КФ. Этот класс КФ мы можем немного сузить, но су-
ществу не обедняя его. Именно, мы будем рассматривать класс
КФ< 2 <= Кф а. и. оценок 0*, обладающих тем свойством, что для
них сходимость

(О*-0) /п^>Фм2(в)

происходит вместе с двумя первыми моментами:

Мв(6*-е) /п->0, Ме(е*-е)2п->а2(0).	(9)

Отметим, что первое из этих двух соотношений нетрудно полу-
чить из второго с помощью теоремы непрерывности для момен-
тов (§ 1.5).

Сужение КФ до класса КФ, 2 мало обедняет первый из этих
классов по двум причинам. Во-первых, а. п. оценки, в которых
(9) нарушено, практически пе встречаются (мы отмечали, что
для этого обычно нужны искусственные построения). Во-вторых,
для 0* Кф по лемме Фату

lim inf Men (0* — 0)2 о2 (0)

П-»оо

(мы имеем дело с интегралами от неотрицательных функций),
так что Меп(0* — 6)2 прн больших п может отличаться от о2(0)
лишь в сторону больших значений. По оценки с таким свойством
вряд ли могут конкурировать с оценками, для которых (9) вы-
полнено.

Таким образом, при асимптотическом подходе мы можем в
качестве класса а. п. оценок, в котором производится сравнение,
рассматривать класс К®, 2. Он будет для пас удобнее.

Пусть К — некоторый класс оценок, такой что К с= Кф, 2. Тог-
да следующее определение будет эквивалентным определению 2.

Определение 3. Оцепка 01 <= К называется асимптоти-
чески эффективной в К, если для любом другой оценки 0* е К

oi(e)<o2(0)	(Ю)

при всех 0е0, где о2(0) мО1(0)—коэффициенты рассеивания©*
и 0* соответственно.

Эквивалентность определений вытекает из того, что для 0*
Кф< 2

Мо (0* — 0)2 =	(1 + г„ (0)), гп (0) -> 0 при п->- ОО.

В этом случае соотношение (8), означающее, что

мв(еГ-0)’<мв(0* -0)2(i + 4(0)), 4(0)->-о,

для любой	очевидно, эквивалентно неравенству (10). <1
Упомянутое ранее некоторое упрощение проблемы сравнения
при асимптотическом подходе состоит в том, что здесь мы срав-
ниваем лишь дисперсии предельных законов. Роль смещения
Ы0) оценок здесь исчезает, поскольку в классе К®, 8 в силу (9)
выполняется соотношение Ь(0) = о(1/Ун), означающее «почти не-
смещенность» оценок или «асимптотическую препебрегаемость»
смещения с точки зрения соотношений (2).

Аналогично теореме 1 может быть получена

Теорема 2. Пусть К <= КФ12. Тогда, если 9* и 0* — две а. э.
оценки в К, такие что + 0*)е/г, то они асимптотически
совпадают, т. е.

/й(еГ-е:)->о, м0[К«(оГ-е;)р-*о.

Доказательство. Нам достаточно установить второе со-
отношение, так как первое из него следует. Пусть

о* л о*

м11П = мепW - о)2,' а, = е? - е* =  12 -, i = i, 2.

Тогда на основании (6) получаем

Men (0* - в)2 + 4- Men (о* - 02 У “ ОА.„ + ЛЬ,„)/2.	(11)

Но 0* <= К и, стало быть, после перехода к пределу в последнем
равенстве мы получим в силу асимптотической эффективности 0*
lim Меп(0Г-е;)2<О. <

Приведенные выше рассмотрения содержали лишь один из
возможных путей выделения оценок’ (в пашем случае — эффек-
тивных оценок), которые по ряду естественных соображений сле-
дует предпочесть другим. Однако возможны, конечно, п иные
подходы (напомним, что нам приходится сравппвать неупорядо-
ченные элементы.— функции d(0) или о(0)). Поскольку оценок
с наменыпим при каждом 0 возможным значением d(0), вообще
говоря, не существует, то можно сравнивать, скажем, средние
значения J d(t) q(t) dt, где	j q(t)dt i, или макси-

мальные значения max d(0). Это есть способы упорядочивания
ее о
множества всех оценок.

Первый из этих двух способов мы назовем позже байесовским,
второй — минимаксным. Байесовские и минимаксные оптималь-
ные оценки будут рассмотрены памп в § 11, эффективные оцен-
ки — в более поздних параграфах.

Более подробно проблема выбора оценок будет рассматривать-
сяв продолжении этой книги (см. предисловие).
2. Многомерный случай. Рассмотрим теперь случай, когда
О и 0* есть векторы из Rh. Здесь задача сравнения оценок ста-
новится труднее. Дело в том, что в многомерном случае нам
пришлось ввести частичный порядок уже для сравнения оценок
при фиксированном 0. Для сравнения оценок на всем множестве
0, как и в одномерном случае, также приходится вводить частич-
ный порядок, но уже «в другом направлении» (ведь в основе
сравнения лежит среднеквадратическое уклонение, которое есть
функция двух переменных: 0 и вектора а, на который проекти-
руется уклонение 0* — 0).

Наилучшие оценки в «обоих направлениях» и составляют
предмет следующих определений.

О пр е д е л е и и е 4. Оценка 0О является эффективной в клас-
се К, если для любой оценки 0* из К средпеквадратическое рас-
сеивание 0* около 0 при всех 0^0 пе меньше, чем рассеива-
ние 0*.

Это определение эквивалентно следующему.

Векторная оценка 0о параметра 0 эффективна в К, если для
любого вектора а оценка а* — (©□, а) является эффективной
оценкой скалярного параметра а => (0, а) в классе оценок а* »=
= (0*, а), 0* *= К, т. е. если при всех 0 s 0, R\ 0* е К

Ме (0* - 6, а)2 < Мо (0* - 0, а)2.	(12)

Как мы уже видели, это неравенство эквивалентным образом
записывается в виде d2 (0) d* (0) или

2 (°) < 2

i,j	i.j

при всех 0 €= 0, a e где <f<6) = нъ(е)| и =
матрицы вторых моментов 0* — 0 и 0О — 0 соответственно.

Эффективные оценки в классе Ко несмещенных оценок назы-
ваются просто эффективными.

Поскольку определение (12) эффективности строится па ис-
пользовании одномерного случая, то из теоремы 1 нетрудно уста-
новить, что эффективная оценка в классе Кь оценок с фиксиро-
ванным смещением Ь(0) — М0* — 0 единственна.

Определение а. э. оценок в многомерном случае аналогично
определениям 2, 3.

Определение 5. Векторная оценка 01 параметра 0 асимп-
тотически эффективна в К, если для любого вектора а оценка
(©Г, а) является а. э. оценкой скалярного параметра а=(0, а)
в классе оценок а* = (0*, а), 0* = К.

Другими словами (см. §7)^ среднеквадратическое рассеива-
ние предельного распределения (0*—0)1^» для а.э. оценки яв-
ляется наименьшим. Это, в свою очередь, означает, что для лю-
бых 6* е 7к, (? Е 0^0 выполняется (0) с2 (0), или

2	(0) ала} < 2 °ij (0)

где о2 (0) = || (Jij (0) ||, of (0) = || Оу5 (0)Ц суть соответственно мат-
рицы вторых моментов предельных распределений (0* — 0) V п
и (0* — 0) п.

Из рассмотрений предыдущего параграфа можно заключить,
что множество оценок в многомерном случае при фиксированном
0 можно сделать упорядоченным, если качество оценки измерять
количеством (при средпеквадратическом подходе)

v (0*) = Ме (0* — 0) F (0* - 0)г = v (0*, 0),	(13)

где V — неотрицательно определенная матрица. Аналогичное ко-
личество, связанное с матрицей вторых моментов предельного
нормального распределения, можно рассматривать и при асимп-
тотическом подходе в классе КФ 2.

Двигаясь дальше по этому пути, можно сделать вполне упо-
рядоченным множество всех оценок и на всем множестве 0»
Именно, можно производить сравнение средних

У v (0*, i) д (i) dt, $(£)^0, §g(t)dt~l,

или максимальных niaxr(0*, t) значений количеств и(0*, 0),
te-o

определенных в (13).

Если окажется, что оценка, наилучшая при таком подходе,
будет оставаться наплучшей при любой неотрицательно опреде-
ленной матрице V, то это будет означать, в силу леммы 7.1, что
эта оценка будет наилучшей и в смысле частичного порядка,
установленного в1 § 7 (т. е. усредненное средпеквадратическое
уклонение будет наименьшим в любом направлении).

Чтобы строить оценки, оптимальные в смысле определений,
рассмотренных в этом параграфе, нам понадобятся понятия и
свойства условных математических ожиданий и достаточных ста-
тистик.

§ 9. Условные математические ожидания

В этом параграфе мы напомним определение и основные
свойства условных математических ожиданий (у. м. о.). Более
полное изложение см. в Приложении III, а также в [11], [22],
129], [43], [79].

1. Определение у. м. о. Пусть S, п ц есть две случайные вели-
чины, заданные па вероятностном пространстве (й,	Р).

Условное математическое ожидание М (&/В) случайной вели-
чины | относительно события В, Р(В)>0, определяется
равенством

М(5/В) = -!^^-,	О)

где М (|; В) -= | £ dP = М (1ЛвХ /в = ht (<'>) есть случайная ве-
В

личина, равная индикатору множества В.

Допустим, что £ и ц независимы, В = {т)=ж} и Р(В)>0. Тог-
да для любой измеримой функции ф(.г, у) согласно (1)

...	. т Мф(£.1)П{	>	М<р(£,х)/{	}

М 1ч>(L Т))/Ч = *1 = —р(||=.д.) — =   Р(<!=-.г)	= Мф(Lг

(2)

Последнее равенство справедливо, так как случайные величины
ф(£, х) и 1{п-.х} как функции соответственно от £ и ц независимы
и, стало быть,

Мер (|, г) Ц1}Х} = М<р ($, .г) М/ц^х} = Мф (£, х) Р (ц = х).

Соотношения (2) показывают, что понятие у. м.о. может со-
хранять свой смысл и в случае, когда вероятность условия рав-
на 0 — ведь само по себе равенство

М |ф (s, ц)/»] = х) = Мф (£, х)

для независимых £ и ц представляется естественным и с пред-
положением Р(ц ==> х) > 0 никак не связано.

Пусть SI есть о-подалгебра Мы определим теперь понятие
у. м. б. случайной величины £ относительно St, которое будем обо-
значать М (£/9t). Определение мы дадим сначала для «дискрет-
ного» случая, но так, чтобы оно легко обобщалось.

«Дискретным» мы называем случай, когда о-алгебра §1 обра-
зована (порождена) не более чем счетной последовательностью
нёпересекающихся событий Ah А2, ...; иЛ,= Й, Р(Л,)>0. Этот
факт мы записываем в виде §1 — о(Аь Л2, ...), он означает, что
элементами И являются всевозможные объединения множеств
At, Аг, ,,.

С помощью случайной величины £ и системы событий (/1t7
Аг, ...) построим новую случайную величину £=»|(<о) следую-
щим образом:

г \лъ)

Другими словами,

ПрИ (О е /1ft,

/с - 1,2, ...

— V М т

Р(Лл)

где 1Л есть индикатор множества А.
Определение 1. Случайная величина £, называется у. м.о.
£ относительно о-алгебры St и обозначается М (£/$1).

Таким образом, в отличие от обычных математических ожи-
даний, у. м.о. М (^/St) есть случайная величина. В нашем случае
она постоянна па множествах Аь и равна па этих множествах
усреднению £ по Ah. Если £ и независимы (т. е. Р(£ е В; Ah) —'
= Р(£ Z?)P(Ab)), то, очевидно, М (£; А) = М£Р(Лй) и £ = ML

Если же 9t = $r, то $ тоже «дискретна», £ постоянна на мно-
жествах Ah и, стало быть, £ — %.

Отметим следующие два основные свойства у. м.о.:

1)	£ измерима относительно §1.

2)	Для любого события Л

M(L Л) = М(£*Л).

Первое свойство очевидно. Второе следует из того, что любое
событие А представимо' в виде А = J Aj. и, стало быть,
h R

М (f; Л) = 2 М (1; АД = Р (АД = 2 М (|; АД = М (В; А),
h	к	к

Это свойство довольно ясно: усреднение по множеству А величи-
ны £ дает тот же результат, что усреднение уже усредненной по
Ajh величины %.

Лемма 1. Свойства 1), 2) однозначно определяют у. м. о. и
эквивалентны определению 1.

Доказательство. В одну сторону утверждение леммы
уже доказано. Пусть теперь выполнены .условия 1, 2. Измери-
мость £ относительно St означает, что 5, постоянна на множествах
Ah. Обозначим значение £ па через ук. Так как Ак<^%, то из
свойства 2 следует, что

M(t;A) = ^P(A)-M(L Ah)

и, стало быть, при со <^Ак	.

мд; А) .

 “у‘	₽(А)  <

Теперь мы можем дать общее определение у. м. о.

Определенпе 2. Пусть £ есть случайная величина па ве-
роятностном пространстве (Q, Р) и есть о-подалгсбра
Условным математическим ожиданием § относительно 01 называ-
ется случайная величина %, обозначаемая М которая обла-
дает следующими двумя свойствами:

1)	t, измерима относительно §1.

2)	Для всякого А «= справедливо М (£; А) ~ М (£; А).

В этом определении случайная величина £ может быть как
скалярной, так и векторной.
Сразу возникают вопросы: существует ли такая величина £,
и единстве а па ли она? В «дискретном» случае мы видели, что
ответ на эти вопросы положителен. В общем случае справедлива

Теорема 1. Если М [ £ | конечно, то функция £ = М (£/51)
в определении 2 всегда существует и единственна с точностью
до значений на множестве вероятности нуль.

Доказательство. Предположим сначала, что £ скалярпа,
£ > 0. Тогда функция множества

Q(4) = j£dP=M(i;4), Лей,

А

будет мерой на (Q, §1), которая абсолютно непрерывна относи^
тельпо Р, поскольку Р(А)=0 влечет за собой QC4) = 0. Следова-
тельно, по теореме Радона — Никодима ([11], Приложение 3)
существует ^-измеримая функция £ = М (£/51), единственная с
точностью до значений на множестве меры нуль, такая что

Q(^)=ftdP.

А

В общем случае положим £ = £+ — £“, £+ — max (0, £) > 0,
•£“ = max (0, —%) > 0,

f=r-r,

где £* — У» и. °- для Этим доказано существование у. м. о., так
как £ будет удовлетворять условиям 1), 2) определения 2. Отсю-
да же следует и единственность, так как предположение о не-
единственности £ будет означать неединственность £+ или £“. До-
казательство для векторных £ сводится к одномерному случаю,
так как свойствами 1), 2) будут обладать координаты £, существо-
вание и единственность которых нами доказана. ’<

Существо проведенного доказательства достаточно прозрачно:
ведь по условию 2 для всякого Ле? 51 задано M(£;A) = J £dP,

А

т. е. заданы значения интегралов от £ по всем множествам Л — 51.
Ясно, что это должно определять 51-измеримую функцию £ одно-
значно с точностью до значений на множестве меры 0.

Смысл М (£/51) остается прежним — грубо говоря, это есть
усреднение £ по ^неделимым» элементам 51.

Если 51 = S, то, очевидно, £ = £ удовлетворяет свойствам 1), 2)
и, стало быть, М (£/^) = £.

Определение 3. Пусть £ и ц — случайные величины на
(Q,	Р), 51 = о(ц) есть о-алгебра, порожденная случайной вели-

чиной т). Тогда М(£/51) называется также условным математиче-
ским ожиданием величины £ относительно т].

8 А. А. Беровков
Иногда ради упрощения записи мы будем вместо М (|/а (ц))
писать М (£/ц). Это не приводит к недоразумениям.

Так как М (1/р) по определению есть о(ц)-измеримая случай-
ная величина, то это означает (см. [11], стр. 65), что существует
измеримая функция g(x), для которой

М(ё/11) = £(Ц).	(3)

Но аналогии с дискретным случаем, мы можем истолковывать
здесь величину g/х) как результат усреднения £ по множеству
{т) = х). (Напомним, что в дискретном случае g(x) — М (|/Ц = #).)

Определение 4. Если § = 1С есть индикатор множества
то М (I с/%) будет называться условной вероятностью
V(C/%) события С относительно 9(. Если 91==о(ц), то мы будем
говорить'об условной вероятности Р(С/г|) события С относи-
тельно щ

2.	Свойства у. м. о.

1)	У.м.о. обладает свойствами обычных математических ожи-
даний (см. [111, стр 75) с той лишь разницей, что они выполня-
ются почти'наверное (с вероятностью 1):

la) М (&,/%) = еМ (Д/%), если с = const,

lb) М (ВА + ^!%) - М (£/91) + М (12.'%),

1с) если п- н-’ ma М (ё]/®)=С М (£>

2)	Справедливо неравенство типа Чебышева: если § вещест-
венна, £	0, то для любого х > О

P(g>^)<-M(^—»

Это соотношение между у.м.о., как и равенства п. 1, выпол-
няется п. н. Такое же соглашение будет справедливо в дальней-
шем для всех соотношений между у. м. о.

3)	Если а-алгебры 91 и о(^) независимы, то М (£/й) = М£.

Отсюда следует, в частности, что если £ и т] независимы, то
M(Vn) = M£. Если о-алгебра 91 тривиальна, то, очевидно, мы
также получим М (fe/9() = М§.

4)	Для у. м. о. верны теоремы сходимости, справедливые для
обычных математических ожиданий, например, теорема о моно-
тонной сходимости: если t с, > 0, то М (Дп/%) f М (Д/%) п. н.

5)	Если ц скалярна и измерима относительно 91, М|£|<оо,
М|^|< оо, то

М (пс/91) = цМ (§/91).

Другими словами, 91-измеримые случайные величины ведут
себя относительно операции у.м.о. как постоянные (ср. со свой-
ством 1а).

6)	Для у. м. о. остаются справедливыми все основные неравен-
ства для обычных математических ожиданий, в частности,
неравенство Коши — Буняковского

м (1	|/Я) < [м (й/«) м (Ц/и)]1/3,

и неравенство Иенсепа: если М|£|<^оо> то для любой выпуклой
вниз функции g(x)

g(M (B/3l))<M(g(B)/8l).

7)	Формула полной вероятности (свойство 2 определения 2
при А — Q)

МВ = ММ (В/31).

8)	Последовательное усреднение (обобщение’ свойства 7)):
если $1 <= 311 <= то

м(в/зо=м(м (B/sq/sq.

Доказательство этих свойств можно найти в Приложении III.

Очевидно, что свойства 1), 3)—5), 7), 8) справедливы как для
скалярных, так и для векторных случайных величин В- Следую-
щее свойство у. м. о. мы выделим особо.

9)	Известно, что функция Ф (с) = М (В — а)2 достигает своего
минимума при а = МВ (см., например, [111). Аналогичное свой-
ство справедливо и. для у.м.о.: при a (to) = М (В/31) достигается
минимум М (В— а (со))2 среди всех ^.-измеримых функций а(со).

Действительно, М (В — а (со))2 = ММ ((В — а (со))2/51), но а(со)
ведет себя как постоянная относительно операции М (• /31) (см.
свойство 5)), так что

М ((В - a (co))2/3l) = М ((В — М (B/5l))2/3t) + М ((М (В/31) - а (со))2/§1),

и минимум этого выражения достигается при а (со) = М (В/51).
Это свойство можно рассматривать как определение у. м. о., экви-
валентное определению 2. Согласно нему М (В/31) можно трак-
товать как «проекцию» В на

Свойство 9) допускает следующее обобщение на многомерный
случай, когда В ~ (Вс» • • •» В») есть случайный вектор в /С.

9А) Пусть V — Пр<>11 — произвольная неотрицательно опреде-
ленная матрица размера sXs, Hs,

B(a) = (B-a)V(B~a)T

(в частности, при V — E мы получим £(а) = IB — al2). Тогда на
функции a (со) ~ М (В/31) достигается минимум min МВ (а) по
,	«ел

классу А всех ^.-измеримых функций.

Доказательство этого факта протекает так же, как и в
одномерном случае. Обозначим a = М (В/31). Тогда МВ(а) =
= MM(B(a)/Sl),
М (£ («)/Я) = М ((5 - а) У(5 - а)7я) =

= М (<Е - «) V К - a)7«) + М ((а - а) V (| - а)7») +

+ М (U - а) V (а - а)7и) + М ((а - а) V (а - e)7«). (4)
Так как а —а есть Sl-измеримый вектор, то по свойству 5)

М ((а - а) V (5 - а)7и) = (а - а) УМ ((с - а)7») = О,

М ((I - а) V (а - я)7я) = [М ((? - а)/Я)] V (а - «)’’ = 0.

Поскольку последнее слагаемое в (4) неотрицательно и равно ну-
лю при а — а, то утверждение доказано. <]

§ 10.	Условные распределения

Наряду с у. м. о. можно рассматривать условные распределе-
ния относительно о-подалгебр н относительно случайных величин.
В этом параграфе мы остановимся лишь на последних.

Пусть £ и ц— две случайные величины па (Q, £?, Р) со значе-
ниями, соответственно, в R3 и R\ и S3s — о-алгебра борелевских
множеств из Rs.

Определение 1. Функция Р(В/у) двух переменных у е R\
В ей' называется условным распределением £ при условии т) = у,
если

1)	При каждом В Р(Л/ц) есть условная вероятность Р(£е
^В/т\) события	относительно ц, т. е. Р(В/у) есть борелев-

ская функция от у такая, что для любого А е

М (Р (P/ti); n е А) == J Р (Bly) Р (rj е= dy) = Р (£ е В, ц е А).

А

2)	При каждом у P(Bly') ость распределение вероятностей
по В.

Функцию Р(В/у) мы будем иногда записывать в более «рас-
шифрованной форме» в виде

РВД = Р(^В/Т] = 1/).

Мы знаем, что для каждого В е 59s существует борелевская
функция gB(y) такая, что §в(г)) = Р(£ s В/т\). Таким образом, по-
ложив Р(В/^) = gB(y), мы удовлетворим условию 1) определе-
ния 1. Однако условие 2) при этом из свойств у.м.о. никак не
следует и выполняться совсем не обязапо — ведь условная веро-
ятность Р(£е/?/г]) определена при каждом В с точностью до
значений на множестве NB меры нуль (так что существует мпого
вариантов у. м. о.), и это множество может быть своим для каж-
дого В. Поэтому, если объединение N = U NB имеет пе пуле-
вую вероятность, то может оказаться, что, например, равенства

i Р(£ е Z?, II Вэ/т]) = е 5/ц) + P(tе 52/П)

(аддитивность вероятности) сразу для всех пепересекающихся
Bi, В2 из S3’ не выполняются ни для одного со из Д', т. е. на со-
множестве N положительной вероятности функция gB(y) не бу-
дет распределением как функция В.

Однако в нашем случае, когда £ есть случайная величина со
значениями в Rs с с-алгеброй борелевских множеств S®, £в(ц) —
— Р(£ е В/ц) всегда можно выбрать таким образом, что gB(y) бу-
дет условным распределением (см. [22], [29]).

Как и следовало ожидать, условные распределения обладают
тем естественным свойством, что у. м. о. выражаются в виде ин-
тегралов по условным распределениям.

Теорема 1. Для любой измеримой функции g(x), отобра-
жающей R3 в R, такой что М |g(£) ! < сю, справедливо равенство

М (g (£)/ц) = J g (ж) Р (dxlxfi.	(1)

Доказательство. Достаточно рассмотреть случай, когда
g(x) 0. Если g(x)—IA(x) есть индикатор множества А, то фор-
мула (1), очевидно, верна. Стало быть, она верна для любой про-
стой функции gn(x) (т. е. для функции, принимающей конечное
число значений). Остается взять последовательность gn t g и вос-
пользоваться монотонностью обеих частей в (1) и свойством 4)
§ 9. О

В реальных задачах для подсчета условных распределений
часто можно пользоваться следующим простым правилом, кото-
рое для наглядности мы запишем в форме

Р (| €= В/х\ = у) = --Р-dy) • '	(2)

1	р (?) е dy)	' 1

Очевидно, что формально оба условия определения 1 будут удов-
летворены.

Если £ и ц имеют плотность распределения, то этому равен-
ству будет придан точный смысл.

Определение 2. Пусть условное распределение Р(В/у)
при каждом у абсолютно непрерывно относительно некоторой ме-
ры ц в R3i

Р (£ е В/ц = у) =» J / (х/у) ц (dx).
в

Тогда плотность f(x/y) называется условной плотностью £ (отно-
сительно меры р,) при условии ц = у.

Другими словами, измеримая по паре переменных х, у функ-
ция f(x/y) есть условная плотность £ при условии ц — у, если
- 1) Для любых борелсвских множеств A czRht B<^RS

f J /(^)y(^)P(n e dy) = B, ijG 4).	(3)

VGAxeB

2) При каждом у функция /(ж/z/) есть плотность распределе-
ния вероятностей.

Из теоремы 1 вытекает, что если существует условная плот-
ность, то

М(£ О1!) — J g (х) / (я/п) у (dx).

Если предположить дополнительно, что распределение ц име-
ет плотность q(y) относительно некоторой меры А в R\ то (3)
можно записать в виде

J f f(x/y)q(y)n(dx)k(dy) = Р (5 е/?, i| е Л).	(4)

t/GA XSB

Рассмотрим теперь прямое произведение пространств R* и Rk
и на нем прямое произведение мер у, ХА (если С = ВХА, В
<=/?*, A^R!i, то у X А(С) = у(2?)А(4)). В этом пространстве соот-
ношение (4) означает, очевидно, что совместное распределение
£ и ц в Вя X Rh имеет плотность относительно у X А, равную

у) = f(x/y)q(y).

Справедливо и обратное утверждение.

Теорема 2. Если совместное распределение £ и т| в RgX Rh
имеет плотность j(x, у) относительно у X А, то функция

t	» где = у) И ОН,

есть условная плотность £ при условии т\ — у, а функция q(y)
есть плотность т] относительно меры X.

Доказательство. Утверждение теоремы относительно q(y)
очевидно, так как J q (у) A (dy) P(i| е Л). Остается заметить,

А

что f(x/y) = j(x, y)Zq(y') удовлетворяет всем условиям в опреде-
лении 2 условной плотности (равенство (4), эквивалентное (3),
выполнено очевидным образом). <

Замечание 1. Случайные величины и Т) в теореме 2
можно поменять местами. Тогда мы получим, что наряду с,
f(x/y) существует условная плотность

9(y/4 = 2fer-. /(*) = [/(*.»)*(<*!/).

случайной величины т) при условии £ = х. Это простое следствие'
теоремы 2 будет играть существенную роль в последующем из-
ложении. Применительно к задачам статистики оно позволят-
нам в следующем параграфе получить формулу Байеса, которая
будет затем часто использоваться па протяжении всего курса.

Пример 1. Пусть Фаду2 есть двумерное нормальное рас-
пределение величии gi и |2, где сс ~ (ап а2), ос, =	, о2 = || Оу ||,

<4? = М (£,• — Wj) (£; — <zj), j, j = 1, 2. Определитель матрицы вто-
рых моментов равен

k21 = ^11^22 — Qi2 = <7n<722 (1 — Р2),

где р есть коэффициент корреляции между и £2. Таким обра-
зом, если Ipl =0=1, то матрица вторых моментов пе вырождена и
для нее существует'обратная матрица

А = (о2)"1 = -Д
I ° I

р

V аиа22

1

Стало быть, совместная плотность и (относительно меры
Лебега) равна (см. § 2)

/ (*, У) =--------~	----- X

2лап°22 И 1 - р-

-,J	1	(*-к,)2	2р(.т-И|)(.у-к,) , (»-<*2)=]|

Р| 2(1-рг)[ о„	/а„а22	’	°22	]|'

Одномерные плотности и £2 соответственно равны

(s-K-t)2

q = Т/4~~g

V ^22

(1/—а2)3

2(7 2 2

Поэтому условная плотность прп условии £2 = у равна

4 q (у)

1	1	(	Л'1

——-=====ехр, —  -------------— ж — а — pl/ -Л-(р — а2) J;

2ЛОП (1 — р“)	(1 — р)\	Га22	/ J

это есть плотность нормального распределения со средний
«1-Ь Р V — «г) И дисперсией ои(1 — рг). Отсюда следует,
Г °22

в частности, что у м. о. относительно £2 равно

м (?,/а2) = «1 + р - «»)•

Г о

Прямую ^=«1 4-р I/ ——{у — а2) называют линией регрессии

Г G22
на £2. Она дает наилучшие среднеквадратические приближе-
ния величины при данной £2 = у*

Пример 2. Рассмотрим задачу о вычислении плотности слу-
чайной величины | = <р(£, г)),.где £ п ц независимы. Из форму-
лы (3) при А => Rh вытекает, что плотность /(ж) распределения £
выражается через условную плотность f^x/y) равенством

/ И = J / (*/#) Р 01	dy).	(5)

Применительно к рассматриваемой задаче под fix/у) надо по-
нимать плотность случайной величины <р(£, у), поскольку
р(аев/7]=у)=р(ф(?, у)ев).

Формула (5) бывает очень полезной при вычислении распре-
делений различных статистик. Например, в п. 6 § 2 мы могли
бы формулу (2.7) для плотности распределения Фпшера выписы-
вать сразу, а не выводить ее из вида функции распределения.

§ 11. Байесовский и минимаксный подходы
к оцениванию параметров

Суть байесовского подхода состоит в том, что неизвестный
параметр 0 рассматривается как случайная величина с некото-
рой (известной или неизвестной) плотностью распределения q(.t),
относительно меры X, которая, как и мера р. в условии
(Иц), чаще всего будет представлять из себя либо меру Лебега,
либо считающую меру. Плотность q(t) называется априорной,
т. е. данной до эксперимента. Байесовский подход предполагает,
что неизвестный параметр 6 выбран случайным образом нз рас-
пределения с плотностью q{t).

Пусть, далее, ft(^),	0, х<=Я?п, есть функция правдоподо-

бия, введенная нами в § 6. Как мы отмечали, ft(x) при каждом
I есть плотность распределения в Поэтому функция

/('a?, t) — ft(.x)q(td

есть плотность некоторого распределения в 9вп X 0 относитель-
но меры рД X X, которую можно интерпретировать как плотность
совместного распределения X и 0. При таком подходе в силу тео-
ремы 10.2 функция ftAoc), х^%п, есть условная плотность X при
условии 0 =

ft (#) = / (#/0, Meg (X) = М (g (Х)/в).

В этих рассмотрениях формальная сторона дела требует, что-
бы ft(x) была измеримой по t и я функцией. В. дальнейшем
везде, где это потребуется, мы будем предполагать, что это свой-
ство имеет место.

В последующем параметр, как случайную величину, мы везде
будем обозначать через 0, в то время как для фиксированных
значений параметра мы часто будем использовать обозначения
t, и и др., так что

M/g(X) = M(g(X)/9^r).

Наряду с /te/t) мы можем выписать условную плотность
q(t/x) величины 0 при условии X =х:

fAx)q(t)	f

Q (t/x) = 7(#')" ’ №) = J ft («) V (0 (dt) 	(1)

Эта плотность определяет так называемое апостериорное (т. е,
после эксперимента) распределение 0, которое мы будем обозна-
чать Qx- Равенство (1) называется формулой Байеса для плот-
ности апостериорного распределения. В дальнейшем эта формула
будет играть существенную роль.

Свойство 9 у. м. о. применительно к байесовскому случаю
означает следующее: среди всех функций 0* = ср(X) наилучшей
оценкой для 0 (в смысле минимизации М (0 — <р (X))2) является
функция

Oj - М (0/Х) = J tq (t/X) A, (dt) ~ J tqx (dt).	(2)

Определение 1. Оценка 0q, определенная формулами
(2), (1), называется байесовской, соответствующей априорному
распределению Q с плотностью q(t).

Отметим еще раз, что для байесовской оценки безусловное
средпеквадратическое уклонение

М (0* _ 0)2 = ММ ((0* - 0)2/0) = ММе (0* - 0)2 =

	Mf(0*-O2?(0X(rft) (3)

принимает наименьшее возможное значение. Соотношение (3)
показывает, что байесовская оценка минимизирует среднее зна-
чение (с данной весовой функцией qitYkkdt)) величины Mt(6* —
“ О2-	. .

Другими словами, если 0 выбирается случайно, с плотностью
qtt), то байесовская оценка является наилучшей в смысле сред-
неквадратического подхода. Среднеквадратическое уклонение (3)
байесовской оценки можно представить в виде (см. (1))
м (её - е)2 = J М, (0Q - г)2 г (О ь W =

>= У J(« — 0<г)2 ft (®) 9 (0 X (di) ц" (d®)= J Bq J (я) ц” (dx) = Maj v,
где болесть дисперсия апостериорного распределения Qxi

= J (f - е«У ч (г/х) W = f(f - М (0W Qi (dt). (4)
Другой подход к сравнению оценок, который отмечался нами
в § 8, основан на сравнении supMt(0*— t)2, где Геб — задан-
/<=г

ное подмножество 0 (Г либо совпадает с 0, либо равно той его
части, относительно которой удалось установить, что 0еГ).

Определение 2. Оценка 0* называется минимаксной,
если для любой другой оценки 6*

sup М/ (0* —	sup Mt (0* — О2-

/ег	ter

Другими словами, для минимаксной оценки достигается

inf sup Mt (0* — t)2 ~ sup Mt (0* — 02*	(5)

a* isr	ter

Установим некоторые полезные связи между байесовскими и
минимаксными оценками.

Теорема 1. Обозначим через 0q байесовскую оценку для
априорного распределения Q с плотностью q. Если существуют
оценка 0Х и распределение Q, такие что при всех t	. \

М, (б* - i)2 < J (0J - и)2 q (и) К (du),	(6)

то оценка 0* минимаксна.	-

Доказательство. Пусть 0* — любая другая оценка.
Тогда

sup Mt (0* — t)2 J Mt (0* — t)2 q (t) X (dt)

> J м< (ej - q (t) z (dt) > M, (еГ - 0s. <

Заметим, что для почти всех t, принадлежащих носителю
Nq = {t: q(t) > 0} распределения Q, в неравенстве (6) с необхо-
димостью должно выполняться равенство, так как в противном
случае мы получили бы

J Mt (0* - t)2 q (t) A (dt) < J Mt ( 0$ - t)2 q (Z) I (dt),

что противоречит определению байесовской оценки.

Это замечание позволяет нам сформулировать следующий
критерий минимаксности оценки, эквивалентный теореме 1.

Теорема 2. Если оценка 0*

1)	является байесовской для некоторого распределения Q,

2)	Mt (0* — t)2 = с = const при t е Nq,

3)	Mt (0* — 1)2^.с для остальных t,
то 0* является минимаксной оценкой.
Если 6* — 0q = 0* удовлетворяет этому критерию, то, оче-
видно,

sup Mf (0* - О3 == f (0* - Z)2 q (i) X (dt).	(7)

't

Таким образом, минимаксная оценка — это есть байесовская
оценка, которая «выравнивает» погрешности Mt (0* — t)2 при
различных t. Это значит, что априорное распределение Q, соот-
ветствующее этой оценке, заставляет быть одинаково вниматель-
ным ко всем возможным значениям 0, а не ориентироваться, как
это делают байесовские оценки 0q, соответствующие другим ап-
риорным распределениям Q^Q, на какие-то выделенные (более
вероятные) значения 0. Поскольку в последнем случае мы ис-
пользуем дополнительную информацию о 0, то естественно, что
при Q AQ оценки 0q будут обладать меньшими значениями
безусловных средпеквадратических уклонений

J м( (е; - z)2 Q т < J м< (е? -«)! QW.

В связи с этим распределение Q в теореме 2, соответствующее
минимаксной оценке 0*, часто называют наихудшим.

Так как такое наихудшее распределение Q не всегда суще-
ствует (это бывает обычно в случаях, когда 0 — неограниченное
множество), то можно предложить следующий модифицирован-
ный критерий для отыскания минимаксной оценки.

Теорема 3. Если существует оценка 01 и последователь-
ность распределений Q(ft) с плотностями qw такие, что при всех t

М{ (©Г — t)2 <С lim sup J Mt (0Q(k) — t)2 qw (t) 7. (dt),

то оценка 0i — минимаксная.

Доказательство этой теоремы столь же просто. Для лю-
бой оцепкп 0* справедливо

-Sup Mt (0* - о2 > ? М t (0* - t)2 qw (t) x (dt) >

t	J

>Ум,(е^)-02дто («)>-(*).

Отсюда следует, что

sup М( (0* — £)3s> Ит SUP f Mt(Oo(ft) — t)2 qw (t) X (dt)

Пример 1. Пусть Х(=Фад. Выясним, что из себя пред-
ставляет байесовская оценка параметра а с априорным нор-
124

ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ '

[ГЛ. 2

мальным распределением Q(ft) — Ф(01 А). В этом случае мы должны
положить Mdt) = dt,



. 1 e 2\
1/2л/с

Апостериальное распределение будет иметь плотность
g(W(i/X)-, пропорциональную (как функция от i) gw(i)/j(X) или,
что то же, пропорциональную

ex₽{-i-42(xi-o2}.

Из равенства

t2 (1 .	. — .	1 (1 ,	\ (. хп \2 ,	(хп)2

-т1*+’,)+1В| = -2 »+в] f-q—I +-71- \

\ т+п/ ЦТ+В]
следует, что
► -
xnh k *
1+nk’l+nk

Так как байесовская оценка параметра а равна математи-
ческому ожиданию апостериорного распределения, то отсюда по-
лучаем
*	хпк	х

aQW — i^nk —	“•

1 -4---

пк

Дисперсия апостериорного распределения ^(Л) — nf- от

X не зависит. Стало быть, в силу (4) среднеквадратическая
ошибка байесовской оценки равна

к ? 1

• 1 -J- пк п
при к -> с». Поэтому для оценки а* — х имеем

Mf (х — t)2 = А = lim I Mi (%(А) — О2 Q™ (О
П fc-»oo J	4

п, стало быть, по теореме 3 оценка а* = х минимаксна. «Наихуд-
шим» распределением здесь было бы равномерное распределение
на всей прямой («предельное» для Фо>А), если бы таковое су-
ществовало *).

*) Интересно отметить, что оценка а* = х перестает обладать отмечен-
ным свойством, если X есть выборка из многомерного нормального распре-
деления, размерности большей двух (х^е7?\ a Л^З), Подробнее
об этом. см. в [31].
§ И]

БАЙЕСОВСКИЙ И МИНИМАКСНЫЙ ПОДХОДЫ

 В следующем примере множество 0 компактно и «наихуд-
шее» распределение существует.

Пример 2. Пусть Х(= ВР, т. е. х„ 7 = 1, ..п, принимают
значения 1 и О соответственпо с вероятностями р и 1 — р, ре
е0=[О, 11. Как мы знаем, в этом случае для оценки р* = х
справедливо

Мр (х — р)2 = р (1 — р)/п,

так что критерий теоремы 2 пе выполнен.’ Рассмотрим оценку

1

Для нее погрешность

Мр (р* — р)2 = (1 + Т7=-У"2 Мр/х — р +	— -М2 «

\ v п J \	2 [/ п Vп)

_ п f Р(1 —Р) , (1 — 2р)2 \ =	1

(1-4-1/м)2 \ п	4n J 4(1 + -|/п)2

не зависит от р. Если мы убедимся теперь, что оценка (8) явля-
ется байесовской, то мы установим тем самым ее минимаксность.
Рассмотрим априорное распределение Q = Вк+11 л+1, где
есть бэта-распре деление с плотностью Сем. п. 8 § 2)

Г(\ + М
г.(Чг(М



Тогда, поскольку -

А (Х>= Р”'(1 - о»'1-’, q (f) = Jgy + 2)	(1 _ ()„

то апостериорное распределение будет иметь плотность q(t/X),
которая как функция от t будет пропорциональна	или,

что то же, пропорциональна

(1 _ i^+Cl-x)

^+Х71

п

Это означает, что апостериорное распределение совпадает с
Bjv+xn-i i,w+n(i-x)+i’ Так как среднее значение распределения
Вххд2 равно Xi/CZi + Xz) (см. п. .8 § 2), то байесовская оценка
Pq, соответствующая Q, будет равна

* ___ TV -р хп + 1 х -р (7V -р 1)/п

Pq ~ 2N -р п 4- 2 — 1 4- 2 (7V 4- 1)/п’

При 2V + 1 = Улг/2 эта оцепка будет совпадать с оценкой р*, опре-
деленной в (8), и в силу теоремы 2 будет минимаксной. Распре-
деление Q будет наихудшим. Оно концентрируется с ростом п
около «наихудшего» значения параметра р = 1/2, при котором
дисперсия оценки х, равная р(1 — р)/п = 1/(4п), будет макси-
мальна. Сама оценка х не является минимаксной, так как

Р (1 — р) 1___	1

Sp₽ п ~4/2>4(1+у^-

В то же время ясно, что для всех значений р, лежащих вне
узкой окрестности точки р = 1/2, оценка х все же будет лучше,
чем Pq — это будет иметь место для всех р, для которых

Р (1 — Р) < 4(1 + 1/у-)2 •

В общем случае отыскание точных выражений (явных функ-
ций от X) для байесовских и минимаксных оценок не всегда
возможно. Поэтому естественно использовать также асимптоти-
ческий подход.

Прежде чем вводить соответствующие определения, напом-
ним, что байесовские и минимаксные оценки Oq и 6 определя-
лись неравенствами

M(0j-e)2-M(e*-e)2<o,

sup Мг (0* — t)2 — SUP Mi (0* — t)~ < 0
isr	ter

для любой оценки 6*. Было бы неразумно определять асимптоти-
ческую байесовость и минимаксность оценок, просто добавляя к
левым частям знак предельного переходаlim, так как обычно
для а. п. оценок Me (0* — 0)2 ~ <j2(0)M ц левые части в (9) будут
сходиться к пулю. Поэтому естественно рассмотривать, скажем,
отношение слагаемых в (9). Учитывая, что в дальнейшем мы
будем иметь дело главным образом с оценками, для которых
Ме(0* — 0)2 имеет порядок малости 1/п, можно эквивалентным
образом использовать следующее определение.

Определение 3. Оценка 0* называется асимптотически
байесовской или асимптотически минимаксной, если для любой
другой оценки 0* выполняется соответственно

lim sup [Мп(0Г - 0)' — М/г (0* - О)2] < О,
П-»оо

lim sup [sup М//г (Of — t)c — sup М/Н (6* —

71—>оо L	tCxF	~

Отыскание асимптотически байесовских и асимптотически
минимаксных оценок возможно, как мы увидим, при весьма ши-
роких предположениях.
В многомерном случае (когда 0 е R* есть вектор) свойство 9)
у. м. о., как мы видели, сохраняется, и оценка

0j=M(0,X)

будет минимизировать

v (0«) =;м (0* - 0) V (0* - 0)’ = ММе (0* - 0) V(0* - 0)т =

= J М, (0* - 0 V(0* - t)Tq(t)>.(dt)

для любой неотрицательно определенной матрицы V или, что то
же (см. § 8), минимизировать усредненное (с весом q(t)) сред-
неквадратическое уклонение 0* — 0 по любому направлению
а е Rk.

Определение 4. Оценка 0q называется байесовской, если
для любой другой оценки 0* и для любой неотрицательно опре-
деленной матрицы V

r(e;)<p(e*).

Оценка ©i называется асимптотически байесовской, если *
lim sup [rw (0*) — nv (0q)]	0.

П->оо

Определение 5. Оценка 0* называется минимаксной, если
для любой другой оценки 0* и для любой неотрицательной опре-
деленной матрицы V

sup Mt (0* - 0 V (0* - t)T — sup Мг (0* - t) V (0* -	0.

ter	ter

Оценка ©i называется асимптотически минимаксной, если

Jim sup I sup Mt?? (0* — t) V (0* — t)1 —

7i->oo I ter

— sup Mpz (0* — t) V (0* — i)rj o.

В заключение этого параграфа еще раз отметим, что обозна-
чения Ме<$\ Ре (^4), /е(#) в байесовском случае мы можем
рассматривать, если потребуется, с повой точки зрепия — как'
условные относительно 0 математические ожидания, вероятно-
сти и плотности М (670), Р (.4/0), /(ж/0).

§ 12. Достаточные статистики

В предыдущем параграфе мы рассматривали вопрос о постро-
ении двух типов оптимальных оценок — байесовских и минимакс-
ных. В этом параграфе мы введем понятие достаточной статисти-
ки, которое позволит пам строить эффективные оценки — другой
тип оптимальных оценок, выделенный нами в § 8.

Понятие достаточной статистики играет важную роль в мате-
матической статистике вообще и в теории оценок в частности.
Условимся обозначать статистики, т. е. произвольные измери-
мые (скалярные и векторные) функции от X, символом S~SiX).

Пусть X (= Ре, Р(, се — {Ре}. Рассмотрим условное относи-
тельно случайной величины S распределение Р(дХ е Ь1 / .S'),
порожденное распределением Ре в <%?п.

Определение 1. Статистика S = SiX) называется доста-
точной для параметра 0, если существует вариант условного рас-
пределения Ре(Х^ В/S), не зависящий от 0.

Мы знаем, что Pe(X^Z? / S) при каждом В есть у. м. о., и,
следовательно, существует функция PiB/s), борелевская по s при
каждом В, такая что

Ре(Х^В / S)=PiB/S).

Мы можем считать (см. § 10), что PiB/s) как функция от В
есть условное при условии S — s распределение вероятностей.
Это распределение можно интерпретировать как распределение X
на поверхности Six) = s.

Но если S — достаточная статистика, то это распределение
не зависит от 0! Это означает, что знание того, где находится
выборочная точка X на поверхности Six) — s, не сообщает нам
никакой дополнительной информации о параметре 0. (Ведь яс-,
ко, что никто не станет определять неизвестный параметр в при-
мере 1 Введения с помощью подбрасывания монеты, по той при-
чине, что распределение числа «гербов» пли «решек» при таком
подбрасывании от 0 никак пе зависит).

Это важное обстоятельство означает, в свою очередь, что вся
информация о параметре 0 содержится в значении статистики S.
Отсюда и происходит ее название — достаточная статистика:
грубо говоря, знание S(X) достаточно для построения оценки па-
раметра 0; остальные данные, содержащиеся в выборке X, бес-

полезны.

Пример 1. Пусть X (= Щ. Покажем, что статистика S =*
п

= пх= 2 Х1 является достаточной для параметра закона Пуас-
г=1

сона X. Нам надо убедиться, что распределение положения точки
п

X па поверхности 2aXi = s is — целое) от А, пе зависит. Так как
i=i

п

Р (X = X, 2 xi = s) — Р — х) ПРИ S хг — s> т0
i=l

j Р (xt = Жр ,.. Хп = хп)

_	| Р (пх — s)

P(X = «7nx = s)= |

О,

п
если '^Xjz= s,
i=l

п

если 2 хг s-

(1)
п

Поскольку Xi независимы, 2х»^Ппя

то правая часть (1) равна

-пк (»Х)
е

П	Л xi

ГТ	I

5!

П

Таким образом, условное при условии S ~ s распределение X
совпадает с полиномиальным распределением Вр (см. § 2) с п
равновероятными исходами (т. е. с вектором вероятностей р-=
= (1/и, ..1/иН и с s независимыми испытаниями. Очевидно,
это распределение от X пе зависит, так что S — их является до-
статочной статистикой для Л.

Понятие достаточной статистики было введено Фишером в
1922 году. Следующая теорема Неймана — Фишера носит назва-
ние факторизацпонпой теоремы, опа устанавливает простой кри-
терий существования достаточной статистики.

Предположим, что выполнено условие (Лм) о существовании

<7Ре
плотности /о (х) =	(>£)•

Теорема 1. Для того чтобы S была достаточной статисти-
кой для 0, необходимо и достаточно, чтобы функция правдопо-
п

добия fo (х) = JJ /о (х,;) была представима в виде
г=1

fo (#) = ty(S(x), 0) h(ж) п. в. [р/г],	(2)

где каждая из функций гр 0 и h 2s 0 зависит только от своих
аргументов, гр(а, 0) измерима по s, h(x) измерима по х.

Понятно, что представление (2) неоднозначно. Компоненты
его определены с точностью до произвольной положительной
функции от Six).

В рассмотренном нами выше примере с распределением Пу-
ЯСССНЯ

А(ж) = П = е-"Ч”П Л,
г=1 г-	г=1 ‘гг’

п

ПХ = 2 -гг»
i—1

так что мы можем положить при S = пх

(5, X) - e~n\sh, h (х) = П -V.

xi[

Отсюда в силу теоремы 1 будет следовать, что S = пх есть до-
статочная статистика.

9 А. А. Боровков
Доказательство теоремы 1 мы приведем здесь лишь для
двух наиболее важных частных случаев — для дискретного и
«гладкого». Доказательство теоремы Неймана — Фишера в об-
щем случае отнесено нами в Приложение IV.

В дискретном случае ;г есть считающая мера на счетном мно-
жестве возможных значении xt, и, стало быть, /е(ж) —
= Ре (xt — х\ х^З?. Пусть сначала выполнено (2). Тогда для
фиксированной точки же

Ро (X = х /S (X) = S (ж)) = Pe-Ll~ ^ 5(X)~‘y	.	(3)

Так как {Х—х, S(X) =5(ж)} = {X— ж}, то правая часть (3)
равна

ро {X ~ х}

ре (5 (X) = 5 (х))

_______(б _________ тр (S (х), 0) /?. (х)_ __ h (х)

2	2	№ (x),e)h(y)	2

y:S(y)=S(JC)	y:S(y)=S(x)	y:S(y)==S(x)

Таким образом, Ре(Х=ж / S(X) = 5(ж)) от 0 пе зависит.

Наоборот, если левая часть в (3) от 0 не зависит, то, обозна-
чая ее через h(ж), из (3) находим

Ре (X = ж) =

~ = /е (ж) = Ре (X = ж; 5 (X) = S (ж)) - h (ж) Рв (S (X) = S (ж)),

где Ре(5(Х) = $(ж)) — г|?(5(ж), 0) зависит только от Жж) и 0. <1

Лишь немногим сложнее доказывается теорема 1 п в другом

важном частном случае — «гладком», когда ц есть мера Лебега

в /?, а статистика 5(Х) предполагается гладкой функцией от X,

такой что существует замена переменных yt = S(x), у2 — у^х),...

Xi = Xi(yit ..., уп\
Ф 0. В этом случае,

..., Уп = уЛх\ разрешимая относительно

<?Х. I
с отличным от нуля якобианом J = -—

как это известно из формул классического анализа о замене

переменной в интеграле, плотность случайной величины Y —
= (S(X), уЛХ), ..., z/n(X)) будет равна

gokj) =/е(ж)|Л, у= (У1, . . ., yj.

Плотность случайной величины. j/j(X) = 5(Х) будет равна

^к(!/1)= J go (У) йУъ • • • йУп = f fe(^)\J\dy2 ... dyn,

а условная плотность Y при условии S(X) = st стало быть, будет
определяться соотношением

, / ч *е

/oWRI

4l) <s>

при уг = S.

После этик предварительных замечаний доказательство тео-
ремы 1 для «гладкого» случая проходит точно так же, как для
дискретного. Действительно, если выполнено (2), то

<p(#/s) =*

______________т)? (s, 6) h (ar) I J I______________
J ip (s, 6) h (x) | J | dy 2 ... dyn
цп—l

В этом отношении гр($, 6) сокращается. Это означает, что услов-
ное при условии S(X) = s распределение У, а стало быть, и X,
от 0 не зависит.

Наоборот, если qiy/s) от 0 не зависит, то

— -----Щ----- при s = S(x).

Это означает, что выполнено (2) при гр($, 0) = go) (s), h (<r) =
= ф (#/*)/1J I- <

Пример 2. Пусть X Ф 2. Здесь параметр 0 = (а, о2)
двумерный. Имеем

Л (-Y) -= П	= <Г" (2 л)-'2 ехр{- S(^g)‘| =

i=i о у 2л	I	za J

= а- ехр {- 3>1-2°«* + "°q (2я)-«й

п

Полагая S — (Sn 52), Sy — пх, S2±= 2 х1,	мы получим пред-

i—i

ставление (2), где

в) = а- ехр L	+ h (Х) = (2Д)-/».

I	ZO	J

Здесь мы могли бы, конечно, множитель (2л)-п/2 отнести и к
функции гр, положив h(X) = 1.

Таким образом, мы получили, что статистика (Sy, S2) являет-
ся достаточной векторной статистикой для (а, о2). Из всей
информации, содержащейся в выборке, нам достаточно знать
X И 2 Х|.

Мы предлагаем читателю найти достаточные статистики для
всех семейств распределений, приведенных в § 2.

S*
Мы остановимся подробнее лишь па одном из этих семейств.

Пример 3. Пусть X(==UOie. Здесь условие (Дх) выполне-
но относительно меры Лебега и

/е(*) =

О ”, если О^х^^О при всех г = 1,
О в противном случае.

п,

Пусть X(d = min Х{, Х(П) = тахх,. Тогда, как мы видели в
примере 6.5 функцию /е(Х) можно записать в виде /ДА) =
= ф(х(и), 0)/г(А), где

1, если x.-j)^O,

О в противном случае,

/ m n при
п
IU в противном случае.

М*) = {

Эго означает, что S(X) — xlni есть достаточная статистика
для 0.

Аналогичным образом читатель может убедиться, что для
выборки A£=Ue>1+e достаточной статистикой для параметра 0
является двумерная статистика S(X) = (х(1), х(п)). Такой же бу-
дет достато’чпая статистика и для двумерного параметра 0 =
= (а, Ь), когда выборка извлечена из распределения Ua fc.

Приведем два следствия теоремы 1.

Следствие 1. Если S — достаточная статистика для 0, то
оценка максимального правдоподобия зависит лишь от S.

Точнее, о. м. п. 0* пе зависит от X при фиксированном 5(A).

Это следствие очевидно, так как о. м. и. есть значение 0, при
котором достигается миксимум /е(Х) = 'ф(А(Х), Q)h(X), или, что
7 0 же, максимум* ф(5(Х), 0).

Следствие 2. Если S — достаточная статистика и функция
<р такова, что отображение и — <р(г) взаимно однозначно и изме-
римо в обе стороны, то St~ q>(S) также будет достаточной ста-
тистикой.

Это следствие также очевидно, поскольку 0) в (2) можно
записать в виде	0) = ipiCtS'j, 0).

Справедлив еще один критерий достаточности статистики S.

Теорема 2. Статистика S является достаточной для 0 то-
гда и только тогда, когда для любого априорного распределения
Q параметра 0 апостериорное распределение Qx зависит от X
только через S(X) (т. е. остается неизменным на поверхности
S(X) = s).

Доказательство. Пусть S — достаточная статистика и
</(/)— плотность Q относительно какой-нибудь меры К. Тогда
апостериорная плотность q(t/X) относительно этой меры будет
по формуле Байеса равна
^/+/V4_ Л (*)?(<)	_ -ф (.S'	(0

j /и (х) Я(и)(du) j (-8 Iх)» «) е (“)

Докажем- теперь обратное утверждение теоремы. Выберем
априорное распре деление так, чтобы q(t) > 0 всюду на О и при
всех t

/< (X)	, / (X) = J /„ (X) q (и) к (du);

Если q(t/X) = g(t, S(X)), то, полагая ^(s, t) = g(t, s)/q(t), h(X) =*
— f(X), мы получим представление (2). <0

Следствие 3. Если S — достаточная статистика, то все
байесовские оценки и минимаксные оценки, определенные с по-
мощью теоремы 11.2, зависят лишь от S.

В дальнейшем мы получим много других подтверждений того,
что достаточная статистика S содержит в себе исчерпывающую
информацию о 0.

§ 13 *, Минимальные достаточные статистики

Рассмотрим теперь вопрос о выборе достаточных статистик.
Ясно, что их может быть очень много. Например, статистика
S(X)^X, очевидно, всегда является достаточной. Эта достаточ-
ная статистика называется тривиальной достаточной статистикой.
Однако мы заинтересованы (и в дальнейшем станет ясно, поче-
му) в более «экономных» статистиках. Оказывается, далеко не
всегда можно построить достаточные статистики, которые были
бы существенно «экопомпее» тривиальной достаточной статисти-
ки. К этому вопросу мы вернемся после того, как определим
более точно понятия, связанные с «экономностью» достаточных
статистик. Для этого введем па множестве всех достаточных ста-
тистик (для некоторого параметра 0) частичный порядок.

Определение 1. Мы будем говорить, что статистика St
подчинена S2, если есть измеримая функция от Sz: St ~ tp(S2).’

Это соотношение и означает, что St «экономнее» S2.

Определение 2. Если St подчинена S2 п S, подчинена Sf,
то статистики St и S, называются эквивалентными.

Очевидно, эквивалентна S2 тогда и только тогда, когда
St = ip(S2) и ср — взаимно однозначное измеримое в обе стороны
отображение.

Определение 3. Достаточная статистика So называется
минимальной, если опа подчинена любой другой достаточной ста-
тистике S.

Минимальная достаточная статистика является самой эконом-
ной. Если мы построили минимальную достаточную статистику
S, то при сохранении свойства достаточности дальнейшее сокра-
щение данных но сравнению с 5 невозможно. Остальные данные,
содержащиеся в выборке, можно рассматривать как порожден-
ные некоторым случайным механизмом, не зависящим от 0. Опп
не несут в себе никакой информации о 0.

Введенные понятия, как и исходное понятие достаточной ста-
тистики, можно в слегка обобщенной форме излагать на языке
о-алгебр, который в ряде случаев оказывается более удобным и
наглядным. В самом начале — в определении 1 предыдущего
параграфа — условное распределение Pe(X е В/S) можно заме-
нить на условное распределение Ре(Х^В/21) относительно о-под-
алгебры 21 cz 23^ и называть 21 достаточной о-алгеброй, если су-
ществует вариант Ре(Х В/Ю, пе зависящий от 0.

Факторизациопная теорема при таком подходе сохранится,
если функцию i|:(5(X), 0) заменить на 21-измеримую по X функ-
цию ip(X, 0). Доказательство этой теоремы, помещенное в При-
ложении IV, по существу останется прежним.

Достаточную статистику теперь можно определить как ста-
тистику S, для которой порожденная ею о-алгебра о(5) будет
достаточной.

Подчиненность достаточных статистик (см. определение 1)
на языке о-алгебр не требует введения дополнительных понятий
и совпадает просто с вложением о-алгебр: подчинена S2, если
o(5t)	о(52). Таким образом, экономнее S2, если о-алгебра

oCiSj) беднее (грубее), чем о(£г). Эквивалентность St и S2 озна-
чает, что o(5t) — o(<S2).

Минимальная достаточная о-алгебра 2(0 определяется как о-ал-
гебра, которая вкладывается в любую достаточную о-алгебру.

Минимальная достаточная о-алгебра всегда существует. Чтобы
убедиться в этом, заметим предварительно, что в силу теоремы 2
Приложения IV существует распределение Q на 0 (притом диск-
ретное) такое, что все Ро абсолютно непрерывны относительно
распределения Pq = J PfQ (dt).

Это означает, что либо /q (X) — J ft (X) Q (dt) >> 0 при всех
X, либо из равенства /<?(Х) = 0 следует /е(Х) = 0 при всех 0.
В этом случае говорят, что PQ доминирует семейство {Рв1, так
что мы могли бы Ру взять в качестве меры ц. Плотность рас-
пределения Ро относительно этой меры равна

I \	( f\\

(а) — -у—,— е= г (х. 0).

f/PQ v >	fQ(x) ' ' >

Ясно (ср. с теоремой 12.2), что если S — достаточная статистика,
то г(.г, 0) зависит отделишь через Stx).

Теорема 1. о-алгебра = о(г(Х, 0); Ое0), порожденная
случайными величинами т(Х, 0) = /е(Х)//у(Х) при различных
0 е 0, является минимальной достаточной о-алгеброй.
Доказательство теоремы ^весьма просто. Достаточность
210 следует из факторизацпонной теоремы и того, что

/0(Х) = г(Х, 0)/о(Х),

(1)

где /<j(X) пе зависит от 0, а г(Х, 0) измерима относительно 91в.

Пусть теперь §1 есть любая достаточная о-алгебра. Тогда
/е(Х) =	0)7i(X), где функция i|:(X, 0) St-измерима. Рассмот-

рим о-алгебру = оЦ?(Х, 0), 0 е= 0) с= §[, Из определения г(Х, 0)
следует, что

г (X, 0) - . 'Ф (Х'0)-

j ^(Х,/)Q(rfO

и, стало быть, с <= О

С этой теоремой п теоремой 12.2 тесно связано другое по-
лезное утверждение. Рассмотрим байесовскую постановку задачи,
когда 0 есть случайная величина с априорным распределением Q.
Пусть q(t~) > 0 есть плотность этого распределения относительно
подходящей меры X на 0. Тогда апостериорная плотность будет
равна

Q “ --------------/q (X) ' ~ Г (Х’ q (Z)’

и, стало быть, минимальную достаточную о-алгебру й0 можно
рассматривать как порожденную апостериорным распределением:

Ql0 = o(9U/X); f^0).

Отыскание распределений Q и Ро, фигурирующих в теоре-
ме 1, обычно труда не составляет. Например, если носитель Лф0
распределения Ре от 0 пе зависит, что имеет место для большин-
ства распределений, перечисленных в § 2, то можно взять
Pq =? Ре0 при любом 0О &.

Таким образом, мы располагаем теоремой существования и
конструктивным способом построения минимальных достаточных
о-алгебр *).

Однако в большинстве случаев вам все же будет удобнее
иметь-дело со статистиками. Основная задача этого параграфа —
отыскание минимальных достаточных статистик.

Прежде всего, каким образом можно проверить, что данная
достаточная статистика So является минимальной?

Одпа из возможностей состоит в использовании теоремы 1.
Если o(<S0) совпадает с о-аЛгеброй, порожденной fe(X)/fQ(.X), то
<5’0 есть минимальная достаточная статистика.

») Существование минимальной достаточной о-алгебры ?10 можно уста-
новить и иным путем, доказав, что есть пересечение всех пополненных
достаточных о-алгебр.
Пример 1. Мы видели, что статистика S — их является до-
статочной для параметра А распределения Пуассона Пх. Это бу-
дет минимальная достаточная статистика, так как g(S) совпада-
ет, очевидно, с о-алгеброй, порожденном Д (X) ~
— е	(А7 At) (мы взяли здесь распределение Q, сосредоточен-

ное в точке ?ч).

Пример 2. Пусть X (== П0,о. Тогда статистика S = х()1) — max х»
является минимальной достаточном статистикой. В самом деле,
возьмем в качестве Q какое-нибудь распределение на 10, оо)
с плотностью q(t) > 0 при всех t > 0. Тогда

/и(*) =

0>Х,

0<5,

ОО	ОО

fQ (X) = f ft (X) q (t) dt = | Гnq (i) dt > 0
о	’s

мри всех X. При этом S = sup {0: /0(X)//q(X) = 0). Это означает,
что S измерима относительно минимальной о-алгебры §l0, o(S) <=
<= §10 и что, стало быть, «^-минимальная достаточная статистика.

Можно указать другой способ отыскания минимальных достаточных
статистик, также связанный с функцией правдоподобия. В самом деле, лю-
бая статистика и, в частности, достаточная статистика S порождает разби-
ение выборочного пространства па классы эквивалентности — т. е. па под-
множества точек л? с одинаковым значением S (аг).

Если 51. подчинена 52, т. е. 51 = ф(52), то, очевидно, разбиение для
51 будет более крупным, так как классы эквивалентности для 5,
содержатся в классах эквивалентности для 5:. Таким образом, минималь-
ной достаточной статистике соответствует самое «крупное» разбиение сре-
ди разбиений, порожденных достаточными статистиками.

Можно рассматривать просто разбиения пространства па классы экви-
валентности, пе связывая их непосредственно со статистиками. Класс экви-
валентности, содержащий точку а?, обозначим &(х). Каждый класс однознач-
но определяется какой-нибудь одной своей точкой. Разбиение на классы
D будем называть достаточным, если

fQ (х) = ср (х, 0) h (х),	(2)

где <р (х, 0)=(р (а?0, 0) постоянно при х е D (а?0) (т. е. <р (х, 0) = const внут-
ри класса эквивалентности). Если классы/) (х) определяются соотношениями
5 (х) ~ s, то из теоремы 11.1 сразу вытекает, что статистика 5 (ат) доста-
точна тогда и только тогда, когда разбиение на классы D достаточно.

Рассмотрим теперь разбиение, построенное следующим образом: возь-
мем точку ат0 и объявим, что х принадлежит классу D (#0)> если отно-
шение

/е №

/вЮ = ''(х"г»>	<3)

не зависит от 0. Очевидно, что при таком построении	D^x^=

если xt е D (атс), хп е D [х^, так что правило (3) порождает разбиение
всего пространства па пепересекающпеся классы.
Это разбиение соответствует разбиению, порожденному минимальной
достаточной статистикой S.

В самом деле, пусть S — минимальная достаточная статистика. Возьмем
произвольную точку xQ Тогда на поверхности 5 (а?) = 5 (х^ отношение
(x)//q равно h {x)/h (xQj и, стало быть, от 0 пе зависит. Таким об-
разом, разбиение па классы D пе менее крупное, чем разбиение для S.

С другой стороны, это разбиение достаточное. Действительно, каждой
поверхности D мы можем поставить в соответствие одну какую-нибудь ее
точку xD, по которой эта поверхность будет однозначно определяться. Рас-
смотрим функцию xQ{x)t которая определяется соотношением х^ (х) — х^
если ж <= Z). Тогда в силу (3) при же D

/е («) = /0 ('М h xd) = /е (хо <*)) h (ж» хо (ж))>	(4)

что означает выполнение (2).

Проведенные рассмотрения были не совсем строгими, так как мы пе
связывали их с вопросом об измеримости функций, входящих в (4).

Сказанное можно резюмировать следующим образом. Пусть дана ста-
тистика S(X) такая, что S (х) — S (а?0) тогда и только тогда, когда отноше-
ние (3) не зависит от 0. В этом случае S есть минимальная достаточная
статистика.

В отличпе от подходов, связанных с теоремой 1, где рассматривались
отношения /о (#)//$ (ж) или/е(ж)//е (ж) при разных 0 и 0j (называемые
часто отношениями правдоподобия), правило, сформулированное выше, ис-
пользует отношение /е (х) //е (жо) при одинаковых значениях параметра 0.
В примере 1, например, отношение

4 (Ж)/4 (жо) = П	Хг- =	Л X^l/x.l

п

пе будет зависеть от А тогда и только тогда, когда х	ж.п, где

л-	г=1

Хю — координаты вектора ж0. Этого достаточно, чтобы заключить, что
5 (ж) = х есть минимальная достаточная статистика.

Рассмотрим теперь с помощью предложенного правила пример, когда
«экономных» достаточных статистик не .существует. Прежде заметим, что
вариационный ряд Sv — (х(1)’ х(2)’ •••’ х(п))» построенный по выборке X,
очевидно, всегда является достаточной статистикой, так как /е (X) —
п	п

— Л А) (х$) ~ И Аэ(х(Ь))- Эта статистика «чуть-чуть экономнее» самой
i=l '

выборки X. Отсюда, в частности, следует, что любая минимальная достаточ-
ная статистика инвариантна относительно перестановки координат х» в
выборке X.

Если плотность /о (я) симметрична, т. е. /©(—х) — /е(х) при всех 0,
то, очевидно, будет существовать еще немного более «экономная» достаточ-
ная статистика, представляющая из себя упорядоченную по возрастанию
совокупность(х®, ..., х$), которую мы обозначим ^V2-

Пример 3. Если Х^К0о,т. е. если х, имеют плотность распределе-
ния Коши с параметром 0 — а

^о,а ~ я ( 2 .	’

Л	О у

то статистика Sv2 является минимальной достаточной статистикой,
Действительно, в этом случае

так что

>0 <*> =	ЙН+’Т1.

М*) а 4-I f 2

i j 4 + а‘

есть отношение двух полиномов от о2. Оно не зависит от о тогда и только
тогда, когда коэффициенты при соответствующих степенях о2 в числителе
и 'знаменателе совпадают. Это, в свою очередь, имеет место тогда и только
тогда, когда множества «нулей» {—я?0} и {—аф совпадают. Другими сло-
вами, для независимости (5) от о необходимо и достаточно, чтобы точка

=	. ..»**) имела координаты, которые отличаются от координат

л

разве лишь перестановкой их мест. Это и означает, что

S , есть
V2

минимальная достаточная статистика.

Совершенно аналогично можно показать, что является минималь-
ной достаточной статистикой для параметра а и, стало быть, для пара-
метра 0 — (а, о) распределения Ка> я.

Другой пример, в котором Sv будет минимальной достаточной стати-
стикой, мы получим, если рассмотрим семейство

~	"Г“	~ а) Р02’

а е= [О, 1],

где {Ре} — экспоненциальное семейство (см. § 15, в качестве Ре можно
взять нормальное распределение или распределение Пуассона) и где хотя
бы один из параметров a, 0h 02 неизвестен.

Докажем теперь теорему, указывающую простой «конструк-
тивный» способ отыскания минимальных достаточных статистик.

Для простоты изложения рассмотрим случай одномерного па-
раметра 6.

Теорема 2. Пусть функция правдоподобия f^x) при всех х
как функция от в непрерывна справа {или слева). Тогда, если
оценка м. п. 0* единственна и является достаточной статистикой,
то 0* есть минимальная достаточная статистика.

Доказательство. Пусть S — произвольная достаточная
статистика. Мы докажем теорему, если покажем, что 0* измери-
ма относительно o{S) и, стало быть, 0* подчинена 5»

В силу факторизационной теоремы

/0(а?) = ф(5(ж), G)h{x) п. в. [р?!],	(6)

где h{x)— измеримая функция по ж, I) непрерывна (справа
или слева) но t и измерима но $. Так как Р0 не изменится, если
плотность f6{x) изменить на множестве |гп-меры 0, то мы можем
считать, что (6) справедливо при всех х.

В силу (6) точка абсолютного максимума fa(x) является точ-
кой абсолютного максимума и для ф($(х), 0). Поэтому, в силу
единственности 6*

{©*<«}

— (sup 4) (S (X), 0)2> sup (S (X), 0)1.
I e<t	6>t	J

Так как ij:(5'(X), 0) при каждом 5(Х) непрерывна по 0 спра-
ва (или слева), то существует счетное всюду плотное множество
0С — {6j}J=i	® (одно и то же для всех 5(Х)) такое, что

янрг|)(5(Х), 0) = sup i|) (S (X), 0;).	(7)

6<t	Oj<t

6j=ec

Такое же соотношение будет справедливо для области 0 t. Так
как ф(5(Х), 0j) измеримы относительно о(5), то в силу (7) зна-
чения sup 4* (S, 0) и sup i|‘ (5, 0) будут случайными величина-
0<t	o>t

ми> также измеримыми относительно o(S). Следовательно,
{О* < t} е о(5), и теорема доказана. <1

Условие достаточности о. м. п. 0* в условии приведенного
утверждения существенно, поскольку оценка м. п. 0* сама по
себе не обязана быть достаточной статистикой. Соответствующий
пример легко получить, рассмотрев любое семейство распределе-
ний {Ре} со скалярным параметром 0 и векторной (размерности
большей 1) минимальной достаточной статистикой S. В этом
случае оценка м. п. 0* также будет скалярной, так что о-алгебра
о(5) будет более богатой, чем о(0*), и, стало быть, включение
о(5) с= о(0*), вытекающее из минимальности S и достаточности
О*, невозможно.

Пример 4. Пусть X(=Uea+e, 0 = R. Тогда, как мы ви-
дели в примере 6.4,

И при 0 < х(1) < х(п) <1+6,

'	(0 в противном случае,

так что /0(Х) зависит от X только через х(1) и х(п). Это означает,
что S = (х(1), х(п)) есть достаточная статистика. Ни одна из ве-
личин х(1), х(п) в отдельности пе является достаточной статисти-
кой, на что указывают следующие соотношения:

Р (Х(1) > и, х(п) < v) = П Р (х* е= [и, и)) =

1=1

= (у — и)п при и 0, V <1 1 4- О, V >» и.

Поэтому совместная плотность распределения (х(1>, х(П)) будет
равна

,	. fn (п — 1) (v — и)п'2 при и 0, V 1 4- 0, V > U,

(W, ^) = 1 п

I I)	в остальных случаях.
Далее, Р(х(1) и) = (1 + 0 — и)" при 0 и 1 + 0, так что плот-
ность х(1) равна

g(u) = 7z(l + 0 — н)”"1 при 0 и 1 -г 0.

Отсюда уже легко получить, что условная плотность g{v/u) ве-
личины x(J1) при условии х()) = и (а стало быть, и соответствую-
щее условное распределение) будет зависеть от 0. Это означает,
что х(П (как и х(П)) в отдельности не являются достаточными
статистиками. Так как в качестве о. м. п. О* мы можем взять
0* — х(1) (см. пример 6.4), то мы доказали, что для семейства
Ue, 14-е о.м.п. 0* не является достаточной статистикой.

Мы предлагаем читателю с помощью теоремы 1 убедиться,
что S~(x(1), х(п)) является минимальной достаточной статисти-
кой ДЛЯ Ue, 14-е.

Условие о достаточности 0* в теореме 2 будет автоматически
выполнено, если предположить, что существует скалярная (для
одномерного 0) достаточная статистика So, для которой функция
(р в равенстве 0* == q)(S0) будет взаимно однозначной (т. е. 0*
и So будут эквивалентными).

§ 14. Построение эффективных оценок с помощью
достаточных статистик. Полные статистики

Определение 1. Оценка 0* называется достаточной, если
она является достаточной статистикой.

1. Одномерный случай. Мы будем предполагать здесь, что
0 — скалярный параметр. Пусть Кь есть класс всех оценок 0*
со смещением 6(0), так что 6* Аь, если п(0) = МрО* = 0-4- 6(0).
Для 0* е Кь имеем

Мо (0* - 0)2 = Мо (0* - а (0))2 4- (« (6) - 0)2 = De0* 4- 62 (0).

Индекс 0 у символов Me, De мы будем в этом разделе иногда
опускать.

Следующее утверждение было получено независимо Блекуэ-
лом, Рао и Колмогоровым.

Теорема 1. Пусть S — достаточная статистика, 0* е Кь.
Тогда функция 0<$ = Me (6*/<$) является оценкой, обладающей
свойствами

1)	©s €= Аь,

2)	0g зависит от выборки лишь через S (X),

3)	Me (0s — 0)2 Мо (0* —- 0)~ при всех 0.

Последнее неравенство превращается в равенство, если только
0* -- 0s.«. в. относительно Рв.

Другими словами, в классе Кь применение к 0* операции
Mo(-/S) равномерно улучшает оценку 0*.
Доказательство. Тот факт, что 0g является оценкой,
означает, что 6s не зависит от 0 и является измеримой функ-
цией от X. Независимость от 0 вытекает из свойств достаточны к
статистик, так как распределение X при фиксированном S от О
не зависит (Мд (0*/5) для произвольной статистики S, вооб-
ще говоря, от 0 зависит). В то же время, в силу свойств у. м, о.
0* есть измеримая функция от S, а стало быть, и от X. Таким
образом, 0S является оценкой, удовлетворяющей свойству 2)
теоремы.

Равенство

 MH0s = М8М0 (0*/S) = Мо©*,
доказывающее, чтоОвеКн также следует непосредственно из
свойств у. м. о. Далее,

ме (о* - О)2 = Мо (е* - е ± оё)2 =

= М„ (о; - 0)2 + М„ (0* - 6s)2 + 2Мо(08 - 0) (0* - ОЦ.

Используя опять свойства у. м. о., получим

Me(0j - 0)(О» - 0s) = М(,М,Ж- 0)(6* - 6s)/S] =

. =M„[(0s-e)M()(0*-eVs)I = o,
и, следовательно,

Мо (0* - 0)2 = Mt) (0* - 0)2 4- Ме (0* - 0s)2. <

Собственно, неравенство 3) теоремы 4 можно получить не-
посредственно из свойства у.м.о. (М^/5))г М (tf/S), так как
тогда

(о* _ о)2 = । м0 (0* - eys) |2 < мв ко* - 0)2/sj,
Ме(0^-0)2<Мо(0*-0)2.

Факт, изложенный в теореме 1, можно интерпретировать сле-
дующим образом. Пусть S и Т — две достаточные статистики,
0* == <р(и S подчинена Т, тогда Mo(0s — 0)2 Мн (0* — О)2.

Другими словами, чем «экономнее» достаточная статистика S
(или чем беднее соответствующая о-алгебра), те.м оценки 0s
лучше. Таким образом, для построения оптимальных оценок мы
должны искать минимальные достаточные статистики (или ми-.
нимальпые о-алгебры). При этом в качестве исходных оценок 0*
могут фигурировать и «плохие» оценки, не обладающие, напри-
мер, даже свойством состоятельности. Поучительным в этом от-
ношении является следующий

Пример 1. Пусть А'ОД. Оценка л* == х,, очевидно, явля-
ется несмещенной МХ*=Мх!=Х (6(К)=0) и не состоятель-
пой, так как опа от п но зависит. Минимальной достаточной
статистикой для А, является статистика S — пх = У х$. Из при-
мера 12.1 следует, что условное относительно S распределение xf
есть распределение В$п в схеме Бернулли с вероятностью ус-
пеха 1/п:

P(x1 = ws = S) = rt(Ay(1-4)"''‘.

Следовательно,

*5=м =2 (i - ±)s-‘=4=
/1=1

В одном из последующих примеров мы покажем, что х — эф-
фективная оцепка.

2.	Многомерный случай. Получим теперь аналоги теоремы 1
для многомерного случая, когда 0 и 6* есть векторы из R\

Как и в одномерном случае, вектор b (6) = Меб* — 0 мы
будем называть смещением оценки 0* и обозначать Кь класс всех
оценок со смещением Ь.

Теорема 1 А. Пусть S — достаточная статистика и 0* е Къ.
Тогда оценка 0s — Ме(0*/5) обладает свойствами

1)	OjeAz,,

2)	0S зависит лишь от S (X),

3)	среднеквадратическое рассеивание 0s не превосходит
среднеквадратического рассеивания 0* или, что то же, для лю-
бого вектора a^Rh

м„ (ej - е, а)1 < м0 (о* - в, «)2.	(1)

Равенство (.при всех а) здесь возможно лишь в случае 0* = 0*
п. в. относительно Ре.

Доказательство. Первые два утверждения очевидны.
Неравенства (1) следуют пз теоремы 1, поскольку все сводится
к рассмотрению одномерных оценок (0*, а) параметра (0, «), и
М(1 [(0*, «)/*$] = (О*, а). Если в (1) при всех а справедливо ра-
венство, то при каждом а будем иметь (0s, а) = (0*, а) п. в. Это
и означает, что 0s = 0* п. в. <

Таким образом, в многомерном случае роль достаточных ста-
тистик та же: квадратичная форма У, 0,^0^, где, о2 = По1311 есть
матрица вторых моментов для 0s—6, будет тем меньше, чем
меньше о-алгебра о(5), порожденная S.

3.	Полные статистики и эффективные оценки. Мы приведем
теперь весьма простой критерий неулучшаемости оценок, осно-
ванный на понятии полноты статистики £. Размерность стати-
стики S мы будем обозначать через I. Обычно опа больше или
равна размерности к параметра 0.

Для двух измеримых функции Д($) и R1 Rh мы будем
писать /t(s) = fz(s) п. в. [^], где 93 — семейство распределений к
(/?', S'), если /i(s) = /2(s) всюду, за исключением множества Лг
такого, что P(7V) — 0 для всех Р е д?.

Определение 2. Семейство распределений % = {Ge} в
(/?', S'), зависящих от Л-мерпого параметра 0 е 0 с R\ называ-
ется полным, если равенство

J У СО Ge (ds) — 0 при всех 9 е 9

(2)

влечет за собой y(s) — 0 и. в. [^1. Уравнение (2) рассматривается
в классе функций у: W Rk, для которых интеграл (2) су-
ществует.

Определение 3. Статистика S называется полной, если
семейство Й? ее распределений G0, индуцированных распределе-
нием Ре в (<S?n, S^>), является полным.

Уравнение (2) для статистик может быть записано в виде
Met/ (S) = 0 при всех 0 е 0 с Rh,

Теорема 2. Статистика S является полной тогда и только
тогда, когда при каком-нибудь feo(0) o(S)-измеримая *) оценка 0*
единственна в классе всех o(S)-измеримых оценок из Къ0.

Если с(8)-измеримая оценка единственна в Kbf), то g(S)-u3-
меримые оценки будут обладать свойством единственности и в
любом другом классе Кь.

Доказательство этого утверждения почти очевидно, так
как наличие в Кь0 двух о(5)-измеримых оценок бг^^фД^),
0* = Фа(*$) означает, что f ф; (s) Go (ds) — b0(&), i — 1, 2,

J 1ф1 (s) — Фз 001 Ge (ds) = 0 при всех Oe 0,

так что полнота S влечет за собой фДх) = ф2(«) п. в. [ЭТ Наобо-
рот, пусть j у (s) Ge (ds) = 0 для всех 0 се 0, 0* = фх ($) се Кь.
Тогда 0* = ф! (s) + y(s) се Кь, единственность о(5)-измеримой
оценки означает, что y(s) =0 п. в. [^1. <3

Теорема 3. Если достаточная статистика S является пол-
ной и 0* Кь, то оценка 6s =е Me (0*/S) является единствен-
ной эффективной оценкой в Кь.

Эта теорема дает нам достаточно простые критерии эффектив-
ности оценок.

*) Т. е. измеримая относительно о-алгебры o(S), порожденной S, и, ста-
ло ^>ыть, представимая в виде (р(5), где <р— борелевскай функция.
Доказательство. В силу теоремы 2 а(£)-пзмеримая оцен-
ка в классе Кь единственна.

Пусть 0** — любая другая оценка из Кь. Тогда ©s —
~Ме(0**/S) е Кь и, стало быть, 6s* = ©sh.b. [&]. Отсюда и из
теоремы 1 следует, что

Me (0s - е)2 = Me (ег - е)2 < ме (е** - е)г,

и равенство возможно лишь при 0** — 0« п. н. <

Следствие 1. Если S — достаточная полная статистика,
а 0* — несмещенная оценка, то 0s есть эффективная оценка и
она единственна.

П ри м ер 2. В примере 1 с распределением Пуассопа мы
получили, ЧТО ДЛЯ X* — Xj

Xs= Мх(х(/5) = х,

где S' — ?гх. Покажем, что S — полная статистика и, стало быть,
х — эффективная оценка. Уравнение (2) для статистики S име-
ет вид

у (k) е~пК -У*.  = 0 при всех X О,
k—o

или, что то же,
v(z) = 2^у	~ лри всех z о* ($)

Это, очевидно, влечет за собой у (к) =0, так как из сходимости
ряда (3), скажем, при z = 1 следует, что p(z) аналитична при
lz| < 1 и тождественно равна 0. Стало быть, коэффициенты у(к)
ее разложения в ряд равпы 0.

Пример 3. Пусть Х^и0,е. Покажем, что статистика S —
= Х(П)==тахХг является полной. Достаточность (и минималь-

Кп

пость) iS была установлена в примере 13.2. Распределение S опре-
деляется равенством

Р (S < х) (х/0)п,	0 < s < О,

так что S имеет плотность, равную ns”"1©-” при s е [0, 0]. Урав-
нение (2) в этом случае имеет вид

е

J У (s) ~~~~— ds — 0 при 0 сч (0, оо).

о

е

Из равенства | у (s) sn-1 ds = 0 при всех 0 следует, очевидно,
6

что	= 0, y(s) = 0 п. в.
Мы предлагаем читателю проверить, являются ли полными
достаточные статистики для других параметрических семейств.

1 !,	1\

В частности,, установить, что а* =	11	~ I есть единственная

эффективная оценка параметра сс семейства Га> t (см. § 2).

Отметим теперь, что теорема 3 указывает на существование
связей между понятиями полноты и минимальности. На этот счет
справедливо следующее утверждение, дающее вместе с теоре-
мами § 13 критерий минимальности достаточных статистик.

Теорема 4. Всякая полная достаточная статистика S явля-
ется минимальной достаточной статистикой.

Доказательство. Пусть 210 — минимальная достаточная
о-алгебра (по теореме 13.1 такая существует). Предположим, что
Me<S ' существует, и рассмотрим функцию ф -- £ — Me (<5/2(0).
Так как с o(S), то ф будет о(5)-измеримоп, так что ф = ф(|$).
Обозначим Ge распределение S. Тогда при всех 6, очевидно,
Моф (5) = 0 пли, что то же,

J ф (.$•) Go (ds) = 0 при всех 6 g 0.

Отсюда в силу полноты S следует, что ф(«)=0 п. в. [^], & =
— (Ge}. Это означает, что S'= Me(<S,/$l0) п. в. [S4 и, стало быть,
S измерима относительно ♦)	o(<S) =

Если MoS пе существует, то надо вместо S рассмотреть ста-
тистику arctgiS, которая, очевидно, эквивалентна S относительно
свойств достаточности, полноты и минимальности. <

Отметим, что обратное утверждение не верно: минимальная
достаточная статистика не обязана быть полной. Соответствую-
щие примеры легко получаются в случаях, когда размерность I
статистики больше, чем размерность к параметра -0. Например,
в § 13 мы виделп, что совместная плотность минимальной доста-
точной статистики <S = (x(1), х(п)) для семейства Ue, i+e равна

ge(и, v) =

п(п — 1) (и— и)п 2 при и^В, v^i -]-0, v>u,

О

в остальных случаях.

Если взять функцию у(и, v) — <р(р — и) и сделать ортогональ-
ное преобразование (v — w)/V2 = t, (v 4- u)/]!2 = z, то интеграл
в (2) (по треугольнику и > 0, v < 1 4- 0, v > и) будет равен

11

Jу (и, v) go (н, v) du dv — п(п — 1) ftp (х) xn~z (1 — х) dx.

о

Очевидно, что интеграл в правой части от 0 пе зависит и легко
подобрать функцию <р(л?)	0, обращающую его в пуль.

*) Под 2(0 здесь надо понимать о-алгебру, пополненную множествами
N, для которых Pe(/V) — 0 при всех 0.

10 А. А. Боровков
§ 15. Экспоненциальное семейство

Пусть 0 = (0Ь ..0Й) есть fc-мерпый параметр и плотность
/6(а:) представима в виде

(ь

2 aj (6) U-j (х) -f- V (0)

3=1

(1)

где все функции, входящие в правую часть, конечны и измеримы.

Определение 1. Семейства распределений {Ре} с плот-
ностью такого вида мы будем называть экспоненциальными се-
мействами и будем обозначать их символом %>.

Чтобы сделать представление (1) no возможности более одно-
значным, мы будем предполагать, что функции до(0) s 1,
«1(0), ..., щ(0) линейно не зависимы на О.

Как мы увидим, экспоненциальные семейства занимают осо-
бое место среди параметрических семейств распределений, так’
как для них многие общие конструкции математической стати-
стики можно реализовать в явном виде.

Иногда экспоненциальными семействами называют семейства
распределений более частного вида*), когда «/0) — 0j.

К экспоненциальным семействам относятся, например, семей-
ства распределений {Фа,о2}, {Щ}, {Вр}, {Гад} и ряд других.

Пример 1. Рассмотрим распределение Га, Плотность

Лх) этого распределения можно представить в виде

/ х	X,—1 —ах —1	1	,1	1	z,

» (л) — тгтг-г х е = х ехр ( л In х — ах 4- In г, д>(л
* * ' 1	1 (л)	г (	1 (л))

так что здесь можно положить

М*)= {о/’

/7 (х) = In х. U.у (х) ~ Ху

х > О,
.7’^ О,
Г (а, X) = 111^,
(а, X) = А,, «2 (а, М = — а- <3

Функция правдоподобия для	равна

/(, (X) = ехр {(а (0), S) + nV (6)} П h (х,),
i—1

а (0) = (Oj (0), .... я, (0)), S = (S,.Sk),

5j = Sj(X)= 2 U^x,),

♦) По существу это то же самое: мы придем к частному виду, если сде-
лаем взаимно однозначное преобразование 7 — 7(0), 7= (71,	7Й) над

параметром 0, положив у3 = «ДО).
(a, S) есть скалярное произведение. Отсюда и из теоремы 12.1
следует, что S есть достаточная статистика для 0. Мы докажем,
что S является минимальной достаточной статистикой.

Так как функции «j(0), Uj(x), F (0) конечны, то экспонента
в (1) всегда положительна. Это означает, что в качестве
распределения Q в теореме 13.1 (при котором все Ре абсолютно
непрерывны относительно Pq = J PfQ (dt)) можно взять распре-
деление, — сосредоточенное в любой фиксированной точке 0°.
Поэтому из теоремы 13.1 вытекает, что о-алгебра порожден-
ная функцией

Г (X, 6) =	= ехр {(«(6) — я (0°), S) + n (V (0) - V (0»))},

/0(4^7

является минимальной достаточной о-алгеброй.

Теорема 1. Статистика S является минимальной достаточ-
ной статистикой.

Доказательство. Из линейной независимости функций
1, «1(0), ..., «ь(0) на 0 следует лилейная независимость «Д0) —
— «1(0°), ..., «ь(0) — аь(6°). Это значит, что в 0 лайдутся к точек
О1, ..., 0* таких, что значения ««— «i(0J) — «.(0°) образуют мат-
рицу А с определителем, отличным от пуля. Это означает, в свою
очередь, что уравнения

(a(0J)-«(0°), S)=lnr(X, 0j) - п( F(0O - F(0°)),	7 = 1, ..., к,

однозначно разрешимы относительно S' и, стало быть, o(S)
<=о(г(Х, О,); 7 = 1.&)сЯо- <

В примере 1 мы рассмотрели Г-распределение и установили,
что для него справедливо представление (1) при 0 = (a, X) с
функциями

Udx)—lnx, UAx)—x,
«j(a, X) ~ X, а2(а, к) = —а.

Очевидно, что условия теоремы 1 выполнены, и статистика S —
= CS In Х{, 2 Х|) или, что то же, статистика (Пч.2Xj) явля-
ется минимальной достаточной статистикой.

Если условия теоремы 1 несколько усилить, то статистика S
будет полной достаточной статистикой (в этом случае минималь-
ность S можно было бы получить как следствие полноты).

Теорема 2. Пусть	Если функция а и мно-

жество 0 таковы, что «(0) зачерчивает k-мерный параллелепи-
пед, когда 0 пробегает 0, то S — полная достаточная статистика.
.Условия теоремы относительно параллелепипеда, очевидно,
будут выполнены, если множество 0 «телесно», т. е. содержит
внутренние точки (а вместе с ними п сферы в Rh достаточно
малого радиуса), а функции «/0) в окрестности какой-нибудь
«телесной» точки 0° являются линейно независимыми и гладки-
10*
ми. Тогда преобразование а = а(0) переводит окрестность точки
0° в телесное множество.

Очевидно, что пример 1 с Г-распределепием удовлетворяет
условиям теоремы 2, так что статистика (Цхь2х4) является
полной.

Столь же просто читатель может проверить, что для нормаль-
ного распределения Фа о2 статистика (2J хй У, х<) является так-
же полной достаточной статистикой.

Доказательство теоремы 2. В нашем случае функ-
ции 'фСйг, 0) и ЛСг) в факторизационной теореме Неймана — Фи-
шера равны

0) = exp {(а(0), s) + nV(0)}t

7г (ж) = П h U’i).

2=1

Рассмотрим па (Rh, пе зависящую от 0 меру
v (В) =	[ h (ж) и? (dx),

где 5_,(5) есть множество всех а?, для которых S(x)eB.

Мы выделим в виде лемм следующие два вспомогательных
утверждения.

Лемма 1. Распределение Gn(B) = Pe(S(X) В) статистики
S абсолютно непрерывно относительно v и имеет плотность в
гонке s, равную гр($, 0).

Доказательство следует пз равенства

Не (В) ~ (S (х), 0) h (х) p,n (dx) — Jip (s, 0) v (ds),
S(x)~B	s~B

которое является следствием замены переменных. <3

Лемма 2. Пусть Gi и G2— две о-конечные меры в (Z?*, S7‘).
Тогда если е(а'и} GA(du) = e(a,u)G2(du) существуют для всех а
из некоторого параллелепипеда ! в Rh, то Gt = G2.

Доказательство. Чтобы упростить рассуждения, рас-
смотрим одномерный случай к — 1 и будем считать, что I =
= {х: Ы а). Тогда

hj(a)= f eauG; (du), j =1,2,

есть аналитические функции при |«|<сс. Кроме того, при всех
b^R определены функции /?,• (z) = j*e{a+lb)vGj(du) комплексного
переменного z — а +лЬ. Ясно, что hj(z) будут аналитическими в
полосе |п| <ос, —оо < Ь < оо. Так как ht(z) = h2(z) на отрезке
прямой 7> = 0, |а| < а, то ht(z) = h2(z) при всех z из указанной
полосы. Стало быть,

J eibuGi (du) = J eibvG2 (du).	(2)

Заметим, что так как hj (0) = \ Gj (du) <2 оо, io Gj можно считать
вероятностными мерами. Из теоремы'о взаимно однозначном со-
ответствии между характеристическими функциями и распреде-
лениями ([11]) и пз (2) следует, что Gf = G2.

Если параллелепипед / имеет вид (х: I# — а01	а), то сле-

дует перейти к мерам G* (du) — е 0 G$(du).

В многомерном случае k > 1 доказательство происходит точно
так же. <1

Мы можем перейти теперь непосредственно к доказатель-
ству теоремы 2.

Нам надо доказать, что если ф — измеримая функция в
(R\ S3ft) и существует

J Ф (.?) Ge (ds) ~ 0 при всех 0 е О,	(3)

то ф(.$) = 0 п. в. [^], ^ = {G0}ee=e. Пусть Ф = Ф+~ ф“, где ф±>0.
Тогда пз (3) следует j ф+ (s) Go (ds) = J ф- (s) Go (ds), или, в силу
леммы 1,

[ ф+ ($) ij- (.s', 0) v (ds) ~ j' ф" (.s) ф (.$, 6) v (ds),

♦ f Ф+ (,s) c(s’°(0))v(c?s) — j* ф” (я) e(s,o(0))v (ds).

Если образовать о-копечные меры x^ids) = cp*(s)v(ds), то мы
получим

Je(s-n)v+ (ds).= Je(s’1 * * o)v" (ds)

при всех а из некоторого параллелепипеда в Л\ Остается вос-
пользоваться леммой 2. <!

Следствие 1. Если X (== Р е <8, 0*'е Кь, и выполнены ус-
ловия теоремы 2, то оценка 0s = М (0*/5) является эффективной
оценкой в Кь.

§ 16. Неравенство Рао — Крамера
и К-эффективные оценки

1. Неравенство Рао — Крамера и его следствия. Результаты
предыдущих параграфов дали нам ряд критериев эффективности
оценок. Однако эти критерии носили в известном смысле каче-

ственный характер. В этом параграфе мы продолжим изучение

вопроса об эффективных оценках, но с несколько иной точки

зрения. Выясним, прежде всего, какова минимальная величина
среднеквадратической погрешности, которую можно получить.
Мы рассмотрим сначала одномерный случай, когда 0 — ска-
л ярный параметр. Относительно множества О будем предпола-
гать для определенности, что это есть конечный или бесконечный
интервал, замкнутый или открытый.

Для того чтобы ответить па поставленный вопрос, нам пона-
добятся условия регулярности па /е(я). Пусть, как и прежде,

2 (ат, 0) = In/е (^), 7>(X,0) = S I (хй 0), а (0) = Ме0* = 0 + b (0).
i=l

Предположим, что выполнено условие

(2?). Функции Т/е(ж) для п. в. [ц] значений х непрерывно
дифференцируемы по 9е0, интеграл

/(0) = J(-^-|x(dl:) = Me[Z'(xI,e)]2		(1)

существует, положителен и непрерывен по 0. (Здесь и в даль-
нейшем штрих означает дифференцирование по 0.)

Относительно интеграла (1) необходимо отметить следующее.
Если х вместе со своей окрестностью пе принадлежит носителю
NPq — {х: /е (х) > 0} распределения Ре, то подынтегральная функ-
ция (/eU))7/e (х) превращается в неопределенность типа 0/0.
Мы условимся считать это отношение равным нулю. Такого же
правила мы будем придерживаться относительно производной
V (х, 0) — /е(^)//е (#) при ее интегрировании. Этих оговорок
можно не делать, если с самого начала рассматривать интегралы
вида MetpfXj, 0) лишь по области NPq.

Функция 7(0) носит название информации Фишера. Она иг-
рает важную роль в математической статистике и будет неодно-
кратно встречаться в дальнейшем. Некоторые свойства функции
/(0) обсуждаются в § 17.

Если множество О компактно, то непрерывность 7(0) в усло-
виях (R) эквивалентна условию

sup Mo ([V (х1? 0)]2; [ V (х15 0) | > N) 0
ее©

при N -> оо, которое можно назвать равномерной сходимостью
интеграла 7(0) (см. Приложение VI).

Имеет место следующее неравенство для дисперсии оценок
0* со смещением Ь.

Теорема 1 (неравенство Рао — Крамера). Если $*^КЬ,
выполнено условие (R) и Me (0*)2 <С с <; оо, то

гл n* И 4" $ (0)1

DeB >-----nl (0)“-

Если в этом неравенстве достигается равенство на некотором,
отрезке. 0^[0ц 02] <= 0 и DqO*>>0 на этом отрезке, то функция
правдоподобия f6(X) при 0 е [01т 6,1 представима в виде
}ДХ) = exp {0*4(0)' + B(0)U(X),	(3)

где 4(0), Z?(0) от X не зависят.

Обратно, если 0* — const или если справедливо представление
(3), то в неравенстве (2) достигается равенство.

Условие (3), очевидно, означает принадлежность распределе-
ния в с плотностью /в(а?) к экспоненциальному семейству <о.

Следствие 1. При выполнении условий теоремы 1

М„ (0* - 0)! >	+ bl <0)-

Для любой несмещенной оценки О*

*

Таким образом, в классах Кь наименьшее возможное значение
среднеквадратических уклонений отлично от нуля и определяется
правыми частями выписанных неравенств.

Замечание 1. По поводу условия Ме(0*)2< с <7 оо можно
заметить, что при Ме(0*)2=оо выполняется Do0*=oon нера-
венство (2) становится тривиальным. Условие Do 0* >• 0 в силу
(2) можно заменить па (1 Ч-д'(0))2 > 0.

Замечание 2. Наряду с условием (7?) можно указать не-
сколько других условий, обеспечивающих утверждение теоре-
мы 1, которые будут отличаться друг от друга очень мало. Мы
остановились на том из них, которое нам будет удобнее в после-
дующих параграфах. Условия несколько иного вида будут при-
ведены в § 22.

Нам понадобится одно вспомогательное утверждение.

Лемма 1. Пусть выполнено условие (R) и S = S(X) есть
любая статистика, для которой Ме52 < с <Z оо при 0^0. Тогда

функция

as (0) = MeS = J S (ж) /о (ж) p,n (dx)	(4)

дифференцируема no 0, причем

as (0) = f S (x) (ar) 11" (dx) = Me5i' (X, 0).	(5)

Эго утверждение носит технический характер, а его доказа-
тельство существенно отяготило бы рассмотрения. Поэтому дока-
зательство леммы 1 отнесено нами в Приложение VI.

Доказательство теоремы 1. Полагая в (5) S s 1, по-
лучим йе(0) ® 1,

Меа(0)£' = О.	(6)

Используя снова (5) при 5 = 0* и (6), получаем

Мо0*7/ = а' (0), Мо (0* - а (0)) U = а' (0).	(7)
По неравенству Коши — Буияковского

(а' (0))2 < Ме (6* - а (О))2 Me (L')2
или, что то же,

Dee*><l+t'.<0»8..
Мо (Ь')г

Так как случайные величины Zj = Z'(x/, 9) независимы, едина-
ново распределены и имеют в силу (6) нулевое математическое
ожидание MeZj= 0, то МеЫ. = 0 при	Ме(7/')2 =

— Ме[2 Vj = S MeZiZj — nMe^i —nI(Q). Вместе с (9) это доказы-
вает неравенство (2).

Докажем второе утверждение теоремы. Для простоты будем
считать, что 0 совпадает с [01, 021 и что мера ц сосредоточена
на объединении носителей Ре, Ое0. Знак равенства в (2) (или
в (8)) означает, что

j (0* — а (0)) /о (л?) jin (dx) =

J (0* — а (0))2 /е (х) (dx) J И"

при всех 0^0. Так как первый интеграл в правой части по ус-
ловию положителен, то выписанное равенство возможно, если
только

/о И/ V/е (#) = с (0) (0* — а (0)) VfQ (•«) п. в. (р”].	(10)

Обозначим через Л множество ж, для которых выполнено (10) и
10*1 < °0. Тогда ц(Л)=0 (Л — дополнение к Л). Фиксируем
«еЛ.В силу непрерывности fe(x) по 0 мы будем иметь ft(x)>0
па некотором интервале (tn t2)	0, и' па этом интервале в си-

лу (10)

L'(x, 0) = с(0)(0* — а(0)).	(11)

Заметим теперь, что из (7), (11), (2) следует

а' (6) = Мо (6* - а (9)) L' = с (9) De9*, D09* .=

,_____ (12)

Ц<0)1=/т^’

так что De©* непрерывна по 0 вместе с а'(0), 7(0), а 1с(0)1
вместе с я(0) равномерно ограничены на [0t, 021, и этим же свой-
ством обладает производная L'(x* 0) в (И). Но это означает, что
L(x, t) конечно, /е(ж)>0 всюду на 0=[0i, 02], так что (11)
справедливо при всех 0. Иптегрируя (11) в пределах от 0! до 0,
получим
е	е

L (.г, 0) = 0* J с (t) dt — j* с (i) a (t) dt + L (x, 0J,

что эквивалентно (3) для [jin] п. в. х. Так как изменение
на множестве р?-меры 0 роли пе играет, то (3) доказано.

Обратимся к последнему утверждению теоремы. Если 0* =
— const, то Ь'(0) = —1 и обе части неравенства (2) обращаются
в нуль. Пусть теперь выполнено (3). Тогда, дифференцируя по 0
функцию ИХ, 0), получим

L'(X, Ы = в*А'(в) + В'(в).

Из (7) следует, что а(0)4'(О) + В'(8) = 0. Поэтому

L'(X, 8)=А'Шв*-аШ

п, стало быть (см. (10)), в (2) достигается равенство. <1

В дальнейшем тривиальный случай 0* = const мы будем ис-
ключать из рассмотрений и будем предполагать, что De0*>*0
всюду па 0. Тогда справедливо

Следствие 2. При выполнении условий (7?) для достиже-
ния нижней границы в неравенстве Рао—Крамера необходимо
и достаточно, чтобы оценка 0* была достаточной и функция
т]:(0*, 0) в факторизационном равенстве имела вид

тр(0*, 0) = ехр {0*4(0) + 7?(0)},

где 4(0) и Z?(0) —дифференцируемые функции.

' Следствие 3: Если выполнены условия (/?),	и в

неравенстве Рао — Крамера достигается равенство, то 0* — эф)-
фективная в Кь оценка.

Это утверждение следует из представления

Ме (0* - 0)2 = De0* + Ъ- (0).

Заметим, что обратное, вообще говоря, не верно: оценка мо-
жет быть эффективной в Кь, по нижняя граница ~1~ Ь (6))
nl (0)
для дисперсии может пе достигаться.

Пример 1. Пусть Х€=Гад. Здесь (X) = сЛ?“апх. Усло-
вия (/?) в области G s {а б > 0) выполнены. Очевидно, S — пк
есть полная достаточная статистика. Поэтому оценка а* == х1 -
= Mo.(x-7S) является эффективной в классе Кь со смещением
Ъ(а) = Мах-1 — а.

Заметим теперь, что S^Га.п, так что при п > 1 (см. § 2)

MJ"1 =	/

u	п---1

• п — 1	+ О 1 \

Таким образом, оценка а** =	— а • 11 — _. I будет при

п > 1 несмещенной.
Аналогично при п>2 находим (см. § 2, а также пример 4.1)
Ма (а**)2 == (и - I)2 Ма5“2 = ~^^2,

Итак, при 7г > 2 оцепка а** является эффективной. Однако кри-
терий (3) пе выполнен, так как

Следовательно, в неравенстве Рао — Крамера нижняя граница пе
достигается. В этом можно убедиться и непосредственно. В самом
деле, здесь 7(я, <z) = In а — ах, 1'{х, а) = 1/сс — х и

I (а) = Ма IV (ХГ> а)Г = М« - x,Y =’-L - 4 + 4 = 4-
\ а ] а а а а

Стало быть, при п > 2

Таким образом, достижение нижней границы в (2) есть более
жесткое требование, чем эффективность.

2. //-эффективные и асимптотически //-эффективные оценки.
Пусть выполнены условия (7?). В этом случае достижение ниж-
ней границы (точное пли асимптотическое) для дисперсии, в не-
равенстве Рао — Крамера может служить важным показателем
качества оценок, тесно связанным с понятием эффективности.

Определение 1. Оценка 0* е Кь, для которой

Ме (0* - О)2 = (1+/(-Зе)2 + V (0),

называется R-эффективной (или регулярно-эф(фективной) в клас-
се Кь.

//-эффективная оцепка в классе Ко несмещенных оценок на-
зывается просто R-эффективной.

Оценка 0* называется асимптотически Я-эфф/ективной (а. 7/-э.\
если

м»<0*-0)2-4^1).

Мы видим, что в отличие от определений § 8, которые носили
более качественный характер, определения //-эффективности осно-
ваны на сравнении с известными числовыми значениями, связан-
ными, главным образом, с информацией Фишера, точнее, с коли-
чеством (тг/(0)}_1.

Для //-эффективности 6* необходимо и достаточно выполне-
ние (3).
Из сказанного выше следует, что ^-эффективные оценки яв-
ляются эффективными, по не наоборот; /^-эффективные оценки
просто реже существуют, что является недостатком нижней гра-
ницы в неравенстве Рао — Крамера, а не оценок.

В существующей литературе по математической статистике
.К-эффективпые оценки называются просто эффективными. Одпа-
ко нам представляется более естественным сохранить термин
«эффективность» для наилучших оценок в более широком пони-
мании (см. определение 8.1).

Теорема 2. Если выполнены условия (R) и R-эффективная
оценка существует, то она совпадает с оценкой м. п.

Доказательство. Мы уже видели, что выполнение (3)
влечет за собой равенство (см. (11))

лчх, е) = (е*-о)с(е).

Кроме того, так как 6(0) == 0, то из (12) следует

с(0)= 1/D6e* = п/(0)>0

для любых 0 е 0. Это означает, что L'kX, 0) < 0 при 0 > 0* и
L'kX, 0)>О при 0 < 0*. Следовательно, при 0 = 0* достигается
максимум ИХ, 0). <3

Приведенный выше пример 1 показывает, что эффективные
оценки, в отличие от /^-эффективных, могут пе совпадать с о. м. п.
В этом примере о. м. п. есть (х)“\ в то время как эффективная
оценка равна —(х)-1. Обе эти оценки являются, очевидно,
а.Я-э. оценками.

Рассмотрим класс оцепок 0*, для которых при п «>

16(0)1	е(0,	|6'(0)| sS е(0, п),

Me (0*)2<Сс< оо

при некоторой функции е(0, п)=о(1) при п-> «> и каждом

Каждый такой класс замечателен тем, что для него пижняя
граница в неравенстве Рао—Крамера имеет впд (1 + о(1))/[?г/(0)!.
В § 20 мы увидим, что в ряде случаев при отыскании асимпто-
тически оптимальных оцепок можно ограничиться изучением
оцепок 0* из таких классов.

Теорема 3. Пусть выполнены условия (/?). Тогда всякая
a. R-э. оценка из Ко является а.э. в Ко оценкой.

Доказательство теоремы очевидно: если 01 есть
л. /?-э. оценка, то

Ме(е:-е)2 = -ЧНиг-

Кроме того, как уже отмечалось, по неравенству Рао — Крамера
для всех 0* е Ro

Um inf Me/z (0* - 0)2 > Г1 (0) = lim Me« (©Г - 0)2. <
П-+СО	7t->OO

Ясно также, что если а. 7?-э. оценка существует, то любая
а.э. оценка в Ro будет а./?-э оценкой.

Позже мы увидим (см. § 25), что при некоторых дополнитель-
ных предположениях а./?-э. оценки существуют всегда и, следо-
вательно, утверждение теоремы 3 справедливо и в обратную
сторону: а. э. в Re оценка является а. 7?-э. оценкой, т. е. для пее
Ме(0* — 0)2~ [п! (О)Г1.

Теорема 4. Пусть выполнены условия (7?). Если 0t, 02
принадлежат К(1 и являются а. R-э. оценками, то они асимптоти-
чески эквивалентны в следующем смысле:

УйЩ-ор-*о.
р

Доказательство этого утверждения проходит точно так
же, как в теореме 8.2. Так как 0* — (©Г + 0*)/2 е 7£0, то на ос-
новании (8.11) и неравенства Рао — Крамера получаем

limsup Ме?г(0* — 0*)2^О. <1
?г-»оо

Пример 2. Оценка а* — х среднего значения а нормаль-
ной совокупности Фа о2 при известном о2 является Д-эффектпв-
ной оценкой. В этом легко убедиться, проверив, папрпмер, усло-
вие (3). Другая возможность состоит в сопоставлении DKcz* =
= о2/п с наименьшим возможным значением (нДа))-1 дисперсий
несмещенных оценок. В нашем случае

l(x, а) = —in У2ло — (х — а)2/(2о2),

Г(х, а) ~ (х — а)/о2,

I (а) = Ма [Г (хь а))2 = Ма (хг — а)2/а* = 1/а2,
так что Dacc* = (ill (а))-1 = о2/п.

71

II р и м е р 3. Рассмотрим оценку 0* = Sf = —	(х$ — а)2 пара-

i=I

метра 0 == о2 нормальной совокупности с известным а. Нетрудно
подсчитать, что DyO* -- Мо(0* — а2)2 = 2о4/п. С другой стороны,
здесь

I (0)= Мв |Z' (х,. 0)Р = -Е- Мо [(х1 - а)2 - 0|2 = ’ = -L.

40	20 Ей

Таким образом, здесь также DoO* = (nl (0))-1, и оценка 0* = «S’2
является /7-эффективной.
Дисперсия несмещенной оценки S* — л__	— х)2 равна

2а3 4

———, так что опа пе является Д-эффективпой или просто эф-
фективной оценкой о2. В то же время очевидно, что So есть
a.jR-э. оценка.

Если мы будем в качестве неизвестного параметра оценивать пе о2,
а 0 — о, то /(-эффективной оценки мы пе получим. Несмещенной оценкой

о будет оценка о* — 1/ —----— S, так как

* 2	/ п -ь Г\

ц—J

nS 1 V/ 2	„

где —у — ~2~	(\ ~ а) имеет распределение Нп = Г1/2 п/2, поэтому

(см. § 2)

Так как 5 есть минимальная и полная достаточная статистика, то о*
является эффективной оценкой. С помощью формулы Стирлинга нетрудно
убедиться, что о* = 5(1 + (?(1/п)).

Сравним теперь величину Doo* с нижней границей (nJ(o))-1. Имеем

С другой стороны, здесь

1	2

I (а) = Мо \1' (хр о)]2 - -г Мо [(Xj - а)2 - о2]2 -

так что (zi7(o))-1 = о2/(2?г). Но это значение отличается от (13). Их от-
ношение, например, для п = 3 равно 0,936. Таким образом, /(-эффективных
оценок вдесь не существует. При п->-оо коэффициент при о2 в (13) ведет

1	/ 1 А

себя асимптотически как ту— + ОI -у ), так что о* есть а. л-э. оценка.

\ п 1

3. Неравенство Рао — Крамера в многомерном случае. В этом

разделе 0 — (01э .,., 0й) есть /г-мерпый вектор, так же, как и
оценка 6* = (0*, ,, о 0^). Как и прежде, положим

а (0) = Ме0* = 0 + Ъ (0), b (0) =	(0), .«., bk (0))

,и рассмотрим классы Кь оценок с фиксированным смещением
6(0).

Обобщение условий (R) на многомерный случай будет выгля-
деть следующим образом. Обозначим

Z (х, 0) = log /о (я), l'i (ж, 0) =	1 (ж, 0),

/iJ(0) = Mez;(xI,0)7;(x1,0)

и предположим, что выполнено условие

(Я). Функции У/0(х) непрерывно дифференцируемы по 0^ для
п. в. [ц] значений х. Матрица

7(0) = «4(0)11,

7У (9) = f l't 0) l'i 0) /е (я) ц (dx)

непрерывна по 0*), ее определитель 17(0)1 отличен от нуля.

Так как 7(0) есть матрица вторых моментов MeZiZj случай-
ных величин Ц = Ц (хь 0), то она будет положительно опреде-
ленной матрицей, так как для любого вектора а = (alt ..aft) ¥=
Ф 0 выполняется

2 aiajMoZiZj = Me(SaiZi)2^0,

где равенство пулю исключается условием 17(0)1 =^0.

Неравенство между матрицами of of мы, как и раньше,
будем понимать как неравенство aofar^aofar для любого векто-
ра-строки а = (аь ..аь) Ф 0. Это эквивалентно, очевидно, тому,
что матрица of — of неотрицательно определена. Строгое нера-
венство будет соответствовать положительной' определенности,
так что, например, 7(0) > 0.

Теорема 1А. Если §*^КЬ и выполнено условие (R), то
для матрицы вторых моментов о2 == || oi?-1| = Ме (0* — а (0))г (0* —
— а (0)) любой оценки 0* вектора-строки 0 справедливо нера-
венство

<?>±(£ +О (0)) Г» (0) (£ + D (0))т,	(14)

где Е есть единичная матрица, D (0) = | Ь;; (0)|, >Ьц (0) = —

*) Для этого достаточно требовать равномерную сходимость 7и(0)
(см. Приложение VI).
Пусть 1о21 >0 (или |Е + Z)(0) I >0) при всех 0. В этом случае
знак равенства в (14) достигается тогда и только тогда, когда
распределение выборки принадлежит экспоненциальному семей-
ству специального вида, т. е. когда для некоторых скалярных
функций В((У) и h(X) выполняется

f6(X) = ехр {(0*, Л(0)) + ВШЫХ),	' (15)

где вектор Л(0) = (Л,(0), ..., ЛА(0)) имеет матрицу производных,
равную

' IИ || =п |(/,; + D(0»“Т'(0).

Для несмещенных оценок 0*, очевидно,
о2^(п1Ш~1

и равенство возможно лишь при выполнении (15), где И40И =
= п/(0).

Таким образом, если пам удастся найти несмещенную оценку
0* с матрицей вторых моментов [м/(0)]“\ то опа будет эффектив-
ной оценкой.

Отметим, что

Ме (0* - 0)г (6* - 0) = о2 Ът (0) Ъ (0).

Доказательство теоремы 1А. .Обозначим

Ц = L’} (X, 0) = 2 I-(хь 0), L' = L’ IX, 0) = (л;, ,..,

1=1

Тогда совершенно аналогично одномерному случаю устанавливаем,
что справедливы равенства

MeZ; (хи 0) = 0, Мо0*£.; (X, 0) = 1 +	(0),

в которых 6,/0) непрерывны, пли, что то же, равенства

М0Г = О,	(16)

Me(e*)Ti' = £ + o(e),	(17)

в которых матрица Z)(0) непрерывна. Отсюда получаем

Ме (0* - а (0))г L' = E + D (0).	(18)

Докажем теперь следующее неравенство (матричный вариант
неравенства Коши — Бупяковского).

Лемма 2. Пусть £ и ц — матрицы одинакового размера (не
обязательно квадратные) со случайными элементами, матрица
Мф12 имеет обратную. Тогда

Мит>М^!'(МгтТ1МпГ.	- (19)

При этом равенство возможно лишь в случае % — гц, z~
Доказательство. Так как для любой матрицы Л справед-
ливо неравенство ААг>0 (ААТ неотрицательно определена), то

0< М (В - zn)(s - zil)T = Мйг - zMi)|T - МВчТ2Т + zMipiV.

Полагая г = М£т}Г(Мг)Т1Г) \ мы получим требуемое неравенство.

Утверждение относительно условий равенства в (19) очевид-
но. <1

Вернемся к доказательству теоремы 1 А. Положим в (19) | =
= (0* - с(0))т, т) = (L')T. Тогда

Ме^Г = Me (О* - а (0))г (0* - а (0)) - о3.

Из (16) и из независимости х£ получаем

МоП1/ = Mo (L'f L' = п! (0).

Наконец, из (18) находим

Mefeif = Мо (0* - а (0))г L’ = Е + D (0).

Неравенство (14) доказано.

Равенство в (14) возможно, в силу леммы 2, если только для
точек (х, 0) таких, что /в(ж) >0, справедливо

(0* - а(0))т = (Е + П(0))(п/(0))-1(Г)г

пли, что то' же,

Е' = (0* — а(0))п[(Е +D(0))~1]rZ(O).	(20)

Заметим теперь, что из равенства в (14) следует

\Е + £>(0)|2 = n|o2l |Z(0)|,

и отделенность от 0 определителя 1о2| означает то же самое для
|Е + Е(0)| и означает существование равномерно ограниченной
обратной матрицы (Е + £>(0))-1. Поэтому производная L' в (20)
будет ограниченной, /е(а9>0 всюду па 0 и само равенство (20)
будет справедливо всюду па 0. Если теперь s есть любой путь,
соединяющий точки 0t и 0 в области 0, то

Z.(X, 0) = J (L-,<fc) + L (Х.е,),

где ds означает векторный элемент пути s, ds) == (£', s'(l))dl
есть приращение Е(Х, 0) па этом пути, I — «длина» пройденного
пути). Стало быть, в силу (20)

их, 0) = 0M(0)+B(O) + Z/(X),	(21)

где Е(0) и //(X)скалярные функции, А(0) — (Д£(0), ..., Ah(0))
— вектор, зависящий только от своих аргументов. Это означает
справедливость (15).
Если выполнено (21), то

L' = 0*Uyll + B'(0),

где в силу равенства М^// = 0 справедливо

В'(0) = -п(0)11ЛуН.

Умножая обе части равенства /7 = (0* — п(0))НЛу11 слева па
(0* —е(0))т, мы получим в силу (18), что для выполнения условия
(20), означающего равенство в (14), должно выполняться

11Лу11 = ?г[(Е4-П(е))-1]г7(0). <1

В многомерном случае сохраняют свою силу все замечания,
сделанные к одномерному неравенству Рао — Крамера, а также
определенно //-эффективности, в которые следует внести лишь
очевидные изменения, связанные с размерностью 0.

В частности, a.R-э. оценками мы будем называть оценки 0*,
для которых

Мо (0* - 0)т (0* - 0) = с3 + Ьт (0) b (0) = (nl (0))"1 + о (1/п).

А налог теоремы 2 здесь будет выглядеть следующим образом.

Теорема 2А. Пусть выполнены условия (R). Если 0* есть
R-эффективная оценка, то это есть оценка максимального прав-
доподобия.

Д о к аз а т е л ь с т в о. Чтобы доказать, что //-эффективная
оценка является единственной точкой максимума, достаточно убе-
диться, что L'(X, 0*) = 0 и что при 0 = 0* + и, и#=0

(grad UX, 0), и) = (L'(X, 0), 0 - 0*) < 0.

Но в случае существования //-эффективной оценки выполняется
(см. (20))	.	.	'

L'(X, 0) = (9* - 0)и/(О),

откуда немедленно вытекают оба требуемые соотношения. Второе
следует из того, что

(L', и) = —ни/(0ДЛ,

где uHG)uT есть положительно определенная квадратичная фор-
ма. <1

Пример 4. Рассмотрим двупараметрическое семейство нор-
мальных распределений Фа а2. Оно принадлежит экспоненциаль-
ному семейству, так как (здесь 0 = (0t, 02), 9t =а, 02 —о2)

(х-а)З

И A. A. BopOiiuOij
п

Оценка 0* = (0*, ©г), где 6* ~ х, 0* =	= 'n A i 2 (х* х)' =

1 i=i

~ r * j~ СХ xi—х2)» является эффективной, поскольку оиа при-
надлежит #си статистика (2 хп 2 хГ), «як мы видели в § 15,.
является полной достаточной статистикой (см. теорему 14.4).

Оценка м. п. (х, (xi — Х^) Огличается от О* лишь множи-
п — 1

телем —-— при второй координате, что делает ее смещенной.
Для выбранной оценки 0* специальное экспоненциальное пред-
ставление (15) функции /в(Х) реализовываться не будет, так как
/о (X) = (2л)-"/г ехр {- Пу 2 х‘ + 4 2 х> -	- «1п °) ‘=

{•	2	1

ап л* п — 1 л* п	па . I

— 61-----~Т- е2 - —т (61 ) ~	— п in ok

2*0	^-О	AtG	J

Это значит, что нижняя граница в многомерном неравенстве
Рао — Крамера достигаться не будет.

Наименьший эллипсоид рассеивания, определяемый, по тео-
реме 1А, матрицей 7(0) (или 7"1(0)), будет достигаться лишь
асимптотически при »-*<», так что оценка 0*, пе являясь 7?-эф-
фективной, будет а.7?-э. оценкой. Убедимся в этом непосред-
ственно.

Вычислим сначала матрицу 7(0). Имеем

г;(г,в) = ^^., i'2(x,6)=	--L

0	2а 2о

(напомним, что Z2 есть производная по о2, а по во о, ср. с при-
мером 3). Поэтому

7п (6) = Ме

(xi ~a)2  J

а4 а2 *

Д2(е) = Л1(е) = ме

х, — а
2а4

4S (0) = Аг Мо [(Х± - а)2 - а2]2 =

4а	2о

Отсюда находим '

(«7(0))-^

о2/п

О

О

2о4/п _

(22)

Вычислим теперь для сравнения матрицу вторых центральных
моментов оценки 0*.
Имеем

М„(0: - «,)'! = Me(i-а)2 = £,

M0(eJ - 0.2)2 = Me (5j - О2)3 =

Мо(0Г-е,)(е*-о2) = о.

Последние два равенства устанавливаются непосредственным
подсчетом. Рассмотрим, например, второе из них. Нам достаточно
убедиться, что

М6(х-а)^ = 0.	(23)

Но

Si = -^~г [2 <х< ~ а)3 “ <х ~ а)2]’

(х — а) $0 = п 17 [2 (х* — а)] [2<х* “ а)“1 ~ п (П — 1)"(х“а) •
Поскольку

м0 (х — а)3 = Me (Xi — а)3 = Мо (х{ — а) (х; — а)2 ~ О,

то (23) доказано.

Таким образом, матрица вторых моментов 6* — 0 равна
о2/п О

.0	2o4/(n—1)J’

Ясно, что различие между этой матрицей и матрицей (л7(0))~*
может быть существенным лишь при небольших значениях п.

4. Некоторые выводы. В заключение этого параграфа подве-
дем некоторые итоги исследований, проведенных в последних ше-
сти параграфах. Главная их цель состояла в отыскании способов
построения оптимальных (в том пли ином смысле) оценок и
установлении нижних границ для их средпеквадратических ук-
лонений. В результате можно указать следующие четыре основ-
ные направления, по которым можно идти в поисках наилучших
оценок.

1.	Построение байесовских (если есть априорная информация
о 0) и минимаксных оценок.

2.	Отыскание полных (пли минимальных) достаточных ста-
тистик S. Тогда оценка 0g — Me (Q*/S) будет эффективной в
том классе Кь, которому принадлежит О*.

3.	Использование о. м. п. в тех случаях, когда выполнен кри-
терий (3) теоремы 1 (или критерий (15) теоремы 1А), При этом
мы также получим эффективные (и даже //-эффективные) оценки
в классах с фиксированным смещением.

11*
4.	Количественный подход, основанный па сравнении средне-
квадратического уклонения Мд (0*—0)~ оценки 6*, которую мы
хотим использовать, с нижней границей /I, определяемой нера-
венством Рао — Крамера. Если отношение Мн (0* — 0)-//f бу-
дет близко к 1, то оценка 0* может быть рекомендована к ис-
пользованию. На этом пути мы получим в дальнейшем весьма
общие результаты, связанные с построением асимптотически эф-
фективных, асимптотически байесовских и асимптотически мини-
максных оценок.

Сделаем также следующее замечание. Во всех отмеченных
выше направлениях существенную роль играет форма зависимо-
сти распределения выборки Ри от оцениваемого параметра 0.
На практике, однако, нередко возникают задачи оценки пе само-
го 0, а некоторой функции от пего ф(0). При этом нетрудно ви-
деть (см. пример со схемой Бернулли в (8.4), (8.5)), что оценка
<р* = ср(О*) далеко пе всегда будет обладать теми свойствами,
которыми обладала оценка 0* (несмещенность, эффективность я
Т; д. Сохранятся лишь свойства асимптотической эффективности,
если ср гладкая функция). С этой точки зрения представляется
естественным с самого начала рассматривать задачу оценивания
функций <р(0) от исходного параметра 0. Мы отказались от та-
кого подхода, так как па этом пути многие основные результаты,
полученные нами, существенно усложнились бы. С другой сто-
роны, если ср осуществляет взаимно однозначное отображение,
то задача об оценке ср(0) сводится к задаче, рассматриваемой на-
ми, путем «перепараметризацпи», т. е. введения нового парамет-
ра 7 — ср(0), которому будет соответствовать семейство распреде-
лений Gr = Р,- 1 (7).	‘

§ 17*. Свойства информации Фишера

Мы уже видели и будем убеждаться в дальнейшем, что ин-
формация Фишера играет важную роль в математической стати-
стике. В связи с этим выясним некоторые ее полезные свойства.

1.	Одномерный случай. Информация Фишера

1 <е) “ I Цдг- Н (<М = Мв (/' (х,, в))’
появилась в рассмотрениях предыдущего параграфа. Величину
/А’(е) = м0[Л' (х, ел-

принято рассматривать как меру количества информации, содер-
жащейся в выборке X относительно параметра 0. В теореме 16.1
мы доказали аддитивность информации: /х(0) ~ п/(6), т. с. что
7М0) равна сумме информаций J ’ (0) — Mg [V (xi5 0)]1 2 ~ I (8), со-
держащихся в независимых наблюдениях x1J4.х„.
Докажем* еще одно свойство информации Фишера. Пусть S =
= SIX) — некоторая статистика со значениями в IV и ge(s) есть
плотность ее распределения, индуцированного распределением Р0
в (с??'1, S3^ относительно некоторой меры X в (7?г, S3'). В соответ-
ствии с предыдущими обозначениями величину

Is (6) = Мо [(log ge(S))'[2

мы будем называть информацией, содержащейся в статистике S
относительно параметра. 0.

Отметим, что значение Is (0) не зависит от выбора меры X.
Действительно, пусть X — какая-нибудь другая мера и v «= X + X.
Тогда X и X абсолютно непрерывны относительно v, а плотность
go (•?) распределения 5 относительно меры v равна

go(s) = geGO^ =

~ ™	dX dK

где ge — плотность относительно X. 1ак кан и от 0 пе
зависят, то производные от логарифмов всех трех выражений
будут совпадать.

Теорема 1. Пусть плотности ]в(х) и gets) удовлетворяют
условиям (/?). Тогда

’’ Zs(0)«Ux(0).	(1)

Равенство здесь достигается тогда и только тогда, когда S есть
достаточная статистика.

Доказательство. Для любого В е S3' обозначим е
е S3’^ множество х & для которых	В. Тогда по оп-

ределению у. м. о.

J L' (ж, 0) PG (dx) = Ме [L' (X, 0); X е= S-1 (В)] =.

S-l(B)	'

= Me [Me (£' (X, 6)1 S)-. S e B[. (2)

С другой стороны,

J L' (x, 0) Po (dx) = ~ J fQ(x)pn(dx) ge(s)l(ds) =»

= J	ge (S) X (ds) = Me [(log go ($))'; S e В]. (3)

В

Сравнивая (2) и (3), мы видим, что и. в. [Ре]

Мо(Л'(Х,0)/5) = (logge(S))',	(4)
Далее, имеем

О < Me [L1 (X, 0) - (log g0 (S))']2 -

= Iх (0) + Is (0) - 2МвГ' (X, 6) (log go (5))',
где в силу (4)

Ме£' (X, 0) (log g0 (5))' *=*

= Mo ((log go (S))'M0 (£' (X, 0)/S)] = Mo [(log go ($))')’ = Is (0).

Это доказывает неравенство (1).

Пусть теперь S — достаточная статистика для 0. Тогда

/в(Х) -г1’(5, 0)Д(Х).	(5)

Возьмем в качестве X меру

% (Z?) = j* h (.г) j.tn (dx).

г

Тогда, как показано в лемме 15.1, распределение 5 будет абсо-
лютно непрерывно относительно л и будет иметь плотность ge(s),
равную ge($) =	0). Отсюда в силу (5) получаем

Iх (0) = Мв [I/ (X, 0)р = Mo [(log (S, 0))’]3 = Is (0).

Покажем теперь, что из равенств Iх(0) = Р(0) при всех О
следует, что S — достаточная статистика. Действительно, Iх(0)
есть дисперсия L'(X, 0), так что

Iх (0) = Mo (X, 0) - Ме (L’ (X. 0)/5))2+Мо[Ме (L’ (X, 0)/Х)|г. (6)
Но в силу (4) последнее слагаемое равно

MeKlogg0(X))T=r,(0).

Так как Zx(0) = Р(0), то в (6) и. в. [Ре1 при всех 0

L’ (X, 0) - Ме (£' (X, 0)/5) = 0.

То есть L'(X, 0) измерима относительно о(5) и, стало быть,
существует измеримая функция tp(5, 0) такая, что

L'(X, 0) = ф(5, 0), £(Х, 0) = Ф(5, 0) + MX),

/0(Х) •= ехр 1Ф(5, 0) + MX)]. . <3

Мы уже отмечали, что достаточные статистики являются тем
единственным типом статистик, которые сокращают выборочные
данные без потери информации о параметре 0. Теорема 1 при-
дает этому утверждению точный смысл применительно к инфор-
мации Фишера.

Пример 1. Пусть XВр. Здесь

fP(x) => рх(1 — р)1"”,

где х равно 0 или 1, fP(x) есть плотность относительно
считающей меры. Поэтому

Z (х, Р) ~ х 111 р + (1 — л) In (1 — р),

(1 \2	f 1 V

-) + (1 — р) (r=7j

1

р(4 — р)’

Таким образом, информация одного наблюдения в схрме Бернул-
’ ли равна (р(1 — р))~* и достигает своего наименьшего значения
при р — 1/2.

Информация всей выборки равна и/(р(1—р)). Обозначим те-
перь v число «успехов» в выборке X (число единичных исходов)
и найдем информацию этого наблюдения. Плотности (опять от-
носительно считающей меры) для v будут равны

gp U) = Спрх (1 — р)п х, х = 0,1, ..., и,
так что log gv (х) = х log р ф- (п — х) log (1 — р) ф- log
Iх (р) = Мр |(log gp (v))'J2 =»

= i су а - Рг’(- -	=у су (1 -	^^4 -

Д,	’ \Р 1~1‘/	S',	(p(i-ri)'

«=_____1___Dv=______г____

'	(р(1-г>))2 р (1-рГ

Это равенство полностью согласуется с теоремой 1.

Мы предлагаем читателю найти в виде упражнений инфор-
мации наблюдений для выборок из распределений, зависящих от
одномерного параметра и приведенных в § 2.

2.	Многомерный случай. Пусть теперь Q & Rh, к>\. В этом
случае мы будем иметь дело с информационной матрицей Фи-
шера наблюдения х»

I (9) = II hi (<•) II. hi (6) = Мо 1 (х,, 6)	1 (х„ 6),

где предполагается, конечно, что функция f^x) дифференци-
руема.	<

Если положить

<р (#, 0) = ((Pi (х, 0), ,.,, ср/{ (z, 0))

~2( У7777)7 ~	1	dfQ(x)\

то матрицу 7(0) можно записать также в виде

J (0) = [ <рт (х, 0) ср (х, 0) pi (da’).
Мы уже установили в § 16, что, как и в одномерном случае,
информация Фишера аддитивна, т. е. информационная матрица
Фишера выборки X равна сумме информационных матриц от-
дельных наблюдении. Если обозначить

rY(e) = ||/g(0)|,' 7j(e) = Mo4-L(x,e);A.£(x,0),

то 7Х(0) = nl(Q).

Теорема 1 также сохраняется полностью. Пусть gets') — плот-
ность некоторой статистики S = 5(Х) со значениями в II1 отно-
сительно некоторой меры X. Обозначим

zs(6) = |/£(е)|, /5(0) = Me^-iogg0(S) Aiog?e(S).
i	j

Это есть информационная матрица наблюдения S.

Теорема 1А. Если плотности jetx) и gets) удовлетворяют
условиям СЯ) § 16, то

7S(0) С 7х(0),	-	(7)

т. е. матрица 7Х(0) — 7S(0) является неотрицательно-определенной.
Равенство в (7) имеет место тогда и только тогда, когда S — до-
статочная статистика.

Доказательство этой теоремы вполне аналогично дока-
зательству теоремы 1, и для сокращения текста мы его опускаем.
Это доказательство можно найти, например, в [301, [31].

Пример 2. В § 16 мы уже вычисляли информационную мат-
рицу для нормального распределения.- Вычислим теперь инфор-
мационную матрицу для двунараметрнческого семейства распре-
делений

г I V 1 t (х — сА
/еМ =

где 0 = (а, о), / — заданная дифференцируемая функция, для
которой существуют интегралы

Ь = f С dx = <Г (Ч))2' »= 0,1, 2.
v з \*Ч

Здесь ZCr) = log/Cr), штрих f означает обычное дифференцирова-
ние, параметры а и о суть параметры сдвига и масштаба рас-
пределения с плотностью ftx), Таким образом, нам известен вид
распределения, но лишь с точностью до линейного преобразова-
ния аргумента. Параметры а и о нормального распределения
Ф2» очевидно, являются параметрами сдвига и масштаба. Па-
раметр а Г-распределения при фиксированном X является пара-
метром масштаба, как и параметр 0 fi распределении Uo, е.
Имеем

Z (х, 0) = log /о (х) = — log ст + I

5Z (ж, G) _   1 у (л — а\
<3а	'	о у о

. д1 (х, 0) _	1 (х— a)j,fx — a^

до ~ а а2 \ ° ;

Отсюда находим

Если / — симметричная функция, то, очевидно, Ц = 0.

Вырождение матрицы 7(0) означает, что ее определитель об-
ращается в нуль пли, что то же,

[M(Oil)Z- (XJ (1 + x,Z' (х,))]2 = &!(„.,>(/' (х,))2 М(„л) (1 + xj' (х,))2.

Эго возможно лишь в случае, когда либо 1 + xl'(х) = сГ (х) при
каком-нибудь с, либо 1'(х) =0. Из первого равенства следует, что

I (х) — — In (х — с) 4-	/ (х) =

Ясно, что такая функция /(я) пе может быть плотностью
распределения. Аналогично рассматривается возможность Г(х) =
= 0. Стало быть, /(0) положительно определена.

В частности, для нормального семейства [Фа о2] при 0 = (а, о)
'«4П _ -

так как в этом случае I (х) = — х2/2 — In У2л, V (ж) = — х, IQ —
~ М(0Д)Х1== 1, Ц = М(0Л)Х1 = 0, /2 = М(0Д)Х1 — 3. Тот же самый
результат мы могли бы получить с помощью примера 16.4, если
воспользоваться разделом 3 этого параграфа, где выяснено пове-
дение информационной матрицы при замене параметра (в при-
мере 16.4 0 = (а, о2), а пе (а, о)). Мы предлагаем читателю
убедиться теперь, что в соответствии с теоремой 1А статистика
(х, xi) имеет информационную матрицу

/S(0) = ^|o г| = пИ9).

3.	Матрица Фишера и замена параметра. Рассмотрим вопрос
о том, как ведет себя информационная матрица при замене пара-
метра. Положим 0 = г(^), р е где v — дифференцируемая век-
тор-функция, и рассмотрим параметрическое семейство =
= Р«(Р). Чтобы найти информационную матрицу J((3) для этого
семейства, мы должны найти производные

(8)

J	i=-l ’	"У

Если обозначить V ==

(₽)

г,/,---1, ...,//, то мы получим, что

вектор производных в (8)
Iq (xn v (Р))Р, так что

Zp (xi>v (Р)) представим в виде

Д₽) = М Д/о (х„, р (₽)) V)T (Z,; (х,, V (₽)) F) = VTI (v (₽)) F.

В частности, если 0 = [ЗС, С = II с,-,II, i, / — 1, , ./>’, то
V = CT и

J(p) = С7(0)СГ.	(9)

Отметим, что если мы рассмотрим в параметрическом про-
странстве эллипсоид

(О-01)/(О)(0-О1)т<с,	* (10)

то запись (10) этого множества инвариантна относительно ли-
нейного обратимого преобразования С над параметром 0. Имен-
но, если положим 0 = ftC, <то в новых переменных множество
(10) будет иметь вид

где Pi *= OiC'-1. Это немедлепно получится, если подставить 0 —
^рСв (10) и воспользоваться (9)«

§ 18*. Оценки параметра сдвига п масштаба»
Эффективные эквивариантные оценки

Мы видели в §§ 12—16 и будем убеждаться в дальнейшем,
насколько полезным является понятие достаточной статистики
вообще и при построении эффективных оценок в частности. Круг
идей, связанный с использованием достаточных статистик, можно
было бы назвать принципом достаточности.

Принцип достаточности мы сочетали при построении эффек-
тивных оценок с другим принципом — принципом несмещенно-
сти. Оп состоит в выделении классов оценок с фиксированным и,
в частности, с нулевым смещением. Без фиксации смещения вы-
деление эффективных оценок было бы невозможно.

В этом и следующем параграфах (а также в главе 3) мы
рассмотрим еще один важный принцип математической стати-
стики — принцип инвариантности.

Смысл введения всех названных принципов одни и тот же —•
они позволяют естественным образом сужать класс рассматривае-
мых оценок так, что в полученных сужениях оказывается воз-
можным отыскание эффективных оценок.

1. Оценки параметра сдвига и масштаба. Задачей об оценке
параметра сдвига называется задача оценки параметра а в се-
мействе распределений {Ра1, обладающих свойством

Ра(Л)=Р(Л-а).

Здесь Р — некоторое фиксированное распределение, А — а =•
= {ж: ж + а^Л}, и предполагается, что параметрическое множе-
ство 0 имеет ту же природу, что и В случае %? = Rm можно,
конечно, рассматривать сдвиги 0 и «меньшей размерности», на-
пример скалярные, но тогда надо фиксировать направление (век-
тор	сдвига и рассматривать РДЛ) = Р(Л + ае). Мы бу-

дем рассматривать для определенности лишь первую возможность
и считать, что © =	== Rm.

Заметим, что Ра-распределепие х, + с (c^Rm) совпадает с
распределением Ра+с величины хг, т. е. сдвиг всех наблюдений
ла с приводит к выборке из распределения Ра+<;. Это делает
естественным рассматривать лишь те оценки а* — а*(Х) пара-
метра ос., которые обладают свойством

а*(Х + с) = а*(Х) + с. .	(1)

Здесь и в дальнейшем X + с означает вектор с координатами
(х, + с, .,х„ + с). Нарушение этого равенства означало бы,
что оценка а* зависит от начала отсчета, т, е. от выбора начала
координат в пространстве %? = Rm.

Аналогичный подход возникает при оценке параметра мас-
штаба, когда оценивается параметр о в семействе {Ро} со свой-
ством Р0(Л) «= Р(Л/о), ое (0, °о). Мы считаем здесь о скалярным,
хотя можно рассматривать и матричный случай. В этом случае
Ро-распределение значений х3с совпадает с распределением Р.7С
величин х,, т. е. умножение наблюдений на с приводит к выборке
из Рос. Стало быть, в этом случае естественно ограничиться
рассмотрением оценок, обладающих свойством

о*(Хс) = со*(Х),	(2)

где Хс = (XiC, .jrnc), поскольку при изменении в о раз мас-
штаба наблюдений во столько же раз меняется и параметр.

Следующие утверждения читатель может легко получить са-
мостоятельно.

Если семейство Р0 удовлетворяет условию (/1ц), то параметр О
будет параметром сдвига (масштаба) тогда и только тогда, когда

fe U) == / (^ — 0), (/е И = f

Если ~ R = 0, Х£= Ра и а есть параметр сдвига, то
Y ~ е ~ (е х, ««., е ’')(= Q<T» где для распределений Q, параметр
о = еа есть параметр масштаба. Это сразу следует из того, что
плотность ух= е 1 равна (см. [11], стр. 53)

— / (In у — сс) = — [ —/ [ In —YI.

У	а1г/ \ °/}

Наоборот, если — (0, <*>) = 0, Х^Ра и о есть параметр мас-
штаба, то Y = In X — (ln-Xj, ,..,In xn) Qa, где a = In о есть па-
раметр сдвига распределений Qa.

Можно рассматривать задачу и об одновременной оценке не-
известных параметров а и о в случае,' когда Ра>о (Л) =

из I \	13

== 1 —-—j.	В этих условиях в качестве оценки о естественно

рассматривать функции, обладающие свойством

a*(X + c)=a*(X), оЧХс) = со*(Х),	(3)

Оценки, удовлетворяющие в рассмотренных примерах усло-
виям (1), (2), (3), называются эквивариантными (общее опреде-
ление см. в § 19). Смысл введения таких оценок состоит в су-
жении класса всех рассматриваемых оцепок, что упрощает зада-
чу поиска оптимальных оцепок. Так, в § 8 нами было установ-
лено, что найти равномерно (т. е. при всех 9) паилучшие оценки
в классе всех оценок- невозможно. Оказывается, что в классе эк-
вивариантных оценок такие равномерно паилучшие оценки уже
существуют и могут быть в ряде* случаев найдены в явном виде.
На примере оцепок параметров сдвига и масштаба мы этот факт
п проиллюстрируем.

«2. Эффективная оценка параметра сдвига в классе эквивари-
антных оценок. Мы будем предполагать здесь, что выполнено
условие (Ли) и, стало быть, /а(.г) = /(.г — а) и что ц есть мере!
Лебега.
Обозначим через SQ статистику

s. = $0(Х) = (х2 - х„ ..., хп - х(),
очевидно, инвариантную относительно сдвига: S0(X + с) = 5()(Х).
Через КЕ обозначим класс всех эквивариантных оценок а*, т. с.
оценок, удовлетворяющих (1), и через 1а!2 — квадрат евклидовой
нормы сс е

Теорема 1. Пусть а* = а*(Х) — любая эквивариантная
оценка с конечным значением Мух*. Тогда оценка

а* = а* — Мо (а*/^)	(4)

от выбора а* не зависит и является единственной эффективной
в КЕ оценкой, т. е. Мк|ссо—а|2 = min Ма | а*—<х |- при всех а
а*еТ<Е

и Ма|а* — а р — Ма | а0—а|2, если только Мо (а*Л$0) = 0 п. в.
Оценка а0 может быть представлена в фюрме

* ufu (X) du	С uf (X —и) du

ao = у—т	= —	.	(5)

J fu(X)du f (X — и) du

Оценка называется оценкой Питмена. Из (4) нетрудно
видеть, что она является эквивариантной и несмещенной. Экви-
вариантность следует из эквиварпаптпости а* и инвариантности
относительно сдвига функции V (50) = Мо (cc*/S0), зависящей
только от <$0. Несмещенность вытекает из равенств

Маа* = a -J- Маа* (X — а) — МаР (50),	(G)

где МаР (50) = М0П (50), Маа* (X — а) = Моа* (X). Последнее со-
отношение вытекает из того, что X—а£=Р0, еслиХ^Ра. По-
этому сумма двух последних слагаемых в (G) равна

Моа* — Мо [Мо (а*/50)] = 0; Мксс* == а.

Доказательству теоремы мы предпошлем следующее вспомо-
гательное утверждение.

Лемма 1. Пусть Х^Р0. Для любой статистики S — S(X)
с конечным математическим ожиданием Мо (.S’ | < оо у. м. о. S от^
носительно 8й равно

[ S{X -и) fu(X) du

М, (S/S„) =	(X) s	.	(7)

J /„(4^

Доказательство. Все функции под знаками интегралов
в (7) есть функции от X — и. Стало быть, после замены xt — и —
= V ОНИ будут функциями ОТ (v, Х2 — Xt + и, .,хп — Xt + р).
Это означает, что правая часть (7) зависит лишь от So. В силу
свойств у. м. о. нам для доказательства леммы достаточно убе-
диться, что для любого А е o(SJ

Мо Л) — Мо (S; Л),	(8)

Пусть Z = Z(S0)—любая ограниченная о(50)-измеримая ста-
тистика, тогда

2 (5о) [ 5	~ к) /и И d“

«= С ---------------------/ (х) dx =

%п	J /и <Л')

в

f f 2 (5в) 5	— «) /	— «) / (*) , ,

— I I —__rz---------------------dxdu„

О	j f ~ t) (,v

e

После замены x~ it~>x во внутреннем интеграле получим
(<S0(a?) при этом перейдет в себя)

г г	+) dxdu = гz(So)5(х)j(х}dx=M/s,_

е®~	pl» + —’)*	Д

6

Это доказывает (8). Изменение порядка интегрирования, ко-
торое мы дважды производили, законно в силу абсолютной ин-
тегрируемости S и ограниченности Z. <

Доказательство теоремы 1. Заметим прежде всего,,
что для эквивариантной оценки Ма | а* — а |2 не зависит от а.
Действительно,

Ма | а* (X) - а |2 - Ма | а* (X - а) |2 = Мо ] а* (X) |2.

Таким образом, для отыскания равномерно оптимальной экви-
вариантной оценки надо найти а*, минимизирующую М0|а*|2.

Пусть а* — любая эквивариантная оценка а. В силу свойств,
у. м. о.

М„ | а* |’ = М0|а* - Мо (а*/5с) |= -J- Мо | М„ (а*/50) |2 >

>М<,|а*-М0(а*/5„)|2. (9>

Остается заметить, что в силу леммы 1 оценка а* — а*— Мо (a*/S(j)
равпа (5) и от выбора сс* пе зависит. Равенство в (9), очевидно,
возможно тогда и только тогда, когда М() (а*/50) = 0 п. в. <]

Из доказательства теоремы видно, что особую роль в построе-
нии оптимальной эквивариантной оценки играет статистика So =
= (х2 —Xi, ..., хп — Xi), инвариантная относительно преобразова-
ния сдвига. Инвариантность статистики есть качество в извест-
ном смысле противоположное достаточности, а конструкция оцен-
ки 0* ₽ 6* — Мо (9*/5'0) на основе произвольной оценки 0* пред-
ставляет собой подход к улучшению оценки 6*, также в некото-
ром смысле противоположный подходу, при котором для улучше-
ния оценки 0* с помощью достаточной статистики S рассматри-
валась оценка 0s = Мо (0*Л$). Противоположность состоит в
следующем. Достаточная статистика содержит в себе всю инфор-
мацию о параметре 0; инвариантная статистика — никакой. В по-
исках паилучших оценок мы искали минимальные достаточные
статистики; здесь, как мы увидим, нам нужны максимальные
инвариантные статистики (таковой является статистика So).
Оценка 0 s есть «проекция» 0* на S, в то время как оценка 0О
получается вычитанием из 0* се «проекции» на So.

В конечном счете результаты, полученные этими двумя пу-
тями, часто совпадают, как это будет видно из следующих двух
примеров.

.При м е р 1. Пусть 3? — R, X е Фа, ь Тогда

W = ^77 СХР [-7 Z - а>2Н
	п /

1	(	1 Vf -\21 1/^

---------^ехР(-у2Дх*- х) ]• V

УЛ(2я) 2

Здесь второй множитель как функция а есть функция плот-
ности нормального закона с параметрами (х, 1/п). Так как пер-
вый множитель от cz не зависит, то оп сократится в (5), и оценка
Питмепа будет равна а* — X. Таким же будет результат в много-
мерном случае.

-11 р и м с р 2. Пусть сЕ ~R,X^ П0| 1+0. Тогда

И при х(п) — 1 < 0 < х(1),
/а к ) — в остальпых случаях.

Поэтому

x(i)	/

0* = J и du I (Х(1) — X(n) + 1) — 2-(х(1) 4" х(п) — 1).

к(п)—1	/

Мы видим, таким образом, что в классе КЕ эквивариантных
оценок можно в явном виде строить эффективные оценки, при
этом не требуется никаких условий па гладкость /0(я), и сама
эффективность носит точный (пе асимптотический) характер.

3. Минимаксность оценки Питмепа. Обратим теперь внимание
на форму оценки Питмена. Грубо говоря, это есть байесовская
оценка для «равномерного на всей оси» априорного распределе-
ния. Так как указанного распределения не существует, то сфор-
мулируем высказанное утверждение бблее точно, Пусть =
и Q(V) есть равномерное распределение на [— TV, 7V], т. о. распре-
деление с плотностью

q U (О,	111 > N.

Байесовская оценка, соответствующая Q(K), будет равна

* f IZV(N) (u) fu (X) du p	I p

cc,q6y> “~F ,	~ I Ufu (-^) dll I \ fu (-^)

3	/3

Очевидно, что при всех X оценка Питмена «о есть предел
а0 = lim <ху(дг). Это обстоятельство наводят на мысль, что одно-

JV-—> оо

временно будут сходиться и моменты второго порядка:
м« (ajw — сс)2 -> М„ (а„* - а)2.

Оказывается, что в области led ^N — 1/N это так и есть, при-
чем сходимость будет равномерной по а в указанном интервале
вначенпй а. (Доказательство связано с оценкой Ма (а*—cSq(N))2,
носит в основном технический характер, ц мы его опускаем.)

Но в таком случае мы можем воспользоваться критерием ми-
нимаксности оценок в теореме 11.3: если оценка а* такова, что
при всех а

Ма (а* — а)2 < lim sup J Mz (а*(х> — t\z Q(V)(dt) (10)

для некоторой последовательности априорных распределений Q(Y)
{не обязательно равномерных) и соответствующих им байесовских
оценок сс^(Х), то а* —минимаксная оценка.

В нашем случае m = Ма (а*— а)2 от а пе зависит. Поэтому
в силу отмеченных выше свойств сходимости

lim sup f Mi (%<X) — i)2 Q(A) W

> lim sup J Mt(a*(tf) — t)2dt^

U\<n-Vn

lim sup 2 (N — /iV) (m — e) — m — e

JV->oo

при любом e > 0. Это означает, что свойство/10) выполнено.

Таким образом, оценка Питмена является минимаксной в клас-
се $сех оценок параметра сдвига (то, что опа минимаксна в клас-
се эквивариантных оценок, очевидно, следует из эффективности).
Сказанное можно интерпретировать также следующим обра-
зом: «наихудшим» априорным распределением (см. § 11) для па-
раметра сдвига является «равномерное на всей оси» распределе-
лепие.

Указанием на минимаксность оценки Питмена могла бы слу-
жить также отмеченная выше независимость Ма(“о—а)2 от а
(ср. с теоремой 11.2).

4.	Об оптимальных оценках параметра масштаба. Как мы уже
отмечали, проблема оценки параметра масштаба о может быть
сведена в пзвестном смысле к проблеме оценки параметра сдвига.
Пусть для простоты SB = (0, со) = О. Тогда, если Ро, РОС4) =»
= Р(А/о), то У = In X == (In xI? ..., In xn) (=P 1 , где a = In о, а рас-
пределение Pa} имеет плотность величины yt == In Xj в точке у
/	dP (л)	X	'

у условие (И(1) выполнено, ——— —	равную (см. [111,

стр. 53)

/ (4) 4

/(1) (у) = f(ey)eV.

Таким образом, мы можем оцепить паилучшпм образом пара-
метр а с помощью оценки Питмена а* = а*(У), а затем положить
и* (X) = ea*(Y). Нетрудно видеть, что о*(Х) будет эквивариантной,
так как

о* (сХ) = ea*<Y+lnc> = ек*(У)+1пс = CG*

Однако здесь важно отметить, что оценка Питмена минимизирует
Ma (a* — сс)2. Стало быть, полученная оценка о* будет миними-
зировать

МЦ1п—(11>

а не величину Ма(о* — о)2, с которой мы обычно имели дело.
Но в задаче об эквивариантной оценке параметра о и неразумно -
было рассматривать среднеквадратическую погрешность, посколь-
ку она, в отличие от (11), зависит от преобразования сжатия,
примененного одновременно к о* и о. Аналогом инвариантной
статистики So здесь будет статистика (x2/xi, xn/xi). Наряду с
(11) возможно, копечио, рассмотрение и других погрешностей.
Если, например, мы будем минимизировать величину

12 а. а. Боровков
то паилучшей эквивариантной оценкой будет

a~n'2f (Х/а) da i

о* — 2---------------- !

(12)

-П-Зу (Х/а) d(J

(см. [63], стр. 191).

Пример 3. Обнаружение источника излучения.
Приведем пример реальной физической задачи, которая связана
с оценками параметров сдвига и масштаба.

Предположим, что в некоторой неизвестной точке z трехмер-
ного пространства находится источник у-излучепия. Задача со-
стоит в том, чтобы используя плоский детектор (пусть он совпа-
дает с одной из координатных плоскостей) и фиксируя на нем сле-
ды излучения, т. е. следы взаимодействия ^-квантов, испускаемых
точкой z, с чувствительной поверхностью детектора, определить
координаты точки z.

Эта задача намного упростилась бы, если бы мы имели ис-
точник излучения заряженных частиц высокой энергии. Тогда
можно было бы поставить один за другим два параллельных
плоских детектора и фиксировать на пих точки прохождения
(т. е. взаимодействия с поверхностью экрана) всего лишь двух
частиц. Это дало бы нам направления полета этих частиц и вме-
сте с ними координаты точки z как точки пересечения этих на-
правлений. Одпако для слабого у-пзлучения, используемого в
рентгеноскопии, это неосуществимо, и возможно введение лишь

одного детектора.

Направление, в котором распространяются излучаемые ч-
кванты, случайно и имеет равномерное распределение па поверх-

ности сферы (если направление
определять точкой па сфере
с центром в точке z).

Чтобы упростить задачу, мы
рассмотрим ее двумерный ва-
риант. Пусть источник находит-
ся па плоскости переменных
(х, у) в неизвестной точке z =
« Ga, о), о > 0. Угол направле-
ния излучения, составленный с
 осью Оу, имеет равномерное
распределение па [0, 2л]. Чув-

ствительный детектор совпада-
ет с осью абсцисс. Результатами наблюдений будут точки
Xi, х2, ,в которых было зафиксировано взаимодействие у-кван-
тов с детектором (осью абсцисс).

Некоторое своеобразие этой задачи состоит в том, что объем
п выборки, полученной за фиксированное время i, будет случай-
иым: число 7-квантов, испускаемых источником за время t, имеет
распределение Пуассона, число 7-квантов, достигших детектора,
также распределено по закону Пуассона, так как каждый квант
достигает оси абсцисс с вероятностью 1/2. Однако в нашем слу-
чае п и наблюдения х,, х2, ... независимы. Поэтому мы можем
рассматривать то число п наблюдений, которое получилось, и
считать его фиксированным (для каждого такого фиксированноги
п распределение х, будет одним и тем же).

Итак, пусть даны наблюдения X = (хи ..., хп). Наша задача
состоит в оценке координат (а, о). Покажем, что X^=KtttO, т. е.
х, имеют распределение Коши с параметрами сдвига ос и масшта-
ба о.

Действительно, условное распределение угла р направления
движения 7-кванта с осью (0, —у) при условии, что квант
достиг детектора (ось абсцисс), будет равномерным па отрезке-
[—л/2, л/2]. Так как (ж —a)/o = tg^ (см. рис. 2), то

Р«,О (X, < X) = 4 + V arctg

Стало быть, плотность распре деления Xi будет равна плотности
распределения Коши (см. § 2)

/г ьл - J___________4	= _______2______.

 ЛО (! + ((ж _ а)/а/) я (а2 + {х _ а)2)‘

Предположим теперь, что о известно, пусть, например, о — 1.
Тогда паплучшей инвариантной оценкой параметра сдвига сс бу-
дет опенка Питмепа, которая получается как среднее значении
а* — J u<p(u)du распределения с плотностью

(X)	п

Ф (и) = ф (u, X) = -р-----, ки (X) = JJ ки (х{),

J kv (X) dv	i=i

I

/1и (х,) = A’u 1 Xj) — —
- л(1-|-(u —xjI 2)

O. m. и. сс* будет представлять из себя точку, в которой дости-
гается шахф(п). Позже мы покажем (см. §§ 24, 25), что о* и а*
асимптотически эквивалентны и имеют а. н. распределение с ко-
эффициентом 1/7=2 (в рассматриваемом случае I — J (к0)2/kQdx =
=	х,2(1 + л’2)-3б£г = 1/2). Из сказанного следует, что погреш-

ность оценок а* и а* при больших п имеет порядок малости 1/1'ц.

Интересно отмстить, что в рассматриваемой задаче можно до-
биться путем вмешательства в эксперимент и более высокой сте-
пени точности. Это можно сделать, поставив между точкой z —
— (а, 1) и детектором экран, параллельный оси абсцисс, с отвер-
стием Н, через которое лишь и могут проходить 7-квапты. Поло-
12 *
жепне экрана и отверстия выбираются экспериментатором и, ста-
ло быть, нам известны.

В этом случае распределение наблюдений па экране будет
разрывным и при небольших отверстиях Н будет близко к
Uoq. аа+Ь при некоторых известных нам постоянных а и Ь. Вид
эффективной эквивариантной оценки для такого распределения
был пайден в примере 2. Оценка определяется крайними зна-
чениями выборки и имеет точность порядка 1/пн, где пн С п —
число элементов выборки, которые соответствуют квантам, про-
шедшим через щель (/7Н, как и п, па самом деле случайно и рас-
пределено по закону Пуассона). Так как в среднем пн пропорцио-
нально к, то при достаточно больших п мы получим 1/Пн 1/7 п.

§ 19*. Общая задача об эквивариантном оценивании

Рассмотрим группу G измеримых преобразований g прост-
ранства 38 п в себя, обладающих следующими свойствами:

1)	Каждое g отображает 36п* на все пространство т. е.
для любого ж2 е найдется е= 3?п такое, что xz ~ gxlt

2)	Отображения g взаимно однозначны.

Измеримость g нужна для того, чтобы gX была случайной
величиной. Групповое свойство означает, что g2gi е G, если g! G,
g2 е G; тождественное преобразование е и обратное преобразова-
ние g~l принадлежат G (так что g~lg~e).

Определение 1. Семейство распределений {Ре} называется
инвариантным относительно группы преобразований G (или, для
краткости, просто инвариантным), если для каждых g^G и 0 е
е 0 существует единственное 9 такое, что соотношение X
(ЦРе влечет за собой gX^Pog.

Значение 0g, однозначно определяемое 0 и g, мы обозначим
9g = g0. Тогда определение означает, что

Ре(^е4) = Р-0(ХеЛ). *

Так как в силу определения 1 условие (Ло) выполнено, то мно-
жество G всех преобразований g пространства 0 в себя образует
группу. Действительно, распределение g2gtX дается одновременно
распределениями Р^-^-о и	Из условия (Ао) следует, что

g2gt = 82Si и что g/ G ' (достаточно положить = gil).
Преобразования g из G автоматически взаимно однозначны. Одна-
ко изоморфизма между G и G может и не быть. Пусть, например,
ое(0, °°). В этом случае плотность /0,а2 (X) (функ-
ция правдоподобия) зависит лишь от 2 х*. Стало быть, если в
качестве G рассмотреть группу вращений (ортогональных преоб-
разований б£”г), то условия определения 1 будут выполнены, но
g — ё, и группа G состоит из единственного элемента ё — тож-
дественного преобразования 0 = (О, °°) в себя.

Мы представляем читателю в качестве упражнения проверить,
что если {Ро} инвариантно относительно группы G и Gi есть
подгруппа G, то ОМ ппвариаптпо относительно

При рассмотрении общей задачи эквпвариаптпого оценивания
нам необходимо иметь несколько более общую постановку задачи
относительно сравнения оценок. До сих пор мы делали это с
помощью средне квадратических уклонений, меряя погрешность
оценки величиной (0* — О)2. Мы будем теперь предполагать, что
измерение погрешности 0* происходит с помощью функции
щ(0*,.0) и что эта функция обладает свойством «однородности» ♦):
ic(g0, g0*) = ш(0, 0*) при всех 0.	(1)

Именно этим свойством обладают функции ш(0, 0*) =» (0 — 0*)а
для параметра сдвига (преобразование сдвига) и щ(0, 0*)=)

/ О V	;

или I у* — 1) для параметра масштаба (преобразование сжатия).

Мы видели в п. 4 § 18, что задача отыскания панлучшей ин-
вариантной оценки может быть весьма чувствительной к выбору
меры погрешности ш(0, 0*) оценки 0*.

Обратимся теперь к проблеме оценивания для инвариантных
семейств {Р«}. Пусть мы имеем выборку X и по пей построили
оценку 0* == 0*(Х) параметра 0. Если мы рассмотрим выборку
У — g.Y £= Р-;), то 0*(У) будет оценкой для gO. При этом ес-
тественно предполагать, что оценки 0*(Х) и 0*(У) связаны между
собой так же, как оцениваемые параметры 0 и gO, т. е. преобразо-
ванием g:

0*(У)=>£О*(Х).	(2)

В силу (1) оцепка 0*(У) параметра g0 дает ту же самую ошиб-
ку, что и оценка 0*(Х) параметра 0. Таким образом, мы имеем
две «одинаковые» проблемы оценивания. Произведенные преобра-
зования gX и g9 можно интерпретировать как замены систем ко-
ординат. Тогда (2) означает, что оценка 0* пе зависит от выбора
системы координат и удовлетворяет соотношению

" 0*(X)=g-’0*(gX).	(3)

Иными словами, если выбрана 0*, удовлетворяющая (2), то без-
различно, какую из двух проблем оценивания, указанных выше,
решать, поскольку выводы о g0 во второй проблеме можно прев-
ратить в выводы о 0 в первой с помощью равенства (3),

*) Это свойство пе обязательно в теории эквивариантного оценивания.
Можно лишь требовать существования gO* такого, что при всех 0
ge*) = ,с(о. о*) (см. [«Зи.
182

ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ

[ГЛ. 2

Определение 2. Оценка 0* параметра 0 инвариантного се-
мейства Ре, удовлетворяющая (3), называется эквивариантной *).

Рассмотрим какую-нибудь точку 0О е 0 и множество «экви-
валентных» точек 0 «= gOo, g^G. Такое выделение классов «экви-
валентных» точек делит все пространство О на подмножества,
называемые орбитами.

Теорема 1. Значение Ме^(0, 0*) для эквивариантной оцен-
ки 0* постоянно на орбите, т. е.

Меш(0,0*) = M-Gw(iO,0*)

при любых 0 е О и g^G.

Доказательство.

Меи; (0, 0* (X)) =	(g0, gO* (X))

= (gO,0* (gX)) == M-yiP (gO, 0* (X)). <]

Если орбита {0: O = g0o, g^G} совпадает с 0 (как это имело
место для параметров сдвига и масштаба), то Ме^(0, 0*) = const
на 0. Выполнение этого равенства есть характерный признак
минимаксности 0* (ср. с теоремой 11.2), так что наилучшие
эквивариантные оценки часто оказываются минимаксными в клас-
се всех оценок (подробнее см. [63]).

Из теорем § 11 вытекает, например,

Теорема 2. Если 0 является орбитой и эквивариантная
оценка 0* оказалась байесовской (или пределом байесовских оце-
нок 0/у со сходимостью МеН?(0, 0*) = lim Mow (О, 0дг)|, то 0* —

N-*oo	J

минимаксная оценка.

Отметим также следующее важное свойство эквивариантных
оценок. Пам будет удобно через v(gdx)/v(dx) обозначить плот-
ность меры vg, VgkB) ~x(gB\ относительно меры v в точке

Теорема 3. Пусть выполнено условие (AJ) и p.n(g dx)/p,n(dx)
конечно и положительно при каждом g^G и п. в. [ц’Ч значений
ж. Пусть, кроме того, o.M.n.Q* единственна при каждом X. Тогда,
если семейство Ре инвариантно, то 0* является эквивариантной
оценкой.

Доказательство. Имеем



Рл (dx)
е*(Х) v '

(dx)

= max
е

Pfi (dx)
цп (dx)

в точке ар = Х. Полагая У ~ gX, мы можем записать также

Лэ»<У) ~

P6*(Y)(gAr)	Р0(^^)

—-----------= шах----------.

р,” (g dx) е уп (g dx)

*) Такие оценки называют иногда инвариантными. Однако этот термин
менее точен. Его лучше оставить для оценок, обладающих свойством
0*(gX) == 6*(Х) (т. е. для случая, когда g — ё для любого g).
В силу инвариантности и конечности p?(gda?)/p,n(cZ#) > 0 это
эквивалентно тому, что

Р- , (dx)	Р- .(dx)

g-le*(Y)v > „	g-1©'	1

*	------------ Hid А. --

pn (dx)	-0 ц (dx)

Pe (dx)
max—------

O p (dx)

Сравнивая c (4) и пользуясь единственностью 0*(X), получаем
=e*(x). <

§ 20.	Интегральное неравенство типа Рао — Крамера.
Критерии асимптотической байесовости

и минимаксности оценок

Этот параграф можно было бы назвать также «Неравенство
для средпеквадратического уклонения в байесовском случае».
В значительной своей части он относится к асимптотической тео-
рии оценивания.

Вопросы, связанные с асимптотическим подходом к сравне-
нию оценок, затрагивались нами и рапыпе. Теперь, и главным
образом в §§ 23—29, они станут основным объектом изучения.

1.	Эффективные и сверхэффективные оценки. В § 16, посвя-
щенном неравенству Рао — Крамера, остался невыясненным сле-
дующий важный вопрос. Пусть выполнено условие (Z?). Тогда
для несмещенных оценок

• М ° <0* - 0)2 > wW'

Правую часть этого неравенства называют иногда границей
Рао — Крамера. Она достигается для ^-эффективных оценок. Воп-
рос состоит в том, можно ли за счет выбора смещения сколько-
нибудь существенно улучшить ^-эффективные или а.Л-э. оценки?
Это есть вопрос о существенности границы Рао — Крамера и о
роли смещения.

Тот факт, что в отдельной фиксированной точке О» значение
Ме(0*—О)2 может быть сделано значительно меньше, чем гра-
ница Рао — Крамера, нами уже отчасти обсуждался. Достаточно
взять 0* = 09. Однако при этом в других точках эта оценка будет
очень плохой.

Можно привести другой, менее тривиальный пример, где улуч-
шение достигается не за счет других точек. Пусть Х^ФаД,

О— [0, оо). Тогда оценка а* = х является эффективной и даже
^-эффективной. Однако оценка а** = тах(0, х) в пашем случае,
когда 0 = [О, оо), будет, очевидно, лучше, поскольку опа умень-
шает средпеквадратические уклонения, заменяя недопустимые
отрицательные значения на 0. Оценка а**, очевидно, будет уже
смещенной: Маа**>сс, но в точке а^О имеем /(а) = 1,М0(а*)2—
=	МЛа**)2 = ~ <-Дйг.

п ” '	'	п! (0)
184

ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ

[ГЛ. 2

В этом примере улучшение связано с тем, что мы сузили об-
ласть значений оценки а* до множества 0. Приведем еще один
пример (принадлежащий Ходжесу), в котором улучшение а* про-
исходит не за счет ограничения (Э.

Пусть опять	ае0 = (- оо, оо). Наряду с эффек-

тивной оценкой а* = х рассмотрим при £ < 1 оценку

(х, если | х I	п~г 4,

’ 1 1

|3х, если | х | < п~г'\

Нетрудно видеть, что при а > 0 по центральной предельной
теореме

P«(|x|<n"1/4XP«((J-a) Vn<nll,-a /й)->-0

при п оо. Аналогичное утверждение верно при а < 0. Поэтому
ос** при ос =7^0 совпадает с х на множестве вероятности, сходя-
щейся к 1, и, стало быть, по теореме непрерывности при а¥=О
(сс** — а) У п (=> Фод.

При сс = 0



С н1/4)-> 1,

и а** па множестве вероятности, сходящейся к 1, совпадает с
рх, так что(сс** — сс) (=> Фр Таким образом, при всех сс
оценка а** является а. и., (сс** — сс) У п (=> Ф	где

’	, fl прп а 0,

° Ф2 <z 1 при сс = 0.

Таким образом, в точке сс = О коэффициент рассеивания о2(0)
оказался меньше нижней границы Рао — Крамера, равной 1.

Асимптотически нормальные оценки в приведенных примерах,
когда коэффициент рассеивания для них о2(0)^/~Ч0) оказыва-
ется при некоторых 0 строго меньше 40), называют иногда
сеерхэффективными.

Однако оказалось, что эти примеры все же мало меняют пра-
вильную в"целом картину о предпочтительности эффективных
оценок. Именно, Ле Камом было установлено, что добиться про-
иллюстрированного выше улучшения оценок можно, грубо гово-
ря, лишь в малом числе точек.

В этом параграс^е мы покажем, что наряду с соотношением
inf М ДО*— £)2 = 0, справедливым при каждом t, для интеграла
о*

от Mt (6* — i)2 У?ке существует положительная нижняя граница*
не зависящая от 0* и тесно связанная с аналогичным интегралом
от функции (nZU))"1. Именно, мы получим в одномерном случае
O^R неравенство для

inf f Mf (0*- tfq(Z) dt	(1)

о* J

при любой весовой функции g(Z)5sO, J q(t) dt — 1, правая часть
которого не зависит от 6* (в том числе и от смещения b(t), при-
сутствующего в неравенстве Рао — Itpawepa) и близка к значе-
нию J/n, где

/=Н'Н	•'	<2>

2.	Основные неравенства. Прежде чем сформулировать соот-
ветствующие теоремы, заметим, что интеграл в (1) можно рас-
сматривать как безусловное математическое ожидание М (0* — 0)2
в байесовском случае, когда 0 имеет априорное распределение с
плотностью q(t) относительно меры Лебега. В этом случае J ==

Обозначим через f(x, z) = ft(x)q(t) плотность совместного рас-
пределения X и 0. ft (х), как и прежде, будет означать производ-
ную ft(x) по Z.

Пусть, далее, Nh <= О есть носитель функции h, определенной
па О: Nh= {t: h(t) ¥=0), и N есть носитель f(x, t) в с^пХ0.

. Теорема 1. Предположим, что ft(x) дифференцируема по
Z, а функция 1/1 (t) интегрируема на любом конечном интервале.
Тогда для любой фнтитной (т. е. равной 0 вне конечного интер-
вала) дифференцируемой функции h(t) такой, что Nh cz Nq, спра-
ведливо неравенство

М (0* - 0)2 > 1________fM <M)/?(0))F__________

'	(0)1/д(е)/?(е)Г2) + м[Д, (.е)Л7(0)Г'!

Г fh (<) rft]2

г=------------Ы________!_____- ~	(3)

« J / И) {t)/q (0 dt j‘ (k' (t)2)/q (t) dt

Доказательство. Имеем, в силу финитпости k(t),

J (fl (x) h (I))' dt = J d (ft (x) h (Z)) = 0,

J t (ft (x) h (t))' dt = — § ft (x) h (t) dt.

Стало быть, для любой 0*

J j	~ 0 (ft (r)h (0)' dtp (d*)

% n ®

:= f ft (x)h (I) dtp (dx) = \h(t)dt. (4)
Эти интегралы можно рассматривать, в силу условия Nh <= Nq, как
интегралы по N. Стало быть, мы можем умножить и разделить
подынтегральное выражение в (4) на /(a?, t). Мы получим тогда
М [(а* - е» <А> м ]	J А (0 dt = м

В силу неравенства Коши — Буняковского отсюда следует

М (Q* _ 0)2 > ____(6))12______________ /г?у

м 1(/е (*) h (0))7(Ге (*) <; (0))i2 ’

Остается привести это неравенство к виду (3). Заметим пред*
варительно, что

Mt | L' (X,Z)|<n /Гр)

и что для почти всех*) t

МЛ' (X, Г) = 0.	(б)

Первое из этих утверждений следует из соотношений

М, |Л' (X, I)I< пМ| 1V (х„ t) ]< п{М( [Г (хп t)p)1/a = и /7(7),

вытекающих из неравенства Коши — Буняковского. Чтобы дока*
зать второе утверждение, возьмем произвольную финитную функ-
цию g(t), имеющую всюду непрерывную производную g'(Z). Тогда
J g (0 ft (х) dt = — J g' (Z) ft (X) dt.

Кроме того,

JU(t)|M,|L'(^,t)|dt<nf|g(t)l /7(7)dt<oo.

Отсюда следует, что можно менять порядок интегрирования в сле-
дующем выражении:

J g (0 МЛ' (х, t)dt~ J J g (Z) ft (x) dtp' (dx) =

S5n ®

*= — f f g' (0 ft (л) dtp1 (dx) = — J g' (l) dl —dg (t) = (I.
ё	её

Выполнение этого равенства для всех g и означает справедли-
вость (6).

♦) В § 16 мы доказали, что это равенство при выполнении условий
(Я) имеет место при всех t. Здесь вам будет достаточно ею выполнение
для почти всех t.
Теперь мы можем преобразовать правую часть (5). Опуская
для краткости аргументы функций, получим

(f&w НО)) 2 цдГг/ h , V]2	( к\\й /г,ч2] ,

М -7-7 V/	= м L — 4----------= М — I Me (L')2 4-

+ 2М Г Ме£/1 4- М	Y = пМ [(-¥ Л 4- М (— V.

I? J \ Ч / L\ « / 1 \Ч }

Здесь мы воспользовались тем, что в силу (6)

м[^м„£'

L д

— MtL'dt = О
д

к что (саг. § 16) Ме (ТУ)2 = п/(0). <J

В последующих утверждениях мы везде будем предполагать,
что /Да?) удовлетворяет условиям теоремы 1.

Теорема 2. Если функция h{t) — h0(t) =	является

финитной и дифференцируемой, то

(7)

Замечание 1. Неравенства в теоремах 1, 2 являются интег-
ральными в том смысле, что они относятся к интегралам от
М/ (6* — Z)2. В этом смысле неравенства § 16 можно называть
локальными.

Доказательство. Это утверждение пемедлепно вытекает
из теоремы 1, так как правая часть в (3) при h = q/I преобразу-
ется к виду JVCnJ + Я). <

Мы видим, таким образом, что нижняя граница возможных
значений М (0* — 0)2 при больших п лишь немногим отличается
от границы	» равной значению М(0* — 0)2 для Я-эф-

фективпой оценки 0*. Это указывает па целесообразность исполь-
зования эффективных оцепок, поскольку для них при любой функ-
ции q почти достигается экстремальное значение М (0*— 0)2.

Оцепка (7) пеулучшасма, на что указывает

Пример 1. Пусть А'€=Фа>1. Как мы знаем, в этом случае
7(a) = 1. Пусть, далее, параметр а выбирается случайно с гладкой
плотностью q(J), f е (—oof оо). Тогда правая часть (7) превраща-
ется в (п + //)“*, где

« = J-^<W = M[(In?(a))’]\
В вашем случае байесовская оценка ctq, соответствующая априор-
ному распределению Q с плотностью q и минимизирующая
М (а* — а)2, равна (см. § 10),

Щ = у

j 9(0/х(Х) dt

С tq (Z) exp (nxi — i2n/2) dt	f tq (t) exp (— n (x — i)Z/'2,) dt

«= 4----------—-----------— 4------------------------. (8)

j q (t) exp («xi — i2n/2) dt J q (i) exp (— « (x — i)2/2) dt

Нетрудно найти асимптотическое представление этого отношения
м показать, что

а2 = х + -?4г+оШ, М(«;-«)2 = 4--4 + оШ.
«у (х)	\ п )	п п \п ]

Одпако мы поступим проще, предположив, что q(t) = • у—?1 2.
у 2л

Тогда, очевидно, 11 = 1, и правая часть в (7) превращается в
1/(н+ 1). Но в примере 11.1 было установлено, что

M(aJ — а)2 =-

Тем самым неулучшаемость неравенств (7) и (3) доказана.

Теорема 3. Если интервал (а —е, а + g) содержится в 6,
то для любой оценки 0*

max Mj (0* — i)2	--------------------..

ic(«—«,а+е)	п max 1 (t) |- лле

te(«—е,«+е)

Д о к а 3 а те льет в о. Воспользуемся неравенством

max М( (6*—ty- J МДО* — Z)2^(f)t/Z,
te(u-£,a-j-E)	д_£

справедливым для любой плотности q(t), равной пулю вне
' (а — е, а + е). Требуемое утверждение следует из теоремы 1, если
положить в вей

7 / j\	/ >\	fl)

h (0 = 9 (0 = 7-cos -------------»

11 — « I

E.

Тогда

Mi (0* - 0)2‘>

^4- f(/ (0)2Aj(0^’

« j I (0 q (0
где

( (<Л(*))2
J Q (О

dt ~

!п nt nt \2

--9 2 COS о— sin-x— I Е

,2ez	2е /

dt ==

cos2

Jit

2е

i

if « . 2 nt П1 .

«= —T I ЛЛ Slir-H-tU	—2".	<J

E J	*	E

-1

Можно отметить, что на функции g(i) = cos2 (я£/2) достигается
1

минимум функционала J (<f (J))2/<? (i) dt в классе всех диффо-
- i

репцируемых плотностей q(t).

Из теоремы 3 вытекает, в частности, что интервал значений 0,
при которых оценка 0* является сверхэффективной, не может
иметь длину большую, чем O(l/Vn).

3.	Неравенства в случае, когда функция q(6)/I(6) не диффе-
ренцируема. Если функция h0 — q/I не удовлетворяет условиям
теоремы 1, то справедливо следующее полезное утверждение, по-
зволяющее оценивать асимптотику М (0* — 0)2 в общем случае.

Теорема 4. Пусть последовательность функций зави-
сящих от параметра е > 0, такова, что каждая функция ht удов-
летворяет условиям теоремы 1 и

1) he(t)^h0(t),

2) .

Тогда для любого е > О

2

М (0* — 0)2

nJ Н (е) '

Доказательство немедленно вытекает из теоремы 1, если
положить h = ht.

Из теоремы 4 мы получаем следующее важное следствие.

Теорема 5. Если функция q интегрируема по Риману,
J < оо5 ТО

где 6„ = о(1) при п-^

Доказательство. Положим qE (t) = min q (i -|- u),
|u|<8

^E(t), если $8(0>e,

0, если qz (t)<ZE,

(0 =
190

ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ

[ГЛ. 2 •

7e(f) = max (е, J (t)),
t+в

f 7g (и) MO-

t—e

Очевидно, что функция he финитна и дифференцируема при лю-
бом е > 0.

Из того, что q(t) интегрируема по Риману, следует, что
qAt) t q(t) почти всюду при е -> 0. Чтобы доказать это, убедимся,
что

ь

J (9 (0 — &(01 dt I 0.	(9)

Из интегрируемости д(0 по Риману вытекает сходимость
2?e(2/f6)26 f f q(t)dt,
k	d

S?e((2fc + 1)6)26 f fg(t)d«
h

при 6 -> 0. Поэтому
ъ

f (t) (It q2e. (2/ve) 2e —

h

<1 «

=4(2 <4м4e -и 2	((4/<+2)e)	Jq df-

Соотношение (9) и вместе с ним сходимость qAt) t q(t) доказаны.

тт	-	А 7

Пользуясь теперь этой сходимостью, получаем - •	1 '^о(О«

уе

е



— 8

hpfSdJ==



—e

Кроме того,

K(«)l = ^

<7еи + е) <7P(f — е)

q(t)

,2 1



Мы можем воспользоваться теперь теоремой 3. Полагая е —
= е(п) = п~1/5, 71 ~* °°, получим е(7г)	0,

(Сле(0^)3	j

M(o*-e^>VJ / = А (1 + 0(1)). <

nJ 4~ п11*	п
4.	Некоторые следствия. Критерии асимптотической байесово-
сти и минимаксности. Один из основных выводов, которые можно
сделать из результатов этого параграфа, состоит, грубо говоря,
в следующем. Если существует а. R-э. оценка, то какую бы дру-
гую оценку мы пе взяли, мы не получим «в целом» (или «в сред-
нем») асимптотически лучшего результата. Этим фактом мы
воспользуемся позже в § 25. Здесь же мы приведем критерии
асимптотической байесовости и асимптотической минимаксности
оценок, вытекающие непосредственно из теорем 2, 5.

Определение 1. Оценка 0г, обладающая свойством

Mn(ei*-0)2 = /-Ьо(1)	(10>

ври п -> оо, называется асимптотически R-байесовской.

Это есть оценки, для которых асимптотически достигается
нижняя граница для средпеквадратических уклонений, определен-
ная в теоремах 2.5. Их можно было бы назвать также асимптоти-
чески R-эффективными «в целом» (или «в среднем»).

Напомним (см. § 11), что оценка 0А называется асимптотиче-
ски байесовской (относительно распределения Q), если для всякой
другой оценки 0*

lim sup [Мп (0* — О)2 —	(0* — О)2]	0.

(Г1>

Следствие 1. Пусть выполнены условия теоремы 1 и функ-
ция qtt) интегрируема по Риману. Тогда асимптотически R-байе-
совская оценка является асимптотически байесовской.

Доказательство. Пусть 0* — асимптотически Я-байесов-
ская оценка. В силу теоремы 5 для любой оценки ©*

lim inf Мп (0* — 0)2 J.
П—»оо

Отсюда и из (10) следует (И). <1

Ясно также, что если асимптотически /(-байесовская оценка
существует, то любая асимптотически байесовская оценка будет
асимптотически /(-байесовской (ср. с замечаниями к теореме 16.3).

Из теоремы 5 вытекает также

Следствие 2. Пусть выполнены условия теоремы 1 и функ-
ция q(t) интегрируема по Риману. Если 0* и 0*— две асимптоти-
чески R-байесовские оценки, то они асимптотически эквивалентны
в следующем смысле:

Мп (в; - 02‘)2 -> о, (е; - е’) /п о,

где сходимость по вероятности понимается относительно совмест-
ного распределения X и 0 в RSX О.
Доказательство совершенно аналогично доказательствам
теорем 8.2, 16.4. Исходным является равенство (8.11), которое в
силу теоремы 5 дает

lim sup М/г (0* — О*)2	0. <}

П—>оо

В §§ 8, 11 мы отмечали, что для сравнения оценок наряду со
средними значениями У?(0МД0*— dt можно рассматривать
максимальные значения

sup Mf (0* — 02, Гс 6.

ter

В качество Г берется либо все множество 0, либо та его часть,
которая, по предварительным данным, содержит неизвестное зна-
чение 0. Напомним, что оцепка 0* называется минимаксной, если
для любой оценки 0*

sup Mf (ё* - t)2 < sup Mf (0* - 02.
ter	ter

Оценка 0* называется асимптотически минимаксной, если для
любой оценки 0*

lim sup sup Mt [ ]/n (0* — i)]2 lim inf sup Mf [ ]//г (0* -1)]\ 
n->oo ter	n->oo ter

Следствие 3. Пусть информация Фишера Z(0) существует
и непрерывна. Тогда если для любого отрезка Г <= 0

lim sup sup Mt [ Vn (0* — i)]2 <1 sup Z-1 (0,	(12)

n-»эо ter	ter

то оценка 0* асимптотически минимаксна. 

Доказательство. Нам достаточно убедиться, что для лю-
бой оценки 0*

lim inf sup Mf [ Vn (0* — i)]2 sup Z-1 (0.	(13)

n-»oo ter	ter

Для любого распределения Q па Г с гладкой плотностью q(0
Относительно меры Лебега

sup Mj [ Vn (0* — Op J Mt [ Vn (0*— 0]2g (0 dt.

По теореме 2 интеграл в правой части для любой оценки 0* не
меньше, чем J — H/u. Поэтому левая часть (13) больше или равна

J = J Z-1 (0 q (0 dt.

Но q — произвольная гладкая плотность, и для заданного 8 > О
ее всегда можно выбрать в силу непрерывности Z“’(i) так, чтобы

J sup Z-1 (0 — е.

ter

Так как е произвольно, то (13) доказано. <1	. ,
В заключение этого раздела сделаем одно важное замечание.
Оно состоит в том, что при отыскании асимптотически оптималь-
ных оценок можно ограничиться классом асимптотически не-
смещенных оцепок, введенным нами в § 16. Это вытекает из сле-
дующих соображений.

Мы уже отмечали, что правая часть неравенства теоремы 5,
равная J/n + о(1/п), от смещения 6(0) никак пе зависит. В то же
время, если для построения нижней границы для М (6* — 0)’3 мы
будем исходить из неравенства Рао — Крамера в § 16, то мы по-
лучим

М (0* - 0)2 > min J q (t) [(Ц^}))2 + b~ (£)] dt.

Можно показать (ср. с [72]), что этот минимум по всем сме-
щениям 6(0) имеет (при некоторых предположениях на гладкость
q(t) и /(/)) тот же вид J/n + о(1/п) и, что для пас существенно,
достигается на смещении 6(0), обладающем при 7г-> <*> свойствами

6'(f)=o(l), 6(f)=o(l/Vn).

Класс оценок 0* с такими смещениями и есть Ко (см. § 16).
Выход 0* из класса делает границу J/n + o(l/n) недостижи-
мой. Таким образом, при асимптотическом .подходе, когда а. и.
оценки сравниваются с помощью значений М (0* — 0)2 при глад-
ких qkt) и /(f), можно ограничиться рассмотрением оценок из
класса К — КФ, 2 П (класс Кф, 2 обсуждался нами в § 8), посколь-
ку оценки впе класса Ко являются «недопустимыми» в указан-
ном выше смысле.

5.	Многомерный случай. В случае 0 е Rh можно получить
аналоги для всех теорем этого параграфа и сделать те же вы-
воды, которые памп были получены для- одномерного случая.

В частности, утверждение теоремы 5, одной из основных в
этом разделе, будет иметь вид

d2 > J/n + о(Л/п),

где d- - du = м(е‘ - еО(е* - еД J = м/-1 (в).

Рассуждения, связанные с байесовскими и минимаксными
оценками, также сохранятся, если в качестве погрешности оценки
рассматривать значение

v (0*) = Ме (0* - 0) V (0* - 0)т,

где V — неотрицательно определенная матрица. Байесовскими и
минимаксными оценками (пли асимптотически байесовскими и
минимаксными) следует называть оценки, погрешности которых
удовлетворяют соответствующим неравенствам для любой неот-
рицательно определенной матрицы V.

13 л. а. Боровков
§ 21.	Расстояния Кульбака — Ленблера,
Холлингера и /2. Их свойства

Результаты этого параграфа будут существенны для получе-
ния основных результатов асимптотической теории оценивания,
а также для результатов гл. 3.

1.	Определения и основные свойства расстояний. Пусть Р и
G — два распределения па (<s??, S3 ^>), абсолютно непрерывных от-
носительно меры ц. Обозначим

dP	dG

-у— = р —-— = р
aju t ар, °

NP — носитель распределения Р: NP = {.г:	> 0).

Определение 1. Расстоянием Кульбака — Лейблера меж-
ду распределениями Р и G называется величина

P1(P,G) = J ln|^-P(dx)= J ln^-pU)ti(dx).
N jp	IVp

Ila самом деле рДР, G) не есть, конечно, расстояние или мет-
рика в общепринятом смысле, поскольку рДР, G) пе есть сим-
метричная функция от Р и G. Тем пе менее, мы увидим, что
р1(Р, G) очень по существу (со статистической точки зрения)
характеризует отклонение G от Р.

Из неравенства In (1 + v) — v < 0 н представления

Pi (Р, G) = - J [in А _ (Л _ 1)] ри (&)

следует, что всегда р/Р, G) >0. В лемме 6.1 было установлено,
что равенство pt(P, G) == 0 возможно, лишь если Р = G.

Определение 2. Расстоянием %2 между распределениями
Р и G мы будем называть величину

Рг (р. <?) = f (p(x>f74W)2 |х (<?х)

«pU^G

К этому расстоянию относятся почти все замечания, сделан-
ные к определению 1. Название х2 объясняется причинами, ко-
торые станут ясны позже.

Определение 3. Расстоянием Хеллингера между распре-
делениями Р и G называется величина

р3(Р, G) = J (/pU) — ZgUj)2

Расстояние Хеллипгера является уже симметричной функцией
Р и G, а значение Ур3(Р, G) обладает всеми свойствами метрики
(между функциями 1 р{х) и VgGr) в метрическом пространство
, р)). Нетрудно видеть, что

Рз(р,с) = 2(1 — J V pgp(dx)j^2. -	(1)

Все трш введенных памп расстояния играют существенную
роль в различных задачах математической статистики. В какой-
то мере мы в этом убедимся.

Если с помощью этих расстояний характеризовать степень
близости распределений, когда отношение p/g близко к 1, то
окажется, что все они асимптотически ведут себя одинаково с
точностью до постоянных множителей. Действительно, пользуясь
разложением

in —= infl +	=	— 1)—4-(—— iT + o(l- —if1),

Р \ \Р JJ \ Р /	2 \ р /	\ I р | /’

получаем

Pi (Р, G) = — J In у-jou (dx) ~ V J	— 't) РН (^) = у р2 (Р’ G)’

(Р, G) = J	р (dx) = J ( У р - Vg^ (1 + р (dx)

^4p3(P,G).

Пз последнего равенства следует также, что р,(Р, G)>p3(P, G).

Кроме того, pt(P, G) > р3(Р, G). Действительно, так как In (1 +
-4- х) х, то

In у = 2 In (1 + fl/ — 1У) < 2 (1Л- — 1),

Р	\	\ * Р 1 / V Р )

р, (Р, G) == — J In рр (dx) > — 2 (J У pg р (dx) — 1) = р3 (Р, G).

В дальнейшем мы будем рассматривать параметрический слу-
чай и предполагать, что выполнено условие (ЛД. Пас будут ин-
тересовать расстояния р,, i — 1, 2, 3, между распределениями
F^Poj и G--Руз в(с2?,33^>), а также между соответствую-
щими выборочными распределениями (мы обозначим их здесь
ре\, ре2) в (^и, 5)^). (Отметим, что расстояния имеют смысл

для произвольных распределений и с природой пространств ни-

как пе связаны.) Если NpQ cz NPq ,

то мы можем записать

J/n	fc.\

bl - A /e^i (dx) = Mor In 1
'02I 1)

/т» n x	ал ( ^02(xi)	.\3

"= (Pe>- p“=) = J	ту-1*(ffa) = M"1 (уду - ’

(2)

P, (Pop P»3) = J (КК - Vh, у И (*) = Mo, (]/- 1
Если условие cz /Vp0 не выполнено, то р2 (^Ор Ро2),
Рз(Р().р Ре9) будут больше соответствующих математических
ожиданий в (2).

Отметим, что наряду с (2) имеет место следующее полезное
равенство,-вытекающее из (1):

М01 ]//е2 (xi)//01 (xj = J J,</e2 (х) /01 (я) р (dz) =

=71"1рДР«х-Ч). (3)

Связь между расстояниямиР;(РОр Ре2) и Pi(Pov Ро2) устанавли-
вается следующим утверждением.

Теорема 1.

Р1(РогРе2) = «Р1(РогРо2),

1 + р2(Р01, Р£2) = (1 + р2(Р61, Ре2))\	(4)

1 - 4 Рз (₽?,, ₽з2) = (i - 4 р3 (р61, Ро,))п.

Доказательство почти очевидно, если предположить для
простоты, что /Vp0 с Npe (в общем случае выкладки по суще-
ству сохранятся, по станут чуть более громоздкими). Действи-
тельно, в этом случае
(2). Тогда первое из
того, что

мы можем воспользоваться равенствами
соотношений (4) немедленно следует из

4W

Ацб*)	42(Хг)

Далее, в силу (2)

1 + Р2(Р01, Ро2)= М01(/е2(х1)//О1(х1))2,

1 - Рз(Рв1, Ро2)/2 = МО1КМХ1)/МХ1)<

и такие же соотношения справедливы для расстоянии между
Р01 и Р0 (с заменой в правых частях Xi иа X). Так как

то отсюда при а = 2 и а = 1/2 мы получаем (4).

Доказательство теоремы в общем случае (т. е. если условие

NpG2c. NpQ не выполнено) мы предоставляем читателю. <

Из теоремы 1 вытекает
Следствие 1.

P3(Pe1.PS2)<np3(Pf>1,Pf>2).

Действительно, 1 — Р" < (1 — £)n при любом S5 0. Полагая

Р — 1 — ~ Рз (Рбр Ре.,), мы получим из (4)

Рз (р»1. p’i) = 2 (1 - ₽")< 2 (1 - ₽)» = »Р3 (Р^, Р„,). <j

2.	Связь расстояний Хеллпнгера и других с информацией
Фишера. Средн трех введенных в предыдущем разделе расстоя-
нии наибольший интерес для пас в дальнейшем будет представ-
лять расстояние Хеллпнгера. В то же время характер главных
утверждений, приводимых ниже (теоремы 2, 3), и характер дока-
зательств будет один п тот же для всех трех расстояний. Поэто-
му для краткости изложения мы ограничимся в этом разделе
изучением расстояния Хеллпнгера, которое будем обозначать те-
перь (опуская индекс у символа р3)

р (р«Р *4) = f (/М - УЪ)* н

Положим r(0t, 02) = p(Pev Ро2).

Лемма 1. Если /е(ж) при п.в. [у] значениях х непрерывна
по 0. ©! =г= 02, то

liminf НУ.on

е-^е, |О'-0'|-	10 - е I

О'->«2

(5)

Если функция V/o(.t) при n. в. [ц]		значениях х дифференци-	
руема по 0, то	... г (О', 6") 11Ш 1П1		—		—  е^е |0'-е"|	7(6)  4 *	%  (6)
Кроме того,	о"^о		

< 4 Р (6, + (е2 - 6,) у) dy.	(7)

I IL --- Uft	* V

Здесь предполагается, конечно, что значения О', 0", 0И 02, 0
принадлежат 0. •

Доказательство. Чтобы проверить (5), достаточно вос-
пользоваться леммой Фату и непрерывностью /еСг) в соот-
ношении	__ _____

. f г(9',е") . (*г . с (Vt& — Vh." Y z,.

lim inf —-----— I lim inf ---------------- I у (ar).

|е'-О"Г J 0'^01 k e -0" у /

c"^e2	1	б"-з>е2
198

ТЕОРИЯ ОЦЕНИВАНИЯ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ

[ГЛ. 2

Так как при 0ц = 02 = 0 подынтегральное выражение в последнем
интеграле равно (/е)7(4/е), то мы получаем (G).

Чтобы доказать (7), положим л —02 — 0ц и представим прира-
щение j/"/е2 —	в виде

62	,	1	,

1 С Л _____________а С	'(Ц + ai/

2 0!	2 о ]/

В силу неравенства Коши — Буняковского





Пользуясь неотрицательностью подынтегральной функции, мы
можем менять порядок интегрирования в следующих соотноше-
ниях:



dy I р (dx) —

4 J 1 (°i + й^) dlJ*
о

Неравенство (7) доказало. <i

Положим г(Д)=г(0, 0 + Д). Из леммы 1 непосредственно
вытекает

Теорема 2. Если функция }'fe(x) при и. в. [р] значениях х
дифференцируема по 0 и 7(0) непрерывна, то существует

т г (А)	7(0)

1Ш1—~

Д-»о А“

(3)

Замечание 1. Это утверждение останется справедливым и
для расстояний рь р2, если положить

Г (А) = 4 02 (ре, р0+д), Г (Д) = ~ рх (Ро, Ро+д).

Соотношение (G) доказывается при этом точно так же, как
в лемме 1. Доказательство же (8) может потребовать привлече-
ния дополнительных условий регулярности (близких к условиям
(7?)), обеспечивающих законность предельного перехода под зна-
ком интеграла.

Итак, Р1(Ро, Ре+д), i = l, 2, 3, ведут себя асимптотически оди-
наково, п 7(0) характеризует скорость их стремления к пулю при
1

Д -* 0 (ведь -V-7 (0) есть вторая производная г(р) в точке к = 0).
Если положить
, будет следовать

г<”>(Д) = р(рз+л, р;;),

то из теорем 1, 2

1 im —
д-+о

г<"> (Л)

Д2

4 '

Такие же соотношения сохранятся для расстояний рь р2.

3.	Существование равномерных границ для г(А)/А2. Наличие
таких границ позволит нам в дальнейшем получить весьма по-
лезные оценки для моментов отношения правдоподобия.

Для того чтобы упростить изложение пли избежать введения
других более громоздких условий, мы часто будем предполагать
в последующих рассмотрениях выполненным условие

(Ас): множество 0 компактно.

С точки зрения приложений это условие, означающее ограни-
ченность и замкнутость параметрического множества, как прави-
ло, не представляется ограничительным.

Ниже мы будем использовать также условие (Ло), которое
было введено памп в § 6 и которое означает, что /ег =# /е2 при
01	©2- При этом условии /'(0!, 02) > 0 при 0t Ф 02.

Теорема 3. Если выполнены условия (Ло), (Ле) и 0<
< 7(0)	< °° при .всех 0^0, то существует постоянная g>0

такая, что для всех 0ь 62е0

g

Pi-°2|2

(9)

Доказательство. Оценка сверху следует непосредствен-
но из (7). Покажем теперь, что

inf
«1.02

(Ю)

Допустим, что (10) неверно, тогда найдется последовательность
(0<и), 0<">) такая, что

| е<п> - е(2п) |2

(П)

при п -> со. В силу условия (Лс) мы можем считать, не ограни-
чивая общности, что 0i’l) 6л <= 0, 0(2п) -> 02	©• Если 0t =# 02, то

(11) противоречит (5), так как в силу условия (Ло) г(0ъ 02) > 0.
Если же 0! = 02 = 0, то (11) противоречит (6), так как 7(0) > 0.
Теорема доказана.

4.	Многомерный случай. В этом разделе мы получим аналоги
утверждений и. 2, 3 для многомерного параметра (содержание
п. 1 с размерностью 0 пе связано). Обозначим cp(i, 0) вектор-
функцию с координатами

фг 6) =

1 dfo (*)

Тогда производная функции Т/е(.т) по направлению единичного
вектора со = (<ot, ..coft) равна (( V fe (.г)) , co)=(grad V fe (.г), со)=
— — (ф (^, 0)> ®)- Матрица Фишера 7(0) равна в этих обозначе-
ниях

7 (0) = J фТ (-т, 0) <р (.г, 0) |i (dx).

Пусть |ul означает евклидову норму и= (щ, ..uh).

В многомерном случае имеет место следующее обобщение
леммы 1.

Лемма 1Л. Первое утверждение леммы 1 (см. (5)) при
к > 1 полностью сохраняется.

Если функция Т/е(ж) при п. в. [ц] значениях х дифференци-
руема по 0, 0'	0, 0 ' = 0' + со "б, со" -* о, Ico" I = [<о| = 1, 6-^0,

то

1 im inf -r--Q — \	4 со7 (0) со7.	(12)

j б' — 0" |2	' 7	v '

Кроме того, если со, |<о1 = 1, есть вектор, коллинеарный 02 —91,
так что 02 = 01 + асо, а = |02 — 0; I, то,

1

4 f ю/ (91 + c°T'dy‘ <13>
I е1 - °2 I £

Доказательство. Первое утверждение леммы 1 с ’раз-
мерностью пе связано. Второе вытекает из леммы Фату и соот-
ношений

.. . - г(О', 0")	1 • • г ( V^/o'	ft)" J~	.

lim inf —-------7 I lim inf ---------ц (dx) ~

|0'_0"|-'^J	10' — 0"|-	'

=-4 f (ф (г\ в)» °)2 н ~ 4 (в)
* V	*

Чтобы доказать (13), заметим, что
а

= у J (ф U, 91 + У®), ®) =
о

1

= у J (ф (^, 61 -т ау^), ®) dy,

о
§21] РАССТОЯНИЯ КУЛЬБАКА — Л ЕЙБЛЕРА, ХЕЛЛИНГЕРА II %2	201

г (01, 02) = j* j* (ф (*, °1 + ^0)), <°) АУ

2

p (dx)

J (ф U, ©I + ауа), (О)2 dy р (dx)

Я? о

2

2 Р

0j + аув)), о)2 р (dx)dy =Л-1 «Z (0х + ауы) wT dy.

о	о

Положим, как и прежде, r(A)=r(0, 0 + А). Пз леммы 1А
вытекает	.	____

Теорема 2А. Если функция У/в(х) дифференцируема при
п.в. [р] значениях х и матрица 1(G) непрерывна, то для любого
вектора ы единичной длины существует

lim-^ = ‘ ш/(0)ит.
6->0 б2 4

Как и в одномерном случае, пз леммы 1А мы можем получить
также следующее следствие. Обозначим SpZ(O) след матри-
цы 1(G).

Теорема ЗА. Если выполнены условия С4е), (Ас), матрица
7(0) является положителъ'но определенной в 0,4/г == sup Sp I (0) <
о

<оо, то существует постоянная g>0 такая, что при всех 0Ъ
02^ О

г(°г °2)

Рс-М2

h.

g

(14)

Доказательство. Обозначил! Ai(0) и Ah(0) соответственно
минимальное и максимальное собственные числа матрицы /(0),
так что при I со I — 1

А,(0) < ы/(0)<от С АД0).

По условию теоремы At(0) > 0 всюду на О. Так как
к

< I ф I2 = .2 Фь то
j=i

i (ф, <°)2 Н (<^с) —	(0) С°Т =С Sp I (0)

зе

и, стало быть, Ал(0) SpZ(0) -С 47г. Из неравенства
лучаем

(15)

(<p, co)2<

(13) no-

(Op



у J (0Х 4- ayv) dy < h,
о
Докажем теперь второе неравенство в (14). Предположим, что
оно пе верно. Тогда, как и в теореме 3, найдется последователь-
ность (61°, б^),	б?1 ->б2^О, для которой будет

справедливо (11). Если 0t Ф 02, то это будет противоречить (5).
Если 0t = 02 = б, то в силу компактности сферы koi — 1 можно
считать, не ограничивая общности, что 0-2п) = 6j7l) + 6со(7г), (o(i -**
—>со, | о)(п) | = | | = 1. По в этом случае (11) будет противоречить
(12), (15). <

5 *. Связь рассматриваемых расстояний с оценками. Рассмот-
рим расстояние Кульбака — Лейблера между распределением Ра
и не зависящим от 6 распределением G:

Pi (G, ре) = bi ~ G (dx) — С In /о (х) G (dx).

Здесь от 0 зависит лишь второе слагаемое

d(P0, G) = -- J In /0 (х) G (dx).

С другой стороны, напомним, что о. м. п. определялась нами
в § 6, как значение б, при котором минимизируется с?(Р(>, Рп)-
Если распределение xt дискретно, а р, — считающая мора, то
выражение

г dP*
= - ] ь-^рДл-)

имеет смысл, р,(Р*, Ро) = <i(P(i, Р*) — rf(P„, Р*) и, следова-
телыю, мы можем считать, что о. м. и. минимизирует расстояние
Кульбака — Лейблера рх (Р*, Ро) между Ро и Рп. В общем
случае такое толкование можно принимать лишь условно.

Для дискретных распределений xt можно рассматривать так-
же расстояния р,-(Ре, Р?*) при i — 2, 3 и оценки, минимизиру-
ющие эти расстояния. Например, при i = 2 мы получим

где у, — число элементов выборки, попавших в точку для ко-
торой /0(щ) = Ре({щ}) > 0. Это есть статистика %2 (см. §§ 7, 8),
в связи с чем это наименование присвоено нами н расстоянию р2.

Так как расстояния pf обладают близкими асимптотическими
свойствами, то оценки, минимизирующие эти расстояния, как это
выяснится позже, будут асимптотически совпадать.
§ 22*. Разностное неравенство типа Рао — Крамера

Этот параграф стоит несколько в стороне от основного изло-
жения. В нем мы попытаемся хотя бы частично ответить па
вопрос о том, что происходит с нижней допустимой границей для
Ме(б* —О)2 в нерегулярном случае, т. е. в случае, когда функция
/е(л) не дифференцируема по 0 или когда 7(0) = °°.

Мы начнем с примера, который показывает, что при этих ус-
ловиях поведение средпеквадратпческих уклонений оценок (или
их дисперсий) может быть совсем иным, чем поведение правой
части неравенства Рао — Крамера.

Пример 1. Пусть U0<e. Условие (7?) здесь не выпол-
нено, так как функция /е(л) разрывна. Как мы знаем, для этого
семейства статистика S = max х, является полной и достаточной
(см. пример 14.3). Возьмем несмещенную оценку 0* = 2х1. Тогда
в силу результатов § 14 оценка 0s = 2Mo(xi/S) будет эффектив-
ной. Вычислим значение Мо (хг/5). Так как Pe(5<z) =
= (z/0)", z е [0, 01, то 5 имеет плотность, равную nz71"1/©71 на
[0, 0],и нулю вне этого интервала. Для отыскания условного рас-
пределения PU3/s) = PeCxt е В/S = s) величины xt при условии
S' = s воспользуемся правилом (10.2):

Pn (х, (= di/, S е ds)

Р (dy/s) Р(, (х, е= dy/S = s) = °	\

Здесь числитель равен

Р0(х1е dy, S е= ds) =

f Ф/
0

ds
е

(п—1) sn 2 ds

s«-l

on-i

при

при у = S,
при У Z>S.

Отсюда следует, что P(dy/s) = ——dy

при 0 С у < s, P({s)/s) =

= 1/лг. Таким образом,
о

  / /	(	п — 1 7 . S S {п — 1) S п -)- 1 q

Мо (хх/5) = J у dy + — — —---------------------+ - = S,

О

ej = s(i + 4}

Имеем
в

D(l0s = Мо (в,*)2 - 62 = р (1 + 4У ds - 02 =

= I (п + I)2	\№ = О2

\м (/г	2)	/ п. (п 4- 2)’

(1)
Так как 6g эффективна, то для любой несмещенной оценки 0*
De6*>i4^F2j-

Таким образом, при больших п средпеквадратическое укло-
нение Мо (О® — О)2 будет иметь порядок малости 1/n2. С точки
зрения нижней границы неравенства Рао — Крамера, имеющей
порядок i/n, это ненормально высокая точность*). Можно пока-
зать, что это есть 1очпость, с Которой по выборке определяются
любые точки скачков /6(ж) (запрещаемые условием (/?)). Мы ви-
дели в примере 7.4 об оценке медианы, что точки, где плотность
/еСт) бесконечна, можно определить с еще большей точностью,
так что, грубо говоря, чем больше нарушение-регулярности в точ-
ке, тем точнее эта точка оценивается по выборке. Скажем, если
Х(еЁ Ре» где Pg —	+	есть распределение, сосредото-

ченное в точке 0, то Р0(5 ¥= 0) = 2_" (5 = niaxx,-), так что диспер-
сия 0* — 0 при 0* = 5 будет убывать с ростом п экспоненциаль-
ным образом.

Можно ли в этих условиях указать ппжнюю границу для дис-
персии оценок? Ниже мы получим неравенство, аналогичное не-
равенству Рао — Крамера, с помощью которого такие границы
можно строить при более слабых условиях регулярности, чем
условие (7?).

Мы будем предполагать лишь, что выполнено условие (Л(1),
хотя п оно не очень существенно (см. замечание в конце пара-
графа).

Обозначим через. Аср(0) приратцепие функции <р(0) па интер-
вале (0, 0 + А), через Arprt— носитель в распределения вы-
борки: NpQ = {#: /в(ж)=^ 0),и положим Nn — Npe U Np^^.

Теорема 1 (неравенство Чепмепа — Роббинса). Пусть 0&
е0, 0 + Де0, «(0) = Ме0*. Тогда при любом А 0

De0* >	(Ас(°))2	= (Дя (°))2	(3)

I [ДЛ> (ж)12//е (^) рп(^)	Р2’(р0+Д’ ре)

где р2 есть расстояние уД рассматривавшееся в § 21. Для несме-
щенных оценок числитель здесь следует заменить на А2.

В силу теоремы 21.1 знаменатель в (3) имеет вид р2(Ре+д,
Ре) = (1 + r2 (А))7' — 1, где

г2 (А) = р2 (Рсн-д, Ра) = J Щх)'" В	(4)

*) Для параметра 0 существуют также оценки, дисперсия которых име-
ет порядок 1/п. Например, для оценки 0** = 2х имеем Мб** = 0, D0** —
= Adx1 = £.
§22]

РАЗНОСТНОЕ НЕРАВЕНСТВО ТИПА РАО — КРАМЕРА

205

Таким образом, чем больше расстояние р,(Ре+д, Ре) между
Ре+д и Ре (при фиксированном Л), тем меньше нижняя граница
для D0*.

Если Ре+д абсолютно непрерывно относительно Р6, тоА^ре+дс=
cz ЛЛ1‘0 = Л”л и р2(Ре+д, Ре) можно записать в виде (см. (21.2))

р.(Ро+д, Р«) = Ме



аналогично г3 (А) = Мо

АЫ\)

Мх1)

Если же распределение Ре+д пе абсолютно непрерывно относи-
тельно Ре, то существует-подмножество из А^ре+Д положительной
Ро+д-меры, па котором /е(.т)=0, так что интеграл в (4) обраща-
ется в бесконечность, а само неравенство (3) становится тривиаль-
ным. Следует вновь отметить, что выражение Ме [Д/е (Х)//о(Х)|2,
понимаемое как интеграл по Л^р0} может при этом оставаться

конечным.

Доказательство теоремы 1. Из сказанного выше следу-
ет, что не ограничивая общности мы можем считать, что Р0+д аб-
солютно непрерывно относительно Р0, так что Npe+&dNpQ =
— Nn. Так как /е(а?) и /е+д(ж) есть плотности в Я?п, то

J Д/е (х) [in (dx) = 0.

Кроме того,

J 0*Д/е (х) р" (dx) = Ди (0).

Отсюда следует, что

J (6* — а (0)) Д/0 (х) pn (dx) = Да (0).	(5)

Па множестве Nn мы можем подынтегральную функцию в (5)
представить в виде произведения

(0*-«(0))

V 7e(^)

Применяя затем неравенство Коши — Бупяковского, мы получим

(Да(0))2< J (0* - 0)7е(аг)р.” (<&)• J -f" (<Ь). <
Л-п	7	ДЧ1

В дальнейшем, в соответствии со сделанным выше замечани-
ем, мы, как и в доказательстве теоремы 1, ограничимся случаем,
когда Ре+д абсолютно непрерывно относительно Ре (ведь иначе
неравенство (3) становится тривиальным).
Следствие 1. Если выполнены условия регулярности,
обеспечивающие существование (см. замечание 21.1 к теореме
21.2) Нтг2(Д)/Д2 = 1 (0), то

Д-0

D“° > ,./(0) 	<()>

где «+ (6) = lim sup .^g t

Д-0 л

Чтобы получить (6) из теоремы 1, надо лишь заметить, что
мы можем выбрать последовательность Д -*• 0 так, чтобы * -»-
->4(6). <

Неравенство (6) является по форме некоторым обобщением
неравенства Рао — Крамера (обобщением, скорее всего, фиктив-
ным, так как упомянутые условия регулярности, но-видимому,
влекут за собой существование а'(6)).

Неравенство (3) естественно называть разностным в отличие
от неравенства (6), которое можно было бы назвать дифферен-
циальным.

Таким образом, если г2(Д) ~ 7(0)Д2 (это соответствует тому,
что /е дифференцируема), то из разностного неравенства Чепме-
на— Роббинса следует дифференциальное неравенство Рао —
Крамера.

Однако если функция /е пе дифференцируема, то поведение
г2(Д) при уменьшении Д будет иным.

Если, скажем, /е дифференцируема всюду за исключением ко-
нечного числа точек разрыва 6 = 0(.г), зависящих от х, то мы
будем иметь

г2(Д) ~ с|ДI.	(7)

Проще всего это выяснить на довольно типичном примере,
рассмотренном в начале параграфа.

Пусть Uo>(). Чтобы было выполнено условие об абсолют-
ной непрерывности Ре+д относительно Р0, мы будем считать в.
случае Ро — Uo, е, что Д < 0, [Д| < 0. Тогда

при х<= |0,е + Л],

Д/о И =

Я

J I о

— — при х е (0 Д, 0],
0 мри х ф [0, 0],

а2 , IM

О(О-РД) 1 о .
Существенным здесь является наличие интервала длины, сравни-
мой с А, па котором IА/0(ж)1 >с>0, где с от А не зависит. Это
и обеспечивает порядок малости (7) для г2(А).

Возвращаясь к нашему примеру, видим, что для несмещен-

ных оценок параметра 0

2

D9* 7+ max
д

Л2 f-j

6(0 + А)/

1 + V +

Каков порядок малости правой части этого неравенства при
п-+ с»? Полагая IA| = у()/п, получим

о2	2

DO* — max —-----------—.

аи	(	Л	\ ТТ

" V (l+A+_Jf_________.) -1

\ п n(n—y)J

Ясно, что выражение со знаком max асимптотически эквивалент-
но h = шах y’/(e'J — 1) « 0,65, так что

De* >+(* + «(!)).

п

Эго неравенство имеет ту же по порядку малости правую часть,
что и неулучшаемое неравенство (2), однако постоянный мно-
житель при 07п2 в (2) «лучше» и равен 1.

Наряду с (7) могут возникать и другие скорости сходимости
г,(А) к нулю при А 0. Мы можем получить, например, и г2(А)~
~ сАа, а<1, если /0(т) имеет линии 0 = 0(х) =+ const, при при-
ближении к которым /е(х) ^ °°; и г2(А) ~ сА“, 2>а>1, если /я
непрерывна по 0, по пе дифференцируема, а удовлетворяет лишь
условию Гельдера в окрестности некоторой линии 0 = 0(х) 7=
+ const. Нетрудно видеть, что порядок малости

при а <2 будет определяться значением А = (у/сп)Ча\ так что
1	z/2/a

D0* > max —Г + 0

t	(cn)2/a у еУ - 1

В «регулярном» случае а — 2 максимум по у достигается в пре-
дельной точке у == 0 (А = 0).

В заключение этого параграфа отметим, что оценки для DO*
аналогичным образом могут быть получены и для взаимно но
абсолютно непрерывных Ре и Р0+д, Для этого в (5) подынтеграль-
ную функцию следует умножать и делить на У/0(лг) +/0+д(т),
а нс па	Условие (ЛД также пе столь существенно, так

как меры Р0 и Р0+д всегда абсолютно непрерывны относительно
4 (Р« -Г Ро+д).
§ 23. Вспомогательные неравенства
для отношения правдоподобия.

Состоятельность оценок максимального правдоподобия

В §§ 12—16 мы изучали вопросы, связанные с существовани-
ем и с отысканием в явном виде эффективных и /^-эффективны х
оцепок. Мы видели, что существуют они далеко пе всегда, а най-
ти их удается, лишь когда функция правдоподобия имеет спе-
циальный вид или когда мы знаем в явном виде полную доста-
точную статистику (первое из этих условий часто влечет за
собой второе (см. § 15)).

Мы перейдем теперь к построению асимптотически оптималь-
ных оценок. Здесь условия их существования будут значительно
более широкими. Соответствующие результаты будут опираться
прежде всего на асимптотические свойства функции

z (и) =	= ехР <Х’ 0 + “> - L <Х' 0)}-	№

п

где, как и раньше, L(X, 0) = У 2(х$, 0). Число 0 в (1), как пра-
i=i

вило, будет считаться фиксированным и представлять собой ис-
тинное значение параметра, т. е. такое, что X е Ре. В этом
случае Z(u) есть функция двух переменных и и X и, стало быть,
вместе с фукциен правдоподобия }в+и(Х) будет случайной функ-
цией переменного и. Функцию Z(u) мы будем называть отноше-
нием правдоподобия, опа играет важную роль в математической
статистике. Основная задача этого и следующего параграфов —-
изучить свойства 7Аи).

Будет установлено, что Z(u) близко к нулю вне окрестности
точки и = 0. В окрестности этой точки Z(u) сближается в из-
вестном смысле с дельта-функцией, точнее, Z(iVTn) сближается
асимптотически при п -* °° с функцией плотности нормального
закона.

В §§ 23—26 мы будем рассматривать лишь одномерный слу-
чай. Случай многомерного параметра будет рассмотрен отдельно
в § 28.

Важную роль в последующих оценках будет играть расстоя-
ние Хеллипгера

г (и) = р (Ре-5-u, Ре) = J ( //е+и (ж) — //е (x))2li (dx)

между распределениями Ре+и и Ре. Оно рассматривалось нами
в § 21. Напомним, что

О < г (и) = 2 (1 — J Vh+u (%) fQ (х) p (dx)) < 2,
так что

Мо 1/ -"Л?? = f Z/o+uW/oW |1 (dx) = 1 - г (и)/2, (2)

M0Z1/2(u) = (1 — г (п)/2)7г.	(3)

Относительно параметрического семейства {Ре} мы будем
предполагать в этом и последующих параграфах, что наряду
с (Л,,) выполнены условия (Л0Э (/а, (ж)	/о?(х) при 01	02) и

(Лс) (0 есть компакт). Несущественность с точки зрения прило-
жений последнего условия мы уже отмечали. Это связано с тем,
что в реальных задачах из априорных соображений обычно бы-
вает возможно указать границы возможных значений 0. Для
простоты там, где это потребуется, мы будем предполагать так-
же, что 0 выпукло (в одномерном случае это означает, что 0 =
= [а, д], —оо < а < Ь < оо).

Кроме того, в этом параграфе мы будем предполагать, что
функция Т/е дифференцируема для п. в. [ ц] значений х, а ин-
формация Фишера

1	(е> = (Аг) = Ме (W

строго положительна и ограничена в 0. При этих условиях
в теореме 21.3 было доказано, что при всех допустимых 0 и
0 + и (т. е. таких, что 0е0, 0 + и е 0) для величины г(и) =
—р(Ре+и, Ре) справедливо неравенство

inf±W>g>0.	(4)

f),w и

1.	Основные неравенства. Обозначим для краткости р(п) =
= Z3/4(u) и будем считать, что все перечисленные выше условия
выполнены.

Теорема 1.

M0Z1/2(»)<e-’,s“2/2,	Mep(u)<e-ns“2/^	(5)

Me IP' (и) I < 4 Vnl (6 +u)<T“2n«/’.

Из рассмотрений § 21 следует, что для значений п = о(1)
вместо g в этих неравенствах можно брать значения, сколь угод-
но близкие к /(0).

Доказательство. Имеем в силу (3), (4)

M0Z1/2 (u) = (1 — г (и)/2)п < ехр {— пг (и)/2} < ехр {— ngu2/2}.

Далее, в силу неравенства Коши — Буняковского

Мор (и) < [MeZ1/2 (U).MOZ(u)]1'2 = [MoZ1 2 (u)]1 2 < e-“2'1«/4

14 л А. Боровков
Используя снова неравенство Коши — Буняковского и соотно-
шение

// («)=4Г (x,o + «)zs/4(«),

находим

We 1 р' (и) | = | Мо | L' (X, 0 + и) | Z1/2 (и) Z1/4 (w) <

<-|-[Мо(£' (X, 0 + u)]2Z(u).M0Z1/2 (и)]1/2<

[М0+м [U (X, 0 + и)]2]1/2е-и2и5/4.	<

Теорема 2. При всех z, п > 1

Ро f sup Z (p/V«) > <?zl ce“3’4e-u2^4,

где c = 2 + 3 lArc/0/g, Zo == supZ(O) от. 0 не зависят.

oeo

Для доказательства теоремы нам понадобится

Л е м м а 1. При всех х 0

оо

J e~v2/~dv^ У2^е~х2'-.
X

Доказательство*). Характеристическая функция случай-
ной величины £б=Фо,1 равна МеНь — е 1 ^2п определена во всей
плоскости. Полагая t = —ix, получим Мех^ = ех ^2. Отсюда с по-
мощью неравенства Чебышева получаем

Р (£ > г) = Р	> ех2) < е^Ме^ = е'^. <

Доказательство теоремы 2. Оцепим функцию

Н (6) = Мо sup р (у).

|г>1>б

Если к [0 + 6, &], то

г-0	Ь-0

р(и — 0) = р (6) 4- I р' (и) du р (6) -Б ( \p'(u)\du.

б	б

*) При больших х более точными являются следующие неравенства:

которые читатель без труда может получить, сравнив производные рассмат-
риваемых функций (значения самих функций при х — оо совпадают).
Так как правая часть здесь от v пе зависит, то
supp(u)<p(6) + f \p'(u)\du,

Я4Д6) MG sup р (u) Mop (6) + Г Мо|р' (u)\du,
и>б

В силу теоремы 1 отсюда получаем

Н+ (6) < е-^'> +1 Vn J /7(6 + u)e~Ae,tdu.
и^б

На основании леммы 1

II+ (6) < е-^б2/4 _|_ А УТьГ0 Г e^neu2/idu <

?1/?б2

< e-^/t + | /о)__ е^г 2dv<e 1 (1 + 3. уЯ7^).
Т^бУпЦ, 2

Ясно, что точно такая же оценка будет справедлива для
функции

II- (б) = sup р (и).

6

Поэтому

Я (6) < Я+ (6) + Я_ (6) < (2 + 3 v^IJg) е-п^'\

Остается воспользоваться неравенством Чебышева:

Ро ( sup Z (/) > е‘) = Р„ ( sup р (t) > е32/4) < Я (6) е"32'4. <
Itl^e	ltl^6

2. Оценки для распределения и моментов о. м. п. Состоятель-
ность о. м. п.

Т е о р е м а 3. Существуют значения с < <*>, g > 0 такиеу что
Ро(/п(е’-0)>г;)<«-«’2/4	(6)

для всех v и 1.

Д о к а з а т е л ь с т в о. Из теоремы 2 вытекает, что

Ро( sup Z (()>!)< се-«’’2/4.

| t l>v/Cп

Остается воспользоваться соотношением

{| 6* — 01	6} - f sup Z (f)	sup Z (£)1 cz / sup Z (O	Z (0) = 11

lui>6	U|<6 f l|ti>6	J

‘ (7)

при 6 = v/l'n. <3

14*
Следствие 1. Пусть ип-*~ °°— любая неограниченно воз-
растающая последовательность. Тогда

(ё*-е)/»/«„-> о.	_ (8)

Если же ип таковы, что при любом а > О

2

£^"<00,	(9)

то

(Q*-Q)Vnlun------>0.	(10)

П.н.

Эти соотношения являются, очевидно, усилениями соответ-
ственно состоятельности ^0 —6 —> 0) п сильной состоятельности
( 0* — 0 ———•> 0] о. м. п.

\	Н.П.	У

Доказательство. Соотношение (8) следует непосредствен-
но из (6), если в последнем положить v = &ип. Соотношение (10)
также вытекает из (6), так как сумма правых частей в (6) при
выполнении (9) будет образовывать сходящийся ряд. <

Например, даже такая медленно растущая последователь-
ность, как ц„=1п/г, удовлетворяет условию (9), так что*)

(®‘_0) /п/lnn —->0.

Следствие 2. Существует значение < °°, не зависящее
от п, 0, такое, что при любом а < g/b

Me exp {а (и*)2} <С с1} где и* =	— 0).	(И)

Доказательство. Интегрируя по частям, получаем

Меа£2 = — f ear2dP (R'| > v) = 14- 2а J pear2P (R | > v) dv.
о	о

Поэтому, в силу теоремы 3

ОО

Мвеа(“’,г < 1 + 4 f ve-^’^dv - q < ОО. О

О

§ 24. Асимптотические свойства
отношения правдоподобия

В предыдущем параграфе мы установили ряд неравенств для
Z(u). Найдем теперь предельное распределение этих случайных
функций. Это возможно сделать при выполнении условий (7?)
§ 16. Одпако, чтобы упростить рассуждения, мы введем некоторые

*) Из замечания 25.2 будет следовать, что (10) справедливо и для еще
более медление растущих un.
дополнительные предположения, которые по всегда связаны с
существом дела, но делают доказательства более короткими
п прозрачными.

Мы обозначим вводимые условия символом (7?/?), чтобы от-
метить таким способом, что это есть условия регулярности п что
они усиливают условия (/?).

Условия (RR):

1)	Выполнены условия (Ло), (Лс), (R).

2)	Функция Кх, 0) для п. в. [р] значений х дважды непре-
рывно дифференцируема по 6. Функция \1" (х, 7)1 мажорируется
функцией 1(х), не зависящей от t: II" (х, t)ld(x), для которой
интеграл

М tl (хт) = f I (х) R (х) р (dx)

сходится равномерно по £е0*).

Под равномерной сходимостью интеграла мы понимаем схо-
димость**)

snp [ I (х) /е (х) р (dx) 0

. ° х: 11(х) |>А'

при Л7	00.

В дальнейшем нам понадобятся следующие два свойства, вы-
текающие из (RR):

1)	Законность двойного дифференцирования по параметру под
знаком интеграла в равенстве

J fe(x)ii(dx) = 1,
означающая справедливость соотношений

j /о (^) И (^) = 0, J /е (х) И («М = °-	(1)

*) Все последующее изложение полностью сохранится, если условие
о существовании мажоранты ослабить следующим образом: область 0 мо-
жет быть покрыта конечным числом областей 0Ь ..0Я так, что при
Oe0j функция [Г'(х. 0) | мажорируется функцией 1(э) (х), не зависящей
от t: | Г(х, 0) | < Цз) (х), для которой интеграл

ЧЛд (xi) = J z(j) <х) /о <х) И (d-T)

сходится равномерно пабебь j = 1, ..., s.

**) Такое понимание равномерной сходимости находится в согласии с
равномерной сходимостью, использовавшейся в теореме 1.5.4 — там-оно от-
носилось к функции 1(х) = х. В то Hie время это пе есть равномерная схо-
димость J ф (х, 0) и (dx) при ф(ж, 0) = l(x)f9(x), когда предполагается, что
при Л —> оо

sup j Ф (х1 0) ц (dx) -> 0.

° х: 1<р(х,0) |>ЛГ
2)	Равномерная сходимость интеграла

I (е) = f G' (я, 6))2/е U) Н (dx).

(Это свойство вытекает из (/?) и понадобится в § 29.)

Чтобы разгрузить основное изложение, доказательство этих
следствий условий (RR) отнесено в Приложение VI. Упростить
изложение можно и другим путем: ввести названные два свой-
ства в условия (RR), пренебрегая тем фактом, что в таком виде
они будут «избыточными».

Так как

z'U,e) = 4rr’ г'^0) = т^г-(4т^У-

ЛИХ) ’ < /0(-О	\ /0(Ч/ ’

то соотношение (1) можно записать в виде

MeZ' (хп0) = О, M0Z" (х15 0) = - М0 (Г (х1} О))2 =- I (0). (2)
Первым из этих равенств мы уже пользовались.

Отметим еще одно следствие условий (RR). Условия (RR)
значительно сильнее условий, которые мы использовали в §§ 21,
23, и, следовательно, имеют место все утверждения теорем § 23
об оценках для распределения sup	и о состоятель-

ности о. м. п.

Лемма 1. Если выполнены условия (RR), то имеет место
непрерывность I" (х, 0) «в среднем» в следующем смысле:

Мосод (Х1) = J (Од (х) fe (х) [A (dx) 0	(3)

при Д0, где о^(х) — модуль непрерывности функции I" (х, 0):

сод (х) — sup 1 Г (ж, 0 4- и) — Iя (х, 0) I.	(4)

Оее.о+иее
lu|«A

Доказательство. В силу теоремы о мажорируемой схо-
димости соотношение (3) будет следствием обычной непрерывно-
сти, так как в этом случае <од(^)->О для п. в. [ц] значении х
при Д 0 и, кроме того, | сод (х) [ 2Z (х). <]

Обозначим

/л m	I L' (X, 6 -|- v) - U (X, 6) .

Тп (Д, 0) = sup -----Г—+ I (0) .

Лемма 2. Пусть выполнены условия (RR), дп > 0, п —
= 1, 2, ..., есть любая последовательность, сходящаяся к нулю.
Тогда для любого 0 е 0 w для X Р0

Тп ($п, 6)	°’ Yn(6n, 6*)	0.

В этих соотношениях KQ) можно заменить на /(0*) и наоборот.
Доказательство. Докажем сначала первое утверждение.
Так как M^Z" (xlt 0) ~ — I (6), L" (X,	— I (0), 10 нам

достаточно убедиться, что 7,г(бп) -*• 0, где

,А.	\L'(X, 0+ р) — L' (Х,0)

Tn А = sup —i
R|«aI	nv

L" (X, 0)
п

По

т„ (6„) < sup 4-1i" (X, е + v) - L" (X, 6) | <
I г|<бп п

п

< — 2 Юбп	<Х)»

i=l

где сод (.г) означает модуль непрерывности Г'(х, 0), определен-
ный в (4). Очевидно, что для любого фиксированного Л>0 при
достаточно больших п

%n (X) (,)л (X).

Кроме того, по усиленному закону больших чисел
«Д (Х) п.н.' > М0С0д <Х1) 33 СОд-

В силу леммы 1 о)д -> 0 при А -> 0. Отсюда следует, что
ю;п(Х)—>0.	(5)

п.н.

Первое утверждение доказано. Из (5) и определения п. п.
сходимости следует, что наряду с (5)

W6n+Bn (^) —*0
.	п.н.

для любой последовательности случайных величин т)„—> 0. Нам
п.н.

остается заметить, что

I I/ (Х,0* + п) — L'(X, 0*)	х

, ®'Д -------- ™------------------П--- < Ш«п+1?*-Ч <*>’ (С)

п воспользоваться следствием 23.1. Возможность замены 7(0)
на 7(0*) также вытекает из следствия 23.1 (и непрерывности
7(0)). <1

Мы можем теперь сформулировать основные утверждения об
асимптотическом поведении отношения правдоподобия Z(Z). Обоз-
начим

У(й) = In Zku/Ъг) = UX, 0 + н/У^) - UX, 0)

и условимся обозначать через еДХ, 0) (иногда с дополнитель-
иымп индексами) различные последовательности случайных ве-
личин, и. и. сходящиеся к пулю относительно Р9.

Теорема 1. Пусть выполнены условия (RR), б„ > 0 есть
произвольная последовательность, сходящаяся к нулю. Тогда при
lu/Vnl < бп

Y (и) = и£п — ~ I (0) (1 + en (X, 0, и)),	(7)

где

|е„ (X, 0, и) | < е„(X, 0) —> 0,	= L' (X, 6)/Уп& Ф„.

П.Н,

Точка и* ~ (0* — 0)Vn, в которой Y(u) достигает максимального
значения, обладает свойством

u* = 7W(1+e"(X’0>)’	(8)

2.Y (и») = 2 In Z (0* - 0) =	(1 + е„ (X, 0))	Н,.	(9)

Наряду с (7) справедливо представление

Y (и) = У («*) -	Д"*)2 I (0) (1 + е„ (X, 0, и)),	(10)

| еп(Х, 0, и)|<еп(Х,0).

Во всех приведенных утверждениях 7(0) можно заменить на
7(0*).

В этой теореме, как п в лемме 2, предполагается, .что 0 +
+ иУп^&. Это соотношение будет автоматически выполнено при
достаточно больших п, если 0—внутренняя точка €).

Замечание 1. Важно отметить, что в (7) случайные ве-
личины и еДХ, 0) от и не зависят. Поэтому первое утвержде-

ние теоремы можно записать в виде

. sup

|и|^б(Д п

Если бн таково, что

(П)

то из теоремы 23.2 следует, что в дополнительной области !и1 >
> 6„Уп

sup	Y (и) —> — оо.

|и|>6п)'п пи-
Доказательство теоремы 1. Из леммы 2 при Id
< 6„ получаем

Г(Х, е + v) = LAX, 0) - пр/(0)(1 + ел(Х, 0, v)),

1еп(Х, 0, р)| «С еп(Х, 0).

Интегрируя это равенство но и в пределах от 0 до и/Тп,
находим

L (X, 0 4- и/Уп) - L (X, 0) = w/7(X,0)/ /Й-^-7(0)(1 + ел(Х,0,п)),

|en(X,0,zz)|<en(X,6).	(12)

Это есть, очевидно, разложение в ряд Тейлора, в -котором
L" (X, 0)/?г заменено на /(0), а остаточный член допускает равно-
мерную оценку. Так как

есть сумма независимых одинаково распределенных случайных
величин со средним 0 и дисперсией 7(0) (см (2)), то по централь-
ном предельной теореме £(=>Фо,по)' Представление (7) доказа-
но. Чтобы доказать (8), вернемся к лемме 2. Она означает, что
существует множество Л, Р0.(Л) = 1, такое, что для Х«>еЛ,
72 -> оо

sup I	+	+ J (0) I о	•

|1’1<СП1	iW	1

Кроме того, в силу следствия 23.1 существуют последователь-
ность	iin/Vn = О (,ип должна удовлетворять (23.9))

н множество В, Рв(В) — 1, такие что для Х«, е В, п -> °©

г* = (6* - 0) = о(у„).	’ (14)

Так как последовательность дп -> 0 в (13) произвольна, то при
Х«бЛПВ, Ре(ЛПВ) = 1, в силу (14) сооотпошеппе (13) будет
верным в точке v = v*. Вспоминая, что LAX, 0 + г*) = 77 (X, 0*) =
= 0, получим для Хоо А П В

Это означает, что — I(Q)u* = и*&п(Х, 0), и доказывает (8).
Пользуясь темп же аргументами, можно подставить и = и* ==

~ и* У п = (0* — 0) У п =	(1 + еп(Х, 0)) в (12). Это дает

а2

L (X, 0*) - L (X, 0) =	(1 + еп (X, 0))
и доказывает первую часть соотношения (9). Сходимость ^п//(6)
к распределению %2 с одной степенью свободы следует из теорем
непрерывности, так как £п/ VI (6) (==> ФОд.

Соотношение (10) доказывается совершенно аналогично (7),
если воспользоваться вторым утверждением леммы 2 и найти
па его основе представление для L(X, 0 + ullri) — L(X, 6*). <3

Замечание 2. На языке распределений первое утверждение теоре-
мы 1 можно сформулировать следующим образом;

Мы отмечали выше, что второе условие (/?/?) (о существовании 1"(х, 0))
пе всегда существенно для доказываемых утверждений. В несуществеппо-
сти этого условия для сходимости (15) можно убедиться путем следующих
рассуждений. Величина

есть сумма независимых одинаково распределенных величин. Поэтому по
центральной предельной теореме для схемы серии (слагаемые зависят от
п, проверку условий Линдеберга мы опускаем)

Y (и) €=> Ф _	,

где

a (tz) = lim nMg Г/ (x , 0 -J- ul~\/n\ — Z (x , 0)1 ~

.. , ffi+ulVn (Xl)	2 т pi (P6+A? Po)	2

= hm ?гМ() In-----7-7-------= — u2 hm--------------— = — и I (0)/2

n-»oo	/0 (A1)	'	A-»0	A

(см. теорему 21.2 и замечание 21.1). Далее

о2 (u) — Нт /гМе [/(х.р 0-|-и/ф/п) — Цхх,0)]2 =

= г1(т Ср(х.о + л)-;(.г,е)Г	T))>(fe) =

△->0 J L	A	J

= ц2 J (^(ж» е))2 /е (*) В (<?х) ~ и2/ ($)•

Если бы мы_при вычислении а (и) и о2 (и) воспользовались разложени-
ем Цх, 0 + п/Уп) в ряд с двумя производными, то получили бы тот же ре-
зультат. Однако мы убедились, что это делать не обязательно.

В заключение этого параграфа получим пз теоремы 1 етпе
одно полезное следствие, которое потребуется в дальнейшем и
которое касается поведения интегралов от отношения правдо-
подобия.

Теорема 2. Пусть выполнены условия (RR), функция w(t)
удовлетворяет условию

|zr(£)| s^cea|i|2

с <С оо,	a = g/16
(g>0 определено в § 21), а функция q(t) непрерывна в точке
t = 0 и ограничена. Пусть, кроме того, П — любая мера на (R, 33)

J-   । .2/

е-а 4 П (rfu) < оо. Тогда если 6 — внутренняя точ-
ка и Х^=. Ре, то

J (и* — и) q (0 4- и/ ]/n) Z (и/ У п) П (du) = .

= eY^q (6) [J w (и* - и) e 2	П (du) + en (X, 0)]. (16)

В частности, если П есть мера Лебега, И(г?гг) = du, то

J = ’|/7^r«Y(“,>9(0)(M!p(1l) + е,,(Х,е)),

где en (X, 0) —> 0, ц (= Ф 2-i(0).
п.н.	’

Утверждение (16) весьма естественно, так как множитель
^(O+u/Уп) «почти постоянен», а функция Z(u/1n) = eY{u} сбли-
жается, с точностью до постоянного множителя, по теореме 1
с плотностью нормального распределения.

Доказательство. Чтобы упростить запись, ограничимся
рассмотрением случая, когда II есть мера Лебега. Переход к об-
щему случаю никаких затруднений не вызывает.

Оценим сначала часть интеграла (16) по области |п|>г.
Мы обозначим ее через J(r). Так как /0 (Х)//^# (X)	1, то, по-

лагая для краткости Z = Z (и*/ У п) — eY(u*\ t = 0 + и/ У п, по-
лучим

7'17	- -АИ1 <r ( ft(X} У* С 73'* Г к

W»)

Поэтому в силу неравенства Коши — Буняковского, теоремы 23.1
и следствия 23.1

Mqw(u* — и) Z xZ(ft/

< [MtW2 ( Уп (0* - /)) MeZ1/2(u/ Уn)]1/2 < ce~u2§!\

Так как max q(t) < то отсюда и из леммы 23.1 находим

MeZ-V(r)<ce"gr2/\

Пользуясь неравенством'Чебышева, получим оценки того же по-
рядка и для P0(Z-1J(r) > 6). Поэтому, если г = г„-*-оо так, что
rnfi/4<oo,	(17)
то при у > Гп

Z^J^—^Q.	(18)

П.Н. —

Выберем rn = o(Vn) и рассмотрим оставшуюся часть интеграла
V(y) = J — J(y) при у .= 2гп. По теореме 1

Z~XV (2r) = Z"1 Р q (О + и] У/г) w (и* — и) Z (u/ Уп) du —

М <2гга

= J (q (0) + Еп (^)) W (и* — и) X
1и|<2ги

X ехр^— А- (w _ и*)-1 (0) (1 + рт (X, 0, w))j dur
где len(u)l < е„-> 0, len(X, .0, u)!=^en(X, 0)—->0 при иоо.
Поэтому в силу (18) для доказательства теоремы'нам достаточно
убедиться в близости интегралов

J w (и* — и) ехр (и — и*)21 (0) (1 + e?l (X, 0,

|w|< 2Щ

|/"01) ~ J w (и* — и) ехр — и*)2 ($)]

В силу (17) и следствия 23.1 существует множество /1, Р0(А)= 1,
такое, что |w*l^rn для Х^^А при всех достаточно больших
7i = n(XcJ. Так как /(0)>g, |п — u*l2 > и2/2 при |п|>2г„,
1п*1 <гп, то па множестве А (см. лемму 23.1)

w (и* — и) ехр (и — и*)21 (0)j du <Z се STn —> 0.

Поэтому нам остается оцепить

J w (и* — и) | ехр

Щ|<2ГП

—— и*)я/ (0) (1 + е„ (X, 0, n))j —

— ехр ----у (и — u*)21 (0)j j du J w (р) | ехр -i:2I (0) X-

Х(1 + £n(^, о, V + U*))} — expj — ~v2I (0)j | dv.

Но этот интеграл сходится на множестве АВ к нулю, где В =
= {Хх,: е„(Х, 0) -> 0), Р0С£?) = 1. Это следует из сходимости к
нулю при каждом v подынтегральной функции и того, что опа
мажорируется интегрируемой функцией. <
§ 25.	Свойства оценок максимального правдоподобия.
Асимптотическая нормальность.

Асимптотическая оптимальность

Пусть X Ре п 0* есть о. м. п. Результаты предыдущих
двух параграфов позволяют полностью описать асимптотические
свойства 0*, когда объем п выборки неограниченно возрастает.
Наряду с этим мы установим в этом параграфе один из централь-
ных результатов этой главы, состоящий в том, что о. м. и. при
выполнении условий (RR) обладает всеми возможными свойства-
ми асимптотической оптимальности, которые мы рассматривали
выше, т. е. является а. э., асимптотически байесовской (для лю-
бого априорного распределения, имеющего плотность) и асимпто-
тически минимаксной оценкой одновременно.

В этом параграфе мы везде будем предполагать, не оговаривая
это дополнительно, что выполнены условия (RR).

1.	Асимптотическая нормальность о. м. п.

Теорема 1. О. м. п. 0* является асимптотически нормаль-
ной оценкой, при этом сходимость

и* = (9*- 0) /п е» Ф„,;-1<в)

(1)

имеет место вместе с моментами любого порядка, т. ' е. вместе
с (1) при любом к>0 выполняется

МвО^Мп", 11ёФ011_1(в).	(2)

Более того, для любой непрерывной функции wU) такой, что
\w(t)\Cegt2/(i (см. (23.4)),

Mew (м*)-> Мш(г)),	(3)

Доказательство. В теореме 24.1 было установлено, что
ц* = (е*-е)/л = 7^-(14-8„(^,0)),	(4)

где	еп(Х, 9)—» 0,	=/,'(X, 0)/]/« €=> Фо.да>. Это доказыва-

П.Н.

ет (1). Соотношения (2), (3) получаются из (1) и теоремы непре-
рывности для моментов (см. § 1.5), так как в сплу следствия 23.2
Мош6/о (и*) <1 Ме ехр ё | < с < оо. <

Замечание 1. Из (1), (2) вытекает, что 0* принадлежит
классу оценок 2, в котором сходимость (б*—0)
имеет место вместе со сходимостью Мр(0* — 0)2->о2(0) двух
первых моментов. Как уже отмечалось в § 8, в этом классе
асимптотическим подход к сравнению оценок совпадает по суще-
ству с© среднеквадратическим.

Замечание 2. Соотношение (4) позволяет также точно
описать «максимальные уклонения» (0* —0)Уи при п оо. Имен-
но, известно (см. 1431, 1791), что нормированные суммы gn не-
зависимых одинаково распределенных величин с пулевым сред-
ним и дисперсией Z(0) удовлетворяют закону повторного лога-
рифма, в силу которого

Р (I im sup ..............=	1J 1.

\ и-.™ у 21 (0) In In п /

Так как в (4) lim sup en (X, 0) = 0 п. н., то мы получаем, что
П-»оо

ю (1-	| "е* — 011/7ГГ(ё) Д .

Jre I lim sup -----	-	— = 11 = 1.

\ 71~>ЭО	у 2 In In n	J

Установим теперь в качестве следствий теоремы 2 некоторый
свойства о. м. и., связанные с асимптотической оптимальностью.

2.	Асимптотическая эффективность. В § 16 мы ввели в рас-
смотрение класс Ко асимптотически несмещенных оценок, т. с.
оценок 0*, смещение которых Ь(О) = Мо0*— 6 обладает свой-
ствами

М0) = о(1/Уи), У(0)=о(1).

(5)

В § 20 были приведены соображения, по которым в поисках
асимптотически эффективных «в целом» оценок можно ограни-
читься классом Ко.

Мы установим теперь следующий факт.

Следствие 1. 0*^ХО.

Доказательство. Первое пз соотношений (5) вытекает
из (2) при к = 1. Чтобы доказать второе, заметим, что (см. § 16)

4 + 6' (6) = Мо б(X, 0) = Me (б* - 0) L' (X, 0) =

= Ме ((0* - 0) /й=„) = Мо (1 + е„(Х, 0)),
е»(Х, 6)^-0.

11Л1.

Если здесь верпа теорема непрерывности для момептов, то мы
получим отсюда требуемое соотношение 1 + Z/(0)-> 1 пли, что
то же, Ь7(0) -> 0. Чтобы установить справедливость этой теоремы
в пашем случае, достаточно убедиться (см. § 1.5), что

ме|(е*-е)/ль,|г!<с<оо,	(О
где с от п не зависит. Воспользуемся неравенством Гельдера
М|Ь1Г<(М|бГ)1/Р(М|г1Г)1й, р>0, 9>0, 7+7=1.

при г — 3/2, р == 4, q — 4/3. Мы получим тогда для левой части
(6) оценку (Ме [( 0* — 0) У^п]6)1' 4(М£п)3/4, 'которая в силу (2)
дает нам требуемое неравенство. <1

Следующее следствие ввиду его важности мы сформулируем
в виде теоремы.

Теорема 2. О. м. п. 6* является a.R-э. оценкой. Кроме
того, 0* является а. э. в Ко.

Доказательство. Тот факт, что 0* есть а. R-э. оценка,
следует непосредственно из определения 16 1 и того, что

Мо(0*-ег = ^1.

Асимптотическая эффективность в Ко следует из теоремы 16.3. <3
Теорема 2 вместе с замечаниями к теореме 16.3 означает,
что при выполнении условий (/?/?) любая а. э. оценка в Ко будет
а. 7?-э. оценкой.

Отметим, что сужение множества рассматриваемых оценок
до Ко — далеко не единственное сужение, при котором 0* стано-
вится а. э.

Укажем другое сужение, связанное на этот раз со свойством
0 быть асимптотической медианой распределения а. п. оценок,
т. е. со свойством

Ре(0*>О)	1/2	(7>

при п 00.

Обозначим через R° класс оценок 6*, для которых (7) выпол-
няется равномерно по 0. Класс А ° можно было бы назвать клас-
сом асимптотически центральных оценок.

Теорема 3. О. м. п. 0* К° и является а. э. оценкой
в классе К°.

Доказательство этой теоремы мы отложим до § 3.3.

3.	Асимптотическая байесовость о. м. п. В этом разделе всю-
ду, где будет предполагаться существование плотности q(.t) апри-
орного распределения Q относительно меры Лебега на 0, будем
предполагать также, пе оговаривая это особо, что плотность ин-
тегрируема по Риману, так что будут удовлетворяться условия
теоремы 20.5.

Т е о р е м а 4. О. м. п. 0* является асимптотически R-бай-
есовской оценкой. Если Q есть произвольное априорное распре-
деление, имеющее плотность q(t) относительно меры Лебега, то
0* является также и асимптотически байесовской оценкой, соот-
ветствующей распределению Q.
Доказательство. Асимптотическая /?-байесовость о. м. п.
следует из соотношений

jim м [/й(е*-е)]2 = limMMjу7г(е*-е)]2-

Л-»со	-	?1-»оо

= М lim Ме [ /й(0* - 0)]2 = М/-1(©) = J-

71—»ОО

-Предельный переход под знаком математического ожидания здесь
законен по теореме о мажорируемой сходимости, так как в силу
следствия 23.2 значение Ме[1/п(0*— 0)]2 равномерно ограниче-
но постоянной, не зависящей от п н 0.

Асимптотическая байесовость вытекает пз следствия 20.1. <

Из замечаний к следствию 20.1 и теоремы 4 следует, что лю-
бая асимптотически байесовская оценка является асимптотически
//-байесовской.

Утверждение теоремы 4 можно усилить. Оказывается, что
о. м. и. и байесовская оценка для любой априорной плотности q
«почти» совпадают. ,

Теорема 5.

Mn(0*-Oj)2->O, (0J- 0*) /й->0,
р

где 0q есть байесовская оценка, соответствующая распределению'
Q, сходимость по вероятности понимается относительно совмест-
ного распределения X и 0 на SB X О.

Теорема 5 пемедлеипо вытекает пз следствия 20.2. Ее утвер-
ждение эквивалентно тому, что для почти всех t

М,п (9* -Oj)2 —0.

Возможно дальнейшее усиление сформулированного утвер-
ждения.

Теорема G. Пусть 0 — произвольная внутренняя точка О,
Пусть, далее, q(t)—произвольная непрерывная и поло-
жительная внутри 8 плотность априорного распределения. Тогда
/n(g*-Oj)—>-0.

П.Н.

Доказательство следует пз теоремы 2 предыдущего па-

-	.	*	~	[(?- Q*)q(tyft(X)dt

раграфа. Действительно, ©о — 0* = :--т.------------. Делая

J ,(()/, (Х)Л -

замену переменных t — Q + u/ltn и деля числитель и знаменатель
в этом выражении на /е(Х), получим

С (и — и*) q (б и/Д/n) Z (и/~\/л) du

ej _ 0* = J——------------------------.

Д/п 1 q (б Д- и/Д/н) Z (и/Д/n) du
Надо воспользоваться теперь теоремой 24.2 прп =t и = 1.
Так как в первом случае (л) = Мц = U, то мы получаем

в‘, - 9* = е„ (X, 0)/-|/n, е„ (X, 0) —- 0. <
П.Н,

4.	Асимптотическая минимаксность о. м. п.

Теорема 7. О. м. п. является асимптотически минимаксной
оценкой.

Эта теорема выводится непосредственно из следствия 20.3
и следующего утверждения.

Лемма 1.

lim sup Мeft (0* — О)2 = sup 1~г (0),
п-»оо 0=Г	0SI'

где Г — любой отрезок, лежащий внутри 0.

Лемма 1 вытекает из равномерной по 6 сходимости (2). Рав-
номерность будет доказана в § 29 (см. п. 29.3).

§ 26*. Приближенное вычисление оценок
максимального правдоподобия

Мы видели, что в задачах оценивания параметров наибольший
интерес представляют эффективные и а. э. оценки и, в частно-
сти, о. м. п. Возникает вопрос о практическом отыскании таких
оценок. Отыскание точного значения о. м. п. 0* в реальных за-
дачах может представлять значительные трудности. Особенно это
относится к распределениям, не имеющим сравнительно простых
достаточных статистик.

С другой стороны, отыскание какой-нибудь а. и. оценки 0*
обычпо трудностей'не вызывает.

Мы приведем здесь способ построения оценки 01, асимптоти-
чески эквивалентной о. м. п. 0* (и, стало быть, а. э.), который
основан на' методе Ньютона приближенных вычислений и на ис-
пользовании а. н. оценки" 0*. Положим

U(t)=t-L'(X, t) • (L" (X, t))-\

Ui(t)— t +L'(X, t)-(nZ(f))-1, t^e.

Теорема 1. Пусть выполнены условия \RR), X Ро и
6* — любая а. н. оценка-.

(0*-0) /я&ф0о2(е).

Тогда оценка®* = U (0*) {или 0* ~ Ц\ (6*)), будет асимптотически
эквивалентной 0*, т. е.

Vn-^0.

15 А А Боровков
Доказательство теоремы будет опираться па следующую лемму.

Лемма 1. Пусть выполнены условия (RR), Х^=Ре, бп > О
есть произвольная последовательность, сходящаяся к нулю. Тог-/
да, если 0Н таково, что |0„ — 0]	6П, то

иш -0* = (0„ - 0*)еп(0„, 0, X),

где е„ = шах | еп (0?(, 0, X) I 0.

®тг'1	0|<6п

То же самое утверждение будет справедливо, если вместо U
использовать функцию U,.

Другими словами, если пользоваться методом последователь-
ных приближений к 0* и положить 0^ — 0п, 0* — £7 (©о) (или
©i == £71(6*)), то ©* — 0* = о (0о — 0*), так что приближение ©Г
существенно лучше, чем 0О.

Доказательство. Из рассмотрений § 24 и непрерывности
L" вытекает (см., например, лемму 24.1), что

и (х, е„) = (е„ - ё‘) z" (х, о), L"(х, е) = пЦ (е> + (е,„ е, х>),

где Ое [0П, 0*1, шах	0, X)-р—>-0 при любой после-

дователыюсти 6П. “* 0. Далее,

£"(Х,0„) = «О(0) + е^),

Ц (0) + еп) (/ (0) f- е„) 1 = 1 4- е„,
где Еп, еп обладают тем же свойством, что и еп. Следовательпо,
с7(0п)_е* = оп-0*-г(х, QnHL"(x,

= 0П - 0* ->(0П - 0*)(1 + еп) = (0П - 0*)е„;

Доказательство для функции Ut проводится точно так же. О
Доказательство теоремы 1. Выберем какое-нибудь
-* 0 такое, что бпУн -* оо, и представим (0^ — 0*) Vп в виде

(С7(0*) - 0*)УЙ= Уп(0* - 0*)еп(0*, 0, Х)1	+ г„,

где гп 0 лишь па множестве Вп = {X: 10* —0|>бп), и в силу
леммы 1

е„ = щах еп (I, 0, X) 0.

Так как, кроме того, Ре(7?п) -> 0, то отсюда следует, что

|0* — О*|

Vп | 0* — 0|еп + У\г |0*-_ 0] еп + тп —0. <[
Теорема 1 показывает, что метод последовательных прибли-
жений, отправляясь от любой а. н. оценки, за 1 шаг приводит
пас в точку 0* с точностью до значений oCl/Tzz).

Если' потребовать существования непрерывных третьих производных
0), то можно начинать и с более далеких точек, удаленных от 0, ска-
жем, на величину о(п~|/4). В этом случае за 1 шаг мы, как и в условиях
теоремы 1, окажемся в о (1/fn)-окрестности точки 0*. Действительно,
L' (X, t) = (i — 0*) L" (X, 0*) -I- -У ~ в*)" L"’ (X, 6') =

3	z,

= (t — 0*) L" (X, t) у (t — 0*)2Lw (X, 0"),

где O', 0" заключены в пределах между t и 0*. Поэтому
и (е„) - в* = е„ —о* - L' (X, В„) (£" (х,	=

= |(е„-е»)гД(в) + е„),	о,

если ] 0?1 — 0 [ = о(п~1/4). <]

Пример 1. Классификация частиц. Рассмотрим источник,
который излучает частицы двух типов: с вероятностью р — ча-
стицы типа А п с вероятностью 1 — р — частицы типа В. Энергия
частиц случайна и имеет плотность fi(x) для частиц типа Л
х и /2(лЭ для частиц типа В. Функции известны. Зарегистри-
ровано п частиц с энергиями хь ..х„. Чему равпа вероят-
ность р? Функция правдоподобия здесь равна

fp (х) = II (p/i (xi) + (1 — Р) /г (х0).

i=l

так что

Г (Х,р) =

Й Pfi (xi) + С1 - /2 (х0 ’

(1)

Мы видим, что отыскание о. м. п. р* приводит к уравнению
L' = 0 степени п — 1 относительно р, решать которое при боль-
ших п весьма сложно. Воспользуемся теоремой 1. Для этого
нам нужна какая-нибудь а. п. оцепка р*. Предположим, что

X

J (А\—F^~dx<Z оо, где = j /Д£)с?£, и рассмотрим еле-
— оо

дующий естественный подход. Определим р* как значение, мини-
мизирующее

J (/'п (ж) — F (x))zdx, F (х) = pFi (.?) 4- (1 — р) Р2 (х).	(2)
Приравнивая нулю производную от (2), получим J (F* — F) X
X (/'! — F<t) dx = О,

• р* — -----7.-------------•

Нетрудно видеть, что Мр* = р и что

,, м/- Ж-ИГмл-'чН* ...

(р* — р) V П = ----------------------.	(3)

Из результатов §§ 1.6—1.8 следует, что р* есть а. н. оценка,
а предельное распределение (3) совпадает с распределением

J w- (F (х)) (F1 - Г2) dx

Следовательно, в силу теоремы 1 оценка

pt = P*-L' (Х,р*)(Г'(Х,р*))-\

где L' определено в (1),

L„ = _ у (Л(Х1)-^2(Хг))2
^(Р/х(\) + (1-Р)/2 (Xi))2’

будет асимптотически эквивалентной о. м. п. р*. Коэффициент
рассеивания pi будет определяться информацией

ч f (Л (®) ~/2 ОО)2 ,

7 J р/х О) + (1 — р) f2 (г)

м будет меньше, чем коэффициент рассеивания р*.

Пример 2. Мы предлагаем читателю аналогичным образом
найти приближение для о. м. п. параметра а распределения Коши
. Kfl> I с плотностью

^'«,1 (ж) —	/.	"7С«

л (1 -J- (х —а) )

В качестве «предварительной» а. п. оценки можно взять выбороч-
ную медиану £* (см. § 2 или §§ 1.3, 1.8. Оценку а*=х здесь
брать нельзя, так как Маос* не существует). Оценка

«;=£*- L’ (X, с*) (L" (X, С*))-1,

где Р(Х,«)=-г2.	i"(X,a) = 2^

1 + (Х1 ~ а)	С1 + (хг~а) /
будет асимптотически эквивалентной о. м. п. а*. Так как

то коэффициенты рассеивания £* и
ственно (см. § 2)

cti будут равны соответ-

1	___ л

(«) ~

7~1/2(а) = /2,

£> /2.

Пример 3. Каждый человек имеет кровь, принадлежащую
к одной из четырех.групп, которые мы обозначим 0 (ноль), А,
В, АВ. Наследование групп крови управляется тремя генами:
А, В, 0, при этом ген 0 «подавляется» генами А и В. Поэтому,
если р, q и г = 1 — р — q обозначают вероятности появления генов
А, В и 0, то вероятности появления групп крови будут равны
следующим величинам:

Таблица 1

i (номер группы)		Группа	Комбинации, дающие эту группу	Вероятности
	1	0	00	г2
	2	А	АА, АО	Р2 + 2рг
	3	В	ВВ, ВО	92 + 2qr
	4	АВ	АВ	2pq

Пусть Vj, v2, v3, v4 — частоты появления соответствующих
групп крови в обследуемой популяции общей численностью п
человек. Как найти о. м. п. для р и q? В нашем случае вероят-
ности р<(0), 0 = (р, q)t появления r-й группы крови и их частные
производные по р и q представлены в табл. 2.

Таблица 2

	г			
	1	2 .	3	4
Рг(б)	г2	Р(Р + 2г)	9(9 + 2г)	2Г9
^(0) вр	—2г	2г	-2q	29
вр^у dq	—2г	-2р	2г	2р
Поэтому для логарифмической функции правдоподобия

L 0) = 2 V,- In Pi (0) i—1				получим  24 +	2rV2	4	1	V4	
dL	V	vi	d.Pi						
дР		Pi	dp	r +	P (P + 2r)	(1 + 2r	4	P *	(4)
OL		vi	dPi	4	4 -J-	2rv3	+	V4	
д<1		Pi	dq	r	p + 2r	Q (Q + 2f)		? *	

Приравнивая к пулю эти производные, мы придем к системе из
двух уравнений для 6* четвертого порядка. Решение такой си-
стемы связано с техническими трудностями. Поэтому проще
воспользоваться теоремой 1. Для этого заметим, что справедливы
равенства

Pt = Л Pi + р2 = (р + г)2, pr + р3 = (q + г)2.

(5)

Эффективные оценки для р, равны р* — viln. Подставляя в (5) ,
эти оценки и решая полученные уравнения, мы получим

Р* = V Р* + Рг — ’ИрГ» 0* = VР* +Р*~ ]^P*‘

Так как pt есть а. п. оценка pf (т. e.(pt — pi) Vn (==> Ф0<р.^_р.^),
то р*, q* в силу теорем § 1.5 также будут а. п. оценками
Для р, q.

Чтобы воспользоваться теоремой 1, остается вычислить мат-
рицу (//'(X, 0*))-1 пли матрицу (й7(0*))-1, 0* = (р*, $*).

Приведем пример реальной выборки X, полученной в резуль-
тате обследования п — 353 человека.

Распределение людей по группам крови приведено в табл. 3.

Таблица 3

	0	A	в	AB	Всего
	121	120	79	33	353
Pi	0,343	0,340	0,224	0,093	1

Из этой таблицы находим р* = 0,241, q* — 0,167, г* — 1 — р* —
— q* = 0,592. С помощью таблицы 2 для элементов матрицы 7(0)
при 0 = 0* получаем

V P/>1(fl>.y_J_==4 ________4?	 2, _ 9 970

\ дР J Pi (0) »	' Р (р + 2г) q + 2г р

V / dPi (G) \2 1	_ , 4р	4г2

dq J P^ti)	Р-1-2r + q(q + 2r) +

V dPi (6) dPi (6)	1 „ Л _ 4г____________4 г

др ' dq р,(0) ~~ Р + 2r q ф- 2г

Отсюда паходим 17(0*) I = 130,512,

, I 0,105 — 0,0201
Г1 (0*\ =

к ’	1—0,020	0,076 Г

Из фдрмул для '—- и (см. (4)) получаем

7/(0*, X) = (25,443, 34,161),
так что для второго приближения 0* имеем

0* = 0* +'^L' (0*,Х) 7-1(0*) = (0,246,

Это дает нам в дополнение к табл. 3 оценки,
табл. ЗА.

^- = 13,761,
</

+ 2 = 2,585.

(6)

0,173).	(7)

приведенные в

Таблица ЗА

	0	А	в	АВ
р<(0*)	0,351	0,343	0,226	0,080
	0,337	0,347	0,231	0,085

Применение еще одной итерации вида (7) оценку 6* уже не
меняет (в рамках используемой нами точности), так как

L' (е?, X) = (— 0,076, - 0,167)

(ср. с (6)), так что третье приближение для 0* и все последую-
щие будут совпадать с Ор .

§ 27*. Свойства оценок максимального правдоподобия
при отсутствии условий регулярности. Состоятельность

Этот параграф, как и § 22, стоит в стороне от основного кур-
са изложения и посвящен изучению нерегулярного случая. Мы
ограничимся здесь доказательством сильной состоятельности
о. м. и. при очень слабых условиях на ft(x), пе предполагающих
выполнения условий (RR) или (/?). Более детальное изучение
свойств о. м. п. и отношения правдоподобия в нерегулярном слу-
чае см. в [31].

На протяжении всего параграфа будем предполагать, что вы-
полнены условия (ЛД (Лс), (Л0), и обозначать расстояние Куль-
бака ‘— Лейблера рДРе, Pt) через

С /о

р (0, t) = J In -/0 (х) р (dx).

Мы знаем, что р(0, t) > 0 при t ¥= 0, если выполнено условие (Ло).
Очевидно, что условие (Ло) является необходимым для состоя-
тельности о. м. п., т. е. для сходимости 0* -> 0. Если, например,
ре

р(0, t0) =0 при t0 =/= 0, то точки 0 и t0 будут просто неразличимы;
распределения Ре и Pfo будут совпадать, и к чему бы не схо-
дилась о. м. п. 0*, опа не может быть состоятельной, если Х(==Ро
или X^Pfo.

Следующий вариант условия (Ло) можно назвать равномер-
ным (0 фиксировано):

С40) Для любого 6 = е(6) > 0

inf	р (0, t) > е

ti it-

при некотором е > Ck

Очевидно, что (Ло) будет следствием (Ло), (Лс) и непрерыв-
ности р(0, t). Стало быть, при этих условиях условие (Л"о) также
будет необходимым.

Рассмотрим теперь следующее усиление условия (Ло). Обо-
значим	 »

ft(x) = sup ft+u(x).

(Ло) Для любого 6>0 существует Д = Л(6)>0 такое, что
при всех t, |f— 01 > 6,

С ft (*)

in(*) И (dx) < — 6	(1)

при некотором е > 0.

Это условие оказывается достаточным для сильной состоя-
тельности о. м. и. Оно близко к условию (Ло) и в этом смысле
близко к необходимому. Одного условия (Ло) для состоятельно-
сти о. м. п. не достаточно (см. замечание 1).

Теорема 1. Если выполнено условие (л£), то о.м.п. 0*
сильно состоятельна^
Доказательство. О. м. п. 6* есть точка £, в которой до-
стигается максимум функции ф G, Р«), где

f ft (х)
i,P) = j In-^yP(^).

Так как ф(0, 0*, Р*)2>ф(0, 0, Р„) = О, то для доказательства
теоремы нам достаточно убедиться, что с Ре-вероятностыо 1

lim sup sup ф(0, t, P„)<— 6
/l->oo |t—6l->6

при некотором e > 0. (Это избудет означать, что для п. в. Р0
начиная с некоторого п —	< оо выполняется 10* — 01 < б.-)

Пусть б фиксировано и Д удовлетворяет условию (1). Покроем
множество 0\[0 — б, 0 + 61 отрезками Ah = {t: |£ — tj Д1, к =
= 1, ..7V<co, где th е 0, £л^[0 — б, 0 + 61. Тогда по усилен-
ному закону больших чисел

sup ч>(е, max sup ф (0, £, Р*)

It—б|^б	h teAfe

	1	, ft (х0	.. , (xi)	.

«С max — 7, sup In —7 -> max Mein—— < — e. <]
и n Й в=дл /о (xi) п.н. k	fe (xr)

Замечание 1. Как мы уже отмечали, одного условия (Ло)
для состоятельности 0* недостаточно. Чтобы убедиться в этом,
рассмотрим следующий пример. Пусть 0 = [0, 11, Ре = U0> i+0
при 0^0^ 1/2 и при 0=1. При 1 > 0 > 1/2 распределение Р0
имеет плотность /е(я) = 1/0 при 1 — 0 < х < 1. Пусть теперь
X^P0 = U0jl, Тогда условие (Ло) выполнено, так как р(0, £) =
°о при £^0. В то же время нетрудно видеть, что /ДХ) > 1
при £ GE ( '] — х(1), 1) и что 0* ~ 1 — х(1)-> 1.

П.Н4

Условия (Ло) можно эквивалентным образом представить в
несколько иной форме. Обозначим ft (х) — lim sup/u(;r).

u-^t

^Георе м а 2. Условие (Лд) эквивалентно одновременному
выполнению следующих двух условий

(Лд). Для всех £ =/= 0

С Л И

J 1П ’/е 11 < °’

(J). При всех £ и некотором Д > 0

С ft

I 1пр(^) < оо.
Условие (/), как, впрочем, и (Д), (Д), означает интегри-
руемость положительных частей подынтегральных функций. Та-
кие функции естественно называть интегрируемыми сверху.

Условие (/) в силу (Лс) по существу эквивалентно ограни-
ченности сверху интеграла

с (зЛ

\ 111ТТ7Г ‘fQ Н < °°»	(2)

J •&

где f (х) = sup ft (х).
t~e

Доказательство теоремы 2. Тот факт, что из (-4»)
следует (Д) и (J), очевиден. Пусть теперь выполнены (Д)
и (J). Если допустить, что (^о ) пе имеет места, то найдутся после-
довательности С -> t е 0, Afc 0, eft О такие, что

С

J In -у (ж) -/е (х) н (dx) > — ek.

Здесь подынтегральная функция мажорируется в силу условия
(/) интегрируемой сверху функцией, поэтому в силу леммы Фату

С	ft-!t (х)	Г	/° (х)

lim sup I In -Л . /е (х) ц I ]п -г- /е (.г) р (dx) < О,

А-»оо о	>0	J	JQ Vх)

Мы получили противоречие, доказывающее теорему. <1

Приведем теперь более простые достаточные условия, обес-
печивающие выполнение (Д) и (J) и, стало быть, сильную со-
стоятельность о. м. п.

Определение 1. Будем говорить, что ft(x) принадлежит
классу Do, если для каждого i <= 0 существует множество Сt е g)^>,
Pe(Cz) = 1, па котором ft(x) непрерывна по t: ftk(x)—^ft(x) при
tk t, х^- Ct.

Классу D9 помимо непрерывных (по t) ft(x) па независящем
от t множестве С, Ре(С) = 1, принадлежат, конечно, и другие
функции, такие, например, для которых ft(x) в плоскости G, х)
имеет изолированные линии разрыва, не имеющие участков, па-
раллельных оси х. Так будет, в частности, если ft(x) как функция
от х имеет изолированные разрывы в точках х^\ х\2), кото-
рые непрерывно зависят от t.

Теорема 3. Если ft(x)^D0 и выполнено (/), то выполнено
условие (у10)» м, следовательно, о. м. п. 0* сильно состоятельна.

Доказательство. Если /£ (х) се Do, то ft (х) — ft (х) при
х Ct и, стало быть,

С ft (х)

J In —/е (х) Ц (dx) = — Р (0, о < 0. <
Следствие 1. Если ft(x)^D0 ограничена, а интеграл

J /8 (х) In /0 (х) р (dx)	(3)

ко71ечен, то о. м. п. сильно состоятельна.

Утверждение следствия 1 немедленно вытекает из теоремы 3,
так как ограниченность ft(x) и конечность интеграла (3) влекут
за собой (J).

Следствие 2. Если

Ф (А) = f sup | /i+u (х) — ft (х) | р (dx) -> 0	(4)

при А -* 0, то о. м. п. сильно состоятельна.

Доказательство. Воспользуемся теоремой 3. Принадлеж-
ность ft(x) е Do очевидна, так как (4) может выполняться лишь
в случае, когда /t+u(-r) ft(x) при и -+ 0 для п. в. 1р] значений х.
Далее,

J /? (ж) Р (^) < Ф (А) + J ft (х) р (dx) = ф (А) + 1,

и условие (4) означает также интегрируемость ft (я)Г Так как
, /?(*)	,

In	.—1, то отсюда получаем, что интеграл в ус-

If) \х> IQ

ловии (J) не превосходит

f ft U) И (dx) — 1 < Ф (А). <1

Вместо (4) мы могли бы требовать сходимость к нулю ве-
личины

Ф1 (А) = f sup ( Vft+u(x) — Vft (х))2 р (dx),
V |u|«A

так как <р(Д) можно оценить с помощью <pt(A) неравенством
ф(А)<

< f sup I V ft+u (x) — Vft (x) | sup | Vft+u(x) + V ft (x) | p (dz)<
J lu|«A	|u]<A

< (pl 2 (A)J J sup ( Vft+u (x) — Vft (x) + 2 Vft (х)У p (dx)^'" <

< [2<p1 (A) (<px (A) 4- 4)]1/2.

Следствие 3. Если ft(x) дифференцируема no t для n. в.
Ip] значений x и

J I ft (x) | p (dx) < c < oo,	(5)

то о. м. n. О* сильно состоятельна. Условие (5) всегда выполнено,
если информация Фишера I(t) ограничена.
Здесь мы пришли к тому же результату, который могли бы
получить из теоремы 23.2. Способ доказательства последней (см.
§§ 21, 23) показывает, что ограниченность Kt) или (5) для ут-
верждения следствия 3 несущественны, если расстояние Хеллин-
гера р3(Ре, Ре+д) равномерно отделено от нуля при |Д| > 6 > 0.

Доказательство. Принадлежность ft(х) еDo очевидна.
Для выполнения условия (7) достаточно, как мы видели в дока-
зательстве следствия 2, интегрируемости Д (гг). Ио

J ft (*) И idx) < f ft (*) +

f't+u(x)\du p,(dx)^

А

«= 1 + f [f | ft+u (^) ] p (<^)] du < 1 + 2Ac.

—A

Остается воспользоваться теоремой 3. Последнее утверждение
следствия 3 вытекает из неравенства Коши — Буняковского, так
Как в силу этого неравенства J I ft (*) | р (<&)< Ilfi (t). <

Следствие 4. Пусть 0 есть параметр сдвига семейства
f& (х) — f (х— 0), J f (х) In f (х) dx >— оо. Если функция fix)
ограничена (иначе метод максимального правдоподобия теряет
свой смысл (см. § 26)) и имеет множество В точек разрыва,
лебегова мера замыкания которого \\,(ВС) равна нулю, то о. м. п. 6*
сильно состоятельна.

Доказательство. Проверим выполнение условий теоре-
мы 3. Условие _ (7) выполнено очевидным образом. Принадлеж-
ность ft(x) е Do_ вытекает из определения Do, в котором надо
положить Ct—Br' — t (это есть сдвиг множества Вс на t, Вс есть
дополнение к замыканию множества В). Так как множество Вс
открыто, то х — t Вс — t влечет за собой х — tk е Вс — t при
достаточно малых |ift— t\. Это означает, что f(x — tk) ->• f(x — t).
Следствие доказано.

Отметим, что в условиях следствия 4 предполагать выполнен-
ным условие (Ло) излишне — оно выполняется автоматически.
Если допустить, что (Ло) не имеет место, то мы придем к пе-
риодичности функции f(x), что невозможно.

. Относительно условий следствия 4 заметим, что условие па
«непрерывность» f(x), сформулированное в мем, является весьма
слабым. Но и оно, по-видимому, не существенно. На это указыва-
ет в какой-то мере следующий пример.

Пример 1. Пусть f(x)—произвольная функция, имеющая
ограниченный носитель (а, Ь) = {.г: f(x) > 0). Тогда

(ГЭ* — е | >.6) < (1 - F„ (а + 6))" + к (6 - 6),

(в)
где Fe(x) =	Неравенство (6) означает сильную со-

—сю

стоятельность 0*. Оно следует из соотношений вида

{0* — 0 > 6} с: |П /е+б (х0 > О) с A {х* > а + 0 + 6},

4=1	J г=1

Ри (е* - 0 > 6) < [1 - FQ (а 4- о + 6)Г = [1 - Fo (а + 6)1”.

Условие па конечность интеграла j / (.г) In / (z) dx в след-
ствии 4 в известном смысле тоже не существенно: легко постро-
ить пример, когда этот интеграл обращается в — «>, а условие
(/) будет выполнено.

Из замечаний в § 2.18 следует, что все сказанное в след-
ствии 4 и после него полностью сохраняет свою силу для пара-
метра масштаба.

§ 28. Результаты §§ 23—27
для случая многомерного параметра

В этом параграфе мы перенесем на многомерный случаи все
основные результаты §§ 23—27. Излагаться эти результаты бу-
дут в той же последовательности, что и в указаппых параграфах,
при этом мы будем останавливаться лишь на тех моментах, где
многомерность либо меняет формулировку результата, либо тре-
бует модификации рассуждений.

Итак, пусть 0 е 0 с:	к > 1. Формулировки условий

(Лс), (Ло), как и определения отношения правдоподобия

Z (и)

/в+«(Х)

я расстояния Хеллингера

г (и) = р (Р0+м, Ре) = J ( V/е+и (я) — К/е (^))2 р (dx) .

с размерностью никак пе связаны.

1.	Неравенства для отношения правдоподобия (результаты
§ 23). Для изучения поведения функции Zku) в окрестности пу-
ля нам понадобится следующее условие: функция H'fe(x) диф-
ференцируема по 0, инфюрмационная матрица Фишера

Цв) =	(6) I =, | Мв	i (Х„ 0) Д i (Х„ 0) |	(1)

при всех 0 е 0 ограничена и положительно определена.
При этом условия из теоремы 21.ЗА следует, что при всех 0
— 4-sup Sp Z (0) < оо.	(2)

I« I	4 о

Здесь и в дальнейшем |п| означает евклидову норму |м| =
— |/"wi + • - • + uh вектора и == (щ, .. щ).

Первое утверждение теоремы 23.1 и его доказательство пере-
носится на многомерный случай без каких-либо изменений, так
как они с размерностью по существу не связаны.

Теорема 1.-Если выполнено (2), то

MeZ1-2(u)<<r’,A‘|2/2.

Для обобщения теоремы 23.2 пам понадобится дополнитель-
ное условие, которое состоит в том, что

у = sup Ме | Г (xx, 6) oo	(3>

при некотором s > к.

Теорема 2 (аналог теоремы 23.2). Если выполнены условия,
(2), (3), то при любых z, п^ 1

Popup	,	(4>

\|vl>U	J

где с < оо, р > 0 зависят лишь от к, g и s.

К сожалению, весьма простое доказательство теоремы 23.2
не допускает обобщения на многомерный случай. Это связано
с тем, что максимальное значение функции р(и) в области D cz
к > 1, пе удается, в отличие от одномерного случая, оценить ин-
тегралом от l/?'(zz)| по какой-нибудь одной фиксированной кри-
вой из D. Новый вариант доказательства теоремы 2 занимает
довольно много места, и мы сочли целесообразным поместить
его в Приложение VII.

Доказательства утверждений о состоятельности о. м. п. и об
оценках для моментов в п. 2 § 23 с размерностью не связаны.
Сами утверждения сохранятся в следующем виде.

Теорема 3 (аналог теоремы 23.3). Если выполнены условия
(2), (4), то при любых z, п 1 справедливо (23.6) с заменой
числа g/\ на [3 (см. теорему 2).

Утверждения следствий 23.1, 23.2 сохраняются полностью,
с той же заменой g/4 на р.

2.	Асимптотические свойства отношения правдоподобия (ре-
зультаты § 24).

Под условиями (/?/?) в многомерном случае мы будем по-
нимать совокупность следующих условий:

1)	Условия (Ас), (Ас), (/?).

2)	Непрерывная дифференцируемость второго порядка по 9
внутри 0 функции l(x, Z) для п. в. [у] значений х. При этом
предполагается, что производные

lij (л, t) —

д21 (х, I)
dtidtj

допускают мажоранту Z(x), не зависящую от
для которой интеграл

М tl (xj) = J I (x) ft (x) p (dx)

t-. | Z-j (x, Z)| < Z (x),

сходится равномерно*) no Ze=0.

3)	Кроме того, мы будем предполагать, когда это потребует-
ся, что выполнено условие (3).

Как и в одномерном случае, нам понадобятся следующие два
свойства, вытекающие из (RR):

1)	Возможность дважды дифференцировать по 0 под знаком
интеграла в равенстве

J /е (х) р (dx) = 1,
означающая справедливость соотношений
я	г я2

-^7 /о (*) И (dx) = О, J	/о (х) р (dx) = 0.	(5)

2)	Равномерная сходимость интеграла I(Q):

SUР М е [(/' (хъ О))2; | V (х1? 0) | > Лг| -> 0	(6)

е

при V со.

Доказательство этих свойств отнесено в Приложение VI. Для
упрощения изложения они могут быть введены в условия (RR).
В силу равенств

1	^2/е (*)	1	(®) dh

/2(х)’ 00. ‘

из соотношений (5) следует, что

|ад(Х1,0) = О,

MoZ’j (х15 0) = -MeZ; (хх, 0) I-(хп 0) = - Ii} (0).

Как и в одномерном случае, условия (RR) означают, что
будут иметь место утверждения теорем § 23 об оценках для

sup Z (у/ ]/ п) и для п ( 0* — 0).

|»1>и

) См. сноску на стр. 213 о равномерной сходимости в § 24.
При выполнении условий (НЮ справедливы также следую-
щие аналоги лемм 24.1, 24.2.

Лемма 1. Функции /^(#,6) непрерывны «в среднем»}

МеОд (xj -> 0

равномерно по 0 при Д -► 0, где (Од (х) — max sup | Zy (ж, 0 Ц- ..
„	i,j е,|п|<Д

-I- и) — lij (х, 6) |.

Доказательство в точности повторяет рассуждения лем-*
мы 24.1. * <1

Положим

V.(6,6) = sup |(£1Ч.е + “А).о)-(£-(х,0),Ю) + а1 (0)юг
|Ы|=1

Лемма 2 (аналог леммы 24.2). Пусть выполнены условия
(НЮ, б„ > 0 — любая последовательность, сходящаяся к нулю.
Тогда для	Ре

Уп {6п, е) —> о, у„ («„, 0*) > 0.
п.н.	п.н.

В этих соотношениях значения 7(6) и I (6*) можно заме~
пять одно другим.

Доказательство. Как и в одномерном случае, нам до-
статочно убедиться, что 7„(б„)	0, где

(L' (X, 6 + «А), to) — (I/ (X, 0), u) (oL" (X, 0) сог I
пД	n I*

l®l=l

По Tn (^n)	7* 2 2 (xi) I Ь где (Од (x) есть максимальный

*

модуль непрерывности функций ^ц(х, 6). Так как

21 X & | со |2 = 7г,
л. j

то

Тп(«пХ^2^п(Х0'	<7>

i

Дальнейшее доказательство основано на лемме 1 и в точности
повторяет рассуждения леммы 24.2. <

Обобщением теоремы 24.1 на Многомерный случай здесь яв-
ляется

Теорема 4. Пусть выполнены условия (RR), 6п > 0, п —
в 1, 2, ...,— любая последовательность, сходящаяся к нулю.

Тп (6) = sup
А<б
Тогда если Х^=Ре, то для и таких, что lu/V/d 7

Y (и) = In Z (и//и) = (£„, и) - А (6) иТ(1 + е„ (X, 0, и)), (8)

где I гп (Xt 0, и)|< еп (X, 0) —► О,- Е» = -4"grad L (X, 0) =
П.Н,	V п

»= Т7= L' (^> $)	Фо,7(6).

Значение и* = У/г(0* — в), при котором У(и) достигает мак-
симума, представимо в виде

и* = %пГ1 (0) (Е + гп (X, 0)), En (X, 0) —> 0,	(9>

П.Н.

где Е есть единичная матрица. Кроме того,

2У (и») =	(0) En (1 + е„ (X, 0)) (=>

& 1 у1 (0) ETg Н», Е&Фо.гда. (Ю>

Наряду с (8) справедливо представление

Y (и) — У (и*) = 4- (и-и*) I (0) (и - и*)т (1 +	(X, 0, и)),

|г„(Х, 0,и)|<Еп(Х,0).

Во всех приведенных утверждениях 7(0) молено заменить на 7(0*).

В этом параграфе мы, как. и в § 24, понимаем под еп(Х, 9)
различные последовательности, обладающие свойством
еп(Х,0)—>0 относительно Ре.

П.н.

Отметим также, что главную часть в (8) можно записать-
в виде

е»«т - 4ui (е)иТ=- 4 <“ - 1 (е^1 (0) - ^г' (0>)' +
+4^/-1(0)^-

Это соответствует плотности многомерного нормального распре-
деления со средним £п7~‘(0) и матрицей вторых моментов
7-40).

Доказательство теоремы 4 вполне аналогично дока-
зательству теоремы 24.1. Из леммы 2 при Д < получаем

(77(X, 0 + Дев), со) = (7/(Х, 0), (о) -

- 7?Д(о7(0)сог(1 + £п(Х, 0, До)), IMX, 0, Д(0)| С еп(Х, 0).

Интегрируя это равенство по Д от 0 до |н|/Уп и полагая со =
16 а. А. Боровков
= и! [ и I, получим

|м| //п

L (X, 0 + и! /п) — L (X, 0) - J (£' (X, 0 + Ди), и)
о

= -У- (L' (X, 0), со) - -ЦД ы/ (0) со7’ (1 + еп (X, 0, и)) =
V п	л

== (ёп, и) — if ul (0) uT (1 + еи (Y, 6, «))» | en (X, 0, u)| < en (Y, 0).

Здесь по многомерной центральной предельной теореме (см. при-
ложение V)

71

(xit ®) G’’ Фо, 1(0)«

Представление (8) доказано. Остальные утверждения теоремы
доказываются точно так же, как в теореме 24.1, с учетом только
что продемонстрированных изменений, связанных с многомер-
ностью. Соотношение

в (10) следует из свойств нормального распределения (см. п. 4
§ 2.2). <3

В связи с соотношением (10) полезно также следующее

Замечание 1. Матрица 7_|(0) вместе с 7(0) является положительно
определенной, и существует матрица 7~1/2(0), являющаяся корнем квад-
ратным из /-'(О), т. е. удовлетворяющая соотношению

Z~«/2(0)/-i/2(O) = 7-'(0).

Действительно, если некоторая матрица Л7 > 0 (положительно опреде-
ли), то существует ортогональная матрица С, для которой СМСТ —
— diag(Xh ..., Xft) есть диагональная матрица с положительными элемен-
тами X, 2> 0 на диагонали. Если положить теперь	== Ст diag (X ^2, ...

...,Х?/2) С, то мы получим, очевидно, корень квадратный из М.

Пользуясь этим и симметричностью матрицы 7-1(0), мы можем (10)
записать в виде

r(WI/!(e))(M-vs(e))T.

Здесь вектор т]п = £Д“|/2(0) есть, очевидно, нормированная сумма п
независимых одинаково распределенных случайных векторов с пулевым
средним и матрицей вторых моментов

ме(М“1/2 (0))г( М"1/2 (9)) = м07-1/2 (О) &j~1/2 (9) = е,
поскольку

= Ме (/' (х,, 0))г (I- (х,, в)) = I (0).

Это означает, что по многомерной центральной предельной теореме
М-1/2(в)ё>ф.,Е.
Т е о рема 5 (аналог теоремы 24.2). Пусть выполнены усло-
вия теоремы 24.2 для многомерного 0еЯ* и при а = £/2 (£>
определено в теореме 2). Тогда

J (и* — и) д(б + и/ V/г) Z (н/	/г) П (du) = еУ(™*\ (0)Х

X Q w (и* — и) ехр {—2" (u — w*) ($) (ы—W*)T] ft (<М + е" PG $)] •

(11)

Если П есть.мера Лебега, П(йн) = du, то

J =	г1"*’} (в) (Мш (n) + е„ (X, в)),	(12)

где еп(Х, 0)—0, 1]£= Ф _j 0. (последовательность е„(Х, 0) яв-
п.н.

ляется векторной, если w(t) есть вектор-функция).

Доказательство теоремы 5 проходит так же, как доказатель-
ство теоремы 24.2, поскольку последнее с размерностью не
связано.

3.	Свойства о. м. п. (результаты § 25). Здесь мы будем пред-
полагать везде выполненными условия (RR).

Аналог теоремы 25.1 будет иметь следующий вид.

Теорема 6. О. м. п. 0* является асимптотически нормаль-
ной оценкой, при этом сходимость

и* = (е*-в) /п^>фо ,_1(0)

имеет место вместе с моментами любого порядка. В частности,
Метг (0* - 0)т (б* - 0)-> Г1 (0).	(13}

Более того, для любой непрерывной функции w(t) такой, что
|- w (t) | <	(число р определено в теореме 2),

Мош (и*) М/t’ (п), ФоД-1(оГ

Соотношение (13) означает, что 0* е /<ф2.

Утверждение теоремы 6 следует пз теоремы 4 (см. (9)) и
многомерного аналога следствия 23.2, вытекающего из теоремы 3
(ср. с доказательством теоремы 25.1). <

Определим класс как совокупность оценок 0*, для которых
смещение b (0) = (Ъх (0), ..., bh (0)) — Mg0*—0 обладает свойствами
|6(6)|= о(1//Я), 6ъ(6)=^В-^0

при п °°.

Аналог теорем 25.2, 25.3 имеет здесь ту же самую форму:

16*
Теорема 7. О* является а. R-э. оценкой. Кроме того, 0*
е Ко и является асимптотически эффективной в Ко.

Асимптотическая ^-эффективность 6*, эквивалентная (13),
очевидно, имеет место. Доказательство принадлежности 6* е Ко
и асимптотической эффективности в Ко происходит совершенно
аналогично одномерному случаю.

Перейдем к свойству асимптотической байесовости. Асимпто-
тическая /?-байесовость оценки 0* означает по определению, что
(ср. с § 20)

М (0* _ 0)г (0* _ 0) = j/n + 0 j — J /-1 (t) Q (dt). (14)

Асимптотическая баиесовость 0* означает

lim sup \nv (0*) — nv (0q)]	0,

Tl->oo

(15)

где 0q— байесовская оценка, минимизирующая v(0*) =
= М (0* —0) V (0* —0) для любой неотрицательно определенной
матрицы V.

Теорема 8 (аналог теоремы 25.4). 0* является асимптоти-
чески R-байесовской оценкой. Если априорное распределение Q
имеет плотность относительно меры Лебега на 0, то 0* — асимп-
тотически байесовская оценка.

'> Доказательство вполне аналогично теореме 25.4. Соот-
ношение (14) для 0* = 0* следует из того, что

Jim Мп (0* — 0)т (0* — 0) =
П->оо

= М lim Mon (О* - 0)т(0* - 0) = MI-1 (0) = J.

Tl—too .

Предельный переход под знаком математическою ожидания
(т. е. интеграла) здесь законен, так как величина Моп(0*—0)гх
х(0* — 0) ограничена постоянной, не зависящей отпив (ср.
со следствием 23.2).

Чтобы доказать (15), заметим, что в соответствии с § 20
интегральное неравенство Рао — Крамера в случае, когда Q име-
ет плотность, имеет вид

Мп (0* — 0)г (0* — 0) > J + о (1).

Эго означает, что

np(0j) > 2 VijJij + о (1),
где HAJI = J, = V. С другой стороны, в силу (14) при 0* = 0*
nv (0*) = 2 а + д (1).

Из этих соотношений, очевидно, вытекает (15) при 0* = 0*, <1
Аналоги теорем 25.5, 25.6 также будут иметь место. Напри-
мер, из теоремы 5 вытекает

Теорема 9 (аналог теоремы 25.6). Пусть	и 0 есть

произвольная внутренняя точка 0. Если q(t) — произвольная
непрерывная и положительная внутри 0 плотность априорного
распределения, то

/«(§*-ej)—о,

п.н.

где Gq есть байесовская оценка, соответствующая q{t).

Асимптотическая минимаксность 0* может быть установлена
аналогично теореме 25.7 с помощью многомерного аналога кри-
терия асимптотической минимаксности в следствии 20.3:

lim sup 0* — 0)У( 0* — 0)г = sup 2 ^ij1 (3)
n->oo ter	.	ter

(0)1 = /-‘(0).

и равномерного характера сходимости в (13), которая будет вы-
текать из результатов следующего параграфа.

Свойства асимптотической оптимальности 0* в случае много-
мерного параметра 0, когда его размерность к велика, следует ис-
пользовать с осторожностью. Нужно следить за тем, чтобы от-
ношение п/к было велико (число наблюдений на один скалярный
параметр). В противном случае выводы могут оказаться оши-
бочными.

Пример 1. В лаборатории проверяется концентрация п -рас-
творов. Каждая из неизвестных п концентраций р^, ..., рп про-
веряется дважды. Предполагается, что дисперсия о2 всех п на-
блюдений (xi, yt), ..., (хп, уп) одна и та же, а сами наблюдения
независимы и нормально распределены, так что

/» (Х) = >(2л)"еХР	2? 2 «х‘ - НО3 +	- M.)2J

где

0 = (щ, ..., рп, о2).

О. м. п. для щ здесь равны

Н = 4 <xi + У0-

Очевидно, эти оценки являются несмещенными, по пе состоятель-
ны. О. м. п. для о2 равна

(° )* =4г2<х* — у03 р>су2/2 ПРИ «->оо.

Эта оценка с большой надежностью дает ложное значение для
параметра о2 (вдвое меньшее).
4.	Приближенное вычисление о. м. п. Содержание § 26 в мно-
гомерном случае полностью сохранится, если понимать под
lL"{X, i)]-1 матрицу, обратную к L" {X, t).

5.	Свойства о. м. п. при отсутствии условий регулярности (ре-
зультаты § 27). Условия состоятельности 0, сформулированные
в теоремах 27.1—27.3, с размерностью по существу не связаны.
Доказательство этих теорем полностью сохраняется с точностью
до очевидных изменений, связанных с тем, что множество О
надо покрывать теперь (в силу условия (Лс)) не конечным чис-
лом интервалов, а конечным числом шаров. То же самое можно
сказать и по поводу следствий 27.1—27.4.

§ 29. Равномерность по 0 асимптотических свойств
отношения правдоподобия и оценок максимального
правдоподобия

В последующих рассмотрениях, главным образом в §§ 13—15
следующей главы, будут полезны утверждения §§ 24, 25, 28 в
их равномерной по 0 форме. Большинство этих утверждений (ска-
жем, утверждения о предельном Рв-распределении (0* —0)Ъг)
были получены в предположении, что 0 — фиксированная точка
из 0. Нас будет интересовать теперь, что будет происходить,
если 0 пе фиксировано, а меняется вместе с п. Ясно, что при
этом вместе с п будут меняться и распределения Р©, так что
каждая выборка Хп будет иметь «свое» распределепие при
•л =1,2, ...

Мы приходим, таких! образом, к схеме серий (см. fill), для
которой формулировки основных предельных теорем будут уже
несколько иными. В частности, усиленный закон больших чисел,
вообще говоря, теряет свой смысл, так как рассматриваемые слу-
чайные величины перестают быть заданными (при разных п)
на одном вероятностной! пространстве.

1.	Равномерные закон больших чисел и центральная пре-
дельная теорема.

Пусть Х£=. Ре, T]nje = Чп (X, 0).

Определение 1. Мы будем говорить, что последователь-
ность Цп, о равномерно сходится по вероятности к постоянной
если для любого е > 0 при п со

sup Ре (| цП(е — а (0) | > е) -> 0.

Это соотношение мы будем записывать в форме «Цп.б т->а(6)
равномерно по 0».

Определение 2. Мы будем говорить, что Цп, е сходится
по распределению к случайной величине ц0 равномерно по 0,
вели для любой непрерывной и ограниченной функции ф при
п -> оо

sup I М0ф (цп,е) — Мф (це) |	0.	(1)

Это соотношение мы будем записывать в виде «цп> о =* ц0 равно-
мерно по 0». Такой же смысл мы будем придавать соотношению
<<т1 п,(>£==> G(> равномерно по 0», где G0 означает распределение ц0.

Мы предоставляем, читателю самостоятельно убедиться, что
вели функции распределения ц0 непрерывны равномерно по 0,
то соотношение (1) эквивалентно

sup | Ре (цп,б < к) — Р (По < х) I	°.

е,х

Отметим, что равномерная сходимостьЦп е —(6)' и равно-
ре

мерная сходимость по распределению 0 => л(0) к вырожденной
случайной величине а(0) эквивалентны.

Отметим также, что для равномерной сходимости сохранятся
все основные теоремы непрерывности. Например, если // есть
непрерывная функция, то из равномерной сходимости 0 => i]0
следует равномерная сходимость

Жц», е) Жт]е).	(2)

Эти утверждения вытекают непосредственно из определений.

В Приложении V доказаны следующие «равномерные» пре-
дельные теоремы.

Пусть Х^Ре и а(х, 0)—заданная измеримая вектор-функ-
ция: Х0 Л1. Рассмотрим суммы

$п (9) = S « (*b 9)
независимых случайных векторов, зависящих от параметра 0^0
как непосредственно через функцию а(х, 0), так и через рас-
пределение х$ €= Ра*

Напомним, что интеграл гр (х, 0) Ре (dx) мы называем схо-
дящимся равномерно по 0 в области 0, если

sup [	| ф (х, 0) | Ре (dx) -> 0

при 7V оо.

Теорема 1 (равномерный закон больших чисел). Если ин-
теграл а (0) = J a (х, 0) Ре (dx) сходится равномерно по 0 е 01
то при п оо
-----------------------------------—> а
п pq

равномерно по 0.
Следствие 1. Если последовательность {0„} е 0, то в ус-
ловиях теоремы 1

TJ { I Sn (®7l) /д \ I	Л

?еД|-...-н-~---«(0n)|>e ->0<

Этот факт мы будем обозначать

sn (^п)
п

_й(еп)—>0.
реп

При рассмотрении центральной предельной теоремы для сумм
sn(6) нам будет удобнее считать н(0) = 0. (Это не есть ограни-
чение общности, так как мы можем рассмотреть новые слагаемые
«’(х,-, 6) = й(х<, 0) — а(0).) Положим а2 (0) = Ме (аг (хь 0) а (хх, 0))
и обозначим через л,(хь 0), j = 1, 2, ..Z, координаты векто-
ров ft(Xi, 0).

Теорема 2 (равномерная центральная предельная теорема).
'Пусть интегралы J (aj(x, 0))Ре(dx), 7=1,...,/, сходятся рав-
номерно в 0. Тогда

Лп’6 ~	11е^ фо.а2(е)

равномерно по 0.

2.	Равномерные варианты теорем об асимптотических свой-
ствах отношения правдоподобия и оценок максимального правдо-
подобия. Заметим предварительно, что при выполнении условий
(/?//) результаты § 23 являются равномерными по 0 по самой
своей форме, так как правые части неравенств в теоремах 23.1 —
23.3 (и в теоремах 28.1—28.3) от б не зависят.

Перейдем к результатам §§ 24, 28 об асимптотическом пове-
дении Z{u/l/n).

Утверждения лемм 24.1, 28.1, 24.2, 28.2 можно сделать равно-
мерными по 0.

Лемма 1. При А -> 0

sup Ме(Од (хх) -> 0,	(3)

е

где е>д(х1) есть максимальный модуль непрерывности функций
Гц (х, 0).

Доказательство. Справедливость (3) при фиксирован-
ном 0 доказана в лемме 28.1. Если допустить при этом отсут-
ствие равномерности по-0, то мы придем к существованию е>0
и последовательностей 0П -► 0 е 0, Д„ -> 0, таких, что

Мопюдп (xi) > е.	(4)
Полагая для краткости о>дп (хД — ы", получим

МеХ = М6п (со"; /еп (хх) < 2/0 (хх)) + Меп (со"; /0п (хх) >

> 2/е (хД, I (хх) < TV) + Men (со"; f&n (хх) > 2/0 (хх), I (хх) > N).

Здесь первое слагаемое не превосходит 2М0<о" п сходится к пу-
лю в силу леммы 28.1. Второе — пе превосходит 2NJn, где

Л = f /еп (г) р (dx) = 1 — J /е?г (х) р (dx) -> О
У6п(х)>2/е(х)	/0п(х)«2/О(«:)

по теореме о мажорируемой сходимости. Наконец, последнее сла-
гаемое не превосходит М0П (21 (хх); l(xt)Z> и в силу (HR)

может быть сделано выбором N сколь угодно малым. Мы по-
лучили противоречие с (4), доказывающее лемму.

Лемма 2. Утверждение леммы 28.2 сохранится, если в нем
п. н. сходимость заменить сходимостью уп(&п, 0) —> 0> Тп (^п»

•Ро	ро

равномерной по 6.

Доказательство. Будем следовать доказательству леммы
28.2. Заметим предварительно, что в силу теоремы 1 и равно-
мерной сходимости интеграла в {RR)

и(Х^)1п.^-1(Ъ)

равномерно по 0 (сходимость матриц понимается поэлементно).
Кроме того, из теорем 23.3, 28.3 вытекает, что 0*^>0 равномерно
по 6. Отсюда следует, что в соотношении уп (§п, 6) —> О (см. лем-
Р0

му 28.2) мы можем 7(0) заменить па L"(Q)/n и па 7(0*).

В силу неравенства (28.7) задача оценки уп(6п, 0) сводится
к оценке
п

(X)=42 ®6n (хь 6),
i=i

где сод (х, 0) — максимальный модуль непрерывности функций
I'ij (х, 0). Из неравенства Чебышева получаем

sup Р0 (сое (X) > е) < 4 sup М0(Од (хх, 0).

0	о и

По в силу леммы 1 БирМеОд (хь 6)->0 при Д 0. Это дока-
е

зывает, что

Тп(6п,6)->0	(5)

п 10	Р0

равномерно по 0.
Далее, из неравенств (2У6) следует, что задача оценки
уп(би, 0*) сводится к оценке	С^)« Так как 0* — 0^>О

равномерно по 0, то из (5) получаем, что



равномерно по 0. <

Теорема 3 (аналог теоремы 28.4). При выполнении условий
(HR) утверждения теоремы 28.4 сохранятся при следующих из-
менениях: е.п (X, 0) —> 0 равномерно по 0, £п€=>Фо.це), 2У (w*)(==>II7i

Р0	х

равномерно по 0.

Доказательство теоремы полностью основано на
лемме 2, так же как доказательство теоремы 28.4 — на лемме
28.2. Поэтому требуемое доказательство получается путем вне-
сения очевидных изменений в доказательство теоремы 28.4, свя-
занных с заменой (вытекающей из леммы 28.2) сходимости
£« (У, 0) ---> 0 на равномерную сходимость en (X, 0) —> 0. Кроме
того, надо добавить, что

fen —

I' (xi> б) €=> Фо,7(6)

равномерно по 0 в силу теоремы 2 и равномерной сходимости
(28.6) интеграла 7(0) (это есть матрица вторых моментов для
Zz(x!, 0)), которая вытекает из условий (RR) (см. Приложение VI).
Отсюда и из замечаний, касающихся (2), получаем равномерную
сходимость

2У(и*)^Щ. <

Те же изменения, что и в теореме 3 (по сравнению с теоре-
мой 28.4), могут быть внесены в теоремы 28.5, 28.6.

Мы приведем здесь следующие два следствия теоремы 3.

Т е о р е м а 4.

и*= /п(е*-е)^Ф01_1(0)	(6)

равномерно по 0. При этом для любой функции w(x), непрерыв-
ной п. в. относительно меры Лебега и такой, что | w (х) | < СеР|х'2/2
(значение £ > 0 определено в теореме 28.2), выполняется

sup | Meir (u*) — Mu? (Ле) I -> 0»	(7)

e

где Т1еёФ„„,-)(е).
Доказательство. Первое утверждение вытекает из со-
отношений

| (X, 0) |	0* Вп Фо,ДО)»

равномерных по 9 и содержащихся в теореме 3.

Чтобы доказать второе утверждение, допустим, что (7) пе
верно. Тогда найдутся 6 > 0 и последовательность 0	9

такие, что

|	(w*) —	(ТК) | > 6	(8)

при всех п.

Но фо г“1(0„) Фо т~ЧЪ и’ стало быть, в силу (6) Реп-рас-
пределение и* (ш(п*)) слабо сходится к распределению т]0 (ы*(т|0)).
Кроме того, по следствию 23.2 (см. также § 28)

sup Mow3/2 («*) <1 sup Mq exp{3(w*)2p/4} <C cx <oo.
0	.	0

Отсюда п из теорем непрерывности для момептов следует, что
Ме?гш (u*)->Mip (т|е).

Так как Mzz?(r|0n)-> Mw (г|е), то полученное соотношение про-
тиворечит (8). <1

Пусть Ап <= £Е,г.

Теорема 5. Если Р0(Л„)->О, то при любом фиксирован-
ном N

SllP ^Q+ufVn (^’)	0’

|u|^V

Это свойство последовательностей распределений

при п -> оо называют контигуалъностъю (см. [571). Мы будем ис-
пользовать его в главе 3.

Доказательство. Имеем

Pe+u//S <л») = М« (Z (“/	»п) <

<Me(Z (K//n); A. f] {Г(и)<с}) + РнЛ-(Г(«)>г)<

< е Ре (Л„) + Ре+„/Л(У (и) > с).

Так как Ре(Лп) -*• 0, то для доказательства теоремы нам надо
рассмотреть лишь sup P0+li/l^(K(w) >е). Согласно теореме 3
равномерно по и

Y(u) = d„, и)-1и! (0) ит(1 + е„ (X, 0 + и/ /»)) & Ф .

2	*

(9)

где G2 ~ ц/(0)иг <A'2Afi(0) при ]u\^N, Afc(0)— максимальное
собственное число матрицы /(6). Так как Ф i о п((с, оо))
——

2

^Фо ог((с» °°)) то в силу равномерности в (9)

lim sup Р /г(У(и)>с)<

»г-»ос u|CJV

<, »“Р	((с> °°)) = Ф.Л,Я «с- °°)Ь

Это значение выбором с может быть сделано сколь угодно
малым. <1

3.	Некоторые следствия.

1)	В § 25 была сформулирована теорема 25.3, в которой ут-
верждалось, в частности, что	где.К° есть класс асимп-

тотически центральных оценок, определяемый соотношением
(рассматривается одномерный случай)

Ре (0* > 6) 1/2

равномерно по 0. Из теоремы 4 вытекает, что упомянутая часть
теоремы 25.3 верна, так как

Ре (S* > е) = Ре ( /и ( 0* - 0) Г112 (0) > О)-»Фо,, ((0, оо)) = 1/2

равномерно по 0.	<

2)	В § 25 была сформулирована теорема 25.7 об асимптоти-
ческой минимаксности 0*. Для доказательства этой тео-
ремы осталось установить справедливость леммы 25.1 о том, что

lim sup Men (0* — 0)2 — sup Z-1 (0),	(10)

?i-»oc бег	еег

где Г — любой отрезок из 0. По это утверждение есть прямое
следствие равномерной по 0 е 0 сходимости Men (0* — 0)2 —Z-1(0),
которая делает законным предельный переход под знаком sup:

Л	Л	бег

lim sup Mon (0* — 0)2 = sup lim Me« (0* — 0)2 == sup Z-1 (0). <]
n->oo бег	Bern-»»	вег

Утверждение, аналогичное (10) и обеспечивающее асимптоти-
ческую минимаксность 0*, будет иметь место, очевидно, и в мно-
гомерном случае:

lim sup Ме« (0* — 0) V (0* — 0)т — sup У (0)»
п->ооеег •	ее г

для любой матрицы V.
§ 30*. О статистических задачах, связанных
с выборками случайного объема.

Последовательное оценивание

Тот факт, что выборки случайного объема возникают на
практике и являются естественными, подтверждает пример 18.3.
Другой пример связан с так называемым последовательным оце-
ниванием. Оно применяется в тех случаях, когда мы можем
производить наблюдения последовательно — одно за другим, и
когда мы заинтересованы в минимизации числа этих наблюде-
ний, скажем, в силу их высокой стоимости. При этом наряду с
правилом оценивания (т. е. конструкцией оценки 0*) мы должны
задать правило остановки эксперимента. Эти правила могут быть
различными: например, мы можем суммировать заданные стои-
мости с(х*) наблюдений х< до тех пор, пока пе исчерпаем неко-
торое допустимое количество t. В этом случае момент v останов-
ки (номер последнего наблюдения пли объем выборки) будет
определяться как

1h

к: 2 c(xi) t

г=1

— это есть «время первого прохождения уровня /» в блуждании
со скачками с(хЭ (см. [111, глава 8). Можно суммировать «ин-
формации» 7(х,-, 0) = (Z'(xj, 0))2 и прекращать наблюдения, когда
будет достигнут опять же некоторый заданный уровень, и т. д.

В этих примерах v есть марковский момент, т. е. {у > п} е
е о(хи ..., х„). Это есть одно из основных предположений, при
которых рассматриваются задачи последовательного оценивания.
При этом предположении и выполнении ряда дополнительных,
менее существенных условий сохраняется неравенство Рао —
Крамера в виде

De0* > 7 (()) Mv ,

где 0*==0*(х1, ..., xv) — несмещенная оценка 0, 7(0) — инфор-
мация Фишера. Доказательство этого неравенства вполне анало-
гично доказательствам § 16; надо лишь для вычисления инфор-
мации Фишера, содержащейся в выборке (хъ ..., xv), воспользо-
ваться тождеством Вальда (см. [11D.

Если v зависит от некоторого параметра t, как это было в
примере 18.3, так что v -> 00 п. и. при t -> <», то возможно
построение асимптотически оптимальных оценок со средне-
квадратической погрешностью, асимптотически эквивалентной
(I(0)Mv)"\
§ 31. Интервальное оценивание

1. Определения. До сих пор мы изучали свойства и способы
отыскания паилучших точечных оценок неизвестного параметра
6, который определяет распределение Ре из семейства & — {Ре),
соответствующее выборке X. Точечные оценки используются в
тех случаях, когда мы должны назвать некоторое число 0*, пред-
назначенное для использования вместо неизвестного 0.

Однако весьма распространен и другой подход к проблеме.

Будем считать 0 скалярным параметром (многомерный слу-
чай будет рассмотрен в п. 6). Как мы знаем, точное определение
0 по данной выборке невозможно. Но мы могли бы попытаться
указать такой интервал (0~, 0+), что оп с заданной достаточно
высокой вероятностью будет накрывать неизвестное значение 0.
При этом несомненно, что чем уже этот интервал, тем лучше.
Во многих задачах заранее требуется, скажем, путем увеличения
объема выборки построить такой интервал (0“, 0+), чтобы его
ширина пе превосходила заданных размеров.

Определение 1. Пусть для заданного 8 > 0 существуют
случайные величины 0* == 0±(е, X) такие, что

Рй(0“(е, X) < 0, 0+(е, X) > 0) > 1 - 8.	(1)

Тогда интервал (0~, 0+) называется доверительным интервалом
для 0 уровня 1 — е.

Очевидно, что (1) можно записать в виде

Ре(0- < 0 < 0+) > 1 - 8.

Событие, стоящее здесь под знаком вероятности, состоит в
том, что случайный интервал (0~, 0+) накрыл неизвестное зна-
чение 0. Читать это событие как «попадание 0 в интервал (0“, 0+)>>
было бы несколько менее аккуратно, так как 0, вообще говоря,
не случайно.

Значения 0* называются границами доверительных интерва-
лов, число 1 — е — коэффициентом или уровнем доверия.

Итак, отличие интервального оценивания от точечного состо-
ит в следующем.

1)	Доверительный интервал как оценка менее «точен», так
как указывается целое множество возможных значений 0.

2)	С другой стороны, утверждение «0	(0“, 0+) с вероят-

ностью ^1 — 8» является истинным, в то время как событие 0 =
= 0*, как правило, имеет вероятность, равную пулю.

В качестве 8 выбирается обычно малое число. По нему стро-
ятся 0^(8, X), и затем па основании выборки объявляется, что
()е (0~(е, X), 0+(е, X)). Поступая таким образом, мы будем оши-
баться в длинном ряду экспериментов примерно в 100е% всех
случаев. Например, если е = 0,001, то ошибка будет происходить
примерно 1 раз па 1000 случаев.
Объявляя верным соотношение 0 (0~, 0 0, мы используем
тот факт, что если некоторое событие имеет вероятность е и это
е мало, то практически невозможно, чтобы это событие произо-
шло при единичном испытании. Авиапассажир, садясь в самолет,
интуитивно твердо верит в это. Ему достаточно знать, что веро-
ятность того, что полет закончится благополучно, довольно высо-
ка (ведь ему известно, что она не равна 1). Именно такой под-
ход и лежит в основе построения многих статистических про-
цедур.

Мы выделим сначала один случаи, когда построение довери-
тельных интервалов особенно естественно и может быть произве-
дено без существенных затруднений. Это так называемый байе-
совский случай, который уже рассматривался нами в §§ 10,.
11, 20.

2.	Построение доверительных интервалов в байесовском слу-
чае. Мы предполагаем здесь, что параметр 0 выбирается слу-
чайно с известной нам априорной плотностью распределения q(t)
относительно некоторой меры X на 0. После этого производится
выборка X Pq, и нам надо построить доверительный интервал
для выбранного значения 0.

Если выполнено условие (ЛД то, как мы знаем пз § 10,
в этом случае существует апостериорное распределение 0 (услов-
ное относительно X) с плотностью

,+/V4 Л (*)?(*)
д (t/X) = ?--------------

J W q (u) x (du)

отпосительпо меры Л. Это означает, что в качестве бДе, X) до-
статочно взять любые два числа 0*, для которых

е+

j* д (и/Х) X (du) — 1 — е
о-

t

(или > 1 — е, если j* д (и/Х) X (du) меняется при изменении t
— ОО

дискретно). Другими словами, в качестве 0“ и 0+ следует взять
квантили апостериорного распределения соответственно порядков
1 — Е2 и при любых El II Е2 таких, ЧТО Ei 4- Е2 == Е.

Здесь в соотношении О ' 'С 0 -5 0 ‘ , в отличие от иебайесовского
случая, случайными являются все три элемента: границы интер-
вала б* и сама величина 0.

Нетрудно видеть, что в описанной процедуре существует не-
который произвол, связанный с выбором чпсел Ei и е2. Иногда
этот произвол устраняется самой постановкой задачи — напри-
мер, в случаях, когда нам важно установить лишь верхнюю пли
нижнюю доверительную границу. В этом случае одно из чисел
в,, е2 следует положить равным 0, а соответствующую границу
сделать бесконечной. Если же границы играют симметричную
роль, то естественно выбирать е< так, чтобы сделать интервал
(6", 0+) по возможности более коротким. Для распределений
q(t/X), близких к симметричным, это достигается при ef — е2 = е/2.

3.	Построение доверительных интервалов в общем случае.
Асимптотические доверительные интервалы. Основные методы
построения доверительных интервалов базируются на использо-
вании точечных оценок. Мы рассмотрим сначала асимптотиче-
ский подход к построению доверительных интервалов.

Определение 2. Пусть X — [Хте]п^ Ре, ц для заданного
е > 0 существуют случайные величины 0± (е, X) такие, что

lim inf Р0 (0“ (е, X) < 0 < 0+ (е, X)) > 1 — е.
П-Юо

(2)

Тогда интервал (6", 0+) называется асимптотическим доверитель-
ным интервалом уровня 1 — е.

В этом определении необходимо подчеркнуть, что речь идет
па самом деле о последовательности интервалов (бп , 0п ), опреде-
ленных для каждого п. Формально понятие асимптотического
доверительного интервала применительно к выборке фиксирован-
ного объема является малосодержательным. Тем не менее соот-
ношением (2) пользуются при больших п — так же, как пользу-
ются центральной предельной теоремой для приближенного вы-
числения распределений сумм конечного числа случайных ве-
личин.

Мы видели в предыдущих разделах, что большинство рассмат- 
рпвавшихся нами точечных оцепок асимптотически нормальны.
Ниже мы приводим конструкцию асимптотических доверитель-
ных интервалов, основанных на таких оценках.

Пусть 0* — а. п. оценка:

(е*-е)]^^Ф0„гда,	(3)

и о(0) есть непрерывная функция. Так как 0*->0, то последнее
р

условие означает, чтоо(0*)->о(0). Отсюда и из (3) по второй
р

теореме непрерывности следует, что

(6* — 9) Уп
о (9*)

(4)

€=> Фол*

Обозначим через Хе квантиль нормального распределения по-
рядка 1 — 6, т. е. такое число, что Фо, i((—°°, Xe)) = l — 6, или
РЩ1 < Хв) = 1 — 26, если ^Фод. Для Хе/2 при заданном фик-
сированном 8 > 0 введем временно более короткое обозначение,
положив

Хе/2 — Р*
Тогда из (-4) следует

lim Ре

П-юо

(6* — 0)1//;
.	0(0*)

По это соотношение можно переписать в виде

lim (0* — ро(0*)/ п <Z О <С 0* + Р<т (0*)/ У п) = i — е.
П-юо

Таким образом, числа

0* = 0* ± Мв*)/Ьг

(5)

удовлетворяют определению 2 и, стало быть, являются граница-
ми асимптотического доверительного интервала уровня 1 — е.

Если мы теперь для данной фиксированной выборки X объ-
ема п построим интервал (5), то его истинный уровень будет,
вообще говоря, отличаться от е, но будет мало отличаться, если
п достаточно велико. Поэтому обращаться с асимптотическими
доверительными интервалами надо с известной осторожностью,
выяснив предварительно, начиная с каких п вероятность со-
бытия {0 е (0“, 0+)1 достаточно точно приближается предельным
значением. Обычно чем меньше е, тем выше требование к объе-
му выборки п. Необходимый объем зависит также от распределе-
ний Ре и от статистики 0*.

Пример 1. Пусть Х€=Гад, и мы пользуемся эффекта»-
Л _______________

пой оценкой а* =—=—. В примерах 4.1, 16.1 было устаповле-
пх

по, что

2

МаС4* = а, Daa* =

так что здесь оЧа) = а2. Соотношение (5) дает нам

а± = -^(1±₽//п).	(6)

Чему на самом деле равен уровень этого интервала?
Нам надо найти Га. j — вероятность неравенства

(1 - ₽/ Vn) < а <	(1 + ₽/ /п)

/IX	пх.

или, что то же, неравенства

1 - ₽/ /Й <-^ < 1 + ₽/ /Й,

где пах^Г1те. Так как а есть параметр масштаба, то 2пах{=
<=Г1/2Я = П

2П» Таким образом, точный уровень интервала (6)

17 а. А. Боровков
равен

2(п—1)( ! + ₽//«)

f Т1/2,п (*)<&, ‘	(7)

2(п-1)(1-р//п)

где 71/2,п определено в § 2*).

При е = 0,05, и = 30 имеем £ — 1,96, (?г — 1)(1 — (J/Vn)/n ~
» 0,6201, (п-1)(1 + р/М/п « 1,3126.

Таким образом, асимптотический доверительный интервал
уровня 1 — е = 0,95 применительно к случаю п = 30 представля-
ет собой интервал (0,620/х, 1,313/х).

Если воспользоваться таблицами распределения %2 с 60 сте-
пенями свободы, то мы в силу (7) обнаружим, что точный уро-
вень значимости этого доверительного интервала равен (с точ-
ностью до трех знаков) 0,937 = 1 — 0,063. При этом «вклады» ле-
вого и правого конца доверительного интервала далеко не рав-
нозначны (ср. с нормальным приближением) и составляют соот-
ветственно 0,010 и 0,053.

Для п = 50 асимптотический доверительный интервал уровня
0,95 будет иметь вид (0,708/х, "1,252/х). Истинный уровень его
значимости будет равен 0,942 = 1 — 0,058 (вклады равны соот-
ветственно 0,014 и 0,044). Ясно, что если продолжать увеличи-
вать и, то эти вклады будут сближаться с 0,025.

Верпемся к доверительному интервалу (5), построенному на-
ми с помощью а. н. оценки 0*. В отличие от байесовского слу-
чая, здесь имеется произвол, связанный с выбором оценки ()*.
Форма границ интервала показывает, что достичь заданных раз-
меров интервала можно как за счет увеличения объема выбор-
ки п (что по разным причинам не всегда осуществимо), так и
за счет возможного уменьшения о(0*). Здесь мы приходим к
важному выводу, что при равных объемах выборки лучший до-
верительный интервал будет давать оценка с меньшим рассеи-
ванием о(6). Таким образом, наилучшие асимптотические дове-
рительные интервалы будут получены при использовании асимп-
тотически эффективных оценок.

При выполнении условий (RR) и принадлежности 0* классу
А КФ 2 (см. §§ 8, 16) паилучшпй асимптотический доверитель-
ный интервал имеет границы

е1 = е* + р/ V ni (о*),

где 0* — любая а. э. оценка, папример, о. м. п.

*) Замечание о том, что Г|/2, п = Н2п полезно, так как оно позволяет
для вычисления Га, а. (если 2Х — целое) использовать таблицы распределе-
ния х2, приведенные в приложении, а также во многих других руковод-
ствах по математической статистике.
Некоторые другие методы построения асимптотических дове-
рительных интервалов будут рассмотрены в п. 6.

4.	Построение точного доверительного интервала с помощью
заданной статистики. Допустим, что в качестве статистики мы
выбрали оценку 0*. Тогда симметричный доверительный интер-
вал уровня 1 — 8 с помощью этой оценки было бы естественно
искать в форме 0*±Д(е, X) или в форме 0*(1 ± Д(е, X)), как
это было в рассмотренном выше примере. Одпако если мы попы-
таемся реализовать такой плап, то окажется, что дело обстоит
не так просто, так как в общем случае границы ±Д(е, X) будут
зависеть от неизвестного параметра 0 — ведь Д(б, X) надо вы-
брать из условия

Ре(0* - Д(е, X) < 0 < 0* + Д(е, X)) > 1 - 8,

в которое 0 входит существенным и весьма сложпым образом,
прежде всего через само распределение Ре.

Поэтому требуется некоторая специальная конструкция для
построения доверительных интервалов с помощью дайной оцен-
ки 0*.

В приводимом ниже построении наряду с оценкой 0* может
участвовать любая статистика $. Обозначим символом Ge рас-
пределение S и положим Ge(x) = Ge((—х)).

Определение 3. Мы будем говорить, что статистика S -
по распределению монотонно зависит от 0, если при любых ж,
t 01 < 02

(U, оо)) < G02 ((ж, оо))

или, что то же,

G0r (ж) > $о2 U)-	'	(8)

Все разумные оценки 0* обычно этим свойством обладают.

Если дополнительно монотонная зависимость Ge(z) от 0 яв-
ляется непрерывной, то уравнение

Се(ж) = Y

всегда разрешимо относительно 0 при каждом у е (0, 1). Реше-
ние этого уравнения обозначим Ь(х, у).

Теорема 1. Если 81 + е2 = 8, статистика S по распределе-
нию монотонно зависит от 0 и функция Ge(x) непрерывна по О
и х, то значения

Q~ = b(S, 1-82), G+ = b(S, Б1)

образуют доверительный интервал уровня 1 — 8.

Доказательство теоремы почти очевидно. Воспользуем-
ся тем фактом, что если функция распределения Е(х) пепрерыв-
17*
па и	ТО F(£)^U0>1	(P(F(£) <^) = P(^<F-’(x)) =

= F(F~1(x))	х). В силу этого замечания (S)(= U01 и, стало

быть,

Pe(e1<Go(5)<l-82) = l-e,
Pe(fe(5, 1 - е2) < О < b(S, Е1)) = 1-8. <

Часто «обращение» функции Ge(S), используемое в теореме,
удобно проводить в два этапа. Сначала Ge(x) обращается отно-
сительно х, т. е. определяются квантили Сё-1 (у) как решения
уравнений Се(ж) = у, а затем решаются относительно 6 уравнения

Go Чел) = 5,

Такне решения всегда будут существовать, так как по условию
теоремы Gq1 (у) монотонно и непрерывно зависит от 0.

На рис. 3 представлены кривые y=G^”1(e1)- и у == Gy’(l — е2),
определяющие при каждом 0 область значений у, вероятность

попадания в которую для некоторой
оценки «5 = 0* равна 1 — 8. Как уже от-
мечалось, процедура построения дове-
рительного интервала есть обращение
функций

у = Сё ЧеО, у = Gqj (1 — Е1),

т. е. отыскание точек пересечения со-
ответствующих им кривых с уровнем
у — S. Полученные точки пересечения
и дают требуемый интервал (0~, 0+)_

Если условие о непрерывности Ge(x)
не выполнено, что будет иметь место

для дискретных случайных величин S, то в целом изложен-
ная процедура п утверждение теоремы 1 сохранятся с той

лишь разницей, что при соответствующем определении кван-
тилей Gq1 (у) следует удовлетворить неравенству Gg ((Сё-1 (ej,
Gq (1—£2)))^! — на месте которого мы прежде имели точ-
ное равенство. В соответствии с этим утверждение теоремы 1 в-
этом случае будет иметь вид

Ре (0- < б < 0+) > 1 - 8,

где 0* есть решения уравнений Gq1 (е7) = S, Go \1— е2) = S.
При этом мы будем, как и прежде, называть интервал (0_, 0+)
доверительным интервалом уровня 1 — е.

Если мы строим доверительный интервал (0~, 0+) с помощью
оценки 0*, то из рис. 3 видно, что этот интервал будет тем уже,
чем уже интервал (<?о *(<=,). Ge'd-e,)) или, что то же, чем
более сконцентрировано распределение 0* около 0. Таким обра-
зом, мы приходим здесь к той же проблеме, что в теории точен-
вых оценок — к отысканию оценок 0*, наиболее точно оцениваю-
щих 0.

Проблема построения наилучших доверительных интервалов
более подробно будет рассмотрена в § 3.8.

Так как вид функций распределения Ge(x) даже для простых
семейств распределений, приведенных в § 2, оказывается обычно
достаточно сложным, то указанная процедура обращения Ge(x)
становится на практике довольно трудным делом. Поэтому вы-
числение доверительных границ во мпогом табулировано. В сле-
дующем примере, где мы проиллюстрируем построение довери-
тельных .интервалов по схеме, описанной в теореме 1, мы для
упрощений будем пользоваться нормальным приближением.

Пример 2. Пусть X (= Вр. В качестве оценки для р возь-
мем эффективную оценку р* — v/n, где v — число успехов в п
испытаниях (числом v может быть, например, число бракован-
ных изделий, обнаруженных при контрольной проверке п об-
разцов. Требуется построить доверительный интервал для доли
брака р).

Имеем (q — 1 — р)

GP (*) = РР (р* < *) = Рр(^ <4^1

\ V nl>q V npq )

В соответствии с теоремой 1 нам надо решить уравнение

Gp(p*) = у

(9)

для значений 7, равных е/2 и 1- е/2. При больших п в силу
центральной предельной теоремы Gp(x) ~ Ф((ж — p)n/l/npq), где
Ф(у) = Фо, i((—у)), и, стало быть, уравнение (9) можно заме-
нить его приближением

Ф((р* — р)п/Упрд) = у, у = е/2, 1 — е/2,
или, что то же, I(р* — p)n/l/npq\ = Хе/2 = р,

(р* — р)2 = Р2р(1 — р)/п.

Это уравнение для границ р± доверительного интервала, пред-
ставляющее собой уравнение эллипса, вытянутого при больших п
вдоль биссектрисы р* — р = 0. Решая это уравнение относитель-
но р, получим

р* » р* ± ррр*(1 — р*)/п.

Нетрудно проверить, что такой же результат мы получили бы,
пользуясь асимптотическим подходом, изложенным в п. 3.
Если и невелико, то приходится 6рСг) вычислять по точной
формуле

g„u)= 2 с’:,р"
h <пх

применяя затем процедуру теоремы 1.

Пусть, например, из п = 10 изделий v = 2 оказались брако-
ванными. Тогда при 8=0,05 точные границы доверительного
интервала оказываются равными р~ — 0,037, р+ = 0,507. Большая
ширина интервала объясняется незначительной информацией,
которой мы располагаем.

Если же п = 100, v = 20, то при е = 0,05
р- = 0,137, р+ = 0,277.

Эти цифры заимствованы из специальных таблиц, дающих чис-
ленное решение задачи о доверительных интервалах для числа
р при разных п и т (см. [81).

5.	Другие методы построения доверительных интервалов.
В этом разделе мы рассмотрим некоторые обобщения предложен-
ной ранее процедуры построения доверительных интервалов.

Теорем а 2. Допустим, что на О X существует такая
функция 6(0, а?), что распределение II(Z?) = Р0(С(0, Х)^В) не
зависит от 8. Лредположим также, что 6(0, ж) при каждом х
непрерывна и монотонна по 0.

Пусть, далее, [Г, у+ удовлетворяют соотношению Н((//~, р+)) =
= 1 — 8. Тогда статистики

(у-* х\ ^^G-\y+, X), если 6(0, -И,
и

0- = G-’(z/+, X), e+ = G-*(p-, X), если 6(0, •)!,
являются границами доверительного интервала уровня 1 — 8.
Здесь G~l(y, X) есть решение уравнения 6(0, X) = у.

Д о к а з а т е л ь с т в о. В силу монотонности 6(0, х) (пусть,
для определенности, 6(8, х) возрастает по 0) событие
{6“‘(iy“, X) < 0 < 6_1(г/+, X)} совпадает с. событием Л =
= {/< 6(0, ХХД

По определению !!(•) и г/* имеем

Р0(0~ < 0 < 0+) = Ре(6-1(?/- X) < 0 < 6-J(p+, X)) = ’

= Р0(Л) = Н((у-, р+)) = 1-е. <

Замечание 1. В теореме 1 в качестве 6(0, X) мы рас-
сматривали функцию 6е(S). При этом выполнялось И — U0( t.

Замена и и е 2. Можно рассмотреть асимптотический аналог
теоремы 2, допустив существование последовательности функций
{6„(0, х)}, непрерывных и монотонных ио 0 и таких, что при
п -+ <х>

РО(6П(6, X)eS)->II(B),
где Н(-) не зависит от 0. Мы получим тогда способ построения
асимптотических доверительных интервалов, обобщающий изло-
женный в п. 3 метод построения асимптотических доверительных
интервалов с помощью а. и. оцепок.

Предложим теперь еще один способ (наряду с теоремой 1)
выбора функции G(0,#), фигурирующем в теореме 2.

Теорема 3. Пусть F0(x) — P0(xt < х), причем

1)	Fe(x) непрерывна no x для всех Ge0,

2)	Fe(rc) непрерывна и монотонна по 0 для любого фиксиро-
ванного х. Тогда функция

<це,®) = - S 1п(гв (ж())
1=1

удовлетворяет условиям теоремы 2.

Если числа у± таковы, что

г/+

тЬт J = 1 — е,	(10)

у~

то 0± = С~|(г/±, X) образуют границы доверительного интервала
уровня 1 — 8.

Доказательство. Проверим выполнение условий теоре-
мы 2. Поскольку по условию 1) /'’е(х,) распределена равномерно
на [0, 1], то —In /’о (х,) е Г, л и G (0, Х)(== Г1П. Другими
словами, Pe(G(0, X) В) =Т\ п(В), и И = Г1>П не зависит от 0.
Мопотоипость и непрерывность С(0, х) при каждом х следуют из
условия 2). Кроме того, в силу (10)

Н((Г, у+У) = Г,.Му~, у+У) = 1-е. <

Можно указать и некоторые другие конструкции доверитель-
ных интервалов. При этом, так же как в теории точечного оце-
нивания, сразу же возникает вопрос о том, какой доверительный
интервал, если их получено несколько, считать лучшим. Подхо-
дов, которые здесь существуют, мы коснемся в § 3.8. Однако из
предыдущего изложения ясно, что по существу задача поиска
оптимального доверительного интервала во многом очень близка
задаче оптимального точечного оценивания. Ясно также, что
если мы строим доверительные интервалы с помощью точечных
оценок, то предпочтение следует отдавать доверительным интер-
валам, построенным с помощью лучших оценок.

Близость задач оптимизации точечного и интервального оце-
нивания можно проиллюстрировать па примере следующего
утверждения.

Теорема 4. Рассмотрим асимптотический доверительный
интервал (0_, 0 0 уровня 1 —в и предположим, что случайная
величина 0* = (0+ + 0")/2 есть асимптотически центральная
(см. п. 2 § 25) а. н. оценка, а величина А = (0+ — 9 )/2 такова,
что 6 = lim inf А от X не зависит. Тогда б > (З/У 7(0).

'll—> ОО

Это значит, что ширина доверительного интервала (0“, 0+) не
может быть существенно меньше, чем 2^/Ун/(0), т. е. чем ши-
рина интервала уровня 1 — 8, построенного с помощью о. м. п. 0*.

Доказательство. Допустим противное. Тогда найдется
подпоследовательность чисел {«'}, для которых Мп -* ср/У7(0),
с <. 1. Так как 0* = 0* ± А, то

1 — 8= lim Ро(О~<0<0+)= lim Ро(1 0* — 01 < А) =
п'—юо	п'-гоо

lira Ро(|0* — 0| l/n'<^//7(0))<lim Р0( | 0* - 01 ]Лг<
П'-roo	П->оо

<С₽//Г(0)). (И)

Последнее неравенство следует из того, что о. м. п. 0* является
а. э. в классе асимптотически центральных оценок (см. теоре-
му 25.4). Так как правая часть в (11) строго меньше 1 — 8, то мы
получили противоречие, доказывающее теорему. <1

6. Многомерный случай. Понятие доверительного интервала
обобщается в случае многомерного параметра 0 в понятие
доверительной области, или доверительного множества.

Определение 4. Случайное*) подмножество 0* = 0*(е, X)
параметрического пространства О называется доверительным
множеством уровня 1 — 8, если

Ре(0*э0)>1-е.	(12)

Другими словами, доверительное множество уровня 1 — е на-
крывает неизвестное истинное значение 0 с вероятностью, нс
меньшей 1 — е.

Определение 5. Если X = [X«>Jn€iРо, и случайное
множество 0* удовлетворяет соотношению

lim inf Ре (0* Э 6)	1 — 8,

П-»оо

то 0* называется асимптотическим доверительным множеством
уровня 1 — е.

Изучению «точных» доверительных множеств, в том числе
оптимальных, посвящен § 8 следующей главы.

Что касается асимптотических доверительных множеств, то
принцип их построения остается прежним. Учитывая теорему 4,
мы рассмотрим сразу доверительные множества, построенные

*) В этом контексте множество в*(е, X) мы будем называть случай-
ным, если при каждом t множество {X,- t е Q* (g, X)} измеримо и, стало
быть, овредслепа вероятность (12) (ср. с § 3.8),
с помощью о. м. п. 0*. Как мы знаем, при выполнении условий
(7?Я), Х^Ре

Отсюда следует, что

п (0* _ 0) I (0) (0* _ 0)г щ э
п (0* — 0) I (0*) (0* — 0)г НА.

Другими словами, если he означает квантиль порядка 1 — е рас-
пределения %2 с к степенями свободы, то

lim Ро (м (0 — 0*) I (0*) (0 — Q*)T <z h£) — 1 — е. (13)

П-»оо

Мы построили асимптотическое доверительное множество О*
уровня 1 — е, которое представляет собой эллипсоид с центром
в точке 0* и с осями, определяемыми матрицей п! (0*)/Ле. Вы-
числять матрицу Z(0) для построения 0* при этом пе обязатель-
но. Как мы знаем, при выполнении условий (/?/?), Х(=Ре

L (X, 0) — L (X, 0*) « — 4 (6 — 0*) I (О*) (6 — 0*)Г.
,	л

Поэтому эллипсоид 0*, определенный в (13), можно представить
как совокупность значений 0, для которых

L (X, 0) — L (X, 0*) > — /ге/2.

В § 28 было установлено, что предел Ре-вероятпости этого нера-
венства (см. замечание 28.2) равен 1 — е.

Отсюда следует, в частности, что в одномерном случае грани-
цы 0* асимптотического доверительного интервала уровня 1 — е
можно определять, как решения уравнения

L (X, 0) — L (X, 0*) = — Де/2 = — р2/2.

,§ 32. Точные выборочные распределения
и доверительные интервалы
для нормальных совокупностей

Среди всех распределений, перечисленных в § 2, нормальное
распределение наиболее распространено в приложениях. Поэтому
в этом параграфе мы остановимся отдельно на построении точных
доверительных интервалов для параметров а и о2 распределения
Ф 2-

1. Точные распределения статистик х, Пусть Х^=Ф01,
и С — ||cij [| (г, /= 1, 2, ..., и) есть ортогональная матрица.
Изучим распределение «-мерного вектора Y = ХС, Y =
71

= <У1, • • •> У.Л У» = S

3=1

Лемма 1. Если С — ортогональная матрица, го У^Фо.ъ
т. е. координаты у,, ..уп есть независимые случайные вели-
чины, у$€== Фо,п i = 1, 2, . . ., п.

Доказательство. Пусть t есть вектор (£ь in). Нор-
мальность распределения X означает, что его характеристическая
функция равна

где тп — li/njl есть матрица вторых моментов, равная в нашем
п

случае единичной матрице Е, для которой tEt = 2 О)
j=l

n

T	е-

MeitX =e

Характеристическая функция совместного распределения

Уп . • Уп (или распределения вектора У) имеет вид

/(0 = Ме"1'Т = Mr1"'’*'.

Делая замену переменных t — иС и замечая, что ССТ = Е,
получим

п	п

2 и?	X Р

/(() = Мг!“суГ = Me“iT = е 2i’1 = е 2,-1 '.

Это означает, что У имеет ту же характеристическую функцию
и, стало быть, то же распределение, что и X. <]

Теперь докажем важное для дальнейшего утверждение, кото-
рое носит название леммы Фишера.

Лемма 2. Пусть, по-прежнему, Х^Ф01, С — ортогональная
матрица, У = (yt, ..., у,г) — ХС. Тогда квадратичная форма

т(Х) = 2xf-y?-..._yra

7=1

не зависит от случайных величин у,, ..., уг и имеет распределв’-
иие ур' с п — г степенями свободы'. Т (Х)^НП_Г.

Доказательство почти очевидно, так как после примене-
ния ортогонального преобразования С получим

Т (А-) = 2 У? - У? - ... - У? = У?+1 + ... + yt
i^L

Остается лишь воспользоваться леммой 1. <1
Перейдем теперь к изучению совместного распределения ста-
П

тистик хи 6 о = — { 2 (Х« — х)2-

1-1

Теорема 1. Пусть X(= Фао2. Тогда

1)	(х — а) /я/а^Фод,

2)

3)	случайные величины х и независимы.

Доказательство. Утверждение 1 очевидно. Далее, ясно,
что, не ограничивая общности, мы можем считать а = 0, о = 1.
Имеем

(n-l)S? = 2х?-й2.

1=1
Заметим, что

/1/"}//А

и что «мерный вектор-столбец •, •/- I (его норма равна 1) всег-
\ 1/ у п /

да можно дополнить до какой-нибудь ортогональной матрицы С.
Тогда у1 = Упх есть первая координата У==ХС’, и в силу лем-
мы 2 получаем, что

(я -1) s? = s х? - у; ё и„_,

1=1

и что случайные величины («—i) So и yi = V« х независи-
мы. <]	-

Следствие 1. Пусть Х^=Ф 2. Тогда случайная величина
Г = (Г-а) /»/50ёТ„_„ т. е. имеет распределение Стьюдента
с п— 1 степенями свободы.

Это следует из теоремы 1 и представления

__(х — а) Д/«	1

I f 1 (п — И «$о

Утверждение теоремы 1 о независимости и х может быть
усилено. Оказывается, х пе зависит от вектора X— х (т. е. не
зависит от слагаемых So). Это следует из нормальности х и
X—х и некоррелированности случайных величин х и х, —х, ко-
торая вытекает из равенства (а — 0)

М(Х1

/ п \2‘

(я-1)Мх]-М 2х,

\1=2. J .
2. Построение точных доверительных интервалов для пара-
метров нормального распределения. Разберем сначала две про-
стейшие ситуации.

а)	Пусть X Фа а2 п о2 известно. Требуется построить до-
верительный интервал уровня 1 — е для параметра а. Вид дове-
рительного интервала в этом случае очевидным образом вытекает
из равенств

Р(1 (х — а)Уп/о1 < р) = Р(—сф/Vдг < х — а < сф/Уп) = 1 — 8,

где, как и прежде, (3 = Хе/2, Фо, Д(—°°, Х6)) = 1 — б, так что

а*(е, X) = х ± ор/Угс.

Читателю в виде упражнения предлагается воспользоваться
несколько более формальной процедурой, изложенной в теоре-
ме 31.2, с использованием функции G(a, X)—(х — а) Vп/п€=Фо,1-
б) Пусть теперь известно а. Требуется построить доверитель-
ный интервал уровня 1 — е для о2.

Положим

= v 2 ~
?=1

Тогда, очевидно, nSi./or2@Hn и, стало быть,

Р (^7 < tiS]/g2 < yt) = Hn ((z/n , y„ )) = p(?*$!/Уп < О2 < nSl/уп ).

Таким образом, границы доверительного интервала уровня 1 — е
будут иметь вид

(ог2)± = nS\/yf

при любых Уп таких, что H7l((i/77, Уп)) = 1 — е.

Если использовать процедуру теоремы 31.2, то следует по-
ложить G (о, X) — nSi/g2^ Н7г.

Перейдем теперь к случаю, когда оба параметра а и о2 не-
известны.

в)	Для построения доверительного интервала для о2 мы вос-
пользуемся статистикой G± (о, X) = (п — 1) •S'q/o2. На основании
теоремы 1 GA (о, Х)£= Hn-j. Далее поступаем так же, как и
в случае б). Границы доверительного интервала для о2 будут
иметь вид

Легко видеть, что статистики СЧо, X) и Gt(o, X) в случаях б) -
и в) имеют одинаковое распределение и, стало быть, дают одина-
ковые доверительные интервалы для о2, если только в случае в)
мы имеем на одно наблюдение больше, чем в б). Образно говоря,
в случае в) мы «теряем» одно наблюдение ввиду наличия допол-
нительной неопределенности — неизвестного параметра а. Это
наблюдение как бы предназначается для оценки «мешающего»
параметра *) а.

г)	Построим теперь доверительный интервал для а. Восполь-
зуемся статистикой Gt(a, X) = (х — a)h!n/S0. В силу следствия
теоремы 1

Так как функция G^a, X) удовлетворяет условиям теоре-
мы 31.2, то дальнейшие рассуждения в точности повторяют со-
ответствующие рассуждения в случаях а), б), в). Границы дове-
рительного интервала имеют вид (для простоты возьмем симмет-
ричный интервал)

а* = х ± TEiS0/y п,

где тЕ определяется из равенства

Р( I tn—1 I < Те) —Tn-jCC —Те, Те)) = 1 — 8.

Заметим, что если значение 50 близко к о, то полученный до-
верительный интервал будет шире, чем интервал в а), так как
те > Р (см. замечание в § 2). Это опять же объясняется наличием
«мешающего» параметра о, который в а) известен.

Числа {/*, для которых в приведенных рассмотрениях выпол-
нилось соотношение

P(G(6, Х)е(у", г/+)) = 1-е,
па практике обычно определяются с помощью таблиц математи-
ческой статистики.

В § 3.8 мы покажем, что доверительные интервалы, построен-
ные в этом параграфе, в известном смысле являются наилучшими.

*) Интересно отметить, что, вопреки первоначальным интуитивным пред-
ставлениям, по одному наблюдению хг (ЕЕ 2 возможно построить до-
верительный интервал для о2 при неизвестном а. Следующие рассуждения,
показывающие это, были сообщены нам Л. Н. Болыпевым.

Выберем и так, чтобы Ф(1/и)—Ф(—1/и) = е, где Ф(х) =
= Фо, 1((—Ж)). Тогда

Р (о > и |) — Р (— о/м < хх < a/u) =
ГЛАВА 3

ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ

В §§ 1—3, 11 излагается теория проверки конечного числа (в частно-»
сти, двух) простых гипотез.

§§ 4—12 посвящены методам построения оптимальных критериев для
проверки двух сложных гипотез. В частности, рассмотрены байесовские и
минимаксные критерии (§§ 4, 9) и использованы принципы достаточности,
несмещенности и инвариантности для построения равномерно наиболее
мощных критериев.

В §§ 13—17 изучаются методы построения асимйтотически оптималь-
ных критериев.

г

§ 1.	Проверка конечного числа простых гипотез

1.	Постановка задачи. Понятие статистического критерия.
Наиболее мощный критерий. В этой главе речь будет идти о про-
верке каких-либо предположений (гипотез) относительно распре-
деления Р, из которого извлечена выборка X. Здесь, как и в тео-
рии оценок, проблема отсутствовала бы, если бы распределе-
ние Р, из которого извлечена выборка X, было известно.

Решение о том, справедлива данная гипотеза Н или нет,
должно основываться лишь на знании выборки X Р, которая
нам дана, и, возможно также, на знании априорной информации
относительно Р, если мы таковой располагаем.

Таким образом, чтобы определить процедуру принятия реше-
ния по выборке X, мы должны задать в той или иной форме ото-
бражение выборочного пространства па множество рассмат-
риваемых гипотез. Такое отображение называют обычно статисти-
ческим критерием. Точные определения для различных конкрет-
ных ситуаций будут даны ниже.

Мы начнем с наиболее простой задачи — проверки конечного
числа простых гипотез.

Определение 1. Простой гипотезой будем называть любое
предположение, однозначно определяющее распределспие вы-
борки X.

Пусть даны г распределений Рь ..., Рг> и пусть нам известно,
что X есть выборка из одного из этих распределений. Задача со-
стоит в том, чтобы определить, к какому именно Pj, 7 = 1,2, ..., г,
относится X. Каждая из г гипотез

Я; = {Х^Р5}_	(1)

будет простой, и, стало быть, речь идет о проверке г простых:
гипотез.
В этой главе, как и в гл. 2, мы часто будем рассматривать
параметрический случай, когда выборка X извлечена из распре-
деления Ре е ЯР =	В этом случае при выполнении усло-

вия (Ло) простые гипотезы будут записываться в виде —
= {Х^РеД, где ..., 0Г— фиксированные точки из 0. Слу-
чай (1) тоже можно рассматривать как параметрический с конеч-
ным множеством 0 = {1, ..г}.

Эти рассуждения показывают, что принципиальной разницы
между задачами оценки параметров и проверки гипотез пет —
и там, и там мы определяем неизвестное значение 0. Некоторое
различие все же имеется, и состоит оно в том, что в рассматри-
ваемой задаче проверки гипотез возможные значения 0 дискрет-
ны и подходы, связанные со сравнением, скажем, среднеквадра-
тических уклонений, развитые нами в гл. 2, тут неприменимы.
Здесь нами будут выбраны другие критерии для сравнения пра-
вил принятия тех или иных гипотез по выборке X.

С дискретностью множества возможных значений 0 связано
и другое повое качество, которое здесь появляется,— мы можем
теперь с ненулевой вероятностью точно указать неизвестное зна-
чение 0,- (или распределение Ро^), в то время как в задачах оцен-
ки параметров вероятность такого события, как правило, равна
нулю.

Определение 2. Статистическим критерием для провер-
ки г гипотез Hlf ..., Нг называется любое измеримое отображение
6: 8?n-+{Hit Нг}.

Другими словами, б(Х) есть случайная «величина», принимаю-
щая значения Ht, Н2, ..., Нт: если §{X)=Hk, то мы принимаем
гипотезу Hk (т. е. считаем, что 0,= 0ft в параметрическом случае).

Отображепие б(*) иногда называют решающим правилом или
решающей - функцией. Понятно, что задание решающего правила
эквивалентно разбиению пространства на г пепсресекающих-
<?я борелевских множеств Q2, ..., Qr, на которых принима-
ются соответственно гипотезы Н^ Н2, ..., Нг.

Качество критерия чаще всего характеризуется набором ве-
роятностей ошибочных решений

а£ = а£(б) = Р£(Х Q.) = Р£(б(Х) =# Я£).

Число со,- есть вероятность отвергнуть гипотезу Hit когда опа
верпа. Это число называют вероятностью ошибки i-го рода
критерия 6.

Если нам удалось выбрать критерий 6 так, что все числа ос£
малы, то мы в соответствии с нашим основным принципом, упо- -
мянутым в § 2.31, будем считать, что в одном испытании ошибка
практически невозможна, и будем объявлять, что верпа гипотеза
Hh, если б(Х) = IIh. При этом мы будем ошибаться примерно в
доле случаев а£ = Р£(б(Х) ¥=/Д), если па самом деле верпа Н{.
Желательно, конечно провести проверку гипотез таким обра-
зом, чтобы свести к минимуму вероятности всех ошибок. Однако
если объем выборки X задан, то мы не можем управлять всеми
вероятностями ошибок одновременно. Можно лишь, фиксируя
некоторые из вероятностей ошибок, пытаться минимизировать
остальные.

Мы приходим здесь к вопросу о том, как сравнивать между
собой различные критерии. Введем на множестве всех критериев
для проверки гипотез /Д, ..., Нг частичный порядок.

Определение 3. Критерий лучше б2, если для всех
i = 1, 2, ..., г

a>(6t) < а.(б2)

и хотя бы для одного i имеет место строгое неравенство.

Однако далеко не всегда критерии 6t и б2 могут быть срав-
нимы в этом смысле. Точно так же, как могут быть несравнимы
две оценки и 02 с точки зрения среднеквадратического под-
хода, когда в качестве критерия качества мы берем Ме(0*— 0)2.
Чтобы иметь возможность сравнивать критерии, надо сузить
множество рассматриваемых решающих правил. Для этого вве-
дем в рассмотрение классы

= {6:	(6) = а5; 7 = 1, 2, ..., г - 1}.

В классах Ках,...,ат_1 уже можно установить отношение по-
рядка между критериями по величине а,-: чем меньше аг(6), тем
лучше критерий.

Определение 4. Критерий бое Л^а1>...,аг_1называется наи-
более мощным критерием (н.м.к.) в классе Яа1> ф>аг1, если для
Л10бого 6 СЕ Ка-l

аг(бо) аг(б).

Напомним, что нечто подобное мы делали в гл. 2, когда за-
нимались сравнением оценок. Там мы выделяли, например, клас-
сы Кь оценок с фиксированным смещением.

Наряду с только что введенным, в теории проверки гипотез
так же, как и в теории оценок, существуют два других подхода,
которые позволяют упорядочить множество всех решающих пра-
вил с помощью одной числовом характеристики — это байесов-
ский и минимаксный подходы.

Прежде чем изучать методы построения наиболее мощных
критериев в классах Kai,..„ar_v мы рассмотрим эти два под-
хода.

2.	Байесовский подход. Этот подход предполагает, что-, рас-
пределение Pj, из которого извлечена выборка X, было выбрапо
случайно. В этом случае гипотезы Hj = {А' Pj}, / = 1, ..., г
становятся случайными событиями, и мы обозначим вероятности
этих событий через

<№) = <?(/),

так что Q есть априорное распределение па множестве гипотез
{Hi, ...» Hr}, a q(j) есть априорные вероятности этих гипотез
(ср. с § 2.11). В этом случае сравнивать критерии становится
проще, поскольку мы можем определить здесь среднюю вероят-
ность сс$(6) ошибки критерия б:

aQ (б) = 2 Q (Я>) Р; (6 (.¥) Н-) = 2 q (П (б)
7=1	7=1

(2)

и тем самым полностью упорядочить множество критериев по
величине а$(6).

Определение 5. Критерий б = 6$, который минимизирует
вероятность ошибки ос$(6), называется байесовским критерием,,
соответствующим априорному распределению Q.

Пусть выполнено условие (Лм) — т. е. распределения Р, име-
ют плотности fj(x) относительно некоторой о конечной меры р.
п

Функцию fj(X) =H/j(xj), как и прежде, мы будем называть
?=1

функцией правдоподобия. '

Функция / (х) = 2 Q О’) fj («О есть безусловная плотность
распределения X относительно меры ц", а Q(/)/j(^) есть плот-
ность совместного распределения пары (0, X), в которой помер
0 гипотезы выбирается случайно.

Таким образом, если дапа выборка X, то в байесовском слу-
чае можно построить апостериорное распределение Qx гипотез
Нj (мера X, фигурирующая в § 2.11, здесь — считающая мера),,
которое определяется по формуле Байеса

(А) /. (А)

Qx {Hh) = q (k!X) =	(3>

Это есть условное относительно X распределение 0.

Через М мы будем обозначать безусловное математическое
ожидание, соответствующее распределению Р вары (0, X).

Теорема 1. 1) Вероятность ошибки а$(6) любого критерия
б удовлетворяет неравенству

aq (б)	1 — М max q (j'X).

(4)

2) Для того чтобы критерий 6 = 6$ был байесовским для
априорного распределения Q, необходимо и достаточно, чтобы-
18 А. А. Боровков
-для P-почти всех значений X он удовлетворял соотношениям
§(X)=Hh, если q(k/X) = max.q(j/X).	(5)

i

При б — 6Q в/неравенстве (4) достигается равенство.

Отметим, что правая часть в (4) от б пе зависит.

Доказательство. Пусть дай критерий б. Рассмотрим со-
бытие Du, состоящее в том, что критерий б приводит к ошибоч-
ному решению:

De ~ U {9 = 7, 6(Х)^НД.
j=i

Тогда очевидно, что аДб) = Р(£)й) и запись (2) есть результат
последовательного усреднения: сначала но X при фиксированном
0=7, потом по 0. Ио мы можем aQ(6) записать и иначе: сна-
чала провести усреднение по 0 ври фиксированном X, а потом
но X:

<Zq (б) = J Р (Д$/Х = х) f (х) р (dx) =

= MP (D&/X) = М 2 Р(0 = /, б (X)	11}/Х).

3~1

По б(Х) измеримо относительно X, поэтому

Р (0 = у, б (X) =/= HJX) = 1^Х^Р (0-77Х)=(1-/,б(Дз=я/!)г;(//Х).

Отсюда получаем

«с? (б) = 1 — М S Q (7/Х) /,6(Х)=1П > 1 — м max q (j/X).
3=1	j

Первое утверждение теоремы доказано.

Достаточность второго утверждения теоремы с очевидностью
вытекает из первого утверждения, так как установленная нижняя
граница для 0^,(6) достигается для критерия б<?, определенного
в (5). Изменение 6Q(X) па множестве пулевой Р-вероятности,
очевидно, ctQ(6Q) не меняет.

Необходимость второго утверждения доказывается столь же
просто. Действительно, пусть б = б0 есть байесовский критерий
и пусть 6(X)=7/f„ q(k/X) < q(l/X) = max q(]7X) при X^A,
i

P(A)>0. Тогда для критерия б^Х), который отличается от
б(Х) лишь на множестве А: 6ДХ) = IIt при Х^Л, получим

Л)= Р(Л)- M|'2g(77X)7,6iGYW/.); Aj =

= Р (А) - М (Z/Х); А] < Р (А) - М [? (7с/Х); А] = Р (D6; А);
P(D61)<P(D6) = P(D6e). 

1\1ы получили противоречие. А
Отметим теперь, что запись (5) еще пе полностью определяет
критерий б</. из лее пе ясно, какую гипотезу следует принимать,
если максимальными оказались два или более значений д(;7Х).
Речь идет, очевидно, об определении функции dQ(X) па границах

Г* = (хе^я: q (к) fh (х) = max д (у) /j (ж)]

I	5¥=/г	'

множеств

= Lr €= 3?п: q (к) /А (а?) > max q (j) /j (x)],	(6)

па которых, согласно (5), критерием б<? принимается гипо-
теза IIk.

Стало быть, О/? есть «внутренность» области
^=|»еГ: 6q (») = //>)
приема гипотезы II h, и нам надо в дополнение к (6) определить
лишь, какие точки границы Г\ относятся к ЙА и какие нет. Но
эта задача, как видно из приведенных рассуждеппй, может быть
решена весьма просто: мы можем присоединять точки Гь к лю-
бой из «прилегающих» областей Qf; при этом мы получим то
же значение сс^Сб), поскольку (5) будет выполнено. Точпее, если
ЛсГА1 П ••• П 1\, то при Х^Л, согласно байесовскому кри-
терию, безразлично, какую из гипотез II kv	принимать.

Мы можем даже принимать решение случайно — с вероятностью
i

piti выбирать гипотезу Hhi, 1 = 1, —,1, X р/£. — 1. Значение
i=l

сс</б) при этом не изменится.

Мы приходим здесь к более общему понятию рандомизиро-
ванного статистического критерия (от английского слова randovi)T
которое оказывается весьма полезным.

Определение 6. Рандомизированным статистическим кри-
терием для проверки гипотез ..., II г называется любое из-
меримое отображение л: £&п ->• 1РГ), где 7?(г) есть множество век-

торов (-Т1» • •»? лг О, 1 л;=^ 1.

i=i

Рандомизированный критерий каждому	ставит в соот-

ветствие распределение вероятностей л(«г) = (nt(a?), ..., л>-(л.‘)}
на множестве {lit, ..., Нг}, и окончательное решение о при-
еме гипотезы «разыгрывается» случайные образом с этим
распределением (уже независимо от X, после того как лДХ) оп-
ределены).

Обычный статистический критерий, очевидно, есть частпый
случай рандомизированного, когда все л{ равны 0 п лишь одно
1. Такие критерии мы будем называть нерандомизировачными_
18*
Ошибка i-ro рода а,(л) для рандомизированного критерия оп-
ределяется аналогично:

cq (л) ~ Р( (не принять Нг) = 1 — Mzяд (X).

В байесовском случае задача минимизации

Г

' aQ(n) = 2 д(7)«;(л)

j=i

рассматривается совершенно аналогичным образом. Если через
О, как и раньше, обозначить помер случайно выбранной гипоте-
зы с априорным распределением Q, так что Q(0 =/) = (?(/),
и через М, как и прежде, символ безусловного математического
ожидания, то

aQ (л) = 1 - 2 Q (/) М1*4 W = 1 - МЛи (X) = 1 - ММ (л0 (Х)/Х) =:
j=l

= 1 — М У, q (j/X) (X)	1 — М max q (j/X).

3=1	-	i

Итак, мы получили ту же нижнюю границу для а«(л), что и
для перандомизированпык критериев. Это значит, что, расширяя
класс критериев,’мы не можем в нашем случае улучшить значе-
ние о^>(6). Более того, наименьшее значение достигается на не-
рандомизировапном критерии 6Q. Однако при этом число байе-
совских рандомизированных критериев nQ, т. е. критериев, для
которых o^(hq) = «<2(69), будет значительно больше, чем неран-
домпзированпых, так как па множестве

Г* ...= П Гл. П Г;,

i=L JyAj.....AZ

где Г = мы можем взять в качестве jiq(x) любой вектор из
подмножества ^/{]1....,а/ состоящего из векторов л, у ко-
торых отличны от пуля лишь координаты с номерами .., kt.
Очевидно, что состоит из единственного вектора eft, у которо-
го к-я координата равна 1, а остальные — пулю, и мы должны
положить

nQ (х) — ек при х gee Q,?.

Поскольку приведенные соотношения с точностью до значе-
ний nQ(#) па множестве Р-меры 0 необходимы и достаточны для
того, чтобы

($<?) = 1 ~~ М тах 9 ОЧ X),
j

то мы можем наряду с теоремой 1 сформулировать следующее
утверждение.
Теорема 1Л. 1) Для любого рандомизированного критерия
(я)	1 — М max q (j/Х).

3

2)	Для того чтобы критерий л9 был байесовским, необходимо
и достаточно выполнение соотношений

nQ (а?) = eh при хе

я° (х) сн ./Ц kl при хеГ!(1 kl

для P-почти всех значений х.

3)	Для любых gj 0, j = 1, ..., г, У, gj — 1 справедливо
3=1
неравенство

«Q (Л<Э) = 2 ? (?) ( Л<Э) С 2 q (?) (1 — g.i)-	(8)

j=i	j=i

Если min gj > 0 и не все h(x) совпадают, т. е. если существуют
3

значения к, j й множество А, Р(Л)>0, на котором fk(x) Ф fjx),
то знак в неравенстве (8) будет строгим.

Замечание 1. Из (8) следует, что

с^(л0)	1 — max q(j).	(9)

3

Б правой части здесь стоит вероятность ошибки критерия, ко-
торый выбирает IIк, если q(k) = max q(j) (это есть байесовский
>

критерий среди всех критериев, пе зависящих от выборки X).

Доказательство теоремы 1Л. Первые два утвержде-
ния нами уже доказаны. Чтобы доказать последнее утвержде-
ние, достаточно сравнить байесовский критерий с критерием
jt°(X)=g=(gi, ..., gr), не зависящим от X, для которого, оче-
видно, сс/я°) = 1 — gh

«Q (И = 2 q (у) (1 — gy) > aQ

3=1

Если в (8) имеет место равенство, то критерий л ° (X)=g =
= const будет байесовским. По второму утверждению теоремы
.это возможно лишь в случае, когда ?(1/Х) = ... = q(r/X) Р-поч-
ти всюду. Зто, в свою очередь, возможно, лишь когда /1(Х) = ...
... = /ЛХ) P-почти всюду, <?(!)=...= д(г). <]

Итак, введение рандомизированных критерпев пе позволяет
уменьшить вероятность ошибки ар, по увеличивает само разно-
образие критериев и, в частности, число байесовских критериев
jiq. Это обстоятельство иногда оказывается полезным.

В дальнейшем под статистическим критерием мы, как пра-
вило, будем понимать рандомизированный критерий л.
3.	Минимаксный подход. Если в байесовском случае ,мы из-
омеряли качество критерия средней величиной ocq (л) —
= 2 7 (/) <%j (я)» то теперь мы будем сравнивать максимальные
значения

а (л) = шах Оу (л) = max ар (л).
з	Q

Очевидно, это тоже позволяет упорядочить множество всех
критериев.

Определение 7. Критерий л — л, для которого

а(л) = min сс(л),
Л

называется минимаксным.

Следующее утверждение является полным аналогом теоре-
мы 2.11.2.

Теорема 2. Пусть существует байесовский критерий л
{соответствующий некоторому априорному распределению Q),
для которого

а.! (л) = ... = аг(л).	(10)

Тогда л—минимаксный критерий.

Доказательство. Обозначим q(.j) априорные вероятности,
соответствующие Q. Тогда для любого критерия л имеем

а (л)	2 Q (/) <^з (л)	2 Q (?) (л)= тахаДл) = а (л). <

.7=1	7=1	3

Распределение Q = {<?(/)}, соответствующее критерию л, на-
зывают наихудшим (или наименее благоприятным, ср. с § 2.11),
Это связано с тем, что прп Q = Q достигается

max ctQ ( лQ) — max min clq (л),
Q	Q л

так что минимаксный критерий (10) есть байесовский критерий
с самой большой вероятностью ошибиться. Доказательство этого
факта можно найти в продолжении этой книги (см. предисло-
вие). Там же будет показано, что наихудшее распределение и
минимаксный критерий всегда существуют.

Следует, однако, отметить, что в отличие от байесовских кри-
териев минимаксные нерандомизированные критерии существу-
ют далеко пе всегда. Дело в том, что разделяющие границы Гй
множеств Qft (см. (6)) могут иметь ненулевую вероятность
1\(Х е 1\) > 0. и, стало быть, значения afc(6Q) при непрерывном
изменений Q могут меняться скачками. Это означает, в свою
очередь, что г—1 уравнение аДбД =... = ar(6Q) для г—1 не-
Сг—1	\

q (г) = 1 — 2 7 (/) могут пе иметь
7=1	/

решения. Однако в классе рандомизированных байесовских кри-
териев минимаксный критерий существует всегда. В качестве
иллюстрации мы подробно рассмотрим этот вопрос для случая
г — 2 в следующем параграфе.

Итак, мы пашли явный вид байесовских критериев и устано-
вили, что с их помощью можно строить минимаксные критерии.
Оказывается, что аналогичным образом можно строить и наибо-
лее мощные критерии в классах	введенных в в. 1.

4.	Наиболее мощные критерии. Определение перандомизиро-
ваппого н..\цк. было дано в п. 1. Нам будет удобно здесь распро-
странить это определение на класс рандомизированных крите-
риев. Пусть, аналогично п. 1,	.__1 означает класс рандоми-

зированных критериев с фиксированными значениями вероятно-
стей ошибок у-го рода, у = 1, ..г — 1':

Ка1,= {л: а; (л) = ад j = 1, .. ., г —Д}.

Определение 8. Критерий л0 е	называется

н.м.к. в Ка , если для любого л е Ка1...аг_х

<Хт(л0) -С аДл).

Теорема 3 Предположим, что существует распределение
Q = {?(!), ..., q(r)}, такое что

aj ( л°) = 1 - Mjnf (X) = сх;, j = 1, ..., г - 1	(И)

(по существу, мы имеем здесь г — 1 уравнение для неизвестных
..., q(r— 1)). Тогда байесовский критерий nQ, определен-
ный в (6), (7), будет наиболее мощным в классе Хаг,..,,аг_1.

Доказательство. По определению байесовского критерия
а<Дл2) < аДл).

Это значит, что для л е 7^а1,...,аг_1 будем иметь
г	г—I

2 q (/) «j (^Q) < 2 q (i) ъ + q (г) «г (л).
7=1	7=1

Но аДл2) — а, при у<г—1 и, стало быть, аДл2) аДл). <

Здесь по той же причине, что и при отыскапии минимаксных
критериев, уравнения (11) в классе иерандомизироваппых кри-
териев б не йсегда разрешимы. В классе рандомизированных
критериев положение существенно меняется. Это обстоятельство
будет проиллюстрировано в следующем параграфе.

Приведем теперь пример довольно распространенной реаль-
ной задачи о проверке конечного числа простых гипотез.
Пример 1. Пусть гипотеза II t означает, что пациент, при-
шедший на осмотр к врачу, здоров, a Hh — болен некоторой опре-
деленной болезнью Ah, Zc > 2. Задача врача состоит в том, чтобы
на основании наблюдений (которые можно записать в виде век-
тора Xi = (хц, х12, •. •, Xis), представляющего из себя многомер-
ную выборку X единичного объема) принять одну из гипотез И,,
Болезни Ak фиксируются нами для того, чтобы гипотезы IIk бы-
ли простыми и тем самым полностью определяли распределение
выборки X. Если врач принимает гипотезу к^2, в то. время
как па самом деле верпа IIlt то он совершает ошибку одного ти-
па. Если же наоборот — он больного (IIА признает здоровым
(Ht), то совершает ошибку другого рода. Нетрудно понять, что
«эффекты» от ошибок этих двух типов могут быть существенно
различными.

Из результатов, изложенных выше, мы видим, что для по-
строения наилучшего решающего правила мы должпы знать рас-
пределения вектора наблюдаемых величин (хи, ..х^,) для здо-
ровых людей и людей, больных болезнью Ah (для этого нужны
обширные статистические данные медицинских обследований).
Разумеется, значительная часть проблемы здесь состоит в самом
выборе s и наблюдений (х1Ь х12, xls). Во многом именно здесь
проявляется искусство и опыт врачей.

Если же вектор (хи, ..., xia) выбрал достаточно обоснованным
образом, то теоремы 1—3 указывают нам прямой путь для алго-
ритмизации задач диагностики заболеваний.

§ 2.	Проверка двух простых гипотез

В этом параграфе мы несколько подробнее остановимся на
частном случае, когда проверяются г = 2 простые гипотезы.

В задачах проверки гипотез последние часто играют несим-
метричную роль, как это было, скажем, в примере 1.1. Поэтому
одну из гипотез, например принято называть основной,
а остальные — альтернативами. Вероятность ошибки первого ро-
да аЛб) критерия б в этом случае называют также размером,
а число 1 —oci(6) — уровнем критерия. Число р(б) = 1 —а2(б) на-
зывается мощностью критерия.

Область О2 с <%п приема гипотезы II2 нерапдомизироваппым!
критерием б в случае г =2 называют критической областью.
Вероятность Р2(Х Q2) попадания в эту область, когда верна
II2, будет равпа мощности критерия р(б). Отсюда происходит
название «наиболее мощный критерий» для критерия б, на ко-
тором р(б) достигает своего максимума при фиксированном уров-
не критерия б.

Отметим теперь, что в случае г — 2 любой критерий, в том
числе и рандомизированный, можно характеризовать одной чис-
ловой функцией. Действительно, произвольный рандомизирован-
ный критерий л (ж) полностью определяется значением его г ко-
ординат (л^ж), ..л,(ж)). По так как У л, (ж) = 1, то в случав
г = 2 достаточно задать одну функцию, скажем л2(ж), Эта функ-
ция определяет вероятность принятия альтернативы П2. Мы бу-
дем обозначать ее л (ж) и называть критической функцией кри-
терия л, который будем обозначать той же буквой л. Очевидно,
что для нерапдомизнрованпых критериев л (ж) принимает лишь
значения 0 и 1; в общем случае О л (ж)	1.

Размер аДл) критерия л (или 6) и его мощность р(л) выра-
жаются через л(ж) следующим образом:

ctj (л) = Мри; (X), р (л) — 1 — а2 (л) = М2л (X).

Обозначим через Z отношение правдоподобия

г^/(ж)-у2(ж)//1(^),

которое мы будем рассматривать лишь для значений ж, при ко-
торых опо определено, т. е. для ж, при которых Л(ж) 4-/2(ж) > 0.

Теорема 1. 1) Пусть с = q(1)/q(2), где Q=(q(1), </(2)),
<?(2) = 1 — <7(1) есть заданное априорное распределение. Тогда
критерий лс, р с критической функцией

1, если Z (ж) > с,

лс>р (ж) =	(ж), если Z (ж) = с,

(1)

0, если Z (ж) < с,

при любой измеримой функции р{х), 0 < р(ж) 1, является
байесовским для распределения Q: лс, р = лу.

Параметры at(nc>p) и oc2(nCiP) критерия лс, Р удовлетворяют
неравенству

2	2

S Q (/) aJ (лс,р) < 2 ? (7) (1 — gj)

3=1	3=1

(2)

при любых gj > 0, g\ + gz = 1.

2)	Для заданного е>0 такого, что P1(Z>0)^e, существу-
ют с>0 и р(.х) = р = const такие, что лс, Р^7С = {л: а/л) = е}
и лс. р является н.м.к. в КЕ. Числа сир определяются как ре-
шение уравнения

(лс,р) M^c.p (X) = Рг (Z (X) > с} + рРг (Z (X) = с) = е. (3)

При этом мощность критерия р(лс, р) = 1 — а2(лс> р) удовлетворяет
неравенству

р(лс>Р)>е.	(-4)

Если соотношение /2(ж)=/!(ж) п. в. [ц] не выполнено, то. не-
равенства (4) и (2) при 0 < Qi < 1 являются строгими.
282

ТЕОРИЯ ПРОВЕРКИ ГИПОТЕЗ

[ГЛ. 3

Критерий лс, р минимизирует вероятность ошибки первого
рода аДл) в классе К всех критериев л с фиксированной вероят-
ностью ошибки второго рода-. К = {л: а2(л) = а2(лс> р)}.

3)	Существуют с>0 и р(х) s=р — const такие, что критерий
лс> р будет минимаксным. Числа сир определяются из уравне-
ния <Х1(лс, р) = а2(лс, р) или, что то же, из уравнения

PJZ(X) > с) + P2(Z(X) > с) +

+ plP^ZCX) = с) + P2(Z(X) = с)] = 1.	(5)

Очевидно, что если Pi-распределенпе Z(X) непрерывно, т. е.
Pt(Z(X) = с) = 0 при всех с > 0, то в последних двух утверждени-
ях теоремы мы можем положить /?s 1 или р s 0.

Заметим также, что

Рг (Z(X) = c) =

Г	С	Л, (ж)	1

= J Л(*)И”(^) = J	—с—Н”(^)=: —P2(Z(X) = с),

Z(x)=c	Z(x)=c

так что непрерывность па (0, °°) Р^распределепия Z влечет за
собой непрерывность Р2-распределения Z.

Критерий лс. р, основанный на отношении правдоподобия Z,
называют критерием отношения правдоподобия.

Теорема 1 показывает, что все оптимальные критерии являют-
ся критериями отношения правдоподобия.

Второе утверждение теоремы 1 носит название леммы Пей-
мана— Пирсона. Если в пем условие РJZ > 0) > в не выполне-
но, т. е. если Pt(Z = 0) = 1- б, б < е, то н. м. к,- л (ж) — /{z(x)>o>
будет иметь мощность 1 и размер б < е. Например, если носите-
ли распределений Pt и Р2 пе пересекаются, то Z = 0 па мно-
жестве, где /1(ж)>0 и, стало быть, P,(Z > 0) = 0. В этом случае,
гипотезы 1Ц и П2 различаются по одному наблюдению с вероят-
ностями ошибок, равными пулю, т. е. различаются детерминиро-
ванным образом.

Доказательство теоремы 1. Первое утверждение
теоремы является прямым следствием теоремы 1.1 А.

Для доказательства второго утверждения можно воспользо-
ваться теоремой 1.3. Покажем сначала, что уравнение (3) всег-
да разрешимо относительно с и р. Очевидно, что функция
q>(c) = P1(Z>c) пе возрастает па [0, оо). Случайная величина Z
относительно распределения Рх является собственной, т. е.

<р(с) = Pi (Z > с) =

/2(®)и-(<гЖ)=Ар2(7>с)->о

Z(x)>c	Z(x)>c

при с °°. Так как по условию ф(0) 5s в, то найдется сее (0, оо)


такое, что (ф(с) непрерывна справа)

ф(се — 0) > е, ф(се) < е.	(6)

Если мы положим в (3) с = се и обозначим Ле — <р(се — 0) — ф(сЕ),
то получим

CCj ( Лсе,р) = ф (Cg) -|- рАе*

В силу (6) здесь, очевидно, всегда можно выбрать р е [0, 1] так,
чтобы"*) ф(се) + рЛЕ = е.

Теперь мы можем поступить так же, как в доказательстве
теоремы 1.3. Положим <?(1) = qE = се/(се + 1) п фиксируем выбран-
ное нами р. Тогда критерий лС£1Р будет байесовским, соответ-
ствующим распределению Qe = (</е, 1 — </е), и в то же время
ai (лсе.р) = е- Это означает, в силу теоремы 1.3, что лС£1Р явля-
ется п. м. к. в КЕ.

Если взять критерий л(х)  е, то мы получим

л е Ке, а2 ( лС£1Р) < а2 (л) = 1 — е, р ( лС£>р) > е.

Это есть не что иное, как неравенство (2) ((1.8)) прп g2 = е.
Стало быть, еелп соотношение f2(x)=fl(x) п. в. [ц] пе выполне-
но, то эти неравенства будут строгими. Утверждение теоремы о
минимизации аДл) па критерии лс>р в классе 7£={л: аДл) =
= а2(лС1Р)} следует из приведенных выше рассуждений и сим-
метрии относительно гипотез 1Ц и П2 постановки задачи в пер-
вом утверждении теоремы.

Для доказательства третьего утверждения теоремы 1 следует
воспользоваться теоремой 1.2. Для этого нам надо проверить
лишь, что уравнение аДлс, р) — аг(лс, р) разрешимо относительно
сид. Это уравнение можно записать в виде

М1лС1Р (X) = 1 — M2nCiP (X)

или, что то же, в виде (5). Разрешимость его устанавливается
точно так же, как разрешимость уравнения (3). Надо заметить
лишь, что всегда РД2 > 0) + P2(Z > 0) 5^ 1, так как Р2 (Z 0) =
= f /2(а?) Р" (^ж)=1. <1

;2(х)>о

Мы видели еще раз, что цель введения рандомизированных
байесовских критериев состоит в обеспечении «непрерывного» из-
менения параметров этих критериев (возможные значения раз-
меров критериев лс, р заполняют весь интервал (0, 1)). Отсутствие
такого непрерывного изменения параметров, связанное с тем,
что па множестве положительной Р^вероятности возможно ра-
венство /Дж) = с/2(ж), составляет основное препятствие при
отыскании критериев заданного уровня или минимаксных кри-

*) Ясно, что если <р(с) непрерывна в точке се, то проблема решения
(3) сводится к отысканию квантиля распределения Z порядка 1 — е.
терпев в классе перапдомнзировапных критериев. Эта картппа
полностью сохраняется и в случае проверки большего числа
гипотез.

Важно отметить также, что два вида оптимальных критери-
ев — наиболее мощные и минимаксные — оказываются байесов-
скими при тех или иных априорных распределениях. Нетрудно
видеть также, что класс всех наиболее мощных критериев сов-
падает в известном смысле с классом всех байесовских критериев.
Такое положение, при котором в качестве основы для выбора
оптимальных критериев можно использовать байесовский подход,
во многом сохранится и в дальнейшем.

Пример 1. Рассмотрим пример 2, приведенный во введе-
нии. В этом примере гипотезы и Я2 имеют вид Нг —
= {xi€= Р (ж)}» H% = {x.rf=iF(x—а)}, где F(x) — заданная
функция распределения, а — данное число. Предположим, что
Fix) имеет плотность /(«) и что случайная величина /(xt — п)/
//(xi) имеет непрерывное распределение. Тогда по лемме Ней-
мана — Пирсона (п. 2 теоремы 1) средн всех критериев уровня
1 — е критерий

будет наиболее мощным в рассматриваемой задаче о проверке
гипотезы 1Ц (объект отсутствует) против гипотезы П2 (объект
присутствует). Число се определяется из условия

Pi (2 111	> 1п= е*

При больших п для вычисления этой вероятности мы можем

пользоваться, очевидно, центральной предельной теоремой.

§ 3*. Два асимптотических подхода к расчету критериев.
Численное сравнение

1.	Предварительные замечания. В §§ 1, 2 мы нашли форму
оптимальных критериев для проверки простых гипотез. Термин
«расчет критериев», который мы употребили в заголовке, будет
означать вычисление параметров, характеризующих критерий.
В задаче о и. м. к. в случае г = 2 это есть отыскание величин сЕ
и р для заданного е > 0 и определение вероятности ошибки вто-
рого рода сс2(Лсе,р) или, что то же, мощности критерия	=

= 1— ос2 (^cg.p). Можно поставить вопрос и несколько иначе. Мы
видели, что все оптимальные критерии в случае г = 2 имеют вид
функций лс, р, представленных в (2.1). Пусть дан критерий
Яс, Р. Как определить для него вероятности ошибок а.(л.с, Р)?
Этот же вопрос возникает, конечно, и в общем случае г > 2
для критерия (1.7), по мы в этом параграфе ограничимся для
простоты лишь случаем двух простых гипотез.

Ниже рассматриваются асимптотические подходы, позволяю-
щие приближенно (при больших п) решать эти задачи. Такие же-
подходы можно использовать и для расчета критериев, которые-
будут рассматриваться в дальнейшем.

Итак, пусть дан критерий (2.1) и пусть для простоты распре-
деление Z(X) непрерывно, так что мы можем положить р == 1.
Тогда критерий (2.1) станет нерапдомизированным (мы обозна-
чим его 6С), и нам требуется найти значения

«1(бс) = Pi	(О

_ -Р I (Х) / V
а2(бс) = Р2 [тдху <CJ-
п	*

Так как /; (X) = JJ fj (х{), то событие, стоящее под знаком ве-
i l

роятпости в (1), можно записать в виде

где слагаемые

очевидно, есть независимые, одинаково распределенные в каждом
из случаев	7 = 1, 2, случайные величины.

Таким образом, дело сводится к изучению распределений
п

сумм V, Щ случайных величии гр.

i=i

В дальнейшем мы будем предполагать, что объем п выборки
X неограниченно возрастает. При этом под критерием мы будем
понимать па самом деле последовательность критериев, опреде-
ленных при каждом п (такое же соглашение мы использовали
для оценок в гл. 2).

2.	Фиксированные гипотезы. В этом 'разделе мы будем пред-
полагать, что распределения Р. фиксированы, т. е. от объема
п -*• сю выборки Х„ —[X<J„ пе зависят. Рассмотрим задачу рас-
чета и. м. к. фиксированного уровня 1 — е. Имеем

МPl:	« = J/i U)111 Р ~ Pi (Pn р2) < °,

С	f (?}

М2Щ == b = J /2 (х) In р (dx) = рг (Р2, PJ > О,

где pt есть расстояние Кульбака — Лейблера (см. § 2.21).
Это означает, в силу закона больших чисел, что Рграспроде-
п

ление — 2 Ф будет сосредоточено в окрестности точки —а,
i=1

«а Р2-распределепие— в окрестности точки b. II это «разделение»
распределений будет в смысле леммы Неймана — Пирсона паи-
лучшим. Обозначим oj = Одр и предположим, что о/ < оо. - Тогда

(п	\	/

2 Пг > Ь С | = Pi I -1— Oli + «) >

i=i	J

(2)

Выберем в качестве с = с(тг) любую последовательность, для
которой

In Г -I - /7 77

1п с 4- ап

<>! V»

где Хе, как и прежде, квантиль нормального распределения уров-
ня 1 — е. Тогда из (2) и центральной предельной теоремы сле-
дует

а, (бс) ~ 1 — Ф -----> е.	(3)

\ Oj V« )

-Определение 1. Критерий л, удовлетворяющий соот-
ношению

lira аг (л) = lim (X) = е,

?г—>оо	* ?г->ло

называется критерием асимптотического уровня 1 — е (или асимп-
тотического размера е). ‘

Стало быть, при

In с = —ан 4 ХдцУп 4~ o(Vn)	(4)

критерий 6С будет иметь асимптотический уровень 1 — е.

Соотношение (4) можно рассматривать как приближенное ре-
шение уравнения для числа се, для которого 04 (бСк) — 8.

Положим для определенности In с = — ап + ХдйУп и найдем
для выбранного с асимптотическое поведение вероятности ошиб-
ки второго рода

<х2(6с) = Р2 ( У, тр < In с ) = Р2 [ У ip < — ап 4- ХесгА =
\г=1	/	\i— 1	J

(п	\

—47^2 Ой” Ь)<—	+ ХеОцЧ . (а)

a2Vn г=1	J
Так т*ак —(« + Ь)Т'п/о2 + ЛЕИ1/о2 —00 при п -* оо, то применение
здесь центральной предельной теоремы дает нам лишь, что
СС2(6с) -* 0.

Задача вычисления точного асимптотического поведения пра-
вой части в (5) приводит нас к задаче о вероятностях больших
уклонений для сумм случайных величин гр.

Приведем здесь результаты о вероятностях больших уклоне-
ний, изложенные в § 5 гл. 7 [11]. Пусть нам надо вычислить-
(п	\

У) £ i > X I при п оо, X оо, где-
1=1	/

независимы и одинаково распределены. Предположим, что рас-
пределение имеет абсолютно непрерывную компоненту п что

ф (К) — М?" < оо

при некоторых К > 0. Пусть, далее,

A,+ = sup{A: я|:(Л) < оо},

Л(а) = —inf {—ссА + In ф(А)},
х

и ?ъ(а) есть значение А, при котором этот inf {•} достигается.

Тогда справедливо следующее утверждение. (См. теоремы 9,
10 § 5 гл. 7 [1П. Условия = 1, МЁд = 0, фигурирующие в
этих теоремах, пе играют роли.)

х —

Теорема 1. Пусть —"-----------> оо так, что

|/ п

1- х (^+)

Jim sup — <а+ = ——

Тогда уравнение
ссф(А,) = ф'(А,)	(7>

для точки А(сс) имеет при а < а+ единственное решение*
(71	\

2 fei > х I ~ , пи\п/Г- ехр ПЛ	(8>

PT,	/ о (а) I А (а) | |/ 2лп

где

II ’

о2 (сс) =

(А (а))
яр (А (а))

Кроме того, справедливы соотношения

7\(М^)-0, Л' (а)- А(сс),

Л' (ос) = Н (сс) =

___________яр (А (а))_____________
яр" (А (сс)) — а2яр (А (а)) 
Вернемся теперь к вычислению .асимптотического поведения
величины а2(6с), определенной в (5) и равной

Р2( — 2 i]i > ап — у Vп.) = Р2 ( S(— Т|г + Ъ) > (а + Ь)п— у Уп )

\	г=1	/	\г=1	/

при у = AeOi- Чтобы воспользоваться приведенной теоремой, надо
положить

= — Л г = In -J х — ап—у ]/тг.

'2 VVi)

Тогда получим при 0 < А < 1

4 (А) = М2е = J /2 (х) (/х (ж)//2(х))к р (dx) =

= J fi И fl~K (*) И (^) < (J /1 U) Н (J /г (*) И (<М)* 1 = Ь

Отсюда следует также, что з];(А) будет конечным и в некото-
рой окрестности точки А = 1, если

J fi И (/i W/г (*))V И (dx) < °о	(9)

при каком-нибудь у > 0. Далее, уравнение для точки А(а) будет
иметь вид

или

4' (А) == Г /3 (х) (fr (x)/f2 (x)f In p (dx) =

J	J 2

= « j /2 (x) (fx (x)/f2 (x))K p (dx). (10)

f	(r)

Если а = a — pL (Pn P2) = J /г (x} In-—\i(dx), to (10) будет

удовлетворено при A — 1. Это означает, что  А(а) = 1, -ip(A(a)) = 4(1) = !•  Отсюда следует, что  А (а) = нА (а) — In гр (А (а)) = а,  С	/ Л (®) V  v (X («)) - Ф" (1) = J /1W [ In J  °2 (я) ~ 4* (1) — а2 ~ ст1»  А' (а) = А (а) = 1, А" (а) = п?2.	р (dx),
Условия приведенной теоремы будут выполнены, если

1) Рг-распределепие In

имеет абсолютно непрерывную

компоненту.

2)	j /1 (^) (/j ($)//2 (X))V (^г) < 00 при каком-нибудь 7 > 0.

Учитывая, что в пашем случае функции о(а), Х(рс), А "(а) не-
прерывны в окрестности точки а = а и что а = х/п = а — у/]!п,
2	ft

мы получаем А (а) — а------= и-—Ь о —

р п 2а“«	\п

Итак, мы можем сформулировать теперь следующее следствие
цитированной теоремы.

Следствие 1. Пусть выполнено условие (9) и Р2-распреде-

лениеIn

имеет абсолютно непрерывную компоненту. Тогда

при П~+ °°

(п	\

— 5 >ап — у уп I ~

i=l	/

~ ехр {— па 4- у Vn — z/2/(2o2)l =

Oj у 2пп

=—-i=-exp{—пр^Р^Р,) + ХеП1 Уп — Хе/2}. (11)
о у 2лп

Таким образом, tz2(6c) убывает при п °° экспоненциально*).

Нетрудно видеть, что если мы возьмем фиксированное с в
(1), то обе вероятности aj(6c) и сс2(бс) будут убывать экспонен-
циально, как и значение czq(6q) при любом фиксированном Q.

*) Мы получили заодно возможность дать еще одно определение рас-
стояния Кульбака — Лейблера:

Р1(р1’р2)= -?!im 4lna2(6c) = - lim4 1па2<6)-

»1->оо	71-ЮО OSKg

Г> связи с этим можно отметить, что тот же порядок малости
ехр{— nP1(Pi, Р2)} имеет Р2-вероятность трго, что эмпирическая функция
распределения Fv попадет в окрестность функции распределения 1'\,
соответствующей Pt. Точнее, если б = б (я) ->-0 достаточно медленно, то

1

— lim — In Р„

П^оо П	2

sup | /- * (х) - Fr (X) | < б! = Р1 (Р1? Р2)	(12)

(теорема Сапова). Таким образом, расстояние Pl(Pi, Р2) имеет глубокий
вероятностный смысл. Доказательство соотношения (12) читатель может
получить, преодолев незначительные трудности, из теоремы 6 § 2 гл. V в [11].

T9 л. А. Боровков
Так как

Дтд- ) И (dx) = ф (1 — X),

min it(X) = min ^(1 — X),
к	к

то а,(бс) и сг2(6с) будут при этом убывать с одинаковой ско-
ростью (зависимость от п будет одна и та же). Это означает, что
минимаксный критерий будет соответствовать некоторому фикси-
рованному с, приближенное значение которого нетрудно найти,
решая уравнение cci(6c) = а2(бс) и пользуясь асимптотическим
анализом правой части (8) при а =ч с/п, п~+ 00.

Экспоненциальное приближение (11) действует достаточно хо-
рошо при больших и, если только нормированное уклонение

±^1 = ^-(Р1(Р1,Р2) + Р1(Р2,Р1))--^	(13)

П2 V п	°2	°2

также велико (см. формулировку теоремы).

В тех прикладных задачах, где число п ограничено значения-
ми порядка 100, это условие выполняется довольно редко, и зна-
чение (13) часто оказывается сравнимым с 1. Это делает затруд-
нительным использование описанного подхода к вычислению
а2(6с) и соответствует той ситуации, когда значение а2(бс) вместе
с <Zi(6c) не очень мало (имеет величину, сравнимую, скажем, с
0,1). В то же время значения п порядка 100 вполне достаточны
для удовлетворительного применения центральной предельной
теоремы в зоне «нормальных уклонений».

Таким образом, вопрос, интересующий нас, состоит в том, ког-
да мы можем пользоваться нормальными приближениями

(п

1=1

/ п	\

а2 (6С) - Р J 2 3Ь< 1п с ~ Ф

\г=1	/

(14)

In с — «М ТЦ

для вычисления обоих значений а/бс) и а2(бс).

Для обоснования формул (14) возникает другой подход, ос-
нованный па предположении, что гипотезы Hi и II2 являются
близкими.

3.	Близкие гипотезы. Мы будем здесь рассматривать выборку
X в схеме серий и предполагать, что распределения Ро Р2 зависят
от п так, что

pi(Pt, Рг) + рДРг» Pi) 0	(15)
при п -*• <», а последовательность (13) сходится к конечному по-
ложительному пределу.

Чтобы облегчить рассуждения и сделать их полезными для
дальнейшего, мы ограничимся здесь параметрическим случаем,
когда Х^РВ,

я2=={е = е2},

а семейство {Ре) удовлетворяет условиям регулярности (Ш?) (см.
§ 2.24).

Сделаем сначала несколько неформальных замечаний, поясня-
ющих существо дела. Мы рассматриваем близкие гипотезы, т. е.
предполагаем, что 02 = 01 + 6, где б мало. Тогда логарифм отно-
шения правдоподобия, на котором построен н. м. к., представим
в виде *)

(16)
/е1 W

Статистику U = L'(X,	—главную часть в (16),— называют

иногда эффективным вкладом. Если верна гипотеза IIь то

MeJ7 = О, D6ir = nl(e1).

Так как

L' (х, et) - L' (х, е2) ~ 6L" (х, е2), м0/л (х, е2) = -ni (е2),
то

Ме2С7 — Ьп! (02) ~ би/ (0Д,

Это означает, что распределения U при гипотезах Hi и 772 и при
больших п будут различимы, если только величина
Мо2^ — Ме1(7	6/?/(()]) будет значительно больше или сравнима

с Y]/zz/ (0!). Другими словами, должно выполняться ра-
венство дп = vl/n, v =+ 0, или, что то же, б ~ v/ln.

Итак, переходя к более точному изложению, мы будем пред-
полагать, что

02 = Ot + p/14	(17)

С

где величины 0t и v мы будем считать фиксированными.

Положим, следуя обозначениям гл. 2,

/й ,, (X)	.	.

, У2(р)=1пг7-£4

'0/Л)	WnJ

*) Знак-~, используемый здесь, означает асимптотическую эквивалент-
ность при б -> О,
19*
Тогда

Ч (*)

2j Ф = ln 7а~(А) = У* = ~~ Уг	(18>

В силу теоремы 2.29.3 при X Ро1 имеем

Г1 (О =	- у v2U (01) + е,.),	(19)

где &п —*- 0, £n7-1/2 (0J ^=> Фо !« Аналогично при X(= Ре

- У2 (- ”) = InV + 4 Р (02) + «»),

где еп —> О, £п/ 1/2 (02) (=> Фол.

ре2

Так как /(02) -*• /(GJ, то мы получаем, что при гипотезе //7,
7 = 1,2,

П	2

//(OJ-K-l/-4-/(0!), ЕёФм.

i—1

Это означает, что из теоремы 2.29.3 вытекает

Следствие 2. Пусть выполнены условия (ПН), (17).
да при любом (фиксированном с справедливы формулы (14)
более точно,

2	\

4-f(0,)-|-lne j

I - ।	J’

Тог-
или.

(20)

(п	\

2 Ф > 1П С j -> 1 — Ф

i==l	/

О п р е а е л е и п с 2. Критерии n.t и л2 называются асимпто-
тически эквивалентными, если

lim sup | a, (nJ — cxj (n2) | = 0,	7=1, 2.

?7->OO

Критерий л называется асимптотически наиболее мощным
критерием (а.н.м.к.), если он асимптотически эквивалентен
и. м. к.

Так как в представлениях (18), (19) tn = L'(X, 0;)n-1/2, то из
этих представлений следует, что критерий 6 с критической об-
ластью

rL' (УЛ) 7V/ л _ г2/(6) -1-2 In с

/„/(ej'	’	2|и//(е1)
§ 3] ДВА АСИМПТОТИЧЕСКИХ ПОДХОДА К РАСЧЕТУ КРИТЕРИЕВ 293
(здесь играет роль знак п), будет иметь те же предельные значе-
ния а,(6), что и критерий бс, и, следовательно, является а. н. м. к.

Кроме того, в силу результатов § 2.29

ln=L'(x, 01)/Уй=(ё*-е1)у7Г/(е1)(1 + е„(х, ej),

€?г (X, 0Х)—>0. Отсюда следует, что критерий с критической
Чц

областью

v(e*-ei)VnZ(01)>i;d	(21)

также будет а. н. м. к.

Чтобы получить н. м. к. бс асимптотического уровня 1 — е, до-
статочно в (20) положить d —Хе. Вероятность ошибки второго
рода а2(6с) будет сходиться к Ф(—пУ/(01) + Ле).

При с = 1 оба предела в (20) будут иметь одно и то же зна-
чение

lim а/6с) = Ф(—пУ/(01)/2).

В этом случае критерий бс (ср. с теоремой 1.2) естественно на-
зывать асимптотически минимаксным.

4.	Сравнение асимптотических подходов. Числовой пример.
В разделах 2, 3 мы рассмотрели два асимптотических подхода,
каждый из которых оправдан в определенных условиях и кото-
рые позволяют указывать приближенные значения вероятностей
ошибок первого и второго рода н. м. к.*). В случае фиксирован-
ных гипотез эти формулы даны в (3), (11), в случае близких
гипотез — в (14), (20). Формулы (11), (20) являются вторичным
приближением по сравнению с (8), (14). Поэтому при возможно-
сти следует отдавать предпочтение последним.

Мы уже отмечали, что для малых значений а/6), а2(б) (ска-
жем, порядка 0,01 и менее) целесообразнее испбльзовать подход,
связанный с фиксированными гипотезами. Здесь нам важно
иметь достаточно хорошую относительную точность приближения,
которая обеспечивается формулами (8) и пе гарантируется цент-
ральной предельной теоремой. Если же аДб) и а2(б) сравнимы
с 0,1 (скажем, >0,1), то можно рекомендовать второй подход,
рассматривая данную вторую гипотезу Я2 = {0 = 021 как элемент
последовательности близких гипотез Н2, п = {0 = 01 + п/Уп), где,
очевидно, надо при данных 0! и 02 положить v — Уп(02 — 0,). Так
как ожидаемые значения а/б) и а2(б) не являются очень малы-
ми, то абсолютная величина ц/У7(01) не должна быть большой.

*) Отмстим, что наряду с предложенными двумя подходами можно
рассматривать целый спектр промежуточных случаев, которые на парамет-
рическом языке можно представить в форме (ср. с (17)) 02 =	+ zn~i,

0	7 ig 1/2. Такого рода близкие гипотезы представляют интерес при под-

боре приближенных формул, наиболее точно отражающих данную конкрет-
ную ситуацию.
Пример 1. Приведем теперь числовой пример, который ил-
люстрирует в какой-то мере соотношение между двумя предло-
женными выше способами аппроксимации.

Пусть	т. е. Х{ имеют плотность

. .	/е(ж) = 0е~е\	х$*0,

и пусть основная гипотеза 771 имеет вид II( = {0 = 11. В качестве
альтернатив мы рассмотрим простые гипотезы ~ {0 = 0,5},
Я(22) = {0 = 0,8}, Н(23) = 0 = 0,9}.

По выборке X гипотеза Н{ будет проверяться против одной
из гипотез 772 , / = 1, 2, 3. Таким образом, здесь 0t — 1, а для
02 имеются 3 варианта: 02 = 0,5, 0г==О,8, 02 = О,9, два последних
из которых попытаемся рассматривать как соответствующие ги-
потезам, «близким» к Hi. Мы произведем расчет критериев для
выборок объемов п = 30, 100, 300, 1000.

В нашем случае

?Ъ = 1п-^4^- = 1п02 -(02— 1)х„	(22)

^1 (Xi)

г (01, Xi) = 1 - xit	(23)

0* = 1/х.

Отсюда следует, что н м. к. 6С, а также оба а. п. м. к., рассмотрен-
ные выше (с критическими областями вида 2 I' (хп ©i) < dt и
0* —	< dj(nl (©i)), dx = d )/n/(0i)) будут иметь форму: 6С(Х)=

= II2 \ если

2 (х, - 1) > dt.	(24)

i=l

Если Г1Л (гипотеза IIJ, то

MiXi = 1, DiXi =1- I (1) = [V (xlt I)]2.

Стало быть, если мы положим dl = 21fni то (ср. с (14))

($с) ~ f 2 (xi 0 >	) =

\ i—1	/

(п	\

Л-2 (^-1)>2 -1-Ф(2)«0,023 (25)
V""	)

п	п

при 7г -* оо. Так как в нашем случае 2*1; = п In ©г + (1 — ©г) 2 хь
i=i	i=i

то Inc в (14) (или в (20)) связан с dY соотношением

In с = тг(1п 0, + 1 - 02) -Ь (1 - Q.Jdt.
Ниже мы приводим три таблицы. Во всех трех предполага-
ется выбранным так, что выполнено (25) (т. е. J1 = 21zn). В пер-
вой таблице сравниваются истинные значения ccjfij с прибли-
жением (25). Во второй таблице приведены истинные значения
вероятности ошибки второго рода а2(6с) и приближения для
а2(6с), полученные по формулам больших уклонении (8). В треть-
ей сравниваются истинные значения а2(бс) с приближениями,
полученными по формулам близких гипотез (14). Отметим, что
мы пользуемся здесь приближениями (8), (14), а не вторичными
приближениями (11), (20), которые содержат дополнительные
погрешности. Все необходимые вычисления приведены ниже.

Числа в таблицах 1—3 приведены с точностью до двух знача-
щих цифр после запятой.

Таблица 1. Значения ct|(6t)- Верхний ряд — истинные,
значения, нижний — приближения (14)

п	30	100	300	1000
	0,031	0,028	0,026	0,024
	0,023	0,023	0,023	0,023

Табл и ц а 2. Значения а2(бг). Верхний ряд — истинные
явачения, нижний — приближения (8) или (26) (большие уклонения)

",	п	30	100	300	1000- 
0,5		0,028  0,033	15-10-’  15-10-’	19-10-18  19-1018	18-10-’2  18-10-’2
0,8		0,71	0,35	0,028  0.033	33-10-8  34-10-8
0,9		0,89	0,79	0,53	0,085  0,11

Сравнение табл. 2, 3 показывает, что, в соответствии со сде-
ланными выше замечаниями, приближение, основанное на боль-
ших уклонениях, лучше действует в верхней правой части таб-
лиц (где (0, — О2)У?г — (1 — 02)Ун > 3), а приближение, основан-
ное на близких гипотезах — в нижней левой части таблиц (где
(1 — 02)Vn < 3). Прочерки в таблицах проставлены там, где при-
менение рассматриваемого подхода бессмысленно (в табл. 2, па-
пример, приближение (8) не применяется во всех случаях, когда
сс2(бе)>0,1). Вычисление сс2(6с), когда это значение меньше, ска-
жем, 10“®, редко имеет практический смысл. Очень милые зна-
чения а2(бс) в табл. 2 при 62 = 0,5, п = 300, 1000 подсчитаны нами
лишь для сравнения результатов вычислений.

Таблица 3. Значения а2(6с). Верхний ряд — истинные
значения, нижний—приближения (14) (близкие гипотезы)

П	30	100	300	1000
0,5	0,028	15-10"7	19-10~19	18-10-72
	0,041	31-10"®	—	—
0,8	0,71	0,35	0,028	33-10-8
	0,69	0,35	0,031	12-НГ7
0,9	0,89	0,79	0,53	0,085
	0,89	0,79	0,52	0,086

Для завершения комментариев к таблицам нам осталось пояснить, как
вычислялись истинные значения ctf(6c), i — 1, 2, и во что превращаются
приближения (8), (14) в нашем конкретном случае.

Значение а2(6с) равно

п

%(бе) = ре2 L

Так как M0qx{ = 1/0,, DGt)Xi = 1/02, то нормальное приближение (14)
для а2(бс) будет иметь вид

ф

Рассмотрим теперь формулу (8), в которой в пашем случае надо поло-
жить gi = Xj, х — — п — 2|7?. Здесь условие теоремы 1,

х —	— л —2	+”/02	,_М —02\

Уп	>п	V к °2 /

выполнено. Далее,

0О

, . . — Ах_- _ (* —Хх—02х	0,

Ф(Х)=м02е	= е2]е Лг==хЧ^0

о

аlim
+

•ф' (М_______0

ф (А,)

= ОО,

а =

х	2

— = — 1 — 77^.

11	V п

Так как Jim а =— 1<0, то условие limsup — < а. также выполнено.
7t—>oo	71-лсю И
Уравнение (7) имеет в нашем случае вид

К°2	_ _	62

“	(i-i-02)2’

и его решение есть 1(a) — —1/а — 02. Отсюда находим

Л (а) — — In (— а02) — 1 — а02, а2 (а) — 1/1' (а) — а2.

Таким образом, в силу (8) получаем

«,(»«) = ч(S 6.>*) =	2 (ч- Ч <2 V») ~

\г=1	/	\г—1	/

' ~ (1 + J2)V2^ еХР {"	“”=) + ‘ + “М- <2С)

Полагая здесь а = —1 — 2/Ущ мы получим формулы, по которым вычисля-
лись значения а>(6с) в табл. 2 (нижний ряд).

Отметим для сравнения, что правая часть (11) превращается в нашем
случае в выражение

(i-ejyz^ {»I1" е2 +1 - е21 + 2 (1 - ег) уй - 2},	(27)

которое можно получпть из (26), подставляя туда а = —1 — 2/у п и отбра-
сывая после разложений в ряд члены порядка 1/У« и выше.

Первый множитель в знаменателе (26), равный о (а) | 1(а) | = 1 + а02 =
= 1 — 02 — 202/Уп, заменяется в (27) на щ = 1 — 02. Если 02 близко к 1,
то относительная погрешность, связанная с поправочным слагаемым
—202/Уп, может оказаться значительной. Папрпмер, для 02 = 0,8, п = 100
получаем 202/Vre = 0,16,	= 1— 02 = 0,2, о (а) |1(а) | — 0,2 — 0,16 — 0,04,

так что первый множитель в (27) в 5 раз (!) больше, чем в (26). Этот
пример показывает, что в случае близких гипотез, когда множитель Oi в
(11) мал, приближения (11) (или (27)) надо использовать с большой
осторожностью.

Для вычисления истинных значений а,-(бс) пспользовался следующий
факт. Пусть т](/) есть процесс восстановления (см. [И]) для блуждания со
скачками хь х2, ..., т. е.

1ft	те

к: 5 xi > 4-
i=i	J

Тогда, если х^^ Г0 г, то, как показано в § 4 гл. 13 [И], процесс
g(i) =!](<) —1 представляет собой при t>0 процесс Пуассона с пара-
метром 0, т. е.

Р (q (t) — 1 = к) = e~et ^11. ...

kl

Заметим теперь, что

(п	)

У1, Xj Н = (ц (0 «С и], и, стало быть,
i=l	J

(28)
Поэтому при t — п + 2) п

Эти равенства и использовались для вычислений точных значений а, (6г),
i = 1, 2.

Отметим, что наряду с (28) можно выписать и другие формулы
п	п	'

для распределения У хр основанные на том, что У х- Г0'п.

г=1	i=i

5. Связь и. м. к. с асимптотической эффективностью о. м. п.
Используя проведенные вычисления и результаты §§ 1, 2, мы
можем доказать теперь теорему 2.25.3 об асимптотической эф-
фективности о. м. п. 0* в классе К° асимптотически центральных
оценок (принадлежность 6* е К° была установлена в п. 2.29.3).

Доказательство теоремы 2.25.3. Допустим против-
ное, что существует а. п. оценка 0*, такая что при каком-ни-
будь 0!

Jim М01п (0* — ОД3 = от2 (ОД < Гх (ОД = lira М0 п ( О* - 0t)2.
П-»оо	,П~>оо

. Рассмотрим задачу проверки гипотезы Нх = {X^P0J против
7/3 ={Х(= Р0, 0 — 0х-|-рп 1/2] и построим для этого критерий 6
следующего вида:

S(X) =

Hlt если 0*^01 + vn 1/2,
Т/2, если 0* > 0Г -|- рп~1/2,

где мы приняли для определенности, что v > 0. Тогда
«1 (6) = Рог (0* > 0х -|- рп-1/2) =

_р I (0»-0,)У7.
СЧ

Далее, принадлежность 0* е К° означает, что

а2(б) = Ре(6* 0t + vn-t/2) - Ре(0* 0) -> 1/2.

Рассмотрим теперь другой критерий 60(Х) с критической об-
ластью

0* — 0, > (р + уУУп, 7>0,
который, как мы установили, будет а. и.м. к. (см. (21)). Так как
при достаточно малом у > О

(р+ у)Т7(б!) < v/cftOi)

то для этого критерия

lima,(«0) = 1 -Ф((ь- + 7)УТЩ) > 1 - Ф(г/о(01)),
П-*оо

lim az(60) - lim Р«(0* < 6 + y/Vn) > 1/2.
11-?ОО	л—»оо

Это означает, что начиная с некоторого п критерий 6 будет
лучше, чем н. м. к. Полученное противоречие доказывает теоре-
му. <

§ 4.	Проверка сложных гипотез.

Классы оптимальных критериев

1.	Постановка задачи и основные понятия. В §§ 1, 2 мы рас-
смотрели наименее сложные задачи проверки гипотез, когда эти
гипотезы являются простыми. Однако часто проверяемые гипо-
тезы имеют более сложную природу. В параметрическом случае,
например, гипотеза может иметь вид {Х^ Р0; 6 е 0J, где бо-
данное подмножество 0. Такая гипотеза, очевидно, уже не опре-
деляет однозначно распределение выборки.

Всякую гипотезу II, пе являющуюся простой, мы будем на-
зывать сложной.

Например, гипотезы [XФ(| о2; о, [X(== Фа х; а 0}
являются сложными.

Везде в дальнейшем в этой главе мы будем рассматривать
задачи о проверке двух гипотез, которые будем обозначать Ht
и Н2. При этом в ближайших параграфах мы ограничимся изу-
чением параметрического случая Х£=Р0, 6 е 0. Гипотезы /Д
в этом случае можно записать в виде

/Л = {Х^Ре; 0e0J, 0;с=0, 0Х П 02 = 0.

Так как остальные значения 0, пе принадлежащие 0j U 02, вооб-
ще пе рассматриваются, то мы не ограничивая общности можем
считать, что 0 = 0t U 02 и что Н2 есть гипотеза, дополнительная
(или противоположная) к 1Ц, так что гипотезу Н2 можно запи-
сать также в виде Нг = (Hi не верна}. Диалогично тому, как это
делалось в § 2, одну из гипотез — в нашем рассмотрении Н, —
мы будем называть основной. Простые гипотезы Но — {Х(==Р0},
0 е 02, мы будем называть альтернативами.

Выделение среди гипотез основной часто отражает отношение
исследователя к изучаемому объекту. Основная гипотеза обычно
соответствует некоторой концепции, а альтернатива — отклоне-
ниям от лее, наличие которых надо либо доказывать, либо от-
вергать. Обычно имеется одна или небольшое количество основ-
ных гипотез и огромное количество мыслимых альтернатив.

Процедура приема гипотез основывается па статистическом
критерии. Так как мы рассматриваем всего две гипотезы, то, как
и в § 2, любой (рандомизированный) критерий л однозначно оп-
ределяется измеримой функцией л Ст), 0^л(ж)<1, которая оп-
ределяет вероятность принятия л(Х) гипотезы П2 для каждой
выборки X (реализация случайного выбора с вероятностью л(Х)
должна производиться с помощью дополнительного устройства).
Функция л(.т) называется, как и в § 2, критической,. Для псрап-
домизированного критерия 6 функция п(х) = б(.т) принимает
лишь два значения 0 п 1; область Q2 пространства в кото-
рой 6(ж) = 1 (область приема //2), называется в этом случае кри-
тической, ее часто отождествляют с критерием б.

Определение 1. Размером или вероятностью ошибки пер-
вого рода критерия л называется число

«1 (л) = sup Мрл (X).
ее©!

Для нераидомизированных критериев, очевидно,
«1 (б) = sup Ре (X е Q2).

Это есть максимальная (по 0^0() вероятность отвергнуть гипо-
тезу когда опа на самом деле верна. Обычно, чтобы облег-
чить поиски оптимальных критериев, рассматривают критерии л,
удовлетворяющие условию

а/л) = е (или аДл) е).

Класс таких критериев мы обозначим Ке.

Число 1 — оДл) = 1 — е мы будем называть уровнем {значи-
мости) *) критерия л.

Статистически использование критерия б 7С означает, что
в длинном ряду экспериментов ио проверке гипотезы Ih с по-
мощью критерия б е Кг мы будем" ошибаться пе чаще, чем в до-
ле случаев е, если на самом деле была верна гипотеза Нл.

Выбор уровня значимости критерия в значительной степени
произволен. Стало обычным выбирать в качестве е одно из стан-
дартных значений, таких как 0,005, 0,01, 0,05, 0,1. Эта стандар-
тизация имеет то преимущество, что позволяет сократить объем

*) Часто уровнем значимости называют число е, а пе 1—е. По это
несколько противоестественно: ведь естественнее считать, что чем выше
уровень значимости, тем «значимее» критерий. Именно из этих соображе-
ний мы определяли уровень значимости (или доверия) для доверительных
интервалов. Так как между статистическими критериями и доверительными
интервалами существует прямая связь (см. §8), то было бы неразумно
менять терминологию при переходе к критериям па противоположную.
§ '*]
таблиц, используемых статистиком в своей работе. Никакой дру-
гой специальной причины для выбора именно этих значений
пет. Выбирая уровень значимости критерия л, нужно обращать
внимание на мощность критерия

ря (0) = Мел (X),	0 <= 02.

Если опа окажется слишком малой, то, возможно, следует заме-
нить уровень 1 — е па меньшее значение.

Важным обстоятельством, которое может влиять па выбор
уровня значимости, является паше отношение к гипотезе до про-
ведения эксперимента. Если мы твердо верим в истинность гипо-
тезы (априорная вероятность Q(//t) в байесовской постановке за-
дачи велика), то потребуются убедительные свидетельства про-
тив нее для того, чтобы мы отказались от своей уверенности.
В таких условиях нужны критерии высокого уровня, и е выби-
рается очень малым (тогда попадание в О2 будет крайне неправ-
доподобным, если верна /Д).

Здесь используется та же концепция, которую мы излагали
при построении доверительных интервалов. Она состоит в следу-
ющем: если вероятность е некоторого события А мала, то мы
считаем практически невозможным, что это событие произойдет
при единичном испытании.	. •

Среди некоторых специалистов по математической статистике
существует и другая точка зрения. Она состоит в том, что нет
надобности задавать фиксированный уровень значимости н что
для его предварительного выбора пет разумного правила. Опи
рассматривают проверку гипотез пе как процедуру, ведущую
обязательно к приему одной из двух гипотез, а как некоторый
процесс в созпапии исследователя, определяющий его отношение
к гипотезам. С этой точки зрения фиксированному уровню зна-
чимости можно предпочесть «фактически достигаемый» уровень,
который определяется следующим образом. Рассмотрим семейство
перапдомизированпых критериев б уровня 1 — 8, когда е пробе-
гает значения из интервала (0, 1), и обозначим О2 е критическую
область б, предположив, что £?2,е2	^2.е1 при е2 < еь

Определение 2. Фактически достигаемым уровнем семей-
ства критериев б па выборке X называется случайная величина
1 —е(Х), где

e(X)=inf {е: XefiJ.

Чем больше 1—е(Х), тем сильнее свидетельствует выборка
против гипотезы II t.

Значение е(Х) дает возможность принимать или отвергать
гипотезу при любом заранее данном уровне 1 — 8 путем простого
сравнения е(Х) с 8.

Пример 1. В предыдущем параграфе мы построили п. м. к.
для проверки гипотезы Я1 = {Х^Г1>1} против гипотезы Нг~
== {Х^= Г1/21). Этот критерий имеет критическую область

Q2 = {лее ^П: 2 (Xi — 1) >

(	i=l	J

10

Допустим, что для выборки X объема п ~ 10 оказалось У х7 —
• .	i=l

п

= 18. Так как при гипотезе Ht 2х|^Г17г и Г17г((«,&)) =

= Н2п((2а, 26)), то Г1>10.((18, «>)) = НД(36, «>)) = 0,0154 (см. таб-
лицы III или [8D и фактически достигаемый уровень в этом
случае будет равен 1 — е(Х) = 1 — 0,0154 = 0,9846, так что гипо-
теза Hi будет отвергаться и. м. к. с уровнем 1 — в = 0,98 и не бу-
дет отвергаться н. м. к. с уровнем 1 — в — 0,99.

2.	Равномерно наиболее мощные критерии. Вернемся к про-
извольным рандомизированным критериям л, которые мы дого-
ворились задавать критической функцией л(х),	(Функ-

цию л(а9 можно называть также статистической (рандомизиро-
ванной) решающей функцией.)

Если существует достаточная статистика S(X), то можно ог-
раничиться критериями л(Х), которые зависят от X только через
достаточную статистику S(X), т. е. критериями, представимыми
в форме л(Х) = <р($(Х)). Ведь мы знаем, что вся информация о
неизвестном параметре сосредоточена в S и привлечение других
статистик (другой информации о выборке X) не имеет смысла.

Как мы уже отмечали, для отыскания оптимальных критери-
ев обычно сужают множество рассматриваемых критериев до
класса Ке критериев фиксированного уровня. Среди них можно
пытаться отыскать такой критерий, для которого мощность

(6) = Мел (X)

в области 02 максимальна (т. е. вероятность ошибки второго
рода 1 — (6) минимальна). Другими словами, максимальной
должны быть вероятность принять гипотезу //2, когда она верпа.

Функция (6) — Мол (X) часто называется также функцией
мощности критерия л.

Определение 3. Критерий л ° е Ке называется равномер-
но наиболее мощным критерием (р. н. м. к.) в Ке, если для лю-
бого л е Ке

Р„г(0) > ря(0) при всех 6^02.	(1)

Конечно, р. н. м. к. существуют далеко не всегда. Если такой
критерий л° существует, то для него функция мощности (6)
располагается на графике выше любой другой функции рл(0)
в области 02 при условии, что обе они не превосходят значения
е в области 0t (ведь (л) = sup ря (В)), так что Рлс (6) есть

огибающая семейства {[Зя(6)} в области 02.
§ 4]

Допустим, что	Ме1Л°(Х) = е. Тогда р. н. м. к. л° бу-

дет очевидно, и. м. к. уровня 1 — е для проверки гипотезы {0 =
= 0,} против альтернативы {0 = 02} при любом 02	02. Так как

форма н. м. к. известна, то отсюда возникает следующий есте-
ственный путь отыскания р. н. м. к.: мы найдем его, если окажет-
ся, что и. м. к. в поставленной выше задаче о проверке гипотез
{О == 0J и {0 = 02) не зависит от 02.	-	•

Берпо и обратное: если п. м. к. из К?. для проверки гипотезы
{0 = 01} против <0 = 02}, 02 е 02, существенно зависит от 02, то
это будет означать, что р. н. м. к. для проверки {0 = 0J против
{0 е 02} пе существует.

Если гипотеза Н2 простая (02 состоит из одной точки 02), то
понятие р. н. м. к. частично теряет свой смысл и превращается в
понятие обычного п. м. к., т. е. критерия, для которого в классе
Ке максимизируется Мо„л (X).

Определим теперь байесовские и минимаксные критерии для
проверки сложных гипотез.

3.	Байесовские критерии. При проверке сложных гипотез мы
будем различать два байесовских подхода.

а)	Полный байесовский подход. Он состоит в предположении,
что гипотезы {Х^Рн}, 6е0, выбираются случайно с апри-
орным распределением Q. Другими словами, на 0 = 0t II 02 фикси-
руется некоторая о-алгебра подмножеств ©, 0j е ® 02 е ©, и 0
рассматривается как случайная величина на выборочном прост-
ранстве (О, ©, Q).

Распределение Q индуцирует распределения Q. па 0„ i —
= 1, 2, и вероятности q,; = Q(0 е 0J, так что Q = QiQi + #2Q2. Ги-
потезу о том, что 0 е 0, выбирается случайным образом с рас-
пределением Qi, обозначим

Определение 4. Критерий nq называется байесовским,
.если он является байесовским критерием, соответствующим ап-
риорному распределению (glt q2) для проверки двух простых ги-
потез HQt и Hq2 (см. § 1).

б)	Частично байесовский подход. Здесь предполагаются задан-
ными априорные распределения Qi па 0,, но отсутствуют априор-
ные вероятности qt, q2. В этом случае мы имеем дело с проверкой
двух простых гипотез и

Обозначим, как и прежде,

КЕ = Гл: sup Мел (X)	е|,

I бе©!	J

и положим

Ке1 = {л: М(?1л(Х)^е],
где Mq. обозначает безусловное математическое ожидапие по
распределению на 0,-Х^’г, порожденному Q, и Ро.
Определение 5. Критерий называется байесовским

л

в лЕ , если это есть и. м. к. уровня 1 — е для проверки двух про-
стых гипотез Яд и Ну2.

Если одна из гипотез Я, вырождается в простую (0t или 02
одноточечно), то будет вырождаться и соответствующее распре-
деление. В этом случае индекс у обозначения	мы будем

укорачивать и писать, например, вместо	если 02 =

== {02} одноточечно.

Построение критериев лд11д2 трудностей не вызывает. Они
будут использоваться нами как вспомогательное средство для
построения р. и. м. к. и минимаксных критериев.

4.	Минимаксные критерии.

Опре д е л е п и е 6. Критерий л для проверки Иf = {0 е 0t}
против Н2~ {0 & 02) называется минимаксным в Кк (в КЕ 2),
если л с А’Дл е A?)h для пего максимизируется

inf Мол (X) = inf (0).
бее2	оее2

Такой критерий правильнее было бы называть максиминным
(максимизируется минимум). Однако мы будем использовать все
же единый термин «минимаксный» — тем более, что он сохраняет
свой смысл, если иметь дело не с мощностью, а с вероятностями
ошибок второго рода.

Более подробно байесовские и минимаксные критерии будут
изучаться в § 9. Ближайшие же параграфы будут посвящепы вы-
яснению условий, при которых возможно построение р. н. м. к.

§ 5.	Равномерно наиболее мощные критерии

В этом параграфе мы рассмотрим два важных частных слу-
чая, относящихся к одномерному параметру 0, когда р. п. м. к.
удается построить. Мы получим также один полезный результат,
касающийся построения и. м. к.

1.	Односторонние альтернативы. Монотонное отношение прав-
доподобия. Пусть основная гипотеза Hi состоит в том, что 0^0(,
а альтернативная гипотеза Н2 в том, что 0 > 04. Такую гипотезу
И2 будем называть односторонней, в отличие, скажем, от гипоте-
зы И2 — {О Ф 0t} (дополнительной к /Д = {0 = 01}), которая явля-
ется двусторонней, так как допускает отклонения от 0t в обе
стороны.

Другое паше предположение будет состоять в следующем.
Пусть выполнено условие C4J н существует функция ТЧх),
такая что при всех 6, 0О, 6 > 0О отношение правдоподобия
/е fo)
/б0 №

(1)

является неубывающей (или певозрастающей) функцией от

В этом случае говорят, что семейство {Ре) имеет монотонное от-
ношение правдоподобия.

Так как Т — достаточная статистика, то /(#) =	0)7г(ж)г

и сформулированное условие будет относиться к отношению-
0)/-ф(71, 0О). Это условие означает, что при всех 0>6О и лю-
бом d>0 неравенство /в (ж)//% d будет разрешимо в виде
Т(х) си(0, 0о, d) (или ТЧх) < с„(0, 0О, d))_

Например, семейства {Фа,1} и |Ф0,о2 *] имеют монотонное-
отношение правдоподобия, так как

fa.,1	(/	\ — и < 2	2\1

fa * (Х) = ехр |(а — сс(|) пх — (а2 — а0 ,

Л),о2	(	1/1

у—— ^expj- —I —
о,о0	k 4

и соответствующие неравенства будут иметь вид (а > а0, о > о0)
х > сп (а, а0, ^) = у (а + ао) +	(х) = х).

2-4>с„ (a,a„,d) = A£^lnd (Г(Х)=2ХИ- о
г=1	а °0	V	i=l J

Мпогие параметрические семейства из § 2.2 также имеют моно-
тонное отношение правдоподобия. В дальнейшем для определен-
ности будем считать, что (1) есть неубывающая функция Т(х).

Теорема 1. Пусть 0 — одномерный параметр., а семейство
{Ре} имеет монотонное отношение правдоподобия. Тогда

1) В Ке, существует р.н.м.к. для проверки гипотезы Н1=='
— {0 s? 0J против альтернативы Н2 = {0 > 0J, который имеет вид

1, если

Т{Х)>с,

л ° (X) =

р, если Т (X) = с,
0, если Т (X) < с,

(2)

где сир определяются из условия

М01зх° (X) = Р01 (Т (X) > с) + рР61 (Т (X) = с) = g. (3)

2) Функция мощности р° (0) = Moft° (X) строго возрастает по
0 при всех 0, для которых р°(0) < 1.

20 А. А. Боровков
3)	При всех 0О критерий (2) является р.н.м.к. в классе
7Гр?(°о) для проверки гипотезы = {0 <1 0О} противН2 = {0 > в0}.

4)	Для любого 0 < 0t каш критерий- минимизирует ^(0) =
= Мол (X) в классе Ке.

Доказательство. Рассмотрим сначала простые гипотезы
{0 = 0J и {0 — 02}, 02>0t. II. м. к. для проверки этих гипотез в
классе критериев л, для которых Мо^ (X) = е, имеет, согласно
теореме 2.1, вид (2), так как неравенство Z(X) > d эквивалентно
71(Х)>с (при надлежащем соответствии между с и d\ где по-
стоянные с и р определяются из (3) (ср. с (2.3)). Так как числа
с и р из уравнения вида (3) определяются единственным образом,,
то мы получаем также, что критерий (2) будет п. м. к. в ^в’((>0)
для проверки гипотезы {0 = 0О} против {© — 0J, 02>0о. Отсюда
и из теоремы 2.1 (см. (2.4)) следует, что ^°(02) > £}°(0и). *

Так как ^ ’(0) не убывает, то

Мело(Х)^с при 0-<COi-	(4)

Класс К, критериев л, удовлетворяющих (4), содержится в клас-
се {л: М01л(Х) = с]. Так как критерии (2) максимизирует ^(02)
в этом последнем классе, то оп будет максимизировать р(02) и в
КЕ. Остается заметить, что критерий (2) никак пе зависит от 02
и, стало быть, сделанные выводы справедливы при любом 02 > 0t.
Тем самым первые три утверждения теоремы доказаны.

Четвертое утверждение теоремы следует из первых трех, если
их применить к задаче о проверке гипотезы = {0 0J против
II, ={0 < 0J, для которой р. и. м. к. в классе {П (X): МеП (X)

1	— е, 0 ^0Л будет иметь вид П°(Х) = 1 — л°(Х), а функция
1 —	(0) = Moll0 (X) станет максимальной при 0<0t функцией

мощности. <1

Важный класс семейств распределений, допускающих моно-
тонное отношение правдоподобия, образует однопараметрическое
экспоненциальпое семейство (см. § 2.15), когда плотность ]Дх)
представима в виде

/е(^) = h(x) ехр {а(0)£7(ж) + V(O)J.	(5)

Действительно, в этом случае

(п	1

(а (0) — а (0О)) 2 и + п (Г (°) “ V (°о)) ,
i=i

м отношение правдоподобия будет монотонно зависеть от Г(#) =

= 2 U (хг), если а(0) — п(0о) сохраняет знак при все*х 0, 0О, 0 > 0о.
i=i

Следствие 1. Пусть f0(x) имеет вид (5), где а(0) есть моно-
тонная функция. Тогда существует р.н.м.к. л° в классе Ке для
проверки гипотезы /Л = {0 С 0J против //2 = {0>0i}. Если «(0>
возрастает, то этот критерий имеет вид (2), (3). Если а(0) убы-
вает, то неравенства в (2), (3) заменяются на противоположные ~

Отметим, что если проверяется двусторонняя альтернатива,
например, гипотеза /Л = {0 =* 0J против //2 = {0	0,}, то р. н. м. к,

для экспоненциального семейства (5) уже не существует. Дейст-
вительно, допустим для простоты, что а(0) возрастает и что Ре-
п

распределение Т (X) = U (х,) при всех 0 абсолютно лепрерыв-
1=1

ио. Тогда согласно теореме 2.1 н. м. к. для проверки {0 = 0J про-
тив {0 = 02} будет перандомизированпым и будет иметь критиче-
скую область Т(Х)^с, если 02>0i. Если же 02 < 0Ь то критиче-
ская область будет иметь вид Т(Х) < с. Мы видим, что макси-
мальная мощность в точке 02 будет достигаться па существенно'
разных критериях в зависимости от знака разности 02 — 0Ь Ив
теоремы 1 видно, что если мы возьмем какой-нибудь из этих двух
критериев, например, тот, для которого л(X) = 1 при Т(Х) > с,
то он будет р. и. м. к. для всех 02 > 01 и заведомо не будет тако-
вым длА 02 < 01-	*

Уже отмечалось, что положение двух простых гипотез в тео-
реме 2.1 о п. м. к. в известном смысле симметрично (п.м. к. ми-
нимизирует вероятность ошибки второго рода сс2(л),* если фикси-
ровано значение осДя), и наоборот—минимизирует осДл), если
фиксировано се2(л)). Такой симметрии в постановке задачи о
проверке сложных гипотез пет. С этим обстоятельством связан
следующий интересный факт. Мы только что видели, что для
экспоненциального семейства пе существует р. и. м. к. для про-
верки гипотезы IE = {0 = 0J против //2 = {0 ¥= 0,}. Из приведен-
ных рассмотрений легко понять, что пе существует также р. п. м. щ
для проверки гипотезы {04 < 0 < 02} против альтернативы {О Ф
& (0t, 02)1. Однако если мы рассмотрим теперь в качестве основ-
ной гипотезы IE гипотезу IE = {0 Ф (0,, 02)}, а в качестве альтер-
нативы гипотезу //2 = {0^(01, 02)1, то р.н.м.к. в Ks будет уже
существовать. Итак, мы рассмотрим теперь вторую возможность,.

когда удается построить р. и. м. к.

2	. Двусторонняя основная гипотеза. Экспоненциальное се-
мейство.

Теорема 2. Пусть определяется равенством (5), и про-
веряется гипотеза IE = {0 (0Ь 02)}, 01 < 02, против альтернативы
//2 — {0 е (0,, 02)}. Тогда если функция а(0) монотонна, то

1)	в классе jn: sup Моя, (X) (^существует р.н.м.к,.

I е^(в1.о2)	/

л°, который имеет вид

1, если сг < Т (х)	с2,

л° (х) ~ ph если Т (х) ~ cit i — 1, 2,	(6)

0, если Т (x)^fcltc2],

20*
п

где Т (ос) = ^U(xi), а постоянные cit pi определяются из условий

М()1л° (X) = М02л° (X) = е.	(7)

2)	Этот критерий максимизирует функцию мощности £3(6) =
— М ел(Х) при условии (7) внутри интервала (0Ь 02) и минимизи-

Рис. 4. Вид функции мощности р° (0) —
— М0л° (X) и |> (0) = Мнл (X) для про-
извольного критерия л е Ке.

когда существуют такие t2,
pe(7’(X) = i1) + Pe(T(X)

рует ее вне этого интервала
(см. рис. 4).

3)	При 0 < е < 1 функ-
ция $°(0) имеет максимум в
некоторой точке 0О е (0Ь 02)
и строго убывает при уда-
лении 0 от 0о вправо или
влево. При этом мы исклю-
чаем. тот случай, когда рас-
пределение Т(Х) сосредото-
чено в двух точках, т. е.
что

= t2) — 1 при всех 0.	(8)

В проводимых рассмотрениях полезно также следующее ут-
верждение.

Лемма 1. Уравнения (7) при 0 < е < 1 всегда разрешимы
относительно щ, р„ i = 1, 2.

Доказательство этой леммы мы приведем позже.

Доказательство теоремы 2. Запишем функцию правг
доподобия в виде

fe(x)=c(G)eal'0)T{x)h(x),	(9)

где будем считать для определенности, что «(0) строго возра-
стает.

Рассмотрим следующую байесовскую постановку задачи. Пусть
проверяется основная «смешанная» гипотеза И, которая состоит
в том, что {6 — 0J с вероятностью q и {0 = 021 с вероятностью
1 — q, против альтернативы II0 = {0 = 0О), 0О е (01, 02). Пусть, да-
лее, априорные вероятности гипотез II и По равны соответст-
венно г и 1 — г. Так как гипотезы II и II0 полностью определяют
распределение выборки, то их можно считать простыми и вос-
пользоваться результатами § 2. Байесовский критерий (мы обоз-
начим его л°) будет иметь в этом случае вид

(

|1Т	если

л (^)= р'(Х), если

в (Х) — ч/о, (X) + (1 - «) /е> (*)>!- Г’

*(Х) = гЬ

(Ю)
Неравенство й(Х)>г/(1- г) в силу (9) эквивалентно нера-
венству

С (в,) («(е1)-«(е„))г	С (fi2) (О(в2)-а(00))т	1 - Г ....

9Дауе +(1-?)Ж)

Так как «(0i) — <т(60) < 0, «(02) — й(0о) > 0, то левая часть здесь
есть выпуклая функция от Т. Это означает, что (11) можно запи-
сать в виде

Ci < Т < с2,

где Ci^cdq, г); числа Ci < с2 пробегают прп изменении q и г все
возможные значения. Функцию р(Х) в (10) положим равной

у если 7ЧХ) ~ и р->, если Т(Х) — с2.

Согласно лемме 1 найдутся с., i — 1, 2 (пли, что то же, q п г)
и р, такие, что (7) будет выполнено. Покажем теперь, что функ-
ция л°(Х), определенная в (10) или, что то же, в (6), будет об-
ладать всеми сформулированными в теореме 2 свойствами. Ска-
занное означает, что мы стали теперь рассматривать л° одновре-
менно как решающую функцию для проверки II против Н2. Так
как критерий л° байесовский (для проверки II против 7/0), то
для любого другого критерия л

Г [^МеХ + (1 — q) МеХ] + (* “ r) М©0 (1 — л°) <

< г [^Мо^ + (1 — q) Ме2л] + (1 — г) Моо (1 — л). (12)

Стало быть, если критерии л наряду с л° будет удовлетворять
(7), то

Моол°>Меоп.

Это значит, что в каждой внутренней точке 0О е (01? 02) критерий
л° максимизирует функцию мощности (3 (0) = МоЧ в классе кри-
териев л, удовлетворяющих (7). По условия (7) выделяют класс
критериев, более широкий, чем Ке. Следовательно, л° будет мак-
симизировать £(0) и в Ке. Так как критерий л° пе зависит от 0О,
то он будет р. п. м. к. в Ке.

Отметим еще, что в силу теоремы 2.1

Р°(0о) = М9Х>8

и равенство здесь возможно лишь в случае, когда

qfej («) + (1 — Q) /о2 (ж) = /е0 (ж)	(13)

фС-почтп всюду. .

Совершенно аналогично с помощью (12) можно убедиться, что
л° будет минимизировать Ме^ при фиксированных Меол,
(мы используем здесь те же соображения, что в доказательстве
теорем § 1).
Покажем теперь, что л° минимизирует р(0) вне (0Ъ 02). Пусть
0° < ©!. Заменим в предыдущих рассмотрениях тройку точек
(0Ь 0о, 02) на тройку (0°, 01, 62) и заметим, что для новой задачи
критерий л ° снова будет байесовским (ведь его форма от выбора
точек 0„ i = 0, 1,-2, не зависит) в классе критериев л, для ко-
торых Ме°л =	(0°), Ме2 л; = е. Ио согласно сделанному выше

замечанию л ° будет минимизировать Мео л при фиксированных
М^л и Ме2л. Первые два утверждения теоремы доказаны.

Докажем третье утверждение. Заметим предварительно, что,
пользуясь заменой переменных интегрирования, мы можем за-
писать

Ре (7 (= Л) = с (0)	[ еа(0)Г(Л)Л (ж) {dx) =

{х: T(x)eZ}

= с(0) f ealQ)tv{dt)1
tSA

где мера v определяется соотношением

v (Л) = j* h (a?) u” (da?),
{х: Т(х)еА}

Это означает, что распределение Т относительно меры v имеет
плотность (см. также лемму 2.15.1) ge(t) = c(0)e“(e,t и, стало быть,
также принадлежит экспоненциальному семейству. Далее, в силу
монотонности а(0) можно ввести новый параметр р = а(0), совер-
шенно пе изменив при этом задачи и ее условий. Следовательно,
мы можем считать, ле ограничивая общности, что н(0) = 0. В этом
случае функции с (0) — ee<v (df)j и (0) = Мол° (X) бу-
дут, очевидно, непрерывными. Допустим теперь, что утвержде-
ние теоремы о характере поведения £}°(0) неверно. Тогда найдут-
ся три точки 0' < 0" < 0'", для которых

0°(0') = £°(0 ") - р°(0"') = ае(0, 1).	(14)

Мы видели, что л° максимизирует р(0") при условиях f)(0') =
= р(б") =сс, при этом если не выполнено условие вида (13), то
fj°(0") >а. Но равенство (13) в пашем случае означает, что

+ (1 -	Q^e(6'-e",T + (1 -	= 1

v-почти всюду. В силу выпуклости левой части по Г, это равен-
ство возможно не более чем для двух значений Т. Стало быть,
если (8) исключено, то £°(0") > р°(0') = сс, и (14) невозможно. <1

Доказательство леммы 1. Мы проведем доказательст-
во при упрощающем предположении, что распределение Т(Х)
непрерывно, т. е. Ре(Т = с)=0 при всех 0 и с. Это освободит
$5]

пас от несущественных усложнений. В этом случае в силу за-
мечаний, сделанных в конце доказательства теоремы 2, мы мо-
жем записать

с2	с2

Мезт° (X) = Ре (Т ее (съ с2)) = J ge (О V (dt) = с (0) f Л (dt),
ci	ci

4

Это будет непрерывная функция от 0, ct, с2.

Обозначим через с+ значение с, для которого Ро1(7’^с+)—

= i — е. Тогда па (—°°, с+) определена функция d(с), лакая что
d(c)

р61 (Т е= (с, d (с))) = j g01 (t) V (dt) = e.
c

Ясно, что d(c) есть непрерывная возрастающая функция.

Мы докажем требуемое утверждение, если убедимся, что
функция

d(c)

П’ (с) = Ре2 (Т <= (с, d (с))) = J ge2 (£) V (dt)

С

непрерывно возрастает, ip(—<») < е, i|)(c+) > е. В этом случае най-
дется с0, такое что ф(с0) = е, и, стало быть,Ре^с0, d(c0))=e, i=l, 2.

Непрерывность т|)(с) очевидна. Докажем монотонность. _ Запи-
шем -ф(с) в виде

d(c)

Ф(с)= f gex(O г (t)v(dt),	(15)

С

тдё r(t) есть плотность Ро2 -распределения Т относительно Рех~
распределения:

()	40i)

Пусть А, для определенности, таково, что c + A<d(c). Тогда
так как

с+Д	d(c+A)

f g^(t)v(dt)=^. f gei(t)v(dt),	(16)

c	d(c)

TO

(c + A) — ф (c) =

d(c-|-Д)	с+Д

= J gel(t)r(t)v(dt)— j gQi (t) r (t) v (dt)
d(c)	c

> k (с)) — Г (с + A)] X > 0,

где X есть общее значение интеграла (16).
Убедимся теперь, что $(•—<») < 8. Обозначим через t0 решение
уравнения r(f) == 1. Если <?(—<») то r(t) < 1 на интервале
(—со, d(—оо)), и требуемое неравенство в силу (15) очевидно. Если
же d(—оо) > tQ, то аналогично находим

тр(_ 1 — PgJ?1 еЕ (</(— оо), оо))<

< 1 — Ре± (Т (d(— оо), ос)) = PoJT1 <= (— оо, d(— оо))) = 8.

Точно так же устанавливается, что гр(с+) > е. <1

Замечание 1. Мы предоставляем читателю самому убе-
диться в том, что при 0t < 02 утверждение теоремы 2 и все про-
веденные рассмотрения сохранятся, если мы интервал (0Ь 02') за-
меним на отрезок [0(, 02], т. е. будем проверять гипотезу Hi =
= {0 Ф [0lt 021) против I1-, = {0 е [0t, 02]}.

Замечание 2. Требование экспонепциалыюстп семейства
{Ре), как это видно из доказательства теоремы, может быть ос-
лаблено до условия выпуклости отношения

Ч(Х) ,л Ч(Х)

%U)+(1

относительно некоторой статистики Т (ср. с (10), (11)).

3 а м е ч а н и е 3. Обратим внимание еще раз па то, что если
бы основной гипотезой была Н2= {0 е (0Ь 02)), а альтернативой
lit = {0	(01, 02)1, то р.н.м.к. пе существовало бы, так как в

этом случае «односторонние» критерии вида Т > с или Т < с со-
ответственно для альтернатив 0 > 02 и 0 < 04 оказались бы более
мощными, чем критерий вида Т (с(, с2). Например, для альтер-
натив 0 > 02 будет существовать р. и. м. к. вида Т > с, а условие
л е Ке приведет к единственному ограничению Ме2л^е (см.
замечания в конце п. 2).

Тем пе менее, окажется, что если класс К? дополнительно не-
сколько сузить вполне естественным образом (см. §§ 6, 7), то
р. и. м. к. будет существовать п в этой задаче.

3.	Другой подход к рассматриваемым задачам. Математичес-
кое существо главного утверждения теоремы 2, а также теорем
§§ 1, 2, весьма просто и заслуживает того, чтобы его выделить.
Например, в теореме 2 опо состоит в следующей вариационной
задаче. В классе функций л, удовлетворяющих условиям

J л(х) /ei (х) (dx) = е, i = 1, 2,

мы ищем элемент л°, для которого максимизируется

J л (х) /оо (х) ц?1 (dx).

Следующее утверждение называется обычно обобщением фун-
даментальной леммы Пеймана — Пирсона.
Лемма 2. Пусть	/т+1—действительные функции,

определенные на и интегрируемые относительно меры р”.
Пусть критические функции л таковы, что

J л (ж) /j (ж) pn (dx) = Ri, i = 1, ..., m.	(17)

Тогда элемент л°, на котором j л (х) fm+i (&) p“(dx) достигает мак*

оимума, имеет вид

л° (х) =

тп

1, если fm+1 (х) > 2	(ж)»

1

тп

О, если fm+i (х) С 2
i=l

где km определяются из условий (17).

Доказательство. Обозначим (л) = [ л (х) fi (х) pn (dx),
i=l, ..., m + 1. Элемент л, удовлетворяющий условиям Ff(n)—
= Ег-, i = 1, ...., m, максимизирует Ftn+l(n) тогда и только тогда,
тп

когда он максимизирует Fm+1 (л) — 2 ^г^г(л) при каких-нибудь
i=l

klt ..., km (ведь значение суммы здесь фиксировано). Стало быть,
нам достаточно, чтобы л максимизировало

ТП
fm + 1 (%)	’ 2 ^ifi(x)

i—-1

л (х) р,п (dx).

Но это выражение делается максимальным, если положить л(х) =
ТП

= 1 там, где /m+i (#)— 2	(ж) > 0, п л(а?) = 0 там, где это вы-

ражение отрицательно. Постоянные Аг,-, от которых зависит это л,
а также «свободные» значения л на множестве {/m+i (зс) =
тп

= 2	(&)} следует подобрать так, чтобы выполнялось (17). <1

i~ 1

4.	Байесовский подход и наименее благоприятные априорные
распределения при построении н. м. к. и р. и. м. к. Лемма 2 выяс-
няет математическое существо построении, которые проводились
нами в этом параграфе. В этом разделе речь будет идти также
о существе этих рассмотрений, по с несколько иной точки зре-
ния. Дело в том, что при доказательстве теоремы 2 мы неявно
использовали подход, связанный с построением минимаксных
критериев с помощью байесовских (ср. с теоремой 1.2). Этот под-
ход позже будет рассматриваться более подробно. Здесь же мы
получим одно общее утверждение, полезное ири построении
р.н.м.к. в общем случае, и поясним его связь с минимаксным
подходом.
Пусть проверяется основная гипотеза Hi — {0 е 0Д против
простой альтернативы Пг = {0 = 02), 02 01. В качестве Н2 здесь
можно взять и произвольную альтернативу {X (== G}, где G име-
ет плотность g относительно цис семейством {Ре} никак пе
связано. Задача состоит в отыскании н. м. к. л уровпя 1 — е для
проверки II t против Н2. Другими словами, надо найти функцию
л из Хе,

Хе=Гл: sup Men(X)<ek

1 еевг	j

которая минимизирует Р (02) — Ме2л (X). В предыдущих рас-
смотрениях мы не раз наблюдали известную «дуальность» в по-
становке задачи: максимизация мощности при фиксированной
вероятности ошибки первого рода эквивалентна минимизации
последней при фиксированной мощности. Но при таком обра-
щении мы приходим в нашей задаче к проблеме минимизации
(18), а это и есть проблема построения минимаксного критерия
(более подробно эта проблема будет обсуждаться в § 9). Это
объясняет в какой-то мере сходство доказываемого ниже утверж-
дения с теоремой 1.2.

Итак, рассмотрим частично байесовскую постановку задачи,
в силу которой параметр 0 на множестве 0, выбирается случай-
ным образом с распределением Q,. Сложная гипотеза заменя-
ется при этом простой гипотезой , при которой плотность X
определяется как усредненное по мере Qj значение

/<?! И = [ А» (-т) Qi W-

©i -

Qi

Для проверки//^ против Н2 в классе Къ = {л:	е|

критериев уровня 1 — е существует н. м. к. jiq , имеющий вид
(nQ1 есть критерий л(?1р2 в обозначениях § 4, где Q2 — вырож-
денное в точке 02 распределение):

л(?1 (х) =

1, если g(x)>cfQ1 (а?),
О, если g (х) < cfQ1 (.т)

(19}

(здесь g(x) =	(а?) в параметрическом случае).

Теорема 3. Допустим, что существует такое распределение
Q(, сосредоточенное на подмножестве 0г с 0г(Q1(el) = i),
для которого

1)	ge X?1,	(20)

2)	МеЛщ (X) = const = sup Me^Q (X)	(21)

1	ееех

для всех 0 е 0Х.
Тогда критерий л01 е К& и является н. м. к. для проверки IIt
против Н2.

Доказательство. Проверим сначала принадлежность
е Ке. В силу условий теоремы

sup Me3TQ1 (X) = J MenQ1 (X) Qx (t?0) = MQ1 (X) < e. (22)
6^61	°

®i

Пусть теперь л — любой другой критерий из К8, т. е. крите-
рий уровня 1 — е для проверки Hi против П->. Тогда

MQ1 л (X) = J л (ж) /Qi (.т) р,” (dx) = f Мел (X) Qj (di)) < е,

Qi

м, стало быть, л GZ Ке . Но тогда в силу определения

Мс^Лу^ (X) Ме2л (X),

что и требовалось доказать. <

Распределение Qlf фигурирующее в теореме, называют наи-
менее благоприятным. Это связано со следующим обстоятельст-
вом. Величина 14 (02) =	(X) есть наибольшее значение

мощности, которое можно достичь в ле при «априорном» рас-
пределении Qt на 0t. Если мы возьмем теперь любое другое рас-
пределение Q' на ©!, то получим

(4 (62) > ₽<?1 (02), 4 (02) = inf 4 (02)

Q'

{это и есть смысл термина «наихудшее распределение»). В са-
мом деле,л01 в силу (22) принадлежит Ке и, стало быть, К®'.
Это означает, что его мощность (02) = Мб2л<31 (X) не будет
превосходить мощности н. м, к. в К® , равной по определению
4 (02).

Мы могли бы теперь с помощью теоремы 3 доказывать тео-
ремы 1 и 2. Множество Оц на котором сосредоточено наиме-
нее благоприятное распределение, в теоремах 1 и 2 состоит соот-
ветственно из одной {0J и двух {0t, 02) точек. Условия (20), (21)
превращаются соответственно в условия (3) и (7).

Аналогичным образом следует использовать теорему 3 для
построения р. п. м. к. и в других случаях: если построенный кри-
терий не зависит от 02 е 02, то он будет р. н. м. к. для про-
верки IIt — {0 е 0J против IIZ — {0 02} в классе Ке.

Наименее благоприятное распределение Qn удовлетворяющее
условиям теоремы 3, существует при весьма широких предполо-
жениях, которые в реальных задачах обычно выполнены. Доста-
точно требовать компактности 0, и непрерывности /е(а:) по О
для п. в. х (.подробнее об этом см. [401 и продолжение этой
книги).

Дальнейшее обсуждение связей между байесовским и мини-
максным подходами см. в § 9.

§ 6*. Несмещенные критерии

В этом и следующем параграфе мы будем использовать прин-
ципы несмещенности и инвариантности для естественного суже-
ния класса рассматриваемых критериев. Цель такого сужения —
отыскание оптимальных критериев.

1.	Определения. Несмещенные р. н. м. к. Пусть, как и в преды-
дущем параграфе, мы рассматриваем проверку сложной гипотезы
//,={() против Я2 = {0 02) по выборке Х^Ре, 0е0=01и
U 02. Рассмотрим критерии л из класса Яе=(л: sup

к	|	J

Если, например, 0t состоит из одной точки 0г, Меря = е, то
е есть вероятность отклонения 77,, когда 77, верпа. Естественное
требование к критерию л состоит в том, чтобы вероятность откло-
нения 1Ц, когда Н, не верна, должна быть больше е. Если это пе
так, то найдутся альтернативы, при которых принятие 7/, более
вероятно, чем в случаях, когда Я, верна. Такое положение явля-
ется нежелательным. Мы приходим к необходимости выделить
следующий важный класс критериев.

Опре д е л е и и е 1. Критерий л называется несмещенным,
если для него

inf Мел(Х)^ sup Мел(Х).

0g©2	0gO1

(1)

Таким образом, критерий леЯс, для которого sup Ме^=е,
,	Og ©х

будет несмещенным, если рл(0) > е при 0 е О2. Класс несмещен-
ных критериев уровня 1 — е обозначим Ке.

Односторонний критерий л с критической областью Т > с
(или 7' < с) для экспоненциальных семейств, упоминавшийся в
предыдущем параграфе, не может быть несмещенным для про-
верки Нг — Pfil] против Я2 = {X ^Ре^ О=7^=01}, так как здесь
02 — {0: 0	©J, Мол < е при 0 < 0,, если Мохл — е (см. теоре-

му 5.1).

Наоборот, р. и. м. к., если они существуют, с необходимостью
являются несмещенными, так как для них мощность £(0) при
0 е 02 пе может быть меньше мощности критерия л(Х) = е.
Принцип несмещенности *) представляет самостоятельный
интерес, поскольку оп дает возможность естественного сужения
класса критериев. Эго позволяет нам строить р. н. м. к. в клас-
сах Ке в тех случаях, когда р. н. м. к. в классе К» не сущест-
- вуют.

Как мы увидим, это относится, в частности, к задаче о про-
верке гипотезы Д1 = {0е[01, 02J}, 0!	62, против двусторонней

альтернативы П2 — {0	[0,, 02]} (ср. с разделом 2 § 5).

Отыскание р. н. м. несмещенных критериев во многом может
быть сведено к использованию уже применявшихся приемов, су-
щество которых изложено в лемме 5 2. При этом может быть
полезным следующее утверждение.

Дрпустим, что существует общая непустая граница Г мно-
жеств 01 и О2 из Rh:

Г де, 0 дО2

(301 обозначает границу 0<), т. е. множество точек, предельных
одновременно для 04 и 02. Допустим кроме того, что для всех
л е 7<е

,	(0) = Мол (X) = е при всех Ос- Г,	(2)

Это свойство будет, очевидно, всегда выполнено, если ря(0)
непрерывно зависит от 0 для любого критерия л из К(.

Так как

Ря (6) = J (ж) /е (.г) ц" (dx),	0<л(ж)<1,

то непрерывность [З-ДО) будет иметь место, если непрерывной по
0 для р"-п. в. х будет функция /е(ж). Это вытекает из следствия
1 Приложения _yi.

Обозначим КЕ класс всех критериев л, удовлетворяющих (2k

Лемма 1. Пусть	(г. е. выполнено (2)). Тогда если л

есть р. н. м. к. в Ке Г\ К£, то л •— р. н. м. к. в Kt.

Доказательство. Нам достаточно убедиться, что л е Кя
и что Ке <= К, П Ке. Второе из этих соотношений вытекает из пред-
положения Кг Кк. Первое следует из того, что критерий л == с
принадлежит К£ Ci Kf и, стало быть, inf Мел (Х)^ inf Me л= е. <1
0~е2	оео2

Таким образом, лемма 1 позволяет свести поиски р. п. м. не-
смещенных критериев к поискам обычных р. п. м. к., но при на-

*) Термин «несмещенность» использовался и применительно к оцен-
кам. Свойство несмещенности оценки в известном смысле аналогично свой-
ству несмещенности критерия: если оценка 0* является смещенной, то
Мп 0*	0 и найдутся другие значения параметра 0	0о, при которых

среднее значение Ме0* будет равно 0О.
линии грапичпых условий (2). Если число точек границы Г ко-
нечно, то мы окажемся в условиях леммы 5.2, где нам останется
проверить независимость полученной оптимальной критической
функции л от значения 0 е 02, для которого максимизировался
функционал М0я(Х). Это и будет означать равномерную наи-
большую мощность.

Отметим теперь следующее обстоятельство, связанное с вы-
рождением условий (2), которое проще всего пояснить для одно-
мерного случая. Если О, = [04, 02], а 02 есть дополнение к 0<, то
условия (2) будут представлять собой два уравнения М0.л (X) =
— е, i=l, 2. Однако в предельном случае 01 = 02 эти уравнения
превратятся в одно. Но в силу несмещенности критерия л его
мощность Зл(0) должна будет в точке О, достигать своего мини-
мума (см. (О). Стало быть, если рл(0) дифференцируема, то роль
уравнений (2) в случае 0t = 02 будут играть равенства

М01)=е, ₽л(е!) = о.	(3)

Условия дифференцируемости J/e(^)p(^), а тем самым и
Рл (0) = М0л (X), выяснены в Приложении VI. Если эти условия
выполнены, то

Рл (0) = J я (-Ф /е («) 1" (<Ь?) =

, = J л (ж) L' (а*, 0) /о (-к) н” (dx) — Мол (X) /7 (X, 0).

Это означает, что условия (3) вновь можно записать в терминах
интегралов:

М01л (X) = е, М01л (X) L' (X, 0t) = 0.	(4)

Например, для экспоненциального семейства (5.9)

£'(*, 0) — с'(О)/с(0) + «/(0)Z(x).

Так как MeL' (X, 0) = 0, то с' (0)/с (0)=~п' (0)М0Т (X),

Мел (X)L' (X, 0) = - а' (0) MoZ (X) • М0л (X) а (0) Мол (X) Т (X),
и уравнения (4) примут вид

М01 (л (X) - е) = 0, М01 (л (X) - е) Т (X) - 0.

В качестве иллюстрации рассмотрим случай, к разбору кото-
рого по существу уже все подготовлено.

2.	Двусторонние альтернативы. Экспоненциальное семейство.

Теорема 1. Пусть f^x) определяется равенством (5.9), и
проверяется гипотеза — {0е [0ь 02]}, 0j С 02, против альтерна-
тивы Я2 = {0^[01‘, 02П. Тогда, если функция «(0) монотонна, то
1)	в классе Ке несмещенных критериев уровня 1 —е сущест-
вует р. н. м. к. л, который имеет вид

л (х) =

О, если сг Т (х) < с2,
Pi, если Т (х) ~ Ci, i— 1, 2,
1, если Т (х) ф. [сх, с2],

(5)

п

где Т (х) ~	(л\), а постоянные с,, р;, i—1, 2, определяются

i=i

из условий

Мв1л(Х) = е, i-1,2,	(6>

если 0, < 02, и из условий

Мв1л(Х) = е, Ме1(л(Х)-е)7’(Х) = 0,	(7>

если 01 — 02.

2)	Критерий л минимизирует функцию |3Л (6) = М^л (X) при
условиях (6) внутри отрезка [0,, 02] и максимизирует ее вне
101, 021 при условиях (6) или (7) (последнее при 01 ~ 02).

3)	При О < е < 1, 01 < 02 функция р (0) — Мел (X) имеет ми-
нимум в некоторой точке 0ое(015 02) и строго возрастает при
удалении 0 от 0О вправо или влево. При этом мы исключаем слу-
чай (5.8).

Нетрудно видеть, что формулировка этой теоремы почти пов-
торяет утверждение теоремы 5.2 с той, однако, разницей, что са-
ми утверждения иногда носят «противоположный» характер и не
исключается равенство 01 — 02.

Доказательство. В случае 0] < 02 оно полностью следу-
ет доказательству теоремы 5.2. В замечании 1 к упомянутой тео-
реме сказано, что при 01 < 02 все рассуждения теоремы полностью
сохранятся в случае, когда проверится гипотеза {0^[0Ъ 02П
против {0е[Оъ 02]), т. е., в обозначениях этого параграфа,—
гипотеза Н2 против /7,. Положим я.(х) = 1 —л°(ж), где л° — функ-
ция, определенная в (5.6) при условиях Ме.л° (X) — 1 — е, i= 1, 2Г
вместо (5.7). Тогда, очевидно, утверждения 2), 3) будут прямыми
следствиями соответствующих утверждений теоремы 5.2.

Первое утверждение теоремы следует из второго, так как
класс критериев л, удовлетворяющих (6), шире, чем К8, и, стало
быдь, л будет максимизировать М( л (X) в классе КЕ в любой
точке 0 вне [0Ь 02]. Это означает, что л есть р. и. м. несмещен-
ный критерий.

Нам осталось рассмотреть случай Oj = 02. Здесь, по-видимому,
проще воспользоваться леммой 5.2. Возьмем любое 0 0j и
рассмотрим задачу максимизации М0л (X) при условиях
М01л(Х)=е,

(8).

Очевидно, мы будем находиться в условиях леммы 5.2, если по-
ложим т == 2, fx — /ov /2 — 77elt /з = /в, ех = е, е2 = еМо?" (X).
Согласно этой лемме, максимум М0л будет достигаться на
функции

II, если /о (а?) >4-Л’27’(ж)/01(а:),
Я “ 0, если /0 (ж) < fc1/e1 (х) + к2Т (а?) /01 (а?).

Рассмотрим последнее неравенство, которое можно записать в
форме

С

Ясно, что для любых Ci < с2 можно всегда выбрать кь к2 так,
чтобы это неравенство было эквивалентно

Ci < Т < с2.

Это доказывает, что критерий вида (5) максимизирует М0л (X)
при условиях (7), если только с„ pit t = 1, 2, в (5) можно выбрать
так, чтобы удовлетворялось (7) (или (8)). Этот критерий будет,
очевидно, р. н. м. несмещенным критерием, так как класс крите-
риев л, удовлетворяющих (8), шире, чем Ке и, стало быть, л бу-
дет максимизировать М0л (X) и в Ке. Итак, для доказательства
теоремы пам осталось убедиться, что справедлива

Лемма 2. Уравнение (7) при 0<е<1 разрешимо относи-'
телъно с{, р^ i = 1, 2.

Доказательство этой леммы мы приведем, как’и дока-
зательство леммы 5.1, при упрощающем предположении, что
Р01-распределение Т(Х) непрерывно, т. е. Р01 (Т (X) = с) = 0
при всех с.

Напомним, что плотность распределения Т относительно не-
которой меры v мы можем считать равной (см. § 5) ge(i) =
= e(0)eef. Тогда уравнения (7), (8) будут эквивалентны соотно-
шениям

с2

Мв1 (1-л (А-)) = с (0,) j e^'v (dt) = 1-8,

Ме, (1 — я (X)) Т (X) = с (0,) J (dt) = (1 — е) с (0,) J te^'v (dt).

С1 " С1

Обозначая г (t) = t, m= М01Т (X) — с (0J J te^v (dt), мы можем
уравнения (9) записать в виде

с2

с (01) J е61 v (dt) = 1 — 8,
ci

с?	(Ю)

с (01) j г (0 е61% (dt) = (1 — е) т,

ci

Мы пришли к задаче, совпадающей с задачей, рассматривавшейся
в лемме 5.1, с той лишь разницей, что распределение с плот-
ностью г (£) go1 (t) может быть обобщенным (т. е. принимать и
отрицательные значения). В этих новых условиях следует поло-
жить tD = т. В остальном рассуждения леммы 5.1 не меня-
ются. <

§ 7*. Инвариантные критерии

В этом параграфе мы рассмотрим еще одип способ сужения
класса всех критериев, основанный па этот раз па соображениях
инвариантности.

Предположим, что Х(=={Ре} и {Ру} есть инвариантное се-
мейство. Напомним необходимые обозначения и понятия (см.
§ 2.19). Пусть дана группа G измеримых преобразований g про-
странства в себя. Семейство {Ро1 будет инвариантным отно-
сительно G., если для каждого g^G и 0 «= 0 найдется элемент
0/; е 0, такой что

РОв(ХеЛ) = Ре(гХеЛ).

для любого Л е SjTJg’.

Преобразования g пространства 0, определяемые равенством
g0 = 0g, при выполнении условий (Ло) образуют группу G (см.
§ 2.19).

Определение 1. Мы будем говорить, что задача проверки
гипотезы 1Ц = {0 е 0J против Н2 = {0 е 02}, 0j U 02 = 0, являет-
ся инвариантной, если выполнены следующие два условия:

1)	Семейство {Ре} является инвариантным относительно G.

2)	Множества 0j и 02 являются инвариантными относитель-
но g е G, т. е. g0t- = i =1,2.

Если задача проверки гипотез является инвариантной, то для
ее решения естественно воспользоваться инвариантным крите-
рием.

Определение 2. Критерий л называется инвариантным,
если л (А ) есть инвариантная относительно g статистика*)!

jr(gx) = л(х) для всех х	g G.

*) См. сноску на стр. 182.

21 а. А. Боровков
Если л есть перандомизировапный критерий и Qj есть область
приема гипотезы Hj, то инвариантность л означает, что gQ, ==
= Qj, j = 1, 2.

Естественность использования инвариантных критериев, по-ви-
димому, проще всего попять па примерах. Общее обсуждение,
связанное с трактовкой g как замены координат и нечувстви-
тельности к этой замене соответствующих статистик, содержится
в § 2.19.

Пример 1. Наиболее простые примеры относятся к тому
случаю, когда группа G тривиальна, т. е. g для любого g есть
тождественное преобразование ё пространства €).

Пусть X Фо о2; проверяется гипотеза /Д = {щ < о о2} про-
тив дополнительной альтернативы //2. В этом случае

1^7»ехр

/О2(Х) =

п

JV X?

,„2 Х'

Очевидно, что семейство Фо о2 инвариантно относительно группы
G ортогональных преобразований g (вращений) пространства <^п,
при этом g = e для любого g. Поэтому естественно рассматривать
71

критерии л, зависящие лишь от статистики Т (X) = 2 Так
i=l

как о"2Т(Х)(=- Г1/2 п/2 = П„, то Т (X) Га>п/2 при cz=l/.(2o2),
и мы приходим к задаче о проверке гипотезы Н 1={а1^а^сс2},
cq = 1/(2о2), oc2 = 1/(2oi), по наблюдению Т’(Х), имеющему рас-
пределение Гя, n/г из экспоненциального семейства. С помощью
результатов предыдущих параграфов мы можем построить р. п. м.
несмещенный критерий уровня 1 — е, принимающий /Л при

с, X Т(Х) с2,

(1)

где Ci выбираются так, чтобы Га1>п/2 (^\[сх, с2]) — ГК2 n/2 {R\[сп
c2J) — е.

Отмстим, что критерий вида (1) в это\1 примере мы могли бы
построить и из других соображений, основываясь на принципе
достаточности, так как статистика Т является достаточной. Ведь
мы знаем, что вся информация о параметре о2 сосредоточена в Т
и привлечение других статистик (т. е. другой информации о вы-
борке) не имеет смысла.

В дальнейшем там, где это возможно, мы будем сразу реду-
цировать задачу к задаче о распределении достаточных статистик.

Пример 2. Пусть X Фа о2, Z/j — {Oj о2}. В этом
случае 0 = (а, о2), п преобразование сдвига gX==X + c =
= (х4 + с, ..., хи + с) индуцирует преобразование ga —а+с, ко-
торое оставляет гипотезу 1R неизменной. Если ограничиться рас-
смотрением достаточных статистик

7\ = х, Г2=2(Х1—х)2,

i=i
то преобразование g дает

T^gX) = х + с, T2{gX) = 7'2(Х).

Таким образом, статистика Т2 является ипвариантиой относи-
тельно G. То есть инвариантный критерий л, основанный на
достаточных статистиках, должен быть функцией от Т2. (Ниже
мы увидим, что любой инвариантный критерий л должен быть
функцией от Т2.) В силу § 2.32 <ггТ2 £= Г1/2, (n-i)/2, и мы приходим
к задаче, разобранной в предыдущем примере. Р. и. м. инвари-
антный несмещенный критерий будет иметь вид щ С Т2 с2.

Пример 3. Оба рассмотренные выше примера касались
нормального распределения. Применительно к распределению
выборки X это было многомерное нормальное распределение с
диагональной матрицей вторых моментов. Для дальнейшего по-
лезно отметить, что семейство произвольных многомерных нор-
мальных распределений Фа о2, а е /?’п, о2 = ||щД1, г, / = 1, ,,., ш,
является инвариантным относительно группы G линейных невы-
рожденных преобразований

gx— (х— а)С,

где С — обратимая матрица. В самом деле, мы должны убедить-
ся, что при некотором преобразовании g выполняется Р-0(Л) =
==	(g~3^), где Ре = Фа)О2> е = («, °2).	как обычно,

означает множество g~lA_={x^Rm: gx^A}. Имеем (о = У|о21)
=	Г схр[--|-(^-а)о“2(ж-а)г]^.

g-1A

После замены получим

*«.<,»(«' M) = (2n)"vt|ci fcxl>(~4^g Ч? ly-<6T}dy-

Учитывая, что g 1у=уС 1 + и, мы можем показатель у экспо-
ненты в последнем интеграле записать в виде

(у - (а - а)С)С-1о-ЧС-1)Чу - (а - а)С)т.

Стало быть, если ’положить

g0 = g(a, о2) - (ga, Ctg9C) = ((а - а)С, Ctg2C), (2)

то мы получим '

ф«дД*г'л) = Ф-(а<,2)(Л).	<3>
п

статистика Т2 = 2 (хг — х)2 является, очевидно, максимальным
?=1

инвариантом в наблюдении (х, Т2).

В заключение этого параграфа отметим еще раз, что суще-
ство подхода, связанного с инвариантностью, состоит в редукции
рассматриваемых задач о проверке гипотез к более простым за-
дачам, относящимся к распределению максимальных инвариан-
тов. В этих новых, более простых условиях в ряде случаев ока-
зывается возможным построить п. м. или р. и. м. критерии. В этом
отношении «принцип инвариантности» близок к «принципам»
достаточности и несмещенности, в соответствии с которыми ис-
ходная задача редуцируется к задаче в терминах достаточных
или несмещенных статистик.

§ 8*. Связь с доверительными множествами

1. Связь статистических критериев и доверительных множеств.
Связь свойств оптимальности. Понятия доверительного множе-
ства и статистического критерия тесно связаны между собой.
Определение доверительного множества было дано в § 2.31. На-
помним его.

Пусть	0е6.

Определение 1. Случайное подмножество 0* = 0*(Х, е)
параметрического пространства 0 называется доверительным
множеством уровня 1 — е, если

Ре(0*(Х, е)э0)>1-е	(1).

для всех 0 е 0.

Очевидно, доверительный интервал есть частный случай дове-
рительного множества. Последнее сохраняет тот Mie см^ысл: с ве-
роятностью ^1 — е оно накрывает истинное значение параметра.

Обозначим

Q(0, е) = {теГ: 0е№, е)}.	(2)

Тогда соотношения

е) и же Q(0, е)	(3)

будут эквивалентными.

Определение доверительного множества предполагает, что
множество Q(0, в) в (2) является измеримым, так что вероят-
ность в (1) имеет смысл п равна Po(XeQ(0, е)).

Доверительные множества и статистические критерии для
проверки гипотезы 7П — {0 = 0J против дополнительной альтер-
нативы Я2 = {Ое02}, 0!^©,, связаны между собой следующим
образом. Пусть для каждого Ot определено свое множество 02 =
§ 8]

Теорема 1. 1) Рассмотрим для каждого 0, не рандомизиро-
ванный критерий я = 6 уровня 1 — е для проверки гипотезы Hi
против Н2 и обозначим Q(0b е) его область принятия гипотезы
Тогда множество

0*(Х, Е)'={0е@: Хе 0(0, 8)}

будет доверительным множеством уровня 1 — е.

Наоборот, если 0*(Х, е) — доверительное множество уровня
1 — е, то множество О(0Ъ s) определенное в (2) и взятое
в качестве области приема 1Ц, будет определять критерий для
проверки /7ц = {0 = 01} против 1/2 = {0 е 02(0J} уродня 1 — е для
любого 02(0i), 01 02(0i).

2) Если критерий л. с областью приема Q(Ot, е) гипотезы 1Ц
является р.н.м.к., то соответствующее множество 0*(Х, е) ми-
нимизирует вероятность

Ро(О'е=0*(Х, е)) для всех 0, О', Ое02(0'),	(4)

в классе всех доверительных множеств уровня 1 — е.

Верно и обратное утверждение: минимальность (4) означает,
что соответствующее множество 0(0, е) будет порождать р.н.м.к.

Для одномерного параметра наиболее употребительными явля-
ются случаи 02(0') = {О: 0^=0'} и <Э2(0О = {0: 0 > 0'1 (или
{0: 0<О'}). В первом из них в (4) будет иметь место минимиза-
ция при всех О' 0, во втором — при всех 0' < 0.

Итак, в (4) теорема утверждает, что для 0* минимизируется
вероятность Ро того, что в доверительное множество попадет лю-
бое другое значение 0'^0, такое что 0е02(О'). Ото есть один
из способов выделения оптимальных доверительных интервалов.

Определение 2. Доверительные множества, для которых
минимизируется (4) при условии (1), называются наиболее точ-
ными доверительными множествами (уровня 1—е) относительно
альтернатив 0', таких что 0s02(O')_

Ниже будет приведено некоторое дополнительное обоснование
для такого понимания оптимальности доверительного интервала.

Таким образом, теорема 1 устанавливает, что «обращение»
множества Q(0H s) для р.н.м.к. дает наиболее точное довери-
тельное множество. При этом важно отметить, что рассматривае-
мая процедура построения доверительных множеств с размер-
ностью 0 никак не связана. Можно даже рассматривать беско-
нечномерные параметры 0 и отождествлять 0 -с самим распреде-
лением Р выборки X. Тогда соотношения эквивалентноеги (3),
где Q(0, е) = Q(P, е) есть область приема гипотезы (X (==!’}
при альтернативе Pt #= Р), позволяют построить довери-
' тельное множестве для Р. Например, мы видели в § 1.6, что
распределение статистики Dn = Vil sup I Fn (I) — F (t) I при усло-
вии X(^=P, где F есть непрерывная функция распределения,
соответствующая Р, от F пе зависит и может быть найдено. Ста-
ло быть, мы можем найти такое cZ = d(e), что PCZ?7l cZ(e)) =
«= 1 — е. Таким образом, неравенство

V п sup I F* (t) — F (i) I < d
t

определяет область приема гипотезы {X (= Р} для критерия
уровня 1 — е.

По это же неравенство определяет и доверительное множе-
ство для F — просто ввиду симметрии этого неравенства относи-
тельно F и F п специальной процедуры «обращения» здесь ле
требуется.

Доказательство теоремы 1 почти очевидно. В осно-
ве его лежит эквивалентность (3), в силу которой

Р0(6еО*(Х, e))=Pe(XeQ(0, е))>1-е.

Это доказывает первое утверждение. Чтобы доказать второе, рас-
смотрим какое-нибудь другое доверительное множество 0*(Х, е),
ц пусть Q(0, е) — соответствующее ему подмножество в
(Тогда

Ре(ХеЙ(0, Е))=Р9(0е0*(Х, 8))^ 1-е,

Р9(Хей(0ь e))>Pe(XeQ(0t, g))
при 0^02(0i), п, стало быть,

Ре(04 ® 0*(Х, е)) > Ре(01 0*(Х, е)). <

Рассмотрим теперь важный частный случай, связанный с одно-
мерным 0.

2. Наиболее точные доверительные интервалы.

Теорема 2. Пусть множество Q(0, е) р.н.м.к., рассмот-
ренного в теореме 1, имеет вид

с/0, е) С Т(х) С с2(0, е),

где cSQ, е) монотонно и непрерывно *) зависят от 0. Пусть, для
определенности, с,(0, е) возрастают. Тогда наиболее точное дове-
рительное множество {уровня 1 —е) относительно альтернатив
0' таких, что 0^02(0'), будет иметь форму интервала

где Т = Т (X), FF1 (t,e) есть решения относительно 0 уравне-
ний с,(0, е) = t.

*) Свойства монотонности и непрерывности с,(0, с) обычно вытекают
из таких же свойств функции распределения Ре(7’(Х) <с).В обозначениях
§ 2.31	(0, е) = G^1 (cj, с2 (0, е) = Gq1 (1 — е2), где Ge — функция рас-

пределения Ei + С2 = е.
§ 81

Мы видим, таким образом, что процедура построения довери-
тельного интервала здесь по существу та же, что и в § 2.31 —
с тон лишь особенностью, что в качестве статистики S здесь ис-
пользуется статистика 71 р. н. м. критерия.

Доказательство теоремы вполне очевидно, и оно предоставля-
ется читателю.

Рассмотрим теперь более подробно односторонние доверитель-
ные интервалы для скалярного 0. Опи используются там, где
наибольший интерес представляет лишь одна граница для оцени-
ваемого параметра. Такие ситуации возникают, когда оценивает-
ся вероятность какого-нибудь нежелательного события или, ска-
жем, оценивается величина разрывающего усилия для нового
сплава.

Ввиду симметрии можно ограничиться рассмотрением нижней
доверительной границы 0“(Х, е), для которой

Ре(0-(Х, е)^0)>1-е.	(5)

Определение 3. Граница 0“ = 0_(Х, е), - для которой
Ре(е-^е') минимальна при всех 0' < 0, называется наиболее
точной нижней доверительной границей уровня 1 — 8.

Допустим, что ш(0~, 0) есть какая-нибудь мера потерь, возни-
кающих от «недооценки» 0: н?(0~, 0) == 0 при 0_	0 и ш(0~, 0) >

5s 0 прп 0"<0; при этом w№~, 0) непрерывно возрастает при
удалении 0~ от 0, Mow(0 , 0)< оо.

Следующее утверждение в какой-то мере поясняет смысл оп-
ределения 3.

Л е м м а 1. Наиболее точная нижняя граница 0" минимизи-
рует значение Ме^(б , 0) при условии (5) и при любой функ-
ции w, обладающей сформулированными выше свойствами.

Доказательство. Пусть 0“ — другая нижняя граница.
Тогда, так как приращения duw(u, 0) по и в области и < 0 отри-
цательны, то
е	о

Меш(О“,0)= [гг? (и, 0) duPe (0“ < и) ~f Ро(б~<^)с?иш(м,0)^
— ОО	—- оо

о

Jpe(0“<u)duw(^, 0) = М(Щ‘(О~,0). <]
— оо

Мы видим, таким образом, что подход к определению наибо-
лее точных доверительных множеств в случае односторонних
множеств является вполне естественным. Можно теперь с по-
мощью теорем 1, 2 и результатов § 5 построить в явном виде од-
носторонние доверительные интервалы, для случая, когда отноше-
ние правдоподобия монотонно.

Теорема 3. Пусть Х^==. Pg, семейство {Ро} имеет монотон-
ное отношение правдоподобия относительно статистики Т(Х),
^-распределение которой Ge(Z) = Р0(71(Х) < t) непрерывно по
0 и t. Тогда статистика Т по распределению монотонно и непре-
рывно зависит от 0 (т. е. G0(i) непрерывно убывает с ростом 0,
см. определение 2,31.3). Если bit, -у) есть решение относительно
0 уравнения Goit) = ^, то наиболее точная нижняя граница
0“(Х, е) уровня 1 — е равна

0-(Х, е) = 6(ДХ), 1-е).

Другими словами, в утверждении теоремы 2.31.1 мы получим
наиболее точную нижнюю доверительную границу, если будем
использовать в качестве S статистику Т.

Доказательство. В нашем случае в условиях теорем 1, 2
надо положить 02(6) = {i: t>0}. В силу теоремы 5.1 существует
нерапдомпзировапный р. и. м. к. для проверки Я1 = {О = 01} про-
тив 7/2 = {0 > 0J с областью Q(0(, е) = {Х: Т(Х)<с} принятия
7Д, где с = с (015 1 — е) = Eq* (1 — е) определяется из условия

Ро1(7,(Х)<с(01,1-е)) = 1-е.

При этом

Ро (Т (X) > с) > е = Р61 (Т (X) > с)

при О>0Ь Последнее означает, что c(0t, 1 — е) < с(0, 1 — е) при
01 < 0, т. е. функция с(0, 1 — е) возрастает по 0. Непрерывность
г(0, 1 — е) =	(1 — е) по 0 следует из непрерывности Ge.

Мы видим, чт'о условия теорем 1, 2 полностью выполнены при
е;(0, е)=с(0, 1 — е) и, стало быть, наиболее точное доверитель-
ное множество имеет форму полуинтервала ic~liTiX), 1 — е), <»),
где, как мы видели в теореме 2.31.1, c~liT, 1 — е) = biT, 1 — е). <1
_ Точно так же можно построить наиболее точную верхнюю
границу 0+(Х, е).

Пусть теперь 0_(Х, 6i)<0+(X, е2) обозначают верхнюю и
нижнюю доверительные границы уровней 1 — et и 1 — е2 соответ-
ственно. Так как события {0~(Х, ej > 0} и {0+(Х, е2) < 0} не
пересекаются, то

Ре(0-(Х, е,) < 0 < 0+(Х, е2)) = 1 - ei - е2,

и (0_(Х, ej, 0+(Х, е2)) представляет собой доверительный интер-
вал уровня 1 — 61 — е2.

Пусть Wi(0“, 0) и i/’2(0+, 0) — функции потерь для границ 0Т,
обладающие свойствами, описанными в формулировке леммы 1.

Лемма 2. Пусть wiQ~, О4, 0) = ?щ(0-, 0) + zr(0+, 0). Тогда
доверительный интервал (0~, 0Н), образованный наиболее точны-
ми верхними и нижними границами, минимизирует м0«К 0\ 0)
при условиях

Ре(0-> 0)^е„ РД0+ < 0)	е2.
§ 8]

Эта лемма является очевидным следствием леммы 1. Она по-
казывает, что доверительный интервал, построенный с помощью
точной нижней и точной верхней границ, также будет обладать
свойством оптимальности.

Теорема 3 дает возможность в явном виде строить такие ин-
тервалы для параметрических семейств с монотонным отношени-
ем правдоподобия.

Предлагаем читателю убедиться с помощью сделанных заме-
чаний, что доверительные интервалы, построенные в § 2.32 для
среднего и дисперсии нормального распределения, будут иметь
наиболее точные верхние и пижние границы.

В теореме 1 и последующих рассмотрениях фигурировало ус-
ловие, что р. п. м. к. является перапдомизттроваппым. Однако это
ограничение не является существенным. Любой рандомизирован-
ный критерий л можно представить как нерандомизированный,
если ввести в рассмотрение дополнительное наблюдение У, неза-
висимое от X и равномерно распределенное па [О, 11. Действи-
тельно, рассмотрим для повой выборки (X, У) критическую об-
ласть

Q = {(х, у): л(х) > •?/},

т. е. положим б(Х, У) = 1, если (X, У)е2, и 6(Х, У) — 0 в про-
тивном случае. Тогда при любом распределении X

1

Р (6 (X, У) - 1) = Р (я (X) > У) = j' Р (я (X) >у) dy = М л (X),
О

и, стало быть, критерий 6 по своим параметрам эквивалентен л.

Как воспользоваться этим обстоятельством для построения
доверительных интервалов в условиях теоремы 3? Допустим • для
простоты, что статистика У(Х) целочнслепна (как мы видели, от-
сутствие перандомизированпых р. и. м. к. может быть вызвано
лишь дискретностью распределения 7’). Тогда наблюдение
i$(X, У) — У(Х) + У, У^П01, сохраняет всю информацию, со-
держащуюся в Т’(Х), так как Т(Х) есть целая часть S(X, У).
Р. п. м. к. уровня 1 — е можно придать выбором нецелого с(0, е)
следующую форму: принимается гипотеза У/,, если

5(Х, y)^c(eb 1-8).

Тем самым мы построили требуемые множества Й(0, е), и оста-
ется лишь «обратить» их тем же способом, что и прежде. Мы по-
лучим нижнюю границу

б“(Х, У, е) = гТО) + У, 1 - е),

где с-1 — функция, обратная к с по первому аргументу. Здесь
из самой формы записи видно, что для определения О- нужно
произвести дополнительное наблюдение У.
Пример 1. Пусть Х£=ВР, и пас интересует верхняя дове-
рительная граница р+ уровня 1 — е для вероятности р = Р(хг- =
= 1) == 1 — Р(х,= 0). Семейство распределений {Вр} экспоненци-
ально и удовлетворяет условиям теоремы 3, где следует положить
п

Т (X) — 2 хг* Рассмотрим наблюдение
7=1

s =	у^и011.

i 1

Оно имеет в точке i, OCi^n+1, плотность	— р)п~^*

Обозначим GPW функцию распределения с этой плотностью.
Тогда р+ будет решением уравнения Gp(i) = е.

3.	Несмещенные доверительные множества. Вернемся к во-
просу о наиболее точных доверительных множествах, С помо-
щыо теоремы 3 мы можем строить наиболее точные верхние и
нижние границы, основываясь на том, что для односторонних
альтернатив {0 > 0J, {0 < 0J гипотез {0 = 0J в ряде случаев су-
ществует р.н.м.к. Если же попытаться использовать теоремы 1, 2
непосредственно для построения наиболее точных доверительных
интервалов, то нам потребуется существование р. п. м. к. для про-
верки гипотезы {0 = 0J против {0 =£ 0J, что бывает весьма ред-
ко. Выход пз этого положения состоит в естественном сужении
класса рассматриваемых доверительных интервалов на топ же
основе, на которой мы сужали классы рассматриваемых крите-
риев в § 6, 7. Именно, введем понятия несмещенных и инвари-
антных доверительных множеств.

Пусть, как и прежде, каждому 0 соответствует множество
02(0), 0 Ф 02(0).

Определение 4. Доверительное множество 0*(Х, е) для
0 уровня 1 — е называется несмещенным относительно альтерна-
тив 0Z, таких что Ое02(0'), если

Ре(0'^0*(Х, е))С1-е при всех 0, 0',-0 02(О').	(6)

Множество 0*(Х, е) называется просто несмещенным, если
(6) справедливо для всех 0/=#0.

Несмещенность доверительного множества означает, что веро-
ятность покрытия им ложного значения 0' не больше, чём истин-
ного.

Определение 5. Доверительные множества, для которых
минимизируется (4) при условиях (1), (6), называются наиболее '
точными несмещенными доверительными множествами (уровня
1 — е) относительно альтернатив, для которых 0 е 02(0').

Теорема 4. 1) Несмещенные нерандомизированные крите-
рии порождают в силу эквивалентности (3) несмещенные' довери-
тельные множества, и наоборот.
2) Если Q(0i, е) при каждом 0^0 есть область принятия
гипотезы {0 = 0J нерандомизированного р. н. м. несмещенного
критерия при альтернативе {0е02(0!)}, то соответствующее мно-
жество 0*(Х, в) будет наиболее точным несмещенным довери-
тельным множеством, и наоборот.

Доказательство теоремы полностью повторяет рассуж-
дения теоремы 1, к которым надо добавить лишь, что свойство
песмещеппости при переходе от критериев к доверительным мно-
жествам и обратно сохраняется. Действительно, соотношения (1),
(6) эквивалентны

sup Ре (X се £2 (01э е))< 1 — в Рр (X ge Q (0lt в)).
Oeo^Gj)

Если п(Х) есть критическая функция нерандомизпроваппых
критериев, фигурирующих в теореме (л(Х)=0 при X Й(0Ь в)),
то мы получаем

Мол (X) = 1 - Ре (X е= Q(015 в)),
inf Мря (X) ^в Мо, л (X).
o-e2(Oi)

Это и есть, очевидно, свойство несмещенности, эквивалентное
(6). <

Если воспользоваться результатами § 6 и построить несме-
щенное наиболее точное доверительное множество для параметра
0 экспоненциального семейства, то мы получим тот же довери-
тельный интервал (0“, 0+), который мы строили, используя моно-
тонность отношения правдоподобия, т. ‘е. интервал, у которого
0“ и 0+ есть соответственно наиболее точные нижняя и верхняя
границы уровней 1 — е/2.

4.	Инвариантные доверительные множества. Следующее опре-
деление использует обозначения и понятия предыдущего парагра-
фа. Пусть {PJ — инвариантное семейство относительно G.

Определение 6. Доверительное множество 0*(Х, в) назы-
вается инвариантным *) относительно группы G, если

0*(gX, e)=g0*(X, в)	(7)

для всех gs G.

Смысл этого понятия аналогичен смыслу эквивариантной
оценки (§ 2.19). Если преобразования g и g интерпретировать
как замену системы координат, сохраняющую распределение, то
(7) означает, что доверительное множество пе зависит от коорди-
натной системы, в которой вПражепы исходные даппые.

*) Если следовать замечанию, сделанному в сноске на с. 182 § 2.19, то
доверительное множество со свойством (7) было бы естественнее называть
эквивариантным,
Определение 7. Доверительное множество 0*(Х, е) назы->
вается наиболее точным инвариантным доверительным множест-
вом уровня 1 — 8, если на нем минимизируется Pe(0z е 0* (X, е))
при всех О'0 вч классе всех множеств 0*, удовлетворяющих (7)
И УСЛОВИЮ Ре(0 е 0*(Х, s)) = 1 — 8.

Пусть Q(0j, е) есть область приема гипотезы ZZt = <0 = ОД
при альтернативе {0 =/= 0J для инвариантного критерия уровня
1 — 8. Отметим, что есть существенное различие в определениях
инвариантного критерия и инвариантного доверительного множе-
ства (его пе было бы, если бы требовалось выполнение равенства
gQ(0, e) = Q(£0, б), а не g£2(0, в) ==£2(0, б)). С этим фактом свя-
зано то обстоятельство, что соответствие между р. п. м. инвари-
антными критериями и наиболее точными инвариантными дове-
рительными интервалами выглядит несколько сложнее, чем в
предыдущих теоремах.

Рассмотрим группу преобразовании G и предположим, что для
каждого 04 в пей есть подгруппа G10J, оставляющая инвариант-
ной задачу проверки гипотезы 1Ц = {0 = 0J. Другими словами,
£0, = 04 при geGLOj.

Теорема 5. Пусть 0*(Х, е) — инвариантное относительно G
доверительное множество уровня 1 — 8. Тогда

1)	Область Q(G, е) = {х: 0<^0*(х, е)} будет инвариантной
относительно G[0] при каждом 0.

2)	Если область £2(0Ъ е), соответствующая 0*(Х, е), есть об-
ласть приема при альтернативе {0 =/= 0J для р. н. лг. инвариант-
ного критерия уровня 1 — е, то 0*(Х, е) будет наиболее точным
доверительным инвариантным множеством..

Доказательство. 1) Пусть g GL01. Тогда £0 = 0,
g£2(0, в) = {gx: 0ее0*(х, е)} = {х: 0e0*(g-‘x, е)} =

= {х: 0eg-10*(xi в)) = {х: £0ge0*(x, е)1 =

= {х: Ое0*(х, в)} =£2(0, в).

2)	Пусть 0* — любое другое инвариантное доверительное
множество уровня 1 — 8. Согласно первому утверждению ему
соответствует инвариантный критерий уровня 1 — 8 с областью
Q(0i, в), приема Н\.

Так как по предположению

Pe(X^Q(0I} e))>P.(XeQ(0b в)),
то

Ре(04 е 0*(Х, в)) > Pe(0i е= 0*(Х, е))

при 01 */= 0. Что и требовалось доказать. <1

Пример 2. Пусть X (= Фа о2- Требуется построить наиболее
точное доверительное множество для параметра о2 при неизвест-
ном а. Мы видели в примере 2 предыдущего параграфа, что
семейство Фа о2 инвариантно относительно преобразований сдви-
га gX = X 4- с, если положить g(cc, о2) = (а 4- с, о2). Статистика
п

Sp ~	j- ^(хг— х)2 является максимальным инвариантом, по-

г=1

строенным по достаточной статистике. Кроме того, гипотеза /Л =
= {о = oj инвариантна относительно G. Согласно примеру 7.2
р. и. м. инвариантный несмещенный критерий для проверки 7/j
имеет вид

l)5o<A2>eo‘i,	(8)

где hi, £ определяются из условий (см. условие (6.7) теоремы 6.1)
Р (^1,е	Хп—1	^2,е) = 1 —

М ('Хп—1! h1E <z Хп—1 <1 ^-а,е) = (1 ~~ е) МХп-1,

Хп—1Нп—1 •

Соответствующее (8) доверительное множество @*(Х, е) имеет
вид интервала

(п — 1) S^/h^ < о-3 < (и — 1) 5оЛ1,е.	(9)

Этот интервал, очевидно, инвариантен относительно g, как
и критерий (8) (в этом примере G[oJ = G для любого оЭ. Следо-
вательно, в силу вторых утверждений теорем 4, 5 интервал (9)
есть наиболее точное инвариантное несмещенное доверительное
множество уровня 1 — е.

Пример 3. Пусть Фа о2. Требуется построить наиболее
точное доверительное множество для параметра а при неизвест-
ном о. Здесь

1

/ 2 (X) =--------------— ехр

V ’	(2л)’1- 2 а’1

Семейство Фа о2 будет инвариантно относительно группы G ли-
нейных преобразований gX = аХ + Ь, если положить g(a, о) =
= (на4-&, но). Пара наблюдений (х, £ф) образует достаточную
статистику. Нетрудно видеть, что с ее помощью нельзя построить
статистику, инвариантную относительно G. Однако для каждого
од можно выделить подгруппу GtaJ преобразований gX =
= а(Х — С41) + а15 относительно которой статистика (х — at)/S0
будет максимальным инвариантом. Гипотеза IIl = {а = од} оста-
ется инвариантной относительно С[од1. Исследуя плотность
(х — <xJ)/*S'o, можно показать с помощью методов § 7 (ввиду слож-
ности этих рассмотрений мы их опускаем*), что при каждом о

) Подробнее об этом см. [40], с. 312,
р. н. м. несмещенный инвариантный критерий для проверки
гипотезы /Л против {а =/= cxj существует и имеет область приема
//* вида

Zn| х —а1|/50<т£,	(10)

где ts определяется из условия Р (| tn_r |	т£)~ 8, ^г_х Tn_v

Соответствующее доверительное множество 0* имеет вид

х — Te50/Vn < а < х 4-те50/Ун.	(И)

Легко видеть, что этот доверительный интервал является ин-
вариантным (0*(gX, e)=g0*(X, е)). В соответствии с первым
утверждением теоремы 5 критерий (10) будет инвариантным от-
носительно <?[«! . Согласно второму утверждению доверительный
интервал (11) будет наиболее точным (равномерно по о) инвари-
антным несмещенным доверительным интервалом уровня 1 — е*

Таким образом, в этом параграфе мы установили, что все
доверительные интервалы, построенные нами в § 2.32, являются
в известном смысле оптимальными.

§ 9. Байесовский и минимаксный подходы
к проверке сложных гипотез

1. Байесовские и минимаксные критерии. Байесовский и мини-
максный подходы были описаны в § 4. Там же были даны соот-
ветствующие определения, которые мы по ходу изложения на-
помним.

Пусть, как и прежде, проверяется гипотеза /Л = {0 s ©J
против 112 = (6 е 0J по выборке X £= Ре.

Полный, байесовский подход предполагает, что 0 выбирается
случайно с априорным распределением Q па 0 — Gi U 02. Распре-
деление Q индуцирует распределения Qi па 0i, i = 1, 2, и вероят-
ности q(i) = Q(0 0,), так что Q = <?(l)Qi + <?(2)Q>. Гипотезу
о том, что 6 е 0; выбирается случайным образом с распределени-
ем Q,, обозначим Hqv В соответствии с этой гипотезой X имеет
плотность

fQi И = J /е И Qi (dx).

Подразумевается, конечно, (см. § 4) что па 0£ определены
о-алгебры па которых заданы Q,, и что /е(х) измерима относи-
тельно ®iXS9^-

Из результатов § 1, 2 следует, что байесовски!! критерий я0
для проверки HQl против Hq2 в описанной выше задаче будет
§ 9]

БАЙЕСОВСКИЙ И МИНИМАКСНЫЙ ПОДХОДЫ

337

иметь вид



1, если /q2(X)>c/Q1(X),
р, если /q2 (X) = cfQ1 (X),
О, если /q2(X)<c/Q1(X),

(1)

где с = q(l)/q(2),	[0, 1] произвольно.

Частично байесовский подход связан с проверкой гипотезы
против Hq2 в том случае, когда априорное распределение
между Hqi и Hq2 (определяемое вероятностями </(1), ^(2)) от-
сутствует. Положим

/ff1 —[л,: М<э1л(Х)^е].

Тогда критерий	мы называем байесовским в

если это есть п. м. к. уровня 1 — 8 для проверки Hqt против Hq*.
Критерий будет иметь тот же вид (1), где с, р выбираются
Из условия MqiMqiq2(X) = 8.

Вместо HqiQ2 мы будем писать nQ1 или лр2, если одно из
множеств 01 или 02 вырождается в одноточечное множество {0J
или {0J.

В приложениях не часто встречаются задачи, в которых рас-
пределения Q; полностью известны. Однако, как мы уже пе раз
видели, польза байесовского подхода не ограничивается лишь
возможностью его непосредственного применения. Он позволяет
строить р. н. м. к., а также минимаксные критерии (ср. с §§ 1, 5,
6). Позже мы будем использовать байесовский подход также для
построения асимптотически оптимальных критериев. Пусть, как
и раньше,

Ке = Гл: sup Мол (X) el.

1	J

Тогда критерий л мы называем минимаксным в
если jigA’f1) и для пего максимизируется
inf Мол(Х)= inf р (0).

беО2	бев2

(2)

К£ (в Ке1),

(3)

Следует отметить, что если функции мощности р(0) —
= М©л (X) непрерывны и множества 01 и 02 соприкасаются, то

Р = sup inf р (0) е
ле/<£ беО2

(4)

и неравенство р > г выполняться пе может. Поэтому, если же-
лать, чтобы гарантированная мощность (3) была достаточно боль-

22 а. а. Боровков
шой (во всяком случае, больше s), *то следует рассматривать
«разделенные» множества 0f н 02. Другими словами, зону значе-
ний в, где р(0) близка к е, как зону «безразличия» критериев,
следует изъять и рассматривать в качестве 02 множество, не со-
прикасающееся с 01. .

Если все же множества соприкасаются, то любой несмещен-
ный критерий в Къ будет минимаксным. Действительно, для не-
смещенных критериев Р (0) = Мол (X) е, 0 е 02, и, стало
быть, Р — inf р (0)	8 достигает в силу (4) своего максималь-

ней

ного значения.

Обратное утверждение верно в общем случае: минимаксный
критерий, если он существует, является несмещенным. Это следу-
ет из того, что

Р = sup inf Р (0)	8

(мы можем взять л(Х) = е) и того, что для минимаксного кри-
тория

inf Р (0) — р.

оее2

Р. и. м. несмещенный критерий л в классе Ке всех несмещен-
ных критериев является минимаксным в Ке. Действительно, пусть
р(0) — функция’мощности критерия л. Тогда для любых л Ке,
0е 02

Р (0) > р (0), inf р (0) > inf р (0),

inf р (0) = sup inf р (0) = sup inf p (0),
0ao2	л=ке e<=°2	л=ке 0eo2

(5)

Последнее равенство объясняется тем, что добавление к Ке кри-
териев из КЕ, для которых inf р (0) <$, величины sup в (5)
еее2	леке

пе меняет. <3

В теореме 5.3 мы использовали байесовские критерии для
отыскания р. и. м. к. Следующее утверждение есть некоторое
«развитие» теоремы 5.3. Опо является также аналогом теорем 1.2,
2.11.2 и устанавливает, что минимаксные критерии следует искать
в классе критериев (1), явный вид которых нам известен.

Теорема 1. Пусть существуют распределения Q,, сосредото-
ченные соответственно на подмножествах 0< cz 0£, i = i, 2,
и постоянные с и р, такие что критерий	определенный

в (1), обладает свойствами
01

1)

2)	MenQiQ2(X)- sup McnQ1Q2(X)	(6)

€’6Ев j

при всех 9 е 0jj

3)	Моясл(Х)= inf Mcn01Q2(X)	(7)

Осе® 2

при всех 0 е 02.

Тогда	Хе и является минимаксным критерием в К,

для проверки ТЦ против Н2.

Пара распределений Q(, Q2, обладающая свойствами 2), 3),
является наименее благоприятной в том смысле, что для любых
двух других распределений Qn Q2

inf M6JIq Q C inf Мея ,

()ео2	1 2 0so2 0х02

где л ' ' — критерий вида (1) из Ке.
0j02

Последнее утверждение означает, что средн всех байесовских
критериев (1) критерий ЛохО2 обладает наименьшей гарантиро-
ванной мощностью.

Доказательство. Так как

sup Мол(?1On СХ) ~ j Mc^QjQoQi (^б) ==	= e,

“ e°

to Kq1<?2 e KE. Гарантированная мощность mqxq2 равна (см.
.(7))

inf Mo^q1q2(X) = J	(cZ0) = Mq2^Qiq2 ==	(8)

eee2	e°

2

Пусть теперь л — любой другой критерий из КЕ для проверки
П, против Н2. Тогда л будет одновременно критерием из xf1
для проверки 7/q1 против //q2, так как

Mq.m(X)= f M<;n(X)Q,(de)< sup Mell (*)<«•	(9)

ё; 	taei

По критерий л$1<?2 является п. м. к. в /if1 для проверки Hq-
против IIq2- Стало быть, в силу (8)

jnf M(^q1<?2 (X) = Pq1(?2 > М(22л (X) > Дп! Мол (X).	(10)

Первое утверждение теоремы доказано. Пусть теперь Qi,
vQ2— два любых других распределения па 0Х, 02 соответственно.
22*
Критерий	как и л г г, будет критерием из К&1

01^2

для проверки Н • против Н •, так как
01	О 2

мп'= f M^Q1q9 (X) Qi (dO) < sup M0nQ1Q2 (X) < e.

V1	o=ei

Но критерий л / t является и. м. к. для этих гипотез, поэтому
QiQg

в силу (8)

“ МЛ’о'(Х) > М<ДЧМХ) =

V2 *<1^2

«= ( Mo^QiQ2(X)Q., (rf6) ^5 inf MoKQ1q2 (X) = pQiQ2. <]

o3	.	es02

Основная трудность в применении теоремы 1 к реальным за-
дачам состоит в отыскании (или угадывании) наименее благопри-
ятных распределении Qt и Q2. Иногда при этом могут оказаться
полезными соображения инвариантности, как это имеет место
в примерах следующего раздела. Эти примеры представляют са-
мостоятельный интерес п будут использоваться в дальнейшем.

2. Минимаксные критерии для параметра а нормальных рас-
пределений.

Пример. 1. Пусть X = хх Фа,Е есть выборка объема
п — 1 из m-мерпого нормального распределения со средним а —
= («1, а,п) и единичной матрицей вторых моментов. Обозпа-
тп

чим | а |3 ~ У, а$ п рассмотрим задачу о проверке гипотезы
г=1

1Ц = {|cd а} против II {led	&), 1з ^'> а (здесь имеется ^разде-

ляющая» зона а< led < Ь).

Если, например, X определяет в канале связи амплитуды век-
тора-сигнала, состоящего из «шума» Х0^Ф0>1 и полезного сиг-
нала а, 1а|5*&, то гипотезы IIг при а = 0 можно рассматривать
как гипотезы о наличии полезного сигнала.

Так как рассматриваемый пример будет неоднократно исполь-
зоваться нами в дальнейшем, то утверждение, относящееся к виду
минимаксного критерия, мы сформулируем в_впде теоремы.

Теорема 2. Минимаксный критерий л Ке для проверки
/Л = {|а1 Cd против #2 = {led > Ъ), а<Ь, по наблюдению Х^=
Фа,к имеет вид

л (X) =

если

если

где сг выбирается из условия

ре(а) — е, гарантированная
мощность л равна Рсе(Ь),

Pc (t) — Р ((£1 — О2 4* ^2 4“ • * ' 4*	> С2),

£г€=Ф0,1 и независимы.

Доказательство. Мы начнем с изводящих соображений.
В нашем случае для х= (ж(1), ..., х{т)) имеем

/«(ж) = ^75 ех₽ {- у (ж - “) (ж - «)Т),

где хг— вектор-столбец. Отсюда видно, что рассматриваемое се-
мейство распределении инвариантно относительно ортогонального
преобразования gx—xC, где С есть матрица ортогонального пре-
образования в Rm. Прп этом надо положить ga — аС. Гипотезы
Hi будут инвариантными относительно g.

Пусть для простоты а — 0. Если бы распределение Q2 на 02 =
= {<%: ial > b} пе обнаруживало инвариантности относительно g
(так будет, например, если оно сосредоточено в окрестности ка-
кой-нибудь точки а0), то эту песимметрию можно было бы как-то
использовать прп решении задачи (при сделанном только что до-
пущении мы были бы близки к задаче проверки двух простых
гипотез {а — 0} и {а = а0) и получили бы прп этом критерии
с большой мощностью). Стало быть, такое распределение не мо-
жет быть наименее благоприятным. Им должно быть распределе-
ние Q2, инвариантное относительно g. Кроме того, яспо, что пан-
худший вариант мы получим, если все распределение будет со-
средоточено па границе 02 (чем ближе гипотезы, тем труднее их
различать). Аналогичные наводящие рассуждения можно прово-
дить относительно Q1? если а "А 0.

Итак, представляется естественным, что наименее благоприят-
ные распределения Qt и Q2 в нашем примере есть равномерные
распределения па сферах 0г = {а : | а | = а} и 02 = {а : | а | = Ь}.
В этом случае согласно теореме 1 мннпмакспый критерий л
будет иметь вид л(а?) == nQ1Q2 (а?), где (ж) = 1, если

J охр {— 4 (ж — г)	"" Г)Т} >

о	2

>с f схр	4 (* ~	<и)

о	4	1

11 3TQ1Q2 № ~ 0 в противном случае. Здесь dV(v) означает пло-
щадь' элемента соответствующей сферы, V\ — шея 0Ъ г = 1, 2.
Рассмотрим любой из этих интегралов, например, правый,
и заметим, что его можно записать в виде

(	1 т 21 С ( 7] dV (г)

ехр j----- хх — ащ• I охр \xv J .

ei

Интеграл здесь равен

J ехр { | х | aexvT} dV (v)/'V, V = mes 0°,
e°

где 0° — поверхность единичного шара, ех~х!\х\. Стало быть,
если обозначить

яр (О = f ехР \texvT} dV (р),	(12)

0°

то область (11) приема //2 примет форму

яр(|а4&) > схр(1«|а)	(13)

(через с мы обозначаем здесь постоянные, не обязательно совпа-
дающие со значением в (11)). По яр(0, очевидно, от х пе зависит,
поскольку значение интеграла (12) пе зависит от направления
единичного вектора ех. Поэтому

яр (i) = j* ехр {tvx} dV (р),
©°

где vt есть первая координата вектора v.

Так как яр'(О)=О, гр" (Z) > 0 при t > 0, то гр(0 есть выпук-
лая возрастающая функция на [0, оо). Отсюда следует, что нера-
венство (13) (или (11)) эквивалентно

|ж| > с.	(14)

Это есть, очевидно, инвариантный критерий. Проверим для пего
выполнение условий 1—3 теоремы 1 и установим тем самым, что
это минимаксный критерий.

Имеем

ManQi<?2 (X) = Ра (| X | > с) = Ф0;Е ({.г: | х — а | > с}).

Ясно, что перемещение точки-а по сфере led = const этой вероят-
ности пе меняет. Стало быть, она зависит лишь от I а| и, следова-
тельно,

= Р (| £ — а |2 > е2) =

(т	\

2 (5i - «О2 > Л = Р ((L -1 а | )2 + 51 + ... + Й > с2),
г=1	/

еде £г€=Фо,1 есть независимые координаты вектора

Лемма 1. Функция pc(i) = P((£i — i)2 + £2 +  •. 4~	с2)

при каждом с является возрастающей функцией |i|.
Из этой леммы вытекает, что

ManQjQ2 (X) = рс (| а | X рс (а) при [а |< «,

M<z^q1q.2 (X) .= рс (| а |) > рс (Ь) при | а | > Ь,

Эти соотношения эквивалентны условиям 2)’, 3) теоремы 1. Чтобы
критерий	был критерием уровня 1 — е, мы должны поло-

жить с равным решению се уравнения рс(«) = е. Таким образом,
3TqjQ2 есть минимаксный критерий уровня 1 — е, и его гаранти-
рованная мощность равна Рсе(Ъ). <

Доказательство леммы 1. Так как pc(t) = рс(—t), то
мы можем ограничиться рассмотрением значении t > 0.

Рассмотрим сначала случай т = 1. Обозначим функцию pc(t)
в этом случае через p(t). Имеем

p(i) = Р(1^ - «I2 > с2) = Ф(£ - с) + 1 - Ф(£ + с).

Стало быть, производная по t равна

= -k e-(e2+«2r/4/‘ _ е-‘<1 > 0,
1/2л	L	’

и функция р(£) возрастает при £>0.

При т > 1 функция pc(i) есть свертка функции p(i) = p(i, с2)
с распределением %2 с иг — 1 степенями свободы:

Рс (£) = J /Х£, с2—w)tZHm-i(u).
' о

Очевидно, это также есть возрастающая функция t при t > 0. <1

По поводу теоремы 2 можно заметить следующее. Пусть для
простоты а = 0. Тогда гипотеза /Л — {« = 0} станет простой. Если
мы построим н. м. к. для каждой альтернативы а е 02j то полу-
чим критерии вида

хаТ > с.

Это значит, что каждое направление а — aot, сх0 е 02, t > 1,
будет иметь свой и. м. к. уровня 1 — е

Се,	(15)

где сЕ зависит только от е, так как M0(X«q) — 0, D0(Xc£q) =
= laol3:=fr- По критическая область минимаксного (инвариант-
ного) критерия должна быть одинаково чувствительна по всем
альтернативам. В соответствии с этим она имеет форму объедине-
ния полупространств (15), представляющего собой внешность
сферы. '	'	.. . 
Пример 2. Пусть теперь X = х, £= Фао2, где о2 = Haji есть
произвольная положительно определенная матрица вторых мо-
ментов. Рассмотрим задачу о проверке гипотезы II t = {ссо_2ат
а2} — {|ао~‘1 а} против Н2 = {cto~zaT > Ъ2} = {' ссст11 > Ь},
а<Ь. Из теоремы 2 вытекает

Теорема 2А. Критическое множество минимаксного крите-
рия уровня 1 — е для проверки II i против Н2 имеет вид

— 2 т _	2

XG X > Се

и гарантированную мощность Рсе(Ъ), где се, как и прежде, есть
решение уравнения рс(а) = е.

Доказательство. Положим gx=x о и заметим, что в си-
лу (7.3)

Фа.В(Л) = Ф-(а Е> (gA),

где g(a, Е) == (асг, о2). Для шара А = {х; \х | < с) будем иметь
gA = [у = хо: ххтс с2] = {//: усГ2утС с2},

Фа.кИ) = ФаО1Ог({^: хсГ2хт < с2}).

Множество {а:	переходит после преобразования g

 в множество = ао: ааг < а2} = {,3: Ро-2^т < а2}.

:	Таким образом, все соотношения, установленные нами в при-

мере 1 для Ф<х,еС4) при Iced < « или I а I > &, будут справедливы
для Фр о-2({д?: xo~2xT<Zc2}) при	или I .Во"11 > b соот-

ветственно.

Это доказывает теорему 2А. <

Пример 3. Рассмотрим слова выборку из нормального' рас-
пределения ФК,Е с единичной матрицей вторых моментов. Однако,
в отличие от примера 1, проверяемые гипотезы Hi будут касаться
лишь части координат вектора а. Представим а в виде набора
двух векторов а = (а', зс"), где а' — (аь ..%), а" = (cq+1,’...
..ат), и рассмотрим задачу о проверке гипотезы ZZt == {|<х" 1'^
а} против ZZ2 = {|а" I > Ы по выборке X = х< = (хм, ..., х11??1)
объема п — 1. Величина cl при каждой из гипотез может прини-
мать произвольное значение. Поступим точно так же, как в при-
мере 1, по выберем в качестве Qt, Q2 равномерные распределения
на «сферах» ®i== {а: |а"| = а, а' = с/.о}, 02 = {а:| а" |= Ь, а'= а0],
где а0 — какая-нибудь фиксированная точка. Если обозначить
х1 = (х1,1»	х1,г)»	= (xl,J+li • • • 1 xl,rn), то мы получим

в результате минимаксный критерий

I xi | >
где се есть решение уравнения.

Р ((£1 — й)2 + ^2 + ♦ » ’ + I > С2) =6	(1П
(множители ехр {—а0) (#' — a0)rj в неравенстве
сократятся, и оно перейдет в неравенство типа
(11)). Этот результат является вполне естественным, так как ко-
ординаты Xi,, в нашем случае независимы и, стало быть, подвек-
тор хх не песет в себе никакой информации относительно а".
Поэтому из всей выборки X = Xi достаточно рассматривать лишь
подвектор х1( а в этом случае задача сводится к примеру 1.

Проверка гипотез в примере 3 отпосптся к классу задач при
наличии так называемого «мешающего» параметра. В пашем слу-
чае мешающим параметром служил вектор-о/. В силу отмечен-
ных выше причин он па самом деле практически пе мешал по-
строению минимаксного критерия, который автоматически полу-
чился пе зависящим от а .	

Несколько иначе дело обстоит в следующем более общем при-
мере, когда координаты хи зависимы.

П р и м е р 4. Пусть X = хх (== Фа а2. Рассмотрим задачу о про-
верке гипотезы

{ad-2aT^ а2} против Н2 [ad~2aT Ь2},	(18)

где d~z — неотрицательно определенная матрица ранга т — 1<т,
полученная из о-2 заменой элементов каких-нибудь I строк и I
столбцов (с теми же номерами) па нули. Для определенности мож-
но считать, что для положительно определенной матрицы о'2’“ по-
рядка (m — Z) X (т — Z), обратной к матрице

^=Мад2(.<-а')Т(х;-а"),-

образованной последними т — Z столбцами п строками матрицы
о2 = НоцП, проверяется гипотеза Ну [а"аГ2а"г^ я2} против Н2 =
= {а"о2 2а"г^6-}, где хх, «"означают те же подвекторы векторов
xt и а, что и в предыдущем примере. Мешающий параметр а мо-
жет быть в каждой из гипотез 77, произвольным.

В этом примере распределение х17 вообще говоря, зависит от
а". Сделаем следующее преобразование по превращению xt в век-
тор с «ортопормированными» координатами. Положим

У = XiA,

(19)

где /1 =	— треугольная матрица с элементами = 0 при / >

~> i. Оставшиеся элементы выбираются пз условия у СЕ Фр,к. где
Р’= (₽!, ..., рт)=аЛ. Это всегда можно сделать, так как из (19)
получаем

Уш Xt. mflm, m,

Ут—1 Xi. тОщ, m — i	Xi, т — t^m — 1, т—1,
Отсюда и из условий

М,,^ (у,-&)» = !,

Моо2(У, —Pi)(yj — ₽j) = 0,	»#=/,

поочередно определяются значения

2	_ л /

С1т,т — -Ьиэтг>7П,

^т,т^т,т—1 4“ ®т—1,т—1 — О,

1 4“	—i@mtm—4" C?n—i.in—i,m—1 = i,

Таким образом, треугольная матрица А такова, что

Ма.о2 (У — Р)2 (У — Р) = Ма а2ЛТ U1 — сс)Г (хх — се) Л = Лго2А - Е.

Из трсуголыюсти X следует, что вектор 0" — (pz+i, ..£та) зави-
сит лишь от а", и наоборот. Если обозначить Л2 треугольную мат-
рицу порядка (т — Z) X (тп — Z), полученную из последних т — 1
строк и столбцов матрицы то мы получим, очевидно, 0" — а"А2,
Л2п|Л2 = Е. Множество ©х ~ {се: а"о.2 2а" ^н2} перейдем в мно-
жество

{0: 0 = аА, а"оГ2а"т<а2) - [0: 0',А.Г1оГ2Л2“1Г0"Т < «21 =

= (р: р'Р"т<«г) = !Р: |Р’К 4-

«Подпараметр» 0' может быть произвольным, если произвольно а'.

Мы пришли к задаче примера 3. Минимаксный критерий
уровня 1 — 8 для проверки Hi против IE имеет, следовательно,
вид у"у"Т > сЕ или (А2Л? = и72)

п __n ffT

1^2 Х1

се

где с£ — решение уравнения (17).

Последний пример является наиболее общим пз примеров
1 — 4. Он резюмирует содержание этих примеров следующим об-
разом.

Теорема 2В. Если по выборке А’=х1^Фа 2 проверяются
гипотезы (18), связанные со значением ad~2aT, го минимаксный
критерий уровня 1 — 8 имеет вид

xxd~4Tr>c£, ’	(20)

где се определяется в (17), тп~ I есть ранг d~z.

Гарантированная мощность критерия (20) равна

Р((fei — by 4- £2 4- ... 4- £т-г >	Фол*

Если выборка X имеет объем п, то х^=Фа о2/п будет доста-
точном статистикой, а минимаксный критерий будет иметь вид
, а . xtZ-2xT > cjn.
§ 9]

БАЙЕСОВСКИЙ II МИНИМАКСНЫЙ ПОДХОДЫ

347

Следующий пример будет носить несколько иной характер.

Пример 5. Пусть, как и в примере 1, Х=хх^Фа>Е есть
выборка объема п ==• 1 из иг-мерпого нормального распределения
со средним а = (ссь ».ссга). Пусть = {а = 0}, а гипотеза П2 со-
стоит в том, что а принадлежит некоторому множеству 02, пе со-
держащему точки а 02- Обозначим 02 выпуклое замыкание мно-
жества 02 (наименьшее выпуклое замкнутое множество, содержа-
щее 02), и пусть есть точка из 02, ближайшая к началу коорди-
нат, Тогда если р <= 02, то распределение Q2, сосредоточенное в
точке р, будет наименее благоприятным, и минимаксный крите-
рий л будет иметь вид л(Х) = 1, если

(Х-р)(Х-£)т<ХХг-1-с

или, что то же, если

Х^/!$1 >с2,

где с2 выбирается из условия л <= Ке.

В самом деле, нам достаточно проверить условие (7). Имеем

Мал(Х) = Ра(Х₽7|₽|>с2),

где Хр7|р|<=Ф

а₽г/|0|,1’' так чт0

мой (X) = 1 - ф(с2 - «р7| РI).

Это значит, что минимум Мал (X), а 02, достигается при а, ми-
нимизирующем функцию офг/1Р1. Но очевидно, что	— 1р12

при всех а е 02, так что

Мрл(Х)= inf Мал(Х). <



Мы предлагаем читателю построить мпппмакспый критерий в
той же задаче, когда X (Ц Фа аг, о-2 есть произвольная матрица
вторых моментов.

3. Вырожденные наименее благоприятные распределения для
односторонних гипотез. ПустьХ(==Ро, где 6 и элементы х{ выборки
X вещественны.

Предположим, что мы проверяем одностороннюю гипотезу
= <0 против 772 — {0 > 02) прп наличии непустой «зоны
безразличия» 0! < 0 < 02. При каких условиях наименее благо-
приятные распределения будут сосредоточены в точках 0j и 02?
Ведь в этом случае минимаксный критерий л- уровня 1 — е выгля-
дел бы весьма просто:

л(Х) =

1, если fQi (X) > cfQ1 (X),
Р, если /о2 (X) = с/01 (А),
О, если /е2 (А) < с/01 (А),

(21)

где рис определяются равенством М01л (X) = е.

Мы уже знаем, что если отношение правдоподобия монотонно,
то такой критерий будет р. и. м., а, стало быть, и минимаксным.
Следующее утверждение дает другое достаточное условие для то-
го, "чтобы критерий был минимаксным.

Теорема 3. Пусть плотность fe(x) обладает тем свойством,
что отношение (ж)//0(л)не убывает по х при любых 6' > 0. Тог-
да наименее благоприятные распределения Qi и Q, будут сосредо-
точены соответственно в точках Ох и 02, и, стало быть, критерий
(21) будет минимаксным.

Доказательство. Пусть сначала п = 1. По условию теоре-
мы найдутся такие а Ъ, что /0' (^)//е (ж)	1 прп х е (— оо, а],

/о' (жУ/о (г) ~ прц х е (£» /ы (ж)//е (я)	1 при х е= [&, оо). Так

как л(х) не убывает, то л(&) > л(«) и

М0'Л (X) — М0л (А)

а	оо

> я («) J (/О' И — /о (^)) U (dx) + л (b) J (/о/ (ж) — /е (х)) Ц (dx) =
— со	Ъ

оо

= (^ (Ь) — Л (a)) J (fQ> (х) — /о (х)) н (dx) 0.

ь

Если п > 1, то для получения такого же неравенства нужно
воспользоваться последовательным интегрированием (сначала по
хь затем по х2 и т. д.) и тем, что л(Х) не убывает по каждому
из своих аргументов.

Таким образом, мы установили, что мощность р (0) = М0л (X)
является неубывающей функцией.

Отсюда следует, что уровень л равен 1 — 8 и что Р (©х) =
~ sup р (0), р (0.,) ~ inf р (0). Это означает, что выполнены все
о«ех	“ е>е2

условия теоремы 1. Теорема 3 доказана. <

Если 0 — параметр сдвига: /е(ж) = /(х — 0), то можно показать,
что /е' (x)/fa (х) будет монотонно по х тогда и только тогда, когда
функция —ln.j(x) является выпуклой (см. [401),
§ 10.	Критерий отношения правдоподобия

В предыдущих параграфах мы получили ряд результатов, ка-
сающихся построения разного рода оптимальных критериев. Важ-
ный вывод, который можно сделать из приведенных рассмотрений,
состоит в том, что эти оптимальные критерии существуют лишь
при весьма ограниченных условиях. В теории оценпвапия мы име-
ли примерно ту же ситуацию: эффективные оценки существуют
также лишь при ограничительных условиях. Однако мы видели в
главе 2, что если рассматривать не точное, а асимптотическое
свойство эффективности, то оценки, обладающие этим свойством,
существуют уже довольно часто, при весьма  широких условиях,
связанных главным образом с регулярностью семейства {Ре). Та-
кими оценками являются о. м. и.

Другое выражение асимптотической оптимальности о. м. п., как
мы видели,- состоит в том, что о. м. п. асимптотически эквивалент-
ны байесовским оценкам для любого фиксированного гладкого ап-
риорного распределения.

В теории проверки гипотез некоторым аналогом о. м. и. являет-
ся так называемый критерий отношения правдоподобия (к. о. п.).
При широких предположениях оп совпадает с оптимальными кри-
териями, если таковые существуют, и оказывается асимптотически
эквивалентным байесовскому критерию в случае 0t = (бД при лю-
бом фиксированном гладком априорном распределении Q2 на О2.
Это свойство и ряд других асимптотических свойств к. о. и. будут
установлены в ближайших параграфах.

Дадим определение к. о. п. Пусть в параметрическом случае,
когда Ре, проверяется гипотеза /Д = {0 0Д против гипотезы
н2 = {е е= ©j.

О п р е д е л е п и е 1. Критерий л (JY) с критической областью
sup /0(Х)

Я(Х)=^-—(1)
v 7 sup /е(А)	•

0еег

называется критерием отношения правдоподобия (к. б. п.) для про-
верки гипотезы Hi против Н2.

Постоянная с обычно выбирается из условия
sup Ре (Я(Х)> с) = е,	-

eeoj

при котором к. о. п. будет иметь уровень 1 — 8.

Наряду с критерием (1) часто рассматривают по существу эк-
вивалентный ему критерий (который также называется к. о. п.)
вида

sup /е (А) щ (%)

— sup /0 (X) sup /е (X) >671	(3)
Близость этих критериев вытекает из того что при 0 = 0i U 02
/о* (X) = max f sup /е (X), sup /0 (ХП,
(oeoj	eeo2 J

и, стало быть, ЛДХ) = тах{1, /?(Х)}.

Если гипотеза ЕЕ простая: 0( = {6J, Z/2 = {0^6J, так что
02—0\{0i}, то для /е(хг), непрерывных но 6, будем иметь

По своей форме критерии (1) естественным образом обобщает
п. м. к. для проверки простых гипотез в лемме Неймана — Пирсо-
на. И хотя точных свойств оптимальности этот критерий в общем
случае, по-видимому, не имеет, асимптотически он часто оказыва-
ется наилучшим (см. §§ 13—16).

Многие несмещенные инвариантные и минимаксные критерии,
рассмотренные выше, являются к. о. и. Рассмотрим для иллюстра-
ции примеры 9.1—9.4, в которых строились минимаксные крите-
рии для параметра а нормальных совокупностей. Во всех этих
примерах минимаксные критерии являются к.о.п. Докажем это.
Задачи примеров 9.2, 9.4 с точностью до линейных преобразова-
ний параметра сводились к задачам примеров 9.1, 9.3. Так как
отношение правдоподобия (1) от таких замен (при соответствую-
щем изменении областей 0J пе зависит, то нам достаточно рас-
смотреть лишь примеры 9.1, 9.3.

В примере 9.1 но выборке X е единичного объема из мно-
гомерной нормальной совокупности с единичной матрицей Е вторых
моментов проверялась гипотеза 7Л = {|а1 < а) против Z/2 = {|сс! >
> Ь}, а < Ь. Оказалось, что минимаксный критерий имеет форму

1Х| > с.	(4)

В пашем случае sup/0(X) определяется значением

inf (X — а) (X — а)т = inf | X — а|2,
? аев,	'	а~0;

так что для статистики 7?(Х) в (1) будем иметь

если

а,

1пЛ(Х) =;-А(|Х|-Ь)2 + 4(|Х|-а)!,

если « < | X | < 6,

если | X | Ъ.

Это есть непрерывная возрастающая функция от 1Х|. Поэтому
области (1) и (4) при подходящих значениях с совпадают.

Предлагаем читателю убедиться, что критерий (3) в этом при-
мере также имеет вид (4).
В примере 9.3 по выборке Х£=Фа>£ единичного объема прове-
рялась гипотеза /Л = {|сс" I < а) против Н2 — {\а" I > Ь}, где а" —
= (<Х/+1, се™) есть подвектор вектора а, составленный из его
последних тп — I координат. Минимаксный критерий имеет вид

|Х"|>с, ‘	(5)

где X" составлен из т — 1 последних координат вектора Х„ Но в
этом случае

inf (X - а) (X — а)Т = inf (Xя — а") (Xя - а")т»
ае©!	а": I а" [

Аналогичное неравенство справедливо для ©2. Поэтому все сводит-
ся к рассмотрениям, проведенным для примера 9.1, и к. о. п. (1) и
(3) будут совпадать с (5).

В условиях § 5 построенные там р. п. м. к. для экспоненциаль-
ных семейств

/0(^ = с(е)ест<*)/^)	(6)

также будут совпадать с к. о. п. Читатель может проверить это
Самостоятельно, заметив, что функция

<р (6) = In с (G) = — In ( f e}T^h (л?) |.in

является выпуклой, поскольку ср' (0) = — Ме7\ ср" (0)= — De?1 < 0.
Из выпуклости ср вытекает однозначная разрешимость уравнения

<р'(0) + 7(Х)=0

для о. м. п. 0* = г]?(Г) п монотонность функции ф. При этом один
из sup /о (^) будет достигаться в точке 0*, а другой — в точках
е<=е$

0! или 02.

Проверка сделанного утверждения для нормальных семейств
Фа, к, являющихся частным случаем (6), содержится в § 15.

Несколько иначе обстоит дело в примере 9.5, в котором по вы-
борке Х(=ФаЕ проверялась гипотеза ZZ1«{a = 0) против II
= {а^02}. Предполагается, что множество 02 и его выпуклое за-
мыкание ©2 не содержит точки а — 0. Если ближайшая к началу
координат точка множества ©2 принадлежит 02, то минимакс-
ный критерий существует и имеет вид

Х[->т>с.	(7)

Этот критерий по является инвариантным относительно какой-ли-
бо группы преобразований. Мы предлагаем читателю убедиться,
что в этом случае к. о. п. будет отличным от (7) и будет иметь
ВИД
р2(х, е2)-р2(х, охс, »

где р (X, 02) = inf | X - а |, р (X, 0) = [ Х|.

аев2

Установим теперь, что при выполнении некоторых предполо-
жений критерий отношения правдоподобия обладает свойствами
инвариантности. Пусть G — любая группа преобразований в <52?”,
относительно которой задача проверки гипотез Hi п Н2 инвариант-
на, и пусть G — соответствующая группа преобразований g на 0.

Теорема 1. Если f9{x) обладает свойством

fe (£И) « с (g, х) f-Q (х),	(8)

то критерий отношения правдоподобия инвариантен относитель-
но G.

По поводу условия (8) отметим, что опо всегда выполнено, если
р есть мера Лебега, и g — преобразование, сохраняющее меру
(сдвиг, поворот). В этом случае c(g, т) = 1. Для преобразований
сжатия c(g, х) const.

Доказательство теоремы 1. В силу того, что g0f = 0.-,
i = 1, 2, будем иметь

sup fe(gx)	sup С (g, X) f- (x) SUP fe (^)

„, v eeOo	ese2 .	e=ge2 „. x

7? (gX) ~ --—----- = -----7--r-z-—• = —----= R(x). <

>	sup/0(g«) sup c(g, x)t-R(X) sup /a (a?)	-	>.

- 0^01	OsOjl	o<=„01

Другие свойства к. о. п. см. в §§ 11, 13—16.

§ 11*. Последовательный анализ

1.	Вводные замечания. Во всех предыдущих рассмотрениях
объем п выборки X = Хп, которой мы располагаем, был фиксиро-
ванным. При этом условии мы искали критерии, обладающие
теми или иными свойствами оптимальности. Например, в самом
простом случае, когда проверяются две .простые гипотезы Hi ~
•=={Х(=Р4, i=l, 2, оказалось, что существует п. м. к. л уровня
1 — е, который имеет вид (см. теорему 2.1)

л(Х) =

1, если /2(Х) > с/ДХ),
р, если /2 (X) = cfi (X),
0, если /2 (Ад < c/i (ХЛ

Здесь сир определяются из условия М 1Л (X) = е, /,(х) суть плот-
ное ги распределений Р„ i=l, 2, относительпо некоторой меры ц.

Возможно ли дальнейшее улучшение этой статистической
процедуры? В сформулированных условиях, конечно, пет. Но
если отказаться от фиксации объема выборки, т. е. сделать число
наблюдений п случайной величиной, зависящей от уже прове-
денных наблюдений, то улучшения возможны. Имеется в виду
сокращение числа наблюдений» необходимых для построения
критерия с заданными параметрами. Это обстоятельство суще-
ственно для тех экспериментов, где проведение опытов сопряже-
но с затратами.

Принципиальную возможность такого улучшения критериев
можно пояснить па следующем примере. Допустим, что распре-
деления Pj и Р2 не являются взаимно абсолютно непрерывными,
и пусть существуют множества Bi и В2 из 83^, такие что
/1(ж)>0, /2(а:)—О прп х^Вц и = 0, /2(^)>0 при х^В2.
Тогда ясно, что если xt е Bv (xt е В2), то мы безошибочно можем
утверждать, что имеет место гипотеза (Н2). При этом ’нет
никакой необходимости делать дальнейшие наблюдения.

Таким образом, если проводить эксперименты пе сразу в ко-
личестве п штук, а последовательно, рассматривая результат
каждом новой серии наблюдений, то можно объем наблюдений
сократить.

Введение последовательной процедуры представляется очень
естественным и с точки зрения байесовского подхода. В самом
деле, байесовский критерий, рассмотренный нами в § 2, предпи-
сывает принимать гипотезу II2, если апостериорная вероятность
q(2/X) этой гипотезы 5И/2. При этом в критическом множестве
среди других будут находиться как выборки X, для которых
q(2/X) близка к 1 (для таких X прием Н2 представляется целе-
сообразным), так, и выборки X, для которых q(2/X) близко к 1/2.
Эти последние было бы естественно рассматривать как «недоста-
точные» для приема решения и требующие дополнительных экс-
периментов. Кроме того, как и в приведенном выше примере,
апостериорная вероятность q(2/X) может оказаться большой уже
после первых опытов, и тогда решение можно было бы прини-
мать без последующих испытаний (в упомянутом примере
q(2/X) = 1 при X — В2 для любого априорного распределения
(г/(1), ?(2)), д(2)>0).

Ниже мы рассмотрим последовательную процедуру для про-
верки двух простых гипотез, на которой будет достигаться наи-
большее возможное сокращение числа наблюдений.

2.	Байесовский последовательный критерий. Рассмотрим сна-
чала байесовскую постановку задачи и обозначим через </(1) = q,
q(2) = 1 — q априорные вероятности гипотез Н2. Тогда апо-
стериорная вероятность гипотезы Hf после наблюдений X = XIL
будет равна

а (; IV \  <7 (О Л (хп)	.

Будем проводить наблюдения последовательно и при каждом п
будем вычислять значения g(2/Xn), п=1, 2, ... (или ^(1/Хп)).
23 а. а. Боровков
В плоскости переменных (п, у) рассмотрим случайную траекто-
рию апостериорных вероятностен (случайную ломаную), выхо-
дящую при п — 0 из точки р = д(2) и принимающую в точках
тг = 1, 2, ... значения у — q(2/Xn). С помощью этой траектории
можно построить следующий критерии для проверки гипотезы
lit против //2: рассмотрим в плоскости (п, у) две прямолинейные
границы у = у,-, i — 1, 2; 0<Yi<Y2< 1, для переменной q{2/Xn).
Принимается гипотеза Я2, если траектория q(2/Xn\ п — 0, 1, ...,
впервые выйдет из полосы (yi, 72) через верхнюю границу 72.
Если траектория g(2/Xn), п = 0, 1, ..., выйдет из этой полосы
через нижнюю границу ylf то принимается /Д. Позже мы увидим,
что Pi-вероятпость (г = 1, 2) того, что q(2/Xn) никогда не выйдет
из полосы (у1} у2), т. е. вероятность события

{Ъ < q(2/Xn) < у2, п - 0, 1, ...}	(2)

равна пулю.

Число испытаний v, которое потребуется для того, чтобы при-
нять одну из гипотез (т. е. чтобы нарушить неравенства (2)),
очевидно, является марковской случайной величиной (моментом
остановки) относительно последовательности хъ х2, ... для каж-
дого из распределений Ръ Р2. В этом смысле приведенное пра-
вило принятия гипотез является последовательным. Ойо доволь-
но хорошо согласуется с правилами, которыми руководствуется
человек в своей практической деятельности — принимать то или
иное решение, после того как наблюдения позволяют уменьшить
в достаточной степени неопределенность, имеющуюся в отноше-
нии изучаемого объекта.

Построенный критерий зависит от q — q(A) и вектора у =
— (Ун ъ). Поэтому обозначим его т. Установим теперь, что
критерий бд17 является оптимальным. Для этого введем сначала
общее понятие последовательного критерия, существенными ха-
рактеристиками которого наряду с вероятностями ошибок 1-го
и 2-го рода становятся средние значения MjV п M2v для числа
наблюдений v, необходимых для принятия решения.

Пусть на	дана произвольная целочисленная случай-

ная величина v 0, являющаяся марковской относительно по-
следовательности хх, х2, »., ({v и} е <т (хх, ..., х?|) —	Обо-

значим <^v пространство векторов (и, Хп), таких что v(Xco)=:
= п, Хп = [Хте]„. На <^?v введем о-алгсбру S3V, порожденную собы-
тиями {v = п, Хп е В'1}, Вп (= п = 0,1, .... Ясно, что любое
распределение на ,33^) (или па	53^>)) индуцирует

соответствующее распределение па (c2?v, S3').

Определение 1. Последовательным критерием б для про-
верки Hi против НЛ называется пара (v, Q), где Q §3 представ-
ляет из себя область приема Н2 (критическую область), а слу-
чайная величина v предполагается собственной относительно
обоих распределений Ръ Р2 (P,(v < оо) = 1} i = 1, 2).

В тех случаях, когда необходимо будет отметить, что v и Q
относятся к критерию б, мы будем писать х(б) и Q(6).

Ясно, что эквивалентным образом последовательный критерий
можно задать с помощью двузначной измеримой функции на <s?7v.
Ясно также, что последовательный критерий б можно задавать
и с помощью построения критической области (обозначим ее
снова Q) во всем пространстве ё&°°. Однако при таком отобра-
жении в областей Q и c2?v\Q приема гипотез IIг и Нх мы пе
обязательно получим все элементы из <%?°°\ на тех из них, для
которых v(XJ — оо, не принимается никакая гипотеза. Но в со-
ответствии с определением Р,-вероятпости множества таких Xt„
равны нулю.

Обычный нс рандомизированный критерий б является частным
случаем последовательного, когда т(6) п постоянно (если
\’(б)эО, то решение принимается без проведения испытаний).

Последовательный критерий 6, как и любой обычный крите-
рий для проверки двух простых гипотез, характеризуется веро-
ятностями аХб) ошибок i-рода (i = l, 2):

cxi(6)=Pi((v, XV)^Q.-),

где Q2 = Й, Qt = ^v\Q2. Кроме того, как уже отмечалось, мы
будем характеризовать последовательный критерий средними
значениями Mfv, i = 1, 2. Очевидно, что для обычного крите-
рия б, построенного’по выборке Хп, выполняется M;v(6)=/z.

Чтобы учесть появление этих новых факторов в постановке
задачи (т. е. характеристик, связанных с величиной т), будем
считать, что проведение каждого наблюдения требует затрат ве-
личиной а. Нам будет удобно также характеризовать потери,
возникающие прп неправильном решении, различными значения-
ми Wi и wz. Именно, будем считать, что потери г-го рода, воз-
никающие при ошибочном решении, когда верпа Hi, равны ш,-,
1, 2.

При этих соглашениях математическое ожидание R(g, б) по-
терь, которые возникают при использовании критерия б, равно

2? (д, б) = q (б)	+ «MjV (6)] ф- (1 — g) [cz3 (б) w.2 ф- aM2v (б)].

(3)

Это выражение называют байесовским риском в рассматриваемой
задаче. Если положить здесь а — 0, ivt=u>2 = l, то получим вы-
ражение для вероятности ошибочного решения критерия б, кото-
рое нами уже неоднократно использовалось в §§ 1, 2.

Определение 2. Последовательный критерий б, миними-
зирующий байесовский риск (3), называется байесовским,
23*
Следующее утверждение устанавливает оптимальность (байе-
совость) критерия бд, т, построенного в начале этого раздела.

Теорема 1. Для заданных a, w2 существуют у2,
такие что критерий бд, т является байесовским.

Доказательство. Обозначим 6t критерий, который при-
нимает гипотезу Hi без проведения испытаний, так что v(6<) — О,
cCi(6i)=0. Выясним сначала, в каких случаях критерий 6, мини-
мизирующий RXq, б), совпадает с 61 пли б2. Очевидно, что

R(q, 6t) — (1 — q)w2, Rtq, б2) = qwY.

Пусть К — класс критериев {6 = б(ЛЭ), которые зависят хотя бы
от одного наблюдения, т. е. класс критериев б, для которых
v(6)>l. Очевидно, что R(q, б) > н для б К. Обозначим

R (g) = inf R (q, б).

бея

Так как критерий б, основанный
принадлежит К, то R(q) < °°.

Для любого р е (0, 1) имеем
функции от q:

R(,pql + (1 — р)^2) = inf [pR(qt, б) •
бек

па одном испытании (v(6)	1),

в силу линейности R(q, б) как

~(A — p)R(q2, 6)1 >

> pR(qi) + (1 — p)R(qJ.

Это означает, что R(q) — вогнутая функция. Так как а<.
< R(q) < оо, то отсюда следует, что R(q) является также непре-
рывной па [0, 1] функцией. Сравним теперь риски критериев 6j
и бе К в зависимости от q (см. рис. 5).

Одно пз двух: дибо /?(?)> min7?((/, 6J при всех q (это соот-

ветствует тому, что

А—-;-), либо существуют ре-

шения, которые мы обозначим 1 —	1 — у2, 1 —	> 1 — у2, соот-

ветственно уравнений Riq, 6i)=R(q), R(q, &2)=^R(q). Очевидно,

что R(q) < min R(q, внутри
i

интервала (1—y2, 1 —• yJ. Для
первой из перечисленных двух
возможностей положим

W

1 — Y1 = 1 — У 2 =

U 2 ’

так что

Л(1-Ъ, б.) = «(!-% б2).

Из приведенных рассуждений и рис. 5 вытекает следующее
оптимальное правило действий. По данным a, ivh w2 вычисляем
1 —71, 1 — у2. Если	пли, что то же, 1 — q > у2, то наи-

меньший риск среди всех критериев дает б2 (т. е. надо пемед-
ленпо принимать //2). Если q^[ — у, (1 —g^7i), то наимень-
ший риск дает 61 (надо принимать IIt). II лишь в случае 1 — 72 <
<1 — 71, </е(1— 7,, 1 — 7J (пли 1 —6/^(7,, у2)) следует вос-
пользоваться критерием пз К, т. е. необходимо проводить экс-
перимент.

Воспользуемся теперь индукцией. Пусть проведено п наблю-
дений и мы имеем выборку Хп. Перед (п+ 1)-ым наблюдением
мы имеем ту же альтернативу: либо больше пе проводить наблю-
дений и принять одну пз гипотез II, тут же, либо продолжить
наблюдения. Тот факт, что мы уже понесли потери ап, роли пе
играет, так как они ничем уже устранены быть не могут. Су-
щественные изменения касаются лишь априорного распределе-
ния. Теперь роль вероятностей ^(1) = q и </(2) = 1 — q должны
играть апостериорные вероятности 5(1/X,t), с/(2/Хп). Примени-
тельно к этой повой ситуации уже выработанное памп оптималь-
ное правило дает, что нужно принимать II2, если q(.2/Xn)	v2,

и Hi, если г/(2/Х„) yt. Если q(2/Xn)	(7,, 7,), то следует про-

должать наблюдения. Но полученное правило есть пе что иное,
как критерии б7>т. Таким образом, мы нашли 71 = уДа, wt, ш2),
обладающие тем свойством, что критерий 6, т минимизирует риск
R(q, б). <

Отметим, что числа 7г(п, w,, w2) остаются неизменными при
умножении a, w,, w, па одно и то же число — это очевидно из
их определения, так как такая операция приводит лишь к умно-
жению па то же число всех рисков R(q, б). Таким образом, на
самом дело 7, есть функции лишь двух переменных, например,
а п w,, если считать, что w2 = 1 — Щ.  -.

Что пз себя представляет байесовский критерий б?> 7? Он пред-
писывает не проводить наблюдений в двух случаях: если 7t — 72
(это бывает, когда а велико по сравнению с w,, w2), либо если
g(2) < 7t или </(2) 2s 72. В остальных случаях следует проводить
эксперименты до первого нарушения неравенств

7t < q(2/Xn) < 72

пли, что то же (см. (1)), при первом нарушении неравенств

717(1)	/2(х«) Vo7(l)	,л

(1 ~	(2) <	(*„) < (1 - т2)9 (2)‘

При этом принимается гипотеза Н2, если впервые нарушается
правое неравенство, и гипотеза Н, — если левое. В таком виде
«переменная» часть критерия 6д> т с байесовской постановкой за-
дачи уже не связана, и мы можем, обозначив через Г(, Г2 левую
п правую границы в (4), рассматривать последовательный кри-
терий бг, Г = (Г1, Г2), который называют последовательным кри-
терием отношения правдоподобия. Он был впервые введен
Вальдом.
3.	Последовательный критерий, минимизирующий среднее чис-
ло испытаний.

Теорема 2. Пусть I\ < 1 < Г2. Обозначим ocl и а2 вероят-
ности ошибок 1-го и 2-го рода критерия 6Г. Тогда среди всех по-
следовательных критериев 6, для которых а1(6)^а1, а2(6)<аг,
критерий 6г имеет наименьшие значения Mjv(6) и M2v(6).

Эта теорема означает, в частности, что если 6 есть критерий,
построенный но выборке Хп фиксированного объема, для которого
c'i(6) С «1, cz2(6) С а2, то

MjV(6r)^«, i = 1, 2.

Доказательство. Байесовский критерии 6д, рассматри-
вавшийся в теореме 1, определяется набором чисел (q, a, w2).
По, как уже/ отмечалось, умножение a, w2 па одно и то же
число не меняет границ так что 651Т па самом деле определя-
ется тремя параметрами, например, (q, а, ш), если принять
U't = w, шг = 1 — ш.

. Если исходить из этого соглашения, то в теореме 1 мы по
заданным (я, ш) построили числа у, —7,(а, ш), при которых кри-
терий 6g, 7 является байесовским. Теперь пам потребуется в из-
вестном смысле обратное утверждение о том, что для данных
7г существуют a, w, такие что у/а, ш) — у,, т. е. такие а, ш,
для которых критерий 6д, 7 будет байесовским в задаче, соответ-
ствующей набору (q, а, ш). Это утверждение носпт технический
характер п доказывается довольно сложно (см. [40]). Поэтому
мы примем его как допущение*).

Итак, рассмотрим критерий 6Г п прп данном q найдем из
уравнений

_ г

(l-Ti)(l-<7)

Для полученных значении : = Г,(1 — д)/(Г,-(1 — q) + q) найдем
«, w, при которых критерий 6g, ? будет байесовским в задаче,
соответствующей набору (q, а, ш). Так как Г1 < 1 < Г2, то <
< 1 — q < у2 и х’(6д, т) > 1. Это означает, что 6д, ? = 6Г.

Пусть теперь 6 — любой другой критерий, для которого
а;(6) С at. Так как критерии 6g, т = 6Г минимизирует байесовский
риск, то

q [ара ~ aMxv (6Г)] ф (1-?) [«2 (1 “ w) ~г aM2v ($г)] <

< q [«! (6) w -J- rzMiV (6)] + (1 — q) [а2 (6) (1 — ш) + «M2v (6)].

*) Мы пе доказываем здесь п другое полезное утверждение о том, что
для непрерывных Р/-распределений величины	я любых задан-

ных тхь а2 пайдутся Г1, Г2, такие что ai(6r) = cti, а2(6г) = а2. По своему
существу это утвержден ле близко к леммам 6.1 и 7.1, но доказывается
труднее.
Отсюда следует, что

<?MjV (6Г) + (1 — g) M2v (6Г) qMjV (6)	(1 — q) M2v (6).

Так как число q (0, 1) здесь произвольно, то Mxv (6г) Mfv (6),
M2v (6г) M2v (6). <

Мы использовали здесь для доказательства тот же прием
сравнения с байесовскими критериями, который мы применяли
В §§ 1, 2, 5.

Рассмотрим некоторые свойства критерия 6Г. Обозначим через
Q* подмножества из <^’со, которые определяются следующим об-
разом (X?t = [У»],;):

_ (v • Г	s' r /•— 1	77  1	г I

X,<	<I2, k-1.........n

Множество Q2 определяется так же, по последнее неравенство
надо заменить па f,(Xn)/ft(Xn) Г2. Очевидно, что Q't не пере-
сю

секаются, Qj = (J Qf есть область приема Я., v(6r) = п в об-
?1=1

ласти {а? е х е Q?},
оо	оо

«1 (6г) = S Pi (Оо) = S j /х (*) (^) <
71=1	11=1	,,

Я?пПй?

<2	( /2(«)r2-1Hn(<fe) = (l-a2(6r))/r2. (5)

l2?7Wi

Аналогично устанавливается, что

а2(6г)	Г\(1 — аДбг)).	(б)

Положим для краткости а{(6г) — со,. Степень точности получен-
ных неравенств

мы обсудим позже. А сейчас выясним свойства критерия, кото-
рый мы получим, если воспользуемся соотношениями (7) в каче-
стве основы для определения Г, по заданным а,-. Если положить

,	т..-, z	1 — ceQ ,

гi	-i'-g/’ г‘2	щ = ai (бг') ’

то для полученного критерия 6г> будем иметь в силу (7)
Отсюда следует, что

Приводя неравенства (8) к общему знаменателю и складывая
их, получим также

«1 + сс2 + а2.

Таким образом, если at малы, то критерий бг' будет иметь
значения которые в сумме не превышают + а2, и каждое
из (Xj может превышать cti лишь незначительно и в известных
нам пределах.

Пример 1. Пусть xf имеет биномиальное распределение
с вероятностью успеха р. Задача состоит в проверке гипотезы
1Ц = {р — рд против Н2 = {р = Pzi, Pl<P2. В этом случае

/дх) _	(1 - рУ”"* = / р2 (1 - Р1) у" (1 - р2 у

V-pi/’

где т|„ есть число успехов в п испытаниях. Для значений р{ =
= 0 05, р2 = 0,17, а! = 0,05, а2 = 0,10 получаем *) Гх = 0,105, Г2 =
= 18, ос'х = 0,031, а2 == 0,099,

Mxv (бг<) = 31,4, M2v (6г') = 30,0.

С другой стороны, процедура с фиксированным объемом выбор-
ки и вероятностями ошибок 1-го и 2-го рода 0,05 и 0,10 требует
п — 57 наблюдений. Таким образом, последовательная процедура
в .этом примере почти вдвое сокращает среднее число наблю-
дений.

4.	Вычисление параметров наилучшего последовательного критерия.
Соотношения (7), (8) дают возможность устанавливать некоторое, соответ-
ствие между границей Г и вероятностями ошибок а,-(5г). Рассмотрим те-
перь задачу расчета критерия 5г более подробно.

а)	Точные формулы. Обозначим

Л.=1пГг £ = 1,2.

Тогда критерию 6г можно придать следующую форму: если Л1<0<Л2,
то последовательно проводятся эксперименты и суммируются независимые
п
одинаково распределенные значения zh до тех пор, пока сумма Zn = У, zh
k=i
не коснется впервые одной из границ At. Если верна гипотеза Н2, то

*) Числовые данные заимствованы из [40], с. 143.
описанное блуждание будет направлено в среднем вверх, так как

С f2

М2г1 = J 1п ТГ^Г’72 (Ж) И {dX} = Р1 (1>2’ Р1> > °

(см. лемму 2.6.1). Аналогично устанавливается, что М1^1= — рх (Рх, Р2) < 0.

Если границы Аг удаляются от начала координат, то это соответствует
(ср. с (5), (6)) уменьшению ошибок 1-го и 2-го рода.

Множества fi-в терминах блуждания {ZA} будут иметь вид

fi- = {АХ < Zft < А = 1....п - 1, Zn > /1J.

Аналогичную форму будут иметь множества fi-.

Обозначим через р(Д) случайную величину, равную времени первого
выхода случайного блуждания Zo = 0, Zb Z2, ... за границу t:

(min {&: Z. прп t > О,
min {к: Zh < /) при t < 0.

Это есть процесс восстановления, соответствующий последовательности
{Zh} (см. [11], гл. 8). Разности % (Л{) = Z^А — Д', будут представлять со-
бой величины эксцессов (перескоков) через уровни А{ в блуждании {Zh}
(см. [И]).

Для вероятности ошибки 1-го рода мы можем теперь записать

ОС	00	п

а1(бг)=2 р1(йз)=2 j	=

оо

= 2 A (e’Zn; fi?) = 17 ч 6"*(Лг); а,). (9)

П=1

оо

где fi„ — (J fi” есть область приема Н2. Аналогично
“	П=1

а2 (бг) = г,м, (е’ЕА с,). е, = jj е"	(io)

Далее, для значений M^v, i — 1,2, v —v(6r), в силу тождества Вальда
находим

Mi(Zv) = Mi£1Mjv, i = l,2.

Так как Zv — А2 + %(А2) па множестве fi2, и Zv — Al +%(At) на множест-
ве fii, то

мл = мД7 М+Mi Р (А); °г) + (‘ -	+Mi (z (А); °i)b

M2V = К1 - а2) ^2+м2 (Z (^2): А)+°2А+м2 (X (А): °1)1- <“)

В ряде случаев правые части в формулах (9) — (И) могут быть най-
дГпы в явном виде. Эти формулы оказываются весьма полезными и в при-
ближенных вычислениях.
б)	Приближенные формулы (при больших Л2) и неравенства. Мы
уже отмечали, что большие значения |Л,-|, i = 1, 2, соответствуют малым
вероятностям ошибок а,(6г). Рассмотрим значение

«1(М^Р1

f sup
к^п(Лг)



А>0

-Р!

sup Z, <А, sup Zf^A\.
к^гЦАу)	h>n](A1)	J

(12)

Последнее слагаемое здесь пе превосходит, в силу марковости случай-
ной величины ц(£), значений

₽1 (лЛи,/2'1 Z’Vi))>A- Z'V:)) *• Pi (ЙУЛ > А* /1)'

Так как почти во всех практически интересных случаях вероятность н(Л) =
— Р. (sup Zh Л) убывает экспоненциально с ростом А (см., например,
[621, т. 2. Это же можно извлечь пз гл. 10 в [11], где изложены методы
вычислений и(Л) *)), то при больших |Л,-| значение н(Л2— Л0 будет иметь
более высокий порядок малости, чем н(Л2). Это означает в сплу (12), что

а1 (бг)^Р1

= U (Л2)>

(13)

так что второй границей при больших Ль Л2 в (12) можно пренебречь.
Точно так же получается приближение

<14>

- Если |Лi| велики, сс,- малы, то главные части в (И) дают

J1	71о

M2V»mX'	(15)

В основе этих формул также лежит пренебрежение второй границей (их
молено получить и с помощью приближений М|У Мл] (Л^ Л./М|г Пос-
леднее соотношение имеет место в силу теоремы восстановления ([И])).

Учет следующих но порядку малости членов в (11) дает

МС = мДГ (Л + «1 (A - A) +-Mrzi)’

,	(Ю

^2V = М2~х (^2 — а2 (^2 — ^1)	М2Х2)’

где а,- определяются приближениями (12), (13), значения MpQ —
— lim М*Х (ЛЛ могут быть найдены методами гл. 10 в [11].

|Л{|->°°

Рассмотрим теперь неравенства (8). Так как %(Л1) sc 0. %(Л2)	0, то

эти неравенства следуют из (9), (10), если /(Л,) заменить на 0. Стало
быть, точность этих неравенств определяется погрешностью, вызываемой
такой .заменой.

Если случайные величины з,- ограничены, <2 z, Ъ-2, то, очевидно,
у(Л2)	62, 7.(Л()	6[, и. наряду с (5), (6) могут быть выписаны обратные

*) Подробнее об этом см. [9].
неравенства. Именно,

«1(М =	17^(1 - а,),

Чтобы проиллюстрировать полученные соотношения, обратимся к при-
меру 1. Для него

1 — Р2
«1п 5--,

1-р/

Zn = ^n 1п

Pi^-Pz) '

где 1]п есть число успехов в п испытаниях. Это значит, что zj для Р,- —

распределения принимает значение b2 = In (?2/pi) ~ 1,224

p-i, в значение = In -j
ОтсЮда находим

« — 0,135

с вероятностью

с вероятностью

1 — pi, i — 1, 2.

M1Z1 = — 0,067, M2zx = 0,096, ?2 = 3,400, Л = 0,874.

Из двух последних значений близко к 1 лишь второе, так что сравни-
тельно точным будет лишь второе из неравенств (17). Используя это не-
равенство н (7) для критерия бГ/, получим

Это дает довольно точные границы для значения Гх — 0,105. В пашем слу-
чае

А'г = In Г' ж — 2,254, А'2 = 1пГ'2^ 2,890.

Отсюда, используя приближенные формулы (15), получим для M^v', i—
= 1,2, значения

Л'1/М1г1 33,639, 4/M2zi = 30’108-

Мы видим, что даже довольно грубые приближения, такие как (15), да-
ют правильное представление о величинах M^v'. Результаты будут значи-
тельно более точными, если воспользоваться формулами (16).

§ 12. Проверка сложных гипотез в общем случае

В этом параграфе мы пе будем предполагать, что выборка
относится к какому-либо параметрическому семейству. •

Задача проверки двух гипотез в общем случае выглядит сле-
дующим образом. Пусть и — два1 семейства распределении,
такие что распределение Р выборки X принадлежит U
Проверяется гипотеза II \ — Р, Р ^1} против II., = {Х^==
(=Р,Рсе ^2}. Общин принцип построения (нерандомизировап-
кого*)) критерия л(Х)=б(Аг) здесь остается прежним — таким
же, каким ои был описан в § 4 для параметрического случая.
Именно, строится критическое множество	(часто отож-

дествляемое с понятием критерия), такое что мы принимаем //2,
если X е Q, и принимаем IIг в противном случае. Число

1- е= inf P(X£Q)

называется уровнем значимости критерия. Величина
₽,(P)=P(XeQ), Ре^,

есть значение мощности критерия л в «точке» Р е ^2.

Сравнивать мощности £Я(Р) критериев л в случае, когда мно-
жество альтернатив Р очень, богато, и строить оптимальные
критерии в этих условиях весьма затруднительно или просто не-
возможно. Минимальные требования к критериям в этом случае
состоят обычно в том, чтобы для каждого фиксированного Ре^2
выполнялось

lim (Р) = 1.

71->ОО

Определение 1. Критерий л, обладающий этим свойством,
называется состоятельным.

Существо рассматриваемых критериев, как и всех статисти-
ческих критериев, соответствует основному принципу математи-
ческой статистики, о котором уже говорилось в § 1.4 и в § 2.31.
Если е мало, то при выполнении гипотезы 1Ц и прп многократ-
ном использовании построенного критерия уровня 1 — е мы бу-
дем ошибаться (т. е. попадать в критическую область) в среднем
лишь в 100 е %, всех испытаний. Поэтому попадание при вы-
полнении гипотезы Ну в эту область в единичном испытании мы
считаем практически невозможным. Так что если мы все-таки
туда попали, то, значит, сделанное предположение неверно, и мы
объявляем, что гипотеза Ну пе верна. В этом случае говорят,
что результаты эксперимента пе согласуются с гипотезой Ну с
точки зрения критерия уровня 1 — 8.

Очень распространенными являются критерии проверки про-
стой гипотезы	{АС (= I*t) против сложной альтернативы

7/2 — {X Р Рх); гипотеза Н2 означает, что X есть выборка
из произвольного распределения P¥=Pi.

В основе построения критериев для проверки простой гипоте-
зы 771 = {Х^Р1} обычно лежит «удаленность» эмпирического
распределения Рп от распределения Pt в смысле некоторого
«расстояния» й(Р, Q). Желательным свойством этого расстояния

*) В дальнейшем для единообразия обозначений мы будем статисти-
ческие критерии обозначат!, символом л. хотя в пределах этой главы это
будут, как правило, нерандомизированные критерии.
является обращение d(P, Q) в 0 лишь прп Q = P, а также не-
прерывность d(P, Q) в «окрестности» точки Q — P, например,
в равномерной метрике (иначе малые отклонения Q от Р могут
приводить к большим значениям расстояния d). Папомним, что
в параметрическом случае аналогичные соображения мы исполь-
зовали прп построении оценок неизвестного параметра по методу
минимального расстоя ния.

Итак, пусть d(P, Q) есть некоторое расстояние (пе обязатель-
но метрика) в пространстве распределений. Предположим, что
по заданному е > О можно найти такое' с > 0, для которого

P1(d(P1,P:)>c) = e.

(1)

Тогда критерий строится следующим образом:

Я(Х)={1’

если d(P15P*)<!c,
в противном случае!

Очевидно, что л есть критерий уровня 1 — е.

Так же, как и в § 3, можно ввести понятие критерия асимп-
тотического уровня 1 — е, для которого

lim Рх (tZ(P1? Р*) >с) = е.
оо

(2)

Описанные критерии часто называют критериями согласия
(с предположением {Х^РД). ‘Их конструкцию можно экви-
валентным образом представить и в несколько иной форме.
Пусть дан функционал G(P) (или последовательность функцио-
налов Gn(P)), такой что G(P)=#G(PJ при P=#Pi. Тогда мы мо-
жем положить л(Х) = 1, если |G(P^)— G(Pjj>c, и л(Х) =
= б в противном случае, где с выбирается из тех же соображе-
ний, что п в (1), (2). Нетрудно проверить, что этот второй подход
эквивалентен первому, поскольку по функционалу G можно по-
строить расстояние d(P, PJ = |G(P) — G(PJ| (ср. с принципом
подстановки в теории оценивания) и наоборот, по расстоянию
d(P, PJ можно построить функционал G(P)—d(P, Pi) (G(PJ =
= 0), удовлетворяющий требуемым свойствам.

Если функционал G в описанной конструкции критерия об-
ладает к тому же свойством G (Р*) -> G (Р)	при X £= Р (это

р

всегда так, если G является функционалом первого или второго
типа (см. § 1.3)), то построенный критерий будет состоятельным.
Действительно, в этом случае число с = с(п), обеспечивающее ра-
венство (2), должно сходиться к нулю (так как PX(|G(P*)—
—G(Pj)|>e)—*-0 при любом е > 0) и, следовательно, мы бу-
дем иметь G (р*)-> G (Р), Р( | G (Р*) — G (PJ | >с (/?))-> 1 при
р

каждом фиксирован пом Р 1= Рь
Рассмотрим теперь некоторые хорошо известные критерии со-
гласия, которые являются реализацией описанного выше подхода.

а)	Критерий Колмогорова. Рассмотрим статистику (расстоя-
ние)

Z) (Рх, Р*) = sup | F* (i) — F (t) I,

t

где F*(t) и Fit) — функции распределения, соответствующие
мерам Рте и Pi. В § 1.8 нами было установлено, что если Fit)
непрерывна, Х(=РП то

<2к(ры Ра*) V™ Z>(Pi, Р*)=> sup

O«t«l

где w°it) — броуновский мост. Отсюда следует

Теорема 1 (А. Н. Колмогоров). Если Fit) непрерывна, то
существует

lim Pi (rZK(P], Р*) < х)= К (х) = P(sup | w° (£) | < x)t
n-»oo	O-Ct-^1

Функцию Kix) можно найти в явном виде. Опа равна

'	(Х>

К(ж) = 2 (-1)" е“й2“’'.

k= — оо

С помощью этой теоремы можно конструировать критерии
асимптотического уровня 1 — е. Функция Kix) табулирована во
многих руководствах по математической статистике. Поэтому для
заданного е мы можем с помощью таблиц найти постоянную
с==се, для которой Же) = 1 — е. Положив л(Х) = 1 при
dft(Pi, Р*) >> се, получим критерий согласия асимптотического
уровня 1 — е. Нетрудно видеть, что полученный критерий состоя-
телен, так как функционал G(P)=sup \FPit)— Fit)\ (здесь FPit) =

t

= P((—oo, t))), с помощью которого построен критерий Колмого-
рова, непрерывен относительно FP в равномерной метрике и, ста-
ло быть, является функционалом II типа (см. гл. 1), для кото-
рого G(pQ —> G (Р) при X {== Р. Остается воспользоваться сде-
п.н.

лаппыми выше замечаниями об условиях состоятельности крите-
риев согласия.

С помощью результатов гл. 4 мы можем найти асимптотическое пове-
дение мощности критерия Колмогорова относительно близких альтернатив
(см. § 3). Допустим, что Х^Р, где распределение Р имеет функцию рас-
пределения

FP(x) = F(x) + р(х)п~^	(3)

Будем предполагать для простоты, что р(х) непрерывна, a F(x) непрерывна
и строго монотонна. Мощность |}(Р) критерия Колмогорова в «точке» Р
будет равна

₽ (Р) = Р (rfK (pr Р*) > с) = Р (sup | F (0 - /•* (i) | У» > <A = '

= P (sup | Fp (i) — p (I) n~1/2 — F* | y« > A

Если сделать замену t — Fp1 (и), где Fp1 есть функция, обратная к FP, то
получим выражение

Р( sup I и. — p(FpJ (я)) п~1/2 — F* (Fp1 (u)) I Vи > с\ (4)

Здесь U*(u) = F*(Fр 1 (и)) есть эмпирическая функция, соответствующая
равномерному на [0, 1] распределению Z70, i, так что (4) равно

Р( sup I и — U* (и) — pfFp1 (u))n“1/2\~l/n > с).

Кроме того, Fp1 (и) -> F~x (и) в силу строгой монотонности F. От-
сюда и из непрерывности р следует, что

lim р (Р) = Р ( sup | w° (£) — a. (f) | > с\, где a(t) = p(F~l(t)).	(5)

п-><х	)

Можно показать, что это выражение минимально при a(t) ss 0 (?s0).
В этом смысле критерий Колмогорова является асимптотически несмещен-
ным.

б)	Критерий Мизеса — Смирнова {критерий со2). Рассмотрим
в качестве расстояния между Pt и Рп статистику

(Р,, р,1) = п j (Т (0 - F* (х})" dF (х),

с помощью которой также можно построить критерий согласия
заданного уровня. В главе’ 1 доказано, что здесь, как и в преды-
дущем случае, справедлива

Теорема 2. Существует предельное распределение

(г

[ {w' (t))~ dt<Zx
о

Функция Q(x) имеет весьма сложный вид (см. [8]), и мы ее
приводить здесь не будем.

Так как функционал

G(P)= $(F(t)-FP(tyfdF(t)

является функционалом II типа (§ 1.3), то по тем же соображе-
ниям, что и в п. а), критерий со2 является состоятельным.

Следуя рассуждениям предыдущего пункта, можно найти и асимптоти-
ческое поведение мощности Р(Р) критерия <о2 для близких, альтернатив
I* вида (3). Получим совершенно аналогичным образом, что

0(P) = P(co*> c)-p(J	с),

где a(t) определено в (5). Полученное предельное значение так же, как
и (5), минимально при a(t) = 0, так что критерий и2 тоже является асимп-
тотически несмещенным.

Рассмотренные два критерия, как и другие критерии согласия
с гипотезой Нг — {X Рг}, построенные с помощью расстояний
d(P, Q),. позволяют сразу получать доверительные множества для
неизвестной функции распределения F(x) или для неизвестного
распределения Pi выборки X. Действительно, соотношение (1)
(или (2)) можно трактовать и так: вероятность тоге, что е-ок-
рестность «точки» Рп (в смысле расстояппя d) накроет «точку»
Р,, равна 1 — е. (Для (2) мы получим асимптотический вариант
этого утверждения.) Это означает (см. § 8), что с-окрестпость
точки Рп представляет собой доверительное множество уровня
1 —е для неизвестного распределения Рп Х(=Рр Критерий
Колмогорова, например, определяет эту, окрестность в терминах
функций распределения: это множество всех F(x), для которых

sup | F (£) — F* (t) | < cj Vn,
t

где ce определяется из (1).

Вернемся к критериям. Мы уже отмечали, что асимптотиче-
ским уровням значимости можно доверять, лишь при больших п.
Если же объем выборки невелик, то при построении критерия
(точнее, прп нахождении с = с£) необходимо использовать точные
формулы для распределения rf(P15 Р*)- Однако их получение
связано, как правило, с большими трудностями. В этой связи
важную роль играют так называемые непараметрические крите-
рии, основа пные на статистиках, распределение которых пе за-
висит от истинного распределения Pj (или пе зависит от пара-
метра 0, если

В этом случае вероятности (d(P14 Р*)< х) от Р, пе за-
висят, и, стало быть, можно один раз произвести вычисления,
составить таблицы и затем использовать их при любых Р,.

Критерий Колмогорова и критерий о2 являются непараметри-
ческими критериями. Этот факт установлен в § 1.6.

Непараметрические критерии .возникают и при проверке двух
сложных гипотез. .

в)	Критерий знаков. Пусть F(x') есть функция распределения
для Р,, и гипотеза РЦ состоит в том, что F(a) ~ р для заданной
точки а. Очевидно, это есть сложная гипотеза. Гипотеза Нг яв-
ляется дополнительной: Н2 = {Х(Е= Р, FP(a) #= р}. В этом случае
естественно воспользоваться следующей статистикой: обозначим
через v(X) число наблюдений х„ для которых зпак разности
Xi — а отрицателен. В качестве критического множества Q рас-
смотрим все выборки X, для которых

•v(X) & (с„ с2)

при некоторых ct < с2.

Если верпа гипотеза IIъ то

Р„ (v (X) = ft) = C*ph (1 - р)"-\

Итак, распределение v(X) при гипотезе Hi от Pi пе зависит, так
что Наш критерий является непараметрическпм. Числа с* следует
выбрать так, чтобы

P(v(X)g=(C1, с2))>1-е

(знак равенства из-за дискретности v(X) здесь может пе дости-
гаться). Неоднородность в выборе с, можно устранить требова-
" пием несмещенности относительно изменений р. В целом эта
задача эквивалентна проверке гипотезы о том, что вероятность
успеха в схеме Берпуллп равна р. Аналогичным образом можно
строить «односторонние» критерии для проверки гипотез
Е(а) < р.

Если в качестве обобщения рассмотренной задачи будем про-
верять гипотезу FkaD = pt, i — 1, ..., г, для заданных значений
«i, ph то придем к критерию %2, который подробно рассматрива-
ется в § 16.

г)	Критерий Морана. Так называется следующий критерий
для проверки гипотезы о том, что Х^Р1. Пусть гг(1), ..., х{п} —
вариационный ряд, построенный по выборке X. Предположим,
что Pj имеет непрерывную функцию распределения F, и соста-
вим статистику

М„= s |F	(Х(Н)Р,	(6)

й=0

где принято Е(х(0).)=0, Е(х(п+1)) = 1. Критерий Морана отвергает
гипотезу {X (= Рг}, если Мп > с.

Очевидно, этот критерий является пепараметрическим, так
как E(x/{)^UOj1. Стало быть, достаточно рассматривать крите-
рий Мп > с, основанный на статистике

п

мп == 3 (Х(й+1) — Х(ю)2

и предназначенный для проверки равномерности распределения
X. Использование статистики Мп в этом случае представляется
п

естественным, так как величина 2^Уг достигает своего минимума
г= 1

п

при условии 2 У\ ь точке iji = ... = уп~ Нп.

1=1

24 а. А, Боровков
Для вычисления асимптотического уровня критерия Морана
может служить следующее утверждение

Теорема 3. Если	то

Доказательство. Пусть ij€=ratl, j~ 1, 2, .... Тогда
k

в силу следствия 1.6.2 совместное распределение

3=1
разностей

1-

совпадает с совместным

распределением

£п+1

так что *) <’

3=1

Распределение Мп от а пе зависит, и можно положить a = 1.

Тогда (см. § 2.2)

М5; = Г (/; + !) =/;!, D5; = 1, D5’ = 20,

Рп = _ /-	(ё;	1) Cit' *1*0.1 т

I/ п

Имеем

’’““Уп 2

v 3=1

0,20*

П

llMn-i —

п

п

2 + 1/2

(14-Рпа-1/2)2’

Здесь

(иЛ/п-!

Пп — %, — 2Р>
(1	Рп«“1/2)2

(7)

п

% - 4р„ =	2 ( ?; + 2), ?;• = у - 45;

I/ п

п =

ms; = - 2, DS.; = М (?) - 85? +1651) -4=4.

'} Знак —означает совпадение распределений.

4
Стало быть, т]п — 4рп.£=> Ф014, так что в силу теорем непрерывно-
сти из (7) получаем

V п (nMn_J2 — !)€=> Фо,1.

Это эквивалентно утверждению теоремы. <1

Приведем теперь соображения, показывающие, что критерий Морапа
является состоятельным. Рассмотрим статистику (6) для X Р, где Р от-
лично от Рь Одно из распределений Р] пли Р мы можем, не ограничивая
общностп, считать равномерным. Пусть это будет Р. Относительно F мы
предположим для простоты, что существует непрерывная плотность /(f) —
== сосредоточенная на [0, 1}. Тогда для U01 главная часть пМп
будет равна

п	я+1

П hi U (Х(А+1)) (Х<Л+1) “ Х(й))Г Т п 5	(^ft/^n+1) &/Д?1+1]2*	(8>

й=0	' а Л=1

По усиленному закону больших чисел к~	1 при k-*-eo. Поэтому

главная часть (8) в свою очередь будет равна

2	(9>

Й=1

Используя снова закон больших чисел (или неравенство Чебышева), полу-
чим, что это выражение сходится по вероятности к

i	/ •	V

2 J /2 («) dt 2 I J / (i) dt I = 2.
о	\о	/

Здесь знак неравенства строгий, если / (£)	1. Это значит, что приХ^=Р —

= U01 =/= р и при П -> ОО

V п (пМп/2 — 1) —> оо,

что влечет за собой в силу теоремы 3 состоятельность критерия Морапа лю-
бого фиксированного уровня 1 — е. О

Будучи состоятельным, критерий Морапа не различает, однако, близ-
ких гипотез. Предположим, что X Р = Uo>1,

F(t) — t + p(t)n~W te [0, 1],	(10)

p(0) = p(l) =0,

и что функция p (i) непрерывно дифференцируема. Тогда

«3/2^я - «3/2 2 (Х(й-Н) -х(М)2 +2п 2 (х(й+1) - х(й>) (р(x(fe+D)-

А О	А— 0

п

-р(Х(Ю)) + у^ 2 (р(х(й+1))-^(х(й)))2-

71

Главная часть второй суммы здесь равна 2п 2 Р' (x(fe)) (x(h+i)—х(?<))2> или,
/<=о

24*
в сиду тех же соображений, что и в (9),

2 2 р' (w-о
k—i

dt

-0.

о

Последнее слагаемое в (11) также сходится по вероятности к пулю, так
как имеет главную часть, совпадающую по распределению с

п

-72 (p'Wn)rt*7’
Т П h. -i

или с ——- I [Д'	-4-0. Сказанное озпачаст, что для функции F ви-

Д/ п J

о

да (10) статистика н3/2Л/п/2 —• У» будет иметь то же предельное распреде-
ление Фо, ь что и для F(t) = t. <

Следует отметить, что из этого факта нельзя делать поспешных выво-
дов о том, что критерий Морана плох. Дело в том, что, не различая близких
гипотез вида (10), критерии Морана различает гипотезы (также в извест-
ном смысле близкие), которые другие критерии, рассмотренные в этом па-
раграфе, различить ие могут. Речь идет о гипотезах для плотностей.

Рассмотрим гипотезу Яч =	Р}, где распределение Р имеет плот-

ность

(2 при 2AAn<f<(2A--|-l)An,

/(0 = 1	/г = 0, 1, ...,Я— 1,

(0 при (2А-+ 1) А?г < t < (2/Н-2) Ап,

4

где Ап =—N = Агп > 0—целое/	Тогда при А п = о («-''») функция рас—

пределения I’i-(t), соответствующая распределению Р, будет обладать свой-
ством

sup | Fp (1} — i | = о (n~ 2).

Это значит, что гипотеза П> как гипотеза для .функции распределения бу-
дет настолько близкой к {X^U01}, что критерии Колмогорова
и со2 асимптотически их различать пе будут (предельное значение мощ-
ности в точке Р будет совпадать с предельным уровнем критерия). Од-
нако как гипотезы для плотностей гипотезы Hi и существенно раз-
личны, так как sup | /(/) — 1 | = 1. Поскольку х(0) —-0, x(n+1) — 1, то для
А^Р статистика Мп будет превосходить величину А2ЛГ = Ьп1%. Стало
быть, при п/лт = 2пАпоо с Р-вероятносгыо, равной 1, мы будем иметь

пМ оо.

Фиксировав критическое множество = {»АА„ > 3}, получим
Pi(£b) ->0. Это означает, что при Д„ = о(п_,/г), Д„п оо критерий Морапа
с вероятностью, близкой к 1, будет различать гипотезы II\ и Я2. Другими
славами. статистика Мп чувствительна к отклонениям в плотности, а сам
критерий Морана можно рекомендовать как критерий для проверки гипотез,
относящихся к плотностям. С другой стороны, мы знаем из § 1.10, что ско-
рость сближения эмпирических плотпостей с истинной медленнее, чем п~'!*.
Поэтому «неразличимость» гипотез о плотностях, отличающихся друг от
друга на величину порядка ri~i/2 (см. (10)), не „является удивительной.
В связи с критерием Морана и некоторыми другими критериями, рас-
смотренными ранее, можно сделать одно общее замечание. Если сравнивать
два критерия одного фиксированного уровня, первый из которых предназ-
начен для отбраковки большего числа альтернатив, чем второй, то мощ-
ность первого критерия для каждой фиксированной альтернативы (отвер-
гаемой обоими критериями) будет, как правило, меньше, чем мощность
второго. Наиболее простой пример, иллюстрирующий это обстоятельство,
читатель может получить, рассмотрев критерии | хд | > А,е/2 и х( > Непред-
назначенные соответственно для проверки гипотез {а #= 0} и {а > 0} про-
тив {а = 0} по наблюдению хх^Фа г . Здесь Хе есть квантиль распределе-
ния Фо, j порядка 1 — е. Мощности в точке а > 0 будут равны соответст-
венно

1 — Фо, 1 (—Хе/2 — ос, ХР/2— ос) < 1 — Ф(Хе — ОС).

§ 13. Асимптотически оптимальные критерии.
Критерий отношения правдоподобия
как асимптотически байесовский критерий
для проверки простой гипотезы против сложной

*1. Асимптотические свойства к. о. п. п байесовского критерия.
Рассмотрим задачу проверки простои гипотезы Я1 = {Х^Р©1|
против сложной альтернативы Н2 =	Р0; 0 0П 0 g 0}.

В предыдущих параграфах мы видели па примерах, что р. н. м. к.
в этом случае, как правило, пе существует.

Будем рассматривать «частично байесовскую» постановку за-
дачи, которая была описана в §§ 4, 9. Опа состоит в предполо-
жении, что 0 выбирается па ©2 = ©\{0i) случайно с распределе-
нием Qa = Q Можно считать, что Q задано на 0, Q({0j}) =0.
В этом случае распределение выборки X будет определяться «ус-
редненной» плотностью

1q (*) = J ft И Q (dt).	(1)

Таким образом, если Q известно, что гипотезу Hq* — Hq, в силу
которой X имеет распределение с плотностью (1), вместе с II t
можно рассматривать как простую гипотезу и пользоваться лем-
мой Неймана — Пирсона для построения наиболее мощного
критерия.

Оказывается, что в этом случае для «почти всех» гладких Q
наиболее мощные критерии будут асимптотически совпадать с
критерием отношения правдоподобия

W)

sup /е (*) М (Аг)
0=0	_ о* ' .

/о/*) Vх) >

(2)

и, стало быть, пе зависеть от Q. Этот факт позволяет считать най-
денный критерий асимптотически оптимальным но крайней мере
в тех случаях, когда можно предполагать, что 0 в 02 выбирается
случайно, по его распределение Q нам неизвестно.
Прежде чем формулировать соответствующую теорему, напом-
ним некоторые нужные нам результаты и докажем одно вспомо-
гательное утверждение. Главную роль в нем будут играть уже
известные нам асимптотические свойства отношения правдоподо-
бия. Будем сразу рассматривать случай многомерного параметра;
все необходимое для этого имеется в §§ 2.28, 2.29.

Итак, пусть 0 е 0 <= R\ и выполнены условия регуляр-
ности (RR), формулировка которых дана в § 2.28. Пусть, кроме
того, Q имеет плотность q(t) относительно меры Лебега Mdt)=dt.

В соответствии с леммой Неймана — Пирсона наиболее мощ-
ный перандомизировапный критерий л= л$ для проверки 7/\
против Ilq будет иметь следующий вид: nQ(X) = 1, если

( /л (а?)	)	Г

Хе Q(c) =	> с|, /Q(a?) = J q(u)Ju(x)du, (3)

где с = сп выберем позже по заданному уровню критерия.

Такой же вид будут иметь и байесовские критерии для про-
верки против HQ.

Вероятность ошибок первого и второго рода равны соответ-
ственно

«1 (Л(з) — Pet I > с 1,

f / Iq (X)	\

1 - Р W = J Q (О Р/ < И dt,

где Р (л$) = J /о (а?) |гп (dx) есть мощность наиболее
{/$(*)

мощного критерия.

Аналогичные выражения мы можем записать для к. о. и. л,
который принимает HQ при выполнении (2):

( К №	\

“>(й) = РоФхет> т

Г /	(А') X	С	(5)

аДп) = д (t) Р, -А-,.-. < с dt =	fQ (ж) ц” (dx).

х 1	/	(Л01

1 6*	1 I

Положим I = I(Qi) (значение информационной матрицы Фи-
шера в точке GJ,

/р (jY) = ( 2.т, V’1'2 <?(°1) gT(X)

а/*) \11 / viTiе ’
Тогда критические области критериев п л (см. (3), (2)) можно
записать соответственно в виде .

7(Х) > cQ, f(X) > с.	(7)

Лемма 1. Пусть выполнены условия (7П?) § 2.28, Х^=Ро,,
6j — внутренняя точка 0. Тогда

2Т (X) = 2? (X) (1 + еп (X))	II,„ е„ (X) ^-И).

Доказательство. Утверждение леммы есть очевидное
следствие теорем 2.28.4, 2.28.5. Надо лишь заметить, что Т(Х)
в обозначениях теоремы 2.28.4 есть не что иное, как У (к*) (при
6 = 6,). <3

2. Асимптотическая байесовость к. о. п. Перейдем к формули-
ровке основного утверждения. Напомним, что когда мы изучаем
асимптотические свойства критериев, мы па самом деле имеем
в виду не один, а целую последовательность критериев л — пп,
где лп есть критерий, основанный на выборке Хп. Такую же си-
туацию мы имели, рассматривая асимптотические свойства оце-
пок. Таким образом, здесь и в дальнейшем — везде, где это по-
требуется,— мы под критерием л будем понимать последователь-
ность функций лп(Хп), определенных при каждом п и Хп =
= [Хте]п.

Определение 1. Критерий л для проверки гипотезы 1Ц =
= {0е 0,} против IIz = {0 02) принадлежит классу Ке крите-
риев асимптотического уровня 1 — е, если

lim sup sup Мол (X) е.	(8)

В нашем случае, когда гипотеза IIi является простой и 01 =
= {0J, соотношение (8) превращается в неравенство

lim sup Мр л (X) iiC е.

тг-»оо

Пусть he есть квантиль порядка 1 — е распределения у2 с к
степенями свободы (Ня((/ге, о°)) = е). Тогда из леммы 1 вытека-
ет, что л<? s Ке, л е Ке, если cQ = с —

Определение 2. Положим cq— Ле/2, так что ле Ке. Кри-
терий л е Ке называется асимптотически байесовским критерием
(а. б. к.) в Ке для проверки гипотезы ITt = {0 = 011 против IIQ,
если для вероятностей ошибок второго рода, вычисленных при
гипотезе HQ, справедливо соотношение

,.	« (л)	1 —Р(л) ,.	—л(Х))

lim sup ——г = lim sup-----—- = lim sup —75--------— 1.

twoo 1 «2 (nQ)	1 1 - p (я0)	1	(1 - nQ (X))

Мы использовали в этом определении отношение (а пе раз-
ность) вероятпостей ошибок второго рода, так как a2(ne) -> 0 при
п -+ оо.
Терема 1. Пусть выполнены условия (RR), точка 0! явля-
ется внутренней точкой 0. Тогда критерий отношения правдопо-
добия л {см. (2), (7)) при c = ht/2 принадлежит Rz и является
а. б. к. в Rz для проверки IR против IIQ при любом распределении
Q, плотность q{t) которого непрерывна и положительна в 0. При
этом

а2 (л) ~ а2 (лс) ~	ЪЛе/2,

пУШ

где J = 7(0^,	— объем единичного шара в Rh.

Доказательство. Принадлежность n^Rz при с = hz/2
нами уже доказана. Рассмотрим теперь ошибки второго рода.
В силу (4), (7) имеем

«2(М = J /<Д«)	= Mejyjv; 2T(X)<hl =

1/01(A)	J

= (^Y'2^Mei (/’*>; 2Г(Х)<М.

\ J у I i I

Здесь под знаком математического ожидания стопт ограничен-
ная функция от 271, непрерывная п. в. относительно предельного
распределения (H/t). Поэтому при n->oo,

Г 2_х2	1

М01 (ет<Х); 27' (X)<ht)-+ М [е2	Х;!< М =

р	—Ы2——|у|2

= (2л)-‘/2 j е2

{ы2<М

Найдем теперь асимптотическое поведение сх2(л). Обозначим
Я„ = {Х: Ло#1 л). В сплу леммы 1 Ре1 (Л„)->0. Поэтому из тео-
ремы 2.29.5 вытекает, что прп любом фиксированном 2V

S«P ре+«/1^г(Л")-*0-	(9)

|uKAZ	4 '

Воспользуемся представлением (см. (5))

а2 W = J?(ОЕ (Т(X) <?) Л =

=	(	+ J <j?Wpt(r(X)<?)df +

+ J q(t)Pt (An)dt +• _ J q{t)Pt(T {X)^c)dt.

|t—01|<л71/п’	|t—Oj|>w//n
В силу (9) мы получаем

lim sup п/</2а2 (л) <1 lim 7г/1/2а2 (tcq) -В

П-» ОО	П-> оо

(X)	\

-.°* ,у ес Idt,
/

Но вероятность под знаком интеграла пе превосходит

//о (х)

' Pf \77^Т>е'С J ехр{с/2 “1 f ~~ 01 рng/2}’

(Ю)

Здесь мы. использовали теорему 2.28.1. Следовательно, сам ин-
теграл пе превосходит

ес/2 j е-|»Р«/2й„^0.

|t;|>N

при 2V оо. Отсюда следует, что

lim sup nk/2a2 (л) lim »ft/2a2 (л^).	(Ц)

77-> ОО	?7-> ОО

Очевидно, это равнозначно тому, что л есть а. б. к.

Нам осталось установить только, что а2(л) ~ а2(щ) или, что
то же в силу (11),

lim inf nh/~a2 (л)^ lim nlli2a2 (л^).	(12) '

П-*оо	n->oo

Для этого заметим, что построенный нами критерий Щ яв-
ляется байесовским, соответствующим априорной вероятности qt
гипотезы определяемой из уравнения (ср.. (3), (6))

?i = /2лу/2 <7(6^ -

у]7|е •

Это означает, что вероятность ошибки nQ будет вести себя асимп-
тотически как

nqi + (1 — q^a^q) ~ eqi + oc2(nQ).

Если допустить, что (12) неверно, то мы получим критерий л,
для которого вероятность ошибки будет меньше. Так как это не-
возможно, то (12) доказано. Теорема полностью доказана. <

Из приведенных рассуждений вйдпо, что основной вклад в ве-
роятности ошибок второго рода вносят случайные значения 0,
попадающие в 7г-1/2-окрестпость точки 0t (этим обуславливается
порядок малости п~к/г этих вероятностей).

Незначительные изменения в рассуждениях доказательства
теоремы 1 позволяют получить также следующее утверждение.
Теорема 2. Критерии л' и л" с критическими областями
Q'- {ж=%п: п(^* —01)7(е1)(е* —е1)г>л8},

= [х£Е%п: L,(X,01)7"1(01)(L'(X,O1))T>M

являются наряду с л а. б. к. в Kt. Это свойство сохранится, если
в (13) 7(0J заменить на 7(0*).

Критерии (13) получаются, если воспользоваться разложением

7- (X)

111 -г4уГ = ^(^0*)-^(^О1)
/е, И)

в ряд около точки 0* (см. теорему 2.28.4). Форма критерия л
в известном смысле более удобна, так как опа с размерностью
пе связана.

Доказательство теоремы 2 предоставляем читателю.

В одномерном случае критическое множество Q' (при замене
7(0J на 7(0*)) имеет вид

где, очевидно, he = Х8/-2, Фол ((— ^s/г» ^е,'з)) =1 — е. Мы видим,
что соответствующий (14) критерий л', асимптотически эквива-
лентный л, можно интерпретировать так: л'(Х) — 1, если 01 не
попало в доверительный интервал асимптотического уровня 1 — е
для параметра 0, построенный с помощью о. м. п. 0*.

Такая же интерпретация сохранится, очевидно, п в много-
мерном случае; доверительные множества при этом будут иметь
форму эллипсоидов:

(О* - 0) I (0*) (0* - 0)т < n^he.

Мы видим, таким образом, что о. м. п. тесно связаны с а. б. к.

Пример 1. Пусть	и проверяется гипотеза /7t =

= {А = XJ против II2 = {X ¥= 2И). В этом случае X* = х*, 7(Х) =
= и а. б. к. будет иметь вид

(х — Xr)2 > h^Jn,

где Их ((Ле, оо)) = е.

П р и м е р 2. Пусть X (= Фу о2 и проверяется гипотеза 771 =
= 1(а, о2) = (ccj, Qi)l против дополнительной альтернативы.

-	— - о	1 <4.	— .	,	/ ст “	0

Здесь сс* = х, о ~	= — 2L (х; х) , I (сс, о ) q <у~4/2
(см. § 2.16). Поэтому а. б. к. имеет вид

(х-«1)2	(^-п2)2	Лв

2	‘	<> 4	''> и 1

О“	2(5’	п

где Н2 ((Ле, оо)) = е.

3. Асимптотическая несмещенность к. о. п. В заключение это-
го параграфа установим, что к. о. и. (2) является асимптотически
несмещенным. Напомним предварительно, что критерий л для
проверки 7Z1 = {0 О*} против Я2 = {0 е 02} называется несме-
щенным, если

inf Меп—sup Мол^О.
0se2 еее1

Определение 3. Критерий л называется асимптотически
несмещенным; если

lim inf ( inf Ми л — sup MgM 0.
71-»oo I 0£©2	0S(3j I

Теорема 3.Zf. о. n. л (см. (2), (6), (7)) для проверки 1Ц —
— {0 = 0J против Н2 = {0 Oil является асимптотически несме-
щенным.

Доказательство. Так как в нагнем случае 0t — {ОД и
lim Мо.л — е, то достаточно убедиться, что

71-» ОО

(X)	~\

lim inf inf М{ л = lim inf inf Pt I -—> e j e, (15)

*71-» oo t£E6)	7l-»oo t—0	1 ‘ Ojl О )	j

где с — 7ге/2.

Из оценки

(10) следует, что существует А>0, такое что

inf _ Р/
|t-0jpAT//«

^(Х) д

/о, (Ч

Остается доказать, что inf	М^л—>е.

р-О^Л'/УТГ

Но в силу теорем 2.28.4, 2.29.3 при X (= Pf равномерно по и,
|u| ^N, и — 1fn(t — 0J,

Ml (л)-»Рг (g— и)I(а — и)т>С = he/2

Правая часть здесь достигает своего наименьшего значения при
и = 0. Это значение равно Р(£Дг;>./ге) = е. <
§ 14. Асимптотически оптимальные критерии
для проверки близких сложных гипотез

1. Постановка задачи и определения. В § 3 мы обсуждали два
асимптотических подхода в задаче о проверке двух простых ги-
потез Ih п Н2. Если эти гипотезы считать фиксированными, т. е.
неизменными прп растущем объеме п выборки Хп, то мы прихо-
дим прп вычислении вероятностей ошибок к задаче о вероятностях
больших уклонений, так что по крайней мере вероятность одной
из ошибок сходится к пулю. Согласно другому подходу гипоте-
зы Hi и Н2 рассматриваются как элементы последовательности
«сближающихся» гипотез, прп этом скорость сближения подби-
рается так, что вероятности ошибок первого и второго рода схо-
дились бы к собственным (отличным от 0 п 1) пределам. Мы ви-
дели, что в параметрическом случае значения параметра 0t и 62,
соответствующие гипотезам Ht и Н2, должны отличаться на ве-
личину порядка Каждый из этих подходов может быть
оправдан в зависимости от конкретных условий.

В предыдущем параграфе мы рассматривали независящее от
п распределение Q Для альтернативного значения 0 п, как это
естественно было ожидать, получили, что вероятность ошибки
второго рода сходится к пулю как п_й/2. Это обусловлено тем,
что основной вклад в эту вероятность вносят близкие гипотезы,
для которых 0 удалено от 01 па расстояние порядка n~1/z (объем
области, содержащей такие 0, и будет иметь порядок мало-
сти

В этом параграфе мы рассмотрим задачу о проверке близких
сложных гипотез, когда альтернативные значения параметра
сближаются при п -+ Оказывается, что в этом случае задачу
проверки гипотез можно в известном смысле редуцировать к зна-
чительно более простой задаче для нормального распределения.

Перейдем к более точным формулировкам. Пусть по выборке
X Ро проверяется гипотеза /Д = {0 е 0J против Н2 — {0 <= 0J.
Фиксируем какую-нибудь внутреннюю точку 0j множества 0 и
положим

О = 0t +-уи-1/2.	(1)

Предположим теперь, что множества ©i имеют вид

0. = + Г1/г1/2,	(2)

где Г, от п пе зависят. Запись (2) означает, что 0 тогда и
только тогда, когда в (1) 7 е Г,. Гипотезы Я{ = {0€0(} при ус-
ловии (1) будем, как и в § 3, называть близкими (па самом деле
вто последовательность гипотез — своих для каждого и).

Задачу проверки близких гипотез IIi по выборке	бу-

дем называть задачей А.
Рассмотрим теперь другую задачу. Пусть Y Ф 7_i есть вы-
борка единичного объема из нормальной совокупности Фу j-i
с вектором средних значений 7 и матрицей вторых моментов
где /(GJ есть информационная матрица Фишера
для задачи А в точке 0ь Обозначим через гипотезы {уеГД.
Задачу проверки гипотез А; по одному наблюдению YФгД-1
будем называть задачей В.

Замечательный факт, позволяющий делать упомянутую выше
редукцию, состоит, грубо говоря, в следующем. Пусть л (У) есть
оптимальный в том или ином смысле критерий (р. п. м. к., байе-
совский, минимаксный) для проверки против Я2 к задаче В.
И пусть 6*, как обычно, есть о. м. п. в задаче А, 7* — (0* — OJVn.
Тогда критерий л(у*) для проверки /Д против //2 в задаче А бу-
дет асимптотически обладать темп же свойствами оптимальности,
что и критерий л (У) в задаче В.

Таким образом, чтобы найти асимптотически оптимальный
критерий в задаче А, мы должпы рассмотреть более простую за-
дачу В и найти в пей (если это возможно) критерий л, облада-
ющий нужным свойством оптимальности. Если теперь взять
в качестве наблюдения У значение 7* и подставить его в зт, то
мы получим искомый критерий в задаче А.

Этот факт можиЪ было бы назвать предельным признаком оп-
тимальности. Смысл его довольно прост. Ведь мы знаем из ре-
зультатов главы 2, что при X Pq

/п(е*-0)/,/2(е).^>Фо.Е

равномерно по 0.. Стало быть, для 0 = 0,+ уп~1/2
/н(0* - 0,) - Т & Фод-1 (в1)
или, что то же,

v* Ф 1.

•	тд-1*

Таким образом, Фт, i—1—распределение, присутствующее в задаче
В,— есть пе что иное, как предельное распределение для 7*.
Поэтому пре дельный признак оптимальности является весьма ес-
тественным: он сводит задачу проверки гипотез к «предельной»
задаче. Замечательным во всем этом является тот факт, что при
такой редукции никакой существенной потери информации отно-
сительно -0 пе происходит: критерий, оптимальный в задаче В,
сохраняет эту оптимальность и для задачи А.

Чтобы придать сказанному точный смысл, введем теперь ос-
новные понятия асимптотической оптимальности критериев для
проверки близких гипотез в задаче А.

Определение класса Rf критериев л асимптотического уровня
1 — е дано в предыдущем параграфе (определение 2). Для л е
справедливо

lim sup sup Mqjt (X) e.
n-»oo

Определение 1. Критерий Л1 <= Re называется асимпто-
тически р.н.м.к. (а. р.н.м.к.) в Re, если для любого 7 Г2 и
любого л <= Ке

lim inf (Mfjai! (X) — Мол (X)) О,

fl“> ОО

где 0 — 0t + чп~1/2 е 02 при 7 е Г2.

Пусть па Гг- заданы распределения П,. Эти распределения
индуцируют па 0г- некоторые другие распределения (сосредото-
ченные в 7г-1/2-окрестпости точки 0J, которые мы обозначим Q£,
7=1, 2. Гипотезы о том, что 0 выбирается случайно с распреде-
лением Qi, мы, как и прежде, обозначим

Через К®1 будем обозначать класс критериев л, для
которых

lim sup М^л (X) с,

Т1 —> ОО

где MQ. означает безусловное математическое ожидание по сов-
местному распределению 0 и X, 0(=Qi, X^Pg* Очевидно, что
К& cz К® при любом Q.

~ Q,

Определение 2. Критерий лх с~ Ке для проверки II q4
против IIQc> называется асимптотически байесовским критерием

-yQv	~Qi

{а. б. к.) в К и , если для любого другого критерия л ge К е

lim inf (М0ол1(X)-MQ?r(X))>0.	(3)

Можно дать эквивалентное определение асимптотической бай-
есовости, в котором вместо (3) требуется, чтобы

liminf (М(?2л1(Х) — Mq2mQiq2 (X)) > О,	•	(4)

где лс?1(23 — байесовский критерий пз К®1 для проверки гипотез
JIq1 и Hq2 (пли, что то же, п. м. к. критерий для проверки Hql
против II q асимптотического уровня 1 — е).

Следует отметить, что определение 2 несколько отличается от
определения а. б. к., которое было дано в предыдущем параграфе
(см. определение 13.2. Там фигурирует отношение вероятностей
ошибок, а по разность). С точки зрения последующего изложения
эти определения эквивалентны, по последнее из них нам- будет
удобнее.

Определение 3. Критерий л1 <= Rz называется асимптоти-
чески минимаксным в Ка критерием для проверки /Л против Я2,
если для любого другого критерия л выполняется

lim inf ( inf Молх (X) — inf Мел (Х)\	0.	(5)

п->оо \оее2	еее2	/

Как и при рассмотрении обычных минимаксных критериев
(см. § 9), множества 01 и 02 во избежание малосодержательных
рассмотрений разумно разделить некоторой промежуточной зоной
так, чтобы они пе соприкасались. В противном случае оба ниж-
них предела в (5) могут оказаться равными в для любого асимп-
тотически несмещенного критерия л.

Из приведенных определений видно, что свойство той или
ивой асимптотической оптимальности отличается от обычного
свойства той же оптимальности лишь тем, что перед соответству-
ющей разностью появляется знак lim inf.

Наряду с асимптотически байесовскими п минимаксными кри-
териями в классах Х;, и лв можно изучать обычные асимпто-
тически байесовские и минимаксные критерии. Пусть па 0 =
= 01 U 02 задано распределение Q = g.(l)Qi + q(2)Q2, g(l) +• §(2) =
= 1. Тогда критерий Л1 называется асимптотически байесовским
для априорного распределения Q, если для любого другого кри-
терия л

Jim inf Ь (1) М^Л! (X) -]- q (2) Mq2 (1 — лх (X))—
t >ос

- q (1) MQ1 л (X) - g (2) Mq2 (1 - л (X))] < 0. (6)

Усредненная ио Q вероятность ошибки критерия л, присутству-
ющая в этом неравенстве, может быть записана с помощью ве-
роятности а(л, 0) ошибки в точке 0 в виде М$а(л,0), где

(Мол(Х) при 0е015

а 0) (Mg (1 —л (X)) при 0 02.

Тогда неравенство (6) примет вид

lim inf Mq [а (лх (X), 0) — а (л (X), 0)]	0.

Критерий Л1 будет асимптотически минимаксным, если
lim inf Г sup а (лх, 0)— sup а (л, 0)1	0,

•п-^оо |.0ео	Geo	J

для любого другого критерия л.

Изучение асимптотических байесовских (в Ке ) п асимптоти-
чески минимаксных (в Ае) критериев и просто асимптотически
байесовских и минимаксных критериев по существу представляет
собой одно и то же. Например, байесовский критерий из Ке1
есть обычный байесовский критерий при соответствующем
В этом параграфе мы будем изучать критерии из классов А'е.
Ке1; обычные асимптотически байесовские и минимаксные кри-
терии будут рассмотрены в продолжении этой книги (см. преди-
словие) при исследовании более общей постановки задачи.

2. Основные утверждения. Чтобы максимально упростить
дальнейшее изложение, введем одно предположение, которое с
существом дела никак пе связано и которое при желании может
быть убрано — все необходимые для этого 'результаты имеются.
Именно, будем предполагать, что множества Г« ограничены, т. е.
существует N > 0 такое, что Г,<= {у ; | у | N}-.

Определение 4. Критерии Л1 и л2 для проверки близких
гипотез Hi = {0 е ©,} и Н2 — {0 е 02) по выборке X называются
асимптотически эквивалентными, если

lim sup | М0лх (X) — М0л2 (X) | = 0.	(7)

n-r-оо б^вхие2

При сделанном предположении мы можем под знаком sup в
(7) поставить область 10 — 011 ^N/Уп.

Асимптотически эквивалентные критерии nlt л2* обладают сле-
дующими свойствами:

1)	Если лх е Кг(или К^1), то л2 е Ке

2)	Если Л1 обладает одним из свойств асимптотической опти-
мальности в определениях 1—3, то тем же свойством будет обла-
дать критерий л2.

Первое утверждение вытекает из (7) и неравенства

sup М0л2 (X) sC sup М0лх (X) + sup | М0 (л2 — лх) J.

0sox	0eex	e<=9j

Второе утверждение доказывается аналогично. Если, например,
является асимптотически минимаксным, то асимптотическая
минимаксность л2 будет следствием (7) и неравенства

inf М0л, (Х)^ inf М0лх(Х) — sup |М0(л2 — лх){. <]

ее©2 “ еев3	оее2

Условия асимптотической эквивалентности критериев устанавли-

вает

Лемма 1. Пусть в окрестности точки 0! выполнены условия
(Х) -=7^т’п(Х)+еп^(Х)>с\, *=1,2, где для Х£=Р01 имеют ме-
сто соотношения Вт(Х)----------------------------> 0, Тп (X) б=$ G, распределение G не-

чро,

прерывно. Тогда критерии ль л2 асимптотически эквивалентны.

Доказательство. | М(л, (X) — л2 (X) J РдАп), где
для события Ап = {Л1(Х) =# л2(Х)} выполняется РехМп) =
- Р0] (Тп(X) + еп1 (Х)>с, Тп(Х)4-еп2 (X)<c)+Pn(Zт„(Х))+епх(Х)<
с, Тп (X) + еп2 (X) > с) —>0 при п->оо, так как предельное
распределение Тп непрерывно. Стало быть, в силу теоремы 2.29.5

sup Pt (Лп)->- 0. <	. •

р-ех
Байесовский критерий уровня 1 — е в задаче В для проверки
гипотез ^HjO том, что 7 выбирается случайно с распределением'
IL па Г,-, i = 1, 2, мы обозначим лП1щ (У). Он имеет вид

С ехр у (У — и) I (Y — и)П2 (du)

r <Х) 4-----ГП----------------Г------> с' <8)

I ехр < — (У — и) I (У — и)т (du)

где с — се выбирается пз условия

J <р (у, с) Щ (dy) = е, <р (у, с) = Р (г (У) > с), y^OVJ-!. (9)

Эти соотношения означают, очевидно, что МпглП1п2 (У) = е-

Заметим, что /Чг/) есть аналитическая функция от у. В силу
аналитичности, эта функция пе может принимать постоянное
значение на множестве положительной меры Лебега или меры
Ф? j-i (в противном случае опа была бы постоянной всюду, что
возможно лишь при nt=n2). Значит, РОЧУ) = с)=О при любом
с и распределение г(У) непрерывно.

Пусть, как и прежде, л^]^2(Х) обозначает байесовский кри-
терий асимптотического уровня 1 — е в задаче А.

Теорема 1. Пусть условия (RR) выполнены в окрестности
точки 0t. Тогда критерий л (X) ~ Лпрп, С?*), у* = (0* — 0Т) ]/7г,
асимптотически эквивалентен критерию jrQ1Q2 н, стало быть,
является асимптотически байесовским.

Кроме того,

, sup j М v//-л (X) - ср (у, с) | ->0	(10)

при п-+ <х>, где ср (у, с) = МтлП1п2(Е) определено в (9).

Доказательство. Рассмотрим байесовский критерий л$ q3
в задаче А. Он имеет вид

тпп к+../^дап*(<у

1{Х) = —----------------> с.

Если Х^Рбр то в силу теоремы 2.28.5

Г(Х) = г(у*)(1 + е(Х, 0J)

(7* = п* при 0 = 01). Так как распределение г(У) непрерывно,
у* => У £= Ф ;_п и так как критерий л имеет вид г(у*) > с,
то в силу леммы 1 первое утверждение теоремы доказано.

25а а. а. Боровков
Соотношение (10) следует из представления

л (X) = Mei+v/1/-~Z{r(V*)>C} —> Р (г (У) > с),

У^ф?ь и теоремы 2.29.4. <1

Теорема 2. Пусть в окрестности точки 0, выполнены ус-
ловия (HR), 7* = (0* — OjVn.

Пусть, далее, существует минимаксный критерий л/У) уров-
ня 1 — е для проверки против Л2 в задаче В и этот критерий
является байесовским

(Y) = (Л	(11)

при априорных распределениях Пъ П2, удовлетворяющих усло-
виям

МпЛЧ (У) = япр Мтл (У),
Т=ГХ	_	"

Мпгл1(Г)= inf Мтл(Г), ГеФ,г1	(12)

(ср. с условиями теоремы 9.1). Тогда критерий л (X) = лП1п.> (?*)
будет асимптотически минимаксным в классе Ке критериев для
проверки Hi против И2 в исходной задаче А.

Доказательство. Так как есть критерий уровня 1 — е,
то

sup Мтлх (У) == Мп л (У) = е.
^Г1

В силу (10), (12) отсюда получаем

lim sup Ме +v/r-JiQ1(?9 (X) = lim Mq^Q1q2 (X) = e.

fl—*oo V=r^	1	"	n->oo

Это означает, что е л^., е /<е .

Надо доказать теперь, что для любого критерия л* е
lim inf I inf Мел (X) — inf Мел* (Х)\	0.

n^oo \о=е2	0ео2	)

Имеем

limsup inf Men*(X)^limsupMen*(X)<limsupM(52nQ1Q,(X).
П->оо 0=02	П-»оо	71-» oo

(13)

Последнее неравенство справедливо в силу байесовости л01(?2
(т. е. минимальности	+ (1 — gj Mq2 (1 — ПРП

соответствующем - qA и того, что lim sup М^л* (X) е,
lim MQ1 л01(?2 == е.
Далее,„в силу (10), (12) и теоремы 1 правая часть в (13)
равна

lim М^Лд. (у*) = Мп2згП1п2 (У) ==
7 WOO

- « inf М?лП1п2(У) = Km inf М0 /r-jiQ Q (X). . <
vsr2	?1~>OO vsr 1	z

Теорема 3. Пусть существует р.н.м.к. л,(У) уровня
1 — е для проверки против в задаче В. Предположим,
кроме того, что для любого 72 е существует распределение IIt
на Г1 такое, что

^(У) = зтП1п2(У)	(14)

есть байесовский критерий для проверки Лщ против ^п2 (здесь
П2 сосредоточено в точке у2). Тогда критерий л(Х) = лД7*) явля-
ется а. р. н. м. к. (асимптотического уровня 1 — в) для проверки
II! против Н2 в исходной задаче А.

Отметим, что для задач §§ 5—7 условие (14) всегда выпол-
нено. Это следует из самого построения р.'н, м. к. в этих
параграфах.

Доказательство теоремы 3. Принадлежность л/7*) еК,
следует из теоремы 1, так как

lim sup Me Л! (у*) = sup lim Meftj (у*) = sup ср (у, с) в.

7l-*cx> ee=0-£	б£0д п-»оо	т=г^

Пусть теперь л* — любой другой критерий пз Тогда
lim sup М^л* (X) lim sup sup Мел* (X) е,
?1->оо	П-^оо 0ЕЕ0д

и, стало быть, л* можно рассматривать так же как критерий из
/<ел для проверки nQ1 против Hq2, где Q, индуцировано распре-
делением Hi (см. формулировку теоремы), a Q2 сосредоточено
в точке 02 = 0! + у2п~1/г. Если — байесовский критерий
асимптотического уровня 1 — е для этих распределений, то

lim Mo2hQiq2 (X) > lim sup Ме2л* (X).
7l~*oo	7l-*oo

По левая часть этого неравенства совпадает в силу теоремы 1 со
значением

lim Ме2лП1п2 (у*) = lim М^Лд (у*). <
оо	п—> оо

Аналогичным образом можно искать асимптотически р. п. м. к.
в классе асимптотически несмещенных критериев.

Замечание 1. Если распределения П1 и П2 сосредоточены
соответственно в точках и у2, то

.25*
Стало быть, критическая область ЯцщДУ) будет иметь вид
У/(72-ъ)г = (У/, (у2-у1))>с.

В одномерном случае мы получаем отсюда а. и. м. к. (3.21), изу-
чавшийся нами в § 3.

Замечание 2. Если распределение IL сосредоточено в точ-
ке и = 0, а распределение П2 является равномерным в шаре
1н| N, то знаменатель функции г(У) будет равен ехр^—-|-У/Уг|,
а числитель при больших N и l7l<TV —T7V будет близок
к У |/| (2л)*/2. Стало быть, критическая область для лП1п2 при
таких Пп П2 будет близка к внешности эллипсоида

YIYT > с,

а критическая область асимптотически байесовского критерия
Jinpio (т*) будет близка к

> с.

Это есть пе что иное, как асимптотическая форма к. о. п., изучав-
шегося в предыдущем параграфе (ср. с теоремой 13.2).

3 а м е ч а п и е 3. В теоремах 2, 3 присутствуют условия о том,
что минимаксный критерий (теорема 2) или р.н.м.к. (теорема 3)
для задачи В являются байесовскими при некоторых распределе-
ниях 11 на Г,. Мы увидим во второй части, книги, что эти ус-
ловия излишни — класс всех байесовских критериев содержит
в себе все «неулучтпаемые» критерии, в том числе р. и. м. к. и
минимаксные.

§ 15. Свойства асимптотической оптимальности критерия
отношения правдоподобия, вытекающие из предельного
признака оптимальности

В этом параграфе мы рассмотрим некоторые следствия резуль-
татов § 14, связанные с критерием отношения правдоподобия.
Мы установим, в частности, асимптотические равномерную, наи-
большую мощность и минимаксность к. о. п. для некоторых важ-
ных. конкретных задач, связанных с проверкой близких гипотез.

Везде в дальнейшем предполагается, что в окрестности точки
0t выполнены условия (RR). Для сокращения выкладок нам бу-
дет удобно, как и в предыдущем параграфе, считать, где это по-
требуется, что множества Г, ограничены.

1.	Л. р. н. м. к. для близких гипотез с односторонними альтер-
нативами. Пусть параметр 0 одномерный н проверяется одно-
сторонняя гипотеза JIi — {0 0i +	против гипотезы П2 ==»

= {0 > 02 = 0! + 4>rri/z},	у2.
Теорема 1. Критерий отношения правдоподобия л(Х) с
критической областью



sup /е(Х)
бее2

sup /е(Х)
Оеех

(1)

> с

при 0! == {0: 0 0t +	02 = {0: 0 > 0t + Y2^~1/2J и подходя-

щем с асимптотически эквивалентен критерию

Y* = (О* — OJVn > сЕ = ХЕ/ 1/2 + Yu Фо,1(Хе) = 1—е	(2)

и является а. р.н.м.к. асимптотического уровня 1 — е для про-
верки Hi = {0	0! + Yi«“ 1/21 против //2 = Ю > 01 + Ys^-172}. В фор-

мулах (2) I означает информацию Фишера /(0t) в точке 0t для
семейства fe.

Доказательство. Из § 5 следует, что для выборки. У

Ф? j-i единичного объема из нормальной совокупности с из-
вестной дисперсией 1~1 существует р. и. м. к. для проверки гипо-
тезы Ajl = {у у!} против = {? > Тг) вида У > сЕ, где се опре-
делено в (2). Так же будет выглядеть, очевидно, байесовский

критерий для вырожденных распределений, сосредоточенных в
точках Yi и Y2 (или в точках Yi п Y -> 7*, если Yi = На осно-
вании этого пз теоремы 14.3 следует, что асимптотически
р. п. м. к. асимптотического уровня 1 — е для проверки II у против
II2 существует и имеет вид (2).

Нам осталось доказать, что критерии (1) и (2) асимптотиче-
fo1+t(X)
ски эквивалентны. По теореме 2.28.4, полагая Z1(i)=—

будем иметь при X Ро1



sup Z (tin 1/2)

«>Т2

sup-Z (ип~1/2)

sup exp

u> v2

sup exp



= rn(X) + e® (X),

где enl) (X) —> 0,
p6i

i = 1, 2, 3,

Tn (X) = r (?*)==

sup exp [— А (у* — и)21
u>v2 I

sup exp I — _L (y* — и)2 I

I 3

26 Д. а. Боровков
при

при Т!<Т*<Т2,

при Т*>Т2-

Это есть непрерывная, монотонно возрастающая функция от у*.
Стало быть, неравенство Тп(Х) > с эквивалентно неравенству
7* > с' при некотором с. Так как, кроме того, Т*=^У(=Фо,г-ь
то распределение г(У) абсолютно непрерывно. Условия лем-
мы 14.1 для критериев (1), (2) выполнены. <

2.	А. р. н. м. к. для двусторонних альтернатив. Пусть параметр
О по-прежнему одномерный, а задача А состоит в проверке гипо-
тезы //, = {(0 — GJl'n (7,, 72)} против Я2 == {(G — OJVn <= (7,, 7,)},
7z > 71- Обозначим

Tj + т2

V=—2“

А — П

А = •	1

Те орема 2. Критерий отношения правдоподобия л(Х), опре-
деленный в (1) при соответствующем с и Oj = {0: (0—GjTnHi
(7j, 7г)}, 02 = {0: (0 — 0i)Vw е (7,, 72)}, как и критерий

I7*—7I = |(0* — 0j)Vzt—7I <се,	(3)

где се определяется из уравнения Фо (— с— А, с — А) = е,
являются а.р.н.м. к. асимптотического уровня 1—е для проверки
//1 = {(0 — Ot)Vn <71, 72)) против Н2 — {(0 — 0t)Vn е= (7,, 72)}.

Доказательство этой теоремы вполне аналогично дока-
зательству предыдущей. Из § 5 следует, что для задачи В, со-
стоящей в проверке по наблюдению У Ф 2-! гипотезы =
= {7^(7,, 72)} против Л2 = {у е (уъ у2)}, существует р. и. м. к.
вида с < У < е",, где с', с" подбираются так, чтобы

ФТ1Д_1((С',С")) = Ф^д-1((^,И) = е.

Нетрудно видеть, что мы удовлетворим этим соотношениям, если
положим с' — 7 — се, с" = 7 + се, так как

Ф?1Д-1 ((Т - М + с£)) = Фо 2-1 ((— се + А, се + А)) = е,

Ф?2д-1 ((Т — се, у + с£)) = Фо 7-1 ((— се — А, се — А)) == е.

Кроме того, мы видели в § 5, что для любого у0 (7^ 7Z) сущест-
вует 9^(0, 1) такое, что байесовский критерий лП1п2 для провер-
ки гипотезы ЛП1 для распределения П,: ПД^}) = q, П1({72})^
= 1 — q, против гипотезы 4п., = {Y = То) будет иметь вид
c'<Y<c".

Это означает, что условия теоремы 14.3 будут выполнены и кри-
терий (3) будет а. р. и. м. к. для проверки Hi против П2.

Рассмотрим теперь к. о. п. (1) для областей 0„ определенных
в теореме, и покажем, что он асимптотически эквивалентен (3).
Как и в доказательстве теоремы 1, из теоремы 2.28.4 получаем,
что при X Pg*

sup	Z (un 1/2)

1Г=(?Х,У2)___________ __

sup	Z (ип~1/2)

W^(V1.V2)

sup схр'(—1-(у* —u)2/4-e^1)(X)|

_ ue(V1,v2)	I	)

sup ехр [— -1 (у* — и)2 I -J- е<2) (X)

u^(V!.V2)	1	2

где е?(г{)(Х)—>0, i= 1, 2, 3,

sup ехр — (у* — и)‘ 11

т (X) = г (Т*) =	1-^------------J

sup ехр j — — (у* — и)2 /

_ «^(VpV2) I 2

ехр[—4(т*“ Vi)2^}
ехр [у (т* — ТО2/}
ехр (4 (?* —Ь)24

ехр 4 (Y* — Y2)2 4

ТП(Х-) + № (X),

при y* Yi,
при Yi < Y* Y,
при у<Т*<Т-2,
при Y2<Y*-

Из этих равенств видно, что Ау*) есть непрерывная монотонно
убывающая функция от |у* —у| (опа симметрична относительно
точки y* = у). Поэтому неравенство г(у*) > с эквивалентно нера-
венству I7* — 7I < с'. Так как Y* => Y^ Фо 2-i, то условия леммы
14.1 выполнены. <3

3.	Асимптотически минимаксный критерий для близких ги-
потез, касающихся многомерного параметра. Рассмотрим теперь
многомерный параметр 9. В этом случае а. р. п. м. к. для провер-
ки гипотезы Hi = {0 ©J против Н2 — {9 е 02\ как правило, пе
26*
существует, и мы рассмотрим задачу построения асимптотически
минимаксных критериев.

Сначала сделаем одно общее замечание, которое упростит
дальнейшие рассуждения. Оно состоит в том, что рассматривае-
мую задачу проверки гипотез всегда можно «перепараметризи-
ровать» (т. е. ввести новый параметр) так, чтобы информацион-
ная матрица	в точке 01 стала единичной. Для этого до-

статочно (см. § 2.1) сделать линейное преобразование и ввести
новый параметр [3 равенством

е =

Тогда информационная матрица Фишера J(^) для параметриче-
ского семейства Р 7-1/2 будет равна в точке = QJl/2

J(p1)=Z-‘/2ZZ-1/2 = JE’.

В этом разделе иногда нам будет проще иметь дело с пара-
метром [к Вернуться к исходному параметру всегда можно с по-
мощью обратного линейного преобразования.

Итак, пусть Z = Z(01)=iZ?. Мы рассмотрим задачу А, состоя-
щую в проверке по выборке X (= Pg гипотезы

//f = {|0 — 0J ап“1/2} против II2 = {|0 — 0J > Ьп~1/2}, а < Ъ. (4)

Теорема 3. Критерий отношения правдоподобия л, опреде-
ленный в (1) при соответствующем с и — {0: |0 —0j С ап~1/2},
©г = {0: IG — 0j Ьп~1/2}, асимптотически эквивалентен при лю-
бых 0 а < Ъ < °° критериям

| у* | = | (0* — 0J Vn | > с£,	(6)

-I 2

где сг есть решение относительно с уравнения

Рс (й) S Р ((£1 + й)3 + ^2 + • • • + Вй > С2) = 6,	(7)

и является асимптотически минимаксным критерием асимптоти-
ческого уровня 1 — е для проверки гипотез и Н2, определен-
ных в (4). Случайные величины в (7) независимы, £г€=Фол«
Гарантированная предельная мощность критериев л, (5), (б) рав-
на рСЕ (Ь).

Доказательство. Задача В здесь будет состоять в про-
верке по наблюдению У (== Фт,е гипотезы — { | у | а} против
Л2={ | у |	Ь}. В примере 9.1 мы видели, что в этой задаче суще-

ствует минимаксный критерий уровня 1 — е, который имеет вид

1У1 >сЕ.
При построении этого критерия мы пользовались теоремой
9.1. Это означает, что условия теоремы 14.2 выполнены. Следова-
тельно, критерий

|v*l > се

будет асимптотически минимаксным критерием асимптотического
уровня 1 — е для задачи А.

Критерий отношения правдоподобия (1) здесь будет иметь вид
sup Z1 (м/г-1'2)

Л(Х)=М^	(8)

sup Z \ип 1,~)
М<а 1

Следуя в точности рассуждениям в доказательствах теорем
1, 2, мы получим, что R (X) ~ Тп (X) + en(X), sn(X)—>0, где

(	4	о]

sup ехр < — — | у* — и | >

тп (X) = г (V*) =	——2-------------1.

sup ехр < — — I V* — и ]2 г
lul^a (.	2	J

Как и прежде, отсюда следует абсолютная непрерывность
распределения г(У) и асимптотическая эквивалентность критериев
RiX) > с и Тп{Х) > с. Последний эквивалентен критерию

I у* I > с',

который при с' = сЕ будет критерием уровня 1 — е. По теореме
14.2 (см. (14.10)) оп будет иметь гарантированную предельную
мощность, равную рСе(б) (см. теорему 9.2). <1

Замечание 1. Если вернуться к первоначальному парамет-
ру (до перепараметризации, переводящей /(0J в единичную мат-
рицу), то получим, что утверждение теоремы будет справедливо
относительно гипотез //,= {0^0^, где (ср. с примером 9.2 при
o2 = Z-‘)

0, = {0: (0 - 0t)/(01)(0 - 0i)T цЪг-1),

@2 = {0: (0 - 01)Z(0l)(0 - 0,)г > ЬЪг~1}.

Критерий (6) примет форму

(S*-e1)/(01)(e*-e1)Tn>c2

или (см. теорему 13.2)

L' (X, 0J (0х) (Z/ (X, 03))т > cl	(9)

Критерий отношения правдоподобия, очевидно, пе изменится,
так как величина максимума /е(Х) в области 0,- пе зависит от
замены переменных (при соответствующем преобразовании об-
ластей 0J,
Отметим также, что форма критерия (9) иногда более удоб-
на, чем (5), (G), так как пе связана с вычислениями 0*. Анало-
гичные замены можно сделать для критериев (2), (3) в теоремах
1. 2. Мы предоставляем это читателю.

Замечай и е 2. Совершенно аналогично теореме ‘ 3 можно
построить асимптотически минимаксный критерии для таких за-
дач А, которые, могут быть редуцированы к задаче В, рассмот-
ренной в примере 9.5.

Замечание 3. В § 13 мы построили а. б. к. для проверки
гипотезы {0 = 0J против {0 ¥» 0J, который имеет вид к. о. п.

7^Г>С-

Таким образом, этот критерий, являясь а. б. к., обладает также
свойством асимптотической минимаксности при проверке гипоте-
зы {0 = 03 против {(0 — 01)/(0,)(0 — 0л)т > Ъгп~'} при любом
Ь>0.

4.	Асимптотически минимаксный критерий о принадлежности
выборки параметрическому подсемейству. Мы рассмотрим теперь
к. о. и. в несколько более сложной задаче о проверке гипотезы
//, = {0 е 0,} против Л2 = {0 е 02), когда размерность I множест-
ва 0, положительна, по меньше к > 1. Именно, пусть дана глад-
кая функция 0 = g(<z) от /-мерного (1<к) параметра

cz R1. Образ множества А, в 0, порожденный отображением g,
обозначим 0f. Задача состоит в проверке гипотезы 111 = {0е0,}
о том, что параметр 0 принадлежит «кривой» 0, (илп о том, что
A’Р1Яа) при некотором a^AJ, против дополнительной альтер-
нативы {Xd=P(f, 0^0Х}, так что в этом случае 02 = 0\©i. Дру-
гими словами, это есть задача о проверке принадлежности выбор-
ки X параметрическому подсемейству распределений {Pg(a);
а е= *4,}.

К этому классу задач относятся, например, уже известные
нам задачи о проверке гипотезы {X 6Е Ф о2} против
{Х(=Фа о2; сс#;аа} при данном а0 и неизвестном о2 пли о провер-
ке гипотезы /Хб=Ф Д против	9; о^о 1 при данном о0

(	a,Gof	1	1

и неизвестном а, и другие.

Относительно кривой 0 =• g(cc) в 0 мы будем предполагать, что
она является дважды непрерывно дифференцируемой и что мат-
рица G = Hdg/cO/daJI (г=1, ..., к\ j — 1, .Z; g/a), ор есть ко-
ординаты g(cc) п а соответственно) имеет ранг I. Это значит, что
мы можем произвести дифференцируемую взаимно однозначную
замену параметра (перепараметризацпю задачи) так, чтобы пер-
вые I координат (можно положить их, не ограничивая общности,
равными « = («•!, .,ор)) определяли положение точки 0 па кри-
вой 01, а остальные (обозначим их p = (pt, ..ph_()) определяли
положение 0 в «плоскости» (подпространстве), скажем, ортого-
нальной (это пе обязательно) к «кривой» g(a) в точке а. Тогда
задача сводится к проверке гипотезы {£}=>• 0} против {[3 ^ 0} при
наличии неизвестного «мешающего» подпараметра а.

При этом мы будем рассматривать близкие гипотезы, положив
P==7"n_,/Z, п проверять гипотезу {^"=0} против {у" ¥=0} или
против

h"A/2(a)f,r>62}

(10)

при Ъ > 0 и некоторой положительно определенной матрице
Л/2(а).

В исходных координатах последняя задача будет соответство-
вать проверке гипотезы II = {0 е 0J против близких альтерна-
тив, когда параметр 0 располагается в 1г~1/2-окрестностн кривой
0! и находится вне некоторой «трубки», содержащей 0j и соот-
ветствующей множеству (10). Возможен и другой вариант по-
стаповкп задачи о проверке близких гипотез, исходящий из того,
что параметр 0 «локализован», и мы знаем, что он располагается
в окрестности некоторой точки 0o = g(aD), а° Тогда новый
параметр т= (р, а—а3) будет локализован около точки т0 =
= (0, 0). Положим а — а° =* 7/тг-1/2, р = ц"п~1/2 и будем проверять
гипотезу {у"=0} против {7" =7^0} пли против {y'/M2(czo)'y"t>
> Ь2} при наличии мешающего параметра ц'.

Интересующие нас результаты в этих двух постановках задач
практически совпадают. Но нам удобнее будет иметь дело со вто-
рой постановкой, поскольку в этом случае мы располагаем всеми
необходимыми предварительными результатами. Предположение о
локализации параметра 0 носит условный характер, и форма
утверждений, полученных ниже, от 0О зависеть не будет.

Итак, мы будем считать, что новый параметр т=(а—а.°, р)
имеет вид

т = уп~1/3, 7 = (7', у"),

я будем проверять гипотезу II t = {7" == 0} против II г =
= {\" Мм/'т > Ъ2}, где в качестве М2 — М2Вх.°) мы возьмем инфор-
мационную матрицу Фишера для параметрического семейства
{РВ(0, Р)) « точке Р = 0, где 0(т) =.0((а—а°, р)) есть функция,
восстанавливающая 0 ио значению т= (т', т").

Теорема 4. Пусть 0(l = g(a.°) является внутренней точкой
'Вив окрестности этой точки выполнены условия (RR). Пусть,
далее, функция g(a) дважды непрерывно дифференцируема в
точке а, а матрица G --«|| dgi^'dcCjW^^ имеет ранг I. Тогда
л.о.п. (1) при определенных выше 015 02 и при соответствующем
с асимптотически эквивалентен критериям

п	ле/2

•“i (‘М — f (^\	>

£(а*)к '

(О* _ g (a*)) I (g (а*)) (О* — g (а*))т > ^en-1,

(0* — g (а*)) I (0*) (6* — g (а*))Г > £erc-1

(11)

(12)

и является асимптотически минимаксным критерием асимптоти-
ческого уровня 1 — б для проверки гипотезы ~{0е ©J =
— {7"—0} против 112 = {^"М^"т^Ьг}.

Распределение статистики 21ПЛДХ) при	(7. е. при

гипотезе сходится при п-*-<х> к распределению у? с k~~l
степенями свободы (и, стало быть, от fa и а° не зависит). В со-
ответствии с этим в (11), (12) означает квантиль порядка
1 — е распределения

Гарантированная асимптотическая мощность к.о.п. равна
Р((£1 + Ь)2 4- £1 4- ... 4- lk-i> где й фо,г и независимы.

Мы видим, что асимптотически минимаксные критерии (11),
(12) со значением а° никак не связаны.

Замечание 4. Гипотезу Н2 в терминах исходного пара-
метра 0 можно записать в виде

Н2 =/inf(O— ^(<х° 4- у'?г“1/2)/(^(ао))(0—g(a° 4- y'n“1/2))r^&27z-1b
t v'	-	1

Напомним, что мы считаем множества Г< ограниченными, так что
здесь (0 — 0о) С Nn~i/2, у' I N прп некотором N > 0.

Замечание 5. Как будет видно из доказательства, утверж-
дение теоремы полностью сохранится, если гипотезу //1 = {у" =
= 0} заменить на IIi — {у"М2у"т < я2}, а < Ь, при соответствую-
щей замене множества ©i.

Доказательство теоремы 4. Здесь в качестве «основного» мм
будем рассматривать критерий (11), эквивалентный (1) и более удобный
ло своей форме. Мы установим его асимптотическую эквивалентность асим-
птотически минимаксному критерию, а затем его асимптотическую эквива-
лентность (12).

Рассмотрим распределения Ре и Pg(a> как зависящие от параметров,
т — (т', т") и а = г' 4- а° соответственно. Положим т — ^п~г/2, у — (у', у")г
так что т' = у'п-1'2, т" = у"я~|/2, и будем проверять гипотезу П\ = {7" =
= 0} против Н2 =	Ь2}, где Л/2 — информационная матрица Фи-

шера для семейства Р^щ) в точке а°. Сделаем теперь еще одно преобра-
зование над параметром, подобное тому, которое проводилось нами в при-
мере 9.4 и которое превращает информационные матрицы в единичные..
Именно, положим р — тА и соответственно б — уА (р = бп~,/£), где А —
треугольная матрица, подробно описанная в примере 9.4 и обладающая
свойствами

= АТМ~Г\ - Е, /Г1 = Apfr’A, = Е,

Л	А £
где J, М, 7г, М2 есть информационные матрицы в точке Оо соответственно-
для р, т, р", %" (верхние штрихи у обозначении имеют тот же смысл, что
у т', %", у', у"), Аг — матрица порядка (/«— I) X (Л— 0, образованная по-
следними к — I строками и столбцами матрицы А, так что р" — т"Л2, б" —
= 7"А2.

В новых параметрах гипотезы П\ и Н2 запишутся в виде

77( = {б" = 0}, П2= {|6"| > Ь},

Из свойств произведенных преобразований ясно, что 0 = 0 (р) естх, вза-
имно однозначная функция от р п что все рассматриваемые нами парамет-
рические семейства (в том числе, с параметрами р, р") удовлетворяют ус-
ловиям (ЛЛ). Положим ро = 0~'(0о) (это есть решеппе уравнения 0(р) =*
= е0),

Zo ('> = /0(Р„+<) ТО. («) = In Zo (un-1^).

Воспользуемся теоремой 2.29.3. Мы получим при [и| бпУи, Ро(р)>

P = Ро -г бп~1/2,

Уо(«) =(6n + 6,u)-|(u,u) + (|u|24-[6|2)en(X,u,6),	(13}

где | en (X, и, 6) I еп (X)-->0 равномерно по б при |б|	бп]'», б,г —

р6(р)

произвольная последовательность, сходящаяся к пулю. В этих равенствах
мы использовали тот факт, что информационная матрица для параметра р
является4 единичной. Вектор есть вектор производных функции
п~112ЦХ, в (р)) по pj в точке р = ро + би_,/2, так что	®о,Е равно-

мерно по р (по_б) при |б| СбпУ». (Ввиду предположения об ограничен-
ности (0 — 0о)Уп, равномерность сходимости здесь и в дальнейшем доста-
точно устанавливать для |б| Л’ прп произвольном фиксированном N. Од-
нако ничто не мешает нам устанавливать требуемую равномерность и в
более широкой области |б| 6Л ]'»-> оо.)

Положим теперь в (13) и ~ (и', и"), и" = 0. Мы сможем записать тог-
да при прежнем соглашении относительно обозначений со штрихами

Yo ((и', 0)) -	+ б', и') - | (и', и')	(] и' |2 + I б I2) en (X, и', б). (14)

Из (13), (14) следует, что максимальные значения Уо(«) л У0((и', 0)) до-
стигаются соответственно при

« = &. + «) (« + '»(*. «))•

«'=(С+6')(Л+е!.”(Х, «)),

(15)

где г„ (X, б) --> 0,	(X, б)----> 0 равномерно по б, |б| < б„]п/2. Надо

р6(р)	р0(р)

лишь заметить, чго вероятность больших значений |£п+б| равномерно
мала, так как б £=> Фй к равномерно ио б, |б| < б„Уга, и 1*е(| gп +
+б| > бп}н) ->0 равномерно ио б, |б| < бп}'и/2.'
Обратимся теперь к к. о. п. Имеем при 0 — 0(р),Х^Ре, р = р0 -f- 6/г 1/2

sup fn (X) sup еУ°(и)

д (X)----------------—_____—------------

1( ’“S“PWX> sup/'>«“'•»” “

°xp [41 s»+6 i!+®» f,) J
exp {у | E;,+S- [Че,1,11 (X.«)j

“p(4K+s" I2 + 4(X. 6)},

(10)

где функции en с различными ^шдексам'и сходятся к пулю по Ре-вероятпо-
сти равномерно при |б| < бпУ«;

21п7?1(Х)^|К" + 6'Т, ^фо,Е’	(17)

равномерно по б.

Так как при 0 ~ g(a) с необходимостью б" = 0, то отсюда следует ут-
верждение теоремы относительно статистики 21n/?i(X).

Вспомним теперь, что (см. теорему 2.29.3) £n = u*(£’ + en(X, б)), где
и* = (р* — р)]'п, р* —-о. м. п._для параметра р. Отсюда и из равенства
р0 = 0, полагая б* = (р* — ро)У«. получим

%п + 6 = У « ( Р* — Р + P — PQ) 4- U*En (X, б) = VП (р* — р0) -J-

+ u*en (X, $ = б* + н*вп (X, б) Фб Е,
^ + б"-(б*)" + (и%(Х,б))'.

Стало быть, правая часть в (16) может быть записана- также в виде

«Р {41 («•)' I2 + < (X, 6)}. С (Х".6)

>0. Это означает, что критерий

| (б*)"|2 > hg

(18)

« к. о. п. асимптотически эквивалентны, т. е.

lim sup Р (а) (я (X) > Л/2) = lim sup Р ( . ( | (6*)" | > h ) = е,
п —>оо а	п-юо а

lim sup Ре(Я (X) > е'^2) = lim sup PQ ( | (б*)" |2 > h ) =

jl—>оо 0Sr©2	71—»оо 0602

= sup Р( | У" +6" |= > Ае) = Р ((у -I-	+ у5 + .. . + у’_, > \).

|6"1>Ь2

где у-	Фод независимы.

Докажем теперь; что критерий (18) является асимптотически мини-
максным критерием асимптотического уровня 1 — е. Воспользуемся теоре-
мой 14.2. В вашем случае б* — ( р* — р0) У п Фй,е- Задача В для Y

Фе Е рассматривалась нами в примерах 9.3, 9.4. Мы установили там,
что критерий

|У"|2 > Ле

является минимаксным уровня 1 — е. Следовательно, по теореме 14.2 кри-
терий (18) является асимптотически минимаксным.
Чтобы завершить доказательство, нам осталось установить асимптоти-
ческую эквивалентность (И) и (12). Эта эквивалентность легко следует из
результатов § 2.29 и леммы 14.1. <

Пример 1. Пусть	где % п о2 — скалярные пара-

метры. (Мы используем здесь обозначение X вместо традицион-
ного а, чтобы пе возникло путаницы с аргументом функции
#(«)). Требуется проверить гипотезу (X — Хо) против {Л =/= Хо) или
против {IX — Л01 > Ъп~ч~}, Ь>0, когда о неизвестно. Мы знаем,
что о. м. п. в этом случае имеют следующий вид. Если обе компо-
ненты Л и о2 вектора 0 — (Л, о2) неизвестны, то о. м. п. для 0 есть

ff* = (Z,a2)* = (i,S2), £2 = -1-2(х{-5)2. .

4=1

Если А.=Хо, то о. м. п. для о2 имеет вид (о2)* =
так что g (а*) = (Ло, Z?i)- Так как

/е (X) = ( /2^)^ ехр {- (2О2)"12 (*4 - Ь)21,
то критерий отношения правдоподобия (11) будет иметь вид

S2/S2>c.

В силу равенства — У2-}- (х — Х0)2 этот критерий эквивалентен
критерию

lx-Xol/S>c1.	(19)

По это есть хорошо известный критерий Стьюдента, рассматри-
вавшийся нами ранее (об оптимальных свойствах этого критерия
см. § 7).

Нетрудно проверить, что такую же форму будет иметь кри-
терий (12). Действительно, в § 2.16 мы видели, что матрица
7(0) для семейства ФХо2 имеет вид

/(0)=До (го4)-1)*

В нашем случае 0* — g(oc*) = (х — Хо, S~ — S{) ~ (х — Хо, тг(х —

1 (° )=(о (Уй2)-ф

Так как в левой части (12) стоит квадрат нормы |(^(а*) —
— O*)Zt/2(0*) I2, то критерий (12) будет иметь вид

который, очевидно, эквивалентен (19).
Если вместо 7(0*) здесь использовать 7(g(a*)), то мы получим
асимптотически эквивалентный критерий

IX Ло l/^i Ci.

Пр’имер 2. Пусть X{==. Ф/ а2. Требуется проверить гипотезу
{а = о0) против {Io2 — Оо1 > Ьи~1/2}, когда Л неизвестно. Здесь,
очевидно, о. м. п. 0* для 0 = (Л, о2) будет той же, что и в преды-
дущем примере. Если о —о0, то Л* = х, так что g(a*) = (х, о^),.
§* - g(a*) = (0, aj - S2).

Критерии (11) (или, что то же, критерий отношения правдо-
подобия) будут иметь вид

(52 —Оо)2Ло>2Ае?г \

эквивалентный, очевидно,

|52/а“

— 11 >► V 2hen 1

где Фо,1 ((^/2, °°)) = е/2. Этот критерий также уже рассматри-
вался нами в § 7.

Дальнейшие примеры использоваппя теоремы 4 см. в § 17.

§ 16. Критерий х2. Проверка гипотез
по сгруппированным данным

1.	Критерий х2« Свойства асимптотической оптимальности. Сам
по себе «исходный» критерий х2 предназначается для проверки
по выборке X из полиномиального распределения Bq , 0 =» (01т .. „
..., Or), 2	— 1» простой гипотезы 1Ц = {0 — р} против допол-

нительной альтернативы Нг = {0 =/= р}, p=(pi, рА. Полино-
миальное распределение Ве описывается вероятностями 0i=P(4i)r
i = l, ..., г, появления в отдельном испытании одного из пепере-
секающихся г событий At, Аг. Элемент х^ выборки X из этого-
распределения можно представлять себе как один из векторов
<?ъ ..., ет с г координатами. У вектора eh (г—1) координата рав-
на пулю, а координата с номером к равна 1; прп этом xj = e/tr
если произошло событие Ah. Обозначим число наступлений со-
бытия Ah в п независимых испытаниях. Тогда v = (vx, . ..,vr) =

= 2 xi есть достаточная статистика для 0, так как функция
i=l

правдоподобия /е(Х) имеет вид

/0(Х) = Пе1
i=l

(1>
Статистика %2 есть по определению

хгт=2

1=1

(У г — пРг)2
пРг

.® критическое множество критерия %2 (область приема Я2) име-

ет вид

Х2(Х) с,

где с выбирается по заданному уровню значимости.

Рассмотрим более внимательно сформулированную выше зада-
чу о проверке гипотезы II\ = {6 ==/?} против Я2 = {0 Ф р}.

Ясно, что распределения {Ве} образуют параметрическое се-
мейство, зависящее от к~ (г — 1)-мерного параметра (0t, ..., Ог-Д;

г— 1

значение 0Г определяется равенством 0r = 1 — S 0;. Вектор
1=1

(О,, ..., Or-i), так же, как и (0ъ ..0г), мы будем обозначать бук-
вой 0. Недоразумений от этого пе возникнет. Область О представ-
г—1

.ляет пз себя спмплекс 0t>0, г~1, ..., г—1, 2 0;1. Логариф-
1=1

мическая функция правдоподобия L(X, 0) равна

V

г	п

L (X, 0) = 2 vlt In 0/t = 2 I (хь 0).	(2)

h=l	1=1

Семейство {Be} удовлетворяет условиям С40), (Яй), (Лс), а также
условиям регулярности (RR) в любой внутренней точке пз О,
т. е. в любой точке 0, для которой все 0, > 0. Действительно,
в пашем случае

I (х15 0) — In 0; при Xj = ер,				
5Z(xr0)	0,- 1 npn X, = ej,			
	-er1 0  «ii	при x, = er, при Xj =£ ej.		(3)
50-			xx er,	
52l(xr0) 9Gi9Qj	® CD О	~ JLipil	Cj,  при Xj = er, при Xj^ej,	^i¥=er,	(4)

где бу — символ Кронекера. Из этих формул видно, что

д1! (хг, 0)
90^

91 (x.j, 0)	91 (х(, 0)

сЙ\ Гб]

i, j

Г
Часть условий (/?/?), связанных с существованием математи-
ческих ожиданий, здесь выполняется очевидным образом, так как
множество SB в нашем случае конечно.

Из (3) пли (4) находим

j(e) = pi;(e)|| = -|Me4gL| = |^+{-|.	(5)

i, j — 1, ..., г — 1.

Если в этой матрице первую строку вычесть пз всех остальных,,
а затем воспользоваться разложением по элементам первой стро-
ки, то мы получим

(	0 Аг-1 [ г А"1

И(в)|= 1 + 2/ Пег = (ИМ •

\	J j=l	J

г

Таким образом, 0 < 1/(0) [ < <», если Ц 0/, > 0, т. е. если точка 0

является внутренней точкой симплекса €).

Итак, мы видим, что мы вправе воспользоваться результатами
§§ 13, 14 об асимптотически оптимальных критериях. Из этих ре-
зультатов вытекает, что для проверки гипотезы IIt = {0 = р} про-
тив Н2 = {0 р} существует а. б. к., совпадающий с критерием
отношения правдоподобия

Этот же критерий будет асимптотически минимаксным для
^проверки 1Ц против гипотезы {(б — р)/(0)(0 — р)т > Ь2п~1} (см.
теорему 15.3).

Чтобы найти в более удобной форме критическую область (G),
вычислим значение (X). Дифференцируя (2) по 0Ь ..., 0r-i,
получим

OL (X, 0) v. vr ,	‘

50f	0.	е^, I — 1,	— 1.

Приравнивая эти производные нулю, мы получим, что о.м.п.
равна

0* = n_1v,

так что 6* —

Таким образом, переходя к логарифмам, критерий (6) можно
записать в виде

.	+	(7)

1=1	1 г
5 16]

КРИТЕРИЙ х2 И СГРУППИРОВАННЫЕ ДАННЫЕ

4U3

Согласно теореме 13.1 (см. также лемму 13.1) статистика
2i|)2(X) при гипотезе имеет предельное распределение %2 с
• г — 1 степенями свободы. Поэтому мы получим критерий асимп-
тотического уровня 1—е, если положим Cj = /?е/2, где hf — кван-
тиль распределения Hr-i порядка 1 — е.

Что же из себя представляет в наших условиях асимптоти-
чески эквивалентный (6) критерий л/, полученный в теореме 13.2
и имеющий вид

п(е* — р)Цр)(& — р) >V	(8)

При t = (t1} .

.itr-J'S— 2 получим
i=l

I 1'1 Fr	rr—l i'r



где

Pr

i=l

(9>

(10)

Полагая t — в* — p и замечая, что условие (10) выполнено, мы
получим в качестве (8) критерий

(11).

Это есть не что иное, как критерий %2. Из цитированных ут-
верждений вытекает, что X (X) (==> Нг_г.

Критерий л" в теореме 13.2, асимптотически эквивалентный
(7) и (11), будет иметь вид

' <12>

г=1	*

Учитывая также теорему 15.3 и замечание 15.1, мы можем резю-
мировать сказанное в виде следующею утверждения.

Теорема 1. Критерий (7) при Ci = hJ2, а также критерий
у? (11) и критерий (12) имеют асимптотический уровень 1 —в
и являются а. б. к. для проверки по выборке X £= Во гипотезы
{0 = р} против {0 =/= р}. Они же являются асимптотически мини-
максными критериями для проверки гипотезы {0 = р} против

близкой альтернативы ( 2 (®г — Pi)2/Pi > b2/nt при любом & > 0^
U=i	J
Асимптотическую эквивалентность критериев (7), (11), (12)
можно было бы установить и непосредственно, пользуясь разло-
vi	( Vi — ПРг \	-

.жегшем в ряд In —- = In Ц-----—---- в (/).

\	i !

Эти критерии являются асимптотически пепараметрическимп,
так как предельное распределение используемых в них статистик
является «абсолютным», т. е. с природой исходного распределе-
ния никак не связано.

2.	Применения критерия /2. Проверка гипотез по сгруппиро-
ванным данным. Критерий %2 является очень распространенным,
и значение его выходит за пределы задачи, рассмотренной в пре-
дыдущем разделе.

Обратимся к общей задаче о проверке гипотезы#! = {X^=Pt}
против Н2 = {-А^Ё Р» Р ¥= РД, изучавшейся в § 12. Так как
•сколько-нибудь развитая теория об оптимальных критериях су-
ществует лишь в' параметрическом случае, то естественно пы-
таться как-то «параметризовать» эту задачу *).

Наиболее простым и естественным способом сделать это в об-
щем случае является группировка данных. Опа состоит в сле-
дующем. Область возможных значений наблюдаемых величин
(т. е. пространство SB) разбивается па г пепересекающпхся об-
ластей Дъ ..., Аг, и вместо наблюдения х3 указывается лишь тот
интервал Aft, в которой это наблюдение попало.

Другими словами, мы огрубляем наблюдения, и те х3, которые
попали в Afe, мы можем заменить каким-нибудь одним значением
zh <= Дл. Ясно, что выбирая достаточно богатое разбиение, мы мо-
жем приблизить наблюдение х3 с помощью zh сколь угодно точно.

Итак, группировка приводит к тому, что наблюдение х3 заме-
няется вектором eh, если произошло событие Ah — {х3 е АД (век-
торы ек были определены в начале предыдущего раздела). Но но-
вая выборка, полученная в результате такой операции, очевидно,
'Сеть пе что иное, как выборка из Во, — Р(х3- <= АД. Мы уже
знаем, что в этом случае вектор v = (vb ..., vr) частот попаданий
в интервалы Дъ ..., Аг будет достаточной статистикой.

Произведенная редукция выборки X к вектору v и называет-
ся группировкой данных.

Ясно, что группировка связана с некоторым «обеднением»
выборки X и частичной потерей информации.

На произведенную параметризацию возможен и несколько
иной взгляд. Допустим для наглядности, что SB = R, и все рас-
сматриваемые распределения сосредоточены на конечном интер-
вале и имеют плотность, т. е. удовлетворяют условию (АД, где

*.) Имеется в виду конечномерный параметр. Любую задачу можно
считать параметрической, если допускать бесконечномерный параметр, так
как его можно отождествить с распределенном Р, X Р.
р — мера Лебега. Прп данном разбиении Alf ..Дг наряду с
плотностью /(ж) рассмотрим кусочно-постоянную плотность

Р(ДА 1 С	Э-

/е(я) =—д-1 = ду] f(x)dx =-д7 при ze А$.	(13)

1 Д1

Здесь А,- обозначает также длину интервала А,-. Это есть пара-
метрическое семейство распределений' Ро, Ре (В) = j fe(x)dx.

в

Мы получим выборку Y из Ре, если для каждого к соберем
все наблюдения из X (=е Р, попавшие в Aft, и затем случайно и
равномерно «разбросаем» их по Aft. По существу это то же самое,
что мы делали раньше, так как сведения о том, в какой точке
интервала Ah находится наблюдение у,, никакой информации в
себе относительно параметра 6 пе содержит: функция правдопо-
добия /е(У) прп «перемещении» наблюдений в пределах своих
интервалов не меняется. Таким образом, достаточно лишь знать
количества vb ..., vr наблюдений, попавших в Аь ..., Аг.

Ясно, что если /(ж) — гладкая функция, то fe(x) будет хорошо
приближать /(ж) при достаточно «мелком» разбиении {Д15 ..., А,}.

Соотношения (13) означают другой способ параметризации,
эквивалентный первому. Эквивалентность следует из совпадения
с точностью до множителя, пе зависящего от параметра, функций
правдоподобия. Для распре деления (13) опа равна

лаэ=Пе?Пл<''‘.
1—1	1—1

где первый множитель представляет пз себя функцию правдопо-
добия выборки пз Ве (см. (1)).

Следует отметить, что группировка наблюдений возникает
часто и сама по себе пе для целей параметризации, а просто как
удобный и часто более экономный способ записи информации,
содержащейся в выборке. Если, например, п — 10'*, а точность
измерений наблюдаемых значений на [0,11 сравнима с 0,1, то
ясно, что практически бесполезно знать все 104 наблюдений,
а достаточно указать 10 частот v,. ..., vl0 попадания в интервалы
Ai = ((z — D/10, z/10), i = 1, ..., 10, т. e. знать лишь гистограм-
му выборки.

Вернемся к задаче проверки гипотезы Z/l = {X£=P1} против
Я2 = {Х^= Р =# PJ. Будем предполагать произведенную группи-
ровку наблюдений такой, что значимое для пас отклонение рас-
пределения Р выборки X от Pj обязательно скажется на распре-
делении сгруппированных данных. Тогда нашу задачу можно рас-
сматривать как задачу проверки гипотезы {0 = р), где р, === РДД,-),
против {6 =/= р} для параметрических семейств Вв плп (13). Как
мы уже знаем, критерий (как и критерии (7), (12)) будет
асимптотически оптимальным в этой задаче в смысле, сформули-
рованном в теореме 1.

Кроме того, критерии х2 является асимптотически непарамет-
рическим, так как предельное распределение статистики %2(Х)
при гипотезе от исходного распределения выборки X пе за-

висит.

Отметим при этом, что проверка гипотезы {0 = р} для се-
мейств (13) пли Ве все же пе равнозначна проверке гипотезы
хотя при богатом разбиении {Ab ..АЛ может быть
и близка к ней. На самом -деле, для выборки X проверяется ги-
потеза X (== Р, Р (А,) = p'i = Pi (АЛ- Это делает критерий %2 не
состоятельным относительно альтернатив Р Рь для которых
0> = Р(Д,) = P/Af) = р^ Поэтому еще раз отметим, что критерий
X2 есть критерии, обладающий рядом свойств асимптотической
оптимальности, по он действует лишь против альтернатив, меняю-
щих вектор 0, т. е. против альтернатив, для которых {Р(А<)) =н*
^{Р/Д.)} ={/?.}-

Сделаем несколько замечаний, касающихся применений кри-
териев х2, (7), (12). Мы будем говорить при этом в основном лишь
о критерии х\ так как, с одной стороны, названные критерии:
близки друг к другу, а с другой — критерий х2 исторически (от-
части ввиду своей наглядности) получил значительно более широ-

кое распространение.

Уровень значимости критерия х2(-^)>^г равен 1—8 лишь
«в пределе». Опыт показывает, что для 8^0,01 истинный уро-

вень значимости этого критерия удовлетворительно приближает-
ся значением 1 — е лишь при пд, >8, i — 1, ..., г.

При большом числе групп г, скажем, при п > г > 30, можно
пользоваться нормальным приближением как для распределения

L.- (хг — г), yj Нг (см. § 2.2), так и для распределения при

у 2г

гипотезе Hi статистики х2(^Э, нормированной моментами

Mf(A>r-l,

Dz2 (X) = 2 (г - 1) + АI 5 рЛ - >-2 - 2г + 2
\1=1

Часто используют также нормальное приближение Фо>1 для
распределения случайной величины (см. § 2.2) ¥2%? — ¥г2г — 1т
7^VLr.

Отметим также, что при увеличении числа групп улучшается
приближение плотности /(х) с помощью ступенчатой функции,
построенной по значениям РДАг) — f f{x)dx. Это значит, что воз-
растает число альтернатив, не согласующихся с Hi, и критерий
уф все более становится критерием для проверки гипотез о плот-
ности. В связи с этим мощность критериев у2 фиксированного
уровня при увеличении числа групп будет убывать (ср. с заме-
чаниями предыдущего параграфа о критерии Морапа. Подроб-
нее об этом см. [121, [78J).

К недостаткам критерия х2 следует отнести тот факт, что в
ряде случаев разбиение {Дь ..., ЛЭ приходится устанавливать
статистику. Здесь следует проявлять осторожность, так как при
.этом вносится элемент субъективизма в «обеднение» выборки X.
Кроме того, иногда это разбиение выбирают в зависимости от
выборки X, что, вообще говоря, пе всегда допустимо, так как
при этом Л, становятся случайными (подробнее об этом см. [80],
с. 575).

Пример 1 *). Некто в городе' N обследовал показания 500
часов, выставленных в витринах различных часовых мастерских.
Результаты наблюдений были разбиты па 12 групп (в зависи-
мости от положения часовой стрелки на циферблате). Приведем
полученную таблицу наблюдений:

Промежутки на циферблате	0—1	.1—2	2-3	3-4	4—5	5—6	6—7	7—8	8—9	9—10	10—11	11—12
Число наблю- дений	41	34	54	39	49	45	41	33	37	41	47	39

Проверяется простая гипотеза 1Ц — {распределение положе-
ния стрелки по часовым группам на циферблате равномерно}
против сложной дополнительной альтернативы.

В этом примере п = 500, р, = 1/12, 7 = 1,..., 12, прл«41,67.
На основапип теоремы 1 можно приближенно считать, что
7s(^0€=Hii- В нашем примере непосредственным подсчетом
убеждаемся, что %2(Х) ~ 10 и фактически достигаемый уровень
критерия х2 приближенно равен 1—Нп((10, °°)) «0,47 (см. таб-
лицы III). Это означает, что результаты эксперимента согласу-
ются с гипотезой 1Ц с точки зрепия критерия х2 любого уровня
1 — е, заключенного между 0,47 и 1.

Мы уже отмечали, что критерий х2 имеет широкое распро-
странение. При этом сфера его приложений пе ограничивается
проверкой лишь простых гипотез. Один из таких примеров будет
рассмотрен в следующем параграфе.

*) Пример заимствован из [37].
§ 17. Проверка гипотез о принадлежности выборки
параметрическому семейству

Рассмотрим задачу о проверке сложной гипотезы Hi = {X^==
gPc;,KG/l} о том, что распределение выборки принадлежит
параметрическому семейству {Ра}аеЛ против дополнительной
альтернативы #2 — Р, Р Ф {Р«}аел}- Примером такого рода
гипотез могут служить утверждения о том, что X есть выборка
пз какой-нибудь нормальной совокупности (гипотеза HJ, и ут-
верждение, дополнительное к этому (гипотеза Я2).

Другим примером может служить проверка гипотезы о том,
что -^€=Во((х), где размерность а меньше размерности 6. Эту за-
дачу можно, конечно, трактовать и как задачу о проверке гипо-
тезы о принадлежности X параметрическому подсемейству (см.
§ 15), одпако верной будет и первая трактовка, поскольку в то*м
случае, когда в результате эксперимента наступает лишь конеч-
ное число возможных исходов (см. определение Вв в § 2.2), се-
мейство Ве содержит в себе все мыслимые распределения вы-
борки.

В следующем разделе мы рассмотрим задачу о проверке ги-
потезы X (= Ве(а) и покажем, что общая задача о принадлежно-
сти параметрическому семейству может быть редуцирована к
первой задаче путем группировки данных.

1.	Проверка гипотезы X ^В0(а). Группировка данных. Рас-
смотрим сначала общую задачу, сформулированную в начале
параграфа, в случае произвольного пространства . Возьмем раз-
биение пространства па области («интервалы») {Д1} ..., Дг),
такое, что число «интервалов» г больше I + 1, где Z есть размер-
ность параметра а. Произведем группировку наблюдений по этим
интервалам. Если гипотеза II х — {А"(=РК) верна, то вероятности
попадания наблюдений в интервалы Д,- будут равны

рДи) = Ра(Д£).

Это означает, что в этом случае вектор 0 = (0£, ..., 0г) вероятно-
стей попадания наблюдения в Д£ должен лежать на кривой 0 =
= р(а) — (pt(a), ..pr(ct)).

Таким образом, по полученной при группировке выборке
У(=Ве мы должны проверить гипотезу IIY о принадлежности У
параметрическому подсемейству ВР(а) против альтернативы
{У^Во}, где 0 не располагается на кривой 0 = р(сс), а<^А. Эта
задача рассматривалась нами в § 15, где был найдеп асимптоти-
чески минимаксный критерий для проверки 1Ц против близкой
альтернативы

= {У € Be, inf | е - р (а„ + Тп"1/г) I112 (р (а„ + fn-W)) | >

> Zw-1'2}	(1)
(см. замечание 15.3 к теореме 15.4. Точка а0 означает «локализо-
ванное» значение параметра, такое что альтернативы располага-
ются в окрестности точки 0О = р(а0).) Критерий отношения прав-
доподобия (15.11) в пашем случае имеет вид

111	(X) — шах 2 vi ln Oi — ШЯХ 2 vi ln Pi («) > /ze/2,

U i— i	a

или, что то же,

где а* есть о. м. и. параметра а по выборке У (или по вектору
у — (vi, ..., vr)). Этот критерий асимптотически эквивалентен
(см. теорему 15.4) критерию

(р(а*) — у?г_1)/(д(сс*))(р(а*) — v/z_1)r > hct.

Так как вид матрицы 7(0) пам известен (см. (16.5)), то, поль-
зуясь (16.9), мы получим из теоремы 15.4

Следствие 1. Если г—1>1 и функция р(а) удовлетворяет
условиям теоремы 15.4, то критерий отношения правдоподобия
асимптотического уровня 1 — е для проверки по сгруппированным
данным гипотезы Нг = {X (= Ра, Ра се {РсЛаел}, против дополни-
тельной альтернативы II2 является асимптотически минимаксным
(для проверки гипотезы IIi против (1)) и имеет вид

2v,ln—^->W2,	(2)

nPi («*)

где he — квантиль порядка 1 —е распределения у} с г—1—1 сте-
пенями свободы. Этот критерий асимптотически эквивалентен
критерию

X v’Q —	(6)

£1 ПРг(аг)

Последний критерий называют также критерием у?, но в слу-
чае, когда неизвестные «мешающие» параметры оцениваются по
выборке. Распределение статистики у?(Х\ как это вытекает из
следствия 1, сходится при гипотезе Hi к распределению %а с
7• — I — 1 степенями свободы (число степеней свободы ?• — 1 в пре-
дельном распределении статистики %2(Х) уменьшилось на число
скалярных параметров а<, ..., ос,, оцениваемых по выборке).

Пример 1. В примере 2.26.3 был описан механизм наследо-
вания групп крови 0 (поль), Л, В, ЛВ-. Он управляется генами
трех типов А, В, 0. Вероятности появления этих гепов в данной
27 л. а. Боровков •
популяции обозначим р, q, r = 1 — р — q. Вероятности р,(а) того,
что человек будет иметь г-ю группу крови, найдены в примере
2.26.3 и приведены в таблице 1 § 26.

Нам дана выборка X с частотами у,-, i = 1, 2, 3, 4, (см. табл. 1)
появления г-н группы крови, полученная в результате обследова-
ния п = 353 человек. В примере 2.26.3 для этой выборки были
найдены приближенные значения о. м. п. а* = (р*, q*) =>
= (0,246, 0,173). Это дает нам значения /д(сс*), приведенные
в таблице 1.

Таблица 1. Распределение людей по группам крови

	0	А	в	АВ	Всего
vi	121	120	79	33	353
—1  Pi =	1	0,343	0,340 .	0,224	0,093	1
• />,(«*)	0,337	0,347	0,231	. 0.085	1

Мы получаем возможность воспользоваться следствием 1 для
проверки гипотезы о том, что описанный выше механизм насле-
дования крови имеет место. С помощью таблицы 1 находим, что
статистика у?\Х) (см. (3)) в пашем случае равна примерно 0,44.
Это дает хорошее согласование с гипотезой, так как критическое
значение Л£, соответствующее распределению %2 с одной степенью
свободы п значению е = 0,2, равно h0,z ~ 1,64.

П р и м е р 2. Задача о сопряженных признаках. Допустим, что
выборка X есть результат обследования некоторых объектов, каж-
дый из которых характеризуется двумя признаками А и В. Пер-
вый признак может принимать значения ..., As, второй —
В,, ..., Bt. Спрашивается, зависимы ли эти признаки? Например,
мы можем проводить некоторый эксперимент G с исходами
ВИ ..., Bt в разных условиях ..., As. Задача состоит в том,
чтобы выяснить, зависят ли результаты эксперимента G от усло-
вий, в которых он производится.

Эту задачу можно рассматривать также как задачу о провер-
ке независимости двух случайных величин | п т) по сгруппиро-
ванным наблюдениям над парой (£, ц).

Результаты экспериментов в пашем примере представляют со-
бой матрицу значений HvJI, где у0- есть число появлений исходов
с признаками At и В, в выборке X объема п (каждый элемент
выборки есть пара признаков обследуемого объекта).

t »	S

Обозначим (AiBj), р^.— 2 Рц, Р*5 = ^Pip Тогда гипо-
3=1	i=l

теза IIi о независимости признаков будет иметь вид Hi~{Pij
Нетрудно видеть, что это есть гипотеза о принадлежно-
сти распределения выборки параметрическому подсемейству, где
роль параметра а играет ($+£ — 2)-мерпый вектор а~(р1., .
_____ ps-i., p.i, ..p.t-i) (значения ps. и p.t определяются пз ра-
8—1	.	t—i \

вепств ps. = 1 — S Pi-, P«t = 1 — S Р-з ]•
1=1	3=1 I

Функция правдоподобия выборки X при гипотезе 1Ц равна

П Ри3 = П Рь ’ П р'Г, _ Vi. = 5 vb-, v.j
i,j	i 3	i=l

2 v«.

1=1

Из результатов § 1G (ср. с (16.1)) следует, что о. м. п. а* для та-
кой функции правдоподобия имеет вид

Pi. — Vi.M, p.j = v.j/n.

Итак, критерий %2 в пашем случае принимает вид

Х2(Х) =

где hK — квантиль порядка 1 — е распределения %2 с числом сте-
пеней свободы st — 1 — (s +1 — 2) = (s — 1)(£ — 1).

Можно указать много прикладных задач, где используется
построенный памп критерий сопряженности признаков. Мы рас-
смотрим в качестве иллюстрации одну пз ппх — задачу социоло-
гического обследования о связи между доходом семей и количест-
вом детей в пих (см. [37], стр. 481).

П р и мер 2А. Пусть признак А означает количество детей и
принимает значения 0, 1, 2, 3, ^=4. Признак В указывает, како-
му диапазону (0 — 1), (1—2), (2 — 3), (^=3) (за единицу принято
1000 шведских крон) принадлежит зарплата. По результатам

Таблица 2

в	0—1	1—2	2—3	>3	V.  1 •
0	2161	3577	2184	1636	9558
1	2755	5081	2222	1052	НПО
2	936	1753	640	306	3635
3	225	419	96	38	778
>4	39'	98	31	14	182
V . '3	6116	10928	5173	3016	25263

27*
п — 25 2G3 обследований были получены следующие данные, при-
веденные в табл. 2.

... В этом примере уЧХ) = 568,5, что значимо больше критиче-
ского значения hR для распределения /2 с (5 — 1)(4—1) = 12 сте-
пенями свободы даже при достаточно малых е. Так что мы вы-
нуждены признать несостоятельность гипотезы IB — {Л и В неза-
висимы (несопряжены)}.

Отметим, однако, что более тонкий анализ указывает па
очень слабую зависимость признаков Л и В.

2.	Общий случай. Критерий у2, примененный к задаче этого
параграфа, обладает темп же недостатками, которые отмечались
нами применительно к задачам предыдущего параграфа.

Задача проверки гипотезы {Х(=Р0} о принадлежности X па-
раметрическому семейству {₽е}еео допускает, конечно, и более
широкий подход, аналогичный тому, который пзлагается в § 12.
Выберем некоторое расстояние й(Р, Q) в пространстве распре де-
лений. Далее, найдем точку Ре* из {Ре}, ближайшую к Р*
в смысле расстояния d. В качестве Ро* можно брать также
где 6* есть о. м. п. (см. § 2.5) или какая-нибудь другая разумная
оценка. Если гипотеза 1Ц верна, то d (Рс,*, Р*) пе должно быть
большим, и наооорот, еелп верпа Но, то cZ^Pg*, Р?*) будет зна-
чимо. Это соображение дает нам следующую конструкцию кри-
терия: мы отвергаем гипотезу если с?(Р0*, Р*) >> с, и при-

нимаем в протпвпом случае.

Число с следует выбрать так, чтобы

sup Ре (й( Ре*, Р*)>с)<е,
оео

пли чтобы это соотношение выполнялось асимптотически. След-
ствие 1 предлагает в качестве расстояния d(Po*, Р*) взять ста-
тистики в (2), (3). Средн других они обладают еще и тем досто-
инством, что являются асимптотически поляриметрическими: при
гипотезе Нг~ {Х^=Ре} предельное распределение уЧХ), напри-
мер, от 0 пе зависит.

Рассмотрим реализацию изложенного выше общего подхода в двух
важных частных случаях, когда параметрические семейства образованы
параметрами сдвига и масштаба.

1) Пусть мы проверяем гипотезу А'^Р0, бе Я, где Ре 64) — Р(Л —0),
Д с:/?. Обозначим F(x) функцию распределения, соответствующую Р, и по-
ложим Fe(x) = F(х—0). В качестве d мы возьмем расстояние, использо-
ванное нами в критерии Колмогорова.

Теорема 1. Пусть ХСЁРщ Fe(x)=Z?(x—-6), функция F(х) имеет
ограниченную равномерно непрерывную плотность f(x)—F'(x),
Jx2/ (х) dx<<x>. Если обозначить §xf (х) dx = а, 6*= х—а, то при любом О
lim Ре (sup Vп | F* (х) — ^о*(л) | > с) =

— Р ^Slip | wQ (F (х))	/ (ж) j и>е (F (1)) dt | > cj,

где w°—• стандартный броуновский мост.

Правая часть в этом соотношения от 0 пе зависит. Вычисляя се для
заданной F и выбирая с = се так, чтобы она равнялась е, мы получим кри-
терий

Dn ~ S"P । F* ~ F ~ °*> । > С*

асимптотического уровня 1 — е для проверки гипотезы II \ о принадлежно-
сти выборки X параметрическому семейству {Ре}, где 0 параметр сдвига.
Доказательство теоремы 1. Рассмотрим процесс

(*) = У« (/•'* (*) — Fe* U)) = wn (*) —Л/п (Fc# (х) — Fq (х)),

где wn (х) — ~\/п (/* (х) — Fq (х)). Имеем при t -> О

Ft(x) -Fe{x) = -(1-0)(/(х-0) +е(Г, 0, х)),
] 8 (/, 0, х) | < (Ои-е;,

где сод — пе зависящий от х модуль непрерывности функции /, сод->-О
при Л 0. Так как 0*->О, то, полагая t — 0* и принимая, не ограничивая
Ре

общности, а — 0, получим

У« Уе* И ““ Г0 ^)) =

= - / (х - 0) J td \Vn (F* (0 - Fo (г))]	8 (0*, 0, х) =

= — / (х — 0) j td Wn (i) -I- E (0*, 0, .г),

| 8 (0*, 0, X) К co (0* — 6) = ]/л I 0* — 0 I W|G#_C|->0.

Далее, функционал

Я.У (wn) = SUP

wn (ж) — / (ж “ e) j u;n (Z)

-N

при любом N > 0 является непрерывным в равномерной метрике. Замена
перемеппой х па (у) = 0 +	которую естественно сделать для

применения теоремы
мой теоремы

11N Уп)=>8иР

1.6.3, этого факта не меняет. Поэтому в силу назвап-

N

w°(F(x — 0))4-/(х— 0) J* w° (F(t— 0)) dt

-N

Чтобы доказать требуемое соотношение

Dn => sup w" (F {x

-0)) + /(x-0) Ju>D (F(f-O)) dt
(сдвиг на 0 аргумента в правой части значение последней пе меняет), нам в
силу соотношений

|/>п-Я^(«’„)|<<о(0*-0) + с ( юп(«)Л.	(4)

|t|>w

to(0* —0)->().

остается убедиться, что интеграл в (4) вместе с интегралом j w° (F (£)) dt

(мы ПОЛОЖИМ ДЛЯ простоты 0 = 0) СХОДЯТСЯ 'ПО вероятности к пулю при
п->оо, Л’ -> оо. Оценки обоих названных интегралов проще всего, по-види-
мому, провести, доказав малость их дисперсий и воспользовавшись нера-
венством Чебышева. Так как первые два момента подынтегральных выра-
жений в обоих интегралах ведут себя одинаково, то мы можем ограничить-
ся оценкой лишь одного из этих интегралов. Рассмотрим, например,

-Л'

р° (F(i)) dt.

В силу соотношений Mir° (s) w° (и) = min (s, u) su 2 min («, и) при
s 1, и 1, имеем

(— N	\ 2	—Л' —Д'

ie° (F (<)) rfz j ^2 ( j min (F (t), F (s)) dtds =

— OO	у	— OO —OO

—N	— N

= 4 j’ (_ t — A) F (t) dt < — 8 [ tF (Z) dt -> 0

— OO	— oo

при Л'-> co, так как ( t2dF (/.) < oo. Аналогично рассматриваются остальные
интегралы. <3

2)Г1усть теперь проверяется гипотеза X (== Ре, Q^It, 0>О, где Ре(Л)=
= Р(.4/6), A cz /?. Обозначим снова через F функцию распределения, соот-
ветствующую Р, и положим

Теорема 2. Пусть X (= Р0, Fq (х) = F (х/0), существует ограниченная

непрерывная плотность f(x) — I'(x) такая, что

sup | xf (х) I < ОО,
X

J х4/ (х) dx < ОО..	(5)

Тогда при любом 0

lim Ре (sup Уп I /* (х) — F (х/0*) I > с\ =

П-r oo \ X	J

= P (sup | ivQ (F (x)) 4- xf (x) J (F (t)) dt | > c
Доказательство этой теоремы совершенно аналогично доказа-
тельству теоремы 1. Имеем

wn <ж) = V" п <ж) ~ р (®/0*)) = wn (ж) — Vя (F С*70*) — F (ж/0)),

icu (х) = У п (Г* (х) — F (х/0)).

При /->0

F, Ы - О) (•>) = (А - Л) (/ (|) + в «. 0, «)].

где в силу соотношения /(х) •< с/\х| и равномерной непрерывности f на лю-
бом конечном интервале выполняется sup | е (/,*0, х) W|t_0|->O. Полагая
t 0* -> 0, получим

^0

= УЛ - -Ы-) ~ ’|/"(6*~е) •- •/(-’) е (0*. 0, .г),
V6* о/ Це/ е* о \е/

где sup второго слагаемого сходится по Ре-вероятносги к нулю. Нам оста-
X

ется воспользоваться рассуждениями предыдущей теоремы (малость интег-

ралов  j* (F (/)) dt и j iwn (t) dt обеспечивается условием (5)) и
|<|>JV	]i|>N

заметить, что главная часть Wn (х) равпа (мы примем, не ограничивая общ-
ности, о2 = 1)

W (х) — V” х (в*2 ~	/ (х/0) = wn (х) —__1'ЦЦ)___ Г 2dw

п' ’	00* (0 н- 0*)	п 06* (0 -I- 6*) J п

=	(х) — 2r/ f twn (I) dt,

n GO* (O-|-0*) J n J

где 0* (0 -I- 0*) -> 202. Поэтому
Pf)

= sup L° (F (/ U И (0) dt
X I V \ v / / v ' v / J

Так как преобразование сжатия по х под знаком sup ничего не меняет,
то теорема 2 доказана.

Аналогичные результаты читатель может получить и для статистик
J (А* (.г) - Fe, W)2 dFot (,r).

§ 18. Устойчивость статистических решений

При построении различных статистических процедур в преды-
дущих параграфах — в задачах оценивания или проверки гипо-
тез,— мы исходили каждый раз из некоторой совокупности уело-
вий. Эти условия касались, в частности, независимости наблюде-
ний и их одинаковой распределенности, предположений о харак-
тере распределения Р элементов выборки. Невыполнение этих
условий делало бы соответствующие утверждения (например,
о характере предельного распределения или об оптимальности
той или иной статистики), вообще говоря, пе верными.

С другой стороны, на практике обсуждаемые условия есть,
как правило, результат аппроксимации и неизбежной идеализа-
ции. Стало быть, в точном виде эти условия обычно не выполне-
ны, п возникают опасения, связанные с правомочностью рекомен-
даций, сделанных с помощью той или пион выбраипой статисти-
ческой процедуры.

. Следовательно, как и в любой другой области математики,
касающейся приложений, здесь необходимо на последней стадии
перед применениями разработанных методов выяснить, как ве-
лики должны быть отклонения от принятых условий, чтобы это
заставило нас изменить сформулированные выводы.

С математической точки зрения это есть задача очень близ-
кая к проблеме устойчивости. В англоязычной литературе для
этого круга задач принят термин «robustness»*). В связи с этим
в русской литературе наряду с «устойчивостью» используется
также слово «робастность».

Наиболее распространенные отклопепия от упомянутых выше
условий состоят в следующем.

1)	В серии наблюдений X присутствует малая доля «выбро-
сов», т. е. наблюдений, вызванных грубыми ошибками измерений
или записи, или порожденных каким-то другим «мешающим» ме-
ханизмом, отличным от исследуемой системы. Отделить эти на-
блюдения, как правило, невозможно. Вместо этого ищут про-
цедуры, которые были бы мало чувствительны к таким «засоре-
ниям» выборки.

2)	Распределение х, пе в точности равно Р, а лишь при-
ближенно.

3)	Элементы выборки X пе являются независимыми, а лишь
слабо зависимы.

Задача состоит в том, чтобы построить решающие правила
для основных задач математической статистики, которые были
бы близки по своей эффективности к оптимальным и в то же
время были бы нечувствительны к перечисленным отклонениям
от принятых условий пли хотя бы к тем пз лих, которые для пас
существенны. Эту задачу, которая является весьма трудной и пе
всегда точно поставленной, нельзя считать изученной в полном
объеме. Результаты здесь носят разрозненный характер. Поэтому
мы остановимся лишь на нескольких типичных примерах.

*) Robust — крепкий, здоровый.
1.	Оценка среднего для симметричных распределений. Пусть
Х£=Р, распределение на прямой Р имеет плотность fit —а)
относительно меры Лебега, fit) = fi—t). Мы обсудим следующие
две оценки параметра сс = Мхх. Одна пз ппх —

а* = х,

а другая а** основана на выборочных квантилях:

=	(о

h=l

где 0 < р < 1, г=1/р —целое число. При р — 1/2 оцепка а**
превращается в выборочную медиану t* = ti/2*

Ограничимся пока случаем р — 1/2. Имеем при «со I

(а* - a) Уп Ф 2, и? = [ /2/ (/) dt.	(2)

Кроме того, в следствии 2.2.1 было установлено, что при п-^оо

(«** — а) У7г Ф 2, of ==

о,а2	Щ (0)

Просматривая доказательство этого следствия, легко устано-
вить, что вместе с а** — t* = X(k0),	= f(^ + 1)/2), точно та-

кое же предельное распределение будет иметь и чЛен вариацион-
ного ряда х(М при любом фиксированном значении разности
/ь Z^o*

Отсюда следует, что оцепка ос** = £* нечувствительна (с точ-
ки зрения ее асимптотических свойств) к добавлению к выборке
X любого конечного числа «выбросов». Действительно, если мы
имеем I любых «выбросов» в выборде X, то а** будет распола-
гаться между значениями уj и У(й2), где ZcI = Zc0 —/, к2 = к0 + 1,
а У<м» к — 1, п — 1 образуют вариационный ряд выборки
У Р объема п — 1. Но асимптотические свойства и ypi2j
одинаковы и совпадают со свойствами выборочной медианы.

Итак, каковы бы ни были «выбросы», оцепка а** к ним пе
чувствительна. Этого нельзя сказать об оценке а* = х, где эти
выбросы могут дать значительный вклад (например, если они
сравнимы по величине с /г). Нетрудно понять, что свойство устой-
чивости а** сохранится и для небольших выборок, если чпсло
выбросов I мало относительно п. Оно сохранится и в случае, ес-
ли вместо £* использовать статистику (1) более общего вида.

С другой стороны, для важного частного случая, когда Р =
= Ф 2 есть нормальный закон, значение о2 = 0^/2 (/ (0) =
сс,и 1

= -= (О1 ]/<2л)1) превосходит разброс erf эффективной оценки
а* — х всего в л/2 раз. Эту разницу между эффективностью а**
и сс* можно ещо уменьшить, если рассмотреть оценки (1) при
г == 3, 4 и т. д. Мы получим тогда оценку а** почти столь же
эффективную, как и х (при отсутствии выбросов), и в то же
время устойчивую по отношению к выбросам. Наряду с (1) мож-
но брать усеченное среднее

Т1 — пр

2 х«» и)

Й—71 р + 1

разброс которого также сближается при малых р с разбросом
CFi оценки сс*.

Отметим, далее, что свойства оценки а* = х мало зависят от
изменений Р, сохраняющих дисперсию «1 = j	и, в част-

ности, от локальных изменений /(«) в точке t — О. В этом смысле
она устойчива. По свойство оптимальности этой оценки, имеющее
место для Р = Ф 2, неустойчиво. Действительно, пусть при ма-
лом е > О

Р = (1 — е)Фа, 1 + eUa_ei а + е,

Тогда /(0) = (1 — е)/У2л 4-1/2 >1/2 и, как показывают соотноше-
ния (2), (3), оценка а** = £* будет существенно лучше (е долж-
но быть мало, по не меньше 1/Ун).

С другой стороны, оценка сс** = £* устойчива (имеется в ви-
ду ее распределение) относительно изменений Р, пе затрагиваю-
щих значение /(0).

Сделанные замечания нетрудно переформулировать и приме-
нительно к статистическим критериям, например, к несмещенным
р. н. м.к. |х —а01>с для проверки по выборке -^€=Фа,1 гипо-
тезы = {сс = сс()} против 112 = {I а — а01 > d > 0).

2.	Статистики Стьюдента и 5о. Рассмотрим теперь вопрос
относительно устойчивости статистических процедур (оценива-
ния и проверки гипотез), связанных со статистиками

(х — а)1/н

п

5»=2

г-1

Па этих статистиках, как мы знаем (см. §§ 3.7, 3.8), основа-
ны оптимальные критерии соответственно для проверки гипотез
относительно среднего а и дисперсии о~ нормальных совокупно-
стей в случае, когда второй параметр (о2 или а) распределения
Фв неизвестен.

Статистики t и S% ведут себя по разному относительно на-
рушений условия Х^ФЯО2* Допустим, что п велико, а
где Р — любое распределение со средним а и конечной дисиер-
сией. Тогда распределение t, так же, как и в случае Хб==Фаа2,
будет сближаться с нормальным распределением Фо, t. Это сле-
дует из теорем непрерывности (§ 1.5) и того, что

(х — а) /«//Ох1^Ф0Д, Sj->Dxt.
р

Сказанное означает, что размер критерия Стьюдента при
больших п будет мало отличаться от заданного, если даже рас-
пределение Р выборки X существенпо отличается от нормаль-
ного.

Этого нельзя сказать относительно критериев, построенных по
статистике /?о« Это обстоятельство связапо с тем, что предельное
распределение «S'© зависит от значения Мх^. Действительно, из
рассмотрений гл. 1 следует, что

(So - с2) /п О ФО>Л!, <Р = М (х? - о2)2 = Ох?.

Стало быть, размер критерия, построенного по статистике
для пормальпой совокупности может существенно отличаться от
заданного, если X (== Р и Р отличается от Фа о-2 (разницы пе
будет при совпадении четвертых моментов Р и Фа о2).

Обе статистики t и >S'o чувствительны к отказу от* предполо-
жения о независимости наблюдений в выборке X. Если, напри-
мер, все наблюдения в выборке коррелировапы друг с другом и
коэффициент корреляции равен р, то, принимая ме ограничивая
общности а — 0, получим

— --у [«о2 — о2 (1 — р) — НСГ2р1 = о2 (1 — р).

Таким образом, здесь нарушается даже свойство несмещенно-
сти Si, хотя при малых р отклонение будет небольшим. Отыска-
ние распределений t и Sq при появлении зависимости обычно
представляет собой значительные трудности.

3.	Критерий отношения правдоподобия. Этот критерий обыч-
но весьма чувствителен к наличию выбросов и даже к малым
отклонениям в предположениях б распределении X. Пусть, на-
пример, проверяются две простые гипотезы = {Х£= Фод} и
Н2 — {Х£= и_1д}. Ясно, что при использовании н. м. к. Нейма-
на — Пирсона появление хотя бы одного наблюдения х вне от-
резка [—1, Н при идеальном соответствии остальных наблюде-
ний равномерному распределению U_lf t заставит нас (с нулевой
вероятностью ошибки!) принять гипотезу /Д. Это значит, что на-
личие хотя бы одного выброса или появление даже малых откло-
пенни от распределения U_ti 1 могут вынудить пас принимать
ложное решение.

В этом отношении критерий Колмогорова, например, явля-
ется значительно более устойчивым (хотя и менее мощным отно-
сительно //2). Вообще, нонараметрическпе критерии, как того и
следовало ожидать, в целом значительно более устойчивы, чем
«индивидуальные» критерии, обладающие свойством оптимально-
сти в той или иной конкретной задаче.

Что касается рассматриваемой задачи о проверке нормально-
сти (Я,) против равномерности (Я2) выборки X, то отыскание
мощных и в то же время устойчивых относительно выбросов
критериев можно произвести, используя по-прежнему отношение
правдоподобия, по для «усеченных» выборок (ср. с (4)). Можно
также идти по пути подбора какого-нибудь другого критерия.
В этом отношении наличие достаточно большого запаса различ-
ных критериев и оценок представляется весьма полезным. Это
связано зачастую пе только с соображениями устойчивости, но
и с вопросами удобства вычислений.
И Р II Л О Ж Е И II Е I

ТЕОРЕМЫ ТИПА ГЛИВЕНКО — КАНТЕЛЛИ

В этом Приложении будут доказаны утверждения, из которых будут
вытекать теоремы 1.4.1, 1.4.2. Обозначения параграфа 1.4, в котором эти тео-
ремы сформулированы, мы будем использовать без пояснений. Докажем
сначала один общин вспомогательный вариант теоремы Гливенко —
Кантелли.

Определение 1. Класс множеств пз 33^ = Эммы будем называть
конечно-аппроксимируемым (относительно распределения Р), если каково
бы ни было е > О, для него существуют другой класс множеств ©(e), со-
стоящий из конечного числа А = А?(е) элементов <S'i, ..., <S\v, SieS**, та-
кой что для любого Б St найдутся множества Л и Л2 из ©(в) со свой-
ствами

А1 cz В сг А 2,	z

(1)
P(J2-A) < е.

Определим над классами множеств операции сложения, умножения
п дополнения. Классами	и .Й'рЙ'г мы будем называть соответствен-

но классы множеств вида A (J В и Л р] В, где А е J?i, В е St'2. Дополнением
Й мы будем называть класс множеств, составленный из дополнений А,
Л е &.

Теорема 1. 1) Пусть Хп — [А»] п, Асо€Ё Р, а класс 5? является конеч-
но-аппроксимируемым. Тогда

sup I Р* (В) — Р (В) 1 —>0.	(2)

’	п.н.

2) Совокупность конечно-аппроксимируемых классов замкнута относи-
тельно введенных операций.

Доказательство. Первое утверждение получается с помощью тех
же соображений, которые применялись нами в одномерном случае в тео-
реме 1.2.2. Для заданных Ве^ и е>0 найдутся Л’==А(е) и множества
Л1, Л2, обладающие свойством (1). Для них имеем

Р^ (В) - В (В) < р’ (Л.) - р (Л,) < р; (J.) - Р (Л,) + е.

Р,’. (В) - Р (В) > Pj (Л,) - В (Л,) > р; (Л,) - Р (Л,) - е.

Поэтому

1V	.	. л	.

n I р! (?,.) - Р (?,.) < е) С f snp I р,*, (В) - Р (В) I < 2е1,

Ь=1	(Нс	J

где Bi, 5_v — элементы '©(е). Так как Р*	—>P(B7j), то отсюда

уже без труда получаем (2) (ср. с доказательством теоремы 1.2.2А).

Второе утверждение теоремы 3 почти очевидно. Пусть дано е > 0 и
пусть ©j (E]j и ®2(е2)—аппроксимирующие классы для и соответ-
ственно. Пусть, далее, А и
ПОШеНИЙ Ei Ег = Е,

Af.cz A cz Л2,

B^czB сВг,

В — любые Множества из и 3?2. Из соот-

Р(Л2-Л,) < Ei

Р (В2-Bf) <Z £2

(Л,- S ®1(Е1))}

{Bi е ©2(е2)),

получаем

Л,^! cz АВ cz А2В2,

A2B2-AiB1cz (Лг-ЛО (J (В2-В^,
Р {А2В2— Л12?1) е.

Таким образом, класс копечпо-аппрокепмируем. Сумма iti + ®2 и до-
полнение Й' рассматриваются аналогично. <

Следствие 1. Пусть SS = Rm, Хп = [Хто] n£==F. Тогда

sup | Z1* (t)-F{t)\—>0
t	п.н.

при п-^-оо, где F*(t) — эмпирическая функция распределения.

Доказательство. Из доказательства теоремы 1.2.2А видно, что
классы множеств .ftj = {у е Rm : у}, <. /,}, — oo < tj < со, при каждом j =
~ 1, ..., m являются консчно-аппроксимнруемымл. В качестве системы
©(e) достаточно взять полупространства {yj < zfc} и {у; zk}, к = 1,., ,N,
где zh определены в (1.2.6).

По второму утверждению теоремы 1 класс углов 3? = 3?iS?2 ... так-
же будет копечно-аппроксимируемым. Нам остается воспользоваться пер-
вым утверждением теоремы 1. <

Следствие 1 есть пе что иное, как теорема 1.4.1.

Рассмотрим теперь классы множеств Я1, которые удовлетворяют сле-
дующему условию (Г). Пусть Км есть куб

= тах

(Г) Все множества В е Й' обладают свойством: г-окрестностъ гра-
ницы Гв = д{В (\КМ) имеет меру Лебега (объем) у, (Гд) ф(с, Л/), где ср
зависит только от своих аргументов и при любом М ср(е, М) —>0 при е—>0.

Теорема 2. Пусть — Rm, X и распределение Р абсолютно не-
прерывно относительно меры Лебега. Тогда класс St', удовлетворяющий ус-
ловию (Г), конечно-аппроксимируем и, следовательно, для него справед-
ливо (2).

Доказательство. Заметим прежде всего, что задачу с простран-
ства Rm можно редуцировать к кубу Км в следующем смысле. Допустим,
что при любом фиксированном М найдется класс © подмножеств из Км,
такой что для любого В' <= it и В == В' П Км выполнено (1). Тогда А? будет
конечно-аппроксимируем. Действительно, для е > 0, выбранного в (1), най-
дем М = М(е), такое что P(7<jV) Zss 1 — 8, и положим Л , А'2 — А0 (J Км,
где А, — множества пз (1),' Kif—дополнение до Км. Тогда, очевидно,
.<СВ'С-<,	Р(4-Л;)<2е.

Итак, мы можем считать, что Р(КМ) == 1, А? составлено из подмно-
жеств Км-

Рассмотрим в качестве © фигуры Л,, образованные различными объе-
динениями замкнутых кубов с ребрами длиной б и с вершинами в точках

(/16, ...,/те6), —Jtf/б << АГ/б, к = ], ..., т,
(можно считать для простоты, что б нацело делит М). Определим множест-
ва Ai, А2, соответственно, как объединения всех кубов, принадлежащих и
задевающих В. Очевидно, что

ах аваА2,

р (Л2 - Лх) < н	< Ф (26 У^, 7И).

Выбором 6 правая часть этого неравенства может быть сделана сколь угод-
но малой.

Далее, Р абсолютно непрерывна относительно ц. Поэтому, для задан-
ного £ можно найти 7 = 7(e), такое что supP(.4) <Г е. Если теперь 6 вы-

ЩАКу

брать так, чтобы ф(2б|'»г, М) < 7, то получим

Р(Л2-Л,) < е. <

Следствие 2. Класс (S всех выпуклых множеств конечно-аппрокси-
мируем и, следовательно, для абсолютно непрерывных Р

sup |р*(В)_р(В)|-->0.

1	п.н.

Действительно, максимальная «площадь» поверхности выпуклого мно-
жества в КЛ1 составляет 2/п(2.17) "1-1— «площадь» поверхности Км, а мак-
симальный объем ц((дКм)*) е-окрестности дКм не превосходит 2е •

Это означает, что условие (Г) выполнено. <

Следствие 2 совпадает с теоремой 1.4.2. Замечание о существенности
условия об абсолютной непрерывности Р содержится в § 1.4.

Нетрудно видеть, что условие (Г) будет выполнено и для классов ио-
выпуклых множеств с достаточно гладкими границами.

П Р II Л О Ж Е II H E II

ФУНКЦИОНАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
ДЛЯ ЭМПИРИЧЕСКИХ ПРОЦЕССОВ

Мы докажем здесь следующее утверждение (теорему 1.6.3). Пусть
(<>=!/» (л: (<>-')

есть эмпирический процесс, определенный в § 1,6, и w°(i)—роунов-
ский мост.

Теорема 1. Если / есть измеримый функционал: D(0,1)->7?, не-
прерывный в точках пространства С(0,1) в равномерной метрике, то при
п —ОО

/ (<рп)ч>/(«>’).

Для доказательства теоремы нам понадобятся две леммы.

Лемма 1. Конечномерные распределения процессов шп слабо сходятся
при п-+-оо к соответствующим распределениям процесса w°.

Доказательство. Рассмотрим случайные (т -J- 1)-мерные векторы

wn = (V“........4>"),

где Ajg, как и в § 1.6, обозначает разности

Ajg = g(*j+i) —

tiy j = Oj . . ZZ2, to =5 0, ^jn-M ==
Через w° обозначим аналогичный вектор для процесса В силу вто-
рой теоремы непрерывности, для доказательства леммы нам достаточно
показать, что wn^w°.

Найдем характеристические функции wn п tv°. Для вектора и=(«0, ...
..ит) имеем

т	.	I( т	]	( т	Ч

Me<w и = М ехр li 2	rSAilz’O(	= М ехр Г 2	uj (Ajw ~ w U)

I 3=0	J	I j'=0	J

где Aj = £j+i — tj, j = 0, m, w(t) — стандартный винеровский процесс.
Представим показатель у экспоненты как сумму независимых величии.

771

Обозначив для краткости У, — U, получим
j=o
т	т

2	(А^ - (1) А 0 = S («j - U) Aiw-

3=0		3=0

Так как Meiuw(s) = е~^!\ то

(777	]	/ 777	X'l

—у 2 (из ~ ит л4=ехр ~ 4 (2~и2) г (1>
з—о	J	\i=o	}]

• п Т

Рассмотрим теперь MelW и . Пусть, как и прежде (см. § 1.6),
лп (0 = nF* (0.

Тогда, как мы уже знаем (см. (1.6.1)), 

Р (Vn = *0’ • • • ’ А A = М = T0--7>J Ао° ♦ • •

В правой части стоят члены разложения полинома (Ао + ... + Ат)п. Ис-
пользуя этот довод, получаем

т

i 2 иjAj^n

i=0 = 2 • • (^т =

'О' • • • "?п’

=(?Ч+

Так как ^jwn = Д/п (г* (Г;+1) - F* (Г) - Aj - (А^п - пЛ;)/Уп, то

= ехр j — i 2 uj V«A 1 M exp	u j^jnn

I 3=0	J lV/l j=o

eiV^u f 2 ?u^Z/nA.
\j=o

Отсюда для фиксированного и, пользуясь равенствами

еа — 1 a -J- а2/2 -f- О (а3),	1н(1 + ос) = ос — ос2/2 + О (ос3)
при a = o(l), находим

In Me,w71u Г = — iU	n -I- n

т г	•	71/-ч

in

=—iU Д/n -г n In 1 +

3=0

777	/

u'3 ul

\/n

-I- О (п 9/2) J Д; =

з—о

Ш _ 1
l/ n	2/i

777

* ь	2

2^+^+°^

5=0

_ £
2

m

-2“)^ + ^

3=0

т

Сравнивая c (1), мы видим, что при n->oo
Meiw”“T

(2>

Остается воспользоваться теоремой непрерывности для характеристиче-
ских функций многомерных распределений (см. [И], стр. 148). <

Л е м м а 2. Для любого е > О

lim sup Р Го)д (?//') > е) -> О
П~>ОО

(3)

при Д->0, где (Од(у) есть модуль непрерывности функции y^D(O, 1):
(У) = sup I у (« ) — у (t ) I.

р1-/2]<?Д

Дока з а т е л ь с т в о. Не ограничивая общности, мы можем рассмат-
ривать лишь двоично-рациональные Д = 2~1. Имеем при m > I

сод (zoM) < of’J + 2 шах о

h<2m \ 2	2

где

Чтобы доказать (3), рассмотрим

Возьмем здесь первое слагаемое. Нетрудно видеть, что при I > 3 со-
бытие

m 2'
п п

28 А. А. Боровков
426

ПРИЛОЖЕНИЕ II

«лсчет за собой	Поскольку для дополнительных событий име-

ет место обратное включение, то

Р (mM > е) < Р (Д Д {| (у-) - и>» (4^-) | > -р-]).	(3)

*гт	71 /	\ П (\	— / — / Яс f к \ Яс /	~ 1 \	1 \

\2Г/ I 2r J \n\2'J 2r }	2’J’ A

f „* ( к \ r* ( к — 1 A\

— ^nl -7 )) есть частота попадания элементов выборки в
интервал длины 2~г. Другими словами, это есть сумма Sn случайных вели-
чин в схеме Бернулли с п испытаниями и вероятностью исхода 1, равной
р — 2-г. Так как (см. [11], стр. 105)

M(Sn — пр)4= п {р (1 — р)4	(1 — р) р1) 4-3/7 (я — 1) р2(1 — р)2< пр \-3n~p2,

то по неравенству типа Чебышева

Следовательно, правая часть в (5) не превосходит

(т

У; г8 <— 7?г9/9 прп т -> оо,

Г=1

при Z —> оо I. Полагая т = 3 Iog2 п, мы получим, что

Это выражение может быть выбором I (или Д) сделано сколь угодно малым.
Оцепим теперь второе слагаемое в (4), не превосходящее



2гаР

(0)

Событие, стоящее здесь под знаком вероятности, означает при выбран-
ном яг, что на интервале ((к— 1)/п3, к/п3) шириной п~3 отклонение
n(f*(u) — а) от /г (F* (А’/п3) —/7и3) превзойдет упе. Так как }7ге 3 прп
достаточно большом п, то для этого в интервал ((А — 1)/лг3, к!п3} должно
попасть по крайней мере 2 элемента выборки X. То есть должно произойти
событие {sn^2}, если воспользоваться снова обозначениями для схемы
Бернулли при р ~ п~3. Но так как 1 — (1 — р + р)и = (1 — р)"4-
+ тгр (1 — р)’1-1 + О(тг2р2), то

2) = 1 — (1 — р)11 — пр (1 — р)П-1 = О(п2р~),
Таким образом, (6) пе превосходит пЮ(п~*) = 0(п~1) — о(1). Это закап-
чивает доказательство леммы. <]

Доказательство теоремы 1. Для любого х D (0, 1) положим

11*11 = sup |s(t)|,	f+(x) = sup Цу), J~(x) = inf / (у)

O«t<l	Hi/- x||<8	|)>/-x|l<e

и обозначим через x& непрерывную ломаную с узлами в точках (АД»

*(*Д) = жд(А-Д)), /с = О, ,..1/Д, где Д нацело делит 1. Заметим, что

||я — /гд11 сод(х)	(7)'

и что(жд) суть непрерывные функции от вектора (ж(0), я(Д), х(2А), ...

..., ж(1)). В силу леммы 1 п второй теоремы непрерывности при п->оо

(8)

Кроме того, пз непрерывности w° п функционала f следует, что

|| “4 ~ w° || ° A (w°) $ ПРП △

(ie°) -> f (w°) прп е->0,	(10)

р

Из определения /е следует, что /Е (у) «С / (/с) па множестве
IIУ — *11 е. Поэтому

Р (/ (» )<|)<Р (/,7 (»д) < || Юд — w”I< е) + Р ( | in" — wn| > е) <

< р (/г И) < О+р (“л (»") > 4

Переходя здесь к пределу при п -> оо и используя (8), (9), получим

lim sup Р (f (wn) < t) < P(/E (г/?д) < О + liinsup P (сод (wn) > e).	(11).

2l->oo	TWoo 4	7

Аналогично находим

p(A (4) < 0<p (fi. <!0°) < 0+p (»4	> o-

Подставим теперь последнее выражение в (11) и перейдем к пределу цр®
Д —> 0. Из (9) и леммы 2 мы получим тогда, что

lim sup Р (/ (wn) < t) < Р (f" (w°) < t).

П->оо	4	f

Отсюда и из (10) вытекает, что

lim sup Р (/ (wn) t) < P (/ (w°) < t).
n-»oo

Диалогично устанавливается обратное неравенство

lim inf P (/ (wn) < t) P (/ {w°) < t),

П-ЫХ

Полученные неравенства означают, очевидно, что / (wn) => / (w°). <

Рассмотрим еще одну функциональную предельную теорему для эмпи-
рических процессов, весьма близкую к теореме 1.

Пусть наряду с выборкой Л' объема ni пам дана независимая от нее
выборка У объ’ема н2 из того же равномерного па [0, 1} распределения.
В условиях этого раздела нам удобнее будет эмпирические функции рас-
пределспия выборок X и Y обозначать соответственно через F*x (f) и
FY (i). Положим

(0= У «;"+%

Теорема 2. Если функционал / удовлетворяет условиям теоремы 1,
то при zit оо, /г2 -> оо

Доказательство. Докажем эту теорему при упрощающем пред-
положении, что

при п -> оо. Имеем

“'.г.у (’) = V -44 [(4 w - <) - (4 (<) -<)] =

— ~]/awx (t)	Д/1 ~ wY (/),	(12)

где wx(t) и wY(t)—эмпирические процессы, соответствующие выборкам
А' ц К.

Так как сод(х4- у) <4 сод(х) -J- юд(у), то из (12) и леммы 2 сразу вы-
текает аналог леммы 2 для процесса wx, Y (t): Для любого е > 0

lim sup Р (сод (юх у) > е) -> 0.

Сходимость конечно-мерных распределений wx, Y п w° также выте-
кает из (12). Действительно, обозначим через wx Y, wx, wY векторы, по-
строенные по процессам wx Y(t), wx(t), wY (t) точно так же, как строил-
ся вектор wn по процессу wn(t). Тогда, используя независимость А и У и
доказательство леммы 1, получим

ЯЛ	.1 iVaWrU1.. iVl—awYuT

Me — Me Л Me 1 -> exp

(m

V u?A — v-

jitA J J

3=0

теоремы 2 ничем пе отличается от дока-

В остальном доказательство
зательства теоремы 1. <]

П Р И Л О Ж Е Н И Е III

СВОЙСТВА УСЛОВНЫХ МАТЕМАТИЧЕСКИХ ОЖИДАНИЙ

В § 2.9 перечислены основные свойства у. м. о. Ниже приводятся до-
казательства этих свойств, расположенных в том же порядке, что и в § 2.9,
la. М (с^/21) = сМ (£/21).

lb. М 4- g2/2l) - М (^/21) -(- М (^/21).

1с. Если	п. и. , mo М (£}/$) <М (ё2/Я) н.н.
Чтобы доказать свойство 1а, надо убедиться, согласно определению
2.9.2, что

1)	сМ (£/^) есть ?t-измеримая функция,

2)	М (еМ (V^); Л) = М (eg; Л) для любого А е 21.

Выполнение первого свойства очевидно. Второе свойство вытекает из
свойств линейности обычного математического ожидания (или обычного
интеграла):

М (сМ (g/2t); Л) = сМ (М (£/21); Л) = сМ (£; Л) = М (с£; Л).

Свойство 1b доказывается точно так же.

‘ Чтобы доказать свойство 1с, положим для краткости £i ~ М (д^/Я).
Тогда для любого А е

J f^P - М (Гр Л) = М (g±; Л) < М (g2; Л) = J £2^Р,
А	А

А

Отсюда вытекает, что g2 —	> 0 п. н.

2.	Неравенство Чебышева. Если g 0, х > 0, то

Это свойство вытекает из 1с, так как Р (£	ж/2() = М (-f{g>X}7^), ГД°

1л — индикатор события Л, и справедливо неравенство	%,/х.

3.	Если 21 и о(£) независимы, то M(g/2l) = Mg. Так как Г— Mg яв-
ляется 21-измеримой функцией, то нам остается проверить лишь второе
условие определения 2.9.2: для любого Л <= Я

М(Г Л) =М (g; Л).

Справедливость этого равенства вытекает из независимости случайных ве-
личин 1Л и | и соотношений

М (g; А)—М (g7A)=Mg-M/A= gP(A) -M(f; Л).

4.	Теорема о монотонной сходимости. Если 0 £ n f £
п. н., то M(g?!/?l) f M(g/2I) n. н. Действительно, из £n+i |n п. в. следует
&>*+i > ri. н-> гДе £„=М (£п/21). Поэтому существует ^-измеримая Г, та-
кая что£„ | £ н. и. В силу обычной теоремы о монотонной сходимости для
любого Лей

( Г/ZP -> J Г^Р,	J ^ndP -> f g^P.

А	А	А	А

Так как левые части этих соотношений совпадают, то совпадают и правые.
Это и означает, что g — M(g/$).

5.	Если ц вещественна и ^-измерима, то

M(i]g/2I) = i]M(g/2I).	(1)

Если п = 1ц (индикатор множества	то утверждение справедливо,
так как при любом Л

jM(Z^/S()dP«J/B|dP = JgdP = J М(£/$ИР= J/BM(fe/!K)dP.

A	A	AB	AB	A

Отсюда и пз линейности у. м. о. следует, что утверждение справедливо и
для любых простых функций Т].

Если £ >= 0, ц 0, то, взяв последовательность простых функций 0
^т]п f т] и пользуясь теоремой о монотонной сходимости в равенстве

M(WSC) = T)nM(g/Sl),

мы получим (1). Переход к случаю произвольных | н ц осуществляется
обычным образом — путем рассмотрения положительных и отрицательных
частей случайных величин £ п ц. При этом для того, чтобы полученные
разности п суммы имели смысл, нужно требовать существования М I £ | <оо,
М Цт) | < оо.

6.	Неравенство Коши — Буняковского

м (£,?,/«) < [М (Й/й) М (Й/й)]1''2

доказывается точпо так же, как для обычных математических ожиданий
(см., например, [11]), поскольку доказательство пе использует других
свойств математических ожиданий, кроме линейности.

Неравенство Йенсена

g (М £/Я))< М (g (|)/21)	(2)

для любой выпуклой вниз функции g вытекает пз следующих соотноше-
ний (ср. с [11]). В силу выпуклости g(x), для каждого у найдется число
gi(y) такое, что

g(^) < g(y) + (ж — y)gi(y).

Положим здесь х — у = £ = М(|/й) и возьмем у. м. о. обеих частей
этого неравенства. Так как в силу свойства 5

м[(£ -t) (f)/»] = gt (?)м -Ш = о,

то мы получим (2).

7.	Формула полной вероятности следует из свойства 8, если в качест-
ве 21 взять тривиальную о-алгебру.

8.	Если 51 с §1] cz &, то справедлива формула «последовательного ус-
реднения»

М (g/ST) = М (М

Действительно, для любого А е §1 в силу того, что A <= Sli

М (М(|/21г)/й) dP = J M^/S^)	= j £dP = f М(£/й) dP.

A	AAA

В заключение отметим, что свойство 5 при широких предположениях
допускает следующее обобщение.

5А. Если т] измерима относительно й, <р(<», ц) есть измеримая функция
переменных со е Й <i i| е Rh, то

М (<р (со, т))/^) = Ф (®, П), где ф (со, у) = М (ср (со, у)/й).	(3)

Мы докажем это свойство в предположении, что существует последо-
вательность простых функций т|п, такая что ф(<о, ц„) | ср(со, -q), ф(со, r]n) f
f ф(<о, т1) п- Е- Действительно, пусть т]п = Уь при со s Ak cz St. Тогда
Ч ^>11м)=2<Р(<о,у/()/л .

k

Б силу свойства 5 отсюда следует выполнение (3) для функций т]п. Оста-
ется воспользоваться теоремой о монотонной сходимости (свойство 4) в
равенстве

М(Ф(®,П„)/^)='Ф(©,Пп).

II Р И Л О Ж Е II II Е IV

ФАКТОРИЗАЦИОННАЯ ТЕОРЕМА ПЕЙМАНА — ФИШЕРА

Мы докажем в этом разделе теорему 2.12.1.

Чтобы упростить обозначения, мы будем считать, пе ограничивая общ-
ности, что п = 1 (ведь выборка X может быть многомерной). Кроме того,
в соответствии с соглашением о том, что вероятностное пространство (й?, S3)
является выборочным, мы будем писать Ре (В) вместо Ре (Хе В). Размер-
ность статистики S мы будем обозначать через I.

Теорема 1. Пусть выполнено условие (Ар). Статистика S является
достаточной тогда и только тогда, когда существуют неотрицательная изме-
римая по s е В1 функция 4'(95 s) „и неотрицательная измеримая по хе 2?
функция h(x), такие что

<7Р0

/0 (х) = Uj = Ф (О, S (х)) h (х) п. в. [ц].	(1)

«р

Доказательству теоремы 1 мы предпошлем два вспомогательных ут-
верждения. Введем в рассмотрение

Условие (D). Семейство & = {Ре} ее» удовлетворяет условию (A?J
(т. е. доминируется мерой л), где вероятностная мера X имеет вид

‘4>0. S<4 = 1-
г	г

Теорема 2. Условие (Ч(1) необходимо и достаточно для выполне-
ния условия (D).

Доказательство. Необходимость очевидна. Докажем достаточ-
ность. Не ограничивая общности можно считать, что ц— вероятностная ме-
ра. Действительно, вместо ц всегда можно ввести меру

где {/?.} образуют разбиение пространства такое что р(Д>) < оо,
7 = 1, 2,

Пусть Ф есть класс всех вероятностных мер вида Р = 2 с^е-> е
<{> 0, Vc4 = 1. Очевидно, 5s cz^ и 9> также удовлетворяет условию (Л1().

Обозначим р — dP/dp, и рассмотрим класс ® множеств Се8, для ко-
торых существует Р e fP, такое что р(х) >0 п. в. па С, Р(С) >0. Пусть
Ct, С2, ... — последовательность множеств из 6, такая что

p(C{)->sup ц(С).

се®
~	яр(^)

Так как Ci е (5, то существует	такое, что р(г) = --- >0

ан

п. н. на Ci. Положим

cQ = и cv р<о) == 2 cip(i)> 'pw = 5 ciP(i)

прп какпх-ппбудь ci > 0, 2сг ~ Очевидно, что р<°> > 0 иа Со и, стало
быть, Со е (S.

Мы докажем утверждение теоремы, если установим, что Р<°>(Л) =0
влечет за собой Р(Л) — 0 для всех Ре^. Это будет означать абсолютную
непрерывность Ре относительно А = Р<0) и выполнение условия (D).

Итак, пусть Р(0)(Л) = 0, и Р есть любой другой элемепт &*. Обозначим
С — {х: р(х) > 0}. Требуемое утверждение будет вытекать пз следующих
трех соотношений:

Р(ЛС0) = 0, Р(ЛС0С) = 0, Р(ЛС0С) «= 0,

где В означает дополнение к В. Первое пз этпх соотношений вытекает пз
того, что Р<°)(ЛС0) = 0, д<°’(х) > 0 на Со п, стало быть, р(ЛС0) = 0. Вто-
рое следует пз того, что р(х) = 0 па С. Чтобы доказать_третье соотноше-
ние, допустим, что оно неверно. Тогда, полагая R = АС0С, мы получим
р(й) > 0, ц(Со U В) — р (Со) > 0. Но это противоречит равенству

р(С ) = sup ц(С),
Се®

поскольку Со <= 5, В е Со U В е <1

Итак, мы установили, что прп выполнении условия (Ли) существует
мера А, при которой выполнено условие (D).

Теорема 3. Статистика S является достаточной тогда и только
тогда, когда существует измеримая функция ge(s), такая что

<ZPfi

(х) =ge (5 (х)) п. в. [А].	(2)

Доказательство. Для любого измеримого В cz R1 обозначим

=	S (х) <= В) <= $3^. и рассмотрим распределение G9 па

В1 статистики S, индуцированное распределением Р9:

С	С	dP

GQ(B) =	Ре(^)=	« (.r)A(dx).

J	J	uA

Рассмотрим также распределение

v (В) = J A(cZx).

S-!(B)

Ясно, что G0 абсолютно непрерывно относительно v, так как v(B) = 0 вле-
чет за собой Ge (й) = 0. Поэтому существует измеримая по s плотность
go (s), такая что

Ge <В) = [ <s) v

в

Предположим теперь, что S — достаточная статистика и, стало быть,
существует вариант условного распределенпя P(A/s) = Pe(A/S(x) =s), пе
зависящий от 0. По определению условного распределения, для любого
Ло €<?(£) выполнено

J Р (А/S (ж)) Ре (dx) = Ро (А П Ао).

л0

Отсюда следует также, что

f Р (А/S (х)) X (dx) = X (А П Ао).

Ао

Это означает, что P(A/S) является одновременно условной вероятностью от-
носительно распределения X. Мы обозначим эту вероятность как у. м. о.
Ех (IA/S) индикатора 1а.

Из (1) при Ао — R1 получаем в силу свойств у. м. о.

Pfl (А) = J Р (А/S (х)) Ро (dx) = М0Р (A/S (X)) =

=  [ Р (A/s) Go (ds) = J Р (A/S) ge (s) v (ds) = J P (А/S (x)) ge (S (x)) X (dx)=

J EX (!a/S (*M	(x)) 1. (dx) = J El (IAge (S (x))/S (x)) X (dx) =

= j TAgo (X)A (da) = J ge <*)> x

A

Это и означает, очевидно, (2).

Предположим теперь, что выполнено (2). Мы докажем, что у. м. о.
Е^(/л/5), соответствующее распределению X (опо пе зависит от 0), яв-
ляется одновременно у. м. о. Ре(А/5) для всех Ре е S3.

Для фиксированных А п 0 введем меру 7 па 3, определив ее равен-
ством

7(С)=Ре(АС), Сей,

так что ay/dPo = 1Л, dy/dh — 1Л ge(S(x)),

Для любого Сs o(S) имеем

Т (С) = ( ZAPe(*) = М0/А/с = Mi/cMo (гл/в~) = ( ме (^/5) рв(^)- (3)
С	с

Следовательно, если у, Ре, X рассматривать как распределения на о (S), то
dv

i = ме (rA/S) = Мо (7a/S) g0 (S).

Аналогично в силу (3) на о (5)
dy
йГ = Е,. (rAge (S)/S) = g0 (S) Е,_ (f A/S).

Отсюда следует, что Х-почтп наверное (здесь и ниже мы снова под X и
Р0 понимаем распределения иа o(S))

мо (Гл/S) Ц (S) = Е, (ГA/S) ge (S).	(4)

Воспользуемся теперь свойством (D), в силу которого выполнение (4)
Хчь в. означает выполнение этого соотношения Р0-и. к. Кроме того,
I’e-n, н.

dPfi
gQ(S (x)) = -^-(x)#=0.

u-А

Следовательно, Ре-п. и. справедливо

₽е (Л/S) = М0 (IA/S) = ЕХ (fA/S).

Это означает, что не зависящая от 0 величина Е^	может быть

выбрана в качестве условной вероятности Pe(A/S). <]

Доказательство теоремы 1. Если 5 — достаточная статистика,
то (1) следует из теоремы 3, так как

/е w =	= «о (S W) (*)>

dp.	dp

ил

где следует положить gQ (s) == гр (0, $),	(х) = h (х). Обратно, если спра-

ведливо (1), то

= У сг -Д7Г2- =2	(°Г S 11	= r<S 11 И*

Поэтому, если г(5(х)) > 0, то

. dp _ Яр (6- S (g))
d~k dp, dK r (S (x)) *

dP0

Если r(S(x))=0, то ——— (x) можно определять произвольным образом,

так как %-мера и, следовательно, Ре-мера множества таких точек х равна
нулю. Полагая ge (s) — ip(0, s)/r(s) и применяя теорему 3, мы получим, что
S — достаточная статистика. <

ПРИЛОЖЕНИЕ V

ЗАКОН БОЛЬШИХ ЧИСЕЛ П ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА.

РАВНОМЕРНЫЕ ВАРИАНТЫ

1.	Закон больших чисел в схеме серий. Рассмотрим последовательности
п}а=1» «=Ц2, ..., независимых одинаково распределенных векторов
в схеме серий (распределение п зависят от п) и предположим, что
—0.

п

Обозначим tn— У,

Теорема 1. Пусть

7гМ|^.п|==йп<«<00’

>т)->°	(1)

при оо при любом т > 0. Тогда для любого е > 0

Р(1М > е)^0.
Доказательство. Рассмотрим срезки п случайных величин
1л. « на уровне т:

г _ Рл’п’ ССЛЫ I | т’

к,п (0,	если |	n | > т.

В силу условия (1)

£j,n) = Р ( 1 £i,n j > т) “ М( | £1>п j £1>п | > т) =

= о(1//г), М*'п = о(1/п),

|. | Sj.nl Т) “ Т (°п7П М ( | £, ,п |> 1 £1,П |-> т))‘

Поэтому при любом е>0п достаточно больших, п

М($' >Т1)2 <2ат/н, Щ'>п<2ат/п, nM£' n<e/2.
п

Положим tn~ У 5;?1. Тогда при достаточно больших п
5=1

В ( | ^>П | > е) Р f —1	^J>n^ I* ( | ।	е)’

Здесь первое слагаемое не превосходит пР (£1>п #=	п)~ ° W- Второе

слагаемое не превосходит

Р ( | Сп ~ М£п | > £/2) < 4D^/e2 < 8йт/е’2-

Так как т произвольно, то для любого заданного е > 0 полученное зна-
чение может быть сделано сколь угодно малым. Выбирая теперь достаточ-
но большое и, мы п всю вероятность Р ( |	| > е) можем сделать сколь

угодно малой. <

2.	Центральная предельная теорема в схеме серин. Здесь мы будем
предполагать, что

М^.п=0,	М|^„|2<оо.

п

Ооозначим о^

5=1

Теорема 2. Пусть выполнены условия Линдеберга

»М(И1,п|2Икя|>^)-0

при п-> оо и любом т > 0. Тогда, если -* и2, то

Следствие 1 (обычпая центральная предельная теорема). Если
£i> fe2, ... — последовательность независимых одинаково распределенных
векторов, Mg/{ = 0, о2 = М^ < oo, sn =	70 пРи

/4=1

Это утверждение _является следствием теоремы 2, так как случайные
величины 5а, п — i.k/1'п удовлетворяют ее условиям.

Доказательство теоремы 2, Рассмотрим характеристические
функции	*	г

Фп (0 =мЛ^1>и>, <рп (г)	(<)•

Для доказательства теоремы нам надо убедиться, что при любом t
fPn (0 -* рхР уt(y2tT
при п оо.

Воспользуемся одномерным вариантом теоремы. 1, доказанным в [111.
Функции ф„(г) и <рп(«) можно рассматривать как характеристические функ-
ции	*J

Un<0) (у) = Mew«i,n п (г) = Мегг^п

случайных величин	«),	= (tn, со), где со = Z/|i|, и = |/|.

Покажем, что скалярные случайные величины п удовлетворяют услови-
ям теоремы 1 для одномерного случая. Очевидно,

м>»„ = о, »м (5»„)» = „М и)з = здХ -> «V.

Выполнение условия Линдеберга следует из очевидного неравенства
"М ((51,n- “)2; I (?!,„, о) I > г) CnM ( |	„р; | 5, „ | > т).

Таким образом, для любых v и ю (т. е. для любых t)

Теорема 3 (равномерный закон больших чисел). Если интеграл
а (0) = j а (х, 0) Р0 (dx) сходится равномерно по 0 в области 0q cz 0, то
sn(°)

Сп(е)--т“-а(0)-°	(2>

равномерно по 0 е ©о.

Доказательство. Допустим, что (2) не имеет место. Тогда най-
дутся 8 > 0, б > 0 и последовательность 0П ебс, такие что

( I -n (0n) I „	,,,

чН^-1>е/>6	(>

при всех п.

Рассмотрим случайные величины

_ а (Х-^ ~ а
®7,п“	п	'*

Нетрудно видеть, что они удовлетворяют условиям теоремы 1. Действитель-
но, положим Ап — {х: [а(х, 0«) —а(0«)| > тп}. Тогда

«М0 I г, I < 2« = 2 SUP f Iа (х> °) I ре (rfr) < 00 ’
«п 1 з,п ।	0ее^ j

пМеп (19.» Г-1 Ч> I >т) = JI “ б- °") - “ (Ч IЧ <Ае) °-

Ап

Последнее соотношение следует пз равномерной сходимости интеграла
я(0) и неравенства Чебышева

en I ^i,n I ' 2а
en (Ai)	X	ХП

Сказанное означает, что последовательность 51, « удовлетворяет закону
больших чисел;

Фп(0 ^MeW-

1 2 2 7'1 f
— v coo со | = охр < —

<1

3. Равномерные предельные теоремы для сумм случайных величин, за-
висящих от параметра. Мы докажем в этом разделе теоремы 29.1 29.2.

Пусть А(|= Ре, а (х, 0) — заданная измеримая функция Я? X

п

Мб) = Т, а(хрб)-
5=1

Мы будем говорить, что интеграл а (0) = J а (.г, 0) Р0(<?х) сходится равномер-
но по 0 в области 0О с ©, если

snp С | а (х, 0)| Pfl (dx) ->0

6евп |а(х,й)|>1У

при .V -> сю.

для любого 8 > 0. Это противоречит (3) и доказывает теорему. <]

Перейдем к центральной предельной теореме. Пусть М е«(xi, 0) = 0.

Положим о2 (0) = || O;j (0) |[ = Меат (х}, 0) a (xt, 0) и обозначим через
й;(х. 0). j = 1, ..., I. координаты векторов а(х, 0).

Теорема 4 (Равномерная центральная предельная теорема.) Пусть
интегралы (Уj;(0) =	(х^ 0) сходятся равномерно в ©0 С ©, т. е.

sup П;; (0) < оо,
®О	-

°	(4)

sop Мд (й3 * 5? (хг 0); | а. (х^ 0) | > .V) -^0

®0

пр и :V—>оо. Тогда

(0) Г--.

у-	<-')

при п -^-оо равномерно по 0 s ©о*
Доказательство. Невыполнение (5) будет означать существова-
ние последовательности 0пе0о, Для которой суммы случайных величин
b,n=e(ij, бп)/У« не будут по распределению сближаться с Ф 0 „ .
о,и^(Оп)

В силу компактности замыкания {а1 2 *(0), 0 <= 0О} последовательность
можно считать выбранной так, что для некоторой матрицы о2

° СМ “ п^бп^1,?Л1,п	° *

(G)

п

Тогда наше допущение о невыполнении (5) будет означать, что 2 п
-	5=1

не будет солижаться по распределению с Ф Но это невозможно в
o,oz •

силу теоремы 2, так как £п удовлетворяют условиям этой теоремы. Дей-
ствительно, в силу (6) достаточнО-Проверить условие Линдеберга. Для мно-
жеств Ait п — { | а»(Х1, 071) | > т]’п/1) находим

1°ц (G)

SUP Р0(ЛПг)< SUP ------

6se0 4 * * ’’ 7 es=e0 пт

г .

При п-> оо. Используя тот факт, что { | n | > т} С U п-> получаем

nM0n(^i,n|2’ lsi.nl >т)< 2 меп(й1(х1’°п)’'4,п)-	<7)

i,k—l

Здесь Me^(a^(x1, 0П); ^>Г() -> 0 в силу равномерной сходимости интегра-
ла Цп(0). Если i к, то, полагая Bi, К = { j а,(х(, 0n) | > А7}, полу-
чим

(«-;Л в.	(«?; Аь„в.Л

vn\ I’ h,nj tfn\ г’ li,n г,гч) *	\ г’ п,п г,A J

Здесь для заданного е > 0 можпо выбрать N так, что первое слагаемое
в силу (4) будет меньше е. Второе слагаемое не превосходит A2Pe л) -> О
при п-^-оо. Это означает, что (7) сходптся к пулю при n->oo. <]

П Р И Л О Ж Е II II Е VI

НЕКОТОРЫЕ УТВЕРЖДЕНИЯ, ОТНОСЯЩИЕСЯ К ИНТЕГРАЛАМ,
ЗАВИСЯЩИМ ОТ ПАРАМЕТРА

1. Теоремы о сходимости интегралов, зависящих от параметра. Пусть

у)}—семейство измеримых функций, заданных на измеримом про-
странстве	с мерой v па нем. Нас будут интересовать условия, при

которых

j* (С У) v (<М J Ч’ (0» У) v (dy) прп t 0.	(1)

Пусть {Л (Z) =A(t, 0), t s 0} есть некоторое семейство множеств пз
33^. Мы обозначим через /Л(<) (х) индикатор A(t) и через A (t) ~ допол-
нение к A (t).

Следующее утверждение является некоторым обобщением известной

теоремы Лебега,
Теорема 1. Пусть семейство {Л (£)} таково, что

1)	ФА У) I A(t) (//) Ч’ (0* У) пРи б для п- в- М значений у, для кото-
рых ф (0, у) =4= 0.

2)	sup | ф(7, У)/^(()(//)|г%Ар(#)> где ф— интегрируемая функция:

\^(y)v(dy)< ОО .

Тогда для выполнения (1) необходимо и достаточно, чтобы
\^(^У)1-т...Ay) V (<?//)-> О при *->0.	(2)

J	-А (С 2

Доказательство. В силу теоремы Лебега

J Ф А У) IAW (У) v (dy) j Ф (0> У) v (dy).

Так как

А’ = ]ч>/а + ]'4’Гг

то (1) эквивалентно (2). <]

Если ip (0, у) v (dy) существует, то в качестве множества A(t) для
п. в. [v] непрерывных ip(i, у) можно использовать множество

4(f) = {у: |ф(7, ?/)| ^2|ф(6, д)|},
как это делается,, например, в следующем утверждении.

Следствие 1. Пусть л (х) — любая измеримая ограниченная функция
Звп —/?, Jq(x) непрерывна по 0 для п. в', [fl71] значений х е Тогда
(функция

Мвл (X) = J л (х) /0 (х) pn ('dx)
непрерывна по 0.

Доказательство. Используем теорему 1 при = 3?п, у = х,
V— р.п, ф А х) — п (х) ft (х), А (/) — /f (х) s$ 2/0 (.г)}. Очевидно,- что ус-
ловия 1), 2) выполнены. Так как для л (х) = 1 функцияМел(X) = 1 непре-
рывна, то выполнено (см. (2))

( ft (х) цп (dx) -> 0

x^A(t)

прп f->0. Но по теореме 1 отсюда следует непрерывность Мел (X) для
любой ограниченной функции л. <]

Если речь вести лишь о достаточном условии для сходимости (1) в слу-
чае ф(/, у) ->ф(0, у) п. в. при I -*• 0, то в качестве такового можно исполь-
зовать равномерную сходимость интегралов в (1). Последнюю можно опре-
делить как существование конечной меры X, такой что неравенство-
21 (4) < б — 6(e) влечет за собой sup |ф(£, у)|v (dy)<E для заданного е > 0.

* А

Если существует интегрируемая мажоранта ф(?/) =supip(i, у), то та-
t

кая мера % всегда существует: достаточно положить X (Л) — ф (у) v (dy).

А

2.	Следствия условий (В). Мы докажем здесь лемму 2.16.1 и равномер-
ную сходимость интеграла 7(0):

sup м0 (IГ (х^О)!*;!/' (Х1,0)1 >;¥)-> о	дз>
при N-+co (имелпо такая равномерность имеется в виду в §§ 2.24, 2.28,
2.29). Так как рассмотрения для одномерного и многомерного параметра
практически не отличаются, то мы в этом и в следующем разделе ограни-
чимся изучением одномерного случая.

Теорема 2. (Лемма 2.16.1). Пусть выполнено условие (Z?) и S —
= S(X) есть любая статистика, для которой MgS"" <; с < со при 6=0.
2'огда в равенстве

as (0) = М{) (S) = J S (х) /0 (ж) pn (dx)
возможно дифференцирование под знаком интеграла:

as (6) = J 5 (х) Jq (х) рп (dx) =MQSL' (X, 6),	(4)

при этом функция as (6) непрерывна.

Доказательство. Заметим предварительно, что из (4) при 5(х) ~
= 1 и п == 1 следует, что

j 4 (*) Д (^) =0.	(5)

п

Так как L' (X, 0) = 2г'(ч-е) есть сумма независимых случайных вели-
i=i

чип с нулевым средним (см. (5)), то

DeI/ (X, 0) = Мо (L' (X, 6))2 = пМе (/' (хг 6))2 = п1 (0).	(6)

Предположим теперь, что функция

in (6) = Ме (L' (X, О))2 = 4 J (]/%W)2 pn (dx)
непрерывна по 0 (мы еще нс можем пользоваться (6)). Воспользуемся тео-
ремой 1 при	v = цп, ф (t, х) =( Уft (х)'у2, б = t — 6,

A(l) = А (6)s=pr:	sup Vfv(x) <2 У/в(х),

I v:10—vj<[6|

sup I (ж)' | < 2 | У fQ (x)' П.	(7)

v: |e-tl<|6|1 r 1	1	‘J

Условия 1), 2) теоремы 1 прп ф (х) = 2ф(6, а?)в силу непрерывности функ-
ций //е и У/у' выполнены. Поэтому из сходимости /«(*) к /«(6) прп
i 0 мы получаем (см. (2)), что при t 0

e(t) = (	( Vft (а7))2 .и?г (Ja?)	(8)

х~Аф6)

Аналогично тому, как это делалось в следствии 1, мы получаем отсюда
непрерывность j S (х) f'Q (х) iin (dx). Чтобы убедиться в этом, надо вос-
пользоваться теоремой 1 «в обратную сторону» при тех же множествах
A(t) иф (t, х) — S (х) f't (х). Условия 1), 2) теоремы 1, очевидно, будут вы-
полнены (ф (х) = 2 | 5 (х) f'e (х) [, J ф (х) р’г (dx) < 4MeS2 f ( V70 (^)')2X
Xp71^#))-Выполнение (2) обеспечивается (8) и только что приведенным
неравенством, в котором интегрирование надо вести но множеству х^ Ах (6).
Обратимся теперь непосредственно к доказательству (4), Заметим, что

1

4 ( J sW ~ J 6'^") = Jj	=

о	г

1

=JJ2S /Т^У *фя-

О

Воспользуемся снова теоремой 1 при ‘V = Л у — (и, х), v = Л X И"
(Л — мера Лебега),^ (б, у) = 8 (х) f'G+u6(x), б~>0, Л (б) = АДб), где Л (6)
определено в (7). Опять из непрерывности ]//9(ж) и УУе(х)' следует
выполнение условий 1), 2) теоремы 1:

(6, у) (ж) -> 5 (х) f'o (х) = гр (0, у) при 6~>0,

sup j гр (6, у) 1А(6у (х) j <45(ж) | 4 (ж) [,

где в силу неравенства Коши — Буняковского

Таким образом, для доказательства (4) нам надо проверить условие
(2)’. Оно вытекает из неравенства Коши — Буняковского и соотношения (8);

г

xsAjCfi) о

u в	J [-Л-^Арб) о

при 6 0.

Итак, мы доказали (4) в предположении, что 7П(0) непрерывно. Но
при п — 1. 1п (0) = 7(0), и это предположение выполнено в силу Условий
(Я). Стало быть, (4) верно при п — 1 и, стало быть, верно (5). Но из (5)
следует соотношение (6), означающее непрерывность 7(0). Теорема
доказана.

Теорема 3. Если множество 0 компактно, функция У/е (х) для
[ц] п. в. значений х непрерывно дифференцируема по 0, то непрерывность
/(0) имеет место тогда и только тогда, когда выполнено (3).

Теорема означает, что непрерывность 7(0) в условии (7?) можно заме-
нить условием (3).

Доказательство. Допустим, что 7 (0) непрерывна, а (3) не вы-
чолпепо. Тогда существует у>0,и последовательности t —* 0 е 0, Л^->оо,
29 а, а. Боровков
такие что

т (Z) еа Mf [ | Г (хг Z) |2; I' (xv 9 > 7Vf] > у	(9)

при всех t из выбранной последовательности.	____

Воспользуемся теоремой 1 при = <£, v — ц, "ф (Z, x) — ( Уft (•c))2 —
= ~ (Г (x, Z))2 ft (x), A (Z) = {ж: | У ft (x)' ] <2 | У fQ (x)' | . В силу непре-
рывности ]/7e (я/условия 1), 2) теоремы 1 выполнены и, следовательно,
из непрерывности /(Z) будет вытекать, что

т± (Z) = j* | Уit (х)г |2р (dx) ->0
х(£А(Л)

при Z —0. Но 7??(Z)	W1(Z) + 7772(Z), где

f	B(t)^{x: 2\y^)'\>Nt у^)}.

bw(\aw

Из вида множества A (Z) следует, что-

m2(Z)<4 [ | У/q |2р.

B(t)

Используя опять сходимость (/ли)'->(//0«)'> //,(а?) -> ]/7с (х)
при z->8, мы получаем, что Bit) сходится к множеству ц-меры 0. Это зна-
чит, что ц(В(Z)) -*• 0, 7722(0^0» tti(Z)—>0 при Z—>со. Мы получили проти-
воречие с (9). Соотношение (3) доказано.

Пусть теперь выполнено (3). В силу теоремы 1 для доказательства не-
прерывности Z(z) нам достаточно убедиться, что при том же, что и выше,
множестве A(t) выполняется(Z) ->0 при Z-* со. Но

7HJZX J |Г|2/^ + № J
H'|>N	Xf£A(t)

где первый интеграл выбором N может быть сделан в силу (3) сколь угод-
но малым. Для оценки второго интеграла заметим, что p(A(Z))->0 п что
при C(t) = {.г: ft(х)	2/е(ж)} выполняется J /^-> 0 при Z->0

K^C(i)

(см. доказательство следствия 1). Поэтому

j* /zp.<2 J	J /^->0

xf£A(J;) , х&А(Л)	x&C(t)

При Z -> 0. <

3.	Следствия условий (RR).

Теорема 4. Если выполнены условия (RR), то J /q(x) р (dx) = 0.

Вместе с теоремой 2 это обеспечивает выполнение нужных нам
в § 2.24 условий (2.24.4).

Доказательство. В силу теоремы 2 при всех 0 е 0

J /е (ж-) В (^) = 0

и нам достаточно доказать, что при Z -> 0
Заметим, что - 4) = Ч>Л +-^-’ ~	> гДе <Pf =Т'Ч("Г~-г)•

г  и	/ 0 ь и	I	•'0 /

Пользуясь этим равенством, мы можем 7(7) представить в виде суммы че-
тырех слагаемых 7(7) = 7| 4- Л 4~ 73 4- /4, где

Л = j<МеН- J2 = J Ф« (Л ~ /е) Н.
l^N

I = 1{х) есть мажоранта для 1"{х. t) в условиях (ЛЯ). В силу теоремы 2
«ри п = 1, 8{х) — 1'{х, 0) получаем

Л = Г^(м<г'(х1'е)-мог'(Ч’в))->ме(''(х1’е))г = /(9)-

Далее,
1фЛ.<*	(И)

и,	стало быть, по теореме Лебега

lim j = f lim <рг/еи = f = [./^ —I (0).	(12)

t-»0 J t-»0	J	»

Используя опять (IL), получаем в силу условий {RR)

И,1< ( ч^+ f

7>Л'	l^N

ирп Л' -> оо. Наконец, в силу неравенства Кошн — Буняковского

t	t

141<Л'У	/о/м<д'У У|4Р1ф<^У vr^du^ аз)

о	б

«ри/->0. Сопоставляя (10) — (13), мы получим, что 0 =У(7)->-1/^п. <

ПРИЛОЖЕН И Е VII

НЕРАВЕНСТВА ДЛЯ РАСПРЕДЕЛЕНИЯ ОТНОШЕНИЯ
ПРАВДОПОДОБИЯ В МНОГОМЕРНОМ СЛУЧАЕ

В этом разделе будет доказана следующая теорема (теорема 28.2; обо-
значения см. в §§ 2.21, 2.23, 2.28).

Теорема 1. Пусть выполнены следующие условия:

г (и)

inf--2->g(0)>0,	-	(1)

и и

Мв1' (хр 0) = 0,	(2)

у = supM0 j Г (хх, 0) |s < ОО	(3)
при некотором $ > к. Тогда при любых z, п1

Ре ( sup Z (v/~]/n)	+ е 2) е

\И’|>г	J

где Р > 0 зависит лишь от к и s, с < оо зависит от к, з и g(6) и может
быть выбрана независящей от g(0), если g(0) > g > 0 при всех 0.

Нам понадобятся несколько вспомогательных утверждений. Через с.„
clliS мы будем обозначать различные постоянные, зависящие лишь от сво-
их индексов.

Лемма 1. Пусть gA, к — 1, 2, ..., независимы и одинаково распреде-
лены,	О, М | у < со, 8^2. Тогда

3

Доказательство. Для упрощения рассуждений мы ограничимся
рассмотрением случая, когда s = 2?п есть целое четное число*). В этом
случае достаточно рассмотреть скалярные случайные величины Имеем

2 м^1...ме‘",

0)

где суммирование ведется по всем целым к{, кп, таким что У£ • =
i

= s, =у4= 1 (к^ = 1 исключаются, так как — 0). По неравенству Гельдера

и, стало быть,

7=1 *	7=1

Нам осталось оцепить У 1. Обозначим (Zb ?,,) ненулевые элемен-

(р	\

УI j — в I .Тогда оцениваемая сумма будет
7=1	/

равна У Ар, где Ар есть число расположений элементов Zb 1Р по

п местам. Очевидно, что Лр^п(п — 1) ... (п— р 4-1). Самое большое
возможное значение р равно m — s/2 (оно соответствует набору (2, 2, ...
..., 2)), так что	пт. Но число различных наборов (?ь .... 1Р)

зависит только от $. Следовательно, оцениваемая сумма не превосходит
септ. <]

Положим р(и) = Z1/j,(u).

Лемма 2. При выполнении условий (2), (3)

Ме|р' (и) Г<свунв/2.

‘) Доказательство в общем случае см., например, в [31], с. 255,
Доказательство.

Мо | р' (и) Is =Mt) | y L' (X, 0 + и) Z1'3 (и) | =

=	| L' (X, 0 4- и) |SZ (и) = s“5M0+u | L' (У, 0 -|- и) |’.

Остается воспользоваться леммой 1, применив ее к случайным величинам
t* = I'(хл, 0 4 п)- <1

Лемма 3. При выполнении условий теоремы 1

Мо | р (и 4 v) — р (к) |* < | v |*с,уп5'2,
где ся то же, что и в лемме 2.

Доказательство. В силу неравенства Гельдера л леммы 2

М0 j р (и 4 г) — р (и) Is = Мо (р' {и 4 tv/\ v |), vi | v | ) dt =
о

= |c|sMe

о

о

| v Is с5упз/2. <

Обозначим Xu, а куб в Rh co стороной длины Дне вершиной в точке
и = («1, ..ufe):

Ки, а= {уе Rh: Ui vi Ui -i- X, I — 1, ..A}.

Лемма 4. При выполнении условий теоремы 1

Pq f sup Z (г/Д/n)	суД/{ (e~z‘2 -J- e~z) e~~lwl2fc(e),

^ки,Л	i

где постоянные с <. оо и [}>0 зависят только от к и s, д—е—lul2i;<e)'(no>

Такая же оценка будет верна для любого куба со стороной длины
А, содержащего точку и.

Доказательство. Точку v е Кн, д представим в виде v — и 4 <А,
где t е KOi ь Для координат t, вектора t воспользуемся двоичным разло-
жением

где все 61Г равны либо 1, либо 0. Положим

так что Г” есть двоичное приближение I: |£ — Р,2| < 2~’>1]7й.
/ v \	/ и 4 t А \

Оиозпачим ф (Л = Р	= РI —Т7-"	• Тогда

\ 1/п I

ОО

ф(0 = ф(0)4 2
Точки t1^ и назовем соседними, если их представления (5) отли-
чаются лишь одним из чисел б1т, .... d>km. Ясно, что если для любых двух
соседних точек

|ф('а>)-<р(’5>)1<‘;т/У*-	(в)

то |fp(z™)—<p(Zm-1) | < Ст. Стало быть, если (6) выполнено для всех со-
седних точек при всех т и при ст = а(1 — q)qm, q < 1, п, кроме того,

то

ср(О) <	—

ф(0< 2 a(l — q)qm = a,
771=0

sup ср (Z) < а.

^0,1

(?)

(8)

Обратимся теперь непосредственно к утверждению леммы. Нам надо
оценить

Pfi ( sup Z(v,'~[/n)^.ez'\=z sup - ср (Z) > а\	(9)

\сеКид	) VeKo,l	)

прп а — ez/s. Неравенство, стоящее под знаком вероятности, означает на-
рушение (8) и, стало быть, влечет за собой нарушение одного из неравенств
(6), (7). Следовательно, вероятность (9) оценивается суммой вероятностей

Ре(Ф(О)>«(1-д)) + 22Ре

771=1

где последняя сумма образована k(2m)h слагаемыми, соответствующими
всем возможным парам соседних точек и t™2y Так как |	| =

= 2“тп, для каждой такой пары в силу леммы 3 и неравенства Чебышева
ро(|ф(а-ф(а1> "У”

А V с vns/2 f < ОV*

,т	(—уГ~) •

|ф('(1‘))-ф(‘а>)1>	1.(Ю)

Vк /

Следовательно, двойная сумма в (10) будет оцениваться значением

ОО

A\V[a(l-g)]-sp-s/2 2 2-m{s-h\-ms.	(И)

777=1
k-s

Выберем q— 2 28 <1. Тогда ряд в (11) будет сходиться, и все выражение
(И) будет иметь вид сл,вуД8а~8. Первое слагаемое в (10) оценивается в
силу теоремы 2.28.1 и неравенства Чеоышева:

Ро (ср (0) > а (1 - g)) = Ре (Z1/2 (u/Д/п) > (а (1 - д))8'2) <

-	-<(й(1-9))-«/2 e-|Hj2ff(0)/2_

Полагая А = e-ll'l26’(0)/(4/Oj учитывая, что а~3 — е~2 и считая, не ограни-
ОТНОШЕНИЕ ПРАВДОПОДОБИЯ В МНОГОМЕРНОМ СЛУЧАЕ 447
*

чивая общности, что $	2k, мы получим для (9) опойку

cA>sTA?ie-,u|‘^(0)(s-ft') (4/i) (е“2 e~z 2).
s — к

При Р — —— мы получим первое утверждение леммы.

Справедливость второго утверждения очевидна, так как в доказательств
во вместо ср(О) мы могли бы взять значение ср (io) в любой фиксированной
точке t0 eKo, । (первая сумма в (10) соответствует значению в точке, а
вторая — полному возможному изменению ср(/) в KQ, г). Лемма доказана.’

Доказательство теоремы 1. Покроем все пространство №
системой кубиков 7Ги, д, у которых координаты точек и кратны А. Число
таких кубиков, пересекающихся со слоем Sr — {veRk: г |е| sej г + 1},
ограничено количеством	Следовательно,

Ре’( sup Z (r/Д//г) > ег) < c)Jh~'lck &У (e~Z'2 ~r e-z) e-r2^(0),
k«ssr	J

oo

Po ( sup Z (r/Д/11) > ег) < cljck sy (e~z'2 -L e~z) У (г ф е-(г+Л2₽?(е)>
\|r|^r	’	3-=0

Так как sup(r + ?)'‘-Ie-IW<’-+^ и 2 ^fcmtfr+JJ2--2]/2.^ e-Ds<e)?/2
ГЛ	j	j

ограничены постоянной c(pg(0)), зависящей лишь от ₽g(0), то полученное
выражение не превосходит ch syc (₽£.(0)) e-r"P^(0)/2 {e~z‘2 Ц- е~г), где
с(₽#(6)) < с($£) < °°i если g(0) g > 0 прп всех 0, <
Таблица I. Нормальное распределение Фо>1

В таблице приведены значения

ф(х) = Фод ((х, оо)) =

Таблица I

X	0	1	2	3	4
0,0	0,5000	0,4960	0,4920	0,4880	0,4840
од	,4602	,4562	,4522	z ,4483	,4443
0,2	,4207	,4168	,4129	,4090	,4052
0,3	,3821	,3783	,3745	,3707	,3669
04	,3446	,3409	,3372	,3336	,3300
0,5	,3085	,3050	,3015	,2981	,2946
0.6	,2743	,2709	,2676	,2643	,2611
0,7	,2420	,2389	,2358	,2327	,2297
0,8	,2119	,2090	,2061	,2033	,2005
0,9	,1841	,1814	,1788	,1762	,1736
1,0	,1587	,1562	,1539	,1515	,1492
1,1	,1357	,1335	,1314	,1292	,1271
1,2	,1151	,1131	,1112	,1093	,1075
1,3	,0968	,0951	,0934	,0918	,0901
1,4	,0808	,0793	,0778	,0764	,0749
1,5	,0668	,0655	,0643	,0630	,0618
1,6	,0548	,0537	,0526	,0516	,0505
1,7	,0446	,0436	,0427	,0418	,0409
1,8	,0359	,0351	,0344	,0336	,0329
1,9	,0288	,0281	,0274	,0268	,0262
2,0	,0228	0222	,0217	,0212	,0207
2,1	,0179	,0174	,0170	,0166	,0162
2,2	,0139	,0136	,0132	,0129	,0125 .
2,3	,0107	,0104	,0102	,0099	,0096
2,4	,0082	,0080	,0078	,0075	,0073
2,5	,0062	,0060	,0059	,0057	,0055
2,6	,0047	,0045	,0044	,0043	,0041
2,7	,0035	,0034	,0033	,0032	,0031
2,8	,0026	,0025	,0024	,0023	,0023
2,9	,0019	,0018	,0018	,0017	,0016
Л —	3,0	зд	3,2	3,3	3,4
Ф(х) -	0,0013	0,0010	0,0007	0,0005	0.0003
V	1 5	1 6	1 7	1 8	9
0,0	0,4810	0,4761	0,4721	0,4681	0,4641
0,1	,4404	,4364	,4325	,4286	,4247
0,2	,4013	,3974	,3936	,3897	,3859
0,3	,3632	,3594	,3557	,3520	,3483
0,4	’,3264	,3228 .	,3192	,3156	,3121
0,5	,2912	,2877	,2843	,2810	,2776
0,6	,2578	,2546	,2514	,2483	,2451
0,7	,2266	,2236	,2206	,2177	,2148
0,8	,1977	,1949	,1922	,1894	,1867
0,9	,1711	*	,1685	,1660	,1635	,1611
1,0	,1469	,1446	,1423	,1401	,1379
1,1	,1251	,1230	,1210	,1190	,1170
1,2	1056	,1038	,1020	,1003	,0985
1,3	,0885	,0869	,0853	,0838	,0823
1,4	,0735	,0721	,0708	,0694	,0681
1,5	,0606	,0594	,0582	,0571	,0559
1.6	,0495	,0485	,0475	,0465	,0455
1,7	,0401	,0392	,0384	,0375	,0367
1,8	,0322	,0314	,0307	,0301	,0294
1,9	,0256	,0250	,0244	,0239	,0233
2.0	. ,0202	,0197	,0192	,0188	,0183
2,1	,0158	,0154	,0150	,0146	,0143
2,2	,0122	,0119	,0116	,0113	,0110 \
2,3	,0094	,0091	,0089	,0087	,0084
2,4	,0071	,0069	,0068	,0066	,0064
2,5	0054	,0052	,0051	,0049	,0048
2,6	,0040	,0039	,0038	,0037	,0036
2,7	,0030	,0029	,0028	,0027	,0026
2,8	,0022	,0021	,0021	,0020	,0019
2,9	,0016	,0015	,0015	,0014	,0014
X	3,5	3,6	3,7	3,8	3,9
Ф(х) =	0,0002	0,0002	0,0001	0,0001	0,0000

Таблица II. Квантили нормального распределения

В таблице приведены значения хе такие, что

Ф (Хе) = Фо,1 ((Ае, оо)) — е.

Таблица II

tooe	X е	100»	X е	ЮОе	X  е
50	0,0000	20	0,8416	0,5	2,5758
45	0 1257	15	1,0364	0,1	3,0902
40	0,2533	10	1,2816	0,05	3,2905
35	0,3853	5	1,6449	0,01	3,7190
30	0,5244	2 5	1,9600	0,005	3,8906
25	0,6745	1	2,3263		
Таблица III. Распределение хи-квадрат Hk

В таблице приведены значения (см. § 2.2)
ОО 1

Н. (ж) = II. ((ж, оо)) = -г--1——- I
к 1 л "	2/{- -Т (ft/2) J

при 1 «с к 20. Прп больших к можно пользоваться приближением
(см. § 2.2, таблицу 1)

Н,{ (ж) Ф (1/2^ -У-2Г=Л) = Hh (ж).	(1)

Последний столбец таблицы содержит значения Нн (-т) при к = 20. Пу-
тем сравнения с 'предыдущим столбцом можно оценить степень точности
приближения (1), С ростом к погрешность уменьшается.

Т а б л и ц а III

	1	2	3	4	5
0,1	0,7518	0,9512	0,9918	0,9988	0,9998
.2	,6547	,9048	,9776	,9953	,9991
,4	,5271	,8187	,9402	,9825	,9953
.6	,4386	,7408	,8964	,9631	,9880
.8	,3711	,6703	,8495	,9385	,9770
1.0	,3173	.6065 -	,8013	,9098 .	,9626
,5	,2207	,4724	,6823	,8266	,9131
2	,1573	.3679	,5725 .3916	,7358 ,5578	,8492
3	,0833	,2231			,7000
	,0455	,1353	,2615	,4060	,5494
5	,0254	* ,0821	,1718	,2873	,4159
6	,0143	,0498	,1116	,1992	,3062
7	,0082	,0302	,0719	,1359	,2206
8	,0047	,0183	,0460	,0916	,1562
9	,0027	,0111	,0293	,0611	,1091
10	,0016	,0067	,0186	,0404	,0752
11	,0009	.0041	,0117	,0266	,0514
12	,0005	,0025	,0074	,0174	,0348
13	,0003	,0015	,0046	,0113	,0234
14	,0002	,0009	,0029	,0073	,0156
15	,0001	,0006	,0018.	,0047	,0104
16	,0001	,0003	,0011	,0030	,0068
17		,0002	,0007	,0019	,0045
18		,0001	,0004	,0012 ,0008	,0030
19		,0001	,0003		,0019 ,0013
20		,0001	,0002	,0001	
21			,0001	,0003	,0008
2‘»			,0001	,0002	,0005
21				,000!	,0003
24				,0001	,0002
25				- ,0001	,0001
Таблица Ш (продолжение)

k  X	6	7	8	9	10
0,5	0,9978	0,9995	0,9999	1,0000	1,0000
1,0	,9856	,9948	,9983	0,9994	0,9998"
,5	,9595	,9823	,9927	,9972	,9989
2,0	,9197	,9598	,9810	,9915 .	,9963
,5	,8685	,9271	,9617	,9809	,9909
3	,8089	,8850	,9344	,9643	,9814
4	,6767	,7798	,8571	,9114	,9474
5	,5438	,6600	,7576	,8343	,8912
6	,4232	,5398	,6472	,7399	,8153
7	,3204	,4284	,5366	,6371	,7254
. • 8	,2381	,3326	,4335	,5342	,6288
9	,1736	,2527	,3423	,4373	,5321
10	,1246	,1886	,2650	,3505	,4405
11	,0884	,1386	,2017	,2757	,3575
12	,0620	,1006	,1512	,2133	,2851
13	,0430	,0721	,1119	,1626	,2237
14	,0296	,0512	,0818	,1223	,1730
15	,0203	,0360	,0592	,0909	,1321
16	,0138	,0251	,0424	,0669	,0996
17	,0093	,0174	,0301	,0487	,0744
18	,0062	,0120	,0212	,0352	,0550
19	,0042	,0082	,0149	,0252	,0403
20	,0028	,0056	,0103	,0179	,0193 -
21	,0018	,0038	,0072	,0127	,0211
22	,0012	,0025	,0049	,0084	,0151
23	,0008	,0017	,0034	,0062	,0108 ’
24	,0005	,0011	,0023	,0043	,0076
25	,0003	,0008	,0016	,0030	,0054
26	,0002	,0005	,0011	' ,0020	,0037
27	. ,0002	,0003	,0007	,0014	,0026
28	,0001	,0002	,0004	,0010	,0018
29	,0001	,0002	,0003	,0007	,0013
30		,0001	,0002	,0004	,0009
	11	12	13	14	15
2	0.9905	0,9994	0,9998	0,9999	1,0000
3	,9907	,9955	,9979	,9991	0,9996
4	,9699	,9834	,9912	,9955	,9977
5	,9312	,9580	,9752	,9858	,9921
G	,8734	,9161	,9462	,9665	,9798
7	,7991	,8576 .	,9022	,9347	,9577
8	,7133	,7852	,8436	,8893	,9238
9	,6219	,7029	,7729	,8311	,8775
10	,5304	,6160	,6939	,7622	,8197
12	,3636	,4457	,5276	,6063	,6790
14	,2330	,3007	,3738	,4497	,5255
16	,1411	,1912 *	,2491	,3134	,3821
18	,0816	,1157	,1575	,2068	,2627
20	,0453	,0671	,0952	,1301	,1719
21	,0334	,0504	,0729	,1016	,1368
22	,0244	,0375	,0554	,0786	,1078
23	,0177	,0277	,0417	,0603	,0841
24	,0127	,0203 .	,0311	,0458	,0651
25	,0091	,0148	,0231	,0346	,0499
26	,0065	,0107	,0170	,0259	,0380
27	,0046	,0077	,0124	,0193	,0287
28	,0032	,0055	,0091	,0142	,0216
29	,0023	,0039	,0066	,0105	,0161
30	,0016	,0028	,0047	,0076	,0119
31	,0011	,0020	,0034	,0055	,0088
32	,0008	,0014	,0024	,0040	,0064
33	,0005	,0010	,0017	,0029	,0047
34	,0004	,0007	,0012	,0021	,0034
35	,0003	,0005	,0009	,0015	,0025
36	,0002	,0003	,0006	,0010	,0018
37	,0001	,0002	,0004	,0007	,0013
38	,0001	,0002	,0003	,0005	,0009
39	,0001	0.001	,0002	,0004	,0006
40		0,001	,0001	,0003	,0005

I			ТАБЛИЦА III  т		'453  а б л и ц а Ш (продолжение)		
i I		16	17	18	19	20	Нцо(х)
-	4	0,9989	0,9995	0,9998	0,9999	1,0000	0,9997
	5	,9958	,9978	,9989	,9994	0,9997	,9990
	6	,9881	,9932	,9962	,9979	,9989	,9973
	7	,9733	,9836	,9901	- ,9942	,9967	,9938
	8	,9489	,9666	,9786	,9867	,9919	,9876
	9	,9134	,9403	,9597	,9735	,9829	,9774
	10	,8666	,9036	,9319	,9530	,9682	,9619
1	12	,7440	,8001	,8472	,8856	,9161	,9109
	14	,5987	,6671	,7291	,7837	,8305	,8298
	16	,4530	,5238	,5926	,6573	,7166	,7218
	18	,3239	,3888	,4557	,5224	,5874	,5968
	20	,2202	,2742	,3328	,3946	,4579	,4683
	22	,1432	,1847	,2320	,2843	,3405	,3489
	24	,0895	,1194	,1550	,1962	,2424	,2472
	26	,0540	,0745	,0998	,1302	,1658	,1670
IJ  1	28	,0316	,0449	,0621	,0834	,1094	,1078
	30	,0180	,0264	,0375	,0518	,0699	,0667
	31	,0135	,0200	,0288	0,404	0,552	,0517
	32	,0100	,0151	,0220	,0313	,0433	,0396
	33	,0074	' ,0113	,0167	,0240	,0337	,0301
	34	,0054	,0084	,0126	,0184	,0251	,0227
	35	,0040	,0062	,0095	,0140	,0201	,0169
	36	,0029	,0046	,0071	,0106	,0154	,0125
	37	,0021	,0034	,0052	,0080	,0117	,0092
	38	,0015	,0025	,0039	,0059	,0089	,0067
	39	,0011	,0018	,0029	,0044	,0067	,0048
	40	,0008	,0013	,0021	,0033	,0050	,0035
	41	,0006	' ,0009	,0015	,0024	,0037	,0025
	42	,0004	. ,0007	,0011	,0018	,0028	,0017
	43	,0003	,0005	,0008	,0013	,0020	,0012
	44	,0002	,0003	,0006	,0009	,0015	.0010
	45	,0001	,0002	,0004	,0007	,0011  -	,0006
Таблица IV. Распределение Стьюдента Тк

В таблице приведены значения

Th (х) = Т ((х, оо)) =	j)/2) Г(1 + f2/A)-(h+1)/2df j

*|/ к л Г (к/2) J

прп 1 к 20. При больших значениях к можно пользоваться приближе-
нием (см. § 2.2, таблицы I)

Th (х) « Ф (х) = Фод ((.г, оо)).	_	(2>

Точность приближения (2) при к = 20 можно оценить путем сравне-
ния последнего столбца таблицы с таблицей I.

Таблица IV

	1	2	3	4	5
0,0	0,5000	0,5000 -	0,5000	0,5000	0,500о
5	,3524	,3333	,3257	,3217	,3191
> СО	,2500	,2113	,1955	,1869	,1816
2	,2211	,1765	,1581	,1482	,1419
4	,1974	,1482	,1280	,1170	,1102
б	,1778	,1253	,1039	,0924	,0852
8	,1614	,1068	,0848	,0731	,0659
2,0	,1476	,0917	,0697 „	,0581	,0510
2	,1358	,0794	,0576	,0463	,0395
4	,1257	,0692	,0479'	,0372	,0308
6	,1169	,0679	,0402	,0300	,0241
8	,1092	- ,0537	,0339	,0244	,0190
3,0	,1024	,0477	,0282	,0200	,0150
2	,0964	,0427	,0247	,0165	,0120
4	,0910	,0383	,0212	,0136	,0096
5	,0862	,0346	,0184	,0114	,0078
8	,0819	,0314	,0160	,0095	,0063
4,0	,0780	,0286	,0140	,0081	,0052
2	,0744	,0261	,0123	,0068	,0045
	1	2	3	4	5
4	0,0711	0,0240	0,0109 	0,0058	0,0035
G	 ,0681	,0221	,0097	,0050	',0029
8	,06ь4	,0204	,0086	,0043	,0024
5.0	,0628	,0199	,0077	,0037	,0020
2	,0605	,0175	,0069	,0033	,0017
4	,0583	,0163	,0062	,0028	,0015
6	,0562	,0152	,0056	,0025	,0012
8	,0543	,0142	,0051	,0022	,0011
6,0	,0526	,0133	,0046	,0019	,0009
Я	,0509	,0125	,0042	,0017	,0008
4	,0493	,0118	,0039	,0015	,0007
6	,0479	,0111	,0035	,0014	,0006
8'	,0465	,0105	,0033	,0012	,0005
7.0	,0452	,0099	,0030	,0011	,0005
2	,0439	,0094	,0028	,0010	,0004
4	,0428	,0089	,0025	,0009	,0004
6	,0416	,0086	,0024	,0008	,0003
8	,0406	,0080	,0022	,0007	,0003
8,0	,0396	,0076	,0020	,0007	,0002

Табл и ц а IV [продолжение)

	С	7	8	9	10
0.0	0,5000	0.5000	0,5000	0,5000	0,5000
5	,3174	,3162	,3153	,3145	,3139
1,0	,1780	,1753	,1733	,1717	,1704
2	,1377	,1346	,1322	,1304	,1289
4	,1055	,1021	,0995	,0975	,0959
6	,0804	,0768	,0741	,0720	,0703
8	,0610	,0574	,0548	,0527	,0510
2.0	,0462	,0428	,0403	,0383	,0367
2	,0350	,0319	,0295	,0277	,0262
4	,0266	,0237	,0216	,0199	,0186
6	,0203	,0177	,0158	,0144	,0132
8	,0156	,0132	,0116	,0104	,0094
3,0	,0120	,0100	,0085	,0075	,0067
2	,0093	,0075	,0063	,0054	,0047
4	,0072	,0057	,0047	,0039	,0034
6	,0057 .	 -,0044 1	,0035	,0029 '	,0024
8	,0045	,0034	,0026	,0022	,0017
4,0	,0035	,0026 г	’,0020	,0015	,0013
2	,0028	,0020	,0015	,0012	,0009
4	,0023	,0016	,0011	,0009	,0007
6 ‘	,0018	,0012	,0009	,0006	,0005
8	,0015	,0010	,0007	,0005	,0004
5.0	,0012	,0008	,0005	,0004	,0003
	11	12	13	14	15
0,0	0,5000	0,5000	0,5000	0,5000	0,5000
5	,3135	,3131	,3127	,3124	,3112
1,0	,1694	,1685	,1678	,1671	,1666
2	,1277	,1266	,1258	,1250	,1244
4	,0945	,0934	,0925	,0916	,0909
6	,0689	,0678	,0668	,0660	,0652
8	,0496	,0485	,0475	,0467	,0460
2,0	,0354	,0343	,0334	,0326	,0320
2	,0250	,0241	,0232	,0225	,0219
4	,0176	,0168	,0160	,0154	,0149
6	,0123	,0116	,0110	,0105	,0100
8	,0086	,0080	,0075	,0071	,0067
3,0	,0060	,0055	,0051	,0048	,0045
2	,0042	,0038	,0035	,0032	,0030
4	,0030	,0026	,0024	,0022	’ ,0020
6	,0021	,0018	,0016	,0014	,0013
8	,0015	,0013	,0011	,0010	,0009
4,0	,0010	,0009	,0008	,0007	,0006

Таблица IV (продолжение)

	16	17	- 18	19	20
0,0	0,5000	0,5000	0,5000	0,5000	0,5000
5	,3119	,3117	,3116	,3114	,3113
1 0	,1661	,1657	,1653	,4649	,1646
2	,1238	,1233	,1228	,1224'	,1221
4	,0903	,0898	,0893	,0888	,0884
6	,0646	,0640	,0635	,0630	,0626
8	,0454	,0448	,0443	,0439	,0435
2,0	,0314	,0309	,0304	,оЗоо	,0296
2	,0214	,0210	,0205	,0202	,0199
4	,0145	,0141	,0137	,0134	,0131
6	,0097	,0093	,0090	,0082	,0086
8	,0064	,0061	,0059	,0057	,0055
3,0	,0042	,0040	,0038	,0037	,0035
2	,0028	,0026	,0025	,0024	,0022
4	,0018	,0017	,0016	,0015	,0014
6	,0012	,0011	,0010	,0009	,0009
8	,0008	,0007	,0007	,0006	0006
4,0	.	,0005	,0005	,0004	,0004	,0003
БИБЛИОГРАФИЧЕСКИЕ ЗАМЕЧАНИЯ

Ниже приводятся библиографические комментарии, в которых делает-
ся попытка проследить историю появления основных идей и результатов,
излагаемых в книге. Эти комментарии не претендуют на полпоту и часто
будут содержать ссылки пе на оригинальные труднодоступные статьи, а на
учебники, монографии или обзорные статьи, в которых нужные результаты
найти проще. Более обширные библиографические указания и историче-
ские справки содержатся, например, в [30], [40].

Некоторые основные понятия математической статистики возникли
еще в начале прошлого века и связаны с именами Лапласа и Гаусса. В кон-
це прошлого века работы К. Пирсона положили начало периоду интенсив-
ного развития этой пауки. Оно было обусловлено фундаментальными рабо-
тами Р. А. Фишера, Ю. Неймана, А. Н. Колмогорова, А. Вальда. В нашей
стране развитие математической статистики связано прежде всего с име-
нами А. Н. Колмогорова и Н. В. Смирнова.

Г Л А В А 1

§§ 2	—4. Теорема Гливенко — Кантелли была установлена в 1933 году
(Гливенко принадлежит доказательство для непрерывного распределения,
Кантелли — для общего случая).

Доказательство теоремы 1.2.2 близко к доказательству, приведенному
в [43], с. 28, и представляет собой частный случай использования более об-
щего подхода, основанного на «конечной апрокснмируемостп» рассматри-
ваемого класса множеств. В полном виде этот подход изложен в Приложе-
нии I, где доказана теорема 1.4.2. Независимо аналогичный подход был рас-
смотрен в [26]. Закон повторного логарифма (теорема 1.4.3) установлен
в [33].

§ 6.	Теоремы 1.6.1, 1.6.2 о распределении nFn (t) содержатся в кни-
ге Феллера [62], т. 2, § 3 гл. III. Теорема 1.6.3 о сходимости процесса

(1’п (t)— Р (*)) к броуновскому мосту, доказанная в Приложении II,
была установлена Донскером в [27]. Несколько иное по сравнению с При-
ложением II доказательство теоремы 1.6.3 можно найти в книге Биллинг-
ели-[5].

§ 7.	Утверждение примера 1.7.3 о предельном распределении статисти-
ки х2(Л) (хи-квадрат) впервые было получено К. Пирсоном (см. [37],
стр. 454).

§ 8.	Утверждение следствия 1.8.2 составляет содержание теоремы Кол-
могорова, а следствия 1.8.3 — теоремы Смирнова. Последняя включает в
г

себя также явный вид распределения J [«’“(t)]2^/» который ввиду его
о

сложности мы нс приводим (см. [59]).

§ 40.	Оценки плотности, рассматриваемые в этом параграфе, были вве-
дены Парзепом [50] и Розенблатом [55]. Обзор результатов в этом направ-
лении и библиографию см. в обзорной работе Розенблата [56] и в § 25
книги Ченцова [74].

30 А. А. Боровков
ГЛАВА 2

§ 2.	Некоторые другие параметрические семейства описаны в книге
Уилкса [61]. Весьма полное исследование распределений членов вариацион-
ного ряда выполнено Б. В. Гнеденко. Полное изложение результатов и об-
ширную библиографию по этому поводу можно найти в книге Дейвида [25].

§ 4.	Метод моментов исторически является первым регулярным мето-
дом построения оценок. Оп был предложен К. Пирсоном в 1894 году,

§ 5.	Метод минимума %2 был предложен Р. Фишером в 1922 году.

§ 6.	Метод максимального правдоподобия в частных случаях приме-
нялся еще Гауссом. Как общий метод получения оценок он был предложен
Р. Фишером в краткой заметке в 1912 году. Позднее, в 1925 году в клас-
сической работе [65] им же были изучены асимптотические свойства о. м. и.

§§ 7	, 8. Излагаемые подходы к сравнению оценок являются общепри-
нятыми. Доказательство леммы 2.7.3 заимствовано из [37]. Понятие эффек-
тивной оценки было введено Фишером в 1922 году в [64].

§§ 9	, 10. Фундаментальное понятие условного математического ожида-
ния было введено А. Н. Колмогоровым в 1933 году в классической работе
[35]. Свойства условных распределений детально изучены в [22], [29], [79].

§ 11.	Байесовский подход широко использовался еще в прошлом веке Лап-
ласом'. Этот подход подтвергался критике со стороны Фишера, и в 20-х,
ЗО-х годах нашего столетия центр тяжести исследований переместился на
эффективные и асимптотически эффективные оценки. Затем, по мере того,
как стала осознаваться фундаментальная роль байесовского подхода, инте-
рес к нему вповь стал возрастать.

„Понятие минимаксной оценки вошло в математическую статистику вме-
сте с теоретико-игровым подходом, развитым в работах Бореля (1921) и
Дж. Неймана (1928), теоремы 2.11.1—2.11.3 были получены Ходжесом и Ло-
маном [70].

§ 12.	Фундаментальное понятие достаточной статистики было введено
Р. Фишером в [64] в 1922 году. Р. Фишер [64] и позже 10. Нейман [45]
предложили простой критерий, обнаруживающий существование и вид доста-
точной статистики. Этот критерий носит название факторизационной теоремы
Неймана — Фишера и представлен в теореме 2.12.1. Строгое теоретико-мно-
жественное доказательство теоремы Неймана — Фишера было получено
лишь в 1949 году Халмошем и Сэвиджем [68]. 

§ 13.	Понятие достаточной о-алгебры шире, чем понятие достаточной
статистики. Необходимые п достаточные условия для их совпадения при-
ведены в [30]. Конструкция достаточных разбиений и теорема 2.13.1 свя-
заны с работой Лемана и Шеффе [41], посвященной выяснению условий
существования и построению минимальных достаточных статистик. Крат-
кое изложение этой статьи можно найти в [30]. Доказательство теоремы
2.13.2 принадлежит И. С. Борисову.

§ 14.	Теорема 2.14.1 была получена независимо Блекуэлом [6] (1947),
Рао [53] (1945), [54] (1949) и Колмогоровым [34] (1950). Теорема 2.14.3
принадлежит Рао [54] (1949) и Блекуэлу [6] (1947).

§ 15.	Экспоненциальное семейство упоминалось еще Фишером в [64].
Теоретическое значение этого семейства было осознало в 30-х годах в ра-
ботах Питмена, Кулмона, Дармуа. Именами последних иногда и называют
экспоненциальное семейство. Теорема 2.15.2 доказана Леманом ([40],
стр. 183).

§§ 16	, 17. Неравенство Рао — Крамера иногда называют также неравен-
ством информации. Оно принадлежит по-сущсству Фишеру [65], хотя в
приводимой форме оно'было получено независимо Фреше [67] в 1943 году,
Рао [52] в 1945 году и Крамером [36] в 1946 году.

Условия регулярности, нужные для выполнения неравенства, в руко-
водствах ио математической статистике трактуются не всегда аккуратно.
Мы имеем в. виду условия, обеспечивающие законность дифференцирова-
ния по параметру под знаком интеграла. Доказательство этой законности
часто содержит пробелы (см., например, [30]), либо отсутствует вовсе (на-
пример, в [19]). В ряде случаев она оговаривается в виде условия ([19]),
что неудобно для проверки в реальных задачах.

Условия регулярности, принятые в книге, весьма просты, хотя, по-ви-
димому, не являются наиболее общими (ср. с [31]). Тот факт, что при этих
условиях можно дифференцировать под знаком интеграла, доказан в При-
ложении VI, написанном на основе результатов А. И. Сахапенко.

Различные обобщения неравенства Рао — Крамера см. в [30], [74]. По-
нятие информации (Фишера) было введено в [65]. При доказательстве тео-
рем 2.16.1А и 2.17.1 мы следуем книгам [30], [31].

§§ 18	, 19. Идея использования инвариантных соображений принадлежит
Хотеллингу и Питмену. Значительный вклад в разработку теории внес
С. Стейн. Основное содержание теоремы 2.18.1 принадлежит Питмену. При
ее доказательстве мы использовали изложение в [30], [31]. Минимаксность
оценки Питмена была установлена Гиршиком и Сэвиджем.

§ 20.	Результаты этого параграфа были получены автором совместно
с А. И. Саханепко [13]. Некоторые неравенства при более жестких огра-
ничениях можно получить также из работ [24], [73].

§ 21.	Расстояние Кульбака — Лейблерв в параметрическом случае назы-
вается также функцией информации Кульбака — Лейблера. К этому расстоя-
нию независимым образо.м пришел И. Н. Санов при описании вероятнос-
тей больших уклонений эмпирического распределения. Идея широкого ис-
пользования расстояния Хеллингера для изучения свойств отношения
правдоподобия нами заимствована из книги Ибрагимова и Хасьминского
[31]. На результатах этой книги базируются и доказательства основных
теорем § 23. Доказательство теоремы 2.21.3 было существенно упрощено
А. И. Саханепко.

§ 22.	Теорема 2.22.1 была установлена Чепменом п Роббинсом в 1951 го-
ду в [75] и Кифером в 1952 году в [32].

§§ 2	3—25. Излагается материал лекций, сильно усовершенствованный
после появления книги Ибрагимова.и Хасьминского [31]. Основные усовер-
шенствования связаны с систематическим использованием расстояния Хел-
лингера для оценки M0Zl/2(w). Предложение использовать	4(н))/рп

для оценки sup Z(u) (см. теоремы 2.23.1, 2.23.2) принадлежит А. И. Саха-

и	1

пенко. Асимптотическая нормальность и асимптотическая эффективность
о. м. п. была установлена еще Фишером [65]. Весьма общие условия асимп-
тотической нормальности о. м. п. получены в [31].

Асимптотическая нормальность апостериорной плотности (илп отно-
шения правдоподобия) была обнаружена С. Н. Бернштейном в 1927 году.
Теорема 2.25.4 принадлежит Бахадуру [1]. Асимптотическая байесовость п
минимаксность о. м. п. легко получаются благодаря результатам § 2.20. Ра-
нее асимптотическая байесовость о. м. п. устанавливалась при более жест-
ких ограничениях на плотность априорного распределения.

При доказательстве теорем 2.24.1, 2.24.2 мы использовали некоторые
усовершенствования, предложенные А. П. Саханепко.

§ 26.	Излагается один из вариантов численного метода Ньютона — Раф-
сопа отыскания экстремума функции. Более подробное изложение см. в
[30]. Пример 3 заимствован из книги Рао [54].

§ 27.	Исследование состоятельности о. м. п. было начато в 30-х, 40-х го-
дах в работах Дуба [28], Вальда [17], Вольфовица [21J, Крамера [37].
Основные условия состоятельности в [17] включают в себя (помимо усло-
вий (AJ, (Ас), (Ао)) принадлежность ft(x) классу Do и интегрируемость

J ln/fA(.T)/0(.r)p(<?a‘).

В монографии [31] получены условия состоятельности, использующие
30*
460

БИ Б ЛИОГР АФИЧЕСКИЕ ЗАМ ЕЧАЛИЯ

сходимость



— У ft U))2 н (rfx)->0

при А -> 0.

Результаты теорем 27.1, 27.2 и их следствий являются более общими. Ме-
тод доказательства близок к [17]. Достаточность условий (40) и (2.27.2)
была замечена А. И. Саханенко.

§§ 28, 29. См. комментарии к §§ 23—27. Пример 2.28.1 заимствован из
книги ван дер Вардена [19]. В изложение параграфов внесен ряд усовер-
шенствований по сравнению с первоначальным вариантом, предложенных
А. И. Саханенко (в частности, добавлена теорема 2.29.5). Эти изменении
позволили упростить текст в §§ 13—15 главы 3.

§ 30. Подробнее о последовательном оценивании см., например, [30].

§§ 31. 32. Впервые доверительные интервалы встречаются, по-видимому,
у Лапласа. Еще в 1812 году он показал, что можно обратить относительно
р утверждение о степени расхождения наблюдаемой частоты и биномиаль-
ной вероятности р, с тем чтобы найти интервал для возможных значений
р. Правильная интерпретация доверительных интервалов (пе предполага-
ющая случайность параметра) дана в 1927 году Вилсоном.

Общий метод отыскания точных доверительных интервалов для веще-
ственного параметра был предложен Фишером в 1930 году в [66]. В 1937—
1938 годах Нейманом была развита общая теория доверительных утверж-
дений и установлена их связь с теорией проверки гипотез. Весьма полное
современное изложение вопроса можно найти в книге Лемана [40], Это из-
ложение использовано нами в § 3.7.

Теорема 2.32.1 и лемма 2.32.2 принадлежат Фишеру,

ГЛАВА 3

Первые отдельные применения статистических критериев восходят к
Лапласу (конец 18 века). Систематическое использование критериев для
проверки гипотез начинается с работ К. Пирсона, предложившего в 1900 го-
ду критерий х2- Фундаментальные понятия ошибок первого и второго рода
были введены Пейманом и Пирсоном в 1928 году в [47]. Этими же автора-
ми впервые была осознана роль альтернатив для рационального выбора
критерия. В итоговой работе Пеймана и Пирсона [48] развита теория
р. им. к.

Систематическое изложение теории проверки гипотез содержится в
книге Лемана [40].

§§ 1—3. Фундаментальная лемма Неймана — Пирсона получена в [48].
Теоремы 3.1.1, 3.1.2 можно извлечь из книги Блскуэла и Гиршика [7]. Тео-
рема 3.2.1 содержится в книге Лемана [40]. Теорема 3.3.1 о больших укло-
нениях принадлежит Крамеру (см. [11]). Оценка качества критериев, свя-
занная с вероятностями больших уклонений, легла в основу понятия эф-
фективности критерия но Бахадуру. Итоги исследований в этом направле-
нии изложены в [3].

Роль статистики эффективного вклада была отмечена еще в 1925 году
в работе Фишера [65]. В дальнейшем подход, связанный с рассмотрением
близких гипотез, интенсивно развивался в работах Ло Кама, Русаса, Чиби-
сова (см. также комментарии к §§ 3.14, 3.15).

§ 4. Излагаемая общая концепция статистических критериев является
общепринятой (см. [37], [40]). Понятие р. н. м. к. было введено Нейманом
и Пирсоном в [48]. Байесовский подход использовался еще Лапласом в
19 веке.

§§ 5—8. Основные результаты этих параграфов взяты из книги Лема-
на [40]. Изложение также близко к этой книге, но отличается тем, что
основано на байесовском подходе, а не на обобщенной лемме Неймана —
Пирсона (лемма 3.5.2, см. также [40]). Это упрощает изложение и делает
его более цельным.

По поводу доверительных множеств см. комментарии к §§ 2.31, 3.32.

О возможности перенесения основных результатов на случайные про-
цессы см. книгу Грснандера [23].

§ 9.	Теорема 3.9.1 принадлежит Ходжесу и Леману [70].

§ 10.	Фундаментальная роль отношения правдоподобия в математиче-
ской статистике была выяснена в работах Неймана и Пирсона [47], [48].
К. о. п. посвящена обширная литература. Попытки установить тс или иные
свойства асимптотической оптимальности этого критерия содержатся в ра-
ботах [2], [17], [49], [61], [69].

§ 11.	Основной вклад в развитие теории последовательного анализа
принадлежит Вальду [18]. Наиболее компактное изложение главных ре-
зультатов, которому мы следуем в книге, можно найти в [40].

§ 12.	По поводу критериев Колмогорова и ю2 см. § 1.8 и комментарии
к нему. О некоторых модификациях критерия Колмогорова, дающих наи-
большую возможную мощность, см. [15]. Критерий Морана был предложен
в [44]. Его мощность для близких альтернатив изучалась в [20]. [76].

§ 13.	Асимптотическая байесовость к. о. п. установлена в работе авто-
ра [10]. Результаты о предельном распределении отношения правдоподо-
бия при основной гипотезе принадлежат Уилксу [60] и Вальду [16] (см.
также книгу Уилкса [61]). Идея замены сложной гипотезы усредненной
использовалась Вальдом. Асимптотический вид байесовских критериев со-
держится в [42]. См. также комментарии к §§ 28, 29 гл. 2.

§§ 14	, 15. Основные идеи, связанные с отысканием асимптотически оп-
тимальных тестов для близких гипотез, изложены в работах Вальда [16],
Ле Кама, Русаса (см. книгу Русаса [57]), Чибисова [77]. О возможности
перенесения основных результатов на случай бесконечномерного парамет-
ра (на случайные процессы) см. [14]. Форма изложения §§ 14, 15 с цити-
рованными работами связана мало. Редукция исходном задачи А к задаче
В для параметра нормального распределения, при отыскании оптимальных
критериев для основных типов задач, рассмотренных в § 14, содержится
в работе Вальда [16]. Утверждение теоремы 3.15.4 о распределении стати-
стики 21пЯ1(Х) прп гипотезе Hi можно найти в [61]. См. также, коммен-
тарии к §§ 28, 29 главы 2.

§§ 16	, 17. Критерий х2 был предложен К. Пирсоном в 1900 году. Ему
посвящена обширная литература (см., например, специальную монографию
Ланкастера [39]). Обсуждение различных свойств оптимальности см. в [16],
[49], [61], [69] и др. О поведении мощности критерия х2 ПР« увеличения
числа групп см., например, [12], [78]. Примеры 3.16.1, 3.17.2 заимствова-
ны из книги Крамера [37], пример 3.17.1 из книги Рао [54].

§ 18.	Начальный этап в изучении устойчивости статистических реше-
ний проследить трудно. Более поздппе исследования имеют в своей осно-
ве работы Тыоки, Ходжеса, Лемана. Обстоятельный обзор этого направле-
ния представлен в работе Хыобера [72].

При составлении таблиц I—IV использовалась книга Большева и Смир-
нова [8].
1.	Бахадур Р. (Bahadur В. R.). On Fisher’s bound for asympto-
tic variances.— Ann. Math. Statist., 1964, 35, 4, 1545—1552.

2.	Бахадур P. (Bahadur R. R.). An optimal property of the
likelihood ratio statistic, Proc. 5-th Berkeley Sympos. Math. Statist. Prob.—
Berkeley — Los Angeles, v. 1, 1965, 27—40.

3.	Бахадур P. (Bahadur R, R.). Some limit theorems in sta-
tistics.— Philadelphia: S. I. A. M., 1971.

4.	Бахадур P. Леман Э. (Bahadur R. R., Lehman E. L.).
Two comments on «Sufficiency and statistical decision functions».— AMS,
1955, 26, 139—141.

5.	Биллингсли П. Сходимость вероятностных мер.— М.; Наука,
1977.

6.	Блекуэлл Д. (Blackwell D.). Conditional expectation and
unbiased sequential estimation.— Ann. Math. Statist., 1947, 18, 105—110.

7.	Блекуэлл Д., Г и p ш и к М. А. Теория игр и статистических
решений.— М.: ИЛ, 1958.

8.	Б о л ь ш е в Л. Н., Смирнов Н. В. f Таблицы математической
статистики.— М.: Паука, 1965.

9.	Б о р о в к о в А. А. Вероятностные процессы в теории массового
обслуживания.— М.: Наука, 1972.

10.	 Б о р о в к о в А. А. Асимптотически оптимальные тесты для про-
верки сложных гипотез.— Теория вероятн. и се прямей., 1975, 20,3,463—487.

11.	Боровков А. А. Теория вероятностен.— М.: Наука, 1976.

12.	Б о р о в к о в А. А. О мощности критерия %2 при увеличении чис-
ла групп.— Теория вероятн. и ее примен., 1977, 22, 2, 375—379.

13.	Б о р о в к о в А. А., С а х а н е н к о А. И. Неравенства типа Рао —
Крамера для байесовского риска.— Теория вероятн. и ее примен., 1980, 25,
1, 207—209.

14.	Б о р о в к о в А. А., С а х а и е н к о А. И. Об асимптотически оп-
тимальных тестах для проверки сложных гипотез.— Труды Института ма-
тематики СО АН СССР, 1981, т. 1.

15.	Б о р о в к о в А. А., Сычева Н. М. О некоторых асимптотически
оптимальных непараметрпческих критериях.— Теория вероятн. и ее при-
мен., 1968, 13, 3, 385—418.

16.	Вальд A. (Wald A). Tests of statistical hypotheses concerning
several parameters when the number of observations is large.— Trans. Amer.
Math. Soc., 1943, 54, 3, 426—482.

17.	Вальд A. (Wald A.). Note on the consistency of the maximum
likelihood estimate.—Ann. Math. Statist., 1949, 20, 595—601,

18.	В а л ь д А. Последовательный анализ.— M.: Физматгиз, -1960.

19.	В а н дер Варден. Математическая статика.— М.: ИЛ, 1960.

20.	Вейс Л. (Weiss L.). The asymptotic power of certain tests of
fit based on sample spacings.—Ann. Marth, Statist., 1957, 28, 3, 783—786.
21.	Вольфовиц Дж. (Wolfowitz J.) On Wald’s proof of the
consistency of the maximum likelihood estimate.—Ann. Math. Statist., 1949,
20, 601—602.

22.	Г их ма п И. И., Скороход А. В. Введение в теорию случай-
ных процессов.— М.: Наука, 1977.

23.	Гренандер У. Случайные процессы и статистические выво-
ды.— М.: ИЛ, 1961.

24.	Г у с е в С. II. Асимптотические разложения, связанные с неко-
торыми статистическими оценками в гладком случае. II.— Теория вероятн.
и ее примен.—1976, 21, 1, 16—33.

25.	Дейвид Г. Порядковые статистики.— М.: Наука, 1979.

26.	Де Хардт Дж. (Do Hardt J.). Generalizations of the Glivcn-
ko— Cantelli theorem.— Ann. Math. Stat., 1971, 42, 2050—2055.

27.	Донскер (Donsker M,). Justifications and extensions of Doob’s
heuristic approach to the Kolmogorov — Smirnov theorems.— Ann. Math. Sta-
tist., 1952, 23, 277—281.

.28	. Дуб Дж. Л. (Do oh J. L.). Probability and statistics.— Trans. Amer.
Math. Soc., 1934, 36, 4, 759—775.

29.	Д у б Д ж. Л. Вероятностные процессы.— М.: ПЛ, 1956.

30.	Закс Ш. Теория статистических выводов.— М.: Мир, 1975.

31.	Ибрагимов II. А., Хасьмпнскнй Р. 3. Асимптотическая
теория оценивания.— Мл Наука, 1979.

32.	Кифер Дж. (Kiefer J.), On minimum variance estimators.—
Ann. Math. Statist., 1952, 23, 627—629.

33.	Кифер Дж. (Kiefer J.). On large deviations of the identically
distributed functions of vector chance variables and LIL.— Pacif. J. Math.,
1961, 11, 2, 649—660.

34.	Колмогоров A. II. Несмещенные оценки.— Пзв. АП СССР, сер.
мат., 14, 1950, 303.

35.	Колмогоров А. Н. Основные понятия теории вероятностей.—
М.: Наука, 1974.

36.	Крамер Г.- (Cramer IL). A contribution to the theory of statis-
tical estimation.— Aktuariestidskrift, 1946, 29, 458—463.

37.	Крамер Г. Математические методы статистики.— М.: Мир. 1975.

38.	Кульбак С., Лейб л ер Р. (Kull back S„ Lei bl er ILA.).
On information and sufficiency.— Ann. Math. Statist., 1931, 22, 79—86.

39.	Ланкастер (Lancaster II. O.). The chi-squared distribution.—
New York: John Wiley and Sons, 1969.

40.	Л e м а н Э. Проверка статистических гипотез.— M.: Наука, 1964.

41.	Леман Э., Шеффе Г. (Lehmann Е. L., Scheffe IL).
Completeness, similar regions and inbiased estimation.— Pt. I. Sankhya,
1950, 10, 305—340.

42.	Линдли Д. (Lindley D.). The use of prior-probability distribu-
tions in statistical inference and decision. Proc. 4-th Berkeley Sympos. Math.
Statist. Prob., Berkeley — Los Angeles, v. 1, 1960, 453—468.

43.	Лоз в M. Теория вероятностей.— М.: ПЛ, 1962.

44.	Моран П. (Moran Р. А. Р.). The random division of an inter-
val.— J. Roy., Stat. Soc'., Suppl., 1947, 9, 92—98.

45.	Нейман IO. (Neyman J.). Sur un teorems concerente le co-
sidette statistiche sufficient!.— Inst. ItaL Atti. Giorn., 1935, 6, 320—334.

46.	II e ii м а и IO. Вводный курс теории вероятностей и математиче-
ской статистики.— М.: Наука, 1968.
47.	Пеймап Ю., Пирсон Е. (Neyman J., Person Е. S.). On
the use and interpretation of certain test criteria.— Biometrika, 1928, 20A,
175—240, 263—294.

48.	Нейман IO., Пирсон E. (Neyman* J., Person E. S.). On
the problem of the most efficient tests of statistical hypotheses.— Phil. Trans.
Roy. Soc., Ser. A, 1933, 231, 289—337.

49.	Оо стерхов Д?к., ван Цвет (Oosterhoff J., W. R. van
Zwet). The likelihood ratio test for the multinomial distribution. Proc. 6-th
Berkeley Sympos. Math. Statist. Prob., Berkeley — Los Angeles, v. 1, 1970,
31—50.

50.	Парзеп E. (Parzen E.). On estimation of a probability den-
sity function and mode.—Ann. Math. Statist., 1962, 33, 3, 1065—1076.

51.	Питмен E. (Pitman E. J. G.). The estimation of the location
and scale parameters of a continuous population of any given form.— Bio-
metrika, 1938, 30, 391—421.

52.	Pao C. (Rao С. R.). Information and accuracy attainable in esti-
mation of statictical parameters.— Bull. Calcutta Math. Soc., 1945, 37,
81—91.

53.	P а о C. (Rao C. R.). Sufficient statistics and minimum variance
estimates.— Proc. Cambr. Phil. Soc., 1949, 45, 213—218.

54.	Pao С. Линейные статистические методы п их применения.— М.:
Наука, 1968.

55.	Р о з е п б л а т т М. (Rosenblatt М.). Remarks on some non-
parametric estimates of a density function.— Ann. Math. Statist., 1956, 27, 3,
832—837.

56.	Розенблатт M. (Rosenblatt M.). Curve estimation.— Ann.
Math. Statist., 1971, 42, 6, 1815—1842.

57.	Pycac Дж. Контигуалыюсть вероятностных мер.—M.: Мир, 1975.

58.	Скороход А. В. Случайные процессы с независимыми прираще-
ниями.—Наука, 1964.

59.	Смирнов Н. В. О распределении сАкритерия Мизеса.— В кн.:
Смирнов Н. В. Теория вероятностей и математическая статистика.
Избранные труды.— М.: Наука, 1970.

60.	Уилкс С. (Wilks S. S.). The large sample distribution of the
likelihood ratio for testing composite hypotheses.— Ann. Math. Statist., 1938,
9, 60—62.

61.	Уилкс С. Математическая статистика.— M.: Наука, 1967.

62.	Ф е л л е р В. Введение в теорию вероятностей и ее приложения,
т. 1, 2,— М.: Мир, 1967.

63.	Фергюсон Т. (Ferguson Т. S.), Mathematical statistics.
A decision theoretic approach.— New York and London: Academic Press,
1967.

64.	Фишер P. (Fischer R. A.). On the mathematical foundations
of theoretical statistics.— Phil. Trans. Roy. Soc. A, 1922, 222, 309—368.

65.	Фишер P. (Fischer R. A.). Theory of statistical estimation.—
Proc. Camb. Phil. Soc., 1925, 22, 700—725.

66.	Фишер P. (Fischer R. A.). Inverse probability.—Proc. Camb-
ridge Phil. Soc., 1930, 26, 528—535.

67.	Фреше M. (Frechet M.). Rev. Intern, de Stat. 1943, 182.

68.	Халмога П., Сэвидж Л. (Ha Im os P. R., Savage L. J.).
Application of the Radon — Nikodym theorem to the theory of sufficient
statistics.— Ann. Math. Statist., 1949, 20, 225—241.
69.	X е ф ф д и и г В. (Hoeffding W.) Asymptotically optimal tests
for multinomial distributions.— Ann. Math. Statist., 1965, 36, 2, 369—401.

70.	Ходжес Дж., Леман Э. (Hodges J., Lehman E.). Some
problems in minimax estimation.— Ann. Math. Statist., 1950, 21, 2, 182—197.

71.	X о т e л л и и г X. (Hotelling И.). The generalization of student’s
ratio.— Ann. Math. Statist., 1931, 2, 360—378.

72.	Хыобер II. (Huber P. J.). Robust statistics: a review.—Ann.
Math. Statist., 1972, 43, 1041—1067.

73.	Чепцов II. II. Об оценке неизвестного среднего многомерного
нормального распределения.— Теория вероятн. и ее примет, 1967, 12, 4,
619-633.

74.	Ченцов II. II.. Статистические1 решающие правила п оптималь-
ные выводы.— М.: Наука, 1972.

75.	Чепмен Д., Роббинс Г. (Chapman D. G., R о b b i n s II. Е.).
Minimum variance estimation without regularity assymptions.— Ann. Math.
Statist., 1951, 22, 581—586.

76.	Ч ибисов Д. M. О критериях согласия, основанных па выбороч-
ных промежутках.— Теория вероятн. и ее примет, 1961, 6, 1, 354—358.

77.	Чибисов Д. М. (С h i b i s о v D. M.). Transition to the limiting
process for deriving asymptotically optimal tests.— Sankhya, 1969, A31,
3, 241—258.

78.	Чибисов Д. M., Гванцеладзе Л. Г. О критериях согласия,
основанных на сгруппированных данных.— В ки.: III Советско-японский
симпозиум по теории вероятностей.— Ташкент: Фан, 1975, 183—185.

79.	Ширяев A. II. Вероятность.— М.: Паука, 1980.

80.	Кендалл М. Дж., Стюарт А. Статистические выводы и связи.—
М.: Наука, 1973.
СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ

Обозначения расположены в алфавитном порядке: сначала русский ал-
фавит, затем латинский и греческий. В конце помещены математические
символы.

а. б. к.— асимптотически байесовский критерии 375, 382

«.«. оценка — асимптотически нормальная оценка 78

а. р. н. .и. к.— асимптотически равномерно наиболее мощный крите-
рий 382

а. э. оценка — асимптотически эффективная оценка 106

а. R-э. оценка — асимптотически ^-эффективная оценка 154

к. о. п.— критерий отношения правдоподобия 349

и. м. к.— наиболее мощный критерий 272, 279

о. м. п.— оценка максимального правдоподобия 87

 р. н. м. к.— равномерно наиболее мощный критерий 302

у.м.о.— условное математическое ожидание 110

(Л о) —условие взаимнооднозначного соответствия между параметри-
ческим множеством 0 и семейством распределений f? = {Ре}о<=е

=/= ро2» еслп 0i 9г) 83

(Лс)—условие, состоящее в том, что параметрическое множество 0
компактно 199

(Лр) —условие, в силу которого все распределения семейства
& — {1*о} домпнируются мерой р (существует плотность — dl'e/dy.) 85
й, fe(0) — смещение 94, 104

23 — о-алгебра борелевских множеств на прямой R 21

— о-алгебра в фазовом пространстве 96 (борелевскпх множеств,
еслп 96 = Rm) 17

Вр — полиномиальное распределение (в том число распределение Бер-
нулли) 73

С(а, Ъ) — пространство непрерывных на [а, Ь] функций 40

D(a,b) —пространство функций на [«, Ь], непрерывных слева (в точке
а справа) и имеющих лишь конечное число скачков 40

Do — дисперсия по распределению Ре 103

Е—	единичная матрица 158

<6 — экспоненциальное семейство распределений 146

/о (х) —плотность распределения Ре относительно меры р 85
п

/0(Х) — функция правдоподобия, равная по определению /е (xi) $$
г=1
F(x) —как правило, функция распределения, соответствующая распре-
делению Р 18

А* (х) — эмпирическая функция распределения 22, 29

— распределение Фишера 66

G — группа преобразований S3 в себя, соответствующая инвариантно-
му семейству 180

he — квантиль распределения %2 265, 375

Нi — гипотеза 270

НА — распределение %2 65

1Х — распределение, сосредоточенное в точке х 21, 72

7(0) —информация Фишера 150, 164

I а —индикатор множества А 111

Кь — класс оценок со смещением Ъ — 6(0) 105

К0 — класс несмещенных оценок 104, 109

Ro — класс асимптотически несмещенных оценок 155

— класс асимптотически центральных оценок 223

Кф, 2 — класс асимптотически нормальных оценок 0*, для которых
Меп(0* — 0)2->о2(0), где о2(0)—дисперсия предельного для Уп(0* — 0)
нормального распределения 107

Ке— (в гл. 3) класс критериев размера е (уровня 1 — е) 281, 300

Re — класс несмещенных критериев размера е 316

Re— класс критериев асимптотического уровня 1 — е 375

—класс критериев размера в для частично байесовского подхода 337

7^1

Ае — класс критериев асимптотического размера в для частично оаие-
совского подхода 382

7Г	«г—1—класс критериев с фиксированными значениями а,- вероят-

ностей ошибок i-ro рода, i == 1, г — 1 272

Ка, о — распределение Коши 72

1(х, 0} = In /е (х) 89

ЦХ, 0) = In /е(Х)—логарифмическая функция правдоподобия 89

L? — логнормальное распределение 72

Ме — математическое ожидание по распределению Ре 103

М (£/й) — условное математическое ожидание £ относительно о-ал
гебры Я 112

М (£/ц) —условное математическое ожидание £ относительно случайной
величины ц 114

п — объем выборки 18

А’р, Nf — носитель распределения Р с функцией распределения /•’
26, 194

Р — символ распределения, употребляемый в разных смыслах, указан-
ных на стр. 19

р* — эмпирическое распределение 21

Ро — распределение, зависящее от параметра 0 73

Р(В/у) —условное распределение 116

53 — семейство распределений 62
Qa — апостериорное распределение 121, 273

q(t/X)—плотность апостериорного распределения 121

R — вещественная прямая 17

7?"1 — /zr-мернос евклидово пространство 17

R-э. оценка — //-эффективная (регулярно-эффективная) оценка 154

(R) — условие регулярности параметрического семейства, в силу кото-
рого функция У/е(х) непрерывно дифференцируема по 0, а информация
Фишера положительна и непрерывна 150, 158

(RR) — условия регулярности параметрического семейства, требующие
выполнения условий (Ио), (Лс), (Я), а также непрерывной дифференци-
руемости второго порядка функции Z(x, 0) и существования мажоранты
l(x) |/"(х, Z) |, для которой интеграл Мг7 (xj сходится равномерно в
О 213, 238

5 = S (X) — статистика 26

S2— эмпирическая дисперсия 25

Л-2 = —Л2 96

0 п — 1

Т* — распределение Стьюдента 67

Ue, г> — равномерное распределение на [с, Ь] 69

и* = Д//г(о* — б) — нормированная оценка максимального правдопо-
добия 216, 221, 250

u’(t) — (не везде) винеровский процесс 39

ip°(z) —броуновский мост 39

wn(t) —эмпирический процесс 39

х; — элемент выборки 18	ч

X ~Хп = (хь ..., х„) —выборка объема п 18

[Xсо] П = Хп—часть бесконечной выборки, состоящая из первых п ее
элементов 20

х^—i-й элемент вариационного ряда 22

х — эмпирическое среднее 25

SS — пространство, которому принадлежат наблюдения (фазовое про-
странство выборки) 17

{86, ^38, Р)—выборочное вероятностное пространство, соответствую-
щее одному наблюдению 17

Р) — выборочное вероятностное пространство, соответствую-
щее выборке объема п 19.

х = (агь ..., хп} —элемент 86п 20

«»(л) — вероятность ошибки i-ro рода критерия л 276

Р (6) — мощность критерия б 280

₽л(0)—функция мощности критерия л 301

,?.2 — бэта-распределение 69

Га, л — гамма-распределение 64

б = б(Х) — (в гл. 3) решающее правило (критерий) 271

— квантиль порядка р 26

£*— выборочная квантиль порядка р 26

О — параметр 61, 73
0± _ границы доверительного интервала для параметра 0 254

О* — оценка параметра 0 62

— байесовская оценка параметра 0, соответствующая априорному
распределению Q 121

О* — минимаксная оценка параметра 0 122

О* — оценка максимального правдоподобия параметра 0 87

© — множество возможных значений параметра 6 62, 73

©* — доверительное множество 204

- квантиль нормального распределения 256

л = л(Х) — (в гл. 3) рандомизированный критерий 275, 300

л<? — байесовский критерий, соответствующий априорному распреде-
лению Q 303

ЯС,1С2 — байесовский критерий для частично байесовского подхода 337

л — минимаксный критерий 278, 304

л — критерий отношения правдоподобия 349

л° — равномерно наиболее мощный критерий 302

Ил — распределенпе Пуассона 73

Ф	—нормальное распределение 63, 64

ф(х) —функция стандартного нормального распределения 66

= — знак, означающий совпадение распределений выборок или случай-

d

вых величин 18

—э— знак сходимости по вероятности 31
р

——- знак сходимости почти наверное (с вероятностью 1) 21

п.н.

=> — знак слабой сходимости, распределений (употребляется как между
случайными величинами, так и между распределениями) 32

—знак, употребляемый между обозначениями выборки (пли случай-
ной величины) и распределения и означающий, что выборка извлечена
мв данного распределения (случайная величина имеет данное распреде-
ление) 18

—знак слабой сходимости. Соотношение |Г1 ^=>Р означает, что рас-
пределение слабо сходится при п-^оо к Р 32
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ

Асимптотический подход к сравне-
нию оценок 96, 100, 106

— доверительный интервал. 256

Асимптотическое дбверительпое мно-
жество -264

Байесовский подход полный 303, 336
-----частичный 303, 337 -

Близкие гипотезы 290, 380

Броуновский мост 39

Бэта-распределение 69

Вариационный ряд 22

Вероятность  ошибки i-ro рода 271,
276

----первого рода 300

Винеровский процесс 39

Выборка 18

Выборочная квантиль 26

— медиана 25

Выборочные моменты 25, 30

— характеристики 25, 30

Выборочный коэффициент корреля-
ции 31

Гамма-распределение 64

Гипотеза основная 280, 299

— простая 270

— сложная'299

Границы доверительных интерва-
лов 254

Группировка данных 404

Доверительное множество
— — инвариантное 333
----наиболее точное 327

264, 326

Закон повторного логарифма для эм-
пирических распределений 30
-------— о. м. п. 222

Инвариантное семейство 180, 321

Интервальное оценивание 254

Информация Фишера 150, 164, 197

Источник излучения 178

Квантиль 26

Классификация частиц 227

Критерий 271

— асимптотически байесовский 375,
382, 383

----минимаксный 382, 383

— — наиболее мощный 292

------ несмещенный 379

•---равномерно наиболее мощный

382

----эквивалентный 292, 384

— асимптотического уровня 286,375

— байесовский 273, 303, 304, 336

— знаков 368

— инвариантный 321

— Колмогорова 366

— минимаксный 278, 304

— Морана 369

—- наиболее мощный 272, 279

— пепараметрйчсский 368

— несмещенный 316

— отношения правдоподобия 349

— равномерно наиболее мощный 302,
304

—	состоятельный 364

—	х2 400 -

—	w2 (Мизеса— Смирнова) 367

Критическая область 280

----несмещенное 332

Доверительный интервал 254

Достаточная оценка 140

— статистика 127

— о-алгебра 133	'

Лемма Неймана — Пирсона 282

— —* — обобщенная 313

Логарифмическая функция правдо-
подобия 89
Максимальный ни вариант 325

Медиана 25

Метод максимального правдоподобия
85

— минимального расстояния 83

— моментов 80, 81

— подстановки 74

Минимальная достаточная о-алгебра
134

Монотонное отношение правдоподо-
бия 304

Мощность критерия 280, 301

Плотность условная 117

Полное семейство распределений 143

Последовательное оценивание 253

Последовательный анализ 352

— критерий 354

Приближенное вычисление о.м.п.

225

Принцип достаточности 171

— инвариантности 171

— несмещенности 171, 317

Пуассоновский процесс 36

Неравенство Пепсепа для у. м. о. 115

— Коши — Буняковского для мат-
риц 156

— _----— у.м.о. 115

— Рао—Крамера 150, 158

——:----интегральное 183

—------разностное 203

Носитель распределения 26

Орбпта 182

Отношение правдоподобия 208, 237

Оценка 62, 74

— асимптотически байесовская 126,
127, 191

---минимаксная 126, 127, 192

— — нормальная 78

— — эффективная 106, 222

— — 2?-байесовская 191

---Я-эффективпая 154

— байесовская 121, 127

— достаточная 140

— максимального правдоподобия 87,
221

— минимаксная 122, 127

—	недопустимая 104

—	несмещенная 94

—	параметра масштаба 171

—	— сдвига 175

—	Питмепа 173

—	плотности 57

—	подстановки 75

—	сверхэффектпвпая 184

—	сильно состоятельная 77

— состоятельная 77

— эквивариантная 172, 182

— эффективная 104, 105, 109

— R-эффективная 154

Плотность апостериорная 121

— априорная 120

Равномерная сходимость интеграла
213

---по вероятности 246

— — распределений 246

— центральная предельная теорема
248

Равномерный закон больших чисел
247

Размер критерия 280, 300

Распределение 17

— апостериорное 121, 273

— априорное 120, 273

—	Бернулли 72

—	вырожденное 72

—	Коши 72

—	логнормальное 72

— наименее благоприятное (наихуд-
шее) 123, 278, 315, 339

—	нормальное 63, 64

—	полиномиальное 73

—	Пуассона 73

—	равномерное 69

—	Стьюдента 67

—	Фишера 66

—	экспоненциальное 66

—	%2 (хп-квадрат) 65

Расстояние	Кульбака — Лейблера

194, 289

—	Хеллпнгера 194

- х2 194

Робастность 416

Смещение 94

Средпеквадратический подход к

сравнению оценок 93, 100

Статистика 26

— достаточная 128

— минимальная достаточная 133

— пепараметрпческая 55

— полная 142

— тривиальная достаточная 133

- X2 43, 53
Статистики I и II типов 27

Сужение метода подстановки 76

Теорема Гливепко — Кантелли 22, 29

— Неймана — Фишера (факториза-
ционная) 129

Теоремы непрерывности 31

Уровень доверия 254

— значимости критерия 300

Условие (40) 83, 85

— (4С) 199

— (Ай) 85

— (2?) 150, 158

— (RR) 213, 238

Условная вероятность 114

— плотность 117

Условное математическое ожидание
ИЙ, ИЗ

— распределение 116

Устойчивость статистических реше-
ний 415

Фактически достигаемый уровень
301

Формула Байеса 121

— полной вероятности 115

Функционал непрерывно дифферен-
цируемый 48

Функционалы I и II типов 26

Функциональная предельная теоре-
ма для эмпирических процессов
40

Функция логарифмическая 89

— Правдоподобия 89

Эквивариантное оценивание 180

Эллипсоид рассеивания 102

Экспоненциальное семейство распре-
делений 146

Эмпирическая функция распределе-
ния 22, 29

Эмпирический процесс 39

Эмпирическое распределение 21, 29

----сглаженное 56