Text
Э. Л E M A н
Проверка
СТАТИСТИЧЕСКИХ
TESTING
STATISTICAL
HYPOTHESES
E. L. LEHMANN
Professor of Statistics
University of California, Berkeley
NEW YORK-JOHN WILEY & SONS, INC.
LONDON.CHAPMAN & HALL, LIMITED
Э. ЛЕМАН
ПРОВЕРКА
СТАТИСТИЧЕСКИХ
ГИПОТЕЗ
Перевод с английского
Ю. В. ПРОХОРОВА
ИЗДАТЕЛЬСТВО «НАУКА»
МОСКВА 1964
517. 8
Л 44
УДК 519.283
АННОТАЦИЯ
Последние годы отмечены стремитель-
ным расширением области применения
теоретико-вероятностных и статистиче-
ских методов. Они применяются в физике,
технике, геологии, биологии, лингвистике
и т. д. Один из основных разделов ма-
тематической статистики — теория провер-
ки статистических гипотез — исчерпываю-
щим образом изложен в книге Э. Лемана,
известного американского специалиста.
Статистические критерии приводятся
вместе с указанием как тех областей, где
их применение вполне оправдано, так и
тех областей, где применение требует
осторожности. Большое внимание уделено
построению критериев, в том или ином
смысле наилучших. Ценность книги увели-
чивается большим количеством примеров
из разнообразных областей (техники, био-
логии, медицины й др.), удачно подобран-
ными задачами и обширным списком ан-
нотированной литературы.
Книга может быть полезна физикам,
инженерам и другим специалистам, ин-
тересующимся сознательным и критиче-
ским применением мощного аппарата ма-
тематической статистики.
ОГЛАВЛЕНИЕ
Предисловие.............................................. 8
Глава 1. Общая проблема решения........................ 11
1. Статистические выводы и статистические решения 11
2. Точная постановка проблемы решения........... 12
3. Рандомизация. Выбор эксперимента.............. 18
4. Оптимальные процедуры........................... 20
5. Инвариантность и несмещенность ................. 23
6. Байесовские и минимаксные процедуры............. 26
7. Метод максимума правдоподобия .................. 29
8. Полные классы................................... 31
9. Достаточные статистики ......................... 33
10. Задачи.......................................... 38
И. Литературные ссылки ............................ 44
Глава 2. Вероятностные основы........................-49
1. Вероятность и мера ...........................
2. Интегрирование................................
3. Статистики и подполя .........................
4. Условное математическое ожидание и условная ве-
роятность ........................................
5. Условные распределения вероятностей...........
6. Характеристика достаточности..................
7. Экспоненциальные семейства ...................
8. Задачи........................................
9. Литературные ссылки ..........................
49
54
57
61
67
72
75
81
87
Глава 3. Равномерно наиболее мощные критерии . . . 89
1. Постановка проблемы............................. 89
2. Фундаментальная лемма Неймана — Пирсона ... 94
3. Распределения с монотонным отношением правдо-
подобия ......................................... 100
4. Сравнение экспериментов....................... 110
5. Доверительные границы.......................... ИЗ
6. Обобщение фундаментальной леммы .............. 121
7. Двусторонние гипотезы........................ . 127
8. Наименее благоприятные распределения .... 131
9. Проверка гипотез о среднем и дисперсии в нормаль-
ной совокупности 136
6
ОГЛАВЛЕНИЕ
10. Последовательный критерий отношений вероятно-
стей .............................................. 140
И. Мощность и средний размер выборки для последова-
тельного критерия отношений вероятностей .... 144
12. Оптимальное свойство последовательных критериев
отношений вероятностей............................. 149
13. Задачи......................................... 156
14. Литературные ссылки . ......................... 168
Глава 4. Несмещенность: теория и первые применения 174
1. Несмещенность при проверке гипотез............ 174
2. Однопараметрические экспоненциальные семейства 175
3. Подобие и полнота.............................. 181
4. РИМ несмещенные критерии для экспоненциальных
семейств со многими параметрами................... 186
5. Сравнение двух пуассоновских или биномиальных со-
вокупностей ...................................... 193
6. Проверка независимости в 2 х 2 таблицах .... 198
7. Критерий знаков................................ 202
8. Задачи......................................... 206
9. Литературные ссылки............................ 215
Глава 5. Несмещенность: применения к нормальным рас-
пределениям, доверительные интервалы ............... 218
1. Статистики, не зависящие от достаточной статистики 218
2. Проверка гипотез о параметрах нормального рас-
пределения ......................................... 222
3. Сравнение средних и дисперсий двух нормальных
распределений ...................................... 229
4. Доверительные интервалы и семейства критериев 235
5. Несмещенные доверительные множества........ 238
6. Регрессия.................................. 244
7. Критерии, основанные на перестановках. 248
8. Наиболее мощные критерии перестановок .... 250
9. Рандомизация как основа статистических выводов 255
10. Критерии перестановок и рандомизация.. 260
И. Проверка независимости в двумерном нормальном
распределении ................................... 266
12. Задачи.................................... 270
13. Литературные ссылки ........................... 286
Глава 6. Инвариантность.............................. 288
1. Симметрия и инвариантность ...................
2. Максимальные инварианты.......................
3. Наиболее мощные инвариантные критерии . . . .
4. Выборочный контроль по количественному признаку
5. Почти инвариантность .........................
6. Несмещенность и инвариантность ...............
7. Ранговые критерии ............................
8. Задача сравнения двух выборок.................
9. Гипотеза симметрии............................
288
291
295
301
305
310
316
321
328
ОГЛАВЛЕНИЕ
7
10. Инвариантные доверительные множества......... 331
11. Доверительные границы для функций распределения 335
12. Задачи........................................ 338
13. Литературные ссылки........................... 356
Глава 7. Линейные гипотезы............................ 361
1. Каноническая форма............................ 361
2. Линейные гипотезы и метод наименьших квадратов 367
3. Критерии однородности......................... 371
4. Двойная классификация: одно наблюдение в клетке 377
5. Двойная классификация: т наблюдений в клетке 381
6. Регрессия.................................... 386
7. Модель II: одинарная классификация............ 391
8. Классификации по подчиненности («гнездовые» клас-
сификации) ...................................... 396
9. Многомерная линейная гипотеза ............... 401
10. Редукция с учетом инвариантности.............. 404
И. Применения ................................... 409
12. х2-критерий: простая гипотеза и неограниченные
альтернативы...................................... 414
13. ^-критерии и критерии отношения правдоподобия 418
14. Задачи . ’.................................... 426
15. Литературные ссылки .......................... 440
Глава 8. Принцип минимакса ........................... 444
1. Критерии с гарантированной мощностью . ... 444
2. Примеры....................................... 449
3. Максиминные критерии и инвариантность......... 453
4. Теорема Ханта — Стейна ....................... 457
5. Наиболее строгие критерии..................... 462
6. Задачи........................................ 465
7. Литературные ссылки .......................... 471
Дополнение............................................ 473
1. Отношения эквивалентности; группы............. 473
2. Сходимость распределений ..................... 475
3. Доминированные семейства распределений .... 479
4. Теорема о слабой компактности................. 482
Именной указатель . .................................. 485
Предметный указатель ................................. 488
ПРЕДИСЛОВИЕ
Математическая теория проверки гипотез, в которой
критерии появляются как решения точно поставленных
оптимальных проблем, была создана Ю. Нейманом и
Э. Пирсоном в 30-х годах и с тех пор получила значитель-
ное развитие. Цель настоящей книги состоит в том, чтобы
дать систематическое изложение этой теории и тесно
связанной с ней теории доверительных множеств вместе
с их главными приложениями. В число последних входят
стандартные задачи (как для одной, так и для двух выбо-
рок), касающиеся нормального, биномиального и пуас-
соновского распределений; некоторые аспекты диспер-
сионного анализа и анализа регрессии (линейные гипотезы);
некоторые многомерные проблемы и последовательный
анализ. Книга знакомит также с непараметрическими
критериями, хотя здесь теоретический подход не развит
полностью. Большая область методологии, а именно
класс методов, основанных на рассмотрении больших
выборок, в частности критерий %2 и критерий отношения
правдоподобия, по существу, не нашла отражения. Подход
к ним и применяемый математический аппарат столь от-
личны от используемого в этой книге, что адекватное изло-
жение потребовало бы отдельного тома. Краткие указа-
ния на теорию этих критериев содержатся в конце главы 7.
В настоящее время теория проверки гипотез подвер-
гается важным изменениям по меньшей мере в двух направ-
лениях. Одно из них возникло на почве осознания того
факта, что стандартная формулировка чрезмерно упро-
щает задачу. Как следствие, теория была пересмотрена
с точки зрения статистических решающих функций,
введенных Вальдом. Хотя эти исследования и проливают
новый свет на классическую теорию, они в целом под-
тверждают ее открытия. Я сохранил формулировку Нец-
ПРЕДИСЛОВИЕ
9
мана — Пирсона в основной части книги, но включил
обсуждение понятий общей теории решений в главу 1
с тем, чтобы дать более широкую основу для оправдания
некоторых результатов. Эти понятия служат также ба-
зисом для развития теорий проверки гипотез и довери-
тельных интервалов.
Значительно более важным является тот факт, что
многие из рассматриваемых задач, которые обычно форму-
лируют в терминах проверки гипотез, в действительности
оказываются множественными проблемами решения. В этих
последних отклонение основной гипотезы приводит к необ-
ходимости выбора одного из нескольких решений. Разви-
тие подходящих процедур в этих задачах представляет
собой в настоящее время одну из важнейших проблем
статистики. Однако поскольку значительная часть работ
в этом направлении имеет пробный характер, я пред-
почел указывать традиционные критерии даже в тех
случаях, где большинство применений создает впечатле-
ние необходимости более тонких процедур; в этих слу-
чаях я ограничивался лишь предостережением о том, что
подход справедлив в таких-то пределах. Действительно,
кажется правдоподобным, что упомянутые критерии, по
причине своей простоты, останутся полезными и тогда,
когда будет закончена более полная теория множествен-
ных решений.
Естественную математическую основу систематиче-
ского изложения способов проверки гипотез образует
теория меры в абстрактных пространствах. Поскольку
вводные курсы по теории действительного переменного
или теории меры часто ограничиваются одной лишь мерой
Лебега, в разделах 1 и 2 главы 2 приведены краткие фор-
мулировки, относящиеся к общей теории. В самом деле,
большая часть книги может быть прочитана без знания
теории меры, если символ р (х) (х) интерпретиро-
вать или как p(x)dx, или как 5р(я) и если не обра-
щать внимания на теоретико-множественную природу
некоторых доказательств. Формально знание статистики
не предполагается—все необходимые понятия вводятся
с самого начала. С другой стороны, так как читатель обычно
10
ПРЕДИСЛОВИЕ
уже имеет некоторый опыт обращения со статистическими
методами, то применения каждого метода описываются
в общих терминах — конкретные примеры с числовыми
данными не приводятся. Их можно найти в большинстве
стандартных учебников.
В конце каждой главы помещены задачи, многие из
которых сопровождаются указаниями на путь решения.
Здесь встречаются упражнения, и дополнительные при-
меры, и задачи, вводящие в новые темы. В конце каждой
главы имеется также аннотированный список литературы,
послужившей источником как идей, так и отдельных ре-
зультатов. Примечания не ставят целью привести основ-
ные результаты цитированных статей, а лишь указы-
вают значение каждой из них для соответствующей гла-
вы. Составляя эти списки, я не стремился к полноте,
а пытался дать полезный «путеводитель» по литературе.
Набросок этой книги появился в 1949 году в форме
записок лекций, составленных Колином Блитом (Colin
Blyth) в летнем семестре в Калифорнийском университете.
С тех пор я излагал те или иные части материала в Колум-
бийском, Принстонском и Стэнфордском университетах,
и несколько раз — в Калифорнийском университете. Мне
очень помогли замечания студентов, и я сожалею, что
не могу поблагодарить их каждого в отдельности. На раз-
личных этапах работы я получил много полезных пред-
ложений от В. Готски (W. Gautsch!), А. Хейланда (A. Hoy-
land), Л. Д. Сэвиджа (L. J. Savage) и особенно от К. Стри-
бел (С. Striebel); критическое чтение ею предпоследнего
варианта рукописи привело ко многим усовершенствова-
ниям. Также я хотел бы отметить с благодарностью ту
пользу, которую мне принесли многие продолжительные
беседы с Чарлзом Стейном (Charles Stein).
Приятно отметить поддержку этой работы Бюро Морс-
ких исследований; без нее, вероятно, книга не была бы
написана. Наконец, я хотел бы поблагодарить Дж. Рубал-
кава (J. Rubalcava), которая печатала и перепечатывала
различные черновые варианты рукописи с неослабеваю-
щим терпением, точностью и скоростью.
Беркли, Калифорния, Э. Л. Леман
июнь 1959
ГЛАВА 1
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
L Статистические выводы и статистические решения
«Сырьем» для статистического исследования служит
совокупность результатов наблюдений; эти результаты
представляют собой значения случайных величин X,
распределение которых Pq хотя бы частично неизвестно.
( О параметре 0 предполагается известным лишь то, что
это один из элементов некоторого множества Q (про-
странства параметров). Статистические выводы ис-
пользуют материал наблюдений для получения информа-
, ции относительно распределения X (или значения пара-
1 метра 0, от которого оно зависит). Чтобы прийти к более
точной формулировке задачи, мы рассмотрим цели ста-
тистических выводов.
к Необходимость статистического анализа возникает из
того факта, что распределение X, а следовательно, и неко-
торые черты ситуации, лежащей в основе математиче-
ской модели, неизвестны. Следствием этого недостаточного
знания является неопределенность в выборе наилучшего
поведения. Чтобы формализовать понятие «поведения»,
допустим, что необходимо выбрать одно из нескольких
действий. Результаты наблюдений, давая информацию
относительно исходного распределения, тем самым ука-
зывают путь к наилучшему решению. Задача состоит
в определении правила, ставящего в соответствие каж-
дому результату наблюдений решение, которое должно
быть принято. С точки зрения математики, такое правило
есть функция б, которая каждому возможному значению х
случайных величин приписывает решение d = б (х), т. е.
функция, областью определения которой является множе-
12
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
ство значений X и областью значений — множество воз-
можных решений.
Чтобы понять, как следует выбирать б, необходимо
сравнить последствия использования различных правил.
С этой целью предположим, что принятие решения d
при условии, что распределение X равно приводит
к потере, которая может быть выражена неотрицательным
числом L (0, d). Тогда средний убыток, возникающий
от применения б в длинном ряду повторений экспери-
мента, приближенно равен математическому ожиданию
Eq [!(0, б(X))], вычисленному в предположении, что
распределение X является Pq. Это математическое ожида-
ние, которое зависит от решающего правила б и распре-
деления Pq, называется функцией риска для б и будет
обозначаться R (6, б). Принимая решение, исходя из
результатов наблюдений, мы заменяем первоначальную
задачу выбора решения d при функции потерь L (0, d)
задачей выбора б при функции потерь R (0, б)*).
Приведенные выше рассуждения наводят на мысль
о том, что целью статистики является выбор решающей
функции, минимизирующей возникающий риск. Как будет
видно впоследствии, такое определение цели статистики
недостаточно точно, чтобы быть вполне осмысленным;
его надлежащая интерпретация в действительности оказы-
вается одной из основных проблем теории.
2. Точная постановка проблемы решения
Методы, требующиеся для решения какой-либо отдель-
ной статистической задачи, существенно зависят от трех
элементов, которые ее определяют: класса ZP = {Pq,
0gQ}, которому, по предположению, принадлежит рас-
пределение X; структуры пространства!) возможных реше-
ний d; формы функции потерь L. Чтобы прийти к конк-
ретным результатам, необходимо, следовательно, сделать
определенные предположения относительно этих эле7
ментов. С другой стороны, если рассматривать теорию,
*) Иногда принимают во внимание не только математическое
ожидание потерь, связанных с решающим правилом, но и другие его
качества. , . .......
ТОЧНАЯ ПОСТАНОВКА ПРОБЛЕМЫ РЕШЕНИЯ
как нечто большее, чем собрание изолированных резуль-
татов, предположения должны быть достаточно широкими,
с тем чтобы или быть часто применимыми или выделять
классы задач, допускающих единообразный подход.
Рассмотрим сначала класс fp. Точные числовые пред-
положения относительно вероятностей или вероятностных
распределений обычно не могут быть оправданы. Однако
часто можно допустить, что некоторые события имеют
равные вероятности, а некоторые другие статистически
независимы. Предположения другого типа касаются отно-
сительной величины некоторых инфинитезимальных веро-
ятностей, например вероятностей наступления событий
во временном или пространственном интервале при длине
интервала, стремящейся к нулю. Приводимые ниже классы
распределений построены на основании предположений
только такого рода и, следовательно, могут встретиться
в большом числе случаев.
Биномиальное распределение b (р, п) с
я = 0, ..., п;
(1)
в п независимых не-
вероятность успеха
0<р< 1,
есть распределение числа успехов
пытаниях, в каждом из которых
равна р.
Распределение Пуассона Р(т) с
Р(Х =я:) = ^-е-\ ж = 0,1, О < т, (2)
это — распределение числа событий, происходящих в фик-
сированном временном или пространственном интервале,
при условии, что вероятность наступления более чем
одного события в короткий промежуток времени являет-
ся величиной более высокого порядка малости, чем веро-
ятность наступления одного события, и что числа собы-
тий в непересекающихся интервалах статистически
независимы. При этих предположениях процесс появле-
ния событий называется процессом Пуассона*).
*) Эти процессы рассматриваются в книгах: В. Феллер,
Введение в теорию вероятностей и ее приложения, ИЛ, 1952,
Дж. Дуб, Вероятностные процессы, ИЛ, 1956.
14 ОБЩАЯ ПРОБЛЕМА РЕШЕНИЙ [гл. 1
Нормальное распределение 7V(|, а2) с плотностью
вероятности
— со < Я, £ < оо; 0 < а, (3)
при весьма общих предположениях, которые уточняются
центральной предельной теоремой, является прибли-
женным распределением суммы большого числа незави-
симых случайных величин, каждая из которых мала по
сравнению со всей суммой.
Мы рассмотрим теперь структуру пространства реше-
ний D. Большое разнообразие возможностей указывается
следующими примерами.
Пример 1. Пусть JTi,..., Хп— выборка из совокупности
с одним из распределений (1)—(3), т. е. величины X независимы
и одинаково распределены по одному из этих законов. Пусть 0
обозначает р, т или пару (£, o'), соответственно, и пусть у = у (0) —
действительная функция 0.
(I) Если хотят решить, превосходит у некоторое определенное
значение у0 или нет, то выбирают одно из решений: : у>уо или
с?1: у<у0. В отдельных приложениях эти решения могут соответство-
вать принятию или отклонению партии товаров или опытного образца
самолета (по его пригодности к испытательным полетам), или нового
способа лечения, предложенного в качестве лучшего по сравнению
с принятым, и т. д. Функция потерь зависит от области применений.
Типично, однако, что потеря равна нулю, если выбрано правиль-
ное решение, в то время как при неправильном решении потери
£(у, dQ) и £(у, d{) являются возрастающими функциями |у-у0|.
(II) В силу сложности пространства решений значительно более
трудной проблемой является отыскание числовой оценки для у.
Здесь решением d, которое принимает статистик, служит дей-
ствительное число — оценка у, и функцией потерь может быть,
например, L (у, d) = v (у)<о( | d — у |), где со — строго возрастаю-
щая функция ошибки | d — у |.
(III) Промежуточное положение занимает случай выбора между
тремя альтернативными решениями — d0 : у<у0, d£ у>уь d2.
Yo<?Y<?Yi, например, принятием нового способа лечения, отклоне-
нием его или рекомендацией дальнейшего его изучения.
Различия, иллюстрируемые этим примером, лежат
в основе одного из главных способов классификации
статистических методов. Задачи с двумя решениями,
такие, как (I), формулируются обычно в терминах про-
верки гипотезы, которая должна быть принята или от-
вергнута (см. главу 3). Мы будем иметь дело, в значитель-
2] ТОЧНАЯ ПОСТАНОВКА ПРОБЛЕМЫ РЕШЕНИЯ
ной степени, с теорией именно этого класса задач. Другой
важной ветвью статистики является теория точечных
оценок, занимающаяся такими проблемами, как (II).
Исследование процедур со многими решениями, таких,
как (III), начато только в последние годы.
Пример 2. Предположим, что даны выборки Хц, j=l, щ,
из нормальных совокупностей N (^, о2), i=l,
(I) Рассмотрим сначала случай $=2. Поставим вопрос о том,
имеется ли существенное различие между этими двумя совокупно-
стями. Вопрос имеет ту же самую структуру, что и задача (III)
в предыдущем примере. Здесь производится выбор между тремя
решениями — d0: | ?2—Bi I ?2>li+где А—
наперед заданное число. Аналогичная проблема, включающая $-|-1
возможное решение, возникает в общем случае s совокупностей.
Здесь нужно произвести выбор между решениями d0: max | | <
<А (совокупности не отличаются существенно одна от другой) и d^:
max | | >A и — наибольшее из средних.
(II) Близкой к рассмотренной является задача о расположении
совокупностей в порядке возрастания соответствующих средних
значений.
(III) Пусть задан некоторый стандарт |. Задача состоит в том,
чтобы определить, превосходят ли этот стандарт какие-либо из сред-
них значений (и какие именно).
Пример 3. Рассмотрим два распределения, для определенно-
сти — два распределения Пуассона Р (т4), Р (т2). Предположим,
что Ti меньше т2, но в остальном параметры т неизвестны. Пусть
случайные величины ..., zn распределены независимо, каждая
в соответствии с законом Р (тА) или Р (т2)« Требуется каждую из
величин z отнести к одному из двух классов, соответственно теорети-
ческому распределению. Здесь функция потерь могла бы равняться
числу ошибок в классификации, умноженному на некоторую функ-
цию от и т2. Степень сложности, которой может достигать эта
задача, а также возникающие трудности, как математические, так
и концептуальные, иллюстрируются усилиями антропологов разде-
лить человечество на некоторое число однородных рас с помощью
изучения частот различных групп крови и других генетических
характеристик.
Все рассмотренные до сих пор проблемы могли бы
быть названы проблемами действия. В каждой из них
предполагалось, что если 9 иэ-вестно, то лишь одно реше-
ние d будет правильным, т. е. при любом данном 0 суще-
ствует единственное d, для которого L (0, d) =0. Однако
не все статистические задачи ставятся так отчетливо.
Часто вопрос заключается в удобном сводном описании
данных или в указании содержащейся в них информации
относительно неизвестного параметра или распределения.
16
6ЁЩАЙ ПРОБЛЕМА РЕШЕНИЙ
[гл. 1
Эта информация используется затем в различных обстоя-
тельствах, но она не является единственной основой
какого-либо определенного решения. В таких случаях
в статистической проблеме ударение делается на выводах,
а не на решении, хотя формально проблема может рас-
сматриваться как проблема решения: для этого результат
вывода должен интерпретироваться как решение, которое
следует принять. Важный класс подобных задач состав-
ляют оценки интервалами*); для иллюстрации ниже
приводится пример.
Пример 4. Пусть X = (Х±, ..., Хп) является выборкой
из нормальной совокупности N (£, ог2) и пусть решение состоит
в выборе интервала [A, L] и утверждении, что он содержит £. Пред-
положим, далее, что процедура решения допускает только интервалы
[L (X), L (X)], математическое ожидание длины которых при всех
| и о не превосходит ко, где к — некоторая заранее заданная кон-
станта. Функцию потерь можно было бы положить равной нулю,
если решение правильное, а в остальных случаях сделать зависящей
от относительного расположения интервала и истинного значения
|. В таком случае данному распределению N (5, о2) соответствует
несколько правильных решений.
Нам остается обсудить выбор функции потерь. Вероят-
но, что из трех элементов, определяющих статистическую
проблему, этот уточняется с наибольшим трудом. Даже
в простейшем случае, когда все потери в конечном счете
сводятся к денежным, трудно рассчитывать на то, что
мы сумеем оценить все как немедленные, так и более
отдаленные следствия некоторого действия. Часто можно
упростить положение, принимая во внимание только
некоторые черты функции потерь. В качестве иллюстра-
ции возьмем пример 1 (I). Пусть L (9, d0) — а для
Y (0)<Yo и L (0, dj) = b для у (0) > у0. Тогда функция
риска равна
7?(0 = [ aPe{fi(X) = do}’ еСЛИ Y<То,
’ dP0{6(X) = d1}, если v> ус,
и, таким образом, зависит только от двух вероятностей
*) Более обычную формулировку в терминах доверительных
интервалов см. в главе 3 раздел 5 и в главе 5 разделы 4 и 5.
2]
ТОЧНАЯ ПОСТАНОВКА ПРОБЛЕМЫ РЕШЕНИЯ
17
ошибок, веса при которых могут быть подобраны с уче-
том сравнительного значения этих ошибок. Аналогично
в примере 3 можно ограничиться числом ошибок в
классификации.
К сожалению, подобное естественное упрощение не
всегда возможно. Отсутствие точных сведений приводит
к необходимости выбирать функцию потерь некоторым
условным образом. При этом математическая простота
рассматривается как важное обстоятельство. Так, в про-
блемах точечной оценки, подобных рассмотренной в при-
мере 1 (II), оценивая действительную функцию у = у (0),
обычно используют квадрат ошибки или, несколько более
общим образом, выражение
L(0, d)-v(0) (cZ-y)2. (5)
Будучи весьма простым математически, оно может вос-
приниматься как приближение к истинной функции по-
терь в предположении, что при каждом фиксирован-
ном 0 функция L (0, d) дважды дифференцируема по d,
L (0, у(0)) = 0 для всех 0, и что ошибка невелика.
Часто случается, что в рамках одной задачи возможны
различные типы потерь, для которых трудно подыскать
общую единицу измерения. Вернемся еще раз к примеру 1
(I) и допустим, что у0 представляет собою значение у,
получающееся при использовании в некоторой ситуации
(например, в медицине, сельском хозяйстве или промыш-
ленности) стандартного способа действий. Задача состоит
в том, чтобы сравнить какой-то новый способ (с неизвест-
ным у) с указанным стандартным способом. Отклонение
нового метода, когда он превосходит старый, или принятие
его в противоположном случае влекут за собою, очевидно,
весьма различные последствия. Иногда в таких случаях
бывает удобно оперировать по отдельности с несколькими
компонентами, скажем L2, . . . , Lr. Предположим,
в частности, что г = 2 и что Lr соответствует более суще-
ственной стороне дела. Тогда можно ограничить эту
компоненту риска, т. е. наложить условие вида
£Li(0, 6(Х))<а, (6)
и при этом условии минимизировать другую компоненту.
Эту процедуру иллюстрирует пример 4. Длина интервала
2 э. Леман
18
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
[L, L] (измеренная в o-единицах) является одной компо-
нентой функции потерь. Другую образуют потери, возни-
кающие тогда, когда этот интервал не покрывает истинное
значение g.
3. Рандомизация. Выбор эксперимента
Данное выше описание решающего правила в некоторых
отношениях остается слишком узким. Мы предполагали,
что каждому возможному значению случайных величин
соответствует ровно одно решение. Вместо этого удобно
допустить выбор одного из нескольких решений в соответ-
ствии с заданными вероятностями или, более общим обра-
зом, в соответствии с некоторым распределением вероят-
ностей на пространстве решений. Это распределение зави-
сит, конечно, от наблюденного значения х. Один из спо-
собов описания такой рандомизированной процедуры
состоит в том, что задаются нерандомизированная про-
цедура, зависящая от X, и случайная величина У,
значения которой лежат в пространстве решений и
условное распределение которой при данном х не зави-
сит от 0.
Хотя интуитивно может показаться, что такая дополни-
тельная рандомизация не имеет значения, это допущение
бблыпей свободы выбора не может нанести вреда. Если
интуитивные сомнения будут правильны, то окажется,
что оптимальные процедуры всегда имеют нерандомизи-
рованный характер. В действительности введение рандо-
мизированных процедур создает важное математическое
упрощение: расширение класса функций риска делает
его выпуклым. К тому же, существуют проблемы, в кото-
рых некоторые характеристики функции риска (например,
ее максимум) могут быть лучше использованы, если
допустить и рандомизированные процедуры.
Другое предположение, которое молчаливо до сих пор
принималось, состоит в том, что был выбран определен-
ный план эксперимента. Поэтому известно, какие именно
наблюдения будут произведены. Однако статистические
рассмотрения, связанные с планированием эксперимента,
нисколько не менее важны, чем касающиеся анализа этого
эксперимента. В частности, еще до того, как предпринято
3] Рандомизация, выбор эксперимента ig
исследование, необходимо решить, сколько наблюдений
должно быть произведено, учитывая, что потери от не-
правильных решений не должны быть чрезмерными.
Часто оказывается, что требуемый объем выборки зависит
от неизвестного распределения и, следовательно, не
может быть фиксирован заранее. Вместо этого объем
определяется в зависимости от наблюдений, и решение
о продолжении эксперимента принимается последова-
тельно на каждом его шаге на основе имеющихся к этому
моменту результатов наблюдений.
Пример 5. Допустим, что по выборке Х4,..., Хп из нормаль-
ного распределения N (|, о2) желают оценить среднее значение £.
Здесь функция риска для оценки (например, математическое ожида-
ние квадрата ее отклонения отД) зависит от о. При больших о выбор-
ка содержит мало информации в том смысле, что два распределения
N (£ь о2) и N (|2, а2) с фиксированной разностью £2—£1 стано-
вятся неразличимыми при о -> оо; вследствие этого риск стремится
к бесконечности. Наоборот, риск стремится к нулю при а —> 0, так
как в этом случае среднее почти точно известно. Таким образом, число
наблюдений, необходимое для поддержания риска на заданном уров-
не, неизвестно. Однако, после того как произведено некоторое коли-
чество наблюдений, возможно оценить о2 и, следовательно, опреде-
лить число требуемых дополнительно наблюдений.
Пример 6. Пусть относительно последовательности испыта-
ний с постоянной вероятностью успеха р желают выяснить, какое
1 1
из двух неравенств — илиР>~2 верно. Как правило, мы будем
быстро приходить к решению, если р близко к 0 или 1, когда прак-
тически все наблюдения приводят к одному и тому же результату.
В то же время для промежуточных значений р потребуется выборка
большего объема. Это различие может частично уравновешиваться
тем обстоятельством, что для промежуточных значений потери, воз-
никающие из-за неправильного решения, предположительно менее
серьезны, чем для значений, близких к краям.
Пример 7. Возможность последовательного определения
объема выборки важна не только потому, что распределения Pq
имеют большую или меньшую информационную ценность, но и
потому, что это же самое верно для результатов наблюдений.
Рассмотрим, например, выборку из равномерного на интервале
^0----— ,0-1-А^ распределения ♦), и пусть задача состоит в оцен-
ке 0. Здесь нет различия в количестве информации, доставляемой
различными распределениями Ре. Рднако по выборке Х2,...,ХП
можно почти точно определить 0, если шах |Ху-— Х<| достаточно
*) Это распределение определено в задаче 1 в конце главы.
2*
20 ОЁЩАЯ ПРОБЛЕМА РЁП1ЁЙЙЯ [гл. 1
близок к единице; если же max | Xj — Xi | близок к нулю, то вся
выборка дает информацию нисколько не большую, чем одно наблю-
дение. Снова необходимый объем выборки должен определяться
п оследовательно.
Определение надлежащего размера выборки представ-
ляет собою, за исключением простейших ситуаций, лишь
одну из сторон задачи планирования эксперимента. Вообще
говоря, мы должны решить не только вопрос о числе на-
блюдений, но и то, какого они должны быть типа. Фор-
мально все эти вопросы можно включить в общую про-
блему решения, как она описана в начале этого раздела.
С этой целью X интерпретируется как множество всех
наблюдаемых случайных величин; вводятся понятия реше-
ния о продолжении и решения об остановке эксперимента
на различных этапах; определяется (в случае продолжения),
какого типа величину следует наблюдать на следующем
шаге; наконец, стоимость наблюдений включается в функ-
цию потерь. Однако, несмотря на эту формальную возмож-
ность, отыскание оптимального плана эксперимента в кон-
кретных ситуациях представляет собою обычно задачу
более трудную, чем отыскание оптимального решаю-
щего правила для данного эксперимента. Эта задача
решена лишь в небольшом числе случаев. Здесь в первую
очередь мы будем заниматься проблемой в том виде,
в котором она предстает перед нами после того, как экс-
перимент выбран, и только в нескольких случаях мы
постараемся сравнить различные планы эксперимента-
4. Оптимальные процедуры
В конце первого раздела было сказано, что цель ста-
тистической теории — отыскание такой решающей функ-
ции 6, которая минимизирует функцию риска
Я(0, 6) = £e[L(0, 6(Х))]. (7)
К сожалению, минимизирующее б зависит, вообще говоря,
от неизвестного значения 0. Возьмем, например, некоторое
специальное решение d0 и рассмотрим решающую про-
цедуру б (я) в соответствии с которой решение d0
принимается независимо от исхода эксперимента. Пред-
положим, что dc является правильным решением для
некоторого 0о, т. е. L (0О, d0) = 0. Тогда 6 минимизирует
4]
ОПТИМАЛЬНЫЕ ПРОЦЕДУРЫ
21
риск для Оо, поскольку R (0о, 6) = 0, но, вероятно, ценой
значительного риска для других значений 0.
При отсутствии решающей функции, которая миними-
зирует риск для всех значений 0, проблема остается мате-
матически неопределенной, так как неясно, что подразу-
мевается под наилучшей процедурой. Хотя представ-
ляется невозможным дать определение оптимальности,
которое было бы подходящим во всех случаях, приводимые
ниже два подхода часто оказываются удовлетворитель-
ными.
Отсутствие оптимального решающего правила связано
с тем, что процедура уделяет слишком большое внимание
отдельному значению параметра, пренебрегая многими
другими. Это приводит к мысли ограничиться решающими
процедурами, в какой-то степени беспристрастными; воз-
можно, что внутри такого класса найдутся процедуры
с равномерно наименьшим риском. Два ограничения подоб-
ного рода — инвариантность и несмещенность, будут
обсуждены в следующем разделе.
Вместо сужения класса процедур возможен и другой
подход к проблеме. Рассмотрим функции риска, соответст-
вующие двум различным решающим правилам и б2.
Если R (0, < R (0, S2) при всех 0, то ясно, что дх
предпочтительнее б2, так как Sx приводит к меньшему
риску, каково бы ни было истинное значение 0. Однако
положение неясно, когда графики этих функций пере-
секаются, как на рис. 1. Необходим принцип, который
22
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
в подобных случаях устанавливает, какая из двух функ-
ций риска предпочтительнее, т. е. который упорядочивает
множество функций риска. Оптимальной будет та про-
цедура, функция риска которой является наилучшей
в смысле этого порядка.
Некоторые критерии, которые были предложены для
упорядочения функций риска, будут рассмотрены в раз-
деле 6.
Слабым пунктом теории оптимальных процедур, как
она намечена выше, является ее зависимость от не относя-
щихся к существу дела обстоятельств: ограничения класса
процедур, принципа упорядочения и от сведений о функции
потерь и распределениях наблюдаемых случайных величин.
Эти сведения в приложениях часто бывают или недоступ-
ны, или ненадежны. Подобные трудности могут вызвать
сомнение в ценности оптимальной теории, покоящейся
на столь шатком основании. Но они в принципе не отли-
чаются от трудностей, возникающих в любых примене-
ниях математики к действительности. Математические
формулировки всегда включают упрощение и аппрокси-
мацию; поэтому на решения, полученные с их использо-
ванием, нельзя полагаться без дополнительной проверки.
В нашем случае проверка состоит из всеобъемлющей
оценки действия процедуры, даваемой теорией, и в исле-
довании ее чувствительности к отклонениям от предполо-
жений, при которых она была рекомендована.
Отмеченные трудности могут быть частично прео-
долены рассмотрением одной и той же проблемы в раз-
ных постановках. Если различные критерии оптималь-
ности приводят к одному и тому же решению, то оно
будет наилучшим с нескольких точек зрения, и, следова-
тельно, правдоподобно, что оно будет удовлетворитель-
ным вообще. В противоположном случае этот метод
указывает слабые и сильные стороны различных решений
и тем самым может привести к некоторой компромиссной
процедуре. Аналогично, чувствительность процедуры к
отклонениям от предположений, при которых она бы-
ла выведена, может быть испытана, например, отбра-
сыванием одного из предположений и сравнением про-
цедуры, полученной в более широкой модели, с перво-
начальной.
5]
ИНВАРИАНТНОСТЬ И НЕСМЕЩЕННОСТЬ
23
5. Инвариантность и несмещенность*)
Естественное определение беспристрастности появ-
ляется в ситуациях, симметричных по отношению к инте-
ресующим нас значениям параметра. От процедуры тре-
буется в этом случае симметричность по отношению
к этим значениям параметра.
Пример 8. Предположим, что сравниваются два способа
действий, каждый из которых применяется п раз. Соответствую-
щие результаты наблюдений ..., Х1п и121, ..., Х2п пред-
ставляют собою выборки из 7V(gi, о2) и N (Ej2, и2) соответственно.
Допускаются три решения— d0:1 5г— 51 К A, di- 5г > 51 + А,
d2: 5г < 51-~ А и принятие решения dj при условии, что истинно
di приводит к потере Wij. Если способы действий сравниваются
только в терминах Ej и никакие посторонние соображения не при-
нимаются во внимание, то потери являются симметричными по
отношению к этим способам, так что ^01~ w02> ^10 — ^20, ^12 — ^21-
Предположим теперь, что индексы 1 и 2, отмечающие способы,
меняют местами и соответственно меняют индексы у JT, | и реше-
ний dt и d2. Это изменяет смысл символов, но формальная проб-
лема решения, в силу ее симметрии, остается прежней. Поэтому
естественно требовать соответствующей симметрии от процедуры
б, т. е. требовать, чтобы б (яи, ..., xln, x2i, ..., x2n) = dQ, или
d2 одновременно с б (я2ь ..., %2п, хц, ..., xin). Если бы это
условие не было выполнено, то решение того, какая из выборок
имеет большее среднее, зависело бы от совершенно несуществен-
ного обстоятельства—нумерации выборок. Аналогичные замеча-
ния применимы и к другим типам симметрии, встречающимся
в этой задаче.
П р и м е р 9. Рассмотрим выборку Х1? ..., Хп из распределения
с плотностью —|)/сг]. Пусть проблема состоит в оценке пара-
метра сдвига В» скажем математического ожидания Х^ при функции
потерь (d— т. е. равной квадрату ошибки, выраженной
в cr-единицах. Предположим, что первоначально результаты наблю-
дений выражены в футах, и пустьXi—aXi, где а=12, —соответству-
ющие значения в дюймах. В преобразованной задаче плотность
равна о'"1/ [(#'—ё')/<И, гДе 5' = Л5, а'=ао. Так как (d' — Е-')2/с'2=
= (d—|)2/о2, то формально проблема не меняется. Та же самая
процедура, которая используется для первоначальных наблюдений,
пригодна после преобразований. Для £' = а|, где измерено в
дюймах, она дает оценку б (аХ{1 ..., аХп). Переводя последнее
выражение в футы, мы видим, что если потребовать независимость
*) Понятия, обсуждаемые здесь в рамках общей теории решений,
будут изучены в более специализированной форме в последующих
главах. Поэтому настоящий раздел может быть опущен при первом
чтении.
24
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
результата от выбора единицы измерения, то б должно удовлетво-
рять условию масштабной инвариантности:
д(аХь аХп)/а = б(Х1, ...,ХП).
Общим математическим выражением симметрии яв-
ляется инвариантность относительно подходящей группы
преобразований. Мы скажем, что группа G преобразо-
ваний g пространства выборок оставляет статистическую
проблему решения инвариантной, если она удовлетво-
ряет следующим условиям:
(I) Она оставляет инвариантным семейство распреде-
лений сР = {7)0, 0gQ}, т. е. для любого возможного рас-
пределения Pq случайных величин X распределение gX,
скажем Pq,, также принадлежит еР. Предполагается,
что соотношение 0' = g0 отображает Q на Q и притом
взаимно однозначным образом*).
(II) Для каждого g£G существует отображение
g* = A (g) пространства решений D на себя, определяемое
гомоморфизмом h (т. е. h удовлетворяет условию
Л (gigz) = Л (gi) h (g2)) и такое, что функция потерь не
меняется при этом отображении, т. е.
L(g0, g*d) = L(0, d).
При этих предположениях преобразованная задача
в терминах X' = gX, 0' = g0 и d' = g*d формально иден-
тична первоначальной задаче в терминах X, 0 и d. Ре-
шающая процедура б первоначальной задачи остается
пригодной и после преобразования. Интерпретируя преоб-
разование как замену координатной системы и, следо-
вательно, замену названий элементов, мы выбрали бы,
наблюдая я', решение, которое в новой системе записы-
вается как б (ж'), а в старой —как g*-16(^'). Если при-
нимаемое решение не должно зависеть от выбора системы
координат, то последнее решение должно совпадать
с первоначальным б, т. е. процедура должна удовлет-
ворять условию инвариантности*.
б (gx) = g*6 (х) для всех х g X, g g G. (8).
♦) Термин «на Q» используется для указания того, что
gQ = Q> т. е. что для любого О' в Q существует 0 с gO = 0'.
5]
ИНВАРИАНТНОСТЬ И НЕСМЕЩЕННОСТЬ
25
Рассмотрения, основанные на инвариантности, при-
менимы лишь тогда, когда проблема обнаруживает не-
которую симметрию. Альтернативная формализация по-
нятия беспристрастности, применимая к проблемам
другого типа, дается приводимым ниже условием несме-
щенности. Предположим задачу такой, что для каждого 0
существует единственное правильное решение и что
каждое решение является правильным для некоторого 0.
Допустим далее, что L (0Ь d) = L (02, d) для всех d, если
правильные решения для 01 и 02 совпадают. Тогда функ-
ция потерь L (0, d') зависит только от принятого реше-
ния, скажем d', и правильного решения d. Потеря может
быть обозначена поэтому L (d, d') и эта последняя функ-
ция указывает, как далеко отстоит d' от d. При пере-
численных предположениях решающая функция 6 назы-
вается несмещенной, если при всех 0 и d'
EeL(d\6(X))>EQL(d,6(X)),
где индекс 0 указывает распределение, по отношению
к которому берутся математические ожидания, и d обо-
значает решение, правильное для 0. Таким образом, 6
является несмещенным, если в среднем б(Х) подходит
ближе к правильному решению, чем к любому из непра-
вильных. Распространяя приведенное определение на
любые проблемы решения, S называют несмещенным
правилом, если для всех 0 и 0'
EeL(0', б(Х))>ЕеШ S(X)). (9)
Пример 10. Предположим, что в задаче оценки дей-
ствительного параметра 0 с помощью доверительных интер-
валов (пример 4) потеря равна 0 или 1, в зависимости от того,
покрывает или не покрывает интервал [L, L] истинное зна-
чение 0. Тогда система интервалов [L (X), L (X)] является несме-
щенной, если вероятность покрытия истинного значения не мень-
ше вероятности покрытия любого другого значения.
Пример И. Рассмотрим задачу с двумя решениями, такую
как в примере 1 (I). Пусть соо и 04 обозначают множества зна-
чений 0, для которых правильными решениями являются dQ и
соответственно. Предположим, что потеря равна 0, если выби-
рается правильное решение, а в противном случае определяется
равенствами: L (0, d0) = a для 0 £ и L (0, d^ — b для 0 £ <оо.
Тогда
Р Г ffl' Л < YW - I аРв *s (Х) = d°^ еСЛИ 6' 6
£0L<0 > o(x))-| г>ре{6(Х) = <г1}, если 0' € <оо,
26
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
Ггл. 1
так что (9) приводится к неравенству
аР0{д(Х) = ^о}>^0{б(Х) = ^} для <D0
и к обратному неравенству для 0^(оР Так как P0{6(X) = do}4-
+-?е{д (Х) = ^}=1, то условие несмещенности (9) превращается
в неравенства
Р0{6 (Х) = ^}<-£у для 0g<oo,
(10)
P0{6(X)=d1}>^py для 0 g Шр
Пример 12. В задаче оценки действительной функции у (0
при потере, равной квадрату ошибки, условие несмещенности
записывается в виде
£’0[д(Х)-у(0')]2>Ее[6 (Т)-у(0)]2 для всех 0,0'.
Добавляя и вычитая внутри скобок в обеих частях неравенства
h (0) = £'06 (JT), мы преобразуем его к виду
[А(0)—у(0')]2>[А(0) —Y (О)]2 для всех 0,0'.
Если А (0) является одним из значений функции у, то послед-
нее соотношение выполняется тогда и только тогда, когда
Яед(Х)=у(0). (И)
В теории точечных оценок (И) обычно принимается в ка-
честве определения несмещенности. Кроме весьма патологических
случаев, равенство (И) необходимо и достаточно для того,
чтобы д удовлетворяло (9) (см. задачу 2 в конце главы).
6. Байесовские и минимаксные процедуры
Мы вернемся теперь к обсуждению способов упорядоче-
ния решающих процедур и их функций риска. Одно
из таких упорядочений получается в предположении, что
в повторных экспериментах сам параметр является слу-
чайной величиной 0. Если предположить для простоты,
что его распределение имеет плотность р (0), то полная
средняя потеря от применения решающей процедуры S
равна
г (р, 6) = Ее L (0, 6 (X)) р (0) d0 = R (0, 6) р (0) dQ (12)
и, чем меньше г (р, S), тем лучше S. Оптимальной является
процедура, минимизирующая г (р, S). Она называется
6]
БАЙЕСОВСКИЕ И МИНИМАКСНЫЕ ПРОЦЕДУРЫ
27
байесовским решением данной проблемы, соответстующим
априорной плотности g. Минимум г (g, S) называется
байесовским риском для g.
К сожалению, чтобы использовать этот принцип, надо
предположить не только то, что 0 — случайная величина,
но и то, что распределение ее известно. Последняя пред-
посылка на практике обычно не оправдывается.; Правая
часть (12) может быть иначе истолкована как взвешенное
среднее рисков. В частности, для g (0) == 1 это есть
площадь под графи-
ком функции риска.
При такой интерпре-
тации выбор весовой
функции g показы-
вает степень значи-
мости, которую экспе-
риментатор приписы-
вает различным зна-
чениям 9.
При отсутствии
априорной информа-
ции относительно 0
имеет смысл рассматривать максимум функции риска
как ее наиболее важную характеристику. Тогда из двух
функций риска предпочтительнее та, которая имеет мень-
ший максимум. Оптимальными процедурами являются те,
которые минимизируют максимальный риск, т. е. обладают
минимаксным свойством. Так как максимум указывает
самые тяжелые (в среднем) потери, которые могут воз-
никнуть при использовании данной процедуры, то мини-
максное решение, по сравнению с другими, дает самую
надежную защиту от больших потерь. Рис. 2 показы-
вает, что иногда такой принцип может оказаться неблаго-
разумным: в большинстве случаев мы предпочли бы
правило di, хотя его функция риска имеет больший мак-
симум.
Вероятно, что наиболее типичен случай, промежуточ-
ный между двумя только что описанными. С одной стороны,
мы могли встречаться в прошлом с таким же или сходным
экспериментом и потому можем иметь некоторое представ-
ление об ожидаемых значениях 0. С другой стороны, эта
28
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
информация не является ни достаточно точной, ни доста-
точно надежной, чтобы оправдать байесовский подход.
В этой обстановке представляется желательным исполь-
зовать доступную информацию, не опираясь на нее,
однако, настолько, чтобы в случае ее неточности стол-
кнуться с опасностью катастрофически высоких потерь.
Для достижения этой цели можно задать верхнюю гра-
ницу риска и рассматривать лишь такие процедуры б,
для которых
7?(0, б) < С для всех 0 (13)
(здесь константа С должна быть больше максимального
риска Cq минимаксной процедуры, так как в противном
случае не найдется процедуры, удовлетворяющей (13)).
Гарантировав, таким образом, что риск ни при каких
обстоятельствах не выйдет из-под контроля, эксперимента-
тор может без опасений использовать свои сведения о ситуа-
ции. Последние могут быть следствием как теоретических
соображений, так и прошлого опыта. Экспериментатор
может следовать своим влечениям и угадывать распределе-
ние q параметра 0. Это приводит к выбору процедуры б
(ограниченного байесовского решения), которая минимизи-
рует риск (12) для этого априорного распределения (при
условии (13)). Чем более мы уверены в выборе Q, тем
большим можно выбрать С. При этом, управляя большими
значениями риска в случае неудачного предположения о Q,
мы уменьшаем риск при хорошей догадке.
Вместо непосредственного задания упорядочения, мы
можем постулировать требования, которым оно должно
удовлетворять.
Были исследованы различные системы таких усло-
вий*). Это привело к общему заключению, что этим требо-
ваниям удовлетворяют лишь упорядочения, основанные
на значении байесовского риска по отношению к некоторо-
му априорному распределению 0.
*) См., например, Savage, The Foundations of Statistics,
New York, Wiley, 1954, и раздел 4.3 книги: Blackwell, G i г-
s h i c k, Theory of Games and Statistical Decisions, New York, Wiley,
1954. (Русский перевод: Блэкуэлл и Гирши к, Теория игр
и статистических решений, ИЛ, 1958.)
г
7] МЕТОД МАКСИМУМА ПРАВДОПОДОБИЯ 29
7. Метод максимума правдоподобия
Другим подходом, основанным на соображениях, от-
личных от использованных в предудыщих разделах, яв-
ляется метод максимума правдоподобия. В большом числе
проблем он приводит к рациональным процедурам и до
сих пор играет доминирующую роль при отыскании новых
критериев или оценок. Предположим на время, что X
может принимать только конечное или счетное число
значений xv ... с вероятностями Pq(x) = PQ {Х=х}.
Допустим, что мы хотим определить истинное значение 0
по наблюденному х. Естественно посмотреть для каждого
возможного 0, сколь вероятным было бы х, если бы 0
было истинным значением параметра. Чем выше эта
вероятность, тем более мы склоняемся к мнению, что
рассматриваемое 0 является истинным; т. е., иными слова-
ми, тем более правдоподобным представляется нам это
значение. В соответствии со сказанным, выражение
Р0 (х), рассматриваемое при фиксированном х как функ-
ция от 0, называется функцией правдоподобия для 0.
Чтобы подчеркнуть это изменение точки зрения, обо-
значим функцию правдоподобия Lx (0). Предположим
теперь, что мы сталкиваемся с проблемой действия,,
включающей конечное или счетное число возможных
решений, и что эта проблема сформулирована не в
терминах потерь, как обычно, а в терминах выигры-
шей: выигрыш равен нулю, если принято неправильное
решение, и равен а (0) > 0, если принято правильное
решение и 0 — истинное значение параметра. Тогда пред-
ставляется естественным снабдить значения функции
правдоподобия Lx (0) весами, равными соответствующим
выигрышам, и определить значение 0, максимизирующее
произведение а (0) Lx (0), а затем принять такое решение,
которое было бы правильным, если бы найденное 0 было
верным*). Сделанные замечания применимы и к случаю
непрерывных распределений, когда Pq (х) обозначает плот-
ность вероятности. Приведенные мотивировки неприменимы
непосредственно к задаче оценки непрерывного параметра,
однако этот случай можно рассматривать как предельный.
*) Вариант такого подхода был предложен в работе Lindley,
Statistical inference, J. Roy. Stat. Soc., Ser. B, vol. XI (1953), 30—76.
30
общая проблема решения
[гл. 1
В задачах точечной оценки а (0) предполагают обычно
не зависящим от 0. Тем самым в качестве оценки 0 исполь-
зуют значение, максимизирующее функцию правдоподобия
Lx (0), т. е., как говорят, оценку наибольшего правдо-
подобия. Другой интересный случай — проблемы с двумя
решениями (ср. пример 1 (I)). Пусть со0 и обозначают
множества значений 0, для которых правильными яв-
ляются решения d0H соответственно, и пусть а (0) = а0
при 0g(oo и а (0) = аг при 0£coi. Мы принимаем реше-
ние или dr в зависимости от того, будет ли а± sup Lx (0)
0G<oi
меньше или больше aQ sup Lx (0), т. е. будет ли
0Е®о
sup Lx (6)
°Л тлттта
------т—77VT- р> — ИЛИ
sup Lx (9) а0
0£©1
sup Гх(0)
0Е<£>о_____
sup Гх(0)
0Е©1
(14)
Эта процедура приводит к критерию отношения правдо-
подобия*).
Хотя принцип максимального правдоподобия не осно-
вывается на каких-либо ясно выраженных соображениях
оптимальности, он применяется весьма успешно и при-
водит к удовлетворительным процедурам во многих кон-
кретных задачах. Было показано также, что в широком
классе задач метод максимального правдоподобия обла-
дает свойством асимптотической оптимальности при не-
ограниченно растущем объеме выборки**). С другой сторо-
ны, существуют примеры, в которых метод максимального
правдоподобия более чем бесполезен. Действительно,
в этих примерах он столь плох, что можно найти лучший
ответ, вовсе не прибегая к наблюдениям (см. задачу 18
в главе 6).
*) Данное определение слегка отличается от обычного, где в зна-
менателе левой части (14) sup берется на множестве w0 (J со±. Оба
определения совпадают, когда левая часть (14) не превосходит 1.
Процедуры совпадают, следовательно, если
**) По этому вопросу см., например, Wald, Tests of statistical
hypotheses concerning several parameters when the number of obser-
vations is large, Trans. Am. Math. Soc. 54 (1943), 426—482, и L e
C a m, On some asymptotic properties of maximum likelihood estima-
tes and related Bayes’ estimates. Univ. Calif. Pubis. Statistics, 1
(1953), 277—330.
8]
ПОЛНЫЙ КЛАССЫ
31
8. Полные классы
Ни один из описанных до сих пор подходов не пред-
ставляется вполне надежным в том смысле, что реко-
мендуемая им процедура не является с необходимостью
удовлетворительной. Имеются задачи, в которых можно
указать процедуру 6 о с равномерно наименьшим риском
среди всех несмещенных или инвариантных процедур;
в то же время существует процедура бх, не обладающая
этими свойствами беспристрастности, но лучшая 60 (см.
задачи 14 и 16). Как было показано раньше, минимакс-
ные процедуры также могут оказаться нежелательными,
а успех в применении байесовских или ограниченных
байесовских решений связан с наличием априорной
информации, которая, если и доступна, то, как правило,
не бывает очень надежной. Действительно, кажется вероят-
ным, что при отсутствии надежной априорной информации
ни один из принципов, приводящих к единственному
ответу, не может быть вполне удовлетворительным.
Это выдвигает возможность, хотя бы в качестве первого
шага, не настаивать на единственном решении, но иссле-
довать, сколь сильно может быть редуцирована проблема
без потери, относящейся к делу информации. Мы уже
видели, что решающая процедура 6 может быть отклонена
по той причине, что существует процедура S', доминирую-
щая ее в том смысле, что
7?(0, 6')</?(0, 6) для всех О,
/? (0, S') < R (0, 6) для некоторого 0.
В подобном случае S будет называться недопустимой.
С другой стороны, S будет называться допустимой, если
не существует доминирующей ее 6'. Класс решающих
процедур называют полным, если для любого S, не принад-
лежащего существует доминирующее его S' в Пол-
ный класс называют минимальным, если никакой его
подкласс не является полным. Если минимальный полный
класс существует (что типично), то он совпадает с множе-
ством всех допустимых процедур.
Удобно ввести также следующий вариант понятия пол-
ного класса. Класс ® называют существенно полным,
32 ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ [гл. 1
если для каждой процедуры 6 найдется процедура 6'
из для которой при всех 0 7?(0, 6') < 7?(0, S). Очевид-
но, что каждый полный класс является существенно пол-
ным. Действительно, оба определения расходятся только
в обращении с эквивалентными решающими правилами,
т. е. с решающими правилами, имеющими идентичные
функции риска. Если S принадлежит минимальному пол-
ному классу то любое эквивалентное решающее пра-
вило также входит в *??. С другой стороны, минимальный
существенно полный класс должен содержать не более
одного представителя от каждого множества эквивалент-
ных между собою процедур.
Минимальный, существенно полный класс соответ-
ствует максимальной в некотором смысле редукции про-
блемы решения. С другой стороны, нет никаких причин
рассматривать какую-либо из отклоненных (т. е. не входя-
щих в этот класс) процедур. Для каждой из них найдется
такая же или лучшая процедура в В то же время этот
класс невозможно уменьшить, так как, если даны две
процедуры из то иногда одна из них будет лучше, чем
другая, и без дополнительной информации нельзя сказать,
которая из них предпочтительнее.
Первоначальной заботой статистики было точное опре-
деление процедур (или классов процедур) в различных
специальных задачах. Наиболее интенсивно изучались
проблемы оценки и проблемы выбора между двумя реше-
ниями (проверка гипотез), теория которых составляет
предмет настоящей книги. Однако некоторые заключения
возможны без такой специализации. В частности, при
весьма общих условиях были доказаны два результата,
касающиеся структуры полных классов и минимаксных
процедур*):
(I) Совокупность всех байесовских решений и их пре-
делов образует полный класс.
(II) Минимаксные процедуры являются байесовскими
решениями по отношению к наименее благоприятному
априорному распределению, т. е. такому, которое макси-
мизирует байесовский риск. Минимаксный риск равен
*) Точные формулировки и доказательства даны в книге:
Wald, Statistical Decision Functions, New York, Wiley, 1950.
9]
ДОСТАТОЧНЫЕ СТАТИСТИКИ
33
этому байесовскому риску. Более общим образом, если
не существует наименее благоприятного априорного рас-
пределения, а имеется лишь последовательность, для
которой байесовские риски стремятся к максимуму, то
минимаксные процедуры являются пределами соответ-
ствующей последовательности байесовских решений.
9. Достаточные статистики
Мы видели в предыдущем разделе, что минимальный
полный класс соответствует максимальной возможной
редукции проблемы решения, осуществляемой без потери
информации. Часто возможно произвести сокращение
(редукцию) данных, применимое одновременно ко всем
проблемам, касающимся заданного класса = {Р0, 0gQ}
распределений случайной величины X. Эта редукция
состоит в отбрасывании той части данных, которая не
содержит информации относительно неизвестного рас-
пределения Pq и, следовательно, бесполезна для любой
проблемы решения, касающейся 0.
П р и м е р 13. Производятся независимые испытания с постоян-
ной неизвестной вероятностью р успеха. Пусть Xi равно 1, если f-e
испытание закончилось успехом, и равно 0 в противном случае.
Выборка (Хи ... , Хп) показывает число успехов и номера испыта-
ний, в которых они произошли. Последняя информация ничего не
проясняет в вопросе о значении р. Коль скоро общее число успе-
хов, £=STj, дано, то каждое из возможных расположений
этих успехов имеет одну и ту же вероятность безотносительно
к тому, каково р. Отсюда следует, что, зная но не зная ни
отдельных ни р, возможно с помощью таблицы случайных
чисел построить множество случайных величин Х{, Х'п, сов-
местное распределение которых такое же, как и у Xi9 ..., Хп.
Следовательно, информация, содержащаяся в Ij, такая же, как
в и таблице случайных чисел.
Пример 14. Пусть Xi9 ..., Хп независимы и распределены
нормально с математическим ожиданием 0 и дисперсией а2. Тогда
условное распределение выборочной точки на каждой из сфер
SJTi = const равномерно, каково бы ни было о2. Зная STi, можно
построить эквивалентную выборку X/, ..., Х^, если располагать
механизмом, который наудачу наносит точки на сферу.
Вообще, статистика Т называется достаточной для
семейства = {Р0, 0 g Q} (или достаточной для 0, если
3 Э. Леман
34 ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ [гл. 1
из контекста ясно, о каком Q идет речь), когда условное
распределение X при условии Т — t не зависит от 9.
При слабых ограничениях*) отсюда следует, так же
как и в указанных двух примерах, что нет необходимо-
сти использовать сами первоначальные результаты на-
блюдений X. Если мы наблюдаем лишь Т (вместо X),
то класс доступных решающих процедур не становится
уже. Пусть для каждого значения t статистики Т Xt
обозначает случайную величину, распределение которой
совпадает с условным распределением X при Т— t.
Такая величина может быть, по крайней мере теоретиче-
ски, построена с помощью надлежащего случайного меха-
низма. Если сначала наблюдение дает значение t для Т,
а затем значение х' для Xt, то случайная величина X',
получаемая в результате такой двукратной процедуры,
имеет то же распределение, что и X. Таким образом, для
любой заданной процедуры, основанной на X, возможно
построить эквивалентную ей, основанную на X’. Эта
последняя может рассматриваться как рандомизирован-
ная процедура, использующая только Т. Следовательно,
если разрешена рандомизация (а мы всюду будем пред-
полагать, что это так и есть), то ограничение достаточными
статистиками не приводит к потере общности.
Необходимость вычислять условное распределение X
при данном t с тем, чтобы установить — является ли ста-
тистика Т достаточной или нет, оказывается неудобной.
Простой способ проверки дает следующий критерий
факторизации.
Рассмотрим сначала случай дискретного X, и пусть
Pq (ж) = Pq {X = х}. Тогда необходимое и достаточное
условие для того, чтобы статистика Т была достаточной
для 0, состоит в существовании факторизации
Ре(х) = ge[T (x)]h(x), (16)
где первый множитель может зависеть от 0, а от х зависит
только через Т (я), в то время как второй множитель
не зависит от 0.
Предположим, что (16) выполняется, и пусть Т (х) = t.
Тогда Pq {Т ~ t} = SPo (я'), гДе сумма берется по х'
*) Они связаны с трудностями, касающимися понятия услов-
ной вероятности. По этому поводу см. разделы 3—5 главы 2.
9]
ДОСТАТОЧНЫЕ СТАТИСТИКИ
35
с 7 (xf) = t, и условная вероятность
Pq {X = х | Т = t} = PQ (x)/PQ {T = t}^h (x)/Zh (xf)
не зависит от 0. Обратно, если это условное распределение
не зависит от 0 и равно, скажем, к (х, f), то Р§ (х) =
=: Pq {Т = t} к (х, t), так что (16) выполняется.
Пример 15. Пусть Х4, ..., Хп независимы и одинаково
распределены по закону Пуассона (2). Тогда
[Рт (а;^, ..., хп) — - ,
,П xi-
3=i
откуда следует, что 5Х^ является достаточной статистикой для т<
Рассмотрим случай, когда распределение X непре-
рывно и имеет плотность р*(х). Пусть X и Т — векторы,
скажем X — (Х1? ..., Хп) и Т = (7\, ..., Тг). Допустим,
что на пространстве выборок существует функция
У = (У1, ..., Уп-Г) такая, что преобразование
(#ь ..., хп) < ► ($), ..., Тг (ж), У1 (х), ..., У(х)) (17)
взаимно однозначно в соответствующей области и что
совместная плотность Г и У существует и связана
с плотностью X обычной формулой*)
^(Ж) = ^^(7(Ж), У(х)).|7|, (18)
где J — якобиан (7\, ..., Тг, Уь ..., Yn-T) по отношению
к (жь ..., хп). Так, в примере 14 77 = ]/sXl и Ух, ...,
Уп-1 могут быть определены как полярные координаты
выборочной точки. По совместной плотности »у (£, у)
Т и У мы находим условную плотность У при данном
Т =
Ра ’ (t, у)
j>er|<(y) = T-f у- ,7, ;• » (19)
}Pq ’ (t, У ) dy'
предполагая, что знаменатель отличен от нуля.
*) Условия регулярности, при которых верно (18), даны
Тике у, A smooth invertibility theorem, Ann. Math. Stat. 29,
(1958), 581—584; см также Lehmann and Scheffe, On the
problem of similar regions, Proc. Nat. Acad. Sci. 33 (1947),
382-386.
3*
36
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
Так как в условном распределении при данном t
меняются только величины У, то Т достаточна для 9,
если условное распределение У при данном t не зависит
от 0. Предположим, что Т удовлетворяет (19). Тогда,
аналогично дискретному случаю, статистика Т будет
достаточной тогда и только тогда, когда плотность
допускает факторизацию вида
pf = (x)}h(x) (20)
(см. задачу 19). Ниже приводятся два примера, иллю-
стрирующие применение критерия в этом случае. В обоих
примерах существование функции У, удовлетворяющей
(17) —(19), предполагается, но не доказывается> Как
мы увидим позже (раздел 6 главы 2), это предпо-
ложение не является необходимым для справедливости
критерия факторизации.
Пример 16. Пусть Xi9 .Хп независимы и имеют нор-
мальную плотность распределения
_ п 1 n X
а (®) = (2ЛО2) 2 ехр Q —— +A Sarf _2L J| .
Критерий факторизации показывает, что статистика (SXZ-, SX?)
достаточна для (£, о).
Пример 17. Пусть Xi9 ..., Хп независимы и имеют рас-
пределение /?(0, 0), равномерное на отрезке (0, 0). Тогда
pQ (х) = 0“nu(max xi, 0), где и(а, Ь) = 1 при а<Н и (а, Ь) = 0
при а>&. Следовательно, статистика тахХ, достаточна для 0.
Другой критерий достаточности устанавливает прямую
связь между этим понятием и некоторыми из основных
понятий теории статистических решений. Как в байесов-
ском подходе предположим, что неизвестный параметр
0 является случайной величиной © с априорным распреде-
лением. Для простоты примем, что оно имеет плотность
q(0). Тогда, если Т достаточна, то условное распреде-
ление 0 при данном Х — х зависит только от Т(х).
Обратно, если q(0) =£0 для всех 0 и если условное рас-
пределение 0 при данном х зависит только от Т (х),
то Т достаточна для 0.
Действительно, при сделанных предположениях сов-
местная плотность X и 0 равна Ре(я)е(0). Если Т
9]
ДОСТАТОЧНЫЕ СТАТИСТИКИ
37
достаточна, то из (20) вытекает, что условная плотность 0
при данном х зависит только от Т (х). Обратно, пред-
положим, что для некоторого априорного распределения
с g (0) =/= 0 при всех 0 условное распределение 0 при
данном х зависит только от Т (ж). Тогда
Pq (*) Р(е)
J Pq> W Q (0') dW
= f9\T{x)\,
откуда для ре(х) получаем выражение, показывающее
достаточность Т.
Каждое байесовское решение зависит только от ус-
ловного распределения 0 при данном х (см. задачу 8)
и, следовательно, от Т (х). Так как обычно байесовские
решения и их пределы образуют существенно полный
класс, то это же верно и в применении к решающим
процедурам, основанным на Т. К этому заключению мы
пришли также (и более непосредственно) в начале на-
стоящего раздела.
Ограничиваясь достаточными статистиками, мы со-
кращаем данные. Желательно это сокращение сделать
максимальным. Чтобы проиллюстрировать различные воз-
можности, рассмотрим еще раз пример 13. Каково бы
ни было целое тп, меньшее п, пара (Тъ Т2), где
m п
^1= 3 И Т2= 3 образует достаточную ста-
г=1 г=гп+1
тистику, так как условное распределение ..., Хп
при условии Т\ = tu Т2 = t2 не зависит от р. По той же
причине и полная выборка (Xi, ..., Хп) также является
п
достаточной статистикой. Однако Т == 2 приводит
i=i
к большему сокращению, чем любая из вышеприведен-
ных статистик и чем вообще любая, которая может
быть построена. Достаточная статистика называется
минимальной, если данные не допускают дальнейшей
редукции без потери свойства достаточности. Для би-
номиального распределения, например, минимальной
п
достаточной статистикой будет 2 (задача 17). Этим
г=1
38
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
Р {Х = х} =
р™ (1 — Р)х, * = 0, 1, 2, ...
иллюстрируется тот факт, что достаточная статистика,
найденная с помощью критерия факторизации, в конк-
ретных примерах часто оказывается минимальной*).
10. Задачи
К разделу 2
1. Нижеследующие распределения получаются на основе
предположений, сходных с использованными в формулах
(1)-(3).
(I) Независимые испытания с постоянной вероятностью
успеха р проводятся до тех пор, пока не наступит заданное
число т успехов. Если число необходимых испытаний равно
Х-\-т, то X имеет отрицательно-биномиальное распределение
т-\- х—1\
* )
(II) Дана последовательность случайных событий такая, что
число событий, наступающих в любом промежутке времени
длины т, имеет пуассоновское распределение Р (Хт), и числа
событий в неперекрывающихся промежутках времени независимы.
Тогда «время ожидания» Т, т. е. время от начального момента,
скажем £ = 0, до наступления первого события, имеет экспонен-
циальную плотность вероятности
p(Z) = %e-w, i>0.
(Пусть Ti (г >2) обозначает промежуток времени между (i—1)-м
и г-м событиями. Тогда верно, хотя и труднее доказывается,
следующее утверждение: 7\, Т2, ... независимы и распределены
одинаково **).)
(III ) Пусть точка X выбирается «наудачу» в интервале (а, 6),
т. е., иными словами, вероятность попадания X в какой-либо
подынтервал {а, Ь) зависит только от его длины (а не от поло-
жения). Тогда X имеет прямоугольное или равномерное распре-
деление R (а, Ь) с плотностью
= а<х<Ь.
*) Способы построения минимальных достаточных статистик
(некоторые авторы называют их необходимыми и достаточными
статистиками) даны в работах: Lehman and S с h е f f ё,
Completeness, similar regions and unbiased estimation, Sankhya,
10(1950), 305 — 340 и Bahadur, Sufficiency and statistical
decision functions, Ann. Math. Stat. 25 (1954), 423—462. См. также
Дынкин, О достаточных и необходимых статистиках для
семейства распределений вероятностей, ДАН 75 (1950), 161 —164.
**) Доказательство см. в книге: Дж. Дуб, Вероятностные
процессы, ИЛ, 1956, стр. 362.
ЗАДАЧИ
39
10]
[К (II). Если £ > 0, то Т>* в том и только том случае,
когда в промежутке (0, t) не происходит ни одного события.]
К разделу 5
2. Несмещенность точечных оценок. Предположим, что про-
странство параметров Q связно; у—непрерывная действительная
функция на Q, не обращающаяся в константу ни на каком
открытом подмножестве Q, математическое ожидание А(0) =
==£еб(Х) непрерывно как функция от 0 при любой оценке б (X)
величины у (0). Тогда условие (И) необходимо и достаточно для
того, чтобы оценка б (X) была несмещенной при функции потерь,
равной квадрату ошибки.
[Несмещенность влечет неравенство у2 (0') —У2 (0) >
> 2/г (0) [у (0') —у (0)] при всех 0 и 0'. Если 0 не является ни
относительным минимумом, ни относительным максимумом у,
то существуют точки 0', сколь угодно близкие к 0, для одних
из которых у (0)+у (0') > 2h (0), а для других у (0)+у (0') < 2h (0).
Следовательно, у (0) = Л(0). Из сделанных вначале предположе-
ний вытекает, что равенство выполняется и для точек экстре-
мума у.]
3. Медианная несмещенность. (I) Число т называется медиа-
1 1
ной случайной величины У, если Р {У > иг} > и Р {Y т}^ -к- .
£ Л
Для любых действительных а^ а2, для которых m^ai^.a2 или
т^ ai^ а2, имеем Е | У — ai | С Е | У—а2 |.
(II) Пусть б (X) — оценка у(0) и пусть т~ (0) и т+ (0) озна-
чают точную нижнюю и точную верхнюю грани медиан б (X).
Предположим, что т~ и т+ — непрерывные функции 0.
Пусть Q связно, а у (0) непрерывна и отлична от константы
на каждом открытом подмножестве Q. Тогда оценка б (X)
является несмещенной по отношению к функции потерь
L (0, d) = | у (0) — d | тогда и только тогда, когда при каждом©
у (0) есть медиана б (X). Оценки С этим свойством называют
медианно-несмещенными.
4. Отсутствие несмещенных процедур. Рассмотрим проблему
решения, в которой для каждого 0 существует единственное
правильное решение d. Предположим, что
X, (0, <Г)=Л (0) И (d, d') для 0 €
где cod — множество 0, для которых правильно решение d. Тогда,
если h принимает по меньшей мере два различных значения
на каждом со^, то функция риска для любой несмещенной про-
цедуры тождественно равна нулю, т. е., как правило, несме-
щенные процедуры не существуют. Пусть, например, Хр ..., Хп
независимы и одинаково распределены с плотностью(1/«) fn(x — %)/а)
и 0 = (g, а). Тогда для g не существует оценки, несмещенной
по отношению к функции потерь (g — d)2/a2.
5. Пусть g—класс процедур, замкнутый относительно пре-
образований группы G (в том смысле, что из б С S? вытекает
40
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
g*dg“1 С для всех g£G). Если существует единственная про-
цедура д0, которая минимизирует риск равномерно в классе g,
то д0 инвариантна. Если до единственна с точностью до множеств
меры нуль, то она почти инвариантна, т. е. для каждого g
удовлетворяет соотношению d(g#) = g*d(#) при всех я, кроме,
быть может, множества Ng нулевой меры.
6. Соотношение несмещенности и инвариантности. (I)
Если д0 есть единственная (с точностью до множеств нулевой
меры) несмещенная процедура с равномерно наименьшим риском,
то она почти инвариантна.
(II) Если G транзитивна, a G* коммутативна, и если среди
всех инвариантных (почти инвариантных) процедур существует
процедура д0, равномерно минимизирующая риск, то она
является несмещенной.
[(I) следует из предыдущей задачи и того факта, что несме-
щенность д влечет за собою несмещенность g*dg-1. (II) По самому
определению транзитивности, для любых 0, 0' существует
такое g, что 0'=g0. Следовательно, для любых 0, 0'
EqL (0', до(Х))=^е£(?0, до (X))=fE0L(0,g*“idoW).
В силу коммутативности G процедура g*-1d0 инвариантна, так
что
R (0, £*“х д0) > R (0, до) = К0 L (0, д0 (X)).]
7. Противоречащий пример. Заключение (II) задачи 6 не
обязано выполняться, если нарушены предположения относи-
тельно G* и G. Рассмотрим, например, задачу об оценке сред-
него g в нормальном распределении N (g, о2) при функции
потерь (g—d)2/o2. Эта задача инвариантна относительно групп
: gx = x~\-b, —оо<6<оо, и G2gx — ax-\-b, 0<а<оо,
—со<&<оо. Наилучшей инвариантной оценкой в обоих слу-
чаях служит X. Однако не существует оценки, несмещенной по
отношению к указанной функции потерь.
К разделу 6
8. Структура байесовских решений. (I) Пусть О—случайная
величина с плотностью р (0), не наблюдаемая непосредственно.
Пусть плотность X при 0 = 0 равна pq(x). Тогда, если решение
д (я) при каждом х выбирается так, чтобы минимизировать
L (0, д (а?)) Л (0 | х) dQ, где л (0 | х) = р (0) р$ (х)/ р (0') р0, (х) d§’-
условная (апостериорная) плотность О при данном х, то д —
байесовское решение.
(II) Рассмотрим проблему с двумя решениями и с функцией
потерь такой же, как в примере И. Тогда байесовское решение
состоит в выборе dQ, если
аР {0 £ сй| | х} ЪР {0 £ g)q |
10]
ЗАДАЧИ
41
и выборе если верно обратное неравенство. В случае равен-
ства можно выбрать любое решение.
(III) В задаче точечной оценки действительной функции g(0)
при функции потерь L (0 d) = (#(0)— d)2 байесовским решением
служит 6 (х) — Е [g (@) | а?]. Если изменить функцию потерь,
полагая Z(0, d) = | g (0) — d |, то байесовским решением будет
любая из медиан условного распределения g(0) при данном х.
[(I) Байесовский риск может быть записан в форме
^^£(0,5 (х)) Л (0 | х) <20] р(х) dx,
где
е(0')Ре- (*)<*0'.
(II) Условное математическое ожидание L (0, dQ) л (0 | х) dft
приводится к aP{0£(di|tf} (и аналогично для di).]
9. (I) Рассмотрим, пример, в котором рандомизация умень-
шает максимум риска: известно, что монета или стандартна
(ГР), или имеет герб на обеих сторонах (ГГ). Одну из этих
возможностей необходимо выбрать после одного бросания.
Потеря равна 1 при неправильном решении и 0 при правильном.
Пусть при появлении решки принимается решение ГР, в про-
тивном случае решение принимается «наудачу»: ГР с вероят-
ностью Q, ГГ с вероятностью 1 —q.
Тогда максимум риска минимален при р = .
о
10. Несмещенность и минимакс. Пусть Q = Qo(jQi, где Qo и
не пересекаются. Рассмотрим задачу с двумя решениями и
функцией потерь L (0, dj) = аг при 0 € Qj (/ #= i) к L (0, df) =0 при
0£Qf (i = 0, 1).
(I) Каждая минимаксная процедура является несмещенной.
(II) В предположении, что Pq (Л) непрерывна по 0 при каж-
дом Л, и множества Йо и Qi имеют хотя бы одну общую гра-
ничную точку, верно утверждение, обратное к (I).
[(I) Условие несмещенности в рассматриваемом случае
равносильно неравенству supR& (0)«С«оai/(ao+ai)* Это неравен-
ство выполняется для любой минимаксной процедуры, что видно
из сравнения с процедурой d(a?) = d0 или d(x)z=di с вероят-
ностями «1/(ло + <?1) и «о/(ао+а1) соответственно.
(II) Если 0О —общая для Qo и Qj граничная точка, то в
силу непрерывности функции риска для любой несмещенной
процедуры (0О) ==«ой1/(йо+й1)- Следовательно, sup /?б(0) =
= aofi/(^o+ai)-] .
И. Инвариантность и минимакс. Пусть проблема инвариант-
на относительно групп G, G и G* преобразований пространств
Q и D соответственно. Рандомизированная процедура Ух
называется инвариантной, если при всех х и g условное распре-
деление Ух при данном х совпадает с распределением £*-1 YgX.
42
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
(I) Рассмотрим решающую процедуру, инвариантную отно-
сительно конечной группы G = .., gjv}. Если минимаксные
процедуры существуют, то среди них найдется инвариантная.
(II) Как показывает нижеследующий пример, для бесконечных
групп это утверждение может не выполняться. Пусть простран-
ство параметров Q состоит из всех элементов 0 свободной груп-
пы с двумя образующими, т. е. формальных произведений
jq... (n = 0, 1, 2,...), где каждое щ совпадает с одним из
элементов а, а-1, &, 6-1 и где члены вида аа~х, а-1 а, ЬЬ"1 и
Ъ~ГЪ выбрасываются. Пустое произведение (лг = 0) обозначается е.
Выборочная точка X получается умножением 0 справа на один
из четырех элементов л, a”1, ft, выбираемых с вероятностью
х/4 каждый (и с сокращениями, если они возможны; например,
когда случайный множитель равен Лд1). Проблема оценки 0 при
функции потерь L(0, с/) = 0, при d—0 и L(0, d)~i в других
случаях, инвариантна относительно умножения X, 0 и d слева
на произвольную последовательность л_т.. .л_2 л^ (т = 0,1,...).
Инвариантная процедура, которая минимизирует максимум
риска, имеет функцию риска R (0, д) = 3/4. Существует, однако,
не инвариантная процедура с максимальным риском г/4.
[(I) Если Yx — минимаксная процедура (может быть рандо-
мизированная), то инвариантная минимаксная процедура Y'x
определяется соотношением
N
р (У; = d) = 3 Р (УgiX= g*i d)/N.
(II) Наилучшая процедура состоит в том, что за оценку 0
принимается или л 1.. .л^_4, если наблюдение дало Лр .. л^ (Л > 1),
или с вероятностью х/4 один из четырех элементов a, a”1, b, &-1,
если наблюдение дало е. Оценка будет правильной, за исключе-
нием случая, когда последний элемент X сократился, т. е.
будет правильной с вероятностью > 3/4.
К р азделу 7
12 (I). Пусть X имеет плотность вероятности р0(я), где 0
принимает одно из значений 01? ..., 0П, так что задача состоит
в выборе одного из п решений: <21 = 01, ..., dn — Qn с выигрышем
а (0$), если df—-0f, и 0 в других случаях. Если 0—случайная
величина, принимающая каждое из п значений с вероятностью
х/п, то байесовское решение (которое максимизирует средний
выигрыш) совпадает с оценкой максимального правдоподобия.
(II) Пусть X имеет плотность pQ (х) (О-<0<.1). Тогда
оценка максимального правдоподобия совпадает с модой (точкой
максимума) апостериорной плотности 0 при данном ж, где
априорное распределение 0 равномерно в интервале (0, 1).
13. (I) Пусть ..., Хп — выборка из N (g, о2). Рассмотрим
проблему выбора между решениями | < 0 и (0|: 1~ > 0. Обо-
10]
ЗАДАЧИ
43
2
значим # = 2 xiln & С — (а1/ао)П‘ Процедура максимального правдо-
подобия приводит к выбору do или di в соответствии с тем,
меньше или больше к будет выражение
У п X
Vs (Xi — x)^’
где к= —VС—1 при С>1 и k=V(1 — С)/С при С< 1.
(II) В задаче выбора между co0:cr<o0 и o)i:a>a0 проце-
дура максимального правдоподобия приводит к решению d$ или
d^ в зависимости от того, меньше или больше к будет
2(#f —#)2
где к — наименьший корень уравнения С# = ех-1 при С>1, и
наибольший корень уравнения #=Cex-1 при С<1 (С опреде-
ляется как в (I)).
К разделу 8
14. Допустимость несмещенных процедур. (I) Если в пред-
положениях задачи 10 среди несмещенных процедур имеется
процедура с равномерно наименьшим риском, то она допустима.
(II) Нижеследующий пример показывает, что в общем случае
процедура с равномерно наименьшим риском не обязана быть
допустимой. Пусть X имеет усеченное в нуле пуассоновское
распределение,^ е.Р^{Х—х}~^хе~^/[х\ (1 — е-0)] при # = 1,2,...
При функции потерь L (0, d) = (d — О)2 для у (0) — е~в сущест-
вует единственная несмещенная оценка, но она не является до-
пустимой.
[(II) Единственная несмещенная оценка 60(#) = (—1)*+1
доминируется оценкой di(#) = 0 при # четном и d4 (#) — 1 при #
нечетном.]
15. Допустимость инвариантных процедур. Если проблема
решения инвариантна относительно конечной группы и если
среди инвариантных процедур имеется процедура б0, равномерно
минимизирующая риск, то б0 допустима.
[Это вытекает из тождества Л(0, б) = 7?(#0, g*^"1) и заме-
чания к задаче 11 (I).]
16. (I) Пусть X принимает значения 0—1 и 0-]-1 с вероят-
ностью х/2 каждое. Проблема оценки 0 при функции потерь
L (0, d) = min (| 0— dj, 1) остается инвариантной при преобразо
ваниях gX=X-\-ct ^0 = 0-]-с, g*d= d-\-c. Оценки, принимающие
значения X—1 и Х+1 с вероятностями р и q (не зависящими
от X), равномерно минимизируют риск в классе всех инвариант-
ных оценок.
44
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
(II) Утверждение задачи 15 не обязано выполняться для
бесконечной G. Это можно установить сравнением наилучших
инвариантных оценок п. (I) с оценкой $£ (а?)=Х-|-1 при Х<0
и б1(ж)=Х— 1 при Х>0.
К разделу 9
17. Рассмотрим последовательность п независимых испыта-
ний с постоянной вероятностью р успеха и положим Xi равным
1 или 0 в зависимости от того, окончилось ли г-е испытание
п
успехом или нет. Тогда 2 является минимальной достаточ-
2=1
ной статистикой.
[Пусть Т=2-^г* Предположим, что V—f(T) достаточна
и что / (&i)= ... (кг) = и. Тогда P{T = t\U = u} зависит от р.]
18. (I) Пусть Х\, ..., Хп — выборка из равномерного распре-
деления Я (О, 0), 0<0<оо, и T = max (Хь ..., Хп). Доказать,
что Т достаточна, двумя способами: один раз, используя непо-
средственно определение достаточности, а другой—применяя
критерий факторизации и допуская существование статистик У$,
удовлетворяющих условиям (17)—(19).
(II) Пусть Х1? . ..,ХП—выборка из экспоненциального рас-
пределения с плотностью ае“а(х""Ь) при Ъ (0<а <оо,
—оо<Ь<оо). Применить критерий факторизации для доказа-
ть
тельства того, что статистика (min (Хр ..., Хп), 2 доста-
1=1
точна для а, Ь, допуская существование статистик Ур удовлетворяю-
щих (17)—(19).
19. Статистика Т, удовлетворяющая условиям (17)—(19), доста-
точна тогда и только .тогда, когда для нее выполняется (20).
И. Литературные ссылки
Некоторые из основных понятий статистической теории
были введены в первой четверти XIX в. Лапласом
в его фундаментальном труде «Theorie Analytique des
Probabilities» (1812) и Гауссом в его работах по мето-
ду наименьших квадратов. Функции риска и потерь
упоминались ими при обсуждении проблемы точечной
оценки, для которой Гауссом было введено понятие несме-
щенности. Детальное изложение этой работы и последо-
вавших за ней работ XIX в. дано в книге Чубера (1891).
В конце столетия работы К. Пирсона открыли период
интенсивного развития статистических методов. Две об-
И]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
45
ласти: оценка параметров и проверка гипотез, были осо-
бенно тщательно исследованы Р. А. Фишером,
Ю. Нейманом и другими. Работа Фишера отражена
в его книгах (1925, 1935) и в собрании его избранных статей
(1950). Многие из принципиальных идей Неймана собраны
в опубликованном цикле лекций (1938). Общее введение
в современные приемы оценки параметров и проверки
гипотез дается в книгах Уилкса (1944), Краме-
р а (1946), Кендалла (1946), Ван-дер-Вар-
д е н а (1957) и в более теоретической работе Шмет-
т е р е р а (1956).
Формальное объединение теорий оценки параметров
и проверки гипотез, охватывающее также и ряд других
проблем, было дано Вальдом. Ему принадлежит
единая исчерпывающая формулировка задач общей тео-
рии решающих процедур. Полное изложение этой теории,
близкой по своим идеям к созданной Дж. фон Нейманом
теории игр, имеется в книгах Вальда (1950). Часть статей
Вальда, посвященных как отдельным аспектам общей тео-
рии решений, так и другим разделам статистики, поме-
щена в отдельном томе (1958). Общая теория служит
предметом двух недавних книг: Блекуэлла и Г и р-
шика (1954) и Сэвиджа (1954).
Блекуэлл и Г ир ш и к | (В lackwell D. and G i r-
schick M.
(1954) Theory of Games and Statistical Decisions, New York,
John Wiley & Sons. (Есть русский перевод: Блекуэлл Д.
иГиршикМ. А., Теория игр и статистических решений,
ИЛ, 1958).
Браун (Brown George)
(1947) On small sample estimation, Ann. Math. Stat., vol.
18, pp. 582—585. [Определение медианной несмещенности.]
Вальд (Wald Abraham)
(1939) Contributions to the theory of statistical estimation and
testing hypotheses, Ann. Math. Stat., vol. 10, 299—326. [Общая фор-
мулировка статистических проблем, содержащая задачи оценки
параметров и задачу проверки гипотез в качестве специальных слу-
чаев. Обсуждение байесовских и минимаксных процедур.]
(1947) An essentially complete class of admissible decision fun-
ctions, Ann. Math. Stat., vol. 18, 549—555. [Определение и характе-
ристика полных классов решающих процедур для общих проблем
решения. Идеи этой и предшествующей работ были развиты позднее
в ряде работ, завершившихся книгой Вальда, упомянутой выше. ]
46
ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ
[гл. 1
(1950) Statistical Decision Functions, New York, John Wiley
& Sons.
(1958) Selected Papers in Statistics and Probability by Abraham
Wald, Stanford University Press.
В а н-д e p-B арден (vanderWaerden B. L.)
(1957) Mathematische Statistik, Berlin, Springer-Verlag.
[Есть русский перевод: Б. Л. В а н-д е р-В арден, Математиче-
ская статистика, ИЛ, I960.]
Вольфовиц (Wolfowitz I).
(1951) On 8-complete classes of decision functions, Ann. Math.
Stat., vol. 22, 461—465.
(1953) The method of maximum likelihood and the Wald theory
of decision functions, Indag. Math., vol. 15, 114—119.
Кендалл (Kendall M. G.)
(1946) The Advanced Theory of Statistics, vol. 2, London.
КолмогоровА. H.
(1942) Определение центра рассеивания и меры точности по ог-
раниченному числу наблюдений, ИАН СССР, серия матем., 6, 3—32.
[Определение достаточности в терминах распределений для пара-
метров.]
Крамер (Cramer Н.)
(1946) Mathematical Methods of Statistics, Princeton University
Press. (Есть русский перевод: Гаральд Крамер, Математиче-
ские методы статистики, ИЛ, 1948.)
Лаплас (Laplace Р. S.)
(1812) Theorie Analytique des Probabilites, Paris.
Л e м а н (L e h m a n n E. L.)
(1947) On families of admissible tests, Ann. Math. Stat., vol. 18,
97—104. [Вводится понятие полных классов в связи со специальны-
ми статистическими проблемами.]
(1950) Some principles of the theory of hypothesis testing, Ann.
Math. Stat., vol. 21, 1—26.
(1951) A general concept of unbiasedness, Ann. Math. Stat., vol. 22,
(587—597). [Определение (8); Задачи 2, 3, 4, 5, 6, 7 и 14.]
Ле К а м (L е Cam)
(1953) On some asymptotic properties of maximum likelihood
estimates and related Bayes estimates, Univ. Calif. Pubis. Statistics,
vol. 1, 277—329, Univ. Calif. Press, Berkeley and Los Angeles. [Стро-
гое и весьма общее изложение теории оценок наибольшего правдо-
подобия для случая выборок большого объема с обзором предшеству-
ющей литературы по этому вопросу.]
Нейман (Neyman J.)
(1935) Sur un teorema concernente le cosidette statistiche suf-
ficienti, Giorn. 1st. I tai. Att., vol. 6, 320—334. [Получена теорема
о факторизации в виде 20).]
(1938) L’estimation statistique traitee comme un probleme clas-
sique de probabilite, Actualites sci. et ind., No. 739, 25—57. [Выдви-
Hl
ЛИТЕРАТУРНЫЕ ССЫЛЕЙ
47
гается та точка зрения, что статистика в первую очередь интересует-
ся тем, каково должно быть поведение в условиях неопределенности,
а не определением неизвестных значений параметров, т. е. индук-
тивным поведением, а не индуктивными выводами.]
(1938) Lectures and Conferences on Mathematical Statistics and
Probability, Washington, Graduate School, U. S. Dept. Agriculture,
1st. ed., 1938; 2nd ed., 1952.
Нейман и Пирсон (Neyman J. and Pearson E. S.)
(1928). On the use and interpretation of certain test criteria for
purposes of statistical inference, Biometrika, vol. 20A, 175—240,
263—294. [Предложено использовать отношение правдоподобия для
получения рациональных критериев, даны применения ко многим
конкретным проблемам.]
(1933). On the testing of statistical hypotheses in relation to
probability a priori, Proc. Cambridge Phil. Soc., vol. 29, 492—510.
[В связи с задачей проверки гипотез предлагается «взвешивание»
различных возможных ошибочных решений и использование принци-
па минимакса.]
Пейсаков (Peisakoff М.)
(1951) Transformation of parameters, Princeton. Неопубликован-
ная диссертация. [Теория инвариантности Ханта—Стейна
распространена на более общие классы проблем решения; задача 11
(II). Далее теория была обобщена в работах: J. К i е f е г, Invariance,
minimax sequential estimation, and continuous time processes, Ann.
Math. Stat., vol. 28 (1957), 573—601, и H. Kudo, On minimax
invariant estimates of the transformations parameter, Nat. Sci. Rept.
Ochanomizu Univ., Tokyo, vol. 6 (1955), 31—73].
Питмен (Pitman E. I. G.)
(1939) Location and scale parameters, Biometrika, Vol. 30,
391-421.
(1939) Tests of hypoteses concerning location and scale parameters,
Biometrika, vol. 31, 200—215.
[В этих работах ограничение инвариантными процедурами вво-
дится в задачах оценки (или проверки гипотез) параметров сдвига
и масштабных параметров.]
Сэвидж (Savage L. I.)
(1954) The Foundations of Statistics, New York, John Wiley
& Sons.
Уилкс (W i 1 k s S. S.)
(1944) Mathematical Statistics, Princeton University Press.
Фишер (Fisher R. A.)
(1920) A mathematical examination of the methods of determining
the accuracy of an observation by the mean error and by the mean
square error, Monthly Notices Roy. Astron. Soc., vol. 80, 758—770.
(1921) On the mathematical foundation of theoretical statistics,
Phil. Trans. Roy. Soc., Ser. A, vol. 222, 309—368.
(1922) On the mathematical foundations of theoretical statistics,
Phil. Trans. Roy. Soc., London, Ser. A, vol. 222, 309—368. [Развита
48 ОБЩАЯ ПРОБЛЕМА РЕШЕНИЯ [гл. 1
теория точечных оценок на основе метода максимального правдо-
подобия.]
(1925) Theory of statistical estimation, Proc. Cambridge Phil.
Soc., vol. 22, 700—725.
[В этих статьях развита идея достаточности главным образом
в связи с теорией точечных оценок. Теорема факторизации дана фор-
мально в более слабой форме, но, по существу, эквивалентна (20).]
(1925) Statistical Methods for Research Workers, Edinburgh,
Oliver and Boyd, 1st ed., 1925; 11th ed., 1950.
(1935) The Design of Experiments, Edinburgh, Oliver and Boyd.
(1950) Contributions to Mathematical Statistics, New York,
John Wiley & Sons.
Хант иСтейн (Hunt G. and Stein C.)
(1946) Most stringent tests of statistical hypotheses. [В этой рабо-
те, оставшейся, к сожалению, неопубликованной, развита общая тео-
рия инвариантности для проверки гипотез.]
Ходжес и Леман (Hodges J. L., Jr. and Leh-
mann E. L.)
(1952) The use of previous experience in reaching statistical deci-
sions, Ann. Math. Stat., vol. 23, 396—407. [Теория ограниченных
байесовских решений.]
Хотеллинг (Hotelling Н.)
(1936) Relations between two sets of variates, Biometrika,
vol. 28, 321—377. [Одна из ранних работ, отчетливо использующих
соображения инвариантности.]
4y6ep(Czuber Е.)
(1891) Theorie der Beobachtungsfehler, Leipzig, В. G. Teubner.
Шметтерер (Schmetterer L.)
(1956) Einfuehrung in die mathematische Statistik, Wien, Sprin-
ger-Verlag.
Эджворт (Edgeworth F. Y.)
(1908—1909) On the probable errors of frequency constants,
I. Roy. Stat. Soc., vol. 71, 381—397, 499—512, 651—678; vol. 72,
81—90. [Следуя Лапласу и Гауссу, автор исследует оценки «методом
обратных вероятностей», т. е. в предположении равномерного апри-
орного распределения параметра. Поскольку оценки определяются
так, что они максимизируют моду апостериорного распределения,
то они являются оценками максимального правдоподобия.]
ГЛАВА 2
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
1. Вероятность и мера
Математическую основу теории статистических реше-
ний составляет теория вероятностей, которая, в свою
очередь, опирается на теорию меры и интегрирования.
Настоящий и следующий разделы имеют целью определить
некоторые важные понятия этих теорий, установить
обозначения и сформулировать без доказательства неко-
торые из основных результатов. В оставшейся части
главы более детально разбирается ряд специальных
вопросов.
Теория вероятностей имеет дело с ситуациями, допу-
скающими различные исходы. В абстрактной модели сово-
купность возможных исходов описывается множеством
точек некоторого пространства Поскольку изучаемые
события составляются из этих исходов, они представляют-
ся подмножествами Я?. Объединение двух множеств А19
42 будет обозначаться 4хи42, их пересечение — 4хр|42,
дополнение к 4 будет обозначаться 4 = SP — 4. Пустое
множество обозначим 0. Вероятность Р (4) события
4 — действительное число, лежащее между нулем и еди-
ницей; в частности,
Р(0) = 0 и Р(^) = 1. (1)
Вероятность обладает свойством счетной аддитивности
Р (UAt) = ^Р (4j), если 4fp|4; = 0 при z #=/. (2)
К сожалению, оказывается, что функции множеств,
с которыми мы будем встречаться, не могут быть, как
4 Э. Леман
5о
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. %
правило, разумным образом определены для всех под-
множеств %, если сохранить требование (2). Невозможно,
например, дать разумное определение «площади» для
всех подмножеств единичного квадрата на плоскости.
Множества, для которых вероятностная функция опре-
делена, будут называться «измеримыми». Область опре-
деления Р должна включать наряду с каждым множеством
А его дополнение и вместе с каждым счетным классом
событий — их объединение. По (1) она содержит также «2Л
Класс подмножеств, содержащий и замкнутый относи-
тельно операций перехода к дополнению и счетного объе-
динения, называется о-полем. Такой класс автоматиче-
ски замкнут относительно счетных пересечений.
Отправной точкой любых вероятностных исследований
являются, стало быть, пространство возможных исхо-
дов и о-поле & подмножеств &, представляющее события,
для которых будет определена вероятность. Такая пара
(^Г, &) называется измеримым пространством, а эле-
менты & — измеримыми множествами. Мерой называется
определенная на неотрицательная, счетно аддитивная
(не обязательно конечная) функция множеств ц, для
которой ц (0)=0. Если ее значение для Я? равно 1,
то она называется вероятностной мерой. Более общим
образом, если ц (^) < оо, то р, по определению, конечна;
если найдется последовательность множеств А2, . ..
из & (их можно взять попарно непересекающимися), для
которой (JA = и р (Л£) < со, i — 1, 2, . . . , то р,
по определению, о-конечна. В нижеследующих примерах
указаны важные специальные случаи.
Пример 1. Пусть ЗС — п-мерное евклидово пространство
и — наименьшее сг-поле, содержащее все «прямоугольники»
R = {[xt, ..., хп): г = 1, ..., п}*).
Элементы $ называются борелевскими множествами в 35. На
можно определить единственную меру р, значение которой для любо-
го прямоугольника R совпадает с его объемом
Ц(«) = П
_______________ 1=1
*) Если л (х) — утверждение, касающееся некоторых объектов
х, то {х : л (х)} обозначает множество всех тех х, для которых л (х)
верно.
1]
ВЕРОЯТНОСТЬ И МЕРА
51
Мера g может быть пополнена присоединением к всех подмно-
жеств меры нуль. Область определения р, расширяется, таким обра-
зом, до сг-поля , элементы которого называются измеримыми по
Лебегу множествами. Термин — мера Лебега, будет использован
для р как в случае, когда она рассматривается на борелевских мно-
жествах, так и в случае, когда она рассматривается на множествах,
измеримых по Лебегу.
В этом примере объем может быть заменен любой
неотрицательной функцией множеств v, которая опре-
делена и счетно аддитивна на классе всех прямоугольников
R. Как и прежде, существует единственная мера ц на
<#), которая совпадает с v для всех/?. Эта мера также
может быть пополнена; однако возникающее о-поле зави-
сит от р и не обязано совпадать с cr-полем , введенным
выше.
П р и м е р 2. Предположим, что счетно, и пусть М — класс
всех подмножеств SP. Для любого & положим р, (Л) равным числу
его элементов, если оно конечно; в противном случае положим меру
равной +оо. Эту меру иногда называют считающей мерой.
В приложениях вероятности на , <&) отражают обста-
новку случайного эксперимента или наблюдений, возмож-
ные исходы которых описываются точками х^%. Обо-
значим результаты этих наблюдений, которые могут быть,
например, действительными числами или векторами, бук-
вой X. Пусть вероятность того, что X попадает во множе-
ство А, равна Р {X £ А} = Р (Л). В таком контексте
вероятность Р (4) будет иногда обозначаться Рх (4),
а вероятностная мера Р — знаком Рх. Мы будем говорить
об X, как о случайной величине *) в пространстве (^’,<9^)
и о вероятностной мере Р или Рх — как о распределении
вероятностей X. Математически, таким образом, слу-
чайная величина есть не что иное, как «носитель» своего
распределения. Пусть л (х) — какое-либо утверждение
относительно точек х, и 4 — множество тех точек, для
которых л (х) истинно. Тогда вероятность Рх (4) мы
будем иногда записывать в виде Р {л (X)}.
*) Это определение отличается от даваемого в большинстве
учебников теории вероятностей, где случайная величина есть функ-
ция, отображающая первоначальное пространство в область зна-
чений , gb) и где, к тому же, предполагается действительной
прямой, a — классом борелевских множеств.
4*
52
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
Пусть X — действительная случайная величина с рас-
пределением вероятностей Рх, определенном на борелев-
ских множествах числовой прямой. Функция точки а,
определяемая для любого а равенством F (а) = Р {X < а},
называется функцией распределения X. Функция F не-
убывающая, непрерывная справа, и F (— со) = О,
^(+ со) = 1. Если F — любая функция с этими свой-
ствами, то равенство Р {а< X <6} = F (b) — F (а) опре-
деляет меру на интервалах. Как и в примере 1, эта мера
единственным образом продолжается до меры на борелев-
ских множествах. Таким образом, между распределениями
вероятностей и функциями распределения устанавлива-
ется взаимно однозначное соответствие. Это остается спра-
ведливым и для распределений в n-мерном евклидовом
пространстве, где функция распределения определяется
соотношением F (яь ..., ап) = Р {Xf < ..,, Xn < ап}.
По распределению X можно найти распределение любой
функции от X. Пусть Т — функция от результатов наблю-
дений, принимающая значения в некотором пространст-
ве Эта функция порождает в £Г о-поле , состоящее
из множеств В, полные прообразы которых
Л = 71-1(5) = {^ : х£Я\ Т(х)£В}
входят в <#. Значения, принимаемые Т (X), опять возни-
кают как исходы случайного эксперимента, так что
Т = Т (X) является случайной величиной в простран-
стве (У*, ^'). Так как Xg 7"1 (В) тогда и только тогда,
когда Т (X) g В, то распределение вероятностей Т в J?')
задается равенством
Рт (5) = Р {Т € 5} = Р {X 6 Т"1 (В)} = Рх (Т'1 (В)). (3)
Часто случается, что в У заранее задано о-поле его
подмножеств, такое,что вероятность события Bg долж-
на быть определена для тех и только тех В, которые g SS.
Отсюда с необходимостью вытекает, что T~r (B)g«# для
всех Отображение (функция, преобразование) Т
пространства («2Г,&) в*) называется в этом случае
*) Термин «в» употребляется для указания того, что область
значений Т функции Т лежит в Т, если Т то говорят,
что Т отображает Я? на ЗГ.
1]
ВЕРОЯТНОСТЬ И МЕРА
53
измеримым. Другим следствием является удобное порой
использование вероятностных утверждений только при-
менительно ко множествам, входящим в даже если
существуют В $ JF, для которых Т1 (В) g и вероятность
которых, следовательно, могла бы быть определена.
В приложениях «сырьем» для исследования служит
совокупность результатов наблюдений, это единственно
доступные данные. Результаты наблюдений представ-
ляются случайной величиной X, так что все другие слу-
чайные величины, которые могут встретиться, являются
функциями от X. Пространство (^Г, <&), то, в котором
задано X, называется выборочным пространством, а каж-
дое измеримое отображение Т пространства (JT, <#) в
(гГ, J?) — статистикой. Распределение Т определяется
для всех Bg с помощью (3). При таком подходе стати-
стика Т описывается заданием как функции Т, так и о-по-
ля 91?. Мы условимся считать, однако, что каждый раз
функция Т принимает значения в евклидовом простран-
стве, в качестве о-поля 9? измеримых множеств будет
выбираться класс борелевских множеств (если только
явно не сказано противное). При таком соглашении указы-
вать 99, в том числе и в обозначениях, нет никакой необ-
ходимости.
Различие между статистикой и случайной величиной,
как они введены выше, оказывается незначительным.
Термин «статистика» используется лишь с тем, чтобы
подчеркнуть, что эта величина является функцией «основ-
ных» результатов наблюдений. Все статистики в какой-
либо данной задаче представляют собой функции на выбо-
рочном пространстве , <#). С другой стороны, каждая
статистика есть случайная величина, так как она имеет
распределение в (У*, J?), и она будет именоваться слу-
чайной величиной в обстоятельствах, когда ее происхо-
ждение несущественно. Какой термин употреблять—зави-
сит, следовательно, от точки зрения и до известной сте-
пени произвольно *).
*) Данное выше определение статистики близко к обычному
определению случайной величины в теории вероятностей. Различие,
сделанное здесь, соответствует способу употребления терминов в ста-
тистической литературе.
54
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
2. Интегрирование
В соответствии с соглашением предыдущего раздела,
действительная функция /, определенная на («^, <#),
измерима, если для любого борелевского мно-
жества В на прямой. Такая функция называется простой,
если она принимает лишь конечное число значений.
Пусть р — мера в (^*, и / — простая функция, при-
нимающая различные значения аъ ..., ат на множест-
вах ..., Ат, принадлежащих & (так как / — изме-
рима). Если р < оо при Ф 0, то интеграл от / отно-
сительно р определяется равенством
(4)
Какова бы ни была неотрицательная измеримая
функция /, существует неубывающая последовательность
простых функций /п, сходящаяся к /. Тогда интеграл
от / определяется формулой
\ / dp = lim \ /п dp. (5)
V П->оо V
Можно показать, что это определение не зависит от
специального выбора последовательности /п. Для любой
измеримой функции ее положительная и отрицательная
части
/+ (х) = тах [/ (х), 0] и (х) = max [ — / (х), 0] (6)
также измеримы, и
/ (ж) = /+ (?) - / (*)•
Если интегралы от /+ и /- оба конечны, то / называет-
ся интегрируемой, и ее интеграл полагается равным
/ dp = /+ dp — /- dp.
Если же один из двух интегралов конечен, а другой
бесконечен, то интегралу от / приписывается соответ-
ствующее бесконечное значение.
Пример 3. Пусть —замкнутый интервал [а, 6], —
класс борелевских или измеримых по Лебегу множеств и р —
мера Лебега. Тогда интеграл от / по. р записывается как
2]
ИНТЕГРИРОВАНИЕ
55
b
/ (х) dx и называется интегралом Лебега от /. Этот интеграл
обобщает интеграл Римана в том смысле, что если последний
существует, то и первый существует и имеет то же самое зна-
чение.
Пример 4. Пусть ^ — счетное множество, состоящее из
точек х^ а?2, ...; —класс всех подмножеств и р, приписы-
вает точке xi меру Ьг. Тогда / интегрируема, если ряд
2 / (жг‘) bi сходится абсолютно, и интеграл J / dp, равен этой
сумме.
Пусть Рх — распределение вероятностей случайной
величины X и Т — действительная статистика. Если
Т (х) интегрируема, то ее математическое ожидание
определяется формулой
Е (Т) = J T(x)dPx(x). (7)
Как будет показано в лемме 2 раздела 3 (см. ниже),
интегрирование можно также проводить в /-пространстве
по отношению к распределению 7, даваемому (3), так что
Е (Т) = J tdPT(t).
(8)
Приведенному выше определению интеграла соответ-
ствует следующая основная теорема о сходимости.
Теорема 1. Пусть fn — последовательность изме-
римых функций и пусть fn(x)—>f(x) при всех х. Тогда
fn dp->\^f dp,
если выполнено одно из следующих условий:
(I) (Теорема Лебега о монотонной сходимости) /п —
неотрицательны и последовательность не убывает.
(II) (Теорема Лебега об ограниченной сходимости) —
существует интегрируемая функция g такая, что
l/nOOI<gOO при всех п и х.
Для любого множества обозначим Та его ин-
дикатор:
ТА(х) = 1 или 0, когда х£А или х$А, (9)
56
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
И ПОЛОЖИМ
fdp = \ /Л^р.
(Ю)
Если р — мера и / — неотрицательная измеримая функ-
ция на с#), то
vH)= \fdii (И)
А
также является мерой на (Ж, <#). Тот факт, что (И)
выполняется для всех выражается записью
dv = fd[i или /х=^-. (12)
Пусть р и V — две данные о-конечные меры на <#).
Если существует функция /, удовлетворяющая (12), то
она этим равенством определяется с точностью до мно-
жеств меры нуль, так как из равенства \ / rfp — \ gdp
А А
при всех A g & вытекает, что /-^gp-почти всюду*).
Такая / называется производной Радона —Никодима
меры v по мере р и, в частном случае, когда v есть
вероятностная мера, плотностью вероятности v по отно-
шению к р.
Вопрос существования функции /, удовлетворяющей
(12), решается в терминах, даваемых следующим опре-
делением. Мера v называется абсолютно непрерывной
по отношению к р, если
из р (Л) = 0 следует у(Л) — 0.
Теорема 2. (Радон —Никодим). Если р и v —
G-конечные меры на (Я?, &'), то измеримая функция f,
удовлетворяющая (12), существует в том и только том
случае, когда v абсолютно непрерывна по отношению к р.
Прямым (или декартовым) произведением АхВ двух
множеств А, В называется множество всех упорядочен-
*) Об утверждении, которое выполняется для всех точек х,
исключая, быть может, множество р меры 0, говорят, что оно
выполняется p-почти всюду (п. в.); или выполняется р) —
почти всюду, если желательно указать о-поле? на котором
р определена,
3]
СТАТИСТИКИ и подполя
57
пых пар у) с х£А, у^В. Пусть (^Г, Л) и (3/, ^) —
два измеримых пространства, и пусть & х & обозначает
наименьшее о-поле, содержащее все множества вида
Ах В, где А£ & и В g Если ц и v — две о-конечные
меры на (JT, Л) и (3/, J?) соответственно, то сущест-
вует единственная мера Z=|ixvHa (<#’хЗ/, #х^),
называемая произведением р и v, такая, что для любых
4 g#, 5g
Z(4x5)-|i(4)v(5). (13)
Пример 5. Пусть и У—евклидовы пространства
размерности т и п соответственно, и &— о-поля борелевских
множеств в этих пространствах. Тогда х У является (m-pz)-
мервым евклидовым пространством, a х &— классом его бо-
релевских множеств.
Пример 6. Пусть Z=(X, У) —случайная величина на
(^ГхЙ/,^Х^). Предположим, что случайные величины X и
У имеют распределения Рх и Ру на , М) и (3/, J£). Тогда
X и У называют независимыми, если распределение Pz величи-
ны Z является произведением Рх х PY.
В терминах этих понятий сведение двойного интегра-
ла к повторному дается следующей теоремой.
Теорема 3. (Фубини.') Пусть ц и v — о-конечные
меры на (Ж, #) и (У, соответственно, и пусть
Х = ц х V. Если / (х, у) интегрируема относительно X, то
(I) для почти всех (у) фиксированных у функция
/ (х, у) интегрируема относительно ц;
(II) функция f(x, y)dp>(x) интегрируема относи-
тельно v, и
J / (х, у) dh(x, у) = J [ J / (х, у) dp, (х) ] dv (у). (14)
3. Статистики и подполя
В соответствии с определением раздела 1, статисти-
ка есть измеримое отображение 7" выборочного простран-
ства (^Г, #) в измеримое пространство (JT, J?). Это
отображение индуцирует в первоначальном выборочном
58
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2 .
пространстве подполе *)
#о = у-l (^) = {Т-1 (В): В 6 (15)
Так как 7-1 [7(Л)] содержит Л, но не обязано с ним сов-
падать, то подполе «#о не обязано совпадать с и,
следовательно, может оказаться собственным подполем
С другой стороны, предположим на время, что У' = J1 (#*),
т. е. что Т является отображением на У (а не в ).
Тогда
Т[7’"1(В)]=В для всех В (16)
так что формула Ло = Т-1 (В) устанавливает взаимно
однозначное соответствие между классами #0 и Это
соответствие изоморфно, т. е. сохраняет теоретико-мно-
жественные операции пересечения, объединения и пере-
хода к дополнению. Поэтому для большинства целей
несущественно, оперировать ли с пространством (^/, «#0),
или с пространством (^, JF). Эти пространства порож-
дают два эквивалентных класса событий, два класса
измеримых функций, возможных решающих процедур
и т. п. Если Т является отображением в У, то указан-
ное взаимно однозначное соответствие применяется
к классу входящих в %? подмножеств = Т (3?)
(а не непосредственно к ^). Однако любое множество
В$$? эквивалентно В' = В{\,Т' в том смысле, что лю-
бая мера на (^Г, А) принимает на В' и В одинаковые
значения. Следовательно, рассматриваемые как классы
событий <#о и продолжают быть эквивалентными
с той лишь разницей, что содержит несколько (экви-
валентных) представлений одного и того же события.
Пусть, например, ^ — действительная прямая, & —
класс борелевских множеств и Т Пусть озна-
чает или положительную полупрямую, или всю прямую,
а — класс борелевских подмножеств . Тогда
является классом всех борелевских множеств, которые
симметричны по отношению к началу координат. Рас-
сматривая, скажем, действительные измеримые функции
и оперируя в jT-пространстве, мы ограничились бы
*) Мы будем употреблять этот термин вместо более длин-
ного «цод-сг-поле».
3]
СТАТИСТИКИ и подполя
59
измеримыми функциями от х2. Вместо этого мы могли
бы остаться в первоначальном пространстве, и ограни-
чение сводилось бы к обращению только с четными
измеримыми функциями х. Эквивалентность подходов
очевидна. Какое представление выбрать— это вопрос
удобства.
Нижеследующая лемма показывает, что соответствие
между множествами Ао = 71-1 (В) С «#0 и В g <%? продол-
жается в аналогичное соответствие между измеримыми
функциями на , <#о) и (JT, ^).
Лемма 1. Пусть статистика Т, отображающая
(Ж, &) в (У, ^), индуцирует подполе Тогда дей-
ствительная ^-измеримая функция / является ^-изме-
римой тогда и только тогда, когда существует такая
-измеримая функция g, что
f(x) = g[T(x)]
при всех х.
Доказательство. Предположим сначала, что
такая функция g существует. Тогда множество
{х : f (х) < г} == Т'1 ({t: g (t) < г})
лежит в #0 и / ^-измерима. Обратно, если f ^-изме-
рима, то множества
= i = 0, ± 1, ± 2, ...
при каждом фиксированном п попарно не пересекаются,
принадлежат «#0 и в сумме дают все <2Л Далее, суще-
ствуют Bin£& такие, что Ain = Т'1 (Bin). Пусть
Так как при i #= / Ain и Ajn не пересекаются, то мно-
жество Г"1 (Bin[~}Bjn), а вместе с ним и множество
Т"1 (Binf]B*n) пусто. Следовательно, при фиксирован-
ном п множества В*п попарно не пересекаются и удов-
летворяют соотношению Ain = Т~1 (В*п)- Полагая
fn(x) = ^~ для x£Ain, i = 0, ± 1, ± 2, ..
60
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
мы можем написать
fn (x)=gn [Т(а;)],
где
( -Ь- для t € В*п, i - О, ±1, ±2, ...
gn(t) = \ 2
I 0 в других случаях.
Так как функции gn ^-измеримы, то множество В, на
котором gn (t) сходятся к конечному пределу, входит
в Пусть /? = Т (JT) — область значений Т. Тогда для
ten
lim gn [Т (я)] = lim fn (я) = / (.т)
для всех х^^, так что R содержится в В. Следова-
тельно, функция g, равная limgn(£) для t£B и 0 в дру-
гих случаях, является искомой.
Соотношение между интегралами функций fug
дается следующей леммой.
Лемма 2. Пусть Т — измеримое отображение про-
странства (Ж, <#) в р — а-конечная мера на
(^, <^) и g — действительная измеримая функция от t.
Если у^ — мера, определенная на равенством
р* (5) = р [Г-1 (5)] для всех f, (17)
то для любого
£[Г(Ж)]^(Ж)= (18)
Т~1(В) в
в том смысле, что если один из этих интегралов сугце-
ствует, то существует и другой и их значения совпа-
дают.
Доказательство. Не ограничивая общности, до-
пустим, что В совпадает со всем пространством . Если
g является индикатором некоторого множества Во g
то утверждение леммы верно, так как правая и левая
части (18) приводятся к р [Г'1 (2?0)] и р* (50) соответст-
венно, а эти выражения равны, по определению р*.
Отсюда (18) переносится последовательно на все про-
стые функции, на все неотрицательные измеримые функ-
ции и, наконец, на все интегрируемые функции.
4]
УСЛОВНОЕ . МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
61
4. Условное математическое ожидание
и условная вероятность
Если две статистики индуцируют одно и то же под-
поле то они эквивалентны в том смысле, что они
приводят к эквивалентным классам измеримых событий.
Эта эквивалентность существенна в рассуждениях, касаю-
щихся условной вероятности. Так, если X распределено
нормально с нулевым средним значением, то статистики
| X |, X2, е~х2 и т. д. доставляют нам одну и ту же ин-
формацию. Из равенств |Х| = £, X2 = t2, e~X2 — e~t2 сле-
дует, что X — + t и любое разумное определение услов-
ной вероятности должно приписать каждому из этих
значений вероятность 1/2. В данное ниже общее опреде-
ление условной вероятности существенным образом вхо-
дит именно а не пространство «У значений стати-
стики Т. Однако если рассматривать только ^0, то
понятие проигрывает в наглядности, и разрыв между
элементарным и общим определениями без всякой необ-
ходимости увеличивается. По этой причине часто ока-
зывается более удобным иметь дело с конкретными
представлениями статистик, включающими определенный
выбор пространства значений (У, ^).
Пусть Р — распределение вероятностей на (.У, Л),
Г —статистика с пространством значений (У, X?) и —
порожденное ею подполе. Рассмотрим неотрицательную
функцию /, которая (^, Р) интегрируема, т. е. «^-изме-
рима и Р-интегрируема. Тогда определен для
А
всех и тем более для всех Л0£<#0- Из теоремы
Радона — Никодима (теорема 2) вытекает, что сущест-
вует функция /о? интегрируемая («5%, Р), Для которой
^fdP—^fQdP при всех Ло g «#q, (19)
Ao Aq
и что /о (<#0, ^-единственна. По лемме 1 /о зависит от х
только через Т (х). В примере со случайной величи-
ной X, распределенной нормально с нулевым средним,
и Т — X2 функция /о определяется тем, что (19) должно
62
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. Z
выполняться для всех множеств Ао, симметричных отно-
сительно начала координат, так что
/о (^)Ц~ [/(*) +У (-*)]•
Функция /о, участвующая в (19), определяется двумя
свойствами:
(I) Ее среднее значение по мере Р на любом множе-
стве Ао то же, что и у /.
(II) Она зависит от столько через Т (х) и, стало быть,
постоянна на множествах Dx, на которых постоянна Т.
Интуиция подсказывает способ построения такой
функции, /о(^) следует определить, как условное
/^-среднее на множестве Dx. Мы заменили бы тогда одно-
кратный процесс усреднения, т. е. интегрирования /,
представляемый левой частью, двукратным процессом
усреднения (повторным интегрированием). Эта конструк-
ция может быть осуществлена, когда X — дискретная
величина, или в регулярном случае, рассмотренном
в разделе 9 главы 1. В этих случаях /0(я) оказывается
условным математическим ожиданием / (X) при данном
Т (ж). В общем случае неясно, как можно определить
условное математическое ожидание непосредственно. Так
как оно, однако, должно обладать свойствами (I) и (II)
и так как /0 определяется (t#0, Р) однозначно (через (19)),
то мы принимаем в качестве общего определения услов-
ного математического ожидания E[f(X)\T(x)] функцию
fo(x) из равенства (19). Если /0 = g]T (#)Ь то можно
записать
E[f(x)\T = t\=g(t),
т. е. E[f(x)\t] является -измеримой функцией, опре-
деленной с точностью до (J?, Рт)-эквивалентности. Если
в указанном в лемме 2 соотношении между интегралами
принять ц = то р* = Рг, и мы видим, что функ-
ция g может быть выражена непосредственно через /
с помощью соотношения
/ (ж) dPx (ж) = g (0 dPT (0 для всех В € Я, (20)
Т-1(В) в
эквивалентного (19).
41 Условное математическое ожиДайиё 63
До сих пор функция / предполагалась неотрицатель-
ной. В общем случае условное математическое ожида-
ние / определяется как разность:
E[f(X)\t]=E[r (X)\t]—E[f~(X)\t],
Пример 7. Пусть . ..,ХП независимы и имеют одну
и ту же непрерывную функцию распределения. Положим
Т (хь ..., хп) — (х(1), ..,,
где я(1) < ... < х{п) обозначают xh, расположенные в порядке воз-
растания. Не ограничивая общности, мы можем рассматривать
только точки, где #(1) < ... <#(л), так как вероятность совпаде-
ния каких-либо координат равна нулю. Тогда % будет множе-
ством точек с попарно различными координатами, S'—множест-
вом точек со строго возрастающими координатами, Sb и S&—
классами борелевских подмножеств SS и S'. При обратном отоб-
ражении множество, состоящее из одной точки а — (аъ ..., ап),
переходит во множество из п\ точек (а^, ..., а^п), полу-
чающихся из а всевозможными перестановками координат. Отсю-
да следует, что SbQ является классом всех множеств, симметрич-
ных в том смысле, что если Ао содержит x=(xlf ..., хп), то оно
содержит и все точки (х^, ..., а?г-п).
Для любой интегрируемой функции / положим
/о(г)=7г2^'1.........
где суммирование производится по всем п\ перестановкам
(а?р ’..., хп). Тогда /0 будет J^-измеримой, так как она симметрична
относительно п своих аргументов. Итак,
/ (^1, • •»» хп) dP (^i) • • • &Р (хп) —
Ао
= f (»ix, • • •, xin) dP (»1) ... dP(xn),
Ao
так что /0 удовлетворяет (19), откуда следует,что /0 (х) представляет
собой условное математическое ожидание f (х) при данном Т (х).
Условное математическое ожидание / (X) при заданной ста-
тистике Т (х) может быть вычислено и без предположения, что
Xh независимы и одинаково распределены. Предположим, что X
имеет плотность h (х) по отношению к мере ц (такой как мера
Лебега), которая симметрична, т. е. которая при любом А £ Sb
и любой перестановке (ц, ..., in) приписывает всем множествам
{х • (^ip •.%in) € А} одну и ту же меру. Пусть
/о (ж1» • • •, хп) ~
•••> ......^п)
64 ВЕРОЯТНОСТНЫЕ ОСНОВЫ [гл. 2
причем суммирование в этой формуле (так же, как и в дальней-
ших) распространяется на все п\ перестановок (гь гп). Функ-
ция /0 симметрична по п своим аргументам и, следовательно,
— измерима. Каково бы ни было симметричное множество Ло,
интеграл
/о • • • > (^‘1» • • • ’ * * * ’
Ао
имеет одно и то же значение при любой перестановке (х- .. .,х- ),
jn
и потому
/оС»1. •••, xn)h(xi, хп)<1ц(х1, хп) —
С 1-1
~ \ /о • • •, жп) । • • • > xtn) • • • » хп) “
^0
, хп) Сч, • » хп) (х1> * • •» хп)*
Отсюда мы видим, что /0 (х) = Е [/ (X) | Т (х)].
Статистике Т (х) — (ха), ..., х{п)) (координаты которой назы-
ваются порядковыми статистиками) эквивалентна статистика
U (я)~(2 xt, 2 аф •••» 2а??)* Это немедленно вытекает из того
факта, что равенства Т (x^) = tQ и U (х®)~и® влекут равенство
T-i({ZO}) = CZ-i ({гг°}) = 6\
где V0} и {w°} обозначают множества, содержащие по одной точ-
ке (/° или н°), и где £ — множество точек х — (хл, ..., хп), полу-
чаемых из х^ — (х^, ..., х$ всевозможными перестановками коор-
динат. Очевидно, что Т~1 ({/°}) = 6’. Чтобы установить аналогич-
ное соотношение для U~\ введем
V («) = (3 xt< S xiXJ’ 3 xixjxk’ • • • > Ж1Ж2 • • • ^п).
г i<j i<j<k
так что компоненты V (х) являются элементарными симметриче-
скими функциями Pi== 2 xv> • • •» vn~xi ••• хп от п аргумен-
тов х^ ..., хп. Тогда
(x — Xi) ... (х — хп)~хп— vlx'n^^-v2x'n-2— ... +( — 1)гг^п-
Следовательно, из V(xQ) ~ р° = (i>J, ..., v%) вытекает, что У“1(^р0})=:
= 6’; в этом случае и С/-1 ({и°}) = 6’, как это видно из соотноше-
ний (так называемых тождеств Ньютона)*)
4- ( —1)^-1^_1н1 + ( —l)fe/cyft = o, 1<Л<п.
*) Доказательство этих соотношений см., например, в книге:
Dickson, New First Course in the Theory of Equations, New
York, John Wiley & Sons, 1939, глава X.
4]
УСЛОВНОЕ МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ 65
Как легко вывести из данного выше определения,
условное математическое ожидание обладает большин-
ством обычных свойств математических ожиданий. Из
неединственности этого определения следует, что эти
свойства выполняются только (^, Рт)-почти всюду.
Формулировки даны в следующей лемме.
Лемма 3. Если Т — некоторая статистика и функ-
ции f, g, ... Реинтегрируемы, то (№, РТ)-почти
всюду
(I) Е [af (X) + bg (X) \t]—aE [f (X) | + ЪЕ [g (X) |
(II) E[h{T)f{X)\t}^h{t)E[f{X)\t}-
(III) a < / (x) < b влечет a^E[f (X) 11] < b (&, Р)-почти
всюду-
(IV) |fn|<g, /п(я)—>/(я) влечет
E [fn (X) 11] —> E [f (X) 11] (&, Р)-почти всюду.
Другой полезный результат получается из (20) в слу-
чае, когда В равно всему пространству
Лемма 4. Если Е[/(Х)]<оо и g(t)=E (f (X)|i],
то
£/(X) = £g(T), (21)
т. е. математическое ожидание может быть вычислено,
как среднее значение условного математического ожи-
дания.
Так как Р {X £ А} = Е [ZA (X)], где 1А — индикатор
множества то условную вероятность А при данном
Т = t естественно определить равенством
Р(А \t) = E[IA(X)\t]. (22)
Принимая во внимание (20), мы можем записать урав-
нение, определяющее Р(Л[£), в виде
Рх (А П Т'1 (В)) = dPx (х) =
АЛТ-ЦВ)
= Р (411) dPT (t) для всех В 6 98. (23)
В
Из леммы 3 немедленно вытекает, что с соответствую-
щими оговорками, касающимися множеств нулевой меры,
для Р (Л 11) имеют место обычные для вероятностей
5 Э. Леман
66 ВЕРОЯТНОСТНЫЕ ОСНОВЫ [гл.
соотношения. Результаты сформулированы в следующей
лемме.
Лемма 5. Если Т — некоторая статистика с про-
странством значений и А, В, Alt Л2, ... — мно-
жества, принадлежащие &, то (№, РТ)-почти всюду:
(I) 0< Р (Л | 0 < 1;
(II) если множества Alf Л2, ... попарно не пересе-
каются, то Р (U^i |0 = S Р Иг I 05
(III) ЛсзВ влечет Р (Л | 0 < Р (В | 0.
В соответствии с определением (22), условная вероят-
ность Р (Л | 0 должна рассматриваться при каждом фик-
сированном А как ^-измеримая функция t. Мы видим
контраст между этим и элементарным определением;
в последнем t считают фиксированным и рассматривают
Р (Л | 0 при меняющемся Л как функцию множеств на <#.
Лемма 5 может привести к мысли, что интерпретация
Р (Л | 0 при фиксированном t, как распределения вероят-
ностей на сохранится и в общем случае. Однако равен-
ство Р (Л^ Л21 0 = Р (А± | 0 + Р (Л21 0, например, может
нарушаться на множестве нулевой меры, а это множе-
ство может меняться в зависимости от Лх и Л2. Объеди-
нение всех исключительных нулевых множеств *) не обя-
зано иметь меру нуль.
Для важного класса случаев эту трудность можно
преодолеть за счет неединственности выбора значений
функции Р(Л|0, которая при каждом фиксированном t
определяется с точностью до множеств нулевой меры по t.
Так как различные варианты выбора эквивалентны, то
достаточно найти такой специальный вариант для каж-
дого Л, чтобы при фиксированном t получить распреде-
ление вероятностей на «#. Эта возможность иллюстрирует-
ся примером 7, в. котором можно принять, что условное
распределение при данном Т (х) — t приписывает вероят-
ность —г каждой из п\ точек, для которых Т (х) = t.
п\
В более общей обстановке вопрос о существовании подоб-
ных условных распределений будет изучен в следующем
разделе.
♦ . ♦) Этот термин употребляется взамен более длинного выраже-
ния «множество меры нуль».
5] УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ 67
5. Условные распределения вероятностей *)
Мы исследуем теперь вопрос о существовании условного
распределения вероятностей при условии, выполняющемся
в большинстве статистических приложений, а именно,
что Ж — борелевское множество в евклидовом простран-
стве. Для краткости мы будем говорить, что — евкли-
дово и будем предполагать, если явно не оговорено
противное, что & — класс борелевских подмножеств Ж.
Теорема 4. Если SC — евклидово, то существует
вариант выбора Р(А 11) такой,1 что* при каждом t Р(А 11)
будет вероятностной мерой на
Доказательство. Полагая вероятность любого
борелевского множества, лежащего вне Ж, равной нулю,
мы можем распространить данную меру на класс всех
борелевских множеств и можем, следовательно, не огра-
ничивая общности, предположить, что Ж совпадает со
всем пространством. Для простоты мы рассмотрим только
одномерный случай. Выберем некоторый вариант вероят-
ностной функции и при каждом х положим F(x, t) =
= Р((—оо, я][ t). Пусть г1?г2, ... — рациональные числа,
занумерованные в каком-либо порядке. Тогда неравенство
т\< Гу влечет неравенство F(r., t)^F(r<, t) для всех t,
кроме входящих в некоторое нулевое множество М^.
Следовательно, F(x, t) при каждом t, не входящем в нуле-
вое множество N' = (JN^, возрастает на множестве рацио-
нальных значенийх. Аналогично, из леммы 5 вытекает, что
для всех t, не принадлежащих некоторому нулевому
множеству 7V", при п -> оо справедливы равенства:
limF^ + i, t) — F^, t) для i = 1, 2, ... ;
lim F (n, t) = 1 и lim F (— n, t) = 0. Поэтому для всех t,
не входящих в нулевое множество N'[jN'f, F(x, t),
рассматриваемая как функция х (х — рационально), надле-
жаще нормирована на бесконечности, монотонна и не-
прерывна справа. Обозначим для t, не входящих в
ЛГ'иДГ", F* (х, t), единственную непрерывную справа по
*) Этот раздел может быть опущен при первом чтении. Основ-
ное применение имеющихся здесь результатов — в доказательстве
леммы 8 (II) раздела 7, которая, в свою очередь, используется толь
ко в доказательстве теоремы 3 главы 4.
5*
68 ВЕРОЯТНОСТНЫЕ ОСНОВЫ [гл. 2
х функцию, которая совпадает с F (ж, t) для всех рацио-
нальных х. Тогда F* (х, t) будет функцией распределения
и потому определяет некоторую вероятностную меру
Р*(А 11) на Мы покажем теперь, что Р*(Л 11) яв-
ляется условной вероятностью А при данном £, для чего
установим, что при каждом фиксированном А эта функ-
ция ^-измерима по t и удовлетворяет (23). Последние
утверждения мы получим из равенства
Р* (А 11) = Р (А 11) (^, Рт)-почти всюду
при любом фиксированном А£&. По определению Р*
это равенство верно, если А имеет вид (— оо, я], где
х — рационально. Оно выполняется и для интервалов
(а, Ь] — (— со, Ь] — (— оо, а], концы которых рацио-
нальны, так как Р*— мера, а для Р верна лемма 5 (II).
Следовательно, доказываемое равенство выполняется для
всех элементов поля образованного конечными сум-
мами интервалов (ао с рациональными концами.
Класс множеств, для которых наше равенство выполняет-
ся, оказывается монотонным (см. задачу 1) и поэтому
содержит о-поле, порожденное т. е. Мера Р*(4 11)
на #, как она введена выше, определена для £, не входя-
щих в Но поскольку ни измеримость функции,
ни величина ее интеграла не зависят от значений на мно-
жестве меры нуль, то для 1£N'\JN" мы можем выбрать
произвольные вероятностные меры на <# и тем завершим
построение.
Пусть X — случайный вектор с распределением Рх
и Т — статистика, заданная на (^Г, &). Пусть Рх^ обо-
значает любой из вариантов семейства условных распре-
делений Р(А 11) на «#, существование которых утверж-
дается теоремой 4. Связь с понятием условного математи-
ческого ожидания указывается следующей теоремой.
Теорема 5. Если X — случайный вектор и
E\f(X)\< оо, то , РТ)-почти всюду
= (24)
Доказательство. Соотношение (24) выпол-
няется, если / — индикатор любого множества
Из леммы 3 следует, что оно верно для любой простой
функции и потому для любой интегрируемой функции.
5]
УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ
69
Вариант условного математического ожидания Е [/(Х)|£],
представляемый правой частью (24), обладает для каждого
t обычными свойствами математических ожиданий ((I),
(III) и (IV) в лемме 3). Ранее мы должны были исключать
множества нулевой меры, зависящие от рассматривавших-
ся функций /, g, ... При условиях теоремы 4 аналогичное
усиление допускает утверждение (II) леммы 3. Теперь
мы в состоянии показать, что оно выполняется, за
исключением, быть может, нулевого множества N,
не зависящего от h. Для наших целей достаточно про-
вести доказательство для случая, когда пространство
значений статистики также евклидово*).
Теорема 6. Если Т — статистика, у которой об-
ласть определения и пространство значений
—евклидовы, то найдется вариант PX[t условных
вероятностных распределений и нулевое множество N
такие, что условное математическое ожидание, вычис-
ленное по формуле
E[f(X)\t]=-^f(x)dPX[t(x)
для всех t$N, удовлетворяет соотношению
E[a(T)j(X)\t] = a{t)E[j{X)\t}. (25)
Доказательство. Для простоты допустим, что
Т — действительная функция (это по существу не огра-
ничивает общности). Для каждого t обозначим Рх^ (Л)
распределение вероятностей на <#, существование кото-
рого гарантируется теоремой 4. Для В £ индикатор
/в (0 ^-измерим и
J 1В (t) dPT (<) = рт (в' г\В)=рх (Г'В' п тв).
В'
Таким образом, в силу (20),
IB(t) = PX[t(T-1B) Рт-почти всюду.
*) Доказательство утверждения без этого ограничения см.
в теореме А раздела 26 книги: L о ё v е, Probability Theory, New
York, D. Van Nostrand Co. 1955. (Есть русский перевод: M. Ло-
эв. Теория вероятностей, ИЛ, 1962).
70
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
Обозначим Вп, 71 = 1, 2, интервалы в с рацио-
нальными концами. Тогда существует P-нулевое множе-
ство N — U^Vn такое, что для t$N
/Вп(0 = рХ1,(г-^п)
при всех тг. При фиксированном t$N две функции мно-
жества, Px^t(T'1B) и являются распределениями
вероятностей на второе из них приписывает множе-
ству вероятность 1 или 0 в зависимости от того, содер-
жит ли это множество точку t или нет. Так как значе-
ния этих функций совпадают на рациональных интерва-
лах Вп, то они совпадают при всех В£&. В частности,
для t$N множество, состоящее из единственной точки Z,
входит в и если обозначить
Aw = {x:T(x) = t},
то при всех t$N
PX|'(A(f)) = l. (26)
Таким образом, для t$N
J a[T(x)]f(x)dPX[t(x) =
= f a[T(x)]f (x) dPx" (x) =a(t)\f (x) dPX]t (x),
что и требовалось доказать.
Как следствие теоремы 6 получаем, что для t$N
Е [а (Т) | £] = а (£) и, в частности, Р (Т 6 В \t) равна 1 или 0
при t£ B или Ц5.
Условные распределения Рх^ отличаются от введен-
ных в элементарном случае (раздел 9 главы 1) тем,
что определены на (^Г, «#), а не на и cr-поле
его борелевских подмножеств. Однако (26) влечет при
всех
РХ1*(4) = РХ1%4П4(о).
Вычисления с условными вероятностями и математиче-
скими ожиданиями можно производить, следовательно,
заменив для t$N Px[t на распределение PXlt, которое
5]
УСЛОВНЫЕ РАСПРЕДЕЛЕННИЯ ВЕРОЯТНОСТЕЙ
71
определено на и приписывает каждому под-
множеству ту же вероятность, что и Рх^.
Теорема 6 устанавливает при t$N существование
условных распределений вероятностей Рх^, определен-
ных на ^Z)), для которых по лемме 4
. £’[/(*)]= J (27)
А(0
при любой интегрируемой функции f. Обратно, рас-
смотрим любое семейство распределений, удовлетворяю-
щих (27), и эксперимент, в котором сначала наблюдается
Т, а при Т = t — случайная величина с распределением
Рх\ Результатом этой двухстепенной процедуры будет
случайная точка в (^Г, «#), распределенная по тому же за-
кону, что и X. Таким образом, Рх^ удовлетворяет этому
«функциональному» определению условной вероятности.
Если (^, Я) является произведением хУ, & X $),
то будет произведением 2/ на множество, состоящее
из одной точки t. Для t$N условное распределение
Рх^ индуцирует распределение на (3/, $), которое по ана-
логии с элементарным случаем будет обозначаться PY^.
В этом случае определение можно распространить на все
принимая, например, что при PY^ приписывает
вероятность 1 некоторой выбранной нами точке yQ, При
таком определении из (27) выводим
Е/ (Т, У) = J [ J / (t, у) dPY" (у) ] dPT(t). (28)
> 3/
В качестве приложения мы докажем следующую
лемму, которая затем будет использована в разделе 7.
Лемма 6. Пусть и , $) — евклидовы про-
странства, и пусть PY’Y— некоторое распределение на
произведении (.Т, = Предположим, что
другое распределение Рх на , <#) таково, что
dPi (t, у) = а (у) Ъ (i) dP0 (*, У)
с а (у) >0 при всех у. Тогда при Рх частное распределение Т
72
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
и вариант условных распределений Y при данном t даются
формулами-.
[ J «(!/W (J) ] dP^t)
И
j a(y’) W)
У
Доказательство. Первое утверждение леммы сле-
дует из равенств
Л {Т е В} = Е. [1В (Г)] = Eq [1в (Г) а (У) b (Т)] =
= $ b(t)[ J a(y)dPV (y) ]dPT0 (0.
в з/
Чтобы проверить второе утверждение, достаточно пока-
зать, что для любой интегрируемой / математическое
ожидание E1f(Y, Т) удовлетворяет (28). Но это полу-
чается сразу. Заметим, что знаменатель у dpj[t положи-
телен, так как а (у) > 0 при всех у.
6. Характеристика достаточности
Мы можем теперь обобщить определение достаточности,
данное в разделе 9 главы 1. Если ^ = {Р0, 0gQ} —любое
семейство распределений, определенных на одном и том
же выборочном пространстве (<2Г, <#), то статистика Т
называется достаточной для cP (или для 0), если для каж-
дого А из & можно выбрать вариант условной вероятно-
стной функции Pq (Л | £), не зависящий от 0. В качестве
примера возьмем случай, когда Х1У ..., Хп независимы
и имеют общую функцию распределения Fq, 0 £ Q. Из при-
мера 7 следует, что совокупность Т (X) = (Ха>, ..., Х(п))
порядковых статистик достаточна для 0.
Теорема 7. Если 3?. — евклидово и статистика Т
достаточна для то найдется вариант условных рас-
пределений вероятностей .Ре(Л|£), не зависящий от 0,
и такой, что для каждого фиксированного t P(A\t) —
вероятностная мера на
6] ХАРАКТЕРИСТИКА ДОСТАТОЧНОСТИ 73
Доказательство. Справедливость утверждения
можно усмотреть из доказательства теоремы 4. По опре-
делению достаточности мы можем при каждом рациональ-
ном г выбрать функцию F (г, t) не зависящей от 0. Полу-
чаемое этим путем условное распределение также не будет
зависеть от 0.
В главе 1 понятие достаточности разъяснялось ука-
занием на то, что в некотором смысле достаточная ста-
тистика содержит всю доступную информацию. Теорема 7
показывает, что это замечание сохраняет силу в общем
случае евклидовых выборочных пространств. Исходя из
достаточной статистики Г, мы можем с помощью слу-
чайного механизма построить случайный вектор X',
имеющий то же самое распределение, что и первоначаль-
ный вектор X. Другое обобщение прежнего результата,
не связанное с ограничением евклидовыми выборочными
пространствами, дано в задаче И.
Критерий факторизации для достаточных статистик,
выведенный в главе 1, может быть распространен на
любое доминированное семейство распределений, т. е.
на любое семейство cP = {Ре, 0 g £2} распределений, обла-
дающих плотностями ре по отношению к a-конечной мере
на («2Г, «#). Доказательство этого утверждения основано
на существовании распределения вероятностей ^=2
(см. теорему 2 в дополнении), эквивалентного fp в"том
смысле, что для любого
Х(Л) = О тогда и только тогда,
когда Р0(Л) —0 при всех 0 g £2. (2&)
Теорема 8. Пусть еР = {Ре, 0 g £2} — доминированное
семейство распределений вероятностей на и пусть
X =.^jCiPe. удовлетворяет (29). Тогда статистика Т с
пространством значений , J?) достаточна для еР в
том и только том случае, когда существует неотрица-
тельная $-измеримая функция ge(t) такая, что
dPe(x) = ge[T(x)]dK(x) (30)
для всех 0 g £2.
Доказательство. Предположим, что^Т достаточ-
на для 0 и пусть ^о — подцоле, индуцированное Т.
74
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл 2.
Тогда для всех 0gQ, ЛбЛ и А$&
J Р {А |Г(ж)) ^е(х) = Ре(ЛПЛ0),
А()
и так как X=3ci^>ei, то
J Р (А | Т (ж)) dK (ж) = ЦАПЛ),
Ао
т. е. Р (А\Т (х)) является условной вероятностной функ-
цией также и для к. Пусть ge (Т (х)) обозначает произ-
водную Радона — Никодима dPQ(x)/dk(x) для («#0, X).
Для доказательства (30) необходимо установить, что
ge(T(x)) является также производной Ре для («#, X).
Последнее следует из приводимых ниже выкладок. В ка-
честве начального шага мы полагаем в первом из при-
веденных выше соотношений Ло равным
Ре (А) = J Р (Л | Т (ж)) dP. (ж) = Ек[1а (ж) | Т (ж)] dP6(x) =
= $ Ек [1А (ж) | Т (ж)] ge (Т (ж)) а (ж) =
= j Ек [g0 (Г (ж)) 1А (ж) | Т (ж)] d'K (ж) =
= j ge (Т (ж)) 1А (ж) dK (ж) = J g0 (Т (ж)) dK (ж).
А
Здесь второе равенство использует установленное в самом
начале доказательства утверждение о том, что Р (Л | Т (х))—
условное распределение для X; третье равенство выпол-
няется, так как подынтегральная функция <#0-измерима
и dPe — ged^ для («#о, X); четвертое равенство — прило-
жение леммы 3 (II); пятое использует определение услов-
ных математических ожиданий.
Предположим теперь обратное, т. е. что (30) имеет
место. Мы докажем, что условная вероятностная функ-
ция Рк (Л 11) является в то же время условной вероят-
ностной функцией для всех Р Е cP. Пусть ge (Т (х)) —
= dPe (х) / dk (х) на «#. Для фиксированных А и 0 введем
меру v на «#, определив ее равенством dv~IAdPe- Тогда
на &е dv (x)/dPQ (х) = [/А (X) | Т (я)] и поэтому
dv (x)/dk (х) = Ре [А | Т (я)] gQ (Т (х)) на <^Q.
ЭКСПОНЕНЦИАЛЬНЫЕ СЕМЕЙСТВА
75
Т]
С другой стороны, dv (x)/dK (х) = IA (я) ge (Т (я)) на «#,
щ следовательно,
= Еь[1а (X) ge (Т (X)) IТ (х)] =
= Рк [А [ Т (ж)] ge (Т (х)) на <#0.
Поэтому (#0, Х)-почти всюду (а стало быть, и (<#0> ^-по-
чти всюду) PK(A\T(x))ge(T(x)) = Pe(A\T(x))ge(T(x)).
Так как (<#0, Р0)-почти всюду g0 (Г (х))^0, то это ра-
венство показывает, что PQ (А | Т (х)) — Рк (Л | Т (х))
(<#о, Ре)-почти всюду, т. е. что Рк (Л | Т (х)) является вари-
антом Pq(A\T (х)).
Вместо вышеприведенной формулировки, в которой
явно участвует распределение X, иногда бывает удобна
другая, данная непосредственно в терминах доминиру-
ющей меры р.
Следствие 1. (Теорема факторизации.) Пусть рас-
пределения PQ семейства cP имеют плотности р0 =
== dP^/dp, по отношению к о-конечной мере р. Стати-
стика Т достаточна для еР тогда и только тогда, когда
существуют неотрицательная &-измеримая функция go
на & и неотрицательная ^-измеримая функция h на &
такие, что
Ре (х) == ge 17 (#)] h (х) (&, р)-почти всюду. (31)
Доказательство. Пусть 2 с7е. удовлетворя-
ет (29). Тогда, если Т достаточна, то (31) следует из
(30) с h^dk/dp. Обратно, если выполняется (31), то
dX (х) = 2 ci get [Т (ж)] h (х) dp. (х) = k[T (х)] h (х) dp (х)
и потому dP0(x) = g0(T(x))d%(x), где g0 (t) = gQ (t)/k (t)
при к (t) > 0 и может быть определено произвольным
образом при к (t) = 0.
7. Экспоненциальные семейства
Важным примером семейств распределений, допуска-
ющих редукцию с помощью достаточных статистик, яв-
ляются экспоненциальные семейства, плотность которых по
отношению к некоторой о-конечной мере р на евклидовом
76
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл, 2
выборочном пространстве .#) имеет вид
k
Ре (ж) = С (0) exp [ S Q} (0) Т} (Ж)] h (ж). (32)
Распределение выборки Х = (Х1у ..., Хп), взятой из би-
номиальной, пуассоновской или нормальной совокупности,
относится к этому классу. В биномиальном случае,
например, плотность по отношению к мере, которая для
каждого целого числа равна единице, имеет вид
(”) Px(l-Z>)n'x = (l-P)neXp [slog (f^)] (") •
Пример 8. Если величины ..., Yn независимы и каж-
дая из них имеет плотность (по отношению к мере Лебега),
равную
, у>0, (33)
(2а!)2 Г (//2)
то совместное распределение Уд образует экспоненциальное
семейство. При 0 = 1(33) является плотностью ^-распределения
с / степенями свободы; в частности, при целом / последняя
f
плотность совпадает с плотностью суммы 2 » где образу-
з=1
ют выборку из нормального распределения N (О, 1).
Пример 9. Рассмотрим п независимых испытаний, каждое
из которых с вероятностями pi, ..., р8 заканчивается одним из
исходов Еь ..., Es. Пусть Хц равно 1, если г-е испытание
закончилось Ej- м исходом и равно 0 в других случаях. Тогда сов-
местное распределение имеет вид
Р{Хи = Ж11, .... Xns = tfns} = ^*»pf“*2...ps2\
где каждое хц равно 0 или 1 и ^Xij~ 1. Это семейство снова
з
п
экспоненциальное с Tj(x) = (/=1, ..., 5 —1). Статистики
г=1
Tj имеют совместное полиномиальное распределение
р {л, ps_t=x
x pip ... P^jlU — Pl— (34)
7]
ЭКСПОНЕНЦИАЛЬНЫЕ СЕМЕЙСТВА
77
Если Х19 ..Хп —выборка из распределения с плот-
ностью (32), то совместное распределение (i = l, ...
..., п) образует экспоненциальное семейство с достаточ-
п
ними статистиками (/ = 1, к). Таким об-
1=1
разом, сколь бы велик ни был объем выборки, для
(Xi, ..., Хп) существует fc-мерная достаточная стати-
стика. Обратно, пусть Х1? ..., Хп является выборкой
из распределения с некоторой плотностью Pq(x) и пусть
множество, на котором эта плотность положительна,
не зависит от 0. Тогда при условиях регулярности, по-
зволяющих осмысленно применить понятие размерности,
можно и из существования fc-мерной достаточной стати-
стики с к < п вывести, что плотности Pq(x) образуют
экспоненциальное семейство*).
Используя более естественную параметризацию и вклю-
чая множитель h (х) в р, мы придадим экспоненциаль-
ному семейству форму dP0 (я) =* р0 (я) dp(x), где
h
pQ (х) = С (0) ехр [20^ (Ж)]. (35)
i=i
Правая часть (35), если ее интеграл конечен, может
быть надлежащим выбором С (0) превращена в плотность
вероятности. Множество й параметрических точек 0 =
= (01, ..., 0д), для которых это имеет место, называется
естественным параметрическим пространством экспо-
ненциального семейства (35).
Оптимальные критерии для проверки различных гипо-
тез, касающихся 0j, находятся в главе 4. Мы устано-
вим сейчас некоторые свойства экспоненциальных семейств,
необходимые для этой цели.
Лемма 7. Естественное параметрическое простран-
ство экспоненциального семейства выпукло.
*) Доказательство и формулировку условий регулярности см.
в работе: К оopm an, On distributions admitting a sufficient sta-
tistic, Trans. Am. Math. Soc., vol. 39 (1936), 399—409. Результат
обсуждается также у Darmois, Sur les lois de probabilite a esti-
mation exhaustive, Compt. Rend. Acad. Sci., Paris, vol. 260 (1935),
1265 — 1266, и у Pitman, Sufficient Statistics and intrinsic accu-
racy, Proc. Cambridge Phil. Soc. vol. 32 (1936). 567—579.
78
ВЕРОЯТНОСТНЫЙ ОСНОВЫ
[гл 2
Доказательство. Пусть (0j.....0*) и (0^, ...
...» 0ь) — две параметрические точки, для которых
интеграл от (35) конечен. Тогда по равенству Гельдера
для любого 0 < а < 1
5 ехР [ 2 1а0^ + (! - а) 1 Ti (ж) ] (ж) <
< [ S “Р [2 0< ТДх) ] d|x(«)]“ x
x[J exp £ 2 j (x) J (^) J < 00 •
Если выпуклое множество Q лежит в линейном про-
странстве размерности меньшей к, то (35) может быть
переписано в форме, включающей менее к компонент Т.
Поэтому мы, не ограничивая общности/ предположим
Q А-мериым.
Из теоремы о факторизации вытекает, что статистика
7’ (х) = (7\ (ж), ..., Tk (я)) достаточна для Ф = {Ре, 0 С Q}.
Лемма 8. Пусть X имеет распределение из экспо-
ненциального семейства
г 8
<1Ре,^(х) = С(9, ^)ехр [S S О/М*)] (х)-
i=l ;=1
Тогда существуют меры ке и вероятностные меры Vf на
s- и r-мерном евклидовом пространствах соответственно,
такие, что
(I) распределение Т = (7\, ..., Ts) принадлежит экс-
поненциальному семейству
dPl,o (0 = С (0, Ф) exp [ S a/,] die (i), (36)
j=l
(П) условное распределение U = (CZi, ..., Ur) при дан-
ном Т ~t принадлежит экспоненциальному семейству
вида
dP^T (и) = (Q) ехР [2 (и), (37)
г=1
т. е. в частности не зависит от
7] ЭКСПОНЕНЦИАЛЬНЫЕ семейства 79
Доказательство. Пусть (0°, О0) — точка естест-
венного параметрического пространства и р* = #0.
Тогда
Г
dpl о (*)=ех₽ [ 2 (0» - 0n и* (*)+
’ i=i
8
+2(^-
i=l
и результат следует из леммы 6 с
dX0(f) = exp ( У, ЭДр ^ехр [2 (0<“0’)и< ] X
X ЙРео1, фо (и) J dPgo, 00 (0
и
dvt (u) = dP^(u).
Теорема 9. Пусть <р — ограниченная измеримая
функция на &). Тогда
(I) интеграл
k
J ф (ж) ехр [ 2 QJTi (ж) ] (х) > (38)
;=1
рассматриваемый как функция комплексных переменных
Qj = %. 4- if]j (/ = 1, ..., к), является аналитической по
каждой из этих переменных в области R параметри-
ческих точек, для которых (gb ..., gA) является внут-
ренней точкой естественного параметрического простран-
ства £2;
(И) производные любого порядка от интеграла (38) по
0 могут вычисляться дифференцированием под знаком
интеграла.
Доказательство. Если |ср|<М, то
I ф(*) ехр [2 ОД’./ОО] I < М ехр [2 l3Tj (ж)],
так что интеграл (38) существует и конечен для всех
точек (£i, £й) из Q. Пусть (£J, g®) — некоторая
80
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
фиксированная внутренняя точка Q. Рассмотрим
одну из величин, например 0Х. Выделяя в множителе
ср (х) exp [(g° + irf2) Tz(x)+ ...+ (Ц + щк) Tk (я)] его дей-
ствительную и мнимую части и разлагая каждую из по-
следних на положительную и отрицательную части, вклю-
чая затем надлежащие множители в меру р, мы пред-
ставим интеграл (38) в виде
exp [Oi?11 (ж)] dpx (х) — exp [0iTi (х)] dp2 (я) +
+ i exp [0i7\ (я)] dp3 (х) — i j exp [9i7\ (#)] dp4 (x).
Достаточно доказать требуемый результат для интегралов
вида
ф (0Х) = ехр [0174 (ж)] dp, (х).
Так как (£J, ..., — внутренняя точка Q, то существует
такое 6 >0, что ф(01) конечна для всех 0i с |£i —
Рассмотрим разностное отношение
<Ф(О1)-Ф(О5)__ С explOtTi^)] — ехр [0$Т4 (а?)] , , .
J 01 - 0j° И w ’
Подынтегральное выражение может быть записано в виде
ехр [0J71 (ж)] .
Применяя ко второму множителю неравенство
pxp(gg)-l. ехр(бИ) дри |г|<б>
мы видим, что подынтегральное выражение по абсолютной
величине не превосходит
11 exp (0JT1+ б| Л |)| < 11 ехр [(0’+6) Л]+ехр [(0J-6) Л] |,
если |0i — 0J|<6. Так как правая часть интегрируема,
то из теоремы Лебега об ограниченной сходимости (тео-
рема 1 (II)) вытекает, что для любой последовательности
точек О™, сходящейся к 0“, разностное отношение ф
стремится к
Ti (х) ехр [0i7\ (х)] dji (х).
8]
ЗАДАЧИ
81
Этим завершается доказательство (I) и доказывается (II)
для случая первой производной. Доказательство для
высших производных проводится по индукции и вполне
аналогично тому, что сделано выше.
8. Задачи
К разделу 1
1. Монотонные классы. Класс & подмножеств данного прост-
ранства называется полем, если он содержит все пространство,
замкнут относительно дополнений и конечных пересечений.
Класс М называется монотонным, если объединение (пересече-
ние) любой возрастающей (убывающей) последовательности мно-
жеств из М снова входит в М. Наименьший монотонный класс
содержащий данное_поле Sr, совпадает с наименьшим
о-полем содержащим S.
[Сначала докажите, что о<0 —поле. Чтобы показать, напри-
мер, что АПкогда А и В принадлежат о<0, рассмотрим
для фиксированного А £ S' класс всех В £ для которых
A(}B^Mq. Тогда монотонный класс, содержащий 3% и по-
тому <2^а=^о- Таким образом, А(}В при всех В. Эти рас-
суждения могут быть теперь повторены с произвольным фиксиро-
ванным В £ и классом М-в тех множеств А £ для которых
Так как -п°ле и к тому же монотонно, то оно
является сг-полем, содержащим S', а следовательно, и «Ж Но
любое о-поле является монотонным классом, так что содер-
жится в
К разделу 2
2. Производные Радона — Никодима. (I) Если X и р о-конечные
меры на (^f, SP) и р абсолютно непрерывна по отношению
к X, то
р*=?-згл
для любой р-интегрируемой функции /.
(II) Если 1, р и v — o’-конечные меры на (^f, SP) такие, что
v абсолютно непрерывна по р, а р—по X, то
dv r dv dp .
%-ПОЧТИ ВСЮДУ .
(III ) Если р и V —о-конечные меры которые эквивалентны
в том смысле, что каждая абсолютно непрерывна по другой, то
dv / dp
Н, v-почти всюду.
6 Э. Леман
82
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
(IV ) Если Л=1, 2, ..., и jx — a-конечные меры на (.2Л
оо
такие, что р,А (Л) = р, (Л) при всех A £ и если |1д абсолютно
kz=l
непрерывны по отношению к о-конечной мере X, то и р абсолютно
непрерывна по X и
d 2 ИА « d Уцд
А=1 х? dHA i;„ А=1 rfp.
—2j Т ’ —dX—=IX’ х’почти всюду-
fe=l
[(I) Рассматриваемое соотношение выполняется в случае, когда
/ — индикатор некоторого множества. Отсюда переходим к про-
стым / и затем к интегрируемым.
(II) Применить (I) с / = dv/dp,.]
КразделуЗ
3. Пусть (^Г, М) — измеримое пространство и —сг-поле,
содержащееся в «Ж Для любой функции Т определим о-поле &
как совокупность тех множеств В, для которых Г1 (В) £
Может не существовать функция Г такая, что Т'1 (J8) = J£o.
[Примером может служить любое содержащее все одно-
точечные множества ]
К разделу 4
4. (I) Пусть ^—семейство распределений X=(Xi, ..., Хп)
таких, что
P{(Xi, Xi+i, ...,ХЛ,Х1} ...,Х^)£А}=Р{(Х,, ...,ХП)€Л}
для всех борелевских множеств А и всех £ — 1, ..., п. Для любой
выборочной точки (а?!, ..., хп) определим (у^ ..., уп) = (х^ а?ж, ...
«р ..., хг_J, где ^ = х(1)=тт(xv . ..,яп). Тогда услов-
ное математическое ожидание f (х) при данном У=у равно
1
/о(«/1> •••, Уп)=—[/(У1, •••, Уп) + /(У2, •••> Уп, У1)+-,.
•••+/(Уп, •••, Уп-1)1-
(II) Пусть £ = {#!, ..., gr}—некоторая группа перестановок
координат ..., хп точек х м-мерного пространства. Обозначим
gx точку, получающуюся применением g к координатам х.
Пусть Р — некоторое семейство распределений Р вектора X —
= (ЛГ1, ...» -Уд). Допустим, что для Р имеет место
Р \gX € А} = Р {X £ А} для всех g£G. (39)
Для любой точки х выберем какую-либо одну из к точек
Л = 1, ..., г (например, точку с наименьшей первой координатой,
ЗАДАЧИ
83
у
если она этим требованием определяется однозначно, или,
в противном случае, точку с наименьшей второй координатой
и т. д.). Полученную функцию обозначим T(x) = t. Тогда
£[/(Х)|/]=^2
fe=l
(III) Допустим, что в (II) распределение Р не удовлетворяет
условию инвариантности (39), а определяется формулой
dP (х) — h (х) dp, (а?),
где р, инвариантна в том смысле, что р,{х: gx £ Л} = р,(Л), Тогда
Е If (X) 11] =- .
У a (gkt)
fe=i
К разделу 5
5. Докажите теорему 4 для случая n-мерного выборочного
пространства.
[Условие возрастания функции распределения заменяется
на Р < Xi О[, < Хп 0. Условие непрерывно-
сти справа принимает вид
6. Пусть = 2Г и Ро, А—Два распределения, для
которых
^Р0(у, ^) = /(2/)^(0^(?/)^(0,
dPHy, *) = Д(у, t) dp, (у) dv (О,
где h (у, t)/f (у) g (t)< со, Тогда при Р4 плотность У по отно-
шению к р, равна
[PY(y)=Jft(y, t)dv(t) = f(y) J ^g^-g(t)dv(O.]
6*
84
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
К разделу 6
7. Симметричные распределения, (I) Пусть £Р—некоторое
семейство распределений Х = (Т1, Лд), симметричных в том
смысле, что
....Х{„)€Я} = Р{(Х1, .... Хп)£А}
для всех борелевских множеств А и всех перестановок (г\, ..in)
чисел (1, п). Тогда статистика Т примера 7 достаточна
для и формула для условного математического ожидания
Е [/ (X) | Т (ж)], данная в первой части примера, остается спра-
ведливой.
(II) Статистика Y задачи 4 достаточна.
(III) Пусть Xif ..., Хп независимы и имеют одно и то же
непрерывное распределение Р Предположим, что распреде-
ления класса & симметричны по отношению к началу координат.
Пусть = и — Тогда статистика (РГр ..., Wn)
достаточна для ^*).
8. Достаточность отношений правдоподобия. Пусть Ро, Pi—
два распределения с плотностями р0, Тогда статистика
Т (x)=zpi (х)/р0 (х) достаточна для гР={Р0,
[Это следует из критерия факторизации и равенств
Pt = T-Po< Ро = 1-Ро-1
9. Попарная достаточность. Статистика Т называется по-
парно достаточной для семейства Л если она достаточна для
каждой пары распределений из
(I) Если «Р счетно и Т—попарно достаточна для то Т
достаточна для
(II) Если Ф— доминированное семейство и Т попарно доста-
точна для то Т достаточна для ^Р.
[(I) Пусть ^>={Р0, Рр ...} и ^—достаточное подполе,
индуцированное Т. Пусть CfPf (с$ > 0) эквивалентно £Р.
При каждом /=1, 2, ... вероятностная мера Ху, пропорциональ-
ная (с0/и) Р0+суРу, эквивалентна {Ро, Ру}. В силу попарной
достаточности, производная /у=^Р0/[(с0/п) dP0-f-cy dPy] является
п
^о'измеРимой- Пусть Sj — {x : /у (я)—0} и 8 = U Тогда*?
j=l
п п
PQ(8)=0 и на &— 8 производная dP0/ d^^ cjPj равна — ,
7=1 7=1
♦) Обозначения заимствованы из примера 7.—Прим, перев
8]
ЗАДАЧИ
85
т. е. Л0-измеримой функции. Из задачи 2 вытекает, что тогда и
d 2 cjPj
dPQ __ dPo j—i
dK . n dK
d 2 <=jPj
j=i .
^-измерима.
oo
(II) Пусть K~ 2 cj^0. эквивалентно ^°. Из попарной доста-
j=i 7
точности T следует, что при любом 0О dP^KdP^ -{-dK) и dPQJdK
являются измеримыми функциями от Т.]
10. Если статистика Т достаточна для то, какова бы ни
была (J£, Pq) — интегрируемая при всех 0 £ Q функция /, найдется
вариант условной функции Eq [/ (X) | <], не зависящий от 0.
[Если ср— евклидово, то утверждение следует из теорем 5
и 7. В общем случае, если / неотрицательна, то существует
неубывающая последовательность неотрицательных простых функ-
ций /п, сходящаяся к /. По лемме 3 (II) условное математиче-
ское ожидание простой функции может быть выбрано не завися-
щим от 0. Теперь желаемый результат вытекает из леммы 3 (IV).]
11. В проблеме решения с конечным числом возможных
решений класс процедур, зависящих только от достаточной
статистики Г, является существенно полным*).
[Для евклидовых выборочных пространств это следует из
теоремы 4 без каких бы то ни было ограничений на пространство
решений. Для рассматриваемого случая обозначим решающую
процедуру б (a?) = (6(1) (х), ..., (я)), где (х)—вероятность,
с которой принимают решение d^ если наблюдают х. Если Т
достаточна и (t) — E [б(Ъ (X) р], то процедуры бит) имеют
одну и ту же функцию риска.]
К разделу 7
12. Пусть Xi (i = 1, ..., s) независимы и распределены по закону
Пуассона Р(Хг). Пусть 7^—^<Xj, Тг — Х^ Х = 2 Тогда То
имеет распределение Пуассона Р (К), и условное распределение
Т1? ...» при T0 = Z0 является полиномиальным распределе-
нием (34) с n — tQ и pi — Ki/K, [Используйте прямой подсчет.]
13. Испытания на продолжительность жизни. Пусть
Хь ..., Хп независимы и имеют распределение с показательной
*) О более общем результате см. Bahadur, A characteriza-
tion of sufficiency, Ann. Math. Stat., vol. 26 (1955), 286—293,
и Elfving, Sufficiency and completeness, Ann. Acad. Sci. Fennicae,
Ser. A, No. 135, 1952.
86
ВЕРОЯТНОСТНЫЕ ОСНОВЫ
[гл. 2
плотностью (20)-1 е"“ж/20 при я > 0. Обозначим Y{ < У2 < • • •
...<УП Jjp расположенные в порядке возрастания. Допустим,
что в процессе наблюдений мы обнаруживаем сначала Уь затем У2
и т. д. до Уг. Подобный процесс может встретиться при испы-
таниях на продолжительность жизни: каждая из величин X
может означать продолжительность «жизни» электронной лампы,
когда одновременно испытывается п ламп. Другой пример:
радиоактивный распад вещества, где п—число атомов, а наблю-
дения продолжаются до появления r-й а-частицы.
(I) Совместные распределения У1? ..., Уг образуют экспонен-
циальное семейство с плотностью
1 п\
(207 • (п—Г)! ехр
г
2 Vi+(n— г) ут
г=1
0 < 3/1 < ••• Ут-,
Г
(II) Величина [ 2 ^г + (п~ г) Уг]/^ имеет %2-распределение
г=1
с 2г степенями свободы.
(III) Пусть Ух, У2, ... обозначают промежутки времени до
наступления первого, второго и т. д. событий в процессе Пуас-
сона с параметром 1/20' (см. задачу 1 в главе 1). Тогда величины
<Zi = 3<1/0', Z2 — (Y2 — -У1)/0', 73 = (У3-У2)/0' независимы и имеют
каждая распределение X2 с двумя степенями свободы. Совместные
плотности У4, ..., Уг образуют экспоненциальное семейство
с плотностью
(20')г еХр С”’ °<2/1< •••
Величина Уг/0' имеет распределение X2 с 2г степенями свободы.
(IV) Та же модель пригодна для описания испытаний на
продолжительность жизни, если число п ламп поддерживается
постоянным, для чего перегоревшие лампы заменяются новыми.
Здесь Yi обозначает момент времени, когда перегорает первая
лампа, У2—момент, когда перегорает вторая лампа и т. д. При
этом предполагается, что фиксирован некоторый начальный момент
времени, от которого идет отсчет.
[(II) Случайные величины Zf=(n—i-f-1) (У^—У^_4)/0 (i=l,...» г)
независимы и каждая из них имеет распределение X2 с двумя
г г
степенями свободы и [2^i4"(n—г)Уг]/в = 3^*]
i=l г=1
14. Математические ожидания и ковариации статистик Tj
в экспоненциальном семействе (35) даются формулами:
^[Ty(X)] = -aiogC(0)/a0j (/=1, ..., к),
9]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
87
15. Пусть Q означает естественное параметрическое простран-
ство экспоненциального семейства (35) и пусть , 0г—есте-
ственное параметрическое пространство для семейства условных
распределений при условии Tr+i = tr+i, ..., = (*г+1> • ••>
г < к, — фиксированные числа).
(I) Тогда ^'q15 э Qr содержит проекцию Gr простран-
ства Q на 01? ..., 0Г.
(II) Семейство плотностей
Р01бг(х> &) = с(в1> 02) ехр (0^+022/—У>0,
дает пример, в котором Qqi, является собственным под-
множеством Q'e-p ег.
9. Литературные ссылки
Теория меры и интегрирования в абстрактных прост-
ранствах излагается во многих книгах, в том числе в книгах
X а л м о ш а (1950), Л о э в а (1955) и Сакса (1937).
Определение и основные свойства условных вероятно-
стей и математических ожиданий были даны Колмо-
горовым (1933). Более детальное изложение, содержа-
щее большое число дополнительных результатов, можно
найти в книгах Дуба (1953) и Л о э в а (1955).
Названия этих книг, а также более специальные ссылки
на литературу к разделам 3, 6 и 7 даются ниже.
Бахадур (Bahadur R. R)
(1954) Sufficiency and statistical decision functions, Ann. Math.
Stat., vol. 25, 423—462. [Подробное изложение абстрактной теории
достаточных статистик, включая теорему факторизации, структур-
ную теорему для минимальных достаточных статистик и обсужде-
ние достаточности для случая последовательных экспериментов.]
(1955) Statistics and subfields, Ann. Math. Stat., vol. 26,490—497.
Бахадур и Леман (Bahadur R. R. and Leh-
man n E. L.)
(1955) Two comments on «sufficiency and statistical decision
junctions», Ann. Math. Stat., vol. 26, 139—142. [Задача 3.]
Дуб (D о о b . J. L.)
(1953) Stochastic Processes, New York, John Wiley & Sons.
(Есть русский перевод: Дж. Л. Дуб, Вероятностные процессы,
ИЛ, 1956).
Колмогоров
(1933) Grundbegriffe der Wahrscheinlichkeitsrechnung, Berlin,
J. Springer, или русский вариант: A. H. Колмогоров, Основ-
ные понятия теории вероятностей, ОНТИ, М., 1936.
88 ВЕРОЯТНОСТНЫЕ ОСНОВЫ [гл. 2
Л о э в (L о ё v е М.)
(1955) Probability Theory, New York D. Van Nostrand Co.
(Есть русский перевод второго (1960 г.) издания: М. Л о э в, Теория
вероятностей, ИЛ, 1962).
Сакс (Saks S.)
(1937) Theory of the Integral, New York, G. E. Stechert and Co.
(Есть русский перевод: С. Сакс, Теория интеграла, ИЛ, 1949).
Халмош (Halmos Р. R.)
(1950) Measure theory, New York, D. Van Nostrand Co. (Есть
русский перевод: П. Халмош, Теория меры, ИЛ, 1953).
Халмош и Сэвидж (Halmos Р. R. and Savage L. J.)
(1949) Application of the Radon-Nikodym theorem to the theory
of sufficient statistics, Ann. Math. Stat., vol. 20, 225—241. [Первая
абстрактная формулировка понятия достаточной* статистики; тео-
рема факторизации. Задача 9.]
Эпстейн и Собел (Epstein В. and S о b е 1 М.)
(1954) Some theorems relevant to life testing from an exponential
distribution, Ann. Math. Stat., vol. 25, 373—381. [Задача 13.]
ГЛАВА 3
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ
1. Постановка проблемы
Мы начинаем теперь изучение статистических проблем,
теория которых была разработана в наибольшей степени,
а именно проблем проверки гипотез. Как видно из самого
названия, при этом хотят выяснить, верна или неверна
какая-либо данная гипотеза. Выбор здесь производится
только между двумя решениями: принятием или отклоне-
нием гипотезы. Решающая процедура в таких проблемах
называется критерием гипотезы, о которой идет речь.
Решение должно быть основано на значениях некоторой
случайной величины X, о которой известно, что ее рас-
пределение принадлежит данному классу $>= {Pq, 0gQ).
Мы предположим, что если бы 0 было известно, то мож-
но было бы сказать — верна гипотеза или нет. Соответст-
венно, распределения класса fp могут быть разделены
на две группы: для одной из групп гипотеза верна, а для
другой — нет. Эти группы будут обозначаться буквами
Н и К, а соответствующие им подмножества Q — буквами
Q# и Q#, так что H[JK = fp и QH|J Математиче-
ски гипотеза’эквивалентна утверждению, что Ре при-
надлежит Я. Поэтому удобно отождествить гипотезу
и это утверждение и обозначать ее также буквой Н.
Аналогично мы называем распределения из К альтернатив-
ными к Н, так что К есть класс альтернатив.
Обозначим решения, состоящие в принятии или откло-
нении Н, буквами d0 и dr соответственно. Нерандомизиро-
ванная процедура проверки гипотезы приписывает каж-
дому возможному значению х случайной величины X одно
из двух решений. Тем самым выборочное пространство
90
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
делится на два взаимно дополнительных множества 50
и Если X попадает в S 0, гипотеза принимается, в дру-
гих случаях она отвергается. Множество So называется
областью принятия гипотезы, а множество областью
отклонения или критической областью,
В процессе проверки можно или прийти к правильному
решению, или совершить одну из двух ошибок: отвергнуть
гипотезу, когда она верна (ошибка первого рода), или
принять гипотезу, когда она неверна (ошибка второго
рода). Последствия этих ошибок часто оказываются совер-
шенно различными. Например, если проверяется наличие
некоторого заболевания, то неправильное заключение
о необходимости лечения может создать пациенту неудоб-
ства. С другой стороны, неудача в попытке обнаружить
имеющееся заболевание может привести к смерти пациента.
Желательно провести проверку таким образом, чтобы
свести к минимуму вероятности обоих типов ошибок.
К сожалению, когда число испытаний задано, мы не можем
управлять обеими вероятностями ошибок одновременно.
Обычно задают границу для вероятности отклонения Н,
когда она верна, и при этом условии стремятся минимизи-
ровать вероятность другой ошибки. Иными словами,
выбирают число а между 0 и 1 (называемое уровнем зна-
чимости) и налагают условие
Pe{6(X) = d1} = Pe{Xg51}<a для всех 0gQn. (1)
При этом условии желательно сделать минимальной
Ре {S (X) == So} для 0g Qx или, что то же самое, сделать
максимальной
Pq {6 (X) == dj = Pq {X g для всех 0 g Q#. (2)
Хотя обычно из (1) вытекает, что
sup P0{Xg5i} = a, (3)
QH
удобно для левой части (3) ввести специальное название:
ее называют размером критерия или критической области.
Принимая условие (1), мы ограничиваемся, следова-
тельно, критериями, размер которых не превосходит
заданного уровня значимости. Вероятность (2), рассматри-
ваемая как функция 0, 0g Q#, называется мощностью
1]
ПОСТАНОВКА ПРОБЛЕМЫ
91
критерия при альтернативе 0. Рассматриваемая как
функция 0, 0g Q, вероятность (2) называется функцией
мощности критерия и обозначается 0 (0).
Обычно выбор уровня значимости а до некоторой сте-
пени произволен, поскольку в большинстве ситуаций
нет точной границы для «разрешенной» вероятности ошиб-
ки первого рода. Стало обычным выбирать для а одно
из стандартных значений, таких как 0,005, 0,01, 0,05.
Эта стандартизация имеет некоторые преимущества, так
как она позволяет сократить объем таблиц, исполь-
зуемых при проведении различных испытаний. Никакой
другой специальной причины для выбора именно этих
значений нет. Действительно, выбирая уровень значи-
мости, необходимо также обращать внимание на мощность
критерия при алтернативных гипотезах. Если мощность
оказывается слишком малой, то может оказаться жела-
тельным использование значений а, превосходящих обыч-
ные, например 0,1 или 0,2*).
Другое обстоятельство, которое часто влияет на выбор
уровня значимости — это наше отношение к гипотезе
до проведения эксперимента. Если мы твердо верим
в истинность гипотезы, то потребуются убедительные
свидетельства против нее для того, чтобы мы отказались
от своей уверенности; соответственно уровень значимости
будет выбран весьма низким (низкий уровень значимо-
сти приводит к тому, что гипотеза отвергается при таких
комбинациях результатов наблюдений, полная вероят-
ность которых при нашей гипотезе мала, так что появле-
ние этих результатов крайне неправдоподобно при спра-
ведливости Н).
В приложениях мы обычно сталкиваемся с семействами
вложенных друг в друга критических областей. В этих
случаях полезно определять не только то, что гипотеза
принимается или отвергается с данным уровнем значимо-
сти, но и указывать для каждого х наименьший уровень
значимости а — а (я), критический уровень, при котором
гипотеза отвергается для данного результата наблюдения.
*) Практически полезный метод выбора а в зависимости от мощ-
ности критерия предложен в статье: Lehmann, Significance
level ana power, Ann. Math. Stat., vol. 29 (1958), 1167—1176.
92
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Это число дает представление о том, сколь сильно данные
наблюдений противоречат гипотезе (или ее подкрепляют),
и делают возможным для других прийти к заключению,
соответствующему выбранному ими уровню значимости
(см. задачу 7 и главу 4, задачу 2).
Рассмотрим теперь структуру рандомизированного кри-
терия. При любом х такой критерий приводит к выбору
между двумя решениями — принятием или отклонением
гипотезы, и этот выбор осуществляется с зависящими
от х вероятностями, которые будут обозначаться <р (ж)
и 1 — ср (х) соответственно. Если X принимает значение xi
то производится случайный эксперимент с двумя возмож-
ными исходами: R и R, вероятности которых равны ср (х)
и 1 — ф (х). Если эксперимент заканчивается исходом
то гипотеза отвергается, а в противном случае принимает-
ся. Рандомизированный критерий, таким образом, пол-
ностью характеризуется функцией ф — критической функ-
цией, 0 < ф (х) < 1 при всех х. Если ф принимает только
значения 0 и 1, то мы возвращаемся к случаю нерандоми-
зированного Критерия. Множество точек, в которых
ф (х) = 1, совпадает в этом случае с критической областью,
так что для нерандомизированного критерия ф является
индикатором (характеристической функцией) критической
области.
Если X распределено по закону Р® и используется
критическая функция ф, то вероятность отвергнуть гипо-
тезу равна
Ее ф (X) = ф (х) dPe (я),
т. е. равна условной вероятности отклонения гипотезы
при данном х, проинтегрированной по распределе-
нию X. Задача состоит в выборе такого ф, чтобы сделать
мощность
РФ(О) = £0ф(Х) для всех 0 6^к (4)
максимальной при условии
/?оф(Х)<а для всех 0gQH. (5)
Но здесь возникает та же самая трудность, с которой мы
уже встречались в общих рассуждениях главы 1. Как
i]
постановка проблемы
93
правило, критерий, максимизирующий мощность при ка-
кой-либо определенной альтернативе класса К, зависит
от этой альтернативы. Поэтому необходимы дополнитель-
ные соображения о том, что следует понимать под опти-
мальной процедурой. Имеется одно важное исключение:
если класс К содержит ровно одно распределение, т. е.
мы имеем дело с одной альтернативной гипотезой, то проб-
лема целиком определяется соотношениями (4) и (5),
и с математической точки зрения сводится к максимиза-
ции некоторого интеграла при некоторых определенных
ограничениях. Теория для этого случая и ее статистичес-
кие приложения составляют основное содержание на-
стоящей главы. В некоторых случаях может, конечно,
оказаться, что один и тот же критерий максимизирует
мощность для всех альтернатив из К (даже если их много).
Примеры таких равномерно наиболее мощных (РНМ) кри-
териев будут указаны в разделах 3 и 7.
В данной выше формулировке задачу можно рассматри-
вать, как специальный случай общей проблемы решения
с двумя типами потерь. Соответственно двум типам оши-
бок мы вводим две компоненты функции потерь
£1(0» di) = l или 0 при 0 g йд или 0 g 9#
g?o) = O для всех 0
и
£2(0, do) = O или 1 при 0gQ# или 0 g
£2(0, di) = 0 для всех 0.
При таком определении проблема проверки гипотезы,
как она сформулирована выше, равносильна минимиза-
ции EL2 (0, 6(я)) при ограничении ELX (0, S (X)) < а.
Формально введенные функции потерь £х и £2, вообще
говоря, не будут совпадать с истинными потерями. По-
теря, возникающая при ошибочном принятии гипотезы,
может не быть одной и той же для всех альтернатив: чем
больше отличается альтернатива от основной гипотезы,
тем более серьезны последствия такой ошибки. Как было
указано ранее, мы намеренно уклонились от большей
детализации, требуемой этой критикой. Предпочтитель-
нее основывать теорию на простых и интуитивно привле-
94
РАВЙОМЁРЙО ЙАИЁОЛЁЁ МоЩЙЫЁ ЙРЙТЁРЙЙ [гл. §
кательных понятиях ошибок первого и второго рода.
Впоследствии мы увидим, что по крайней мере некоторые
из результатов остаются верными и в более сложной обста-
новке.
2. Фундаментальная лемма Неймана — Пирсона
Класс распределений будет называться простым, если
он содержит ровно одно распределение. В противном слу-
чае он будет называться сложным. Проблема проверки
гипотезы полностью описывается соотношениями (4) и (5),
если класс К — простой. Если класс Н также простой,
то проблема может быть решена точно. Пусть гипотезе Н
соответствует распределение Ро, а гипотезе К — распре-
деление Рх. Допустим на время, что эти распределения
дискретны, и обозначим Pi{X = х} —Рг (х) для i =0, 1.
Если ограничиться нерандомизированными критериями,
то оптимальный критерий соответствует критической об-
ласти S, для которой
(6)
И
2 Pi (х) == шах.
x£S
Нетрудно понять, какие именно точки должны быть вклю-
чены в S. Выбранные точки должны иметь суммарную
вероятность, не превосходящую а, в одном случае, и ве-
роятность возможно большую — в другом. Подобные за-
дачи часто возникают и в иной обстановке. Так, покупа-
тель с ограниченными средствами, желающий приобрести
как можно больше необходимых ему предметов, будет
руководствоваться их количеством на доллар. Лицо, же-
лающее как можно быстрее преодолеть некоторое расстоя-
ние, должно выбирать скорейший способ передвижения,
т. е. такой, при котором число миль в час оказывается
максимальным. Аналогично и в нашей проблеме, наиболее
ценными являются точки х с большими значениями:
г(х)
: Pt (*)
р0(х) •
2] ФУНДАМЕНТАЛЬНАЯ ЛЕММА НЕЙМАНА — ПИРСОНА 95
Точки, следовательно, упорядочиваются соответственно
величине этого отношения и затем в S включают макси-
мальное число их, согласующееся с требованием (6).
Формально это означает, что S есть множество тех точек я,
для которых г(х) > с, где с определяется условием
P0{X$S} = 2 Р0(я:) = а.
х : г (х)<с
Здесь возникает некоторая трудность. Может случиться,
что, включив очередную точку, мы еще не достигнем уров-
ня а, а включив следующую — превзойдем его. Точное
значение а при этом или совсем не может быть получено,
или же достигается присоединением к S какой-либо
из следующих по порядку точек. Эта трудность исчезает
при переходе к рандомизированным критериям. С помо-
щью рандомизации можно «расщепить» очередную точку,
взяв в S такую ее «часть», чтобы получить суммарную
вероятность, в точности равную а, не нарушая приня-
того порядка точек. Эти рассуждения формализуются
в нижеследующей теореме {фундаментальной лемме Ней-
мана — Пирсона).
Теорема 1. Пусть PQ и Р± — распределения ве-
роятностей, обладающие плотностями pQ и рг соответ-
ственно, по отношению к некоторой мере ц *).
(I) Существование. Для проверки Н: pQ при кон-
курирующей гипотезе К: pi найдется критерий <р и кон-
станта к такие, что
Е0ф(*) = а
И
(7)
ф(®)=
1,
0,
когда pi (ж) > кр0 (х),
когда pi (х) < кр0 (х).
(8)
(II) Достаточное условие для критерия наи-
большей мощности. Если критерий удовлетворяет тре-
бованиям (7) и (8) при некотором к, то он является
*) Это предложение не ограничивает общности, так как всегда
можно взять
96
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл 3
наиболее мощным критерием уровня а для проверки
распределения р0 при конкурирующем plt
(III) Необходимое условие для критерия наи-
большей мощности. Если (( — наиболее мощный критерий
уровня а для проверки распределения pQ при конкури-
рующем р19 то при некотором к он удовлетворяет (8)
почти всюду по мере р. Он также удовлетворяет (7),
кроме случая, когда существует критерий размера < а
и мощности 1.
Доказательство. Для а = 0 и а = 1 теорема оче-
видным образом верна: достаточно принять в (8) к — + со,
полагая произведение 0-со равным 0. Поэтому мы пред-
положим в дальнейшем, что 0 < а < 1.
(I) Обозначим а (с) = Ро {р± (X) > cpQ {(X)}. При вычис-
лении JPo-вероятностей достаточно рассматривать мно-
жества, где pQ (х) > 0. Поэтому а (с) равно вероятности
того, что случайная величина pr (X)/pQ (X) превосходит с.
Таким образом, 1 — а (с) является функцией распреде-
ления и а (с) не возрастает и непрерывна справа,
а (с — 0) - а (с) = Ро {pt (Х)/р0 (X) = с}, а (— оо) = 1,
а (оо) = 0.
При данном а, 0<а<1, определим с0 из соотношений
а(со)<а<а(со —0) и введем критерий ф, полагая
<₽(*) =
1, когда pi(x) > соро(х),
а(^О)^еоТ 1 К°ГДа Pl (Ж) = СоРо (Ж)’
0, когда pr(x) < CqPq(x).
Здесь второе равенство имеет смысл всегда, кроме
случая а (с0) = а (с0 — 0), но в этом последнем случае
Pq (X) = CqPq (X)} = 0, следовательно ф определена почти ।
всюду. Размер ф равен
, а—«(ср) р f Pi(X) _ 1
-Г а (С()_0) —а (с0) Ро(Х) c°f и-
Таким образом, величина с0, участвующая в формули-
ровке теоремы, может быть выбрана равной к.
2]
ФУНДАМЕНТАЛЬНАЯ ЛЕММА НЕЙМАНА—ПИРСОНА 97
Интересно отметить, что величина Cq определяется,
по существу, единственным способом. Единственное
исключение — это случай, когда для целого интервала
значений с а(с) = а. Если (с', е") —такой интервал,
причем
С= /х: р0 (х) > 0 и с' < < с" 1 ,
I х ' PoW J
то
Ро(С) = а(с')-а(с"-О) = О и р(С) = О, Л(0 = О.
То есть множества, соответствующие различным значе-
ниям с, отличаются друг от друга точками, в совокуп-
ности имеющими нулевую вероятность при обоих распре-
делениях, и потому вообще могут быть исключены
из выборочного пространства.
(II) Предположим, что критерий ф удовлетворяет (7)
и (8). Пусть ф* — какой-либо другой критерий с
Еоф* (X) <а. Обозначим 5+ и S~ множества точек выбороч-
ного пространства, в которых ф (х) — ф* (х) > 0 и ф (х) —
— ф* (ж) < 0 соответственно. Если х С S+, то ср (х) > 0
и Pi > кро (#)• Аналогично р± (х) < кр0 (х) для всех
x£S~. Следовательно,
рФ — ф*) (Pi — кр0) dp = (ф - ф*) (pi — кр0) d[i > 0,
s+us-
и для разности мощностей ф и ф* получаем
(ф —ф*)7?1й|и >/с (ф —ф*) jpodp,>O,
что и требовалось доказать.
(III) Предположим, что ф* является наиболее мощ-
ным критерием уровня а для проверки гипотезы р0
при альтернативе р±, и ф удовлетворяет условиям (7)
и (8). Пусть S обозначает пересечение множества S+ (J61",
на котором ф=£ ф*, и множества {х\ рг (х) Ф кр0 (х)}.
Допустим, что р (5) > 0. Так как произведение (ф — ф*) х
X(pi — кро) положительно на S, то
j (ф-ф*) (Р1-Лро)^И= (Ф — Ф*) (/>1 — кРо) dp > 0,
S+US“ 8
7 Э. Леман
98
равномерно наиболее мощные критерии [гл. з
т. е. ф оказывается при альтернативе рх более мощным,
чем ф*. Мы приходим к противоречию. Следовательно,
р.(5) = 0, что и требовалось доказать.
Если бы ф* имел размер <а и мощность < 1, то
было бы возможно включить в критическую область
дополнительные точки (или «части» точек). Этим мы
увеличили бы или мощность до 1, или размер критерия
до а. Таким образом, или 7?оф* (X) = а, или £1ф* (X) = 1.
Доказательство части (III) показывает, что наиболее
мощный критерий определяется соотношениями (7) и (8)
однозначно всюду, кроме, быть может, точек, для кото-
рых рх (х) = кр0 (ж). На этом множестве ф можно опре-
делить произвольным образом, лишь бы размер крите-
рия был равен а. Действительно, мы показали, что
на этом пограничном множестве ф можно выбрать
постоянным. В тривиальном случае, когда существует
критерий мощности 1, константа к в (8) равна 0, и мы
будем принимать И во всех точках, где р± (х) = kpQ (х),
хотя, быть может, размер критерия окажется меньше а.
Из этих замечаний вытекает, что наиболее мощный
критерий определяется однозначно из соотношений (7)
и (8) (с точностью до множеств нулевой меры) каждый
раз, когда множество р± (х) — кр0 (х) имеет p-меру, рав-
ную 0. Очевидно, что этот единственный критерий будет
нерандомизированным. Вообще, мы видели, что рандо-
мизация может потребоваться только на пограничном
множестве и только в случае необходимости сделать
размер критерия в точности равным а. На практике
предпочитают в таком случае заменить уровень значи-
мости таким, который не требует рандомизации. В случае,
когда существует критерий мощности 1, соотношения (7)
и (8) по-прежнему определяют наиболее мощный крите-
рий, но он может не быть единственным, поскольку
может существовать другой наиболее мощный критерий,
удовлетворяющий (7) и (8) при некотором а' < а.
Следствие 1. Пусть р обозначает мощность наи-
более мощного критерия уровня а для проверки гипо-
тезы Pq при конкурирующей Рх- Тогда а < р, за исклю-
чением случая Pq~Px-
Доказательство. Так как критерий уровня а,
определяемый формулой ф(я) = а, имеет мощность а, то
2] ФУНДАМЕНТАЛЬНАЯ ЛЕММА НЕЙМАНА—ПИРСОНА 99
ясно, что а<р. Еслиа = Р<1, то критерий = а
оказывается наиболее мощным, и по теореме 1 (III) он
должен удовлетворять (8). Тогда Po(x) — pi(x) почти
всюду по мере ц, следовательно Р0 = А-
Альтернативный метод доказательства теоремы настоя-
щего раздела основан на следующем геометрическом
при простой альтернативе. Пусть N обозначает мно-
жество всех точек (a, (J), обладающих свойством: сущест-
вует критерий ф, для которого
а = Е0ф(*), Р = £1Ф(Х).
Это множество выпукло, содержит точки (0, 0) и (1, 1)
f 1 1 \
и центрально симметрично по отношению к точке ( у , у )
(т. е. вместе с любой точкой (а, Р) это множество содер-
жит также точку (1 —а, 1 —Р) (рис. 3,а). Кроме того,
множество замкнуто. [Это следует из теоремы о слабой
компактности множества критических функций, см. тео-
рему 3 в добавлении; аргументация совпадает с использу-
емсй в доказательстве теоремы 5(1).]
При каждом 0 < о0 < 1 критерии уровня а0 изобра-
жаются точками, абсциссы которых <а0. Наиболее мощ-
ный из этих критериев (а он существует, так как N
7*
100
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
замкнуто) соответствует точке на верхней границе 7V,
имеющей абсциссу а0. Эта точка будет единственной,
соответствующей наиболее мощному критерию уровня а0,
за исключением случая, когда в N существует точка
(а, 1) с а < а0 (см. рис. 3, б).
Рассмотрим в качестве примера геометрическое дока-
зательство следствия 1. Предположим, что для некото-
рого 0 < а0 < 1 мощность наиболее мощного критерия
уровня а0 равна а0. Тогда из выпуклости N следует,
что включение (а, влечет 0<а, а из симметрии N
вытекает, что N совпадает с отрезком, соединяющим
точки (0, 0) и (1, 1). Это означает, что ф/70с?|х =
— для всех ф, и потому pQ — ц-почти всюду,
что и требовалось доказать.
Опирающееся на эти идеи доказательство теоремы 1
содержится в более общем доказательстве теоремы 5.
3. Распределения с монотонным отношением
правдоподобия
Случай, когда и проверяемая гипотеза, и класс
альтернатив являются простыми, представляет главным
образом теоретический интерес, так как в прикладных
задачах встречаются, как правило, параметрические
семейства распределений, зависящие от одного или
нескольких непрерывных параметров. В простейшей
из подобных ситуаций распределения зависят от одного
действительного параметра и проверяемая гипотеза
является односторонней, скажем Д:0<0О. Наиболее
мощный критерий проверки Н при альтернативе 01 > 0О
зависит, вообще говоря, от 0t и потому не будет РНМ.
Однако при некоторых дополнительных требованиях РНМ
критерий существует. Говорят, что зависящее от действи-
тельного параметра семейство плотностей имеет моно-
тонное отношение правдоподобия, если для любых 0 и 0'
распределения PQ и PQ> различны и существует функ-
ция Т (х) такая, что отношение р$> (x)/pQ (х) является
неубывающей функцией от Т(х).
3]
МОНОТОННОЕ ОТНОШЕНИЕ ПРАВДОПОДОБИЯ
101
Теорема 2. Пусть 0 — действительный параметр
и случайная величина X имеет плотность вероятности
Pq (х) с монотонным относительно Т (х) отношением
правдоподобия. Тогда
(I) Для проверки H*.Q^Qq при конкурирующей гипо-
тезе К\ 0 > 0О существует РНМ критерий
ф(«) =
1, когда
у, когда
0, когда
Т (ж) > С,
Т(х) = С,
Т (х) < С,
(9)
где Сиу выбираются так, чтобы выполнялось равен-
ство
Ее0Ч> (х) = а.
(II) Функция мощности
Р(0) = е9<р(Х)
(Ю)
этого критерия строго возрастает во всех точках, где
р(0)<1.
(III) Для всех 0' критерий, определенный равенствами
(9) и (10), является РНМ для проверки Я':0<0' при
конкурирующей K'\Q>Qf и при уровне а'= 0(0').
(IV) Для любого 0 < 0О наш критерий минимизирует
0(0) {вероятность ошибки первого рода) в классе всех кри-
териев, удовлетворяющих (10).
Доказательство. (I) и (II). Рассмотрим сначала
гипотезу Н\ 0 = 0О и некоторую простую альтернативу
01 > 0О. Применяя фундаментальную лемму, мы находим,
что наиболее мощный критерий отклоняет гипотезу,
когда
/’во & ’
или, эквивалентным образом, когда
Т{х)>С*).
Из теоремы 1 (I) следует, что существуют такие постоян-
*) Здесь и в аналогичных рассуждениях С обозначает неопре-
деленную постоянную. {С можно понимать как сокращение для
const.—Прим, перев.)
102
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
ные С и у, чт0 равенства (9) и (10) выполняются. Если
0' < 0", то по теореме 1 (11) соответствующий критерий
является наиболее мощным для проверки PQ> при кон-
курирующей Pq» и при уровне а' = р (0'). Утверждение (II)
теоремы вытекает теперь из следствия 1. Так как Р(0)
не убывает, то критерий удовлетворяет неравенствам
£'0ср(Х)<а для 0<0О.
(11)
Класс критериев, для которых верно (И), содержится
в классе критериев с 7?0о(р (V) <а. Так как данный кри-
терий максимизирует р (0j) в этом более широком классе,
он тем более максимизирует Р (01) при условии (11).
Так как он не зависит от специального выбора альтер-
нативы 01 > 0о, то он является РНМ при альтернативе К.
(III) доказывается аналогичными рассуждениями.
(IV) следует из того факта, что критерий, миними-
зирующий мощность в задаче проверки простой гипотезы
при простой альтернативе, получается из фундаменталь-
ной леммы (теорема 1), если в ней все неравенства заме-
нить на обратные.
Очевидными изменениями проведенных рассуждений
мы получим решение двойственной проблемы Я:0>0О,
К: 0 < 0О.
Ниже будут даны некоторые примеры семейств с моно-
тонным отношением правдоподобия и соответствующих
РНМ критериев. Однако главные применения теорема 2
получит позже, когда в качестве подобных семейств
будут выступать или множества условных распределений,
взятых по отношению к некоторой достаточной статис-
тике (главы 4 и 5), или распределения максимального
инварианта (главы 6 и 7).
Пример 1. Из партии, содержащей N деталей, наудачу
берут п деталей и каждую из них проверяют. Если полное число
дефектных изделий в партии равно D, то число X дефект-
ных изделий в выборке имеет гипергеометрическое распределение
Р {X=x} = PD(x) =
яг = О, 1, ..., D.
Интерпретируя Pq (х) как плотность по отношению к мере р, ко-
3]
МОНОТОННОЕ ОТНОШЕНИЕ ПРАВДОПОДОБИЯ
103
торая для каждого множества на прямой равна числу содержа-
щихся в нем точек с целыми неотрицательными координатами,
и замечая, что
(х) __ Z)4-l N— D — п-{-х
N—D D+1 — х
мы заключаем, что рассматриваемые распределения имеют моно-
тонное отношение правдоподобия с Т (х) = х, Следовательно,
существует РНМ критерий проверки гипотезы Н: D < Do при
альтернативе K:D>Dq. Этот критерий отвергает Я, когда X
чрезмерно велико. Аналогичный критерий можно построить для
проверки Я': Я > Ро-
Важный класс семейств распределений, для которых
выполняются предпосылки теоремы 2, образует одно-
параметрические экспоненциальные семейства.
Следствие 2. Пус/пь 0 — действительный параметр
и пусть X имеет распределение с плотностью (по отно-
шению к некоторой мере р,)
Ре (z) = C(0) e^T^h(x),
(12)
где Q — строго монотонная функция. Тогда существует
РНМ критерий для проверки Я:0<0О при альтерна-
тиве 2Г:0>0О. Если Q возрастает, то
ф(*) =
1 при Т (х) >С,
у при Т (х) ~С,
0 при Т (х)<С,
где Сиу определяются равенством Eq$> (X) — а. Если Q
убывает, то эти неравенства заменяются противополож-
ными.
Если X имеет дискретное распределение, то правая
часть (12) будет обозначаться Pq (х). Как и в примере 1,
Pq (х) может рассматриваться как плотность по отношению
к мере ц, которая для любого множества на прямой равна
числу возможных значений X, входящих в него.
Пример 2. Биномиальное распределение b (р, п) с
удовлетворяет (12) с Т (х) = х, 0 = р, Q (p) = log [р / (1— р)]. Проб-
лема проверки гипотезы Я : р > р0 возникает, например, в обста-
новке примера 1, если предположить, что процесс производства
104
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
подвергается статистическому контролю и при этом результаты
обследования выбранных изделий независимы с вероятностью
встречи дефектного изделия, равной р. Число X дефектных из-
делий в выборке объема п является в этом случае достаточной
статистикой для совместного распределения случайных величин
Xi (i = 1, ..., лг), где Xt обозначает число дефектных изделий при
i-м обследовании (т. е. 0 или 1). Очевидно, X имеет биномиаль-
ное распределение Ъ (р, п). Следовательно, существует РНМ кри-
терий проверки Hi который отвергает эту гипотезу, если X
слишком мало.
Другой план выбора, который иногда применяется в «бино-
миальной» ситуации, —это обратный биномиальный выбор. Здесь
испытания заканчиваются только по достижении определенного
числа т успехов (например, выздоровлений при использовании
нового способа лечения). Пусть Уг- обозначает число испытаний
между (Z — 1)-м и г-м успехами. Тогда вероятность того, что
Уг = у равна pqv, г/ = 0, 1,... Поэтому совместное распределение
величин У1,..., Ym равно
Рр(У1,--ч Ут) = Рт<?\ 2/й = 0, 1, Л = 1, т.
Это семейство оказывается экспоненциальным с Т (г/) = 2у^ и
Q (p) = log (1 —р). Так как Q (р) — убывающая функция р, то РНМ
критерий проверки гипотезы Я:р<;р0 отвергает ее, когда Т
слишком мало. Этот вывод совпадает с тем, чего естественно
было бы ожидать, поскольку наступление тп успехов при числе
испытаний, лишь немногим превосходящем /п, указывает на
большое значение р. Статистика Г, равная разности между чис-
лом испытаний до тп-го успеха включительно и числом тп, имеет
отрицательно-биномиальное распределение (глава 1, задача 1 (I)):
Х-1 z=o, 1,...
Пример 3. Если Х^ ..., Хп независимы и распределены
по закону Пуассона с JE'(Xi) = X, то их совместное распределение
равно
^1+...+хп
Хп)--
пХ
Рх (*ь
Мы снова получаем экспоненциальное семейсто с T(a?) = S^ и
Q(X) = logX. Односторонние гипотезы о значении % могут воз-
никать, например, если X обозначает плотность бактерий, а —
количество бактерий в пробах; или если Х^ обозначают число
а-частиц, выделяемых в равные и непересекающиеся промежутки
времени радиоактивным источником, и т. д. РНМ критерий для
гипотезы Х<А0 отвергает ее, если 2Хг- чрезмерно велика. Здесь
статистика на которой основан критерий, сама имеет рас-
пределение Пуассона с параметром пк.
Вместо того чтобы наблюдать радиоактивное вещество, за-
данное время или подсчитывать число бактерий на определенном
3] МОНОТОННОЕ ОТНОШЕНИЕ ПРАВДОПОДОБИЯ Ю5
участке стеклянной пластинки, можно использовать также метод
«обратной выборки» *). В этом случае эксперимент продолжается
(или интервал наблюдения расширяется) до появления m-го из
интересующих нас объектов. Результатом наблюдения является
система чисел 7\, Тт, равных соответственно времени до
первого появления, времени от первого появления до второго
и т. д. Если наблюдаемый процесс — процесс Пуассона и число
появлений во временном или пространственном промежутке дли-
ны т имеет распределение
Р(х)=^ е~К\ ж = 0, 1,
то величины Тт независимы и каждая имеет показатель-
ное распределение с плотностью he-М для ^>0 (см. задачу 1(П)
в главе 1). Совместные плотности
Рк (^1» • • •» ^m) ~ ехР ( ’ ^1’
1=1
образуют экспоненциальное семейство с Т (^, ..., tm) = ^ti is.
Q(%) =—%. РНМ критерий проверки Н : отвергает ее, ког-
да Г = 27^ слишком мало. Так как имеет плотность
1
-g-е—w/2 при и>0, т. е. такую же, как ^-распределение с двумя
степенями свободы, то 2ХТ имеет ^-распределение с 2m степе-
нями свободы. Поэтому границу критической области можно
определить по таблицам ^-распределения.
В формулировке проблемы проверки гипотез, данной
в начале этой главы, потери, возникающие от принятия
неправильного решения, выражались в терминах ошибок
первого и второго рода. Чтобы прийти к более деталь-
ному описанию задачи проверки Н : 0 < 0О при альтер-
нативе 0>0О, можно поставить ее как проблему с реше-
ниями d0 (принятие Н) и (отклонение Н) и функцией
потерь L (0, d^ = Li (0). Обычно £0 (0) = 0 при 0 < 0О
и строго возрастает при 0 > 0О; Li(0) = O при 0>0О и
строго убывает при 0<0О. Разность и Lq удовлетво-
ряет неравенству
Li(0)-Lo(0)<O, если 0^0О. (13)
Теорема 3. (I) В предположениях теоремы 2 се-
мейство критериев, определяемых формулами (9) и (10)
с 0<а<1, является существенно полным, если допу-
стить, что функции потерь удовлетворяют (13).
*) В оригинале «inverse sampling».— Прим, перев.
106
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
(II) Это семейство является минимальным существен-
но полным, если множество точек х, для которых
Ре(ж)>0, не зависит от 9.
Доказательство. (I) Для любого критерия ф
функция риска равна
7? (0, ф) = ре (®) {ф (х) Li (0) + [1 — <р (ж)] Lo (0)} dp (х) =
= J Ре (х) {Lo (0) + [Li (0) - Lo (0)] <р (ж)} du (ж)
и, следовательно, разность двух функций риска равна
7?(0, <р') — R (9, ф) = [Li (9) - Lo (0)] (ф'-ф)р0^.
Это выражение <0 для всех 9, если
0Ф' (9) — РФ (9) = (ф' “ Ф) Pq d[i 10 при 0 = 0О.
Для заданного критерия ф положим Е$оч(Х)~а. Из
теоремы 2 (I) следует, что существует удовлетворяющий
(9) и (10) РНМ критерий ф' уровня а для проверки ги-
потезы 0 = 0О при альтернативе 0>0О. По теореме 2 (IV)
ф' также минимизирует мощность при 0<0О. Поэтому
7?(0, <Р')<-#(0, ф) при всех 0, что и требовалось до-
казать.
(II) Пусть фа и фа' имеют размеры а и а' соответ-
ственно и, кроме того, являются РНМ для проверки
гипотезы 0 = 0О при альтернативе 0>0О. Тогда РФа(0)<
<РФсс, (0) при всех 0>0О, исключая случай рФа(0) = 1.
Рассматривая задачу проверки той же гипотезы 0 = 0О
при альтернативе 0<0О, заключаем, что это неравенство
выполняется и при всех 0 <90, исключая случай |3Фа/ (0) = 0.
Так как, в силу наших предположений, исключительные
случаи невозможны, то R (9, ф')^/?(9, ф) при 0 >0О.
Следовательно, каждая из двух функций риска лучше
другой для подходящих значений 0.
Теперь мы видим, что полученный ранее класс РНМ
критериев, соответствующих различным величинам уров-
ня значимости, является существенно полным классом
в значительно более общей проблеме решения, в которой
3]
МОНОТОННОЕ ОТНОШЕНИЕ ПРАВДОПОДОБИЯ
107
функции потерь должны удовлетворять некоторым ши-
роким качественным условиям. С этой точки зрения
фиксирование уровня значимости можно рассматривать
как простой способ выбора какой-либо отдельной про-
цедуры из существенно полного класса.
Свойство монотонности отношения правдоподобия по-
рождает весьма сильное упорядочение семейства распре-
делений. В дальнейшем мы будем использовать также
следующее несколько более слабое определение. Семей-
ство одномерных функций распределения Fq будет на-
зываться стохастически возрастающим (этот же термин
будет применяться и к случайным величинам с такими
функциями распределения), если эти распределения раз-
личны и из 0<0' вытекает Fq(x)^ Fq^{x) для всех х.
Тогда, если X и X' имеют распределения Fq и Fq>, со-
ответственно, то при всех х Р {Х>#} < Р {Х'>х}, так что
X' имеет тенденцию принимать большие значения, чем
X. В этом случае мы скажем, что случайная величина
X' стохастически больше X. Это отношение между величи-
нами поясняется следующей леммой, характеризующей
стохастическое упорядочение двух распределений.
Лемма 1. Пусть F^ и F^-dee функции распределе-
ния на прямой. Неравенство F1(^)<F0(^) выполняется
при всех х в том и только том случае, когда существу-
ют две неубывающие функции fQ и fa и случайная вели-
чина V такие, что (а) /о(^)</1(у) пРи всех v и (б)
распределения fQ (F) и /1(F) совпадают с FQ и Ft соот-
ветственно.
Доказательство. Допустим сначала, что требуе-
мые /о, А и F существуют. Тогда
Л (х) - P{fi (V) < X} < Р {/о (F) < X} = Fq (х)
при всех х. Обратно, пусть F1(x)^Fq{x) при всех х и
пусть fa (у) — inf {х : Ft(x — 0) < Ft (я)}, i = 0, 1. Эти
функции не убывают и для них выполняются неравен-
ства (мы для краткости опускаем индекс г):
t[F(x)} < я и F [/(?/)]> у для всех х или у.
Поэтому у</?(^о) влечет f(y)<f [F (я0)К и, обратно,
/(?/)<^о влечет F [f (у)] < F (xQ) и y^.F(xQ), так что не-
равенства f(y)<xo и y<F(x$)--эквивалентны. Пусть V
108
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
распределено равномерно на (0, 1). Тогда Р {ft (V)< #} =
= P {V^Fi(x)} = Fi(x). Из того, что при всех х
<Fq(x) вытекает, что при всех у чем до-
казательство завершается.
Одним из простейших примеров стохастически упо-
рядоченного семейства является семейство с параметром
сдвига, т. е. семейство, для которого
Fq(x) = F(x — 6).
Покажем, что это семейство стохастически возрастает.
Пусть X — случайная величина с функцией распреде-
ления F(x). Тогда из 0<0' вытекает
F (х - 0) = Р {Х^х - 0} >Р {Х< х- 0') — F (х - 0'),
что и требовалось доказать.
Другим примером могут служить семейства с моно-
тонным отношением правдоподобия. Это видно из при-
водимой ниже леммы, в которой указываются некоторые
существенные черты таких семейств.
Лемма 2 *). Пусть р$(х) — семейство одномерных
плотностей с отношением правдоподобия, монотонным
относительно х.
(I) Если ф — неубывающая функциях, то Е^^(х) — не-
убываюгцая функция 0; если Х19 ..., Хп независимы и
имеют одну и ту же плотность р$, а ф' — функция от
хх, ..., хп, неубывающая по каждому аргументу в от-
дельности, то Etfty'(Xi, ..., Хп) является неубывающей
функцией 0.
(II) Для любых 0<0' функции распределения X, со-
ответствующие значениям 0 и 0' параметра, удовлетво-
ряют неравенству
Fq' (x)^Fq(x) при всех х.
(III) Пусть ty —функция, меняющая знак ровно один
раз. Более точно, пусть существует значение Xq такое,
что ф(^)<0 при x<xq и ф(я)>0 при x^Xq. Тогда
*) Это— специальный случай теоремы Карлина, связывающей
число перемен знака у Eq^ (%) и у ф (х) для плотностей типа
Пойа. См. Karlin, Polya type distributions II, Ann. Math. Stat.,
vol. 28 (1957), 281 — 308.
3]
МОНОТОННОЕ ОТНОШЕНИЕ ПРАВДОПОДОБИЯ
109
существует 0О, для которого £’0'ф(Х)<О при 0<0О и
Etflf (Х)>0 при 0>0О; при этом исключается случай,
когда Eq^(X) положительно (или отрицательно) при
всех 0.
Доказательство. (I) Пусть 0<0'. Обозначим А
и В множества, на которых соответственно Pq> (x)<Pq(x)
и Ро' (^)>Ро (я). Если a = sup,i|)(a:) и 6 = inf4>(x), то
а в
Ь—а^Ои
(Аг - Ре) dp > а (р0'-ре)^ + ^ (Рв'-Ре)^ =
А В
= (Ь — а) (р0- —р0)йц>°>
В
что доказывает первое утверждение. Для п > 1 приме-
няется индукция.
(II) Положим 4)(^) = 1 ПРИ я > и -ф(^) = 0 в дру-
гих случаях. Тогда утверждение (II) следует из (I).
(III) Мы покажем сначала, что при любых 0' < 0" из
Eq'^(X) >0 вытекает /?0'Д|)(Х) >0. Если Pq»(^q)/pq'(xq) = co,
то р0,(я) = О при и» следовательно, Е0^(Х)^О.
Допустим ПОЭТОМУ, ЧТО Pq» (x0)/Pq' (х0) = с < co. Тогда
(я) > 0 на множестве S = {х: pq> (х) = 0 и Pq» (х) > 0} и
(X) > ? 1|) р0- >
J Ре-
s
Х0 СО
cippe- dp. 4- cippe' dp = cEe'ty (X) > 0.
— со XQ
Выбирая 0О = inf {0: Е0г|) (X) > 0}, мы приходим к нужному
результату.
Часть (II) леммы показывает, что каждое семейство
распределений с монотонным по х отношением правдо-
подобия является стохастически возрастающим. Обрат-
ное утверждение неверно. Так, для распределений Коши
1 1
л l-J-fr—9)2
НО равномерно наиболее мощные критерии [гл. з
отношение правдоподобия не будет монотонным, хотя
семейство стохастически возрастает (так как 0 — параметр
сдвига). Условия, при выполнении которых семейство
с параметром сдвига обладает монотонным отношением
правдоподобия, даны в главе 8 (пример 1).
4. Сравнение экспериментов *)
Предположим, что для проверки простой гипотезы Н
при простой альтернативе К возможно провести различ-
ные эксперименты. Допустим, что результатом одного
эксперимента является случайная величина X, которая
имеет плотность / (g) при гипотезе Н (УГ); результатом
другого эксперимента пусть будет X' с плотностью /' (g').
Обозначим 0(a) и 0'(а) мощности наиболее мощных кри-
териев, основанных на X и X' соответственно. В общем
случае соотношение между 0(a) и 0'(а) зависит от а.
Однако, если 0'(a)<0(a) при всех а, то X или экспе-
римент / (g) будет называться лучше информирующим,
чем X'. Рассмотрим, например, экспоненциальное семей-
ство плотностей ре (х) (см. (12)) и примем
t = f = Pe» ё=Ре» g' = Pev где 0о < 61 < 62-
Тогда, в силу теоремы 2, эксперимент (/, g) лучше
информирует, чем (/', g').
Простое достаточное условие **) того, чтобы X лучше
информировало, чем X', состоит в том, что существуют
функция h (х, и) и случайная величина U, не зависящая
от X и имеющая известное распределение, такие, что плот-
ность Y — h (X, U) равна /' или g', если плотность X
равна / или g. Так же как и в теории достаточных стати-
стик, это утверждение вытекает из возможности построить,
исходя из X (с помощью U) случайную величину У, экви-
валентную X'. Можно рассуждать также следующим обра-
зом. Пусть ф(У) — наиболее мощный критерий уровня a
*) Этот раздел представляет отступление и может быть про-
пущен.
**) Доказательство того, что это условие также необходимо,
см. Blackwell, Comparison of experiments, Proc. Second Ber-
keley Symposium on Mathematical Statistics and Probability, Ber-
keley, Univ. Calif. Press, 1951.
4]
СРАВНЕНИЕ ЭКСПЕРИМЕНТОВ
Ш
для проверки /' при альтернативе g'. Положим ф(х) --
— Eq? [h (х, С/)]. Тогда Е’ф(Х) = £<р(Х') как при Я, так
и при К. Критерий г|)(^) имеет уровень а и мощность
Р'(а) и, следовательно, |3(а) > Р'(а)-
В случаях, когда указанная функция h существует,
мы будем говорить, что эксперимент (/, g) достаточен
для (/', g'). Тогда, если Х1? . . ., Хп и X', . . X; —
суть выборки из распределений, соответствующих X
и X', то первая из этих выборок лучше информирует, чем
вторая. Она также лучше информирует, чем (Zb . . .,Zn),
где каждое из Zz с некоторой вероятностью равно Xt
или Х$.
Пример 4. Каждый элемент совокупности обладает или
не обладает одним из двух признаков — Л и В. Необходимо проверить
гипотезу о независимости этих признаков. Вероятности р — Р(Л)
и л = Р(В) (т. е. доли объектов, обладающих признаками А и В)
предполагаются известными. Это знание может проистекать оттого,
что ранее каждый из признаков был исследован по отдельности.
Вероятности четырех возможных комбинаций АВ, АВ, АВ, АВ —
как вычисленные при гипотезе независимости, так и вычисленные
при альтернативе, что Р(АВ) равно некоторому заданному р,—
приведены в следующей таблице:
При Н: При К:
В В в в
А А рх. р (1—л) (1—р) Л (1—р)(1—л) Q Р—Q Л—Q 1—р—Л + Q
Допустим, что экспериментальный материал доставляется выбор-
кой объема s. Эта выборка может быть взята, например, наудачу
из числа элементов совокупности, которые обладают признаком А.
Для каждого элемента выборки отмечают, обладает он признаком В
или нет, т. е., следовательно, имеют дело с выборкой из биномиаль-
ного распределения с вероятностями
Н'.Р(В\А)~п и К-.Р(В\Л) = -§- .
Р
Вместо А можно было бы взять какой-нибудь из остальных призна-
ков. При этом каждый раз получалась бы выборка из биномиаль-
112
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
ного распределения. Соответствующие вероятности приведены
в таблице
Выбранная совокуп- ность Вероятность н к
Л р (В I А) л е/р
В Р (А | В) р е/л
В Р(А\В) р (р— e)/(i—я)
А Р (В \ А) л (л-е)/(1-Р)
Не ограничивая общности, допустим, что обозначения классов
А, Л, В и В выбраны так, что р < л 1/2. Мы покажем теперь,
что из четырех перечисленных экспериментов первый (выбор из А)
является лучше всего информирующим и, более того, достаточным
для каждого из оставшихся остальных.
Сравним выбор из Л и из В. Пусть X и X' принимают значения
О и 1, и пусть вероятность равенства единице дается соответственно
первой и второй строками таблицы. Пусть U не зависит от X и рас-
пределено равномерно на (0, 1) и пусть Y = h (X, U) = 1 приХ == 1
и U < р/л, У = 0 в других случаях. Тогда Р {У = 1} равна р
при Н и равна q/л при К, так что У имеет то же распределение,
что и X'. Этим доказано, что X достаточно для X', и, следовательно,
является лучше информирующим. Для сравнения выбора из Л
и выбора из В положим У = 1 при X = 0 и U р/1 — л, У = О
в других случаях. Тогда вероятности события У = 1 совпадают
с указанными в третьей строке таблицы. Наконец, вероятности
события У = 1 совпадают с указанными в последней строке табли-
цы, если положить У = 1 при X — 1 и £7 < (л — р)/(1 — р) и при
J7 = 0 и £7 > (1 — л — р)/(1 — р).
Из общих замечаний, предшествующих разбираемому примеру,
вытекает, что экспериментальный материал, если он должен достав-
ляться выборкой объема 5, необходимо брать из категории Л, т. е.
самой редкой из всех категорий. Этот способ предпочтительнее
извлечения выборки объема s из всей совокупности, так как послед-
няя процедура эквивалентна выбору каждого элемента или из Л
(с вероятностью р), или из Л (с вероятностью 1 — р).
Установленное соотношение между различными эксперимен-
тами не зависит ни только от а, но и от р. Далее, если выборка взята
из категории Л, то по следствию 2 существует РНМ критерий Н
при односторонней альтернативе положительной связи: Р (В\А) > л,
т. е. р > рл, в соответствии с которой вероятности АВ и АВ больше,
а вероятности АВ и АВ меньше, чем при гипотезе независимости.
Этот критерий обладает наибольшей мощностью, которую можно
достичь, проверяя гипотезу независимости по выборке объема s.
5] ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ ЦЗ
Пример 5. В процессе Пуассона число событий, наступаю-
щих в интервале времени длины р, имеет распределение Пуассона
Р (Хр). Проблема проверки гипотезы о том, что значение параметра
равно %0 ПРИ альтернативном значении возникает и при изучении
пространственного распределения частиц в объеме v. Покажем, что
эксперимент информирует тем лучше, чем длиннее промежуток на-
блюдения и. Пусть v < w. Обозначим X и Y число событий в про-
межутках (£, t + v) и (t + г, t + w). Тогда величины X и У неза-
висимы и имеют каждая распределение Пуассона; Z = X + У
является достаточной статистикой для X. Таким образом, каждый
критерий, основанный на JT, может быть заменен равносильным
критерием, основанным на Z, т. е. Z лучше информирует, чем X.
То, что Z действительно информирует существенно лучше, чем X
(в очевидном значении этого высказывания), можно понять из сле-
дующего: единственный наиболее мощный критерий проверки Хо
при альтернативе %! зависит от Т-4-У и, следовательно, не может
быть заменен критерием, основанным только на X.
Иногда бывает невозможно определить число наступивших
событий, но можно установить, имело ли место хотя бы одно из них
или нет.. В бактериологии,, например, бактериальная культура
смешивается с некоторым количеством воды, из которой берется
затем несколько проб фиксированного объема и каждая испыты-
вается на наличие или отсутствие в ней бактерий, т. е. в каждой
из п проб может наступить или не наступить некоторое событие.
В результате мы приходим к биномиальной схеме с вероятностью
успеха (т. е. появления по крайне мере одной бактерии)
p = l—e~Kv.
Так как очень большие или очень маленькие объемы почти досто-
верно приводят к успеху или неудаче, то можно подозревать, что
для проверки %0 при альтернативе %! промежуточные значения v
лучше информируют, чем крайние. Оказывается, однако, что экспе-
рименты (ХорДху) и (Xoip, А^ш) не сравнимы ни при каких значе-
ниях v и w (см. задачу 14)*).
5. Доверительные границы
Теорию РНМ односторонних критериев можно при-
менить к отысканию нижней и верхней границ для дей-
ствительного параметра 0. Задача отыскания нижней
границы возникает, например, когда 0 есть величина
разрушающего усилия для нового сплава; отыскание
верхней границы необходимо, когда 0 является токсич-
ностью медикамента или вероятностью нежелательного
*) Вопрос о выборе v в этой и подобных ситуациях обсуждается
у Hodges, The choice of inspection stringency in acceptance sam-
pling by attributes, Univ. Calif. Publ. Statistics, vol. 1 (1949), 1—14.
8 Э. Леман
114 РАВНОМЕРЙО ЙАИЁОЛЁЁ МОЩНЫЕ ЙРЙТЁРЙЙ [гл. §
события. Рассуждения для случая верхней и нижней
границ сходны. Поэтому достаточно рассмотреть только
случай нижней границы 0.
Так как 0 = 0(Х) должно быть функцией результатов
наблюдения, то невозможно требовать, чтобы 0 достовер-
ным образом было меньше 0. Можно лишь требовать,
чтобы вероятность этого события была близка к единице.
Выберем число 1 — а — доверительный уровень — и огра-
ничимся границами 0, для которых
Ре{0(Х)<0}>1 — а для всех 0, (14)
Функция 0 называется нижней доверительной границей
для 0, соответствующей доверительному уровню 1 — а;
точная нижняя грань левой части (14), которая практи-
чески обычно равна 1 — а, называется доверительным
коэффициентом 0.
Границу 0 следует выбирать так, чтобы она удовлет-
воряла условию (14) и недооценка 0 была возможно мень-
ше. Можно потребовать, например, чтобы вероятность
попадания 0 левее любого 0 была минимальна. Функция
0, для которой
PQ {0(Х)< 0'} = min (15)
при всех 0' < 0, и для которой имеет место (14), назы-
вается равномерно наиболее точной нижней доверитель-
ной границей для 0, соответствующей доверительному
уровню 1 —а.
Пусть L(0, 0) обозначает меру потерь, возникаю-
щих от недооценки 0, так что при каждом фиксиро-
ванном 0 функция £ (0, 0) определена и неотрицательна
для 0 < 0, и не возрастает по второму аргументу. Тогда
желательно минимизировать
EqL (0,0) (16)
при условии (14). Можно показать, что равномерно наи-
более точная нижняя доверительная граница 0 мини-
мизирует (16) при условии (14), какова бы ни была
функция потерь L (см. задачу 17).
5] ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ Н5
Отыскание равномерно наиболее точных нижних дове-
рительных границ облегчается введением более общего
понятия, которое будет рассмотрено детальнее в главе 5.
Семейство подмножеств S (х) пространства параметров Q
является, по определению, семейством доверительных
множеств, соответствующих доверительному уровню 1 — а,
Ре{0£б'(Х)}>1 —а для всех 0gQ, (17)
т. е. если случайное множество S (X) покрывает истин-
ную параметрическую точку с вероятностью > 1 — а.
Нижняя доверительная граница соответствует специаль-
ному случаю, когда S (х) есть односторонний интервал
5(ж) = {0: 0(я)<0<оо}.
Теорема 4. (I) Рассмотрим для каждого 0О€Й
какой-либо критерий уровня а для проверки гипотезы
Н (Bq): 0=0о. Обозначим Л(0О) область принятия гипо-
тезы. При каждом х определим множество S (х) значе-
ний параметра, полагая
5’(ж) = {0: х ЕЛ (0), 0 е □}.
Тогда S (х) является семейством доверительных множе-
ств для 0 с доверительным уровнем 1 —а.
(II) Если Л(0О) является РНМ критерием уровня а
для проверки Я(0О) при альтернативе K(Qo),mo S (х)
минимизирует вероятность
P0{0'6S(X)} для всех 0 6^(6')
в классе всех семейств доверительных множеств для 0
с доверительным уровнем 1 — а.
Доказательство. (1)По определению S(х)
Q^S(x) тогда и только тогда, когда #€-4(0), (18)
и, следовательно,
Ре{0€5(Х)} = Ре{ХбЛ(0)}>1-а.
(II) Если S* (х) — любое другое семейство доверитель-
ных множеств уровня 1 —а и если Л*(0) = {я: 0£5*(я)},
то
Ре(ХбЛ*(0)} = Ре{0б5*(Х)}>1-а,
8*
116 равномерно наиболее мощные критерии
[гл. 3
так что А* (0О) является областью принятия для кри-
терия Н (0О) с уровнем а. Из допущений, касающихся
Л(0О), вытекает, что при любом 0£7Г(0о)
Рв {X € Л* (Оо)} > Ре {X € А (90)}
и что, следовательно,
р0{еое5*(х)}>р0{оое5 (X)},
что и требовалось доказать.
Соотношение эквивалентности (18) описывает струк-
туру доверительных множеств S (ж); 5 (х) есть совокуп-
ность тех значений параметра, для которых принимается
Н (0) в случае, когда наблюдается х. Семейство довери-
тельных множеств связывается, таким образом, с кри-
териями различных гипотез Я(0), показывая как те
значения, при которых гипотеза принимается (0g5(^))
так и те, при которых она отвергается (0 g *$(&)).
Следствие 3. Допустим, что семейство плотно-
стей Pq(x), 0gQ, имеет отношение правдоподобия, моно-
тонное относительно Т(х), и что функция распределе-
ния Fq (0 статистики Т — Т (X) непрерывна по t при
каждом фиксированном 0.
(I) При каждом значении 1 —а доверительного уровня
существует равномерно наиболее точная доверительная
граница 0 для 0.
(II) Если х обозначает наблюденное значение X и
t — Т (х) и если уравнение
F0(O = l-a (19)
имеет решение 0 = 0 g Q, то это региение единственно
и 0(.х) —0.
Доказательство. (I) Для каждого 0О найдется
константа (7(0О) такая, что Р0О {71 > С (0О)} = а и по тео-
реме 2 множество Т > С (0О) можно рассматривать как
критическую область РНМ критерия уровня а для про-
верки гипотезы 0 = 0О при альтернативе 0 > 0О. По след-
ствию 1 мощность этого критерия при любой альтерна-
тиве 01 > 0о превосходит а. Следовательно, С (0о)<С (01)
и функция С —строго возрастающая. Обозначим Л(0О)
5]
ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ
117
соответствующую область принятия: Т <С (0О) и опре-
делим S (х) формулой (18). Из монотонности функции С
вытекает, что S (х) состоит из тех 0 g Q, для которых
0<0, где
0 = inf{0: Г(я)<С(0)}.
По теореме 4 множества {0: 0 (х) < 0} образуют семейство
доверительных множеств с уровнем 1—а, и это семей-
ство минимизирует Р{0<0'} при всех 0g2T(0'), т. е.
при всех 0>0'. Этим доказано, что 0 —равномерно наи-
более точная доверительная граница для 0.
(II) Из следствия 1 вытекает, что Fq (t) является
строго убывающей функцией 0 в каждой точке /, в ко-
торой 0 < Fq(1) < 1. Следовательно, (19) имеет не более
одного решения. Предположим теперь, что наблюденное
значение Т равно t и что уравнение Fq (t) = 1 — а имеет
решение 0£Q. Тогда Fg(O = l—а и, по определению
функции С, С(0) = Л Неравенство £<С(0) эквивалентно
неравенству С'(0)<6'(0), а следовательно, 0<0. Таким
образом, 0 = 0, что и требовалось доказать.
При тех же предположениях соответствующая верхняя
доверительная граница с коэффициентом доверия 1 — а
является решением 0 уравнения Pq {Т t} = 1 — а или
уравнения FQ(t) = a.
Пример 6. Чтобы определить верхнюю границу степени
радиоактивности X радиоактивного вещества, его наблюдают
до момента регистрации счетчиком Гейгера m-й частицы. Сов-
местная плотность вероятности для промежутков (i = l, ..., m)
между (£ —1)-й и г-й регистрациями равна
?(<1, •••• = Ш*, «1.............
Пусть T — ^Ti обозначает полное время наблюдения. Тогда 2ZT
имеет ^-распределение с 2m степенями свободы и, как показано
в примере 3, область принятия для наиболее мощного критерия
проверки Я(Х0): Х = Х0 при альтернативе %<%0 имеет вид
2л0Т С, где С определяется уравнением
с
§ а-
О
118
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Множество S • • • » ^тп)» определенное формулой (18), оказы-
вается совокупностью тех X, для которых и, как сле-
дует из теоремы 4, К = С{2Т является равномерно наиболее точ-
ной верхней оценкой для X. Это заключение можно вывести
также из следствия 3.
Если X или Т имеют дискретное распределение, то
следствие 3 не может быть непосредственно применено,
так как функция распределения Fq(1) не будет непре-
рывной, и для большинства значений 0О оптимальный
критерий для Н: 0 = 0О будет рандомизированным. Однако
каждый рандомизированный критерий, основанный на X,
может быть представлен, как нерандомизированный кри-
терий, зависящий от X и случайной величины С7, рас-
пределенной равномерно на (0,1). При этом X и U
независимы. При данной критической функции <р опре-
делим критическую область R равенством
/? = {(#, и): ф(я)}.
Тогда, каково бы ни было распределение X
Р {(X, U) 6 /?} = Р {U < ф (X)} = Еу (X),
так что R имеет ту же самую функцию мощности, что
и ф, и эти два критерия эквивалентны. Пара (X, U)
имеет особенно простое представление, когда X цело-
численно. В этом случае статистика
т = х + и
эквивалентна паре (X, Z7), так как с вероятностью 1
Х=[Т], U=T-[T],
где [Т] обозначает наибольшее целое < Т. Распределе-
ние Т непрерывно и доверительные границы можно
строить, отправляясь от этой статистики.
Пример 7. Допустим, что мы интересуемся верхней гра-
ницей для биномиальной вероятности р, которая может быть,
например, вероятностью того, что в дозе вакцины полиомиэлита,
произведенной в соответствии с определенными правилами,
содержится хотя бы один живой вирус. Пусть ..., Хп обо-
значают исходы п испытаний, Xi принимает значения 1 и 0
с вероятностями р и q соответственно. Пусть Х = Тогда
ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ
119
T=X-\-U имеет плотность
Эти плотности удовлетворяют условиям следствия 3, и верхняя
доверительная граница р является решением (если оно суще-
ствует) уравнения
Рр{Т <^£}=сц
где t — наблюденное значение Т. Решение существует для всех
а<*<п+<х. Для п4~а<£ гипотеза Н (pQ)\ р = р$ при альтер-
нативе принимается при любом р0, и следовательно, р=Л.
Для £<аЯ(р0) отклоняется при всех р0 и доверительное мно-
жество S (t) оказывается пустым. Рассмотрим теперь множества
S* (t), которые равны S (t) при состоят из одной точки
р=0 при £<а. Они также образуют семейства доверительных
множеств с уровнем 1 — а, так как при всех р
Рр {р б S* (Т)} >Pp{p£S (Т)}= 1-a.
С другой стороны, Рр{р' € S* (Т)} — Рр{р' (Т)} при всех р' > О
и, следовательно,
Рр{р' £S(T)} при всех р’>р.
Таким образом, семейство множеств 5* (t) минимизирует вероят-
ность покрытия р’ при всех р' > р в классе семейств с уровнем
1 —а. Соответствующая доверительная граница
p*(t) = p(t) при и р* (t)—0 при
является равномерно наиболее точной верхней доверительной
границей для р с уровнем 1 —а.
На практике, с целью избежать рандомизации и установить
границу, не зависящую от дополнительной величины U, вели-
чину Т обычно заменяют величиной Х+1 = [Т] + 1. Так как
р* (t) — неубывающая функция t, то получаемая на этом пути
верхняя доверительная граница р* ([П + 1) оказывается несколько
завышенной; в качестве компенсации она приводит к большей
вероятности попадания в область правее истинного р.
Пусть 0 и 0 обозначают нижнюю и верхнюю границы
для 0 с доверительными коэффициентами 1 — at и 1 —
и предположим, что 0(я)<0(я) при всех х. Так, на-
пример, будет в условиях следствия 3, если ai + «2< 1,
Интервалы (0, 0) являются в этом случае доверитель*
ними интервалами для 0 с доверительным коэффициен-
том 1 — ai —а2» т. е. они содержат истинное значение
120
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
параметра с вероятностью 1 — щ — а2, так как
Ре {0 < 6 < 0} — 1 — «1 а2 при всех 0.
Если границы 0 и 0 равномерно наиболее точные, то
они минимизируют, при данном уровне, математические
ожидания £0^(0, 0) и £е£2(0, 0) при любой не воз-
растающей по 0 при 0 < 0 и равной 0 при 0>0 и при
любой Л2, не убывающей по 0 при 0 > 0 и равной 0 при
0<0. Полагая
L (0; 0, 0) = Li (0, 0) + Z2 (0, 0),
мы видим, что интегралы (0, 0) минимизируют EqL (0; 0, 0)
при условиях
P0{0>0}<ab PQ {0 < 0}<a2.
Примером подобной функции потерь может служить
А(0; 0, 0) =
0 — 0, если 0 < 0 < 0,
0 — 0, если 0 < 0,
0 — 0, если 0 < 0,
что представляется естественной мерой точности интер-
валов. Отметим, что действительная длина 0 — 0 не была
бы столь же осмысленной мерой, так как короткие ин-
тервалы, лежащие далеко от истинного 0, не дают ни-
какой выгоды.
Важный предельный случай соответствует уровням
— а2 = у . В предположениях следствия 3 и при усло-
вии, что область, где плотность положительна, не зави-
сит от 0, так что критерии мощности 1 невозможны
при а<1, верхняя и нижняя доверительные границы
0 и 0 совпадают. Их общее значение удовлетворяет
соотношению
ре{0<9} = ре{0>е}=4’
6]
ОБОБЩЕНИЕ ФУНДАМЕНТАЛЬНОЙ ЛЕММЫ 121
и оценка 9 для 0 в равной степени как недооценивает 0,
так и переоценивает его. Оценки с этим свойством назы-
ваются медианно несмещенными (о соотношении этого
понятия несмещенности с другими см. задачу 3 в гла-
ве 1). Из вышеприведенных результатов вытекает, что
среди всех медианно несмещенных оценок 0 минимизи-
рует EL(Q, 0) при любой фукции потерь, которая для
фиксированного 0 имеет нулевой минимум при 0 = 0
и не убывает по мере удаления 9 от 0 вправо или вле-
во. Полагая, в частности, L (0, 0) = О при |0-~ 0|<Д и
L (0, 0) = 1 в других случаях, мы заключаем, что в классе
всех медианно несмещенных оценок 0 минимизирует
вероятность отклонения от 0 большего заданной вели-
чины. Более общим образом 0 максимизирует вероятность
/>0{-Д1<0~0<Д2}
при любых Дь Д2 > 0.
, 6. Обобщение фундаментальной леммы
Нижеследующее утверждение представляет собой по-
лезное обобщение теоремы 1 на случай нескольких
ограничивающих условий.
Теорема 5. Пусть /ь ..., fm+l — действительные
функции, определенные на евклидовом пространстве ££ и ин-
тегрируемые относительно некоторой меры р,. Предпо-
ложим, что при заданных константах с1? ...,ст суще-
ствуют критические функции <р, для которых
dp = Ci, i = l, . .., т. (20)
Обозначим класс всех таких критических функций.
(I) В классе $ существует элемент, максимизирующий
ф/m+idp,
(II) Для того чтобы элемент из максимизировал
{ <PM+id|x,
122
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
достаточно существования таких констант kif ..., km,
что
Ф (я) = 1 при
ф (я) = О при
т
fm+1 (%) > 2' fi (ж)>
г—1
т
/пг+1 (^) 2 (ж).
г=1
(21)
(III) Если элемент класса <ё удовлетворяет (21) с
константами кх, ..., km"^Q, то он максимизирует
\ <ffm+idp
в классе всех критических функций, для которых
^fid^^Ci, i —1, ..., т.
(22)
(IV) Множество М точек т-мерного пространства
с координатами
cp/idp,, .... ,
где ф — критическая функция, является выпуклым и замк-
нутым. Если (ci, ..., ст) — внутренняя точка *) М, то су-
ществуют константы к±, ...,кт и критерий ф, удовле-
творяющие (20) и (21), и необходимое условие для того,
чтобы элемент из <ё максимизировал
ф/т+1ЙН>
состоит в том, что (21) выполняется р-почти всюду.
Здесь термин «внутренняя точка М» в утверждении
(IV) может означать точку, внутреннюю для М как
относительно всего m-мерного пространства, так и отно-
сительно наименьшего линейного подпространства (раз-
мерности <тп), содержащего М. Теорема справедлива
*) Случай, когда это предположение не выполняется, рас-
смотрен в книге: D a n t z i g and Wald, On the fundamental
lemma of Neyman and Pearson, Ann. Math. Stat., vol. 22(1951),
87—93.
в]
ОБОБЩЕНИЕ ФУНДАМЕНТАЛЬНОЙ ЛЕММЫ
123
при обоих интерпретациях, но является более сильной
при последней, при которой она и будет доказана.
Отметим также, что вполне аналогичный результат
верен в задаче минимизации ф/m+idp.
Доказательство. (I) Пусть {фп} —такая после-
довательность функций ИЗ ДЛЯ которой
стремится к sup \ q>fm+i dp,. По теореме о слабой ном-
ер J
пактности для критических функций (теорема 3 в До-
полнении) существуют подпоследовательность {<рп.} и кри-
тическая функция ср такие, что
fk d[i —> \ ср/* для Л=1, ..., ти + 1.
Отсюда следует, что ф С $ и максимизирует интеграл от
в классе
(II) и (III) доказываются точно так же, как часть (II)
в теореме 1.
(IV) Замкнутость М вытекает из теоремы о слабой
компактности, а его выпуклость из того факта, что,
каковы бы ни были критические функции <pi и ф2 их
комбинация афх+(1 — а) ф2 при любом 0<а<1 также
является критической функцией. Обозначим N множе-
ство точек (т-4-1)-мерного пространства с координатами
Q фМЩ • • •> ф/т+Х^Н^,
где ф пробегает класс всех критических функций. Тогда,
по тем же причинам, что и выше, N будет выпуклым
и замкнутым. Условимся обозначать координаты точек
М и N символами (hi, ..., ит) и (иь ..., ит+1) соответ-
ственно. Точки N, первые т координат которых равны
ci, ..., ст, образуют замкнутый интервал [с*, с**].
Предположим сначала, что с* < с**. Так как (сь ...
...,ст, с**) является граничной точкой N, то сущест-
вует гиперплоскость П, проходящая через эту точку
и такая, что все точки N лежат или на П, или под П.
124
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Пусть уравнение П имеет вид
т+1 т
'^kiui=^: ktct + km+tc**.
i=i i=l
Так как (q, ..., ст) — внутренняя точка М, то коэф-
фициент кт+1 #= 0. Чтобы показать, это, выберем с,
с* < с < с**. Точка (q, ..., сгп, с) — внутренняя точка N.
Поэтому существует сфера с центром в этой точке, це-
ликом лежащая в 7V, и следовательно, расположенная
под П. Таким образом, мы видим, что точка (q, ..., ст, с)
не лежит на П и, стало быть, Лг7П+1 Ф 0. Мы можем поло-
жить fcm+1 = — 1, и тогда для каждой точки из N
т т
Um+i S 3 kjC}.
6]
ОБОБЩЕНИЕ ФУНДАМЕНТАЛЬНОЙ ЛЕММЫ
125
Иными словами, для любой критической функции <рт
тп т
ф (jm+i — 2 Ф** Qm+1 — 2 d^>
i=l i=l
где ф** —критерий, соответствующий точке (сь ...
. с**). Таким образом, критическая функция ф**
максимизирует правую часть последнего неравенства.
Так как интеграл, стоящий в этой части, получает
максимальное значение при ср = 1 в точках, где подын-
тегральное выражение положительно, а при ф = 0в дру-
гих точках, то ф** p-почти всюду должна удовлетво-
рять (21).
Рассмотрим случай с* = с**. Пусть (с', ..., с^) —точ-
ка из М, отличная от (clt ..., ст). Мы покажем сейчас,
что существует ровно одно действительное число с та-
кое, что (с', ...,с^, с') лежит в N. Допустим против-
ное, т. е. что две точки (с', ..., с'т, с') и (е', ..., с'т, с)
лежат в N. Возьмем любую точку (с", ..., с™, с") из N
так, что точка (сь лежит внутри прямолиней-
ного отрезка, соединяющего (с', ..., ст) и (с", ..., с™).
Такая точка существует, так как (ci, ..., ^ — внутрен-
няя точка М. Тогда выпуклое множество, «натянутое»
на три точки
(Ср • • • , ^ ), (^1> • • • » ^171, ) И (^1 , ..., ст, с ),
содержится в N и содержит точки (сь ..., ст, с) и
(сх, •. •, стп, с) с с < с, что приводит к противоречию.
Так как N выпукло, содержит начало и имеет самое
большее одну точку на каждой вертикали Ui = c', ...
...,ит®Ст» т0 N содержится в гиперплоскости, про-
ходящей через начало и не параллельной оси ит+1.
Поэтому
т
Ф/т+1^ = 2ki $ фМн
1=1
126 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЕЕ КРИТЕРЙЙ [гл. 3
для всех ф. Это может быть лишь в тривиальном случае
т
/m+i = S kt fl ц-почти всюду
г=1
и, следовательно, (21) выполняется автоматически.
Следствие 4. Пусть рь ..., рт, pm+i являются
плотностями по отношению к мере р, и пусть 0<а<1.
Тогда существует критерий ф такой. что Е^(Х) =
= а (i = 1, ..., т) и Em+i ф (X) > а, исключая тот случай,
т
когда /Wi=2 рг р,-почти всюду.
1=1
Доказательство. Мы используем индукцию по
т. При тп = 1 утверждение сводится к следствию 1.
Допустим, что оно доказано для любой системы из т
плотностей, и рассмотрим случай (zn-hl) плотности
Pi. • • •, Pm+i- Если plt ..., рт линейно зависимы, то
число pi может быть сокращено, и теорема верна по
предположению индукции. Примем теперь, что р19 .. ..рт
линейно независимы. Тогда для каждого / = 1,
существуют, в силу предположения индукции, крите-
рии ф,- и ф4 такие, что Елр. (X) = Е^ (X) = а при всех
j = l, ...,/—1, / + 1, ...,т и ^фДХ) <а< Е^(Х).
Отсюда следует, что точка m-мерного пространства, все
координаты которой равны а, является внутренней точ-
кой М, так что применимо утверждение (IV) теоремы 5. |1
Критерий ф (х) == а таков, что (X) = а при i = 1, ..., т.
Если среди всех критериев, удовлетворяющих наложен-
ным ограничениям, этот критерий является наиболее
мощным, он должен удовлетворять (21). Так как
О < а < 1, то из сказанного следует
т
Pm+i=3 kt Pt р,-почти всюду,
1=1 ’
что и требовалось доказать.
Наиболее полезными в теоремах 1 и 5 являются
части (II), дающие достаточные условия для того, чтобы
критическая функция максимизировала некоторый интег-
рал при определенных дополнительных ограничениях.
Эти результаты могут быть весьма просто получены
Двусторонние гипотезы
127
(как показано ниже) методом неопределенных множи-
телей.
Лемма 3. Пусть F\, ..., Fm+i — действительные
функции, определенные на пространстве U. Рассмот-
рим проблему максимизации Fm+i (и) при ограничениях
Fi(u) = ci (1 = 1, ...,ти). Для того чтобы точка uQ,
удовлетворяющая этим ограничениям, была решением
данной проб ле мы, достаточно, чтобы она максимизировала
выражение
т
[Fm+1 (u) — S kt Ft (и)
i=l
хотя бы при одном выборе к1у ..., кт.
Применяя эту лемму, максимизацию производят обычно
при произвольных к и затем определяют эти константы
так, чтобы выполнялись наложенные ограничения.
Доказательство. Пусть и — любая точка, удовле-
творяющая наложенным ограничениям. Тогда
т т
Ртп+1 (и) S Ft (и) Fyn+i (и°) 2 kf Fi (u°),
i=l i—1
и, следовательно, Fm+1 (и) < Fm+i (uQ).
53 Рассмотрим, в качестве иллюстрации, проблему, ра-
зобранную в теореме 5. Пусть U будет пространством
всех критических функций ф и пусть Ft (ф) = ф/1 dp,.
Тогда достаточное условие для того, чтобы ф максими-
зировала /г7П+1(ф) при ограничениях /\(ф) = сь состоит
в том, что ф максимизирует Fm+± (ф) — 2 Рг (ф) =
= (/m+i - 2 /О Ф Последнее же выражение делает-
ся максимальным, если принять ф (х) = 1 или 0 при
/пг+1(^)> ИЛИ <2Лг/г(я:).
7. Двусторонние гипотезы
РНМ критерии существуют не только для односто-
ронних, но также и для некоторых двусторонних гипо-
тез типа
Я:0<0Х или 0>02(0i< 02). (23)
128
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Проблемы подобного рода могут возникать, например,
если мы желаем определить, удовлетворяются ли задан-
ные требования относительно пропорции ингредиента
в каком-либо медикаменте. Другой пример — определе-
ние того, является ли измерительный инструмент, ска-
жем линейка, правильно размеченным. Мы выдвигаем
гипотезу, что 0 не лежит в заданных пределах. Здесь
ошибка первого рода состоит в объявлении, что 0 удовле-
творительно, в то время, как оно таковым не является.
На практике решение принять Н сопровождается обычно
указанием, считать ли 0<0i или 0>02. Последствия
гипотезы Н бывают, обычно, весьма весомы, и поэтому
принятие Н в любом случае должно сопровождаться
более тщательным исследованием. Так, если при
испытании измерительного прибора перед его выпуском
обнаруживают, что он не сбалансирован надлежащим
образом, то потребуется дополнительная работа по доведе-
нию этого прибора до необходимого стандарта. В науч-
ном исследовании неравенства 0 < 01 и 0 > 02 могут
противоречить некоторым высказанным ранее предполо-
жениям, и может потребоваться более сложная теория
или дополнительные эксперименты. В подобных ситуа-
циях допустимы только две основные возможности: или
действовать так, как если бы 01 < 0 < 02, или произво-
дить дальнейшее исследование. Сведение задачи к про-
верке гипотезы Н может оказаться весьма подходящим.
В настоящем разделе мы докажем для экспоненциаль-
ных семейств существование РНМ критерия для Н.
Теорема 6. (I) Воднопараметрическом экспоненци-
альном семействе существу ет PH М критерий гипотезы Н:
0< 01 или 0 > 02 (01 < 02) при альтернативе К: 01 <
< 0 < 02. Этот критерий определяется равенствами*.
дф) =
1, если Ci < Т (х) < С2 (Ci < С2)
Уь если T(x) = Cit 1 = 1, 2,
О, если Т (х) < Ci или > С2,
(24)
где Ct и Xt определяются из условий
^е1Ч>(х)=Ев!,(р(Х) = а.
(25)
7]
ДВУСТОРОННИЕ ГИПОТЕЗЫ
129
(II) Этот критерий минимизирует Е$у(Х) при ус-
ловии (25) при всех 0 < 91 и 0 > 92.
(III) При 0 < а < 1 функция мощности этого крите-
рия имеет максимум в точке 90, лежащей между 91 и 92,
и строго убывает при удалении 9 от 90 вправо или влево.
При этом исключается тот случай, когда существуют
два числа —1± и /2, для которых
Pq {Т (X) = ti} -\-Pq {Т (X) — t2} — 1 при всех 9.
Доказательство. (I) Мы можем ограничиться
случаем, когда Т ~Т (X) — достаточная статистика, рас-
пределение которой в соответствии с леммой 7 главы 2
равно
dPe(0 = C(0) eQ^dv (0,
где @(9) предполагается строго возрастающей. Пусть
91 < 9' < 92. Рассмотрим сначала проблему максимизации
Eq'^(T) при условии (25), если в нем ф (х) — ф [71 (ж)].
Обозначим М совокупность всех точек (Eqx ф (71), (71)),
получающуюся, когда ф пробегает класс всех критиче-
ских функций. Тогда точка (а, а) будет внутренней
точкой М. Это вытекает из следующего соображения.
По следствию 1 М содержит точки (а, щ) и (а, и<^ с
Ui < а < к2, а потому содержит все точки (и, и) с 0 <
<и<1. По теореме 5 (утверждение (IV)) существуют
константы Al, к2 и критерий ф0 (t) такие, что ф0 (х) —
= фо [Т (ж)] удовлетворяют (25) и что фо(0 = 1» когда
&1С (91) е°- <01)* + к2С (02) е® 1 < С (9') е* \
т. е. когда
а^ъ^ + а2еъ^ <1 (£4 < 0 <
и ф0 (0 = 0, когда левая часть последнего неравенства
больше единицы.
Здесь оба числа а не могут одновременно быть отри-
цательными, так как тогда бы критерий всегда откло-
нял гипотезу. Если одно а<0, а другое а > 0, то левая
часть строго монотонна, и критерий имеет односторон-
ний характер, рассмотренный в следствии 2. Поэтому
его функция мощности строго монотонна и не может
9 Э. Леман
[30 , РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
удовлетворять (25). Следовательно, оба числа а поло-
жительны и критерий удовлетворяет (24). По теореме
5(Ш) он максимизирует E0^(7’) и при более слабых
ограничениях Е0.ф(7)<а (Z = l, 2). Для завершения
доказательства того, что этот критерий проверки Н
РНМ, необходимо установить, что он удовлетворяет
неравенствам Ё0ф(7')<а при 0<0i и при 0>02. Это
выводится из (II) посредством сравнения с критерием
Ф(0 = а-
(II) Пусть 0'< 0р Для минимизации Eq, ср (X) при
условии (25) используем теорему 5 (IV). Нетрудно видеть,
что интересующему нас критерию соответствует крити-
ческая область вида
+ а2еъ^ <1 (&i < 0 < b2).
Таким образом, он совпадает с критерием, найденным
в (I). По теореме 5 (IV) первое и третье из условий (24)
являются необходимыми и потому в предположении
Р{7’ = £,.} = () оптимальный критерий единствен.
(III) Не ограничивая общности, допустим, что Q (0) = 0.
Из (I) и непрерывности Р(0)~Е0ф(Х) следует, что или
Р(0) удовлетворяет (III), или существуют три точки
0'< 0" < 0"', для которых р (0') = Р (0") = р (0"'). Общее
значение с этих величин лежит между 0 и 1, так как
предположение Р(0') = О (или 1) влекло бы ср (£) == 0
(или 1) v-почти всюду. Но эта возможность исключается
равенствами (25). Как мы видели при доказательстве
пункта (I), рассматриваемый критерий максимизирует
Е0ф (X) при условиях Eq' ф (X) — Е0"' ф (X) = с, каково
бы ни было 0' < 0 < 0"'. Возможность равенства Е0"Ф (X) = с
исключается следствием 4 во всех случаях, кроме того,
когда PQ"^kiPQ' + k2pQ"> v-почти всюду. По сделанным
в формулировке пункта (III) предположениям, из по-
следнего равенства вытекало бы существование трех
точек ti9 t2i t3, для которых
Pq' (М
Pq" (h)
1=^1
Pv(ti)
i = l, 2. 3.
Но это невозможно, так
+ (t) выпукла.
как функция [kip# (/) +
8] НАИМЕНЕЕ БЛАГОПРИЯТНЫЕ РАСПРЕДЕЛЕНИЯ 131
На практике, чтобы определить и начинают
с некоторых пробных значений С*, у*, затем отыскивают
такие С^, у!, что р*(01)--=а, и вычисляют р*(02). Послед-
нее, как правило, оказывается или слишком большим,
или слишком маленьким. При выборе следующих проб-
ных значений полезно заметить следующее: если
Р* (9г) < а, то истинная область приемки лежит справа
от выбранной, т. е. или или С\ = С* и тогда
Yi < у*- Если Р*(92) > а, то справедливо обратное утвер-
ждение. Сказанное вытекает из леммы 2, примененной
к Т (х). Любой критерий ф*, удовлетворяющий соотно-
шениям (24) и р* (91) ~ а, должен располагаться или
справа, или слева от критерия ф, удовлетворяющего (24)
и (25). В соответствии с тем, находится ли ф слева или
справа от ф* функция ф(О~Ф*(О""ф(О является
монотонно возрастающей или монотонно убывающей,
и по лемме 0*(02)>а или р*(02)<а.
Хотя в экспоненциальном семействе существует РНМ
критерий проверки гипотезы: 0<0! или 0>02, РНМ
критерий для двойственной гипотезы И: 0i<0<02 или
для гипотезы 0 = 0О может не существовать (см. задачу 26).
Но, как будет показано в главе 4, существуют РНМ
несмещенные критерии для этих гипотез.
8. Наименее благоприятные распределения
Как следует из теоремы 1, всегда существует наиболее
мощный критерий проверки простой гипотезы при простой
альтернативе. Возьмем более общий случай. Пусть в евкли-
довом выборочном пространстве даны мера ц и функции
/о, 0 g со, и g, являющиеся плотностями по отношению
к этой мере. В задаче проверки Н: fn, 0 б со при простой
альтернативе К: g существует наиболее мощный критерий
уровня а. Это можно установить, исходя из теоремы о сла-
бой компактности для критических функций (теорема 3
Дополнения); ср. теорему 5 (I)»
В теореме 1 для случая простых гипотез указывается
также способ построения наиболее мощного критерия.
Мы распространим теперь эту теорему на сложные гипо-
тезы, придерживаясь направления теоремы 5 и используя
метод неопределенных множителей. Однако результат
9*
132 РАВНОМЕРЙО НАИБОЛЕЕ МОЩНЫЙ КРИТЕРИЙ [гл. 3
здесь оказывается заметно менее точным. Он оставляет,
по существу, открытым вопрос о выборе множителей,
совокупность которых принимает теперь форму произ-
вольного распределения. В конкретных задачах этот выбор
сопряжен со значительными трудностями.
С другой точки зрения, наш подход к задаче можно рас-
сматривать, как сведение сложных гипотез к простым. Это
достигается введением «взвешенных средних» распреде-
лений из Н. Сложная гипотеза Н заменяется при этом
простой гипотезой Н%, при которой плотность X опреде-
ляется формулой
М*)= $/е(*ИХ(0),
(О
где X — распределение вероятностей на со. Проблему оты-
скания надлежащего К часто можно упростить с помощью
следующих соображений. Так как Н не дает информации
о точном значении 0 и так как должно быть эквивалент-
но Н (с точки зрения альтернативы g), то естественно
требовать, чтобы знание X было как можно «менее полез-
ным». Уточним эту мысль. Допустим, что 0 имеет распре-
деление X. Тогда максимальная мощность Рх, которая
может быть достигнута при альтернативе g, соответствует
наиболее мощному критерию фх проверки Ях при альтер-
нативе g. Назовем распределение X наименее благоприят-
ным (при уровне а), если при всех X' имеет место нера-
венство Рх < Pv
Теорема 7. Пусть на со задано о-поле такое,
что плотности /q(x) измеримы по совокупности перемен-
ных д и х. Предположим, что существует определенное
на этом в-поле распределение вероятностей X со следую-
щим свойством: наиболее мощный критерий фх уровня а
для проверки при альтернативе g имеет размер < а
по отношению к первоначальной гипотезе Н. Тогда:
(I) Критерий (рх является наиболее мощным для Н
при альтернативе g.
(II) Если фх — единственный наиболее мощный кри-
терий уровня а для Н% при альтернативе g, то он будет
единственным наиболее мощным критерием для Н при
альтернативе g.
8]
НАИМЕНЕЕ БЛАГОПРИЯТНЫЕ РАСПРЕДЕЛЕНИЯ
133
(III) Распределение К является наименее благопри-
ятным.
Доказательство. Заметим сначала, что /г% также
является плотностью по отношению к р. Действительно,
по теореме Фубини (теорема 3 главы 2)
hK (х) dp (х) — d\ (0) /0 (х) dp (ж) = dX (0) = 1.
СО (О
Предположим, что фх — критерий уровня а для Я,
и пусть ф* —любой другой критерий уровня а. Так как
при всех 0 С со 2?еф*(я)<а, то мы имеем
Ф* (я) (х) dp (ж) — £0ф* (X) dX (0) < а.
(о
Следовательно, ф* — критерий уровня а для Н\, и пото-
му его. мощность не превосходит мощности фх. Этим
доказаны (I) и (II). Пусть теперь X'—- любое распреде-
ление. Тогда фх является критерием уровня а для
и, следовательно, его мощность при альтернативе g не
превосходит мощности наиболее мощного критерия, а эта
последняя по определению равна Рх'-
Условиям доказанной теоремы можно придать не-
сколько иной вид. Заметим, что фх может удовлетворять
условиям
£0фх (X) dX (0) = а и £ефх (X) < а для всех 0
(О
только тогда, когда множество всех 0, для которых
£’ефх(Х) = а имеет Х-меру единица.
Следствие 5. Пусть к — распределение вероятно-
стей на со и со' — подмножество со, для которого К (со') = 1.
Пусть Фх — такой критерий, что
1, если g (ж) > к /е (ж) dk (0),
О, если g (ж) < к fe (ж) dk (0).
Тогда в предположении, что
Е0-<Ра, (X) = sup = а Для всех 6'
Фх(ж) =
(26)
(27)
134
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Фх является наиболее мощным критерием для Н при
альтернативе g.
Из теоремы 7 легко получаются теоремы 2 и 6. Мно-
жество со', на котором сосредоточено наименее благо-
приятное распределение X, в первом из этих примеров
состоит из единственной точки 0О, а во втором —из двух
точек 01 и 02. Этого результата естественно было ожи-
дать, так как в обоих случаях в Н имеются распреде-
ления, представляющиеся ближайшими к К. Ниже при-
водится другой пример, когда наименее благоприятное
распределение сосредоточено в одной точке.
Пример 8. Пусть X-характеристика, измеряющая каче-
ство изделей некоторого производства. Это может быть, напри-
мер, величина разрывающего усилия для образцов материала,
или длительность горения, или яркость электроламп. Изделие
считается удовлетворительным, если X превосходит заданную
величину и. Требуется проверить гипотезу Н: р > р0, где
р = Р{Х<и}
— вероятность получить дефектное изделие. Пусть Xlt ..., Хп —
значения рассматриваемой характеристики в выборке объема и,
так что Xk независимы и имеют одну и ту же функцию распре-
деления, о которой никаких сведений не имеется. Каждое рас-
пределение на прямой может быть охарактеризовано заданием
вероятности р и условных распределений Р_ и величины X
при условиях X <.и и X > и соответственно. Если распределения
Р_ и Р+ имеют плотности р_ и р+, например, по отношению
к мере |л = Р_Н-Р+, то совместная плотность ..., Хп в выбо-
рочной точке ..., хп, для которой
'xi\’> • •. * xijn и < xJi' • • ’ ’ xiri — m>
будет равна
Рт (l — p)n-mp_(xii)...p_(xtm) р+ (xh)...p+ (xjn_m).
Фиксируем теперь определенную альтернативу к Н, напри-
мер, (Pi, Р-, Р+) с Р1<?0- При этом следовало бы ожидать,
что наименее благоприятное распределение на Н приписывает
вероятность 1 распределению (р0, Р_, Р+), так как последнее
представляется ближайшим к выбранной альтернативе. При таком
выборе X критерий (26) превращается в
р. Z Qi \^— w _
= 1 или 0 при \q) >или<С
(т. е. при т < или > С соответственно). Критерий отвергает, сле-
довательно, гипотезу, если число дефектных изделий М в выборке
слишком мало. Точнее, он достоверно отвергает гипотезу при М С
8]
НАИМЕНЕЕ БЛАГОПРИЯТНЫЕ РАСПРЕДЕЛЕНИЯ
135
и отвергает ее с вероятностью у при М = С, Сиу определяются
равенством
Р{М <С} + уР{М = С} = а при р = р0. (28)
Распределение числа М является биномиальным распределением
Ъ (р, п) и не зависит от Р+ и Р_Как следствие этого, функция мощ-
ности критерия зависит только от р и является убывающей функцией
р, так что 1 и Я она принимает свое наибольшее значение для р = р0.
Этим доказано, что % — наименее благоприятно, а критерий (рх —
наиболее мощный. Так как критерий не зависит от специального
выбора альтернативы, то он оказывается РНМ.
Выраженная в терминах переменных Z$ = Х{ — и статистика
М, на которой основан критерий, равна числу этих переменных 0.
Сам критерий становится при этом критерием знаков (см. раздел 7
главы 4). Он может служить примером непараметрического крите-
рия, так как он выведен без предположений такого рода, как пред-
положения нормальности, равномерности, принадлежности классу
законов Пуассона распределения X. Предположения такого рода
оставляют неизвестными лишь некоторые параметры.
С очевидными видоизменениями вышеприведенные рассуждения
можно применить к случаю, когда изделие признается удовлетвори-
тельным по признаку и < X < р. Такой случай может встретиться,
например, если X — длина металлического изделия или пропорция
ингредиента в некоторой смеси, для которых заданы некоторые
допустимые пределы. Рассуждения применимы и в ситуациях, где
X — вектор. Предположим, что изделие считается удовлетвори-
тельным только в том случае, когда X попадает в некоторое мно-
жество например, если размеры детали или пропорции ингредиен-
тов лежат в заданных пределах. Вероятность дефектного изделия
будет при этом равна
а Р_и Р+'будут обозначать условные распределения X при условиях
X £ S и X £8 соответственно. Как и прежде, здесь существует
РНМ критерий для Н: р р0, который отвергает Н, если число
дефектных изделий М в выборке достаточно мало. Граница крити-
ческой области определяется из (28).
Распределение X, удовлетворяющее условиям теоремы 7,
существует в большинстве обычных статистических задач
и, в частности, при следующих предположениях *). Пусть
выборочное пространство евклидово, со — борелевское
множество в s-мерном евклидовом пространстве, /q(x) —
непрерывно по 0 при почти всех х.
*) См. Lehmann, On the existence of least favorable distri-
butions, Ann. Math. Stat., vol. 23 (1952), 408—416,
136
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Пусть
lim \ /0П (х) dp. (ж) = О
п~>оо J
о
для любого ограниченного множества S в выборочном
пространстве и любой последовательности векторов 0П,
расстояние которых от начала неограниченно возрастает.
Тогда, каково бы ни было g, существует удовлетворяющее
условиям теоремы 7 распределение X.
Отсюда следует (подобно тому, как следствия 1 и 4
вытекают из теорем 1 и 5), что при выполнении вышепри-
веденных условий и при 0 < а < 1 существует критерий
проверки Н: fe, 0 £ со при альтернативе g мощности
Р > а. При этом исключается случай, когда при некото-
ром X g = /е ^Аг(О). Последняя возможность осуществ-
ляется, например, если /0 и g являются нормальными
плотностями N (0, ст2) и ДГ(О, о*), соответственно с о2 < oj
(см. стр. 137—138).
9. Проверка гипотез о среднем и дисперсии
в нормальной совокупности
Проблемы проверки гипотез о среднем £ и дисперсии
о2 нормального распределения особенно важны, так как
имеют широкую область применения. Здесь и в аналогич-
ных проблемах в дальнейшем мы предполагаем, что пара-
метр, который не оценивается,— неизвестен; но это не бу-
дет указываться при задании гипотезы. Мы будем писать,
например, о < Оо вместо более точного утверждения
о < #0, — °° < % < оо. Стандартные (основанные на от-
ношении правдоподобия) критерии гипотез о < о0 и
задаются критическими областями:
(29)
и
/я(Ж—gp)
(30)
9]
ПРОВЕРКА ГИПОТЕЗ О СРЕДНЕМ И ДИСПЕРСИИ
137
Критерии для гипотез о>сг0 и получаются заме-
ной знаков неравенств в (29) и (30) на противополож-
ные. Как будет показано в последующих главах, эти
четыре критерия являются РНМ как в классе всех
несмещенных, так и в классе всех инвариантных кри-
териев. Однако при обычных уровнях значимости только
первый из них является РНМ.
Пусть Xif ..., Хп — выборка из 7V(g, о2). Рассмотрим
сначала гипотезы Нс, а>о0 и Я2- ог<ст0 и простую
альтернативу Kt £ = £i, a = Qi. Кажется целесообразным
предположить, что наименее благоприятное распределе-
ние X на (£, а)-плоскости сконцентрировано на прямой
о = а0. Так как пара Y = 2Xf/n = X и Z7==S(Xj —X)2
образует достаточную статистику для параметров (g, о),
то можно ограничиться этими величинами. Их совмест-
ная плотность при гипотезе равна
. ("~3) ехр 5 ехР (У-5)2]rfM£)»
а при К равна
С1И2(и-3) ехр ( ехр [ (у - L)2 ] .
Как видно, выбор к влияет только на распределение Y.
Наименее благоприятное к должно, следовательно, обла-
дать тем свойством, что плотность Y при /7%
сближается возможно сильнее с альтернативной плот-
ностью
Начиная с этого места, гипотезы Hi и Н2 следует рас-
сматривать по отдельности. В первом случае Oi<a0.
Надлежащим выбором к среднее значение Y может быть
сделано равным однако дисперсия если и изменится,
то только возрастет по сравнению с первоначальным
значением а^. Это наводит на мысль что наименее
138
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
благоприятное распределение приписывает вероятность 1
точке | = так как при этом распределение Y оказы-
вается нормальным и при Я, и при К, причем среднее
будет одно и то же в обоих случаях, а расхождение
между дисперсиями будет минимальным. Для Я2 (при
которой а0 < Oi) положение будет несколько иным.
Если наименее благоприятное распределение имеет плот-
ность, скажем, X', то плотность Y при Н\ будет
ехр [-^5 {у- g)2]
Это —плотность суммы двух независимых случайных
величин, одна из которых распределена по jV(0, cfyn),
а другая имеет плотность X' (£). Если в качестве X
выбрать 7V(£i, (о* — (*о)/п), то распределение У при
(как, впрочем, и при К) равно -/V (£ь о^/п).
Мы используем теперь следствие 5 с %, предложен-
ным выше. При Я1 более удобно оперировать с перво-
начальными величинами, чем с У и U. Из (26) получаем,
что <р (х) = 1 при
(2шу?) 2 ехр [ —2^2 S ^i)2]
------.......................
(2ло1) * ехр [ — 2 (жг —Bi)2 ]
т. е. при
2(Жг-^)а<С. (31)
Чтобы, оправдать выбор X, мы должны показать, что
а}
в полуплоскости а>а0 достигает максимального значе-
ния в точке | = £i, о — а0. Для любого фиксированного о
это выражение равно вероятности того, что случайная
точка, координаты которой независимы и имеют распре-
деление j¥(£, О'2), попадает внутрь сферы фиксирован-
ного радиуса. Эта вероятность максимальна, когда центр
сферы совпадает с центром распределения, т. е. когда
9]
ПРОВЕРКА ГИПОТЕЗ О СРЕДНЕМ И ДИСПЕРСИИ
139
g — gp Ее значение при этом равно
р {3 »}-р{Зи<£},
где Vi, Vn независимы и распределены по N (0, 1).
Правая часть является убывающей функцией а и потому
максимальна при сг = а0.
В случае Н% применение следствия 5 к достаточной
статистике (У, U) показывает, что ср (у9 и) — 1 при
с1ц2(П 3)ехр(-2^)ехр [—^(У-^1)2]
С0и2( > ехр ( —<5^0 ехР [ — 2^2 (У—£)3 ] *-'(£)
= ЛГехр [— ^(52—52) ]>С,
т. е. при
u = S(^-^)2>C'. (32)
Так как распределение S (Хг —Х)2/о2 не зависит ни от В,
ни от о, то вероятность Р{2 (Хг —Х)2>С | £, а} не зави-
сит от £ и возрастает вместе с о, так что условия след-
ствия 5 выполняются. Критерий (32), будучи независи-
мым от £1 и аь является РНМ для проверки гипотезы
о<о0 при альтернативе сг>а0. Как видно, он совпадает
с критерием отношения правдоподобия (29). С другой
стороны, наиболее мощный критерий (31) для проверки
гипотезы о > а0 при альтернативе о < а0 не зависит от
значения среднего при альтернативной гипотезе, т. е. от
До сих пор неявно предполагалось, что п>1. При
п = 1 и гипотезе Н± наши рассуждения применимы без
изменений и приводят к (31) с n — i. При гипотезе Я2
статистика U отпадает, и У совпадает с X. Используя
то же %, что и раньше, мы видим, что X имеет одно
и то же распределение как при Яь, так и при и кри-
терий ср% принимает вид ср^ (я) == а. Последний критерий
удовлетворяет условиям следствия 5 и потому оказы-
вается наиболее мощным критерием в рассматриваемой
задаче. Мы приходим к выводу, что единственное наблю-
дение не имеет значения при проверке гипотезы Н2
140
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
(что интуитивно очевидно), но что оно может быть
использовано для проверки Hlf если класс альтернатив
достаточно узок.
Соответствующее исследование для гипотезы
более сложно. Можно показать*), что критерий Стью-
дента (30) является наиболее мощным при уровне а > 1/2
и любой альтернативе gi > g0, Oi. Иными словами, этот
критерий РНМ при а> 1/2. С другой стороны, при а <1/2
наиболее мощный критерий для Н отклоняет гипотезу
при 2(а^ —а)2<&, где а и b зависят от альтернативы
(£1, <?1) и от а- Таким образом, для уровней значи-
мости, представляющих действительный интерес, РНМ
критерий для Н не существует. Случай £ > £0 не поро-
ждает новых задач, так как преобразованием —
— {Xi —10) он сводится к уже рассмотренному.
10. Последовательный критерий отношений
вероятностей
В соответствии с фундаментальной леммой Неймана —
Пирсона, наилучшая процедура проверки простой гипо-
тезы Н: плотность X равна р0, при простой альтернативе:
плотность X равна pit принимает или отклоняет Н
в зависимости от того, больше или меньше
Pin ^Р1М---Р1(^п)
Pen (^n)
некоторой надлежаще выбранной константы С. Однако,
если не фиксировать объем выборки заранее, но сделать
его зависящим от хода наблюдений, то возможны даль-
нейшие улучшения. Наилучшая, в некотором смысле,
процедура доставляется следующим последовательным
критерием отношений вероятностей. Пусть А0<Л1 —
две заданные константы. Предположим, что наблюдения
проводятся все время, пока отношение PmlP^n удовлет-
воряет неравенствам
Ао < < Аг. (33)
*) См. Lehmann and Stein, Most powerful tests of
composite hypotheses. I. Normal distributions, Ann. Math. Stat.,
vol. 19(1948), 495 — 516.
10]
КРИТЕРИЙ ОТНОШЕНИЙ ВЕРОЯТНОСТЕЙ
141
Гипотеза Н принимается или отвергается при первом
нарушении (33). Эти решения соответствуют неравен-
ствам Рш//?оп>А- Качество подобной про-
цедуры измеряется обычно вероятностями а0 и 04 откло-
нения Н при р — Pq и принятия Н при р = pi и, кроме
того, средним числом Et (N) наблюдений при p—Pi (г=0,1).
Теорема 8. Среди всех критериев (последователь-
ных или нет), для которых
А (принятия Я)<ах, Ро (отклонения Я)<а0
и E0(N), Er(N) конечны, последовательный критерий
отношений правдоподобия с вероятностями ошибок а0
и ах минимизирует как Eq(N), так и Er(N).
В частности, последовательный критерий отношений
вероятностей требует в среднем меньше наблюдений, чем
критерий с фиксированным объемом выборки и такими же
вероятностями ошибок. Мы отложим доказательство
теоремы до раздела 12. В настоящем и следующем раз-
делах будут указаны основные свойства последователь-
ного критерия отношения вероятностей.
Точное определение границ Ао и Alf соответствующих
заданным а0 и аь сопряжено с большими трудностями.
Поэтому полезны приводимые ниже неравенства. Обо-
значим Яп часть n-мерного пространства, определяемую
неравенствами
А <— < Ai при Л = 1, ..., и —1 и
° Pofc F 1 РОД
Это множество тех точек (хи ..., яп), для которых про-
цедура заканчивается на N — п-м. шаге отклонением Я.
Тогда
оо оо
ао ” 2 Ai S 5
Rn n=l Rn
1 — ах
А
Аналогично, если Sn обозначает часть и-мерного про-
странства, для которой N = п и Я принимается, то
1-а0=2 $ роп>^0-
"=‘ Sn
142 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
При этом мы молчаливо предполагали, что
оо оо
2 рг{ЛГ = п} = 2 j pin = l для i = 0, 1,
n=t n=l RnUSn
т. e. что вероятность неограниченного продолжения
процедуры равна 0. Доказательство этого факта см.
в задачах (34) и (35). Неравенства
(34)
наводят на мысль об аппроксимации границ Ао и А19
соответствующих заданным а0 и ах, величинами
В силу (34) вероятности ошибок в этой приближенной
процедуре удовлетворяют неравенствам
1—aj 0 1 —а0 «о 1 «о
откуда
Если, как это типично бывает, а0 и аг имеет порядок
от 0,01 до 0,1, то превышение оц над аДг = 1,0) оказы-
вается пренебрежимо малым, т. е. с большой точностью
можно принять, что ошибки обоих типов ограничены
сверху заданными а0 и аР Последнее заключение под-
крепляется тем фактом, что а'+а'<а0 + аг Это можно
видеть, складывая неравенства а' (1 — а0) < ах (1 — а') и
< (1 - “i) < ао (1 - <Ч)-
Единственный серьезный риск, связанный с употре-
блением приближенных границ, состоит, следовательно,
в том, что а' и а' могут оказаться намного меньше
заданных значений, что приведет к существенному уве-
личению числа необходимых наблюдений. Однако есть
причины надеяться, что это увеличение будет умерен-
ным. Действительно, положим
<35>
г8
ioj критерий отношений вероятностей 14з
Тогда (33) превращается в
log л < 2 zi'< log л,
i=l
и если гипотеза Н отклоняется, то величины z удовле-
творяют неравенствам
21 -t* . . . + 2а_1 < log Лх < Zr + . . . + Zn.
Аппроксимация состоит в замене Zj+ . . .+ zn на log
Ошибка, как правило, будет умеренной, так как после
(п — 1)-го наблюдения все еще остается < Ai, и по-
грешности не накапливаются, а обусловливаются един-
ственным наблюдением. Аналогичные замечания приме-
нимы к другой границе.
Пример 9. Рассмотрим последовательность биномиальных
испытаний е постоянной вероятностью успеха р. Пусть задача
состоит в проверке р = Pq при альтернативе р = Pi (ро < Pi)- Тогда
/л /п-Ъх.
Pin =Р1г(1-Р1) 1 /Р19оу*г у
P°n p^xi (1__pQ)n~ZXi VPO^IZ
В случае, когда отношение log (piP“o) /log (^o^‘i) рационально,
известны точные формулы *) для вероятностей ошибок и среднего
размера выборки, что позволяет оценить результат замены точных
Ао и Ai на приближенные A'Q и А{ .Для иллюстрации ♦♦) предполо-
жим ро — 0,05, Pi == 0,17, а0 = 0,05, cq = 0,1. Тогда aj = 0,031,
а[ = 0,099 и средние размеры выборки для приближенной проце-
дуры равны E'q(N) = 31,4, E[(N) = 30,0. Имеется и другой план,
найденный методом последовательных приближений, для которого
а* = 0,046, aj = 0,097, E$(N) = 30,5, Е*(А) = 26,1. С другой
стороны, процедура с фиксированным объемом выборки и вероят-
ностями ошибок 0,05 и 0,10 требует 57 наблюдений.
Для определенности мы предположили в определении
последовательного критерия отношений вероятностей, что
наблюдения продолжаются только то время, пока отноше-
ние вероятностей лежит строго между Ао и At. Но
*) Girshick, Contributions to the theory of sequential ana-
lysis, II, III, Ann. Math. Stat., vol. 17 (1946), 282—298 u P о 1 у a,
Exact formulas in the sequential analysis of attributes, Univ. Calif.
Pubis. Mathematics, New Series, vol. 29 (1958), 938—939.
*♦) Взято из книги: Robinson, A note on exaet sequential
analysis, Univ. Calif. Pubis. Mathematics, New Series, vol. 1 (1948),
241-246.
144
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл, 3
рассуждения применимы, в равной мере, и к правилу, по
которому наблюдения продолжаются, пока А 0 <Рщ/роп <
< Ai заканчиваются соответствующими решениями, когда
впервые pin/pon < Ао или > а на границах решения
принимаются с некоторыми вероятностями. Термин «По-
следовательный критерий отношений вероятностей» будет
применяться и к этой более общей процедуре. Все эти
процедуры эквивалентны, когда отношение p1(X)/pQ(X)
имеет непрерывное распределение. Однако в случае ди-
скретно распределенных отношений вероятностей целе-
сообразно сохранить возможность рандомизации на гра-
нице, с тем чтобы получать в точности заданные вероят-
ности ошибок. Если допустить рандомизацию также и при
решении вопроса: начинать наблюдения, или принять
решение без наблюдений, то, как можно показать, дости-
жимы любые наперед заданные вероятности ошибок *).
11. Мощность и средний размер выборки
для последовательного критерия отношений
вероятностей
Предыдущий раздел в какой-то степени вводит в за-
блуждение тем, что в нем рассматривается проверка про-
стой гипотезы при простой альтернативе. Но эта поста-
новка задачи интересна, главным образом, теми следст-
виями, которые получаются из нее применительно к более
реалистической ситуации семейства распределений, зави-
сящих от непрерывного параметра. К сожалению, утвер-
ждение о равномерно наибольшей мощности, справедливое
для критерия отношения вероятностей с фиксированным
объемом выборки в случае семейств с монотонным отноше-
нием правдоподобия (теорема 2), не распространяется
на последовательный критерий. Более точно, рассмотрим
последовательный критерий отношений вероятностей для
проверки гипотезы Я: 0О при альтернативе К: 01 и пусть
Р(0) — PQ (отклонения Я) — его функция мощности.
Тогда, если 02 — некоторая другая альтернатива, то по-
♦) Этот результат содержится в пока не опубликованной статье:
Stein, Existence of sequential probability ratio tests. См. также
резюме W i j s m a n, On the existence of Wald's sequential
test. Ann. Math. Stat., vol. 29 (1958), 938—939.
11]
МОЩНОСТЬ И СРЕДНИЙ РАЗМЕР ВЫБОРКИ 145
следовательный критерий отношений вероятностей для
проверки 0О при этой альтернативе, соответствующий
вероятностям ошибок а0 и не совпадает, вообще
говоря, с первоначальным критерием, который поэтому
не минимизирует Eq2 (N). Действительно, представляется
правдоподобным, что с общей точки зрения последова-
тельный критерий отношений вероятностей не приводит к
наилучшей последовательной процедуре для семейств с не-
прерывным параметром, хотя, обычно он лучше, чем соот-
ветствующий критерий с фиксированным объемом выборки.
Допустим, что плотность зависит от действительного
параметра 0 и что проверяется гипотеза 0 < 0О. При этом
обычно не интересуются мощностью критерия при альтер-
нативах 0, близких к 0О, но желают контролировать вероят-
ность обнаружения альтернатив, достаточно удаленных
от 0о. Критерий, следовательно, должен удовлетворять
условиям
Р(0)<а при 0<0О
Р (0) > Р при 0 > 01
(Во < 91),
(36)
что будет иметь место, в частности, когда
Р(0о) = а, P(0i) = P .
и Р(0) — неубывающая функция 0. Последовательный
критерий отношений вероятностей для проверки 0О при
альтернативе 01 и вероятностях ошибок а0 = a, cq =
= 1 — р решает поставленную задачу, если предположить,
что его функция мощности — неубывающая.
Лемма 4. Пусть Х2, . . . независимы и одина-
ково распределены с плотностью Pq(x). Допустим, что
семейство р^(х) имеет отношение правдоподобия, монотон-
ное относительно Т(х). Тогда любой последовательный
критерий отношений вероятностей для проверки 0О при
альтернативе 0Х (0О < 01) имеет неубывающую функцию
мощности.
Доказательство. ПустьZi ~ log(Xf)//70o(Х\)] —
= h(Ti), где h не убывает и пусть 0 < 0'. По лемме 2
для функции распределения Fq (i) величины имеем
ПРИ всех Следовательно, по лемме 1,
существуют случайные величины Vt и функции /
и /' (/ (v)<f (у) при всех v) такие, что распределения
Ю Э. Леман
146] РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
величин f(Vi) и f(Vi) совпадают с Fq и Fq> соответ-
ственно. Рассматриваемый последовательный критерий
допускает следующее геометрическое представление на
п
(п, 2 Л(^’))“плоскости. Наблюдения продолжаются до тех
г=1
пор, пока выборочная точка остается внутри полосы,
образованной параллельными прямыми
2 A(Q = log4j, / = 0, 1.
1—1
Гипотеза отвергается, если путь, образованный точками
(1,Ш))> (2,/г(^) + й(^)), . . .,(7V, • .+МШ
выходит из полосы через верхнюю границу. Вероятность
этого события равна, следовательно, вероятности откло-
нения гипотезы. Для ее подсчета при 0 нужно заменить
на а при 0' —Л на Так как / (Fj)</' (Vi)
при всех Z, то путь, порожденный величинами f'(Vi),
заведомо покидает полосу через верхнюю границу, если
это происходит с путем, порожденным f(Vi). Следова-
тельно, Р(0)<₽(9'), что и требовалось доказать.
Таким образом, в случае монотонного отношения
правдоподобия последовательный критерий отношений
вероятностей с вероятностями ошибок а0 = а и cq = 1 — 0
удовлетворяет (36). Из оптимального свойства, сформу-
лированного в разделе 10, вытекает, что среди всех
критериев, удовлетворяющих (36), последовательный
критерий отношений вероятностей минимизирует средний
объем выборки при 0 = 0О и при 0 = 0А. Но теперь нас
интересует Eq(N) при всех 0. Обычно функция Eq(N)
имеет максимум между 0О и 0Х и убывает, когда точка 0
удаляется от точки максимума в любом направлении.
Часто оказывается, что максимум меньше п0 —наимень-
шего фиксированного размера выборки, при котором
существует критерий, удовлетворяющий (36). Но это
не всегда так. В частности, в обстановке примера 9
при pQ = 0,4; = 0,6; а0 = cq = 0,005 фиксированный объем
выборки nQ равен 160, и хотя для большинства значе-
ний р EP(N) оказывается меньшим этой границы, при
11]
МОЩНОСТЬ И СРЕДНИЙ РАЗМЕР ВЫБОРКИ
147
1
р — ~р EP(N) равно 170. Важная проблема отыскания
критерия, который минимизировал бы supZ?o(2V) при
условии (36), все еще не решена.
Точное определение функции мощности 0 (9) и сред-
него объема выборки E$(N) для последовательного кри-
терия отношений вероятностей в общем случае предста-
вляет собой крайне трудную задачу. Однако, если урав-
нение
E0{[jP01(X)/p0o(X)]ft} = l (37)
имеет ненулевое решение h == h (9) (что верно при не слиш-
ком жестких ограничениях), то возможно дать простые
приближенные формулы (см. задачу 38). В этом случае
также является плотностью вероятности. Допустим
теперь, что h > 0 (другой случай разбирается аналогично),
и рассмотрим последовательный критерий отношений
правдоподобия с границами для проверки ре
при альтернативе р$. При такой процедуре наблюдения
продолжаются до тех пор, пока
Ah Pq (*i) р№») Ah
0 Рв(х1) ' ‘ ' Рб(хп) V
Если а* (1 — а*) обозначает вероятность отклонения
гипотезы при истинном распределении ре(р&), то по (34)
можно определить приближенные выражения для границ
Ah_ а* Ah ~ —а1
0 1 —а* ’1 а? *
Однако рассматриваемый критерий в точности совпадает
с последовательным критерием отношений вероятностей
с вероятностями ошибок а0 = а, «1 = 1 — 0 для проверки 90
при альтернативе 94. Следовательно, «о и 0(9) —вероят-
ности отклонения гипотезы этими критериями при истин-
ном распределении Pq — должны быть равны. Разрешая
вышеприведенные соотношения относительно ао, мы
находим
р (0) ~ 1ГА\ .
(38)
10*
148 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Приближенное значение для Eq(N) может быть
получено из тождества Вальда
EQ{ZZN) = Eq (TV) Eq (Z), (39)
которое, во всяком случае, выполняется тогда, когда
величины независимы и одинаково распределены, и про-
цедура такова, что средний объем выборки конечен. Дока-
зательство этого соотношения смотри в задаче 37. Если
величины Zi(i~l,2, ...) определены равенством (35),
и процедура соответствует последовательному критерию
отношений вероятностей, то Z^ + ... + ZN может быть
аппроксимировано выражением log-4b когда Н откло-
няется, и выражением log Ло, когда Н принимается.
Поэтому в предположении Eq (Z) #= 0, из (39) вытекает
Ев (N) ~ . (40)
Пример 10. В биномиальной схеме примера 9 уравнение
(37) принимает вид
'’СлУ+’Ст»-)'''"1- |41)
Левая часть, как функция h, является выпуклой и равна еди-
нице при Л=0. Отсюда видно, что за исключением случая
p=log(g0/^1)/log(pi^o/Po7i) (когда левая часть минимальна при
й=0), уравнение (41) имеет ненулевое решение. Соотношения (38)
и (41) задают приближенную функцию мощности в параметри-
ческом виде. Ее можно вычислять, придавая h различные значе-
ния и определяя из (38) и (41) соответствующие значения р и Р
(для h=0 р определяется по непрерывности). Ниже приведено
сравнение точных и приближенных значений р (р) и Ер (7V); число-
вые данные взяты из примера 9: ро==О,О5, р = 0,099, р1 = 0,17*)
3 (Р) $(Р1) Яр W
0,05 0,031 0,44 0,409 0,90 0,901 30 31,4 39 46,8 25 30,0 Прибли- женно Точно
*) Взято из уже цитированной книги Robinson, содержа-
щей много других примеров.
12]
ОПТИМАЛЬНОЕ СВОЙСТВО
149
12. Оптимальное свойство последовательных
критериев отношений вероятностей*)
Основная часть доказательства теоремы 8 состоит
в решении следующей вспомогательной задачи. Пусть
проверяется гипотеза Я: плотность X есть р при альтер-
нативе, что она есть р±. Пусть потери, возникающие от
неправильного отклонения (принятия) Я равны (Wi)
и пусть стоимость каждого наблюдения равна с. Риск
последовательной процедуры (т. е. средние потери плюс
средняя стоимость наблюдений) при истинной плотно-
сти pi равен
aiWi + cEi (TV),
где
a0 = PQ (отклонения Я), ах = Р1 (принятия Я)
— вероятности ошибок. Допустим, что номер i плотности
также случаен и принимает значения 0 и 1 с вероят-
ностями л и 1 —л соответственно. Тогда полный сред-
ний риск процедуры .6 равен
г (л, 6) = л [аошо + cEq (TV)] + (1 — л) [a^i + cEr (TV)]. (42)
Мы определим байесовскую процедуру для этой задачи,,
т. е. процедуру, которая минимизирует (42). Здесь
интерпретация (42) как байесовского риска помогает
лучше понять доказательство и приводит к некоторым
задачам, имеющим самостоятельный интерес. Однако,
с точки зрения теоремы 8, введение величин w, с и л
является просто математическим приемом, и задача
состоит в минимизации формального выражения (42).
Байесовское решение содержит две постоянные л'<л",
которые однозначно выражаются через ш0, Wi и с с по-
мощью уравнений (44) и (45) (см. ниже), и которые не
зависят от л. Нам достаточно будет ограничиться слу-
чаем 0 < л' < л" < 1, предполагая также, что априорная
вероятность л удовлетворяет неравенству л'<л<л".
Лемма 5. Пусть л' и л" удовлетворяют уравнениям
(44). Если 0<л'<л"<1, тогда при всех л'<л<л"
*) В этом разделе рассматривается специальный вопрос, на
который ссылок в дальнейшем не будет,
150
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
байесовский риск (42) минимизируется любым последова- Я
тельным критерием отношений вероятностей с границами
Л° = Т^Г—р-> А = (43)
Доказательство. (1) Мы начнем с исследования |
того, стоит ли вообще производить наблюдения, в резуль-
тате чего риск будет не меньше с, или лучше принять 1
решение немедленно. Пусть б0 (6^ — процедура, которая .
отвергает (принимает) Н без наблюдений, так что j
г (л, б0) = лдо0 (г (л, Si) = (1 — л) Wi). j
Пусть
q (л) = inf г (л, 6), |
беё
где обозначает класс всех процедур, требующих хотя
бы одного наблюдения. Тогда для любого 0 < X < 1
и любых л0, Л1
р[Хл0 + (1 — Л,) Л1] = inf [Хг(л0, 6) + (1 — X) г(лв 6)] >
беё (
(Л0) + (1 — %) Q (jTi)
Следовательно, Q —вогнутая функция, и так как ее зна-
чения ограничены снизу нулем, то она непрерывна на
интервале (0, 1)*). Если )
о ( Wi < W(iWi
то мы определим л' и л" из уравнений
г (л', 60) = е(л') и г (л", 61) = е(л") (44)
(см. рис. 5). В противном случае положим
л' = л" = —5£—. (45) i!
^o + ^l ' *
В рассматриваемом нами случае (0 < л' < л" < 1) 60 i
минимизирует (42) тогда и только тогда, когда л<л\
*) См., например, раздел 3.18 книги: Hardy, Littlewood,
Polya, Inequalities, Cambridge Univ. Press, 1934.
12]
ОПТИМАЛЬНОЕ СВОЙСТВО
151
a 6i минимизирует (42) тогда и только тогда, когда
л>л". Отсюда вытекает единственный оптимальный
способ поведения на первом шаге при л=#л', л": если
л < л' (л > л"), то наблюдения не производятся, а гипо-
теза Н отвергается (принимается); если л' < л < л", то
производится первое наблюдение
(2) Доказательство завершается теперь по индукции.
Пусть л' < л < л" и произведено п наблюдений с исхо-
дами Xi = ^i, ..., Хп~хп. Мы сталкиваемся с возмож-
ностями: не брать ни одного дополнительного наблюде-
ния, отклоняя или принимая Н (с потерями wQ и Wi
в случае неправильного решения), или произвести наблю-
дение Xn+i. Положение весьма сходно с проанализиро-
ванным в пункте 1. Допустимо неограниченное накопле-
ние наблюдений. Тот факт, что уже израсходовано пс
единиц, не влияет на задачу, так как раз уж мы понесли
эти потери, то никакие будущие события не могут их
уменьшить. Таким образом, процедура совпадает с преж-
ней: наблюдения не производятся, если вероятность того,
что Н верна, меньше л' или больше л", в то время как
при л' < л < л" производится дополнительное наблюде-
ние Хп+1.
152 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Наличие результатов хп уже произведенных
наблюдений изменит только одну сторону ситуации.
Вероятность того, что гипотеза Н верна, будет теперь
равна не л, а
Л (ЖЬ . . ., Хп) = --»
т. е. условной (апостериорной) вероятности Н при
Xi = xi, ..., Хп;=хп. Процедура, следовательно, требует
продолжения наблюдений только в случае
л' < Л (^!, . . . , Хп) < л",
т. е. в случае
а _ я 1—л'
0 ~ 1 — л л"
PQn,
1 — л
л'
Л
1 — л
—
Гипотеза Н принимается, если при первом нарушении
этих неравенств
Г РОп
шение больше Ait
< и отвергается, если это отно-
(3) Как показано в части (1) доказательства, на пер-
вом шаге процедуры решение однозначно определяется
(So при л < л', 61 при л > л", произвести наблюдения
при л'<л<л"). При л = л' процедура 60 снова мини-
мизирует (42), но перестает однозначно определяться
этим свойством, т. е. существует процедура Sg^g, для
которой г (л', 6) = р(л'). Чтобы принадлежать к эта
процедура должна требовать по меньшей мере одного
наблюдения. Коль скоро значение Хг стало известным,
то, как следует из части (2), наилучшая процедура
в $ получается, если наблюдения продолжать при
л' < л (^1, ..., хп) < л".
На первом шаге, следовательно, является несущест-
венным, будут ли при пограничном значении экспери-
менты продолжены, или мы примем вышеуказанное
решение. То же самое верно и для последующих шагов.
Этим доказано, в частности, что при л'<л< л" процедура,
состоящая в проведении первого наблюдения и в следо-
вании в дальнейшем последовательному критерию отно-
шений вероятностей с границами (43), является байесов-
ской.
12]
ОПТИМАЛЬНОЕ СВОЙСТВО
153
Связь между вспомогательной и основной задачами
I устанавливается следующей леммой.
Лемма 6. Каковы бы на были 0 < л' < л" < 1, най-
дутся числа 0 < до < 1 и с > О такие, что байесовское
решение вспомогательной задачи с i —w, W\ = w, с
и априорной вероятностью л (л' < л < л") дается после-
I дователъным критерием отношений вероятностей с гра-
ницами
р д __ ГС . I ГС0 д ______ ГС 1 — Лр
° ~ 1 —ГС * ГС'о ’ 1-“ 1—-Л * Л^
Доказательство*). (1) По лемме 5 величины л'
и л" — суть функции от w и с и потому достаточно найти
такие w и с, что л' (до, с) ~ л', л" (до, с) = л". Обозначим
(при фиксированном до) л' (е) = л' (до, с) и л" (с) = л" (до, с).
Если с0 — наименьшее с, при котором л' (с0) = л" (с0), то
при 0 < с < со величины л' (с) и л" (с) определяются из
уравнений
(1 —-до) л'= р(л', с), (1 — л")до= р(л", с),
I где р(л, с) обозначает то, что ранее мы обозначали р(л).
I Функция е(л', с), рассматриваемая как функция с при
фиксированном л', обладает следующими свойствами:
(I) она непрерывна, что вытекает из ее вогнутости; (II)
она строго возрастает, так как при любом 6 g риск
строго возрастает вместе с с и так как минимальный
риск р(л', с) достигается на процедуре 8£&, (III) при с,
стремящемся к нулю, р(л', с) и р(л", с) также стремятся
к нулю. Последнее утверждение вытекает из того, что,
рассматривая критерии с фиксированным объемом выбор-
ки и и беря п достаточно большим, можно сделать
I вероятности ошибок сколь угодно малыми.
1 Из этих свойств функции р вытекает, что при 0 < с < с0
функция-л'(л") непрерывна, строго возрастает (убывает)
и что л'(с)—^0, л"(с)—>1 при с—>0. G другой стороны,
при с—>с0 л" (с) — л'(е) —>0, так что обе величины стре-
мятся к решению л' = л" = до уравнения л'(1 —до) =
= (1—л')до. Из перечисленных свойств следует, что при
фиксированном до
1 (г\__ л'/ (с) л'// (с)
______________ W 1 — л' (с) ‘ л" (с)
| *) Это доказательство было сообщено мне Л. Ле-Камом.
I
154
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
является непрерывной, строго возрастающей функцией,
которая изменяется от 0 до 1 при изменении с от 0 до
Со = с0 (w).
(2) Пусть
А , ч л' (w, с) 1 — л" (ш, с) , х Л" (iP, с)
Вместо того, чтобы оперировать с переменными л' и л",
более удобно иметь дело с X и у. Докажем, что суще-
ствуют w и с такие, что
Согласно части (1) доказательства, для любого w суще-
ствует единственное с = с (w) такое, что X (w, с) = Хо. Ниже
будет показано, что функция у (до) = у [со, с (до)] осущест-
вляет взаимно однозначное отображение интервала
0<до<1на0<у<оои, следовательно, найдется един-
ственное значение до, для которого у (до) = у0. Этим дока-
зательство леммы будет завершено.
(3) По лемме 5 для вспомогательной задачи с кон-
стантами до, с = с(до) и л = л' [до, с (до)] существует байе-
совское решение д', которое является последовательным
критерием отношений вероятностей с границами
Пусть д" обозначает соответствующее решение при кон-
стантах до, с = с(до) и л = л"[до, с (до)], так что для д"
границы равны
Л" __ 4 J" [W, с (ш)1 . 1 —Л' с М] _ 1
° ’ 1 1 — л" [гр, с (гр)] л'[ш, c(tp)] %0
Тогда вероятности ошибок и средние размеры выборок,
т. е. а', а;, E;(JV), Е[ (N) для д' и а", а;', Er'(N), E''(N)
для д" зависят от до и с только через Хо, но не через у.
Поэтому при фиксированном они будут фиксирован-
ными числами. Байесовские риски для л = л'[до, с (до)]
и л = л" [до, с (до)] равны
9(л') = г(л', д') ц §(л") = г(л", д"),
12]
ОПТИМАЛЬНОЕ СВОЙСТВО
155
и из (44) следует, что
г (л', 60) = г(л', д') и г (л", 6i) = г (л", 6").
Эти уравнения могут быть более подробно записаны
в форме
л' (1 — ш) = л' [а' (1 — ш) + сЕ'о (TV)] + (1 — л') [а> + сЕ[ (7V)]
и
(1 - л") w = л" [< (1 - w) + сЕ'' (TV)] + (1 - л") [а> + сЕ'' (N)].
Если сюда подставить Хоу вместо л'/(1 — л') и у вместо
л"/(1 —л"), а затем исключить с, то мы придем к одному
уравнению, связывающему у и w:
{AoY (1 - <) - w [XoY (1 - cQ + а;]} {уЯ" (N) + E[ (N)} =
= {- + w [(1 - <) + Y<1} • ЦоуЯ; (TV) + Б, (TV)}.
Оно линейно относительно w и при каждом у > 0 имеет
решение 0 < w < 1. Как функция у оно является ква-
дратным трехчленом, причем коэффициент при квадрате
и свободный член имеют при 0 < w < 1 противоположные
знаки. Следовательно, в этом случае существует един-
ственное положительное решение у, которое и устана-
вливает желаемое взаимно однозначное соответствие
между у и w.
Чтобы закончить доказательство теоремы 8, рассмо-
трим теперь какой-либо последовательный критерий отно-
шений вероятностей с Ао < 1 < и любой константой
О < л < 1. Пусть
_ Л гг_ Л
~~ Ai(l — л)4-л ’ Ло(1 —л)+«
Эти значения удовлетворяют (43) и 0 < л' < л < л" < 1.
По лемме 6 найдутся, следовательно, константы 0 < 1
и с > 0 такие, что данный критерий оказывается байе-
совским решением вспомогательной задачи, в которой
истинная плотность равна р0 с вероятностью л, потери
равны Wq ~ 1 — w и Wi = w и стоимость одного наблюде-
ния — с. Пусть a0, ai, Eo(N), E^{N) будут вероятно-
стями ошибок и ^средними объемами выборок для дан-
ного критерия. Рассмотрим любую конкурирующую
156
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
процедуру S* с вероятностями ошибок a*<ctj и разме-
рами выборок Е* (7V) < оо (i = 0, 1). Так как данный
критерий минимизирует байесовский риск, то для него
эт [(1 — w) (х0 + сЕ0 (TV)] + (1 — л) [wai + сЕ± (JV)] <
< л [(1 - w) < + с£* (#)] + (1 - л) [ша* + сЕ* (7V)]
и, следовательно,
лЕ0 (TV) + (1 - л) Ех (Я) < лЕ* (TV) + (1 - л) Е* (N).
Справедливость этого неравенства при всех 0 < л < 1
влечет
Ео(^)<Е:(ДГ) и E!(7V)<E*(^),
что и требовалось доказать.
13. Задачи
К р а з д е.-л у 2
1. РНМ критерий для Л (0, 0). Пусть ..., Хп)—
выборка из распределения, равномерного на (0, 0).
(I) . Для проверки Я: 0<0О при альтернативе К: 0>0О РНМ
уровня а будет любой критерий, для которого £’0о(р(Х) = а,
Z?0(p(I)<a при 0<0О и ср (а?) = 1, когда тах^, ..., #п)>0о-
(II) Для проверки Н: 0 = 0О при альтернативе К: 0#=0О
существует единственный РНМ критерий. Для него <р(а?)=1 при
тах(я4, . ..,a?n)>0o или max (rq, ..., ^)<0oFa, и ф (a?) = О
в других случаях.
[(II) Определите РНМ критерий для проверки 0 = 0О при аль-
тернативе 0 < 0О и соедините этот результат с (I).]
2. РНМ критерий для экспоненциальных семейств. Пусть
X}, ...» Хп — выборка из экспоненциального распределения с плот-
ностью ae~a<x~b\
(I) Определите РНМ критерий для проверки Н: b — bQ при
альтернативе К: b 60, если а известно.
(II) Определите РНМ критерий для проверки Н: a~aQ, b — bQ
при альтернативах а>«о» Объясните, с чем связано
(весьма неожиданное) существование в этом случае РНМ крите-
рия для двупараметрической проблемы.
[(I) Случайные величины образуют выборку из
равномерного на (0, е~аЪ) распределения.]
3. Если выборочное пространство евклидово и Ро и Р\
имеют плотности по отношению к лебеговской мере, то сущест-
13]
ЗАДАЧИ
157
вует нерандомизированный наиболее мощный критерий проверки
Ро при альтернативе при любом уровне значимости а * * ***)).
[Это вытекает из теоремы 1 и следующей леммы: *♦) пусть
/^0 f(x)dx — a\ тогда при любом существует под-
А
множество В множества А такое, что / (х) dx — b.
в
4. Вполне информирующие статистики. Статистика Т назы-
вается вполне информирующей, если в любой проблеме решения
процедуры, основанные только на Г, образуют существенно пол-
ный класс. Если семейство —доминировано и статистика Т
вполне информирующая, то Т достаточна.
[Рассмотрим любую пару распределений Ро, Pi £ & с плот-
ностями Pq, pi и пусть gi — Pi/(Po^rPi)- Предположим, что Т—
вполне информирующая статистика. Обозначим подполе,
индуцированное Т. Тогда содержит подполе, порожденное
парой (g0, gj, так как оно содержит каждую критическую
область, которая является (единственной) наиболее мощной для
проверки Pq при альтернативе Pj (или Pj при альтернативе Pq)
для какого-либо уровня а. Следовательно, Т достаточна для каж-
дой пары распределений и потому (см. задачу 9 в главе 2) доста-
точна для ^].
К разделу 3
5. Пусть X—число успехов в п независимых испытаниях
с вероятностью успеха р. Пусть <р(гг)— РНМ критерий (9) для
проверки р pq при альтернативе р > р0 с уровнем значимости а.
(I) Для л=6; ро = О,25 и уровней а=0,05; 0,1; 0,2 опреде-
лите С и у и найдите мощность критерия при альтернативах
/4 = 0,3; 0,4; 0,5; 0,6; 0,7.
(II) Допустим, что при /> = 0,2 и а = 0,05 желательно по-
строить критерий мощности р > 0,9 при альтернативе /4 = 0,4.
Определить необходимый объем выборки: (а) используя таблицы
биномиального распределения, (б) используя нормальное прибли-
жение ♦♦*).
*) О более общих результатах, касающихся возможности
обойтись без рандомизированных процедур, см. Dvoretzky,
Wald and Wnlfowitz, Elimination of randomization in
certain statistical decision procedures and zero —sum two-person
games, Ann. Math Stat., vol. 22 (1951), 1 — 21.
♦♦) Доказательство этой теоремы см. в книге: П. Халмош,
Теория меры, ИЛ, 1953, 171. Лемма является частным случаем
теоремы Ляпунова, см. «О вполне аддитивных вектор-функциях»,
Изд. АН, сер. матем., 4 (1940), 465—478.
***) Обсуждение другого удобного метода, применимого к этой
и близким проблемам, см. в работе: Mosteller and Т u к е у,
The uses and usefulness of binomial probability paper, J. Am.
Stat. Assoc., vol. 44 (1949), 174-212.
158 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
(III) Используйте нормальное приближение для определения
необходимого объема выборки при а = 0,05; 0 = 0,9; ро = О,О1;
Pi = 0,02.
6. (I) Допустим, что существует смешанная вторая производ-
ная d2 log ре (#)/д0 Эх. Плотности Ре(х) имеют монотонное отно-
сительно х отношение правдоподобия тогда и только тогда, когда
эта производная > 0 при всех 0 и х.
(II) Равносильное условие состоит в том, что
привсех 6иж-
7. Пусть плотности ре случайной величины X имеют моно-
тонное относительно Т (х) отношение правдоподобия. Рассмотрим
проблему проверки Н: 6<С0о ПРИ альтернативе 0>0о. Если рас-
пределение Т непрерывно, то критический уровень а определяется
равенством а=Р0О {Г > £}, где t — наблюденное значение Т. Это
верно и без предположения непрерывности, если определить а
для рандомизированного критерия, как наименьший уровень зна-
чимости, при котором гипотеза отвергается с вероятностью 1.
8. Пусть Х1? ...» Хп независимы и имеют плотность
(20)-1e~X/<20, #>0 и пусть Ух<...<;Уп обозначают Xz-(i = l,
2, ..., п), расположенные в порядке возрастания. Допустим, что
в процессе наблюдений мы обнаруживаем сначала У4 затем У2,
потом У3 и т. д. до Уг. На основе Yit ..., Yr необходимо про-
верить гипотезу Н: 0>0о=1ООО с уровнем значимости а=0,05
при альтернативе 0<0О.
(I) Определите критическую область при г = 4 и найдите
мощность критерия при альтернативе 0i = 5OO.
(II) Найдите значение г, необходимое для достижения мощ-
ности 0 > 0,95 при этой альтернативе.
[В задаче 13 главы 2 установлено, что величина YrY
г=1
+(тг — г) Уг]/0 имеет %2-распределение с 2г степенями свободы.]
9. В процессе Пуассона, наблюдаемом в промежутке времени
длины т, число появившихся событий имеет распределение Пуас-
сона Р(Хт). В другой схеме процесс наблюдается до момента
появления r-го события; при этом время наблюдения Т является
случайной величиной, и 2ХТ имеет распределение X2 с 2г степе-
нями свободы. Применяя для проверки гипотезы Н: А, Ло с уров-
нем а любую из этих схем, мы можем, выбирая т и г достаточно
большими, достичь любой наперед заданной мощности 0 по отно-
шению к альтернативе
(I) Отношение необходимого времени наблюдения для первой
схемы к необходимому в среднем времени для второй равно %т/г.
(II) Определите, для каких значений % какая схема предпоч-
тительнее, если %о = 1» %i = 2, а=0,05, 0 = 0,9.
13]
ЗАДАЧИ
159
10. Обобщение леммы 2. Пусть Ро и Pi —два распределения
с плотностями и pi такими, что отношение pt (x)/pQ (х) является
неубывающей функцией от действительной статистики Т (х).
(I) Если плотность Т при Р/ равна р\, то X W/Po (0—неубы-
вающая функция t.
(II) (Т) для любой неубывающей функции ф.
(III) Если pi (x)Ipq(x) — строго возрастающая функция t — T (а?),
то такова же р{(О/Ро(О и (Л < ^Ф (Л> исключая случаи,
когда ф [Т (а?)] постоянна (Р0-{-Р1)-почти всюду или когда Р^ф (Т) —
= ^1Ф(Т) = ±оо.
(IV) Для любых двух различных распределении с плотно-
стями Pq, р^
-со < Яд log Г i <^ilog [ J1 ,(^ ] <oo.
[(I) Предположим, не ограничивая общности, что pt (x)/pQ (#) =
= Т (#). Тогда для любой интегрируемой ср
<р (0 Pt W dv (*)= § Ф <*)]т Ю Ро (*) («О =
= <Р (0 tp'a W dv («),
и, следовательно, pl (О/Ро (*) = * почти всюду.
(IV) Возможность Яо log [pi (Х)/р0 (X)] —оо исключается, так
как в силу выпуклости логарифмической функции,
£°10g [yw]<10g£° [tw!=0-
L Ро (A) J 1 Ро (A) J
То же верно и для Строгое неравенство вытекает из (III)
С Т(х) = р1(х)!р^{х).}
11. Пусть Fq и Р*!”-две функции распределения на действи-
тельной прямой такие, что при всех xFi (x)^F0 (х). Тогда Eoty(X) <
<^1ф(Л7)для любой неубывающей функции ф.
К разделу 4
12. Если эксперимент (/, g) лучше информирует, чем (/', g'),
то (g, /) лучше информирует, чем (g', /')•
13. Условия, обеспечивающие сравнимость. (I) Пусть X и X'—
две случайные величины, принимающие значения 1 и 0.
Предположим, что Р{Х = 1} = р0, Р{Х' = 1} = р$ или Р{Х=1} =
Р {X' = 1}=рр Допустим, не ограничивая общности, что Ро<Ро>
Po<Pi, Po<Pi (этого можно достичь перестановкой случайных
величин X и X' и значений 0 и 1 у одной или обоих случайных
величин). Тогда X лучше информирует, чем X' в том и только
в том случае, когда (1—Pi) (1 — р'о) < (1 — р0) (1 —Pi)-
160 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
(II) Пусть Uq и независимы и распределены равномерно
на отрезке (0, 1), и пусть У = 1, если X—i, или если
АГ = О, иУ = 0 в других случаях. В предположениях
пункта (I) существуют 0-<у0, 1, для которых Р {У = 1} = р*
при Р{Х=Л}=pt (i = 0, 1) в предположении, что(1 —/4) (1—Х)<
<(1 — р0) (1 — />{). Это неравенство, являющееся, как мы видим,
достаточным для того, чтобы выборка Х^, ..., JTn из X лучше
информировала, чем выборка из X', оказывается
и необходимым. Аналогично, условие poPi < РоХ необходимо
и достаточно для того, чтобы выборка из X' лучше информиро-
вала, чем выборка из X,
[(I) Мощность р (а) основанного на X наиболее мощного кри-
терия уровня а для проверки р0 при альтернативе рх равна apj/po
для а<р0 и Pi + tfi^o1 (а—Ро) Для Ро^а- Сравнивая графики
(3(a) и р' (а), мы приходим к искомому результату.
(II) Вторая часть пункта (II) вытекает из сравнения при
а, близких к 1, мощностей рп (а) и рА(а) наиболее мощных кри-
териев уровня а, основанных на и 2Х[ соответственно. Двой-
ственное условие получается из задачи 12.]
14. Для случая 2x2 таблицы, описанной в примере 4 при
сделанном там предположении р < л < 1/2, выборка из В лучше
информирует, чем выборка из Л. С другой стороны, выборки из
В и В несравнимы.
[Необходимое и достаточное условие сравнимости дано в пре-
дыдущей задаче.]
15. В обстановке примера 5 производится п биномиальных
испытаний с вероятностью успеха /7=1—Необходимо про-
верить 1 = Х0 при альтернативе К — Эксперименты, отвечаю-
щие различным значениям у, — несравнимы.
К разделу 5
16. (I) Для п = 5,10 и 1 — a =0,95 начертите верхние довери-
тельные пределы р и р* примера 7, как функции от t = x-\-u.
< (II) Для тех же значений п и €4 = 012 = 0,05 начертите нижний
и верхний доверительные пределы р и р.
17. Доверительные границы с минимальным риском. Допустим,
что функция £(0,0) неотрицательна, не возрастает по второму
аргументу при 0<0 и равна 0 для 0_> 0. Если 0 и 0 *—две
нижние доверительные границы для 0, такие что
Ре{в<О'}<-Ро{О*<0'} при всех 0'<0,
то
EqL(Q, 0)<£е£(0, 0*).
[Определите функции распределения F и F* равенствами
F (и)=Ре {0 < и}/Ре {0* < 0}; F* (и) = PQ{G*< и}/Ре {g* < 0} при
13]
ЗАДАЧИ
161
w<0 и F (и) = F* (и) = 1 при и^эО. Тогда при всех и F(u)^F*(u)
и из задачи 11 вытекает, что
^е[^(0, О)1<^0{0*=0} Ь(0, u)dF(u)^
<^е{0*<0} Ь (6, u)dF*(u) = Ee [£(0, 0*)].]
К разделу 6
18. Обозначим р (0) функцию мощности РНМ критерия след-
ствия 2. Если функция Q в (12) дифференцируема, то р' (0) > О
для всех 0, для которых Q'(0)>O.
[Чтобы показать, что р' (0О) > 0, рассмотрите проблему мак-
симизации производной Р' (0О) (или, что то же самое, —вели-
чины Eqq [Т (X) <р (X)]) при условии (Х) = а.]
19. Оптимальная процедура отбора. Каждый элемент неко-
торой совокупности измеряется п раз. Пусть (Х^ . ..,ХЛ)=Х—
результаты измерений. Это могут быть, например, итоги п тестов
проверки способностей, которые проводятся для отбора кандида-
тов на обучение по некоторой программе. Результат будущего
измеренияY (такого, как итог проверки по завершении программы)
весьма интересен, но не доступен. Совместное распределение X
и Y предполагается данным.
(I) Желательно отобрать заданную пропорцию а кандидатов
таким образом, чтобы сделать максимальным математическое
ожидание Y для этой группы. Этого можно достигнуть, отбирая
тех кандидатов, для которых Z? (Y | я) > С, где С определяется
условием: кандидат отбирается с вероятностью а. При/? (Y | х) = С
может оказаться необходимой рандомизация (чтобы получить
вероятность, в точности равную а).
(II) При иной постановке, когда требуется максимизировать
вероятность того, что Y для отобранных кандидатов превзойдет
заданный уровень у0, следует выбирать тех, для кого условная
вероятность P{Y у$ | х} достаточно велика.
[(I) Пусть ф (х) обозначает вероятность отбора кандидата
с характеристикой х. Задача состоит в максимизации
У^Г|ЗС(у)ф(®)^] Рх (x)dx
при условии
ф (я) РХ dx — a. J
20. Нижеследующий пример показывает, что следствие 4 не
распространяется на счетные (бесконечные) семейства распреде-
лений. Пусть рп — равномерная плотность на [0,1-|-1/7г] и pQ —
равномерная плотность на [0,1].
(I) Тогда Pq линейно независимо от (pi9 р2, ...), т. е. не
существует таких констант q, с2, ..., что Ро = '£спрп.
И Э. Леман
162
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 5
(II) Не существует критерия ф такого, что
фрп = а при п = 1, 2, но фу?0>а.
21. Пусть Fit ..., Fm+l — действительные функции, опреде-
ленные на пространстве U. Чтобы и0 максимизировало Fm+i при
условиях Fi (и) ci (i — 1, ..., m), достаточно, чтобы оно макси-
мизировало Fm+i (и)— 2kiFi (и) при некоторых константах > О,
причем для i с &i>0 должно быть Fi(u0) = Ci.
К разделу 7
22. Для случайной величины X с биномиальным распределе-
нием & (р, п) определите константы у$(г = 1, 2) в РНМ крите-
рии (24) для проверки гипотезы Н : р < 0, 2 или р > О, 7, когда
а = 0,1 и гс = 15. Найдите мощность критерия относительно аль-
тернативы р = 0,4.
23. Классы типа Пойа. Семейство распределений с плотно-
стями ро(а?), которые непрерывны по действительным аргумен-
там 9 и ж, относится к типу Пойа, если при всех < ... < хп
и 01 < ... < 0„
Pei(®i) Pei(®n)
Рб„ (*i) • • • Pen (*n)
>0 для n = l, 2, ... (46)
Оно относится к типу Пойа в строгом смысле, если в (46) имеют
место строгие неравенства. При п — 1 из (46) выводим, что />е(а?)>0,
при п — 2,— что pq (х) имеет монотонное отношение правдоподо-
бия. Экспоненциальные семейства (12) с Т (х) = х и Q(0) = 0
относятся к типу Пойа в строгом смысле.
[Положительность определителя |ев^|, i, 7 = 1, ...» п, может
быть доказана по индукции. Разделим i-й столбец на е01\ i— 1, ...
. ..,гс, вычтем в получившемся определителе (гс—1)-й столбец
из гс-го, (гс — 2)-й из (гс — 1)-го, ..., 1-й из 2-го. Разложим полу-
чившийся определитель по первой строке. Тогда мы увидим, что
Дп имеет тот же самый знак, что и
Д„ = | eV>_ i,/ = 2....п,
где = —01. Если разложить этот определитель по элементам
первого столбца, то получится сумма вида
д2 (еЛ2*2_еП2*1)4 . ф . _^ап (еГ\пХ2__еПпХ1) =
= h (x2} — h(xl) — (x2 — xl} h' (у2),
где у2<х- Переписав h' (у2) в форме детерминанта, у кото-
рого все столбцы, кроме первого, совпадают со столбцами &'п,
и поступая аналогично с последующими столбцами, мы придем
к определителю | |, i, 7 = 2, ..., гс, который положителен по
предположению индукции.]
13]
ЗАДАЧИ
163
24. Тип Пойа 3. Пусть 0 и ж означают действительные пере-
менные и допустим, что плотности pq (х) таковы, что pq' (x)/pq(x)
строго возрастает по х при 0<0'. Тогда приводимые ниже два
условия эквивалентны.
(а) Для 01<02<6з и ^1, Л2, положим
g (*) = *iPei (»)—Л2Ре2 (»)+^зРе3 (»)•
Если g (,xj) = g (х3)=0, то функция g положительна вне интервала
(xv х3) и отрицательна внутри его.
(б) Определитель Д3, задаваемый (46), положителен при всех
61 < ^2 < 6з, xi < х2 < хз- (Из (а) следует, что уравнение g (х) =0
имеет не более двух решений.)
[Что (б) влечет (а) можно установить, рассматривая при
х± <С х2 < хз определитель
g (»1) g (®2> g (*3)
Ре2 Ре2 (хг) Ре2 (*з) .
Ре3Сч) Рвз^г) Ре3(хз)
Обратно, предположим, что (а) выполняется Монотонность отно-
шений правдоподобия влечет, что ранг Д3 не менее двух, так что
существуют константы Л2, k3t для которых g (#i) = g (#з) = 0.
Положительность чисел к вытекает из монотонности отношений
правдоподобия.]
25. Обобщение теоремы 6. Заключение теоремы 6 остается
верным, если плотности pQ достаточной статистики Т (которую,
не ограничивая общности, мы примем равной X) удовлетворяют
следующим условиям: (a) pq (х) непрерывна по х при каждом 0;
(б) Ре' (%)/Ре (#) строго возрастает по х при 0<0' и определи-
тель Д3 из формулы (46) положителен при всех 0! < 02 < 0з
и < ^2 <С хз*
[При доказательстве теоремы 6 были использованы два свой-
ства экспоненциальных семейств, а именно непрерывность по х
и свойство из пункта (а) предыдущей задачи.]
26. Для проверки гипотезы Н' : 0! 0 < 02 (0j < 02) при аль-
тернативах 0<6i или 0 > 02, или гипотезы 0 = 0О при альтерна-
тивах 0 Ф 0О в предположении, что семейство экспоненциально
(или, в общем случае, удовлетворяет условиям задачи 25), не
существует РНМ критерия.
Это вытекает из рассмотрения РНМ критериев для односто-
ронних гипотез Hi : 0 > 0j и Я2 :0<02].
К разделу 8
27. Пусть случайные величины -¥г-(г = 1, s) независимы
и распределены по закону Пуассона Р(Х^). Для проверки ги-
потезы Н (например, гипотезы о том, что общая радио-
активность нескольких образцов радиоактивного вещества не
11*
164 РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИЙ [гл. 3
превосходит а) существует РНМ критерий, отвергающий ее
при SXj>C.
[Разложите совместное распределение Xf в произведение
частного распределения SX; (распределение Пуассона со сред-
ним SXy) и условного распределения величин Yi — Xi/^Xj при дан-
ной сумме (полиномиальное с вероятностями =
дальнейшие рассуждения те же, что и в примере 8.
28. Доверительные границы для медианы. Пусть Х^, ..., Хп —
выборка из распределения с непрерывной функцией распреде-
ления Р. Обозначим £ медиану Р, если она единственна, или,
в общем случае, g = inf {g': F (g') = l/2}.
(I) Пусть Xi расположены в порядке возрастания «Л?1* <...
... < Равномерно наиболее точная нижняя доверительная
граница для g определяется соотношениями g=X<ft> с вероятно-
стью q, g = X<fe+1) с вероятностью (1 —р), где к и р находятся
из уравнения
j—k £=А4-1
(II) Эта граница имеет доверительный коэффициент 1 —а
для любой медианы F.
(III) Найдите наиболее точную нижнюю доверительную гра-
ницу для 100р-процентной точки g распределения Р, определяе-
мой равенством g = inf {g': F (g') = p}.
[При фиксированном g0 проблема проверки Н: g = g0 при
альтернативе Р:£>£о эквивалентна проверке Я':р = 1/2 при
альтернативе К': р <1/2.]
29. Противоречащий пример. Как правило, при меняющемся
а наиболее мощные критерии уровня а для проверки гипотезы Н
при простой альтернативе устроены так, что соответствующие
критические области /?а вложены
одна в другую Ra с Ra' при лю-
бом а<а'. Это соотношение всег-
да выполняется, если гипотеза Я
простая, но, как показывает при-
водимый ниже пример, этого мо-
жет не быть при сложной Я.
Пусть X принимает значения
1, 2, 3, 4 и распределения Pq,
Рх, Q приписывает этим значе-
ниям следующие вероятности:
Тогда наиболее мощный критерий
проверки гипотезы о том, что
распределение X равно Pq или
Pt при альтернативе Q и при
12 3 4
Р» Pi Q 2 4 3 13 13 13 13 4 2 16 13 13 13 13 4 3 2 4 13 13 13 13
уровне
5
а'"13
, отклоняет гипотезу, когда Х=1 или Х = 3;
если
же уровень а=, то при Х = 1 или Х=2.
13]
ЗАДАЧИ
165
30. Пусть X и Y обозначают число успехов в двух сериях
по п биномиальных испытаний в каждом и с вероятностями
успеха Pi и р2 соответственно.
(I) При уровне а < 1/2 наиболее мощный критерий проверки
гипотезы H:p2^pi при альтернативе (р{, р'2) с и Pi +
_|-р' = 1 отклоняет гипотезу всегда, когда У—Х>С и с вероят-
ностью у, когда У —Х=С.
(II) Этот критерий не является РНМ при альтернативе р^ < р2.
[(I) Возьмите в качестве априорного распределения на Н
распределение %, приписывающее вероятность 1 точке pt =
= р2 = 1/2. Наиболее мощный критерий при альтернативе (р{, р2)
совпадает тогда с предложенным выше. Можно показать, что X
является наименее благоприятным. Рассмотрим вероятность
отклонения гипотезы р (уч, р2) для Pi = P2=P- По симметрии
2Р (р, p) = P{\Y-X\>C} + yP{\Y^X\ = С}.
Пусть Xi (Уi) равно 1 или 0 в зависимости от того, закончилось
i-e испытание первой (второй) серии успехом или нет. Тогда
п
У—Х=2 и тот факт, что2р(р, р) достигает максимума
г=1
при р = 1/2, может быть доказан индукцией по п.
(II) Так как Р (р, р) <а при р Ф 1/2, то мощность р (/4, р2)
будет <а для альтернатив Pi<P2, достаточно близких к отрезку
Р1 = Р2- То, что предложенный критерий не является РНМ, сле-
дует теперь из сравнения с ср (я, у) == а.]
31. Достаточные статистики при «мешающих» параметрах.
(I) Статистика Т называется достаточной для 0 при наличии
«мешающего» параметра ц, если параметрическое пространство
является прямым произведением множеств возможных значений
0 и ц и если выполняются следующие два условия: (а) условное
распределение при T-=t зависит только от ц; (б) частное распре-
деление Т зависит только от 0. Если эти условия выполнены,
то существует зависящий только от Т РНМ критерий проверки
сложной гипотезы Н :0 = 0О при сложной альтернативе 0 = 0±.
(II) Часть (I) указывает новое доказательство того, что кри-
терий примера 8 является РНМ.
[Пусть фо (0—наиболее мощный критерий уровня а для
проверки 0о при альтернативе 0Ь зависящий только от t. Пусть
ср (#) —любой критерий уровня а и ф (t) — .Етц [ср (X) | г]. Так как
^ег-Ф (Т) W» то ф—критерий уровня а для Н, и потому
его мощность, а вместе с тем и мощность ср не превосходит
мощности ф0.]
К разделу 9.
32. Пусть Хь ...,Хщи Yjf ..., Уп —две независимые выборки
из N (|, 1) и X (ц, 1). Рассмотрим гипотезу Н : Т]<С£ при альтер-
нативе Тогда существует РНМ критерий, отвергающий
гипотезу, если разность У—X слишком велика.
166
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
[Пусть gi < щ — специальная альтернатива. Тогда распределе-
ние, приписывающее вероятность 1 точке ц = | = (^|1+«'П1)/(т+п)»
является наименее благопрятным].
33. Пусть Т, ..., Хт, У4, ..., Уп независимы и распределены
нормально со средними £ и q и дисперсиями о2 и т2 соответст-
венно. Рассмотрим гипотезу при альтернативе К:а<т:.
(I) Если £ и ц известны, то существует РНМ критерий
с критической областью 2 (У^ —ц)2/2 -g)2> С.
(II) РНМ критерий не существует при неизвестных £ и ц.
К разделу 10
34. Распределение объема последовательной выборки. Пусть
Xiii — iy 2 ...) независимы и одинаково распределены и пусть Zf
определены по (35). Обозначим 7V число наблюдений до принятия
окончательного решения в последовательном критерии отношений
вероятностей (33) с Aq < 1 < Если истинное распределение X
таково, что Р{Z = O}<1, то найдутся 0<d< 1 и С>0, для
которых Р {N > п}
[Обозначим с = log Ai — log^0 и допустим сначала, что
P{|Z|<ic} = p<l. Из события ./V > п вытекает, что
log-Ло < z1 + 22> •••> zl+ • • • +zn-l < log Л1,
и, следовательно, что величины | zt |, | z2 |, ..., | zn_i | все <; с.
Тогда P{7V> р72-1 —р-1-рп. Если P{|Z |<с} = 1, то суще-
ствует такое г, что
P{|z1+...+zr|<4=p<i>
откуда следует, что Р {2V > ттп} р™”1, и потому
Р {2V > п} < Дп/Н-1 ръ!т-2 = р_2 (//2)п ]
35. Моменты объема последовательной выборки. В предполо-
жениях предыдущей задачи (I) Е (N) и (II) при некотором
J>0 Е (etN) <оо, так что Е (Nk) <оо при всех Л=1, 2.. ...
Кроме того, (III) Р {Z = 0}< 1, если истинное распределение X
совпадает с Ро или РА и Ро Ф Pi.
[(I) E(N) = nP{N=n}= 2 Р{АГ>п}<С § бп<оо.
n=i n—i п=1
(II) Е (etN)^^etn P{2V>n}<C 2 (^)n <°° в предпо-
ложении e* < d"”1.]
К разделу И
36. Мощность последовательного критерия отношений вероят-
ностей в биномиальном случае. В примерах 9 и 10 последователь-
ный критерий отношений вероятностей применялся к проверке гипо-
тезы: вероятность успеха равна р0 при альтернативе pp Положим
13]
ЗАДАЧИ
167
?i=£o и допустим, что log A0/log (tfo/’oх) = ~а и log ^1/log(g0po1)=&,
где а и Ь — положительные целые числа.
(I) Тогда неравенства (34) превращаются в равенства, и при-
ближения (38) и (40) становятся точными формулами.
(II) Мощность критерия равна
Л , аарЬ—pa+b 1
для р¥=т,
о f 1 \ а ч
р f — )=-——— (по непрерывности).
(III) Правило остановки испытаний совпадает с правилом
окончания игры в задаче о разорении, где два игрока, с капита-
лами а и Ь, проводят последовательность игр с единичной став-
кой, с вероятностями выигрыша р тд. q соответственно, до разо-
рения одного из них*).
[Испытания продолжаются до тех пор, пока—а < 2 J1 xi —
— п<Ъь и (I) и (II) следуют из того факта, что средний член
этого неравенства равен 0 при w = 0 и при каждом испытании
увеличивается или уменьшается на 1.]
37. Тождество Вальда. Если Zj, Z2, ... независимы, одина-
ково распределены hE|Z|<oo, и число наблюдений опреде-
ляется в соответствии с последовательным правилом, для кото-
рого Е (7V) < оо, то
£(Z1+...+Zn)=£(^£(Z).
(47)
[Левая часть равна
§ = £(2г|^ = п)]=У J Р {N=п} Е (Zt\ N=п) =
n=zl 1=1 1=1 n=i
= У P{N>i}E(Zi\N>i).
1=1
Так как событие N^i зависит только от Z4, ..., Z^ и не за-
со
висит от Zi и так как 2 р {N > i} = E (А), то мы приходим
1=1
к требуемому соотношению. Чтобы оправдать перестановку чле-
нов бесконечного ряда, заменим всюду Zf на |Zf|. Это показы-
вает, что
E\Zi+...+Z1^\<E(\Zi |+...+]ZN|)==E|Z|.E(tf)<oo,
откуда вытекает нужная абсолютная сходимость.]
*) Альтернативный вывод формулы для 0 (р) в этом случае
см., например, в разделе 2 главы 14 книги: Feller, An Intro-
duction to Probability Theory and Its Applications, vol. 1, New
York, John Wiley & Sons, 2 nd ed., 1957.
168 , РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл .3
38. (I) Пусть Z—такая случайная величина, что (а) Е (Z) + О,
(б) ф (А) — Е (ehZ) существует при всех действительных h, (в) P{ez <
<1—6} и Р {ez > 1+6} положительны при некотором 6>0.
Тогда существует одно и только одно решение h #= 0 уравнения
г|) (А) = 1.
(II) Это приводит к достаточным условиям существования
ненулевого решения у уравнения (37).
[(I) Функция ф выпукла, так как ф" (h) — E (Z2ehz) > 0; кроме
того, гр (h) —> со при h —> + со. Следовательно, гр имеет мини-
мум Ао, в котором ф' (hQ)=E (Zeh°z) = 0, так что по (а) Ло =/= 0.
Раз гр(0) = 1, то существует единственное h< =/= 0, для которого
ф(А1) = 1.
(II) Определяя Z с помощью (35), мы можем записать (37)
в виде E(ehz) = i.]
39. Следующий пример показывает, что мощность критерия
иногда может быть увеличена за счет случайности объема выборки
(даже когда рандомизация не связана с результатами наблюдений)*).
Пусть ...,ХП независимы и распределены одинаково по
N (0, 1). Рассмотрим проблему проверки гипотезы Я: 0 = 0 при
альтернативе К : 0 = 0! >0.
(I) Мощность наиболее мощного критерия, как функция от
объема выборки п, не обязана быть вогнутой.
1
(II) В частности, при а=0,005, 01 = у большая мощность по-
лучается, если взять 2 или 16 наблюдений (то и другое с вероят-
ностью 1/2), чем если взять выборку фиксированного объема 9.
(III) Дальнейшего увеличения мощности можно достичь, если
допустить два возможных уровня значимости, cq и а2, для двух
объемов выборки, и требовать только, чтобы средний уровень
значимости был равен а = 0,005. Примеры: (а) с вероятностью 1/2
берут «! = 2 и строят критерий с уровнем сц = 0,001 или берут
п2~16 и критерий с уровнем а2 = 0,009; (б) с вероятностью 1/2
берут ?*! = 0 или п2 = 18 при соответствующих уровнях а4 = 0,
а2 = 0,01.
14. Литературные ссылки
Методы проверки гипотез развивались постепенно и на
первых этапах сводились к весьма расплывчатым утвержде-
ниям о значимости или незначимости совокупности резуль-
татов наблюдений. Отдельные приложения (самые ранние
*) Этот и подобные примеры обсуждались Крускалом
в семинаре, происходившем в Колумбийском университете
в 1954 году. Недавно бодее детальное исследование этого явле-
ния было произведено в работе: Cohen, On mixed single sample
experiments, Ann. Math Stat., vol. 29 (1958), 947 — 971.
14]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
169
восходят, вероятно, к Лапласу 1773) встречаются
в 19 веке в работах, например, Г а в а р э (1840), Л е к-
с и с а (1875, 1877) и Эджворта (1885). Системати-
ческое использование проверки гипотез началось с работ
Карла Пирсона; особенно следует отметить статью
о %2-критерии (1900).
Первыми авторами, указавшими, что рациональный
выбор критерия должен основываться не только на про-
веряемой гипотезе, но и на допускаемых альтернативах,
были Нейман и Пирсон (1928). Они ввели поня-
тие ошибок первого и второго рода и мотивировали исполь-
зование отношения правдоподобия как основы общего
метода построения критериев. Логическое завершение
этих исследований дано в работе Неймана и Пир-
сона (1933), где была развита теория РНМ критериев *).
Вероятно, самый ранний пример доверительных интер-
валов встречается у Лапласа (1812), который пока-
зал, как можно обратить (приближенное) вероятностное
утверждение о степени расхождения наблюдаемой частоты
и биномиальной вероятности р, с тем чтобы найти подхо-
дящий интервал для р. Другие примеры можно найти
в работах Гаусса (1816), Фурье (1826) и Л е к-
с и с а (1875). Однако, хотя во всех этих случаях сделан-
ные утверждения формально правильны, авторы стреми-
лись рассматривать параметр как переменную, которая
с заданной вероятностью попадает в фиксированный дове-
рительный интервал. Правильная интерпретация была
в первый раз отмечена, по-видимому, уЕ.Б.Вилсона
(1927). Примерно в это же время два точных довери-
тельных утверждения были высказаны Уоркингом
и Хотеллингом (1929), и Хотеллингом
(1931).
Общий метод отыскания точных доверительных гра-
ниц для действительного параметра в непрерывном рас-
*) Иной подход к проверке гипотез, основанный на исполь-
зовании априорных вероятностей, развит в книге: J effreys,
Theory of Probability, Oxford, Clarendon Press, 2nd ed., 1948.
Некоторые вопросы связи между двумя теориями обсуждаются
в работах: Lindley, A statistical paradox, Biometrika, vol. 44
(1957), 187—192 и Bartlett, A comment on D. V. Lindley’s sta-
tistical paradox, Biometrika, vol. 44 (1957), 523—534.
170
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
пределении был предложен Фишером (1930), который
впоследствии отказался от этой интерпретации своей
работы. (Библиография, касающаяся фишеровской кон-
цепции доверительных вероятностей, в терминах которых
формулируется теория, приведена у Т ь ю к и (1957).)
Примерно в то же время ♦) Нейманом была развита общая
теория доверительных утверждений. Им же была показана
их тесная связь с теорией проверки гипотез. Детальное
изложение результатов, которое лежит в основе приве-
денной здесь трактовки материала, было опубликовано
Нейманом в статьях 1937 и 1938 годов.
Бирнбаум и Чепмэн (Birnbaum Z. W. and С h а р-
m а п D. G.)
(1950) On optimum selections from multinormal populations,
Ann. Math. Stat., vol. 21, 443—447. [Задача 19.]
Блекуэлл (Blackwell D.)
(1951) Comparison of experiments, Proc. Second Berkeley Sympo-
sium on Mathematical Statistics and Probability, Berkeley, Univ.
Calif. Press, 93—102.
(1953) Equivalent comparisons of experiments, Ann. Math. Stat.,
vol. 24, 265—272. [Теория, пример 4 и задачи раздела 4.]
Вальд (Wald А.)
(1947) Sequential Analysis, New York, John Wiley & Sons.
(Есть русский перевод: А. Вальд, Последовательный анализ,
Физматгиз, 1960.) [Теория и применение последовательных крите-
риев отношения вероятностей.]
Вальд и Вольфовиц (Wald A. and W о 1 f о w i t z J.)
(1948) Optimum character of the sequential probability ratio
test, Ann. Math. Stat., vol. 19, 326—339.
(1950) Bayes solutions of sequential decision problems, Ann.
Math. Stat., vol. 21, 82—99. [В этих работах доказываются оптималь-
ные свойства последовательного критерия отношения вероятностей,
данные в разделе 12. В этой связи см. также работу Эрроу,
Блекуэлла и Гиршика.]
Вилсон (Wilson Е. В.)
(1927) Probable inference, the law of succession, and statistical
inference, J. Am. Stat. Assoc., Vol. 22, 209—212.
Вольфовиц (W о 1 f о w i t z, J.)
(1947) The efficiency of sequential estimates and Wald’s equation
for sequential processes, Ann. Math. Stat., vol. 18, 215—230. [Дока-
зательство тождества Вальда (45), данного в задаче 37].
*) Ср. Neyman, Fiducial argument and the theory of confi-
dence intervals, Biometrika, vol. 32 (1941), 128—150.
14]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
171
Г а в а р э (Gavarret J.)
(1840) Principes generaux de statistique medicale, Paris.
Г а у с c (G a u s s C. F.)
SBestimmung der Genauigkeit der Beobachtungen, Z. Astro-
verwand te Wissenschaften, vol. 1. (Перепечатано в собра-
нии сочинений Гаусса, т. 4, стр. 109—119.)
Гренандер (Grenander U.)
(1950) Stochastic processes and statistical inference, Arkiv for
Matematik, vol. 1, 195—277. [Применение фундаментальной леммы
к проблемам в стохастических процессах.]
Данциг и Вальд (D antzig В. and Wald А.)
(1951) On the fundamental lemma of Neyman — Pearson, Ann.
Math. Stat., vol. 22, 87—93. [Даны необходимые условия (включая
условия теоремы 5) для того, чтобы критическая функция, которая
максимизирует некоторый интеграл при нескольких ограничениях
интегрального типа, удовлетворяла (21).]
Дворецкий, Кифер и Вольфовиц (Dvoretz-
ky A., Kiefer J. and W о 1 f о w i t z J.)
(1953) Sequential decision problems for processes with continuous
time parameter. Testing hypotheses, Ann. Math. Stat., vol. 24,
254—264. [Оптимальное свойство последовательного критерия от-
ношений вероятностей распространяется на непрерывно наблюдае-
мые случайные процессы.]
Карлин (Karlin S.)
(1955) Decision theory for Polya type distributions. Case of two
actions, I., Proc. Third Berkeley Symposium on Mathematical Statis-
tics and Probability, vol. 1, Berkeley, Univ. Calif. Press, 115—
129;
(1957) Polya type distributions, II., Ann. Math. Stat., vol. 28,
281—308. [Свойства распределений типа Пойа, включая задачи
23—25.]
Карлин и Рубин (Karlin S. and Rubin Н.)
(1956) The theory of decision procedures for distributions with
monotone likelihood ratio, Ann. Mat. Stat., vol. 27, 272—299. [Общая
теория семейств с монотонным отношением правдоподобия, вклю-
чая теорему 3.]
Лаплас (Laplace P.S.)
(1773) Memoire sur 1’inclinaison moyenne des orbites des cometes,
Mem. acad. roy. sci. Paris, vol. VII (1776), 503—524.
(1812) Theorie Analytique des Probabilites, Paris. [Третье изда-
ние 1820 г. перепечатано в виде седьмого тома собраний сочинений
Лапласа.]
Лексис (Lexis W.)
(1875) Einleitung in die Theorie der Bevolkerungsstatistik,
Strassburg.
(1877) Zur Theorie der Massenerscheinungen in der menschlichen
Gesellschaft, Freiburg.
172
РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ [гл. 3
Леман (Lehmann Е. L.)
(1955) Ordered families of distributions, Ann. Math. Stat., vol.
26, 399—419. [Леммы 1, 2 и 5.]
Леман и Стейн (Lehmann Е. L. and S t е i n C.)
(1948) Most powerful tests of composite hyportheses, Ann. Math.
Stat., vol. 19, 495—516. [Теорема 7 и ее применения.]
Нейман (Neyman J.)
(1937) Outline of a theory of statistical estimation based on the
classical theory of probability, Phil. Trans. Roy. Soc., vol. 236, 333—
380. [Развита теория оптимальных доверительных множеств. Задача
сводится к определению оптимальных критериев в соответствую-
щих классах гипотез.]
(1938) L’estimation statistique traitee comme un problem e clas-
sique de probabilite, Actualites sci. et ind., No. 739, 25—57.
(1952) Lectures and Conferences on Mathematical Statistics,
Washington, Graduate School, U. S. Dept. Agriculture, 2nd ed.,
43—66. [Описание разнообразных подходов к проблеме проверки
гипотез.]
Нейман и Пирсон (Neyman J. and Person Е. S.)
(1928) On the use and interpretation of certain test criteria,
Biometrika, vol. 20A, 175—240, 263—294.
(1933) On the problem of the most efficient tests of statistical
hypotheses, Phil. Trans. Roy. Soc., Ser. A., vol. 231,289—337. [Ос-
новная работа по теории проверки гипотез. Проблема сформу-
лирована в терминах ошибок двух родов; изложена основа тео-
рии, включая фундаментальную лемму. Применения, включая за-
дачу 1.]
(1936) Contributions to the theory of testing statistical hypot-
heses. 1. Unbiased critical regions of type A and type A4, Stat. Res.
Mem., vol. 1, 1—37. [Обобщение фундаментальной леммы на случай
нескольких ограничивающих условий.]
(1936) Sufficient statistics and uniformly most powerful tests
of statistical hypotheses, Stat. Res. Mem., vol. 1, 113—137. [Зада-
ча 2 (II).]
Пирсон (Pearson К.)
(1900) On the criterion that a given system of deviations from
the probable in the case of a correlated system of variables is such that
it can be reasonably supposed to have arisen from random sampling,
Phil. Mag., Ser. 5, vol. 50, 157—172.
Стейн (Stein С. M.)
(1946) A note on cumulative sums, Ann. Math. Stat., vol. 17,
489—499. [Задачи 34 и 35.]
(1951) A property of some tests of composite hypotheses, Ann.
Math. Stat., vol. 22, 475—476. [Задача 29.]
Томпсон (Thompson W. R.)
(1936) On confidence ranges for the median and other expectation
distributions for populations of unknown distribution form, Ann.
Math. Stat., vol. 7, 122—128. [Задача 28.]
14] литературный ссылки 173
Тьюки (Tukey W.)
(1957) Some examples with fiducial relevance, Ann. Math. Stat.,
vol. 28, 687—695.
У о p кинг и Хотеллинг (Working Н. and Hotel-
li ng H.)
(1929) Applications of the theory of error to the interpretation
of trends, J. Am. Stat. Assoc., Suppl., vol. 24, 73—85.
Фишер (Fisher R. A.)
(1930) Inverse probability, Proc. Cambridge Phil. Soc., vol. 26,
528-535.
Фрезер (Fraser D. A. S.)
(1953) Non-parametric theory: Scale and location parameters,
Canad. J. Math., vol. 6, 46—68. [Пример 8.]
(1956) Sufficient statistics with nuisance parameters, Ann. Math.
Stat., vol. 27, 838—842. [Задача 31.]
Фурье (Fourier J. В. J.)
(1826) Recherches statistiques sur la ville de Paris et le departe-
ment de la Seine, vol. 3.
Хотеллинг (Hotelling H.)
(1931) The generalization of Student’s ratio, Ann. Math. Stat.,
vol. 2. 360—378.
Чернов и Шеффё (Cherhoff H. and S c h e f f ё H.)
(1952) A generalization of the Neyman-Pearson fundamental
lemma, Ann. Math. Stat., vol. 23, 213—225.
Эджворт (Edgeworth F. Y.)
(1885) Methods of statistics, Jubilee volume of the Stat. Soc.,
London, E. Stanford.
Эпстейн и Собел (Epstein В. and Sobel M.)
(1953) Life testing, J. Am. Stat. Assoc., Vol. 48, 486—502.
[Задача 8.]
Эрроу, Блекуэлл и Гиршик (ArrowR. J., Black-
well D. and G i r s c h i c k M. A.)
(1949) Bayes and minimax solutions of sequential decision prob-
lems, Econometrica, vol. 17, 213—244.
ГЛАВА 4
НЕСМЕЩЕННОСТЬ: ТЕОРИЯ И ПЕРВЫЕ
ПРИМЕНЕНИЯ
1. Несмещенность при проверке гипотез
Простое условие, которое можно требовать от кри-
териев гипотезы Я: 0£йн при сложной альтернативе Я:
0£йк, состоит в том, что ни при одной альтернативе
из К вероятность отклонения гипотезы не должна быть
меньше размера критерия. Если это условие нарушено,
то найдутся альтернативы, при которых принятие гипо-
тезы более вероятно, чем в некоторых случаях, когда
она верна. Критерий ср, для которого выполняется ука-
занное условие, т. е. для функции мощности 0ф(0) =
= Eq^p (X) которого верны неравенства
РФ(0)<а, если 0€&h,
РФ(6)>а, если 0£йк,
называется несмещенным. При надлежащем выборе функ-
ции потерь это определение оказывается, как было пока-
зано в главе 1, частным случаем общего определения
несмещенности. РНМ критерий, если он существует,
оказывается несмещенным, так как его мощность не
может быть меньше мощности критерия <р (х) == а.
В широком классе проблем, где РНМ критерии не
существуют, тем не менее существуют РНМ несмещенные
критерии. В частности, сюда включаются некоторые
гипотезы вида 0 С 0О или 0 = 0О в предположении, что
распределения результатов наблюдений зависят кроме 0,
также и от других параметров.
2]
ЭКСЙОЙЕНЦИАЛЬЙЫЕ СЕМЕЙСТВА
175
Если РФ (0) — непрерывная функция 0, то несмещен-
ность влечет
0ф(0) = а для всех 0£ со, (2)
где со — общая граница Q# и Q#, т. е. множество точек 0
предельных как для £1н, так и для &к- Критерии, удов-
летворяющие последнему условию, называются подобными
на границе (Н и К). Так как более удобно оперировать
с (2), чем с (1), то нижеследующая лемма играет важную
роль в отыскании РНМ несмещенных критериев.
Лемма 1. Если распределения PQ таковы, что функ-
ция мощности любого критерия непрерывна, и если ср0
является РНМ среди всех критериев, удовлетворяющих
(2), и имеет уровень а как критерий Н, то у^ — РНМ
несмещенный критерий.
Доказательство. Класс критериев, удовлетво-
ряющих (2), содержит в себе класс несмещенных кри-
териев и, следовательно, ф0 равномерно не менее мощен,
чем любой несмещенный критерий. С другой стороны,
критерий фо является несмещенным, так как он равно-
мерно не менее мощен, чем ф (х) == а.
2. Однопараметрические экспоненциальные семейства
Пусть 0—действительный параметр и Х=(ХЬ ..., Хп) —
случайный вектор, имеющий по отношению к некоторой
мере ц плотность
Ре(х) = С(е)е^хЩх).
Как было показано в главе 3, РНМ критерий существует
в случаях, когда гипотеза Н и класс альтернатив К
определяются условиями (I) Н: 0<0о, К: 0 > 0О (след-
ствие 2) или (II) Н: 0 < 01 или 0 > 02 (01 < 0г), К: 0Х < 0 < 02
(теорема 6), и не существует в случае (III) Н: 0Х<0<02,
К: 0 < 01 или 0 > 02. Мы покажем теперь, что в случае
(III) существует РНМ несмещенный критерий, задавае-
мый равенствами
ф(х) =
1 при Т (х) < G или > С2,
Yi при T(x) — Ct i = l, 2,
О при Ci < Т (х) < С2,
(3)
176 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
где постоянные Сиу находятся из уравнений
Ее1ф(Х) = £б2Ф(Х) = а. (4)
Функция мощности непрерывна по теореме 9 главы 2,
так что лемма 1 применима. Множество со состоит из
двух точек 01 и 02, поэтому мы рассмотрим сначала за-
дачу максимизации Е^'(р(х) для 0', лежащего вне интер-
вала [01, 02], и с учетом ограничений (4). Если задачу
сформулировать в терминах 1 — ср (гс), то из части (II)
теоремы 6 главы 3 вытекает, что ее решение дается фор-
мулами (3) и (4). Следовательно, построенный критерий
является РНМ в классе критериев, подчиненных (4),
и по лемме 1 —в классе всех несмещенных критериев.
Как видно из части (III) цитированной теоремы, мощ-
ность этого критерия имеет минимум в точке, лежащей
между 01 и 02, и строго возрастает при удалении от
точки минимума влево или вправо.
Проблема проверки Н: 0 = 0О при альтернативе 0 =# 0О
близка к уже разобранной. Для нее также существует
РНМ несмещенный критерий, определяемый по (3); кон-
станты в этом случае находятся из уравнений
Е% 1ф (X)] = а (5)
И
2?0в [Т (X) <р (X)] = Е6о [Г (X)] а. (6)
Чтобы доказать это, обозначим 0' какую-либо спе-
циальную альтернативу и возьмем достаточную стати-
стику Т, распределение которой в соответствии с лем-
мой 7 главы 2 имеет вид
dPQ (t) = C(Q) eQtdv (Z).
Несмещенность критерия ф (t) влечет (5) с ср (х) = ф [Т (ж)]5
отсюда же вытекает наличие у функции мощности 0 (0) =
= ^е[ф(Т)] минимума при 0 = 0О. По теореме 9 главы 2
функция 0 (0) дифференцируема и ее производная может
быть вычислена дифференцированием £,еф[71] под знаком
математического ожидания, так что для всех крите-
риев ф (t)
О' (0) = Ев [Гф (7)] + Ев [ф (Г)].
2]
ЭКСПОНЕНЦИАЛЬНЫЕ СЕМЕЙСТВА
177
Для ф (i) = а последнее уравнение превращается в
° = E»<n + gf.
Подстановка в выражение для £' (0) дает
Р' (0) = Ее (71)] - Ее (Т) Eq [ф (7)1,
и, следовательно, несмещенность, в дополнение к (5),
влечет и (6).
Пусть М обозначает множество точек (Ее0[ф(71)],
Ед0 [Г ^(Т1)]), где ф пробегает совокупность всех критиче-
ских функций. Тогда М выпукло и содержит все точки
(u, uEqq(T)) с 0 < и < 1. М также содержит точки (а, и2)
см2>^0оГ)’ Это следует из того факта, что сущест-
вуют критерии с Ее0[ф(У)] = а и Р' (0О) > 0 (см. задачу
18 главы 3). Так как по сходным причинам М содержит
точки (а, щ) с щ < uEqq(T), то точка (а, аЕ0о(7)) яв-
ляется внутренней для М. Поэтому по теореме 5 (IV)
главы 3 существуют константы &1? к2 и критерий ф(0,
удовлетворяющие (5) и (6) с ф (х) = ф [71 (я)] и такие,
что ф (0 = 1 при
С(0о) (Ь + к^еЫ <C(W)
т. е. при
ai4-a2£ < еы.
Эта область представляет собою или полупрямую, или
внешнюю часть некоторого интервала. По теореме 2 (II)
главы 3 односторонний критерий имеет строго монотон-
ную функцию мощности и потому не может удовлетво-
рять (6). Таким образом, ф(/) равно 1 при t < или
t > С2, и наиболее мощный критерий, подчиненный (5)
и (6), дается формулой (3). Этот критерий несмещенный,
как можно видеть, сравнивая его с ф(ж) = а. Он также
является РНМ несмещенным, так как класс критериев,
удовлетворяющих (5) и (6), включает класс несмещен-
ных критериев.
Определение критерия можно упростить, если при
0 — 0О распределение Т симметрично относительно неко-
торой точки а, так что Pq^{T <а —w} = Pq^{T > а±и]
при всех действительных и. Любой критерий, симметричный
12 Э. Леман
178 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ЙЕРЙЫЁ ПРИМЕНЕНИЯ [гл. 4
относительно а и удовлетворяющий (5), непременно удов-
летворяет и (6), поскольку EeQ[Tty (Т)] = Е0о [(Г—а)Ф (Г)] +
+ аЕ0оф (Т) ~ аа~ Eqq (Г) а. Константы Сиу находятся
поэтому из уравнений
^оИ<0} + уЛ0{7, = С1} = |,
С2 = 2а— Ci, V2==='Yi-
Пол ученные выше критерии гипотез 0! < 0 < 02 и 0 = 0О
являются строго несмещенными в том смысле, что их
мощность больше а при всех альтернативах 0. Для пер-
вого из этих критериев, определенного формулами (3)
и (4), строгая несмещенность является немедленным
следствием теоремы 6 (III) главы 3. Действительно,
последняя устанавливает, что мощность рассматривае-
мого критерия имеет минимум в точке 0О между 01 и 02
и строго возрастает при удалении 0 от 0О в любом на-
правлении. Второй из этих критериев, определяемый
формулами (3), (5) и (6), имеет непрерывную функцию
мощности с минимумом размера а при 0 —0О. Таким
образом, существуют 01 < 0о < 02 такие, что |3 (0J =
= р (02) = с, где а < с < 1. Рассматриваемый критерий
совпадает, следовательно, с РНМ несмещенным критерием
уровня с для проверки гипотезы 0i<0<02, и его мощ-
ность строго возрастает при удалении от 0О в любом
направлении. Утверждение доказано.
Пример 1. Пусть X—число успехов в п биномиальных
испытаниях с вероятностью успеха р. Теория, которая должна
быть проверена, приписывает параметру р значение р0, так что
ей соответствует гипотеза Н: p — pQ. Отвергая гипотезу Н, обычно
стремятся указать, превосходит ли р значение pQ или нет. Раз
заключение р #= pQ все равно приводит к необходимости дальней-
ших исследований, то на первом шаге разумно решить, согла-
суются ли данные с гипотезой р = р$ или нет. Поэтому форму-
лировка задачи, как задачи проверки вышеуказанной гипотезы,
вполне приемлема.
РНМ несмещенный критерий проверки Н дается формулой (3)
с Т(Х)~Х. Уравнение (5) превращается в
С2-1 2
2 (О«-*+2(сг)?^rCi=1-a>
х— Cq+1 г=1
и левая часть может быть подсчитана с помощью таблиц вероят-
ностей отдельных значений и функции распределения X. Соот-
2] ЭКСПОНЕНЦИАЛЬНЫЕ СЕМЕЙСТВА 179
ношение (6) с помощью тождества
х ( ” ) Рх^~х = про ig(n—1)—(ж—1)
приводится К ВИДУ
С2-1
х=С1+1 2
+ 2 ^-Yi) Qli) JpCi-i^(n-1)-(Ci-i) = i—а.
i=l
Левая часть снова может быть подсчитана по таблицам бино-
миального распределения.
При возрастании п распределение величины {X—npo)lY nPtfLo
стремится к нормальному N (0, 1). Поэтому при не слишком
малых объемах выборки и pQ, не слишком близком к 0 или 1,
распределение X приближенно симметрично относительно точки
npQ. В этом случае много проще критерий, которому соответ-
ствуют «равные хвосты» распределения, т. е. для которого Сиу
определяются уравнениями
Ci-1
2(0 w*+yi (О ^i?rCi=
=y2(с2)^Гс*+ 2 (0 РхоК~х=1 •
Х—С2-\~ 1
Этот критерий является приближенно несмещенным и хорошо
аппроксимирует несмещенной критерий. Ясно, что если п велико,
то константы можно определять прямо по таблицам нормального
распределения.
Пример 2. Пусть X=(X1? ..., Хп) — выборка из нормаль-
ного распределения со средним 0 и дисперсией а2, так что плот-
ность X равна
еХ₽ (“^ 2 xi) •
Статистика Т (х) = х? достаточна для оа и имеет плотность
(W) fn (y/tfl), где
/ (v\—_____1 „(п/2)-1 е-(у/2) /у Ах
2п^Г(п/2)У (2/>0)
— плотность %2-распределения с п степенями свободы. При меня-
ющемся о эти распределения образуют экспоненциальное семей-
ство, которое встречается также в задаче об испытаниях на
12*
180 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
продолжительность жизни (см. задачу 13 главы 2) и в задачах,
касающихся нормальных распределений с неизвестными средним
и дисперсией (раздел 3 главы 5). Область принятия у РНМ не-
смещенного критерия для гипотезы Н: б = а0 состоит из точек,
для которых
где
с2
\ fn(y)dy=l— а
С1
с2
yfn (у) dy
Cl
(l-a)gg>(2^)
U0
n (1 —a).
Для определения констант
использовать тождество
из таблиц ^-распределения удобно
yfn (y)~nfn+2 (у)
и переписать второе уравнение в форме
с2
/п+2(2/)^=1 —
С1
С2
или же можно проинтегрировать yfn (у) dy по частям и при-
вести второе уравнение к форме
п Ci п С%
С2е 2—С^е 2.
Хорошую аппроксимацию к несмещенному критерию, исключая
случаи малых п или о0, близких к 0 или оо, дает критерий
с «равными хвостами», для которого
Ci оо
/п (у) dy=\fn (у) dy = %- •
0 С2
Это вытекает из того, что при надлежащей нормировке распре-
деление Т стремится к нормальному, и, следовательно, Т рас-
пределена асимптотически симметрично.
3]
ПОДОБИЕ И ПОЛНОТА
181
3. Подобие и полнота
Во многих важных задачах подлежащие проверке
гипотезы касаются одного действительного параметра,
в то время как распределение результатов наблюдений
зависит дополнительно от некоторых «мешающих» пара-
метров. В широком классе подобных задач существует
РНМ несмещенный критерий, который можно отыскать
с помощью леммы 1. Но для этого требуется характе-
ристика критериев ср, для которых
Б’оФ (X) = а
при всех распределениях X, принадлежащих заданному
семейству g^x — {PQ, 0 g со}. Такие критерии называются
подобными по отношению к 3^х или со по следующей
причине. Если критерий ф нерандомизированный и имеет
критическую область S, то S «подобна выборочному про-
странству» Ж в том смысле, что обе вероятности: Pq {X g 5}
и Pq{X^^} не зависят от 0 g со.
Пусть Т — достаточная статистика для 3>х и пусть Рт
означает семейство [PJ, 0 g со} распределений Т, где 0
пробегает со. Тогда любой критерий, для которого
Е [ф (X) | Z] = а ^т-почти всюду*), (7)
оказывается подобным по отношению к ZPX, так как
Eq [ф (X)] = Eq {Е [ф (X) | Z]} = а для всех 0 g со.
О критериях, удовлетворяющих (7), говорят, что они
имеют неймановскую структуру относительно Т. Харак-
терное обстоятельство состоит в том, что вероятность
отклонения гипотезы равна а на каждой из поверхно-
стей Т — t. Так как распределение на каждой из этих
поверхностей не зависит от 0 для 0 g со, то условие (7)
по существу сводит проблему к проверке простой гипо-
тезы при каждом значении t. Среди критериев, облада-
ющих неймановской структурой, часто без труда нахо-
дится наиболее мощный, для чего проблема оптимизации
*) Говорят, что утверждение выполняется ^-почти всюду,
если оно не выполняется лишь па множестве 2V с P(2V) = 0 для
всех Р g J9.
182 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
решается на каждой поверхности отдельно. Найденный
критерий оказывается наиболее мощным среди всех по-
добных критериев в предположении, что каждый подоб-
ный критерий обладает неймановской структурой. Усло-
вия, при которых верно это последнее утверждение, мы
сформулируем в терминах следующего определения.
Семейство fp распределений вероятностей Р называет-
ся полным, если
Ер [/ (X)] = 0 для всех P^SP (8)
влечет
— Q ^-почти всюду. (9)
В приложениях роль еР будет играть семейство распре-
делений достаточной статистики.
Пример 3. Рассмотрим п независимых испытаний с веро-
ятностью р успеха и пусть 2Гг- равно 1 или 0, в соответствии
с тем, закончилось г-е испытание успехом или нет. Тогда
T~XiJr ... + Хп является достаточной статистикой для р, и се-
мейство возможных распределений равно ^Р=^{Ь(р, п), 0О<1}.
Для этого семейства из (8) вытекает, что
п
Г при всех 0<р<оо,
t=0
где р — р/(1 — р). Левая часть есть многочлен от р, все коэффи-
циенты которого должны быть равны нулю. Следовательно,
/(0 = 0 для / = 0, ..., тг, и биномиальное семейство распределений
Т-полно.
Пример 4. Пусть Х^ Хп — выборка из равномерного
распределения R (0, 0), О<0<со. Тогда Г= max (Xj, ..., Хп)
является достаточной статистикой для 0, и (8) превращается в
0
f / (t) dPQ (t) = n0-n y(£)£n-1d£ = O при всех 0.
о
Пусть /(£) = /+(£) — /-(£), где /+ (t) и (t) обозначают положи-
тельную и отрицательную части / (О соответственно.
Тогда
v+ (А) = \ f+ (0 tn~4t и v~~ (А) =Л /~ (0 tn-Ut
А Л
являются мерами на борелевских множествах (0, оо), которые
совпадают для всех интервалов, а следовательно, и для всех А»
Отсюда вытекает, что /+(<) =/"(О, за исключением, быть может,
3]
ПОДОБИЕ И ПОЛНОТА
183
множества нулевой меры Лебега. Поэтому / (£) —О .^т-почти
всюду.
Пример 5. Пусть ...,Хт; У4, ...,УЛ независимы
и распределены нормально по законам N (|, о2) и N (g, т2) соот-
ветственно. Тогда совместная плотность этих случайных величин
равна
C(g, о, т)ехр(-ХМ+^
Статистика T = (SXf, SXi, 2У;, ЕУ;) является достаточной. Она
неполна, так как E&Yjjn—равно тождественному нулю.
Однако, если У; (/== 1, ..., п) имеет среднее Ё(У) = т], которое
меняется независимо от то множество возможных значений
параметров = — 1/2а2, 02 = |/а2, 03= — 1/2т2, 04 = т]/т2 содержит
четырехмерный прямоугольник и потому, как следует из теоре-
мы 1 (см. ниже), семейство полно.
В широком классе случаев (включающем пример 3)
полнота семейств распределений может быть выведена
из следующей теоремы.
Теорема 1. Пусть X —случайный сектор с рас-
пределением вероятностей
к
cIPq (х) — С (9) ехр [3 (я)] dp (х)
и пусть SPT — семейство распределений статистики
Т = (7\ (X), . .., Th (X)) при 0, пробегающем множество <о.
Тогда, если со содержит k-мерный интервал, то ИР1 полно.
Доказательство. Производя, если необходимо,
сдвиг в пространстве параметров, мы можем предполо-
жить, не ограничивая общности, что со содержит прямо-
угольник
1-{(0ь ...,0л): -а<07<а, / = 1,...Д}.
Пусть функция / (Z) = /+ (/) — Г (£) такова, что
Е0/(71)~О при всех 9 geo.
Обозначим v меру, индуцированную р в пространстве
значений Т. Тогда при всех 0g7
J е29Л/+ (£) dv (t) = J е20Л/- (<) dv (t)
и, следовательно, в частности,
J f(t)dv (t)= J f-(t)dv (f).
184 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
Разделив f на надлежащую константу, мы можем при-
нять, что общее значение последних интегралов равно 1,
так что
dP+ (0 = /+ (z) dv (£) и dP~ (0 = Г (Z) dv (t)
являются вероятностными мерами, для которых
J (i) = J e™i'idP~ (t)
при всех 0 £ /. Рассмотрим теперь эти интегралы, как
функции комплексных переменных + /т)у, / = 1, к.
При любых фиксированных 0Ь ..., 0j-i, 0j+i, ..., 0*, дей-
ствительные части которых лежат строго внутри проме-
жутка от -а до -{-а, эти интегралы по теореме 9 гла-
вы 2 являются аналитическими функциями 07- в полосе
Rf. — а < £; < а, — со < < оо комплексной плоскости.
При фиксированных действительных 02, ..., 0д, лежащих
между —а и 4-а, равенство интегралов имеет место
в интервале {(£ь щ): — а < < а, щ — О} и потому верно
в полосе /?1, в которой интегралы аналитичны. По ин-
дукции равенство может быть распространено на много-
мерную комплексную область {(0Ь .. ., 0А): (Е;,
Отсюда, в частности, вытекает, что при
всех действительных (тц, ..., r]ft)
(t) = e^i^dP" (t).
Последние интегралы представляют собой характеристи-
ческие функции распределений Р+ и Р~ соответственно,
и по теореме единственности для характеристических
функций*), распределения Р+ и Р~ должны совпадать.
Из их определения следует, что v-почти
всюду, и потому /(£) = 0 ^т-почти всюду, что и требо-
валось доказать.
Пример 6. Пусть JTp независимы и одинаково
распределены с функцией распределения где &—семей-
ство всех непрерывных распределений. Как было показано в раз-
деле 6 главы 2, совокупность порядковых статистик Т (Х) =
= (Х<!>, достаточна для Мы докажем теперь пол-
*) См., например, раздел 10.6 книги: Г. Крамер, Матема-
тические методы статистики, ИЛ, 1948.
3]
ПОДОБИЕ И ПОЛНОТА
185
ноту распределений Т. Так как статистика Т' (X) — (ZXi, ...
эквивалентна Т (X) в том смысле, что обе индуцируют
одно и то же подполе в выборочном пространстве, то Т' (X)
также достаточна. Кроме того, Т' (X) полна тогда и только тог-
да, когда полна статистика Т (X). Чтобы доказать полноту Т' (X),
а тем самым и полноту Т(Х), рассмотрим семейство плотностей
/ (а?) = С (0£, ..., 0jv) ехр (—^2N4-0i^+ ... +0jv^N),
где С—нормирующая константа. Эти плотности определены при
всех значениях аргументов 0, так как интегралы от экспоненты
конечны. Соответствующие распределения принадлежат Плот-
ность для выборки объема N равна
CN ехр (- . +0tf2af),
и эти плотности образуют экспоненциальное семейство -Fq. По
теореме 1 Т'(X) полно для <F0, а следовательно, и для что
и требовалось доказать. (Иное доказательство см. в задачах 12 и 13.)
Этот же метод доказательства позволяет установить более
общий результат. Пусть Х^, j ~ 1, ..., 2Vf, i— 1,..;,с, незави-
симы и имеют непрерывные функции распределения Ff, и пусть
Х&> < ... < Х^) обозначают Ni наблюдений Хц, ..., XiNi, рас-
положенных в возрастающем порядке. Тогда система порядковых
статистик
(Х<», ..., Хс\ X<Wc))
достаточна и полна для семейства распределений, получаемого,
когда ..., Fc независимо пробегают класс Здесь полнота
доказывается рассмотрением подсемейства семейства в ко-
тором распределения Ft имеют плотности вида
fi (»)=Ci (Oil, • • •. 6iNi) exp (— x2Ni+&ЦХ +... + 0iNi»Ni).
Для настоящих целей достаточным было бы и более слабое
понятие ограниченной полноты: семейство & называется ограни-
ченно полным, если (8) влечет (9) для всех ограниченных функ-
ций /. Если & полно, то оно тем более ограниченно полно.
Теорема 2. Пусть X — случайная величина с рас-
пределением Р g и пусть Т — достаточная статисти-
ка для Тогда, чтобы все подобные критерии имели
неймановскую структуру относительно Т, необходимо
и достаточно, чтобы семейство распределений Т было
ограниченно полным.
Доказательство. Предположим, что 3^т ограни-
ченно полно и <р(Х)— критерий, подобный относитель-
но fp. Тогда
Е [ф (X) — а] = 0 при всех Р g ZP
186 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
и, следовательно, если обозначает условное мате-
матическое ожидание разности ф(Х)-—а при данном t, то
(71) = 0 при всех Рт g ?РТ.
Так как по лемме 3 главы 2 можно считать, что ф(£)
ограничена, то из ограниченной полноты ?рт вытекает
ф (0 = 0 и Е [ф(Х) | = а $>т-почти всюду, что и требо-
валось доказать.
Обратно, допустим, что 3^т не является ограниченно
полным. Тогда найдется функция / такая, что ] f(t) |<Л£
при некотором М, Ef (Т) = 0 при всех Рт и / (Т) Ф О
с положительной вероятностью при некотором Рт С
Положим ср(£) = с/(71) + а, где с = min (а, 1—а)/М. Тогда
Ф — критическая функция, так как 0<ф(£)<1, и она
определяет подобный критерий, поскольку £*ф(^) = адля
всех Рт б $>т. Но ф не имеет неймановской структуры,
так как ф(71) #= а с положительной вероятностью по край-
ней мере для одного распределения класса
4. РНМ несмещенные критерии для экспоненциальных
семейств со многими параметрами
Важный класс составляют гипотезы относительно дей-
ствительного параметра в экспоненциальном семействе,
при условии, что остальные параметры остаются неуточ-
ненными, «мешающими» параметрами. Во многих подобных
случаях РНМ несмещенные критерии существуют и могут
быть построены с помощью теории предыдущего раздела.
Пусть X распределено по закону
dPl * (ж) = С (0, 0) ехр [QU(x) + £ (z)] dp (я),
(0. (10)
и пусть = ....б'й) и T—(Tt, ...,Th). Мы рас-
смотрим проблему проверки следующих гипотез Н j при
альтернативах Kj, / = 1, . .., 4:
Нс. 0<0О Ki-. 0 >0О
Н2-. 0<0, или 0>02 К2: 0i<0<02
Н3: 0t<0<02 К3-. 0<0!или0>02
Я4: 0 = 0о Кь-. 0#=0О.
4]
РНМ НЕСМЕЩЕННЫЕ КРИТЕРИИ
187
Мы предположим, что пространство параметров й
выпукло и что его размерность равна & + 1, т. е., что
оно не содержится ни в каком линейном пространстве
размерности < fc-pl. В частности, это имеет место, если
Й — естественное пространство параметров экспоненциаль-
ного семейства. Мы предположим также, что в й найдутся
как точки, для которых 0 меньше, так и точки для
которых 0 больше 0О, 01 и 02 соответственно.
Можно ограничиться только достаточными статисти-
ками (С7, 71), которые имеют совместное распределение
k
dPe;£ (и, t) = С (В, fl) ехр [0u+ 2 ®iti] dv(u, t),
i=l
(0, #)ей. (ii)
При данном T~t U остается единственной переменной,
и по лемме 8 главы 2 условное распределение U при
данном t входит в экспоненциальное семейство
dP^‘ (и) = Ct (9) ехр (0»)dvt (и).
Для условных распределений по следствию 2 главы 3
существует РНМ критерий для проверки 1Ц с крити-
ческой функцией ф! такой, что
!1 при
уо(О при
О при
и > Со (£),
u = C0 (t),
и < CQ(t),
(12)
где константы Со и у0 определяются из уравнения
Ее» [ф1 (U, Т) 11] = а при всех t. (13)
Для проверки Н2 в семействе условных распределе-
ний можно по теореме 6 главы 3 построить РНМ кри-
терий с критической функцией
1 при Ci (0 <и < С2 (0,
<p2(w, 0 = Yt (0 при u = Ct(t), i = l,2, (14)
0 при u<Ci(0 или >С2(0,
где константы Сиу определяются из уравнения
[-WW, П И = [ф2 (U, Т) | И = а. (15)
188 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
Рассмотрим теперь критерий ф3 такой, что
ф (u, t) =
1 при u<Ci(t) если >С2(0,
yi(t) при u = Ci(t), г = 1, 2, (16)
О при Ci (t) < и < С(О,
где С и у определяются из уравнения
Ее, [Фз (U, T)\t] = Ее2 [Фз (^, Л | П = а. (17)
При данном Т = t этот критерий в соответствии с раз-
делом 2 настоящей главы будет РНМ несмещенным для
проверки Н3 и РНМ среди всех критериев, удовлетво-
ряющих (17).
Пусть, наконец, ф4 — критическая функция, удовлет-
воряющая (16) с константами С и у, которые нахо-
дятся из уравнений
Ее» [ф4 (U, T)\t]=a (18)
и
Ее01С/ф4(Я, Т) \t] = аН0о [U\ *]. (19)
При данном T—t из результатов раздела 2 снова выво-
дим, что ф4 является РНМ несмещенным критерием для
проверки Н4 и РНМ в классе всех критериев, для
которых выполняются (18) и (19).
До сих пор критические функции ф7- рассматривались
как условные при T = t. Интерпретируя их теперь как
критерии, основанные на U и Т и предназначенные для
гипотез относительно распределений X (или совместного
распределения V и Т), т. е. возвращаясь к первона-
чальной точке зрения, мы приходим к следующей важ-
ной теореме.
Теорема 3. Определим критические функции*, ф4
по (12) и (13); ф2 по (14) и (15); ф3 по (16) и (17), ф4 по
(16), (18) и (19). Эти функции приводят к РНМ несме-
щенным критериям уровня а для проверки гипотез
Hi, ..., И4 соответственно, если совместное распределе
ние U и Т дается формулой (11).
Доказат ельство. Статистика Т достаточна для
ft при любом фиксированном 0 и, следовательно, Т до-
статочно для каждого
Юу= {(8, ft): (0, ft)gQ, 0 = 0;}, 7 = 0, 1, 2.
41
РНМ НЕСМЕЩЕННЫЕ КРИТЕРИЙ
189
По лемме 8 главы 2 соответствующее семейство распре-
делений Т получается из формулы
к
dplj, о (О = С (fy, ft) ехр (2 ftiQdveft),
J i=l
(0;,
j = o, 1, 2.
Так как, по предположению, Q выпукло, имеет размер-
ность к-\-1 и содержит точки, лежащие по обе стороны
от 0 = 0у, то со; выпукло и имеет размерность к. Поэтому
<dj содержит й-мерный прямоугольник. По теореме 1
семейство
^Т={Ре;,е: (9. 0)6®Л
полно. Из подобия критерия ср на со7- вытекает
£Г0/[ф(г7, Г)|0 = а.
(1) Рассмотрим сначала Hi. По теореме 6 главы 2
для экспоненциального семейства мощность любого кри-
терия непрерывна. Следовательно, достаточно доказать,
что ср! является РНМ критерием в классе всех крите-
риев, подобных на «о (лемма 1), и тем самым в классе
критериев, удовлетворяющих (13). С другой стороны,
безусловная мощность критерия ф при альтернативе
(0, Ф) равна
Е6, о [Ф (U, 7)1 = j [ $ Ф (и, 0 dP%/f (u)J dPl * (0. (20)
Мы сделаем максимальной безусловную мощность, макси-
мизируя условную мощность при каждом отдельном t
(т. е. максимизируя выражение, стоящее в квадратных
скобках). Так как ф1 делает максимальной условную
мощность при любой альтернативе 0 > 0О и при огра-
ничении (13), то мы получаем требуемый результат.
(2) Доказательства для Н2 и Н3 совершенно анало-
гичны. По лемме 1 достаточно доказать, что ф2 и ф3
являются РНМ среди всех критериев, подобных на
и со2, и, следовательно, среди критериев, удовлетворяю-
щих (15). При каждом t ф2 и ф3 максимизируют услов-
ную мощность в соответствующих задачах при указан-
ном ограничении. Поэтому они максимизируют и безус-
ловную мощность.
190 Несмещенность теория, первые применения [гл. 4
(3) Несмещенность критерия для Я4 влечет подобие
на ©о и
[£0. оср (U, Г)] = 0 на <о0-
В левой части этого соотношения дифференцирование
можно перенести под знак математического ожидания,
и с помощью тех же вычислений, что ранее привели
к (6), мы находим, что это уравнение равносильно сле-
дующему:
Eq,&\U4(U , — = Q на (о0.
Поэтому, так как полно, несмещенность влечет (18)
и (19). Как и в уже разобранных случаях, критерий
(который удовлетворяет (16)) является РНМ среди всех
критериев, удовлетворяющих этим двум условиям. Так же,
как при доказательстве леммы 1, из сравнения с кри-
терием ф(и, 0 = а вытекает, что предложенный кри-
терий—РНМ несмещенный.
(4) Функции фь . ..,ф4 определены при каждом
фиксированном t как функции от и. Для завершения
доказательства необходимо установить, что эти функции
измеримы по совокупности переменных и и /, так что
математическое ожидание (20) существует. Мы докажем
здесь это утверждение для ф^ доказательство для осталь-
ных случаев намечено в задачах 14 и 15. Чтобы пока-
зать измеримость фь мы выведем сначала измеримость
по t CQ(t) и уо (0, определенных в (12) и (13). Опуская
индекс 0 и обозначая
Ft(u) = PQo{U<u\t}
условную функцию распределения U при Т = t и 0 = 0О,
мы можем переписать (13) в форме
Ft (C) — y[Ft (С) - Ft (С —0)] = 1 - а.
Здесь С' = С(0 таково, что Ft (С — 0)<1 — а</\(С) и,
следовательно,
С (0 = ^(1 -а),
где Ft1 (у) = inf {и: Ft(u)^y}. Мы видим, что С (0 иу(0
4] рйм Несмещённые критерий iqi
будут измеримы, если Ft(u) и Ft(u — 0) измеримы по
совокупности переменных и и t и F?1 (1 — а) измерима
по f.
При каждом фиксированном и функция Ft(u) изме-
рима по t и при каждом фиксированном t она является
функцией распределения, а потому монотонна и непре-
рывна справа. Из второго свойства вытекает, что
/\(м)>с в том и только том случае, когда для каж-
дого п существует рациональное число г такое, что
u<r<u+l/n и Ft{r)^c. Следовательно, обозначая
Г1, г2, •••> занумерованные каким-либо образом рацио-
нальные числа, имеем
{(w, t):Ft(u)>c} =
= пу{(“, 1):0<гг-и<А. , Ft(rt)>c}.
Отсюда видно, что Ft (и) измерима по совокупности
переменных и nt. Для Ft(u — 0) доказательство совер-
шенно аналогично. Так как Fj‘1(y)<u равносильно
Л(»)>У, то Ft1 (у) f-измерима при любом фиксирован-
ном у. Доказательство закончено.
Критерий ф4 доказанной теоремы остается РНМ не-
смещенным, если заменить Q множеством Q' = Q р|
П {(0, '0') : Э > 0Ор т. е. если проверять гипотезу Я':
0 = 0О при альтернативе 0 > 0О. Предположение о том,
что Q содержит точки с 0 < 0О, было в действительности
использовано только для доказательства наличия внутри
т0 ^-мерного прямоугольника. Но это утверждение остает-
ся верным, если Q заменить на Q'.
Оставшаяся часть этой главы, равно как и вся следую-
щая глава, посвящена в основном применениям предыду-
щей теоремы к различным статистическим задачам. Этот
путь — наиболее быстрый путь доказательства того, что
соответствующие критерии являются РНМ несмещенными.
Однако имеется и другой, более элементарный, вариант
подхода к проблеме, Именно, доказательство теоремы 3
совершенно элементарно во всех пунктах, за исключением
следующих: (I) того факта, что условные распределения U
при данном T — t образуют экспоненциальное семей-
ство, (II) что семейство распределений Т полно, (III) что
производная от ф (Я, Т) существует и может быть
192 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
вычислена дифференцированием под знаком математичес-
кого ожидания, (IV) что функции ф1? . . ср4 — изме-
римы. Вместо проверки свойств (I) — (IV) в общем слу-
чае, как было сделано в выше приведенном доказатель-
стве, можно проверять эти свойства непосредственно
в каждой отдельной задаче, что порой очень легко.
С помощью преобразования параметров теорема 3
может быть распространена на гипотезы относительно
параметров типа
k
0* = ао0 + 2 а^, ло¥=О.
i=l
Преобразование формально дается нижеследующей лем-
мой, доказательство которой очевидно.
Лемма 2. Экспоненциальное семейство распределе-
ний (10) может быть представлено в виде
dP* = К (9*, #) ехр [9*С7* (ж) + 2^7? («)] dp (х),
где
и* = — , Т1 = Т<- — U.
«о ао
Применение теоремы 3 к распределениям в той форме,
как они даны в этой лемме, приводит к РНМ несмещен-
ным критериям для гипотезы И*: 0* <0О и определенных,
аналогично предыдущему, гипотез Н*, Я*, Я*.
Проверяя одну из гипотез Я;, мы часто интересуемся
мощностью Р(0', 'О’) критерия по отношению к какой-
либо альтернативе 0' Как подчеркнуто в обозначении
и видно из (20), эта мощность зависит, обычно, от неиз-
вестных «мешающих» параметров О'. С другой стороны,
мощность условного критерия при данном T — t
Р(0'Ю = ^[Ф(Я, W1
не зависит от 'О’ и имеет, следовательно, известное зна-
чение.
Величину р (0' | t) можно интерпретировать двумя
способами. (I) Это есть вероятность отклонения Н при
Т = t. Если значение Т уже известно и равно t, то возни-
кает представление, что, по крайней мере в некоторых
проблемах, указанная вероятность дает более подходящее
5]
СРАВНЕНИЕ ДВУХ СОВОКУПНОСТЕЙ
193
к ситуации выражение мощности, чем р (0', $)• Последнее
получается осреднением р (0' 11) по значениям t, не имею-
щим отношения к рассматриваемому случаю. Этот аргу-
мент наталкивается на трудности, так как могут налагаться
еще и дополнительные условия, и неясно, когда же сле-
дует остановиться.
(II) Более отчетливая интерпретация состоит в том,
что р (0' 11) рассматривается как оценка р (0', '0). Так как
Er,о [₽ (О' 171)] = Р(9', «),
то эта оценка является несмещенной в смысле главы 1
(равенство 11). Далее, из теории несмещенных оценок
и полноты экспоненциального семейства следует, что
в классе всех несмещенных оценок мощности р(0',Ф)
предлагаемая имеет наименьшую дисперсию *).
Безотносительно к способу интерпретации р (0' 11)
имеет по сравнению с безусловной мощностью тот недоста-
ток, что ее величина становится известной после проведе-
ния наблюдений. Следовательно, она непригодна для пла-
нирования эксперимента, в частности, для определения
размера выборки, если это необходимо сделать заранее,
до проведения эксперимента. С другой стороны, заданная
мощность Р при альтернативе 0 = 0' достигается после-
довательным накоплением наблюдений до тех пор, пока
условная мощность р (0' 11) не станет > р.
5. Сравнение двух пуассоновских
или биномиальных совокупностей
Часто возникает необходимость сравнения двух спо-
собов воздействия на изучаемые объекты или какого-либо
способа воздействия с контрольной ситуацией, где он
не применяется. Если результатом наблюдений является
число успехов в последовательности испытаний каждого
способа, например число пациентов, излеченных от неко-
торой болезни, проблема сводится к проверке равенства
двух биномиальных вероятностей. При сравнении степени
*) См. теорему 5.1 в работе: Lehmann and S с h е f f ё,
Completeness, similar regions and unbiased estimates, Sankhya,
vol. 10 (1950), 305—340.
13 Э. Леман
194 ЙЁСМЕЩЁННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
радиоактивности двух веществ исходными были бы рас-
пределения Пуассона, а проблема состояла бы в проверке
тождественности этих распределений.
Желая проверить, дает ли предлагаемый способ вы-
игрыш по сравнению с контрольными испытаниями, где он
не применяется, мы формулируем одностороннюю гипо-
тезу. Обозначая g2 и Hi значения параметра при примене-
нии воздействия и в контрольных опытах, мы представим
класс альтернатив в виде К: £2 > £i- Основная гипотеза
имеет вид &2 = Bi, если априори известно, что предлагае-
мый способ или не вносит изменений, или дает преимуще-
ство, и вид g2 < £1, если допускается возможность ухуд-
шения. Так как при обеих формулировках критерии ока-
зываются одними и теми же, то более безопасная вторая
формулировка часто оказывается и более предпочти-
тельной.
Односторонние гипотезы оказываются уместными
и в тех случаях сравнения новых способов со стандартными,
когда первые представляют интерес исключительно лишь
при условии улучшения результатов. С другой стороны,
если два способа находятся в одинаковом положении, то
проверяют гипотезу g2 — при двусторонней альтер-
нативе g2 Ф Здесь формулировка представляется до-
вольно искусственной, так как в случае отклонения гипо-
тезы мы несомненно стремимся понять, какой же способ
лучше *). Однако двусторонние критерии находят важное
применение при построении доверительных границ для
меры превосходства одного способа над другим.
Чтобы применить теорему 3 к задаче сравнения, необ-
ходимо представить соответствующие распределения в экс-
поненциальной форме с 0 = / (£i, £2), например, 0 =
~^2 — Ь или WSi» словом, в такой форме, чтобы инте-
ресующая нас гипотеза была эквивалентна встречающимся
в теореме 3. В настоящем разделе будут рассмотрены пуас-
соновское и биномиальное распределения. Случаем нор-
мальных распределений мы займемся в главе 5.
*) Сравнение двух способов как проблема с тремя решениями
рассматривается в работах: Bahadur, A property of the t —
statistic, Sankhya, vol. 12 (1952), 79—88, и L ehm ann, A theory
of some multiple decision procedures, Ann. Math. Stat., vol. 28 (1957),
1—25, 547-572.
5]
СРАВНЕНИЕ ДВУХ СОВОКУПНОСТЕЙ 195
Начнем с распределений Пуассона. Пусть X и У неза-
висимы и имеют распределения Р(А) и Р(р), соответственно,
так что их совместное распределение может быть пред-
ставлено в форме
— (%+Ц) г- U, 1
Р{Х = х, У = у} = -^г^-ехр [ ylogy+ (x+y)logXj .
Согласно теореме 3 существует РНМ несмещенные крите-
рии для четырех гипотез Нъ . . Я4, касающихся пара-
метра 0 = log (р/А), или, что то же самое, отношения
q = р,/Х. Сюда, в частности, включаются гипотезы р < А
(или р = А) при альтернативе р > А, и р = А при альтер-
нативе р =/= А. Сравнивая распределение (X, У) с (10),
мы видим, что здесь U = YnT = X-\-Y, и по теореме 3,
критерии применяются условным образом в целых точ-
ках отрезка прямой X + У = Z, лежащего в первом квад-
ранте ж, у-плоскости. Условное распределение У при
X + У = t равно (см. задачу 12 главы 2)
у = 0, 1....t,
т.е. является биномиальным распределением, соответствую-
щим t испытаниям с вероятностью успеха р = р/(А + р).
Первоначальные гипотезы сводятся этим приемом к ана-
логичным гипотезам относительно параметра р биномиаль-
ного распределения. Например, гипотеза Н: р < аА пре-
вращается в Н: р < а/(а + 1), которую отвергают при
слишком болыцих У. Критическое значение зависит,
конечно, не только от а, но и от t. Его можно определить
по таблицам биномиального распределения, а при боль-
ших t — (приближенно) по таблицам нормального закона.
Во многих применениях отношение q = р/А оказы-
вается разумной мерой расхождения между пуассонов-
скими совокупностями, поскольку параметры Аир ука-
зывают на скорость (в пространстве или во времени),
с которой появляются события в сравниваемых процессах
Пуассона. Можно было бы надеяться, что мощность ука-
занных выше критериев зависит только от этого отноше-
ния, но это в действительности не так. Более того, при
13*
190 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
каждом фиксированном g, соответствующем альтерна-
тиве к проверяемой гипотезе, мощность 0 (X, (х) =
= 0 (X, gX) является возрастающей функцией X и стремится
к 1 при X -» оо и к а при X -» 0. Чтобы показать это, рас-
смотрим мощность 0 (g 11) условного критерия при дан-
ном Л Эта мощность есть возрастающая функция t, по-
скольку она представляет собой мощность оптимального
критерия, построенного по t биномиальным испытаниям.
Статистика Т имеет распределение Пуассона с параметром
X (1 + g), и ее распределения применяющемся X образуют
экспоненциальное семейство. Из леммы 2 главы 3 сле-
дует, что безусловная мощность Е [0 (g|T)] является
возрастающей функцией X. При X -> 0 или X -> оо Г,
по вероятности, стремится к 0 или оо, а мощность относи-
тельно фиксированной альтернативы g — к а или 1.
Приведенные выше критерии применимы и к выборкам
Хъ . . ., Хт и Уь . . . , Yn из двух распределений
m п с
Пуассона. Статистики X = будут
i=t j=l
при этом достаточными для X и ц и будут распределены
по закону Пуассона с параметрами тпХ и пр соответственно.
При планировании эксперимента естественно желание
взять m = п столь большим, чтобы критерий гипотезы,
скажем Н : q < g0, имел при фиксированной альтерна-
тиве gA мощность, не меньшую заданного 0. Однако заме-
чания, сделанные по поводу функции мощности при п = 1,
остаются справедливыми при любом п, и потому выска-
занное пожелание неосуществимо при фиксированном п,
сколь бы велико оно ни было. Это можно увидеть и непо-
средственно, поскольку при X —> 0 вероятность события
X = Y = 0 стремится к 1 как при g"= g0, так и при g =
= gP Поэтому - мощность любого критерия уровня а
при альтернативе g = gi и при меняющемся X не может
быть «удалена» от а. Эту трудность можно преодолеть
только при последовательной процедуре наблюдения.
Мы можем, например, выбрать tQ столь большим, чтобы
критерий гипотезы р < g0/(l + Qo)> построенный по tQ
биномиальным испытаниям, имел мощность > 0 при аль-
тернативе р = g±/(l + gi). Наблюдая пары (Хь Ух),
(Х2, У2), . . . до тех пор, пока не станет S (Х$+ YJ t0,
5]
СРАВНЕНИЕ ДВУХ СОВОКУПНОСТЕЙ
197
мы получим критерий, мощность которого > р при всех
альтернативах с Q > р^).
Сравнение биномиальных вероятностей совершенно
аналогично. Пусть X и Y — независимые случайные вели-
чины с совместным распределением
Р{Х — х, У = 2/} = (7)^Гх(5)М9Г =
=(7) G) ^ехр [? 0°g-S--iogf-)+
+ (z + 2/)log-^-] •
Мы можем проверить каждую из четырех гипотез
Я1, ..., Я4 относительно параметра 0 = log
или, что эквивалентно, относительно отношения q =
= J. Сюда включаются, в частности, проблемы
проверки Я': < Pi при альтернативе р2 > Pi и Я': р2 = pi
при альтернативе р2 =# Pi- Как и в случае распределе-
ний Пуассона, U = Y и Т = X-\~Y, и критерий выра-
жается в терминах условного распределения Y на отрезке
прямой Х + У = 1. Это распределение равно
Р {У = у |х+у = t} = Ct (Q) ( Д ) ( у )е’Л
У = о,1.t, (21)
где
ЗД)=1/2(ЛЗО>-
v'=o
В частном случае гипотез Я' и Н\ пограничное значе-
ние 0о (см. формулы (13), (18), (19)) равно 0, а соответ-
ствующее значение Q равно 1. Условное распределение
*) Обсуждение этой и альтернативной процедур для дости-
жения той же самой цели дается в работе: Birnbaum, Sta-
tistical methods for Poisson processes and exponential populations,
J. Am. Stat. Assoc., vol. 49, 254—266,!
198 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
превращается в гипергеометрическое распределение*)
P{Y = y\X + Y = t}
2/ = 0, . . ., t.
6. Проверка независимости в 2 х 2 таблицах
Задача о том, независимо ли распределение некоторых
характеристик А и В в данной совокупности, обсуждалась
в разделе 4 главы 2 (пример 4). При этом предполагалось,
что частные вероятности р(А) и р(В) известны. Мы видели,
что лучше всего информирующей среди выборок объема s
является та, которая взята из самой редкой из четырех
разновидностей А, Л, В, В. Пусть это будет, например, А.
Тогда задача сводится к проверке гипотезы Я: р — р(В)
относительно биномиального распределения Ь(р, $).
В более типичной ситуации, когда р(А) и р(В) неиз-
вестны, выборка только из одной категории, скажем А,
не может служить основой для различения гипотезы и ее
альтернатив. Это следует из того факта, что число эле-
ментов выборки, обладающих свойством В, имеет бино-
миальное распределение с вероятностью успеха р(В\А),
совершенно неизвестной как в случае, когда гипотеза
верна, так и в противоположном случае. Гипотеза может
быть, однако, проверена, если выборка берется из двух
категорий: А и А (или В и В). Возьмем, например, по-
следний случай. Если объемы выборок равны тп и тг, то
числа элементов этих выборок, обладающих свойством Л,
будут независимыми случайными величинами с биномиаль-
ными распределениями b т) и Ъ (р2, и) соответственно.
Здесь рА = Р(А \ В) и р2 = Р(А | В). Гипотеза независи-
мости двух характеристик: р(А |J9) = р(А) эквивалентна
гипотезе р± = р2 и задача сводится, таким образом, к разо-
бранной в предыдущем разделе.
♦) Таблицы, облегчающие применение критериев в этом случае,
даются в книгах: Mainland, Herrera and Sutcliffe,
Tables for Use with Binomial Samples, New York, Department of
Medical Statistics, N. Y. Univ. College of Medicine, 1956, и
Armsen, Tables for significance tests of 2 x 2 contingency tables,
Biometrika vol. 42 (1955), 494—511,
6]
ПРОВЕРКА НЕЗАВИСИМОСТИ В 2x2 ТАБЛИЦАХ
199
Вместо извлечения выборок из двух категорий часто
бывает удобнее взять случайную выборку из совокуп-
ности, рассматриваемой как целое. Результаты подобной
выборки могут быть сведены в следующую 2x2 таблицу
сопряженности признаков. В ее клетках указано количе-
ство объектов разных категорий:
Величины X, X', Y и Yr имеют совместное полино-
миальное распределение
Р{Х = х, X = х , Y = у, Y =у }~ x\x'\yiy'i х
х Р1вРХвРавР$в - ЙГтЬч PSAB ех₽ [ х log +
А В
р<~~> Р 1
+ х' log -^ + ylog -.
ГАВ *АВ J
Лемма 2 и теорема 3 применимы к любому параметру
вида
Р'**' Р
9* = а0log—+ at log——+ <z2 log—— .
РАВ *АВ *АВ
Полагая =-- а2 = 1, а0 = — 1, А = е9* = (РХв^ав^Лав^а в)
и обозначая рА — рАВ 4- P^q и рв = рАВ р~в вероятности
категорий А и В в рассматриваемой совокупности, мы
имеем
, 1 —А
Рав ~~ РаРв + д РавРав >
1 —А
Рав~РаРв д РавРав'
1 — А
Рав ” РаРв а~ PabPab*
1“"л
Рав^ РаРв д РдвРац•
200 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
Независимость А и В эквивалентна равенству Д = 1,
а неравенства Д < 1 и Д > 1 указывают соответственно
на положительную и отрицательную зависимость*).
Критерий гипотезы независимости, или любой другой
гипотезы относительно Д, описывается в терминах услов-
ного распределения X при данных Х +X' = X + У = L
Вместо того чтобы непосредственно вычислять это распре-
деление, рассмотрим сначала условное распределение
при условии X + X' — т (которое влечет У + У' =
— 5 — т — п). Это распределение, как легко видеть, равно
Р{Х = х, Y-^y\X + Xf = m} =
__ л m л л л л Рав Рав п ( Рав \у ( Ра в \
\^)\у)\Рв)\Рв) /
т. е. представляет собой совместное распределение двух
независимых биномиальных величин с параметрами т,
Р1=^РАВ1Рв' и Р*~Рав1Рв соответственно. Действи-
тельно, это ясно и без вычислений, поскольку теперь
мы имеем дело с выборками фиксированных объемов
т и п из категорий В и В, вероятность А в которых
равна д и р2. Если наложить дополнительное условие
X±Y~t, то условное распределение X при двух усло-
виях Х-\-Х' = т и X-\-Y~t будет таким же, как у X
при данном X + У = t в случае двух независимых бино-
миальных величин, рассмотренных в предыдущем пара-
графе. Стало быть, оно равно
P{X^x.\X + Xf — т, X + Y=t} =
....<'
(мы заменили в (21) у на х\ следует заметить, что выбор
именно X для построения критериев совершенно произ-
волен; с таким же успехом мы могли бы выбрать У).
*) А эквивалентна мере зависимости признаков Q =
= (1 — А)/(1 —А), предложенной Юл ом. Эта и подобные меры
обсуждаются в статье: Goodman and Kruskal, Measures of
association for error classifications, Am. Stat. Assoc., vol.
49 (1954), 732—764,
ПРОВЕРКА НЕЗАВИСИМОСТИ В 2x2 ТАБЛИЦАХ
201
6]
Для параметра Q имеем выражение
Р2 /
12 /
Pi
Qi
РАВРАВ
Р^ВРА В
Из проведенных рассуждений мы видим, что условный
критерий при данных Х-[-Х' = т и Х + У = £ для про-
верки любой гипотезы, относящейся к А, идентичен
с условным критерием при данном X + Y = t для той же
самой гипотезы относительно р = А в обстановке преды-
дущего раздела (в котором X + X' = т было дано
априори). В частности, условный критерий для проверки
независимости А = 1 (критерий Фишера —Ирвина) совпа-
дает с критерием проверки равенства двух биномиаль-
ных параметров р и потому может быть выражен в тер-
минах гипергеометрического распределения.
В начале раздела уже отмечалось, что гипотеза неза-
висимости может быть проверена на основании выборок,
взятых различными способами. Выборки фиксированного
объема можно взять из А и А или из В и В, или, наконец,
из совокупности как целого. Какой из этих планов
более эффективен, зависит от стоимости выбора из раз-
личных категорий и из всей совокупности, а также от
стоимости необходимой классификации отобранных инди-
видуумов в соответствии с рассматриваемыми характе-
ристиками. Предположим, однако, на время, что мы
пренебрегаем этой стороной дела и желаем сравнить
планы эксперимента в терминах мощностей отвечающих
им критериев при одной и той же альтернативе. Тогда
при возрастании объема выборки s до бесконечности
верны следующие асимптотические утверждения*):
(I) Если выборки объемов тип (m-\-n = s) из-
влекаются из В и В или Л и Л, то наилучшими зна-
чениями тип будут m = n = s/2.
(II) Выборки равного объема 5/2 лучше извлекать
~ I 111 1 |
из В и В, чем из Л и Л, если \рв-------------21 ’
*) Справедливость этих результатов была предположена
Берксоном и доказана Нейманом в курсе лекций о
%2-критерии,
202 НЕСМЕЩЕННОСТЬ ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
(III) Случайная выборка из всей совокупности хуже,
чем выборки равного объема из А и А или из В и В-
Мы не будем доказывать здесь эти утверждения. Отме-
тим лишь, что их можно получить, используя нормаль-
ное приближение к биномиальным распределениям X
и Y, и замечая, что при случайном выборе из всей сово-
купности M/s и N/s стремятся по вероятности к рв и
соответственно.
7. Критерий знаков
Чтобы определить, какой из двух товаров предпочи-
тает потребитель, опрашивают п лиц. Результат отме-
чается знаком плюс, когда предпочитают товар Л, и зна-
ком минус в другом случае. Полное число плюсов Y
имеет тогда биномиальное распределение Ь(р, п). Рас-
смотрим проблему проверки гипотезы р — -i об отсутствии
разницы в спросе при альтернативе р =# -у (как и рань-
ше, мы отвлекаемся от того факта, что при отклонении
гипотезы необходимо решить, какой из товаров предпо-
читают). Соответствующий критерий, двусторонний кри-
терий знаков, отклоняет гипотезу, если значение
| Y — у п | слишком велико. Это — РНМ несмещенный
критерий (раздел 2).
Допустим, что потребители могут воздержаться от
ответа. Обозначим р+, р- и /?0 вероятности предпочесть А,
предпочесть В и воздержаться соответственно, тогда
числа X, Y и Z потребителей, для которых осу-
ществляются указанные возможности, имеют совместное
полиномиальное распределение с вероятностями
(x + y + z-w), (22)
и гипотеза, которую надлежит проверить, имеет вид И:
р+ — р_. Распределение (22) можно записать в форме
п! ( Р+ У (' РО Y/1 - n -nF
\ i — p9 — p+J k 1—/>q —/>+ J P° P+' ’
7]
КРИТЕРИЙ ЗНАКОВ
203
из которой видно, что это—экспоненциальное семейство с
С7 = У, Г = 2, 0 = log [р+/(1—Ро—Р+)], '0 = log[po/(l —Ро —
— р+)]. Гипотеза Я, как легко видеть, эквивалентна
гипотезе 0 — 0. Поэтому существует РНМ несмещенный
критерий для Я. Мы придем к этому критерию, если сна-
чала фиксируем z, а затем определим наилучший несме-
щенный условный критерий для Я при Z = z. Так как
условное распределение У при данном z является бино-
миальным b (р, п — z) с р = р+/(р+ + р_), то проблема
сводится к проверке гипотезы р = 1/2 в биномиаль-
ном распределении с п — z испытаниями, а в этом случае
критическая область имеет вид | У — у (п — z)11 > C(z).
Мы получаем, следовательно, РНМ критерий, отбра-
сывая случаи, когда предпочтение не было высказано («ни-
чьи»), и применяя критерий знаков к оставшимся данным.
Мощность критерия сильно зависит от pQ, определяю-
щего распределение величины Z. Можно ожидать, что
при больших ро число п — z испытаний в условном бино-
миальном распределении будет мало, и поэтому мощность
критерия также будет невелика. Правда, в этом случае
есть и преимущество — большое значение р0 указывает,
безотносительно к величине р+/р_, что потребители в це-
лом весьма безразличны к товарам, о которых идет речь.
Вышеприведенный условный критерий знаков приме-
ним в любой ситуации, где наблюдаются п независимых
испытаний, каждое из которых заканчивается успехом
(+), неудачей (—) или ничьей. В качестве альтернативного
способа обращения с ничьими иногда предлагают при-
писать каждой ничьей наудачу (с вероятностями 1/2)
знак плюс или минус. После такого «расщепления»
ничьих полное число плюсов становится биномиальной
случайной величиной с распределением b (тс, п), где л =
= р+ + Гипотеза Я заменяется гипотезой л = 1/2
и отклоняется, когда | У' —-п | > С. С определяется
£
тем, что вероятность отклонения должна быть равна а
при л = 1/2. Этот критерий можно рассматривать как
рандомизированный критерий, основанный на X, У и Z.
Как критерий для Я, он hq смещен, поскольку р+ = р-
204 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
или р+ Ф при л — 1/2 или л Ф 1/2. Так как Крите-
рий включает рандомизацию не только на границе крити-
ческой области, то он менее мощен, чем РНМ несмещен-
ный критерий для этой ситуации. Таким образом, слу- 1
чайное «расщепление» ничьих приводит к потере мощности.
Можно полагать, что это замечание поможет ответить
на следующий вопрос: что лучше делать при определении
вкусов потребителей — позволять им воздержаться или
настаивать на выражении ими определенного мнения. Одна-
ко здесь неприменимо предположение о полной случайности
«расщепления»ничьих. Даже в случаях, когда индивидуум
полностью не уверен в том, что именно он предпочитает,
обычно имеется небольшая склонность к одной из двух
возможностей. Она в большинстве случаев обнаруживается
при вынужденном решении. Но эта сторона дела уравно-
вешивается большей изменчивостью вынужденных реше-
ний по сравнению с добровольными. Какой из этих двух
факторов главный, зависит от степени предпочтения.
Часто вопрос о предпочтении возникает, когда сравни-
ваются стандартный продукт и некоторая его модификация
или новый продукт. Если каждому опрашиваемому необ-
ходимо выразить определенное мнение, то гипотеза фор-
мулируется обычно как односторонняя: р+< р_,где + озна-
чает, что предпочитают модификацию. Однако, если мож-
но воздерживаться от ответа, то проверяемой гипотезой
будет не р+<р_, а р+<р0 + поскольку, как пра-
вило, модификация интересна если ее действительно
предпочитают. Как было показано в примере 8 главы 3,
односторонний критерий знаков, который отвергает ги-
потезу при слишком большом числе плюсов, является
РНМ для этой задачи.
В некоторых исследованиях опрашиваемое лицо долж-
но не только выразить свое предпочтение, но и дать более
детальную оценку, например указать число из некоторой
шкалы оценок. В зависимости от ситуации, гипотеза может
принимать одну из двух форм. Можно интересоваться тем,
имеется ли различие в отношении потребителей к двум
видам товаров. Формально соответствующая гипотеза
утверждает, что распределение оценок Х{, . . ., Хп, где
Xt выражает степень предпочтения t-м лицом модифици-
рованного продукта, симметрично относительно начада,
КРИТЕРИЙ ЗНАКОВ
205
7J
Эта задача, в которой РНМ несмещенный критерий без
дополнительных предположений может не существовать,
будет рассмотрена в разделе 9 главы 6.
При ином подходе гипотеза имеет прежний вид Н\ р+ =
= Так как p_ = JP {X < 0} и р+ = Р{Х>0}1 то
Н-.Р[Х>0} = Р{Х<0}.
Здесь симметрия величин X более не предполагается,
даже в случае Р {X < 0} = Р {X > 0}. Если не делать
никаких предположений о распределении X, кроме того,
что множество его возможных значений известно, то кри-
терий знаков, основанный на числе положительных
и отрицательных продолжает быть РНМ несме-
щенным.
Для доказательства заметим, что любое распреде-
ление X полностью определяется заданием вероятностей
р_ = Р{Х<0}, Р+ = Р{Х > 0}, ро = Р{Х = О}
и условных распределений F- и F+ величины X при
условиях Х<0иХ>0 соответственно. Фиксируем
любые два распределения FL, F'+ и обозначим семей-
ство всех распределений с #_ = FL, F+ = F'+ и произволь-
ными р+, ро- Каждый критерий для Н, который
не смещен в первоначальном семействе распределений ,
где F_ и F+ неизвестны, остается несмещенным и в более
узком семействе ,Fo- Ниже мы покажем, что существует
РНМ несмещенный критерий ф0 для Н в классе
Оказывается, что <ро является также несмещенным кри-
терием для проверки Н в / и не зависит от FL, F'+.
Пусть ф —любой другой несмещенный критерий для ги-
потезы Н в Рассмотрим какую-либо фиксированную
альтернативу. Не ограничивая общности, можно пред-
положить, что она входит в ер0. Так как критерий ф
не смещен в он не смещен и для гипотезы р+ = р_,
проверяемой в jF'o- Следовательно, мощность ф0 при
выбранной альтернативе не меньше мощности ф.
Поэтому фо —РНМ несмещенный критерий.
Чтобы построить РНМ несмещенный критерий для
Я в .Fo, обозначим /1 и /' плотности распределений F~
и F'+ по отношению к некоторой мере р. Совместная
206 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
плотность величин X в точке (жъ .хп) с
^21» • • • , ^2р 0 = • • • 'X'js < • • • , % km
равна
РГ-РоР?Г- (ж«1) • • • f- (*<>•) /I (®Л1) К (^т)-
Совокупность статистик (г, s, т) достаточна для (р_, р0,
р+) и ее распределение дается формулой (22) с х = г,
у = т, z — s. Мы видим, что, как и раньше, критерий
знаков является РНМ несмещенным.
8. Задачи
К разделу 1
1. Допустимость. Любой РНМ несмещенный критерий ф0
является допустимым, т. е. не существует другого критерия <р1}
который был бы не менее мощен, чем ф0 при всех альтернативах
и более мощен при некоторой из них.
[Если критерий ф—несмещенный и ф' равномерно не хуже
(в смысле мощности), чем ф, то ф' также несмещенный).]
2. Критические уровни. Рассмотрим семейство критериев для
Я: 0 = 0О (или 0<0О) уровня а, с критическими областями Sa
такими, что (а) Р0 {X С а для всех 0 <а< 1 и (б) 5*а = Г) Sa
с£>о&о
для всех 0<а0< 1 (отсюда вытекает, в частности, что
при а<а').
(I) Тогда критический уровень равен а=а (#) = inf {а:
(П) При 0=-0о распределение а равномерно на (0, 1).
(III) Если критерии Sа-несмещенные, то распределение а при
любой альтернативе 0 удовлетворяет неравенству
Pq {а < а} > Р0о {а < а} = а,
т. е. как бы «сдвинуто» к началу координат.
Если критические числа определяются из нескольких незави-
симых экспериментов, то в сочетании с (II) и (III) можно полу-
чить безусловный критерий *) для рассматриваемой гипотезы [а<^а
тогда и только тогда, когда %€Sai следовательно, Ро{а<;а} =
= Pq {X £ 6,а}=ра (0), что равно а при 0 = 0О и > а, если 0 —
альтернатива Н.]
♦) Обсуждение нескольких таких критериев см. в работах:
Wallis, Compounding probabilities from independent significance
tests, Econometrica, vol. 10 (1942), 229—248, и Birnbaum,
Combining independent tests of significance, J. Am. Stat. Assoc.,
vol. 49 (1954), 559—574.
ЗАДАЛИ
207
8j
К разделу 2
3. Пусть X имеет биномиальное распределение Ъ (р, п). Рас-
смотрим гипотезу Н: р — Ро при уровне значимости а. Определите
границы РНМ несмещенного критерия для п — 10; а = 0,1; />о = О,2
и а = 0,05; /?0 = 0,4. В каждом случае постройте функции мощности
несмещенного критерия и критерия с равными «хвостами».
4. Пусть X имеет распределение Пуассона Р (т). Рассмотрим
гипотезу Н: т = т0. Тогда условие (6) сводится к
С2-1 г , 2
x=Ci+l г=1
5. Пусть Tn/Q имеет %2-распределение с п степенями свободы.
Найдите, сколь большим должно быть п, чтобы мощность РНМ
несмещенного критерия для проверки Н: 0 = 1 с уровнем значи-
мости а = 0,05 была >0,9 как при 0>2, так и при 0<^у. Сколь
велико должно быть п, если не требовать несмещенности критерия?
6. Пусть X и Y независимы и распределение каждой величины
входит в однопараметрическое экспоненциальное семейство, так
что совместное распределение дается формулой
dP0b 02 = С (01) е61Г(Ж) К eW(V) dV
Тогда для проверки Н\ Oj = a, 02 = & при альтернативе 04 #= а
или 02 Ф b не существует РНМ несмещенного критерия.
[Наиболее мощные несмещенные критерии при альтернативах
01 = а, 02 Ф b и 0! #= а, 02 = & имеют соответственно области
принятия < U(у)<К2 (х) <С2. Эти критерии остаются
несмещенными и при более широком классе альтернатив К: 0j а
или 02 =/= Ь, или и то и другое.]
7. Допустим, что распределение (X, У) входит в экспонен-
циальное семейство
dP0i, 02 У'! = С (01> 02) е615с+02!/ У')'
Единственным несмещенным критерием для проверки Н: 0t < а,
02 b при альтернативах К: 04 > а или 02 > &, или и то и другое,
является <р (х, у) = а.
[Возьмем а — Ь = 0. Пусть 0 (01? 02) —мощность какого-либо
критерия уровня а. Несмещенность влечет 0 (0, 02) = а для 02 < 0
и, следовательно, для всех 02, так как 0(0, 02)~аналитическая
функция 02. При фиксированном 02>О 0(04, 02), рассматриваемая
как функция бр* имеет минимум при Ot = 0, так что производная
50 (Op 02)/50i равна нулю при 04 = О и всех положительных 02,
а следовательно, и при всех 02. Рассматривая положительные
и отрицательные значения 02 и используя тот факт, что частные
производные всех порядков от 0 (01? 02) по 04 аналитичны, мы
находим, что при каждом фиксированном 02 эти производные все
обращаются в нуль в точке 01 = 0. Поэтому функция 0 должна
208 НЕСМЕЩЕННОСТЬ: ТЕОРИЯ. ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
быть постоянной. В силу полноты (X, У) из р (0Ь 02) — а выте-
кает <р (я, у) ~ а.]
8. Рассмотрим задачу проверки гипотезы II: 0 = 0О в одно-
параметрическом экспоненциальном семействе раздела 2. Обозна-
чим g класс всех критериев, удовлетворяющих (3) и (5) при
некоторых — оо< < С2 <оо и
(I) Класс g полон в том смысле, что, каков бы ни был кри-
терий фо для Н уровня а, найдется ф £ g такой, что он равномерно
не менее мощен, чем ф0.
(II) Если ф1, ф2 С то ни один из этих критериев не может
быть равномерно более мощным, чем другой.
(III) Рассмотрим задачу с двумя решениями—d0 и db соот-
ветствующими принятию и отклонению Я, и с функциями потерь
L (0, ^)==£f(0), j = 0, 1. В предположении, что £1(0)<,£о(0) при
всех 0 =£ 0О, g является существенно полным классом.
(IV) Распространите результат части (III) на гипотезу Я':
01 < 0 < 02-
[(I) Обозначим q производную функции мощности Рф0 крите-
рия фо в точке 0 = 0О. Тогда найдется критерий ф С g такой,
что ₽ф(0о) —Q» и Ф является РНМ среди всех критериев с этим
свойством.
(II) См. конец раздела 7 главы 3.
(III) См. доказательство теоремы 3 в главе 3.]
К разделу 3
9. Пусть Xit ..., Хп — выборка из (1) нормального распреде-
ления N (ао, о2) с фиксированным а и 0<о<оо; (II) равномер-
ного распределения #(^0 —у, 0 + у^ , — оо<0<оо; (III) рав-
номерного распределения R (0Ь 02), —оо<01<02<оо. В этих
трех семействах распределений следующие статистики являются
достаточными: (I) T=(SXf, 2Х?), (II) и (III) T==(min(Xi, ...,ХП),
тах(Х4, ...,ХП)). Семейство распределений Т полно в случае
(III), но в случаях (I) и (II) не является ни полным, ни даже
ограниченно полным. ___
[(I) Распределение отношения не зависит от о.]
10. Пусть Xt, ..., Xm иУь ..., У п — выборки из N (g, о2)
и N(1-, т2). В примере 5 было показано, что T=(SXj, 2У;, SX?, 2У?)
не является полной. Т не будет и ограниченно полной.
[Введите равное 1 или —1 в зависимости от того, поло-
жительно у—х или нет.
11. Противоречащий пример. Пусть случайная величина при-
нимает значения —1, 0, 1, 2, ... с вероятностями
Р0{Л7= —1} = 0; Р0{Х = 4= (1 — 0)20х, х = 0, 1, ...
Тогда 0 < 0 < 1} не будет полным, но будет ограниченно
полным.
8]
ЗАДАЧИ
209
12. Пусть <Р — {Р}— семейство распределений с тем свойством,
что для любых Р, Q£ Р найдется 0<р<1 такое, что
+(1-Р)^€ Предположим, что h(x^ ..., хп)—симметричная
функция, для которой
h(x^ xn)dP(xi) ... dP(xn)~0 при всех Р£ Л (23)
Тогда
f h(xly ..., XjJdPilxi) ... dPn(xn) = 0 при всех Рр ..., Pn6
(24)
[(1) Если Р4, ..., PftC Л то существуют вероятности..., рд,
в сумме дающие единицу и такие, что (Р1Р1+... + Р/Л)/(Р1 + • • •
• • • +?г) С Р при всех i = l, ..., к.
(2) Для любых целых 1 < ц < г2 < • • • < 1Л п обозначим
а(г1? гд) множество всех тг-наборов (/ь ..., /Л) таких, что
(а) каждая компонента совпадает с одним из г±, ..., i* и (б)
каждое из этих целых встречается хотя бы раз среди (/4, ..., /Л).
Если
/(/1. •••. 1п}=-р^ ••• Pjn ..., хп) dPj1(xl) ... dP jn(xn),
то, в силу (23),
2 lUi........../п)=0
а(<1, • • •,
для всех (ц, ..., ik) с к^п.
Это утверждение доказывается индукцией по к. При & = 1
оно следует непосредственно из (23). Чтобы доказать, например,
ЧТО 2 /(/1» •••> /п) = 0, обозначим Р=(Р1Л + Р2Р2)/(Р1 + Р2)
а(1.2)
элемент J3, существование которого гарантируется (1). Тогда
0=^ h(xi, xn)dP(xi) ... dP(xn)(Pi-\-p2)n =
= 2 /(>1.......jn)+ 2 .....Уп)’
a(l, 2) a(l)Ua(2)
и, так как второй член в правой части равен нулю, мы получаем
желаемый результат.
(3) Из (2) при к=п следует, что 2 ЛЛ» •••» /п) = 0> где СУМ‘
мирование распространяется на все перестановки (j\, ..., /п)
чисел (1, ..., п). Так как I симметрично по своим аргументам,
отсюда вытекает 7(1, ..., п) = 0, что и требовалось доказать.]
13. Продолжение. Пусть g—класс всех равномерных распре-
делений на конечном интервале и .Р—класс конечных выпуклых
комбинаций распределений из g. Если ..., Хп независимы
и распределены по закону то совокупность порядковых
14 Э. Леман
210 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
статистик Т = (Х(1), ...» Л?П)) достаточна для и семейство
распределений Т-полно.
[Достаточность Т видна из примера 7 главы 2. Для доказа-
тельства полноты рассмотрите уравнение £'рЛ(Т) = 0 для всех
Р £ и примените результаты предыдущей задачи.]
14. Измеримость критериев теоремы 3. Функция ф3, опре-
деляемая (16) и (17), измерима по совокупности переменных и и t.
[Обозначим Ci~ и, C2~w. Определяющие уравнения для и,
Yi, Y2 имеют вид
Ft + Ft («01 +Yt I*1* («) — Ft (v-)]+Y2 («’) — Ft (u>-)] = a
(25)
и
Gt («“) +11 — Gt (“>)] + Yi [Gf («) - Gt («“)] + Y2 [Gt —Gt(w~)] =a,
(26)
где
u и
Ft («) = J Ct (0,) е01У dvt (y), Gt(u)=^Ct (02) № dvt (y) (27)
— CO —oo
— условные функции распределения U при данном t, когда 0 = 0!
и 0 = 02 соответственно.
(1) Для каждого положим v(y, t) = F^1(y) и w(y, £) =
= Fj’1 (1— a-И у), где обратная функция определена как при дока-
зательстве теоремы 3. Выберем такие (у, t) и у2 (ЗЛ О» чт0 Для
^ = *>(3/, 0 и w = w(y, t)
Ft 0>“)+Yi 1*7 («) — Ft (»~}\ = У,
1—Ft (u’)+Y2 («’) —Ft (u»-)] = a— y.
(2) Обозначим H(y, t) левую часть (26) c v = v(y, t) и т. д.
Тогда Н (0, t) > а и Н (a, t) < а. Это следует по теореме 2 главы 3
из того, что у(0, £) = —оо, w (а, £) = оо (т. е. что условные крите-
рии при г/ = 0 и у — а являются односторонними) и что левая
часть (26) при любом у есть функция мощности условного критерия.
(3) При фиксированном t функции
Hi.(y, t) = Gt G>-)+Yi [Gt («) —Gt (p-)J
И
H2 (y, t) = l — Gt (ip) + y2 [Gf (w) — Gt (“>-)]
суть непрерывные функции у. Действительно, как видно из (27),
разрывы и горизонтальные участки функций Ft и Gt совпадают
почти всюду, а отсюда следует высказанное утверждение.
(4) Функция Н (у, t) измерима по совокупности переменных у
и t. Это можно вывести из непрерывности Н с помощью рассужде-
ний, сходных с использованными в тексте при доказательстве
измеримости Ft (и). Положим
у (t) = inf {у: Н (у, *)<«}>
8]
ЗАДАЧИ
211
и пусть y(f) = y[y (z), J] и т. д. Тогда (25) и (26) выполняются
при всех t. Измеримость и (£), ir(£), у4 (t) и у2(0> введенных
таким путем, будет следовать из измеримости по t функций у (t)
и Fj1 [у (01- Последнее же видно из выполняющихся при любом
действительном с соотношений
{*: y(t)<c}= (J {t: Н(г, *)<а},
г<с
где г пробегает все рациональные числа, и
{f: /7Ч1/(0]<Ф={*: у (0-Ft (с)<0}.]
15. Продолжение. Функция ф4, определенная (16), (18) и (19),
измерима по совокупности переменных unt.
[Доказательство, в общем сходное с намеченным в предыду-
щей задаче, опирается, в частности, на измеримость по z и t
интеграла
Z-
g (z, 0= udFt (и)-
—оо
Этот интеграл абсолютно сходится для всех i, поскольку при-
надлежит экспоненциальному семейству. При любом z<oog(z, t) =
= lim gn(z, f), где
00
gn(Z, ’
i=l
и измеримость g следует из измеримости функций gn. Неравенства,
соответствующие найденным в части 2 предыдущей задачи, можно
вывести из свойства условных односторонних критериев, сформу-
лированного в задаче 18 главы 3.]
16. РНМ несмещенные критерии для гипотез ..., Я4,
указанные в теореме 3, являются единственными в классе крите-
риев, основанных на U и Т.
К разделу 5
17. Пусть X и Y независимы и имеют распределения Пуассона
Р (X) и Р (р,). Найдите мощность РНМ несмещенного критерия
для гипотезы Н: р<Д при альтернативах Х=0,1, р = 0,2; Х = 1,
|1=2; % = 10, р, = 20; % = 0,1; р,=0,4. Уровень значимости—а = 0,1.
[Так как T=X-{-Y имеет распределение Пуассона Р(Х-]-|л),
то мощность равна
*=0
где р (t) — мощность условного критерия при данном t и рас-
сматриваемой альтернативе.]
14*
212 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ (гл. 4
18. Последовательное сравнение двух биномиальных схем. Рас-
смотрим две серии биномиальных испытаний с вероятностями
успеха pY и р2 соответственно, и пусть р = (р2/^г): (Pt/7i)-
(I) Допустим а<₽. Никакой критерий с фиксированными
числами /пип испытаний для проверки Н: Q = Qo не может иметь
мощность при всех альтернативах с Q = Qi.
(II) Ниже указывается простая последовательная процедура,
приводящая к желаемому результату. Допустим, что испытания
в обеих сериях идут параллельно, парами. Рассмотрим пары,
в которых одно испытание закончилось успехом, а другое неуда-
чей. Если эксперимент продолжается до появления TV-й такой
пары, то число пар, в которых успешное испытание относится
к первой серии, имеет биномиальное распределение Ъ (л, N)
с n = piq2/(plq2-\-p2qi) = 1/(1 + q). Взяв N достаточно большим,
можно получить критерии сколь угодно высокой мощности при
альтернативе
(Ill) Пары испытаний, которыми мы ограничились в (II),
подчиняются биномиальной схеме с вероятностью успеха л. Отлич-
ная от указанной в (II) процедура проверки Н: л=л0 (или л<л0)
состоит в применении последовательного критерия отношений
вероятностей, основанного на отмеченных парах и соответствую-
щего проверке л = Ло при альтернативе л = лр
К разделу 6
19. Серии. Рассмотрим последовательность N зависимых испы-
таний, и пусть Xi равно 1 или 0 в зависимости от того, закан-
чивается i-e испытание успехом или неудачей. Допустим, что
последовательность обладает марковским свойством*)
Р{24=1|я4, ..., 1} = Р{2Г^= 11 а?/—1}
и свойством стационарности, в соответствии с которым P{Jj=l}
и Р {Хг=Л | не зависят от г. В этом случае распределение Xi
полностью задается вероятностями
?1=Р{^=1 |Х^ = 1} и Ро=Р{Х,= 1 |Х^ = 0}
и начальными вероятностями
л1 = Р{2Г1=1} и л0 = 1—л1 = Р{Х1 = 0}.
(I) Стационарность влечет
-______________* (Ро + ^1) ’ ° (Ро+^1)
♦) Современное обсуждение статистических проблем для более
сложных цепей Маркова см. в работах: Anderson and Good-
man, Statistical inference about Markov chains, Ann. Math. Stat.,
vol 28 (1957), 89—110, и Goodman, Simplified runs tests and
likelihood ratio tests for Markoff chains, Biometrika, vol. 45 (1958),
181 — 197.
8]
ЗАДАЧИ
213
(II) Совокупность последовательных исходов xit ..., xi+j
образует серию нулей, если ^ = ^+1 =... —xi+j = 0 и х^ — !
или г = 1, и а?г-+;+1 = 1 или = N. Аналогично определяется
серия единиц. Вероятность какой-либо отдельной последователь-
ности исходов (xit xN) равна
1
— РоР1 ¥1¥0 »
Pq “Г
где тип обозначают число нулей и единиц, а и и v—число серий
нулей и единиц в этой последовательности.
20. Продолжение. Для проверки гипотезы независимости Х$
Н: pQ=zpl при альтернативе К: Pq<ZPi применим критерий числа
серий, который отвергает Н, когда полное число серий R = U-]-V
меньше константы С (т), зависящей от числа т нулей в после-
довательности. При R = C (т) гипотеза отвергается с вероятностью
у (т). С и у определяются уравнением
(т) I ^}+Y (^) Рн{Я = С (т) | т}=а.
(I) При любой альтернативе из К наиболее мощный подобный
критерий (который не менее мощен, чем наиболее мощный несме-
щенный критерий) совпадает с критерием числа серий, отвергаю-
щим Н при R<C (тп). Только правило дополнения до а условной
вероятности отклонения гипотезы при данном т зависит от
выбора альтернативы.
(II) Критерий числа серий является несмещенным при альтер-
нативах из К.
(III) Условное распределение R при данном т в случае,
когда Н истинна, равно *)
[(I) Из несмещенности вытекает, что условная вероятность
отклонения гипотезы при данном т равна а при всех т. Наиболее
*) Это распределение табулировано у S w е d and Eisen-
hart, Tables for testing randomness of grouping in a sequence of
alternatives, Ann. Math. Stat., vol. 14 (1943), 66—87. Дополнитель-
ные сведения о критерии числа серий см. в работе: Wolfowitz,
On the theory of runs with some applications to quality control,
Ann. Math. Stat., vol. 14 (1943), 280— 288.
214 НЕСМЕЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
мощный условный критерий уровня а отвергает Н для тех выбо-
рочных последовательностей, для которых A (u, y) = (Po/Pi)v (?i/7o)w
слишком велико. Так как и и поскольку | у— и|
может принимать только значения 0 и 1, то
А (1, 1) > А (1, 2), А (2, 1) > А (2, 2) > А (2, 3), А (3, 2) > ...
Таким образом, только соотношение между А (г, г-|И) и Л(г* + 1, О
зависит от специального выбора альтернативы, что приводит
к желаемому результату.
(II) Несмещенность условного критерия при каждом т можно
установить, записав его мощность в виде
Р (Ро< Pi I т) — (1—Y) Р {R < С (т) | т}+уР {Ж С (т) | т}
и замечая, в соответствии с (I), что критические области R<C (w)
и R<C являются РНМ при отвечающих им условных
уровнях значимости.
(III) Если Н истинна, то условная вероятность при данном т
любого набора из т нулей и п единиц равна 1 / • п еди“
ниц можно разбить на г групп способами и т нулей
, . Л т—1\ „
на г-|-1 группу / ] способами. Поэтому условная вероят-
ность получить г-|-1 серию нулей и г серий единиц равна
/т—1\ ( п—тт
( r j I г__ 1 ]. Чтобы закончить доказательство,
остается заметить, что полное число серий равно 2г—н 1 в том
и только том случае, когда имеется или r-J-1 серия нулей и г
серий единиц, или г серий нулей и г-|-1 серия единиц.]
21. Критерий суммы рангов. Пусть У4, ..., YN независимы
и распределены по биномиальным законам b (р^ 1ц), i — 1, ..., TV,
где
Pi = l/[l+e-(«+₽**)].
Такая модель часто встречается в биологических испытаниях.
Тогда xi обозначает дозу (или функцию от дозы, например лога-
рифм) некоторого вещества, данную щ подопытным животным,
a Yi—число тех из них, которые реагируют на это вещество
определенным образом. Здесь xi известны, а а и 0— -неизвестные
параметры.
(I) Совместные распределения Уг- образуют экспоненциальное
семейство, и РНМ несмещенные критерии существуют для четырех
гипотез теоремы 3 как в случае а, так и в случае 0.
(II) Предположим, в частности, что а^ = Дг, где А известно,
и что п$=1 при всех I. Обозначим п число успехов в 7V испыта-
ниях и допустим, что успех наблюдался в ..., sn испыта-
ниях, < s2 < ... < sn. Тогда РНМ несмещенный критерий для
проверки Н: 0 = 0 при альтернативе 0>О применяется условно,
9]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
215
при фиксированном п, и отклоняет гипотезу, если сумма рангов
п
2 si слишком велика *).
i=l
(III) Пусть Yf, Ym и Z#—результаты двух
независимых экспериментов описанного в начале задачи типа.
Они могут соответствовать, например, двум различным испыты-
ваемым веществам. Если имеет распределение b (р^ т^, a Z;—
распределение д (Л/, п;), где
.= 1 1
Pl !_pe-(Y+toj)] ’
то РНМ несмещенные критерии существуют для всех четырех
гипотез относительно у — а и б—0.
9. Литературные ссылки
Бартлетт (Bartlett М.)
(1937) Properties of sufficiency and statistical tests, Proc.
Roy. Soc. London, Ser. A, vol. 160, 268—282. [Указывается, что
точные (т. е. подобные) критерии могут быть получены комбини-
рованием условных критериев, определяемых различными значе-
ниями достаточных статистик. Даны примеры применений.]
Вальд (Wald А.)
(1947) Sequential Analysis, New York, John Wiley & Sons,
Section 6.3. (Есть русский перевод: А. В а л ь д , Последовательный
анализ, Физматгиз, Москва, 1960.) [Задача 18 (III).]
Гирши к, Мостеллер и Сэвидж (Girshick М. А.,
Mosteller F. and Savage L. J.)
(1946) Unbiased estimates for certain binomial sampling problems
with applications, Ann. Math. Stat., vol. 17, 13—23. [Задача 11.]
Гхош (Ghosh M. N.)
(1948) On the problem of similar regions, Sankhya, vol. 8, 329—
338. [Теорема 1.]
Дэвид (David F. N.)
(1947) A power function for tests of randomness in a sequence,
Biometrika, vol. 34, 335—339. [Рассматривается критерий числа
серий в связи с моделью задачи 19.]
Ирвин (Irwin J. О.)
(1935) Tests of significance for differences between percentages
based on small numbers, Metron, vol. 12, 83—94. [Предложен услов-
ный критерий для гипотезы независимости в 2 X 2 таблицах, кото-
рый был предложен также Фишером (ср. Yates, Contingency
*) Таблицы этого критерия, который формально эквивалентен
критерию Вилконсона (раздел 8 главы 6) см. у F i х and
Н о d g е s, Significance probabilities of the Wilcoxon test, Ann.
Math. Stat., vol. 26 (1955), 301—312.
21 НЕСМШЩЕННОСТЬ. ТЕОРИЯ, ПЕРВЫЕ ПРИМЕНЕНИЯ [гл. 4
tables involving small numbers and the %2-test, J. Roy. Stat. Soc.,
Suppl., vol. 1 (1934), 217—235.]
Крускал (Kruskal W. H.)
(1957) Historical notes on the Wilcoxon unpaired two-sample
test, J. Am. Stat. Assoc., vol. 52, 356—360. [Дана история критерия
суммы рангов задачи 21.]
Леман (Lehmann Е. L.)
(1947) On families of admissible tests, Ann. Math. Stat., vol. 18,
97—104. [Задача 8.]
(1950) Some principles of ;the theory of testing hypotheses, Ann.
Math. Stat., vol. 21,1—26. [Лемма 1.]
(1952) Testing multiparameter hypotheses, Ann. Math. Stat.,
vol. 23, 541—552. [Задача 7.]
Леман и Шеффё (Lehmann Е. L. and S ch е f f ё H.)
(1950, 1955) Completeness, similar regions'and unbiased estima-
tion, Sankhya, vol. 10, 305—340, vol. 15, 219—236. [Вводится поня-
тие полноты. Теорема 3 и ее применение.]
Нанди (Nandi Н. К).
(1951) On type Bi and type В regions, Sankhya, vol. 11, 13—22.
[Один из случаев теоремы 3 при некоторых предположениях регу-
лярности. ]
Нейман (Neyman J.)
(1935) Sur la vёгification des hypotheses statistiques сотрозёез,
Bull. soc» math. France, vol. 63, 246—266. [Теория локально несме-
щенных и локально наиболее мощных^критериев для сложных ги-
потез.]
(1941) On a statistical problem arising in routine analyses and
in sampling inspection of mass distributions, Ann. Math. Stat., vol.
12, 46-76.
Нейман и Пирсон (Neyman J. and P e a r s о n E. S.)
(1933) On the problem of the most efficient tests of statistical
hypotheses, Phil. Trans. Roy. Soc., Ser. A, vol. 231, 289—337. [Вве-
дено понятие подобия и изложен метод для нахождения всей сово-
купности подобных областей.]
(1936, 1938) Contributions to the theory of testing statistical hy-
potheses, Stat. Res. Mem., vol. I, 1—37; vol. II, 25—57. [Опреде-
ляется несмещенность и устанавливаются как локальные, так
и РНМ несмещенные критерии для некоторых классов простых
гипотез.]
Путтер (Putter J.)
(1955) The treatment of ties in some nonparametric tests, Ann.
Math. Stat., vol. 26, 368—386. [Обсуждается способ обращения с
ничьими в плане применения критерия знаков.]
Пшиборовский и Виленский (PrzyborowskiJ.
and Wi lenski H.)
(1939) Homogeneity of results in testing samples from Poisson
series, Biometrika, vol. 31, 313—323. [Получен РНМ подобный
9]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
217
критерий для проверки равенства параметров двух пуассонов-
ских распределений.]
Свердруп (Sverdrup Е.)
(1953) Similarity, unbiasedness, minimaxibility and admissi-
bility of statistical test procedures, Skand. Aktuar. Tidskrift, vol. 36,
64—86. [Теорема 1, результаты типа теоремы 3. Применения, вклю-
чая 2x2 таблицу.]
Токер (Tocher К. D.)
(1950) Extension of Neyman — Pearson theory of tests to discon-
tinuous variates, Biometrika, vol. 37, 130—144. [Доказано опти-
мальное свойство критерия Фишера — Ирвина, данного в разделе 6.]
yjo л ш (Walsh Е.) П
(1949) Some significance tests for the median which are valid
under very general conditions,* Ann.* Math. Stat., vol. 20, 64—81.
[Содержит результат, связанный с задачей 12.]
Феллер (Feller W.)
(1936) Note on regions similar to the sample space, Stat. Res.
Mem., vol. II, 117—125. [Получен результат, который влечет пол-
ноту порядковых статистик.]
Фишер (Fisher R. А.)
(1934) Statistical Methods for Research Workers, Edinburgh,
Oliver and Boyd, 5-е и последующие издания. Section 21.02. [Пред-
ложен условный критерий для гипотезы независимости в 2x2 таб-
лицах.]
Фрезер (Fraser D. A. S.)
(1953) Completeness of order statistics, Canad. J. Math., vol. 6,
42—45. [Задачи 12 и 13.]
Холдейн и Смит (HaldaneJ. B.S. and S m i t h С. А. В.)
(1948) A simple exact test for birth — order effect, Ann. Euge-
nics, vol. 14, 117—124. [Предложен критерий суммы рангов в той же
ситуации, что в задаче 21.]
Хоул (Hoel Р. G.)
(1945) Testing the homogeneity of Poisson frequencies, Ann.
Math. Stat., vol. 16, 362—368. [Первый пример раздела 5.]
(1948) On the uniqueness of similar regions, Ann. Math. Stat.,
vol. 19, 66—71. [Теорема 1 при некоторых предположениях регу-
лярности.]
Шеффё (Scheffe Н.)
(1943) On a measure problem arising in the theory of non — para-
metric tests, Ann. Math. Stat., vol. 14, 227—233. [Доказываетсяпол-
нота порядковых статистик.]
ГЛАВА 5
НЕСМЕЩЕННОСТЬ: ПРИМЕНЕНИЯ
К НОРМАЛЬНЫМ РАСПРЕДЕЛЕНИЯМ;
ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
1. Статистики, не зависящие от достаточной
статистики
Общий вид РНМ несмещенных критериев для гипотез
Я1". 9 <0о и Н4: 0 = 0о в экспоненциальном семействе
dPe, * (х) = С (0, О) ехр [0С7 (х) + £ г (х)] dp (т) (1)
был указан в теореме 3 предыдущей главы. Однако он
оказывается неудобным для применений к нормальному
и некоторым другим семействам непрерывных распределе-
ний, с которыми нам придется иметь дело в настоящей
главе. В этих применениях упомянутым критериям можно
придать более удобную форму. Они уже не будут высту-
пать в форме условных критериев, построенных по U
при данном i, а будут выражены в терминах одной
статистики.
Эта редукция связана с существованием статистики
V~h(U, Т), которая не зависит от Т при 0 = 0О, и при
каждом фиксированном t монотонна по U (для или
линейна по U (для Н4). Критическая функция для
проверки Нг тогда имеет вид
( 1
Yo
0
при
при
при
V > G)>
£> < Со,
(2)
1]
НЕЗАВИСИМОСТЬ ОТ ДОСТАТОЧНОЙ СТАТИСТИКИ 219
где Со и Yo уже не зависят от t и определяются из урав-
нений
Яе0<Р1(Р) = а. (3)
Аналогично, критерий ср 4 для Н4 принимает форму
Г 1
<p(v) =
при
при
при
v < Ci или v > С2,
v — Clt 1 = 1, 2,
Ci < v < С2,
(4)
Ъ
О
где С и у определяются из уравнений
^е0[ф4(Г)] = а (5)
и
^0о[^ф4(Г)] = аЕео(Ю. (6)
Для соответствующей редукции при гипотезах Я2:
0 < 01 или 0 > 02 и Я3: 01 < 0 < 02 требуется монотонность V
по U при каждом фиксированном t. и независимость V
от Т при 0 = 01 и 0 = 02. Критерий ф3 в этом случае
дается формулой (4), а константы С и у находятся
из уравнения
#01<Рз (Ю = #е2фз (У) = а.
(7)
Критерий для Я2, как и раньше, имеет критическую
функцию
ф2 (у; a) = 1 — ф3 (у; 1 — а).
Высказанные утверждения суммируются в следующей
теореме.
Теорема 1. Предположим, что распределение X
задается формулой (1) и что V ~h(U, Т) не зависит от Т
при 0 = 0О. Тогда фх является РНМ несмещенным кри-
терием для проверки Н19 если функция h возрастает
по и при каждом t; ф4 является РНМ несмещенным
критерием для если
h(u, t) = a(t)u-\-b(t), где a(t) > 0.
Критерии ф2 и ф3 суть несмещенные РНМ критерии
для Н2 и Я3, если V не зависит от Т при 0 = 01
и 0 = 02, и если h возрастает по и для каждого t.
220
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
Доказательство. Критерий для Ях, определенный
формулами (12) и (13) главы 4, эквивалентен крите-
рию (2) с константами, вычисляемыми из соотношения
Л)о {V > Со (0 | о + Y0 (0 PQq {к = Со (0 10 = а.
По предположению, V не зависит от Т при 0 = 0О, сле-
довательно, Со и уо также не зависят от t. Этим завер-
шается доказательство для^Яь Для Я2 и Я3 оно вполне
аналогично.
Критерий гипотезы Я4, данный в разделе 4 главы 4,
эквивалентен критерию (4) с константами Сги уь опреде-
ляющимися из уравнений Eqq [ф4 (У, 0 | 0 = а и
Последнее сводится к Eqq [7ф4 (7, 0 | 0 = аЕ$0 [710. Так
как при 0 = 0О V не зависит от Т, то тем же свой-
ством обладают величины Ci и уь что и требовалось
доказать.
В специальных случаях применения теоремы 1 неза-
висимость 7 и Т может быть установлена стандартными
приемами: преобразованием переменных, с помощью ха-
рактеристических функций, или геометрическим методом.
Другой подход, особенно полезный при отыскании надле-
жащей статистики 7, указывается следующей теоремой.
Т е о р’е м а 2 *. Пусть <fF = {Р#, 0* £ со} семейство
возможных распределений X, Т — достаточная статис-
тика для еР и семейство &Т распределений Т ограниченно
полно. Тогда статистика V не зависит от Т при всех О
в том и только в том случае, когда распределение 7
не зависит от
Доказательство. Распределение 7 не зависит
от '0 тогда и только тогда, когда для любой критической
функции ф математическое ожидание E$q (7) не зависит
от О. Необходимое и достаточное условие для справед-
ливости последнего состоит в том, что условное матема-
тическое ожидание Е [ф (7) 11 ] постоянно еРт-почти всюду
*) В такой формулировке теорема неточна. Точное утвер-
ждение см. в работе Басу, помещенной в Sankhya, vol. 20,
58 (1), 220.— Примеч. автора к русскому изданию.
Ij НЕЗАВИСИМОСТЬ ОТ ДОСТАТОЧНОЙ СТАТИСТИКИ 221
(см. теорему 2 главы 4), что эквивалентно независимости
V и Т.
Следствие 1. Обозначим экспоненциальное се-
мейство, получающееся из (1) при фиксированном 0.
Тогда статистика V не зависит от Т при всех О в
том и только том случае, когда распределение V не зави-
сит от th
Доказательство. Из теоремы 1 главы 4 следует,
что &Т полно, а потому и ограниченно полно. Поэтому
можно применить предыдущую теорему.
Пример 1. Пусть ..., Хп — независимы и распреде-
лены нормально со средним g и дисперсией о2. Предположим
сначала, что о2 фиксировано и равно Тогда условия следст-
вия 1 выполняются с Т—Х—ЪХ^п и Ф, пропорциональным g.
Пусть /—любая функция, для которой
•••> а?п + с) = /Сч, •••» хп) при всех действительных с.
Если
F=/(X1, ..., Хп),
то тогда 7=/(Х1 —..., Хп—g). Так как случайные величины
g имеют распределение N (0, 0$), не содержащее параметра g,
то распределение V не зависит от g. Из следствия 1 вытекает,
что любая такая статистика, и в частности 7 = 2 (Хг-—X)2, не
зависит от X. Это верно при всех а.
Допустим теперь, что g фиксировано и равно g0. Тогда
следствие 1 применимо с Т=2 So)2 и —1/2о2. Пусть
/—любая функция, для которой
f (cxit ..., cxn) = f (xit ..., xn) при всех c>0,
и пусть
7=/(X1-g0, ...,Xn-g0).
Тогда 7 не изменится, если каждую из величин Xf—g0 заменить
на (Xi—g0)/a. Эти величины имеют нормальное распределение
со средним значением нуль и единичной дисперсией. Поэтому
распределение 7 не зависит от о. Мы видим, что все подобные
статистики, и в частности
(x-go) и (*-So)
не зависят от (%1—So)2- Однако это имеет место не при всех g,
но лишь при g = g0.
Пример 2. Пусть UJaf и U2/ol независимы и имеют рас-
пределения %2 с Д и /2 степенями свободы соответственно. Пред-
222
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
положим, что о|/о^ = а. Тогда совместная плотность величин U
имеет вид
9 /1—1 о /2"“1 Г 1 ”1
Cui и$ ехр — — (аи{ + и2) J ,
так что следствие 1 применимо с Zr=a(714-t/2 и — l/2crf.
Так как распределение отношения
u^l
Ui~a UJa*
не зависит от а2» то не зависит от С72- Для специального
случая о2 = а1 это доказывает независимость cZ2/^i и #1 + #2*
Пример 3. Пусть (Хь ..., Хп) и (У1? ..., Уп) —выборки
из нормальных распределений N (|, о2) и N (ц, т2) соответственно.
Тогда статистика Т — (Х, Sxt, У, 2у|) достаточна для
(£, о2, ц, т2) и семейство распределений Г—полно. Так как
г_ S(xt-J)(yt-y)
К2(^-Т)22(У,-У)2
не меняется при замене Xi и У$ на (Тг-—£)/а и (Уг-—т|)/т, то
распределение V не зависит ни от одного из четырех параметров,
и теорема 2 показывает, что V не зависит от Г.
2. Проверка гипотез о параметрах нормального
распределения
Четыре гипотезы о < о0, а>а0, ° среднем
и дисперсии нормального распределения рассматривались
в разделе 9 главы 3. Там отмечалось, что при обычных
уровнях значимости РНМ критерий существует только
для первой гипотезы. Мы покажем теперь, что стандарт-
ные (основанные на отношении правдоподобия) критерии
являются РНМ несмещенными для всех четырех гипо-
тез, а также и для некоторых двусторонних гипотез.
При меняющихся £ и о плотности
(2ла2) п/2 ехр ехр (-3 ж? + -1- (8)
выборки Xi, ..., Хп из N (£, а2) образуют двупарамет-
рическое семейство, которое совпадает с (1) при
0=-i’ ^ = 5’
2] ПАРАМЕТРЫ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ 223
Поэтому по теореме 3 главы 4 существует РНМ несме-
щенный критерий для гипотезы 0 > 0О, которая при
0= —1/2а2 эквивалентна Я: о>о0. Критическая область
для этого случая может быть получена из формулы (12)
главы 4 при замене неравенств на обратные, так как
теперь гипотеза имеет вид 0 > 0О. В рассматриваемом
случае имеем
где
Xl<C0(x) I х] =а.
Если это записать в форме
то из независимости 2 Х$ — пХ* = 2 (-Xj —А")2 и X
(см. пример 1) будет следовать, что C'Q(x) не зависит
от х. Поэтому критерий отвергает гипотезу, когда
2(^-^)2<С;, т. е. когда
где Со определяется равенством Лт0{2 (А’г—Х)2^ < Со] =:а.
Поскольку 2 (Xf — Х)2/а2 им^ет X2 — распределение с n — 1
степенью свободы, то уравнение для Со приводится
к виду
Со
Xn-1 (2/)dy = a, (10)
о
где Xn-i обозначает плотность х2-распределения с n—1
степенью свободы.
К этому результату можно прийти и с помощью
теоремы 1. В качестве статистики У = Л(Я, Т), фигури-
рующей в условиях теоремы, т. е. не зависящей от X
при о —о0 и при всех g, можно взять
У^^(Х^Х)2 = и-пТ2.
Эта статистика, действительно, не зависит от X при всех
£ и а2. Так как h (u, t) является возрастающей функцией
224
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
и при каждом £, то критическая область для РНМ
несмещенного критерия должна иметь вид V<С'.
Этот вывод показывает также, что РНМ несмещенная
критическая область для Н\ o<Qi или о>о2 имеет вид
(11)
где константы С определяются из уравнений
С2/ог2 Сз/ag
§ Xn-i(y)dy = Xn-i (у) dy = а. (12)
С1/(Т2 С1/ОГ|
Так как h(u, t) линейна по и, мы видим, что РНМ
несмещенному критерию гипотезы Н: о = а0 соответствует
область принятия
с; < s < с; (В)
и0
с константами, вычисляемыми из соотношений
Ci С2
j Хп- 1 (у) dy = yxl-i (у) dy = 1 - а. (14)
с1
Это —критерий, найденный в примере 2 главы 4 при
замене 2 на 2 (xi —х)2 и числа степеней свободы п
на n—1, что можно было предвидеть. Теорема 1 пока-
зывает, что РНМ несмещенный критерий для этой
(и аналогичных) гипотез зависит только от F. Так как
распределение V не зависит от £ и при меняющемся а
порождает экспоненциальное семейство, то задачи сво-
дятся к аналогичным задачам для однопараметрического
экспоненциального семейства, т. е. к уже решенным.
Мощность вышеприведенных критериев может быть
точно выражена в терминах %2-распределения. Например,
в случае одностороннего критерия (9) она равна
__ С0(Т2/(Т2
₽(<0 = ^{^=^<-^-}= j Xn-t(y)dy.
Этот же самый метод может быть применен к про-
верке гипотез | < |о (при альтернативе £ > £0) и £ = |0
2]
ПАРАМЕТРЫ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
225
(при альтернативе В =#£0)- Переходя, если необходимо,
к величинам Х, —Во» мы можем, не ограничивая
общности, предположить Во = О. Приведем (8) к виду (1),
полагая
9 = ^=-i> U{x) = x, T(x) = ^xt
Теорема 3 главы 4 показывает, что для гипотез 0<О
и 0 = 0, эквивалентных £<0 и g = 0, существуют РНМ
несмещенные критерии. Поскольку при £ = 0
у_ . _ * «
Х)г Vr—nU*
не зависит от Т = (см. пример 1), то по теореме 1
РНМ несмещенная критическая область для Н: £<0
имеет вид или, что то же самое, вид
«(ж)>С0, (15)
где
t (х) = -г^.пх = . (1б)
Перейдем к гипотезе Я': £ = 0. Обозначим
W^XlV^X}. При в = 0 эта величина не зависит от 2 X*
и к тому же линейна относительно U = X. Распределе-
ние W при В = 0 симметрично относительно точки 0.
Следовательно, условия (4), (5), (6) с заменой V на W
выполняются для критической области вида ]до|>С'
с Р^==0{|Ил|>С"} = а- Так как
V(n-i)nW(x)
' ' /1 — nW*(x) ’
то абсолютная величина t (х) является возрастающей
функцией от | W (х) |. Поэтому критическая область при-
нимает вид
[t(x)\>C. (17)
Из (16) мы видим, что t (X) есть отношение двух независи-
мых случайных величин У~пХ/а и К2(Х;-Х)г/(п-1)02.
15 э. Леман
226
ЙЕСМЁЩЕЙНОСТЬ. ПРЙМЕЙЕЙИЙ
[гл. Ь
Знаменатель распределен как квадратный корень из
%2-величины си-1 степенями свободы, деленной на n — 1.
Распределение числителя при £ = 0 нормально N (0, 1).
Распределение подобного отношения называется распре-
делением Стьюдента с п—1-й степенью свободы и имеет
плотность
tn-i(у) ==
(18)
Распределение симметрично относительно 0, и константы
Со и С для одно- и двустороннего критериев находятся
из уравнений
(у) dy = а,
Со
со
\ tn-i(y)dy = у-
с
(1.9)
При £ =# О t (X) имеет так называемое нецентральное
^-распределение (оно выведено в задаче 3). Некоторые
свойства функции мощности одно- и двустороннего t-кри-
терия даны в задачах 1, 2 и 4. Отметим, что распреде-
ление t(X), а вместе с тем и мощность указанных выше
критериев, зависит только от «параметра нецентраль-
ное™» б = Это видно, например, из формулы
для плотности, приводимой в задаче 3, но может быть
установлено и следующим непосредственным путем.
Допустим, что %'/а' = =/= 0 и обозначим с общее зна-
чение отношений и ал/а, с =/= 0. Если Х\ = сХг- и Xt
распределены по закону а2), то Х< имеют распре-
деление 2V(|', а'2). Итак, t(X) = t(X') и, следовательно,
t(X') имеет такое же распределение, как и t(X), что
и требовалось доказать.
Пусть |1 —некоторая альтернатива к £ = 0. Тогда
мощность Р (|i,a) /(6) зависит от а. При а—> со и S—> 0
Р(^а)^/(0) = ₽(0,а) = а,
Й] Параметры НОРМАЛЬНОГО распределения 227
так как по теореме 6 главы 2 функция / непрерывна.
Следовательно, каков бы ни был объем выборки, веро-
ятность обнаружить ложность гипотезы при £ > > О
не может быть сделана > 0 > а при всех а. Это не уди-
вительно, так как распределения 7V(0, а2) и 7V(gi, а2)
становятся практически неразличимыми, если а слишком
велико. Чтобы получить процедуру с гарантированной
мощностью при объем выборки следует сделать
зависящим от а. Этого можно достигнуть применением
последовательной процедуры с правилом остановки,
опирающимся на оценки о, но невозможно при выборках
фиксированного объема (см. задачи 15 и 17).
Критерии для более общих гипотез и 1 = Во
получаются из найденных выше заменой переменных
на — £0. Критические области для этих гипотез,
как и раньше, даются формулами (15), (17) и (19), но
на этот раз с
*(-)- -
Из записи распределений (8) в форме экспоненциаль-
ного семейства с 0 = п£/п2 видно, что существует РНМ
несмещенный критерий для гипотезы а<£/а2<6, но
метод неприменим к более интересной гипотезе
он неприменим и к аналогичной гипотезе,
когда среднее выражено в единицах стандартного откло-
нения: а<|/а<6. Последняя гипотеза будет обсуждаться
в главе 6.
Данные выше РНМ несмещенные критерии для^сред-
него и дисперсии в определенном отношении заметно
различаются. Если случайные величины Х19 ..., Хп
образуют выборку из любого распределения с конечной
дисперсией и нулевым средним и если объем выборки
достаточно велик, то статистика (16) распределена
приближенно по закону ТУ(0,1). Это следует из центральной
♦) Эта проблема обсуждается в разделе 3 работы: Hodges
and Lehmann, Testing the approximate validity of statistical
hypotheses, J. Roy. Stat. Soc., ser. B., vol. 16 (1954), 261—268.
15*
228
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
предельной теоремы (в соответствии с которой /пХ/а
имеет предельное распределение N (0, 1)), того факта,
что 2 (Х} — Х)2/(п — 1) о2 стремится по вероятности к еди-
нице, и из одной теоремы о сходимости, принадлежащей
Крамеру *). Поэтому размер Z-критерия будет, по край-
ней мере при больших выборках, приближенно равен
заданному уровню значимости, даже если основное рас-
пределение отклоняется от нормального **).
С другой стороны, предельное распределение для
3 (Xt — Х)2/]/5га2 уже не будет не зависящим от исход-
ного распределения величин X, а будет связано с вели-
чиной четвертого момента Е(Х1). Так как 2(^4 2
не зависит от среднего значения Хг, то, не ограничивая
общности, мы можем принять 2?(Х^) = 0. Тогда УпХ
имеет предельное распределение N (0, о2), а пХ2/]/п
стремится по вероятности к нулю. Поэтому величина
[2 (Хг-Х)2-ПО2]/УЯ имеет то же самое предельное
распределение, что и [2 XI — па2] /Уп, а именно, по
центральной предельной теореме, —нормальное распре-
деление N (0, т2), где т2 —дисперсия величин Х|. Отсюда
вытекает, что размер критериев для дисперсии (9)
и (11) может быть далек от заданных уровней значи-
мости, даже и при больших объемах выборки, если толь-
ко исходное распределение отклоняется от нормального.
*) Формулировку и доказательство этой теоремы см. в книге:
Крамер, Математические методы статистики, ИЛ, 1948,254.
♦♦) Более детальное исследование поведения ^-критерия для
распределений, отличающихся от нормального, было предпри-
нято Gayen, The distribution of Student’s t in random samples
of any size from non-normal universes, Biometrika, vol. 36 (1949),
353 — 369, и Geary, The distribution of Student's ratio for
non-normal samples, Suppl. J. Roy.' Stat. Soc., vol. 3 (1936),
178—184. В частности показано, что приближение к предельному
поведению в двустороннем случае более быстрое, чем в одно-
стороннем, и что в действительности односторонний критерий
при малых выборках очень чувствителен к отклонениям от
нормальности. См. также Тике у, Some elementary problems
of importance to small sample practice, Human Biology, vol.
20 (1948), 205—214, и обзорную статью Wallace, Asymptotic
approximations so distributions, Ann. Math. Stat., vol. 29 (1958),
635—654.
3]
СРАВНЕНИЕ СРЕДНИХ И ДИСПЕРСИЙ
229
3. Сравнение средних и дисперсий двух нормальных
распределений
Проблема сравнения параметров двух нормальных
распределений возникает при сравнении двух методов
обработки, сравнении двух продуктов и т. д., при
условиях, подобных обсуждавшимся в начале раздела
5 главы 4. Мы рассмотрим сначала задачу сравнения
двух дисперсий. Эта задача встречается при сравнении
степени изменчивости анализов, сделанных в двух лабо-
раториях, или двумя различными методами. Специально
мы остановимся на гипотезах Я: т2/о2< До и Я': т2/о2 = До.
Пусть X = (Xi, ..., Хт) и Y = (Уь ..., Уп) — выборки
из нормальных распределений 7VQ, сг2) и 2У(ц,т2) с
совместной плотностью
С (В, Т), <Т> Т) ехр ( — ~ 2 — 2^2 S у') •
Это есть экспоненциальное семейство с четырьмя пара-
метрами
А - 1 А, - 1 А - пг1 А -
2?2’ v2-^2-, Vs- да
и достаточными статистиками
Л=2Д Т2 = У, Т3 = Х. .
Эквивалентное выражение можно получить (см. лемму 2
главы 4) в терминах параметров
и статистик
С7* = 2 Т* - 3 XI + (А) 2 T* = Y, T*s = X.
Гипотезам 0*<О и 0* = О, эквивалентным Я и Я' соот-
ветственно, по теореме 3 главы 4 отвечают РНМ несме-
щенные критерии.
При т2 = Д0а2 распределение статистики
у 2(У,-У)2/До 2(у7—У)2/Т2
2(^-^)2 2(х,-^)2/а2
230
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
не зависит от а, т) и, как вытекает из следствия 1,
величина V не зависит от (Т*, Т*, Т%). Поэтому РНМ
несмещенный критерий для Н дается формулами (2) и (3),
так что критическая область имеет вид
2(У7—У)2/А0 (п-1)
2(Х,-Т)2/(т-1) > °’
(20)
При т2 = Д0ст2 статистика в левой части (20) является
отношением двух независимых %а-величин 2 X j~ УУ!^1
и 2Ж-Х)2/о2, причем каждая разделена на соответст-
вующее число степеней свободы. Распределение такого
отношения есть F-распределение с и —1 и иг—1 степе-
нями свободы и с плотностью
Рп-1> т-1 (у) =
Г [1(т+»-2) ]
~г г
х-------у------i-------. (21)
Z п-1 -ч^+п-г)
Q m—1 )
Константа Ср в (20) находится из уравнения
00
Fn-i, т-i (у) dy = а. (22)
Со
Чтобы применить теорему 1 к Я', положим
w в 2(У/-У)2/Др
2(^-Х)2+(1/д0) 2 (У;—У)2 *
При т2 = Д0а2 эта статистика также не зависит от
Т* = (Т*, 71*, Tg). Кроме того, она линейна по Z7*. Сле-
довательно, РНМ несмещенная область принятия Н'
имеет вид
(23)
где константы определяются из уравнений (5) и (6),
р которых V зааденецо на W. Разделив числитель и зца-
3]
СРАВНЕНИЕ СРЕДНИХ И ДИСПЕРСИЙ
231
менатель W на а2, мы видим, что при т2 = Д0а2 статис-
тика W может быть представлена в виде отношения
^1/(^1 +1У2), где Wt и W2 — независимые %2-величины
с п—1 и тп—1 степенями свободы соответственно.
Эквивалентным образом, Ж = У/(1 + У), где Y
и (тп—1) У/(п—1) имеет распределение Распре-
деление W есть бета-распределение ♦) с плотностью
Bi 1 to) =
|(п-3).. Д(т-З) ,о/ч
ну2 (1 — w)2 , (24)
О < w < 1.
Условия (5) и (6) с помощью соотношений
E(W) =
п — 1
пъ —1~ п — 2j
И
wBi j (w) = —Bi t (w)
5("-1).з(«п-1) v ' — 2 1 (n+D,-1 (m-l)
Z Z z z
могут быть превращены в
с% С2
\ Bt 1 (w)dw—\Bi i (w) dw =1— a.
. (25)
Определение статистики V показывает, что ее рас-
пределение зависит только от отношения т2/а2, а следо-
вательно, и распределение W зависит только от отно-
шения т2/а2. Мощность критериев (20) и (23) будет функ-
цией только от Д = т2/а2. Точное выражение для мощ-
ности можно получить в терминах F-распределения.
*) Отношение ТГ=У/(1-]-У) показывает, что распределение F
и бета-распределение эквивалентны. Преимущество последнего
состоит, в наличии обширных таблиц функции распределения,
Tables of the Incomplete Beta Function, Cambridge Univ. Press.f
1932? составленных К, Пирсоном,
232
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
Например, в первом случае
оо
= Fn-1, m-1 (y) dy.
СоДо/Д
Гипотеза равенства средних ц в двух нормальных
распределениях с неизвестными дисперсиями о2 и т2 (так
называемая проблема Берэнса — Фишера), не поддается
указанным здесь методам (см. пример 5 главы 4; о воз-
можном подходе к задаче см. раздел 6 главы 6). Мы
рассмотрим поэтому лишь простейший случай, в котором
дисперсии предполагаются равными. Тогда совместная
плотность Xi и Yi равна
С (L п. а) ехр [ - А + 2 yty Н-1 £ xt + £ 2^] •
(26)
Это есть экспоненциальное семейство с параметрами
а — JL Л-. - - А —___________—
и достаточными статистиками
T^^Xi, = +
Для целей проверки гипотез
Нх т]-£<0 и Я': ц-Ч-0
удобнее представить плотности в экспоненциальной форме
с параметрами
0*-----л* _ А* _ А
~ <±+Па2 ’ Х“ (^ + п)02’
\. ПЪ fl J
и достаточными статистиками
С7* = У-Х Tl = mX+nY, Л =
Возможность такого перехода видна из тождества
т?7_4_ — *)(Ч-&) ,(^+пу) И£+П1])
mtx + гщу - н ,
т "г п
3]
СРАВНЕНИЕ СРЕДНИХ И ДИСПЕРСИЙ
233
Как вытекает из теоремы 3 главы 4, существуют РНМ
несмещенные критерии для проверки гипотез 0*<О
и 0* = О, а потому —и для гипотез Н и Н'.
При т) = распределение статистики
/2 у)2
Z7*
1
—г-TJ2
т-\- п
тп
не зависит от £ и а, что можно видеть, заменяя в вы-
ражении для V Xi на (Xi — g)/a и Yj на (У7 —£)/п. По-
этому V не зависит от (71*, Т1). Критическая область для
РНМ несмещенного критерия Н имеет вид У > С' или
t(X, У) > Со, (27)
где
(Y-X)/ )/-^+4
t (X, У) = _ г т п .
К[2 (Xt-Х)2+2 (Ъ-У)2]/И+»-2)
(28)
Статистика t (X, У) является отношением двух незави-
симых случайных величин
___у-J.... и l/s№-X)2+S(y7—У)2
Числитель этого отношения распределен нормально со
средним (ц — £)/)/ти единичной дисперсией;
знаменатель распределен как квадратный корень из
%2-величины (т + п — 2) степенями свободы, поделенной
на (т-\-п — 2). Поэтому t(X, У) имеет нецентральное
^-распределение с (т + п — 2) степенями свободы и па-
раметром нецентральности
б =
234 НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ [гл. V
В частности, при т) — £ = 0 распределение t (X, У) прев-
ращается в ^-распределение Стьюдента и константа Со
определяется из уравнения
оо
im+n-2 (у) dy = а. (29)
Со
Как и прежде, при проверке Н' предположения теоре-
мы 1 не выполняются для самой статистики F, а имеют
место для статистики
Г г 3 тп-\-п
связанной с V соотношением
При T) = g W, будучи функцией от У, также не зависит
от (Т*, 71*); к тому же, она является линейной функ-
цией от С7* с коэффициентами, зависящими только от 7’*.
Заметим, что распределение W симметрично относитель-
но 0 при т) = Отсюда вытекает, так же как и при
выводе формулы (17) для одной выборки, что РНМ не-
смещенный критерий Н' отвергает ее при слишком
больших |ГИ|, или, иначе, при
|f(X, У)|>С. (30)
Константа С определяется из уравнения
ОО
J tm+n-z (у) (31)
С
Мощность критериев (27) и (30) зависит только от
(Л — Е)/с и может быть выражена в терминах нецен-
трального ^-распределения. Ее свойства аналогичны
свойствам мощности f-критерия для одной выборки (за-
дачи 1, 2 и 4).
Так же как и в случае одной выборки, критерии,
осцовцнные на i-статцстике (28), нечувствительцьт
4]
ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
235
к отклонениям от нормальности, но это утверждение
неверно для критериев, основанных на F-отношении
(20)*). Доказательство использует те же рассуждения,
что и в случае одной выборки. К устойчивости f-крите-
рия мы вернемся еще раз в разделе 8, где будет обсуж-
даться видоизмеренный критерий, размер которого не
зависит от исходного распределения.
4. Доверительные интервалы и семейства критериев
Доверительные границы для параметра 0, соответ-
ствующие доверительному уровню 1 —а, были определе-
ны в разделе 5 главы 3. При этом рассматривался
случай, когда распределение X зависит только от 0.
При наличии «мешающих параметров» О определение
нижней доверительной границы 0 имеет вид
Р0> $ {0 (X) < 0} > 1 — а при всех 0, -0. (32)
Аналогично этому, доверительные интервалы для 0
с доверительным уровнем 1 —а определяются как мно-
жество случайных интервалов с концами 0(Х), 0(Х)
такими, что
PQt <>{0(Х)<0<0(Х)} = 1-а при всех 0,0. (33)
Точная нижняя грань по (0, 0) левых частей (32) и (33)
называется коэффициентом доверия этих утверждений.
Как уже отмечалось в главе 3, доверительные утверж-
дения допускают двойственную интерпретацию. Прежде
всего они дают границы для неизвестного параметра 0
и тем самым решение проблемы оценки 0. Хотя утверж-
дение 0<0<0 не является столь точным, как точечная
оценка, оно имеет то преимущество, что вероятность
его правильности может ыть гарантированным образом
сделана >1 —а. Аналогично, нижнюю доверительную
♦) Критерии для двух и большего числа дисперсий, лишен-
ные этого недостатка, обсуждаются в работах: Box, Non-nor-
mality and tests of variances, Biometrika, vol. 40 (1953), 318—335,
и Box and Anderson, Permutation theory in the derivation
of robust criteria and the study of departures from assumptions,
J. Roy. Stat. Soc., set. B.? vol. 17 (1955), 1 — 34,
236
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл, 5
границу можно представлять себе, как оценку 0, кото-
рая переоценивает параметр с вероятностью < а.
1
В частности, при a = v граница 0, для которой
----------------------------------
Ре, о{6< 6} = />0.о{0>0} = | ,
одинаково часто недооценивает и переоценивает истин-
ное значение и поэтому называется медианно-несмещен-
ной (относительно связи этого свойства с общим поня-
тием несмещенности см. задачу 3 главы 1).
С другой стороны, как было показано в главе 3,
доверительные утверждения можно рассматривать как
эквивалент семейства критериев. Нижеследующие рас-
суждения в значительной степени повторяют сказанное
об этом соотношении в главе 3, правда, здесь мы огра-
ничиваемся двусторонними гипотезами. Для каждого 0О
обозначим А (0О) область принятия критерия уровня a
для гипотезы Я(0о):0 = 0о (на время мы предположим,
что этот критерий —нерандомизированный). Если
S (х) - {0: ^€Л(0)},
то
0 g 8 (х) эквивалентно х £ А (0) (34)
и, следовательно,
Ре, о {0 € S (X)} > 1 — а при всех 0, th (35)
Таким образом, любое семейство областей принятия
с уровнем а приводит через соотношение (34) к семей-
ству доверительных множеств с доверительным уровнем
1 — а.
Обратно, возьмем любой класс доверительных мно-
жеств S (х), удовлетворяющих (35). Пусть
А (0) = {я: 065 (ж)}. (36)
Тогда множества Л(0О) являются областями принятия
с уровнем а для гипотез Я(0О):0 = 0О, а доверительное
множество S (х) показывает при каждом 0О, следует ли
при данном наблюденном х принимать или отвергать
гипотезу 0 = 0О (с уровнем а).
4]
ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
237
Эти же рассуждения применимы, если множества А (0О)
являются областями принятия для гипотез 0<0О. Ниже
мы покажем, что, как правило (хотя и не всегда), одно-
и двусторонние критерии приводят соответственно
к односторонним доверительным границам и к довери-
тельным интервалам.
Пример 4. Доверительные интервалы для среднего зна-
чения g нормального распределения с неизвестной дисперсией
могут быть получены из областей принятия A (g0) гипотез
Я: £ = £о- Последние даются формулой
|/n(r—g0)|
где С определяется через ^-распределение условием, чтобы при
£ = £о вероятность вышеприведенного неравенства была равна
1—а (см. формулы (17) и (19) раздела 2). Множество S (х)
состоит из тех чисел, которые удовлетворяют приведенному не-
равенству при £ = £о> т- е* заполняют собой интервал
/ст2< 6 <;+ fi 2 <’- *
(37)
Мы получаем доверительные интервалы для g с коэффициентом
доверия 1 — а.
Длина интервала (37) пропорциональна Vs(^f —а;)2, и мате-
матическое ожидание его длины пропорционально о. Следова-
тельно, при больших а эти интервалы дают мало информации
относительно неизвестного g. Это следует и из того факта (кото-
рый порождал аналогичные трудности в задаче проверки гипо-
тез), что нормальные распределения N (g0, 02) и Я (gp о2)
с фиксированной разностью средних становятся неразличимыми
при ст, стремящемся к бесконечности. Чтобы получить довери-
тельные интервалы для g, длина которых не стремится к бес-
конечности вместе с о, необходимо число наблюдений опреде-
лять последовательным образом, согласованным с величиной о.
Последовательная процедура, приводящая к доверительным
интервалам заданной длины, указана в задачах 15 и 16.
Однако и эта последовательная процедура в действительности
не позволяет избавиться от трудности. Получив возможность
контролировать длину интервала, мы теряем контроль над чис-
лом наблюдений. При сг —> оо число наблюдений, необходимое
для получения доверительного интервала ограниченной длины,
также стремится к бесконечности. В практических задачах мы
часто имеем представление о порядке величины сг. Взяв выбор-
ку фиксированного объема или последовательную выборку, мы
должны найти компромиссное решение, учитывающее желаемый
238 ЙЁСМЁЩЁЙЙОСТЬ. ЙРЙМЕЙЁЙИЯ [гл. 6
доверительный уровень 1—а, точность, определяемую длиной I
интервала, и число наблюдений п, которое нам позволяют наши
средства. При таком подходе две из трех величин 1 — а, I и п
фиксированы, а третья является случайной величиной, распре-
деление которой зависит от а, так что онарденее контролируе-
ма, чем другие. Если фиксировать*! —а, то выбор между после-
довательной схемой и схемой с фиксированным объемом выбор-
ки определяется тем, что важнее контролировать, I или п.
Чтобы получить нижние доверительные границы для g, рас-
смотрим области принятия
— §0)
для проверки g < go при альтернативе g > g0. Множества S (х)
являются односторонними интервалами
левый конец которых и дает искомую нижнюю границу g. Если
1
ато константа Со равна 0. Соответствующая доверительная
граница g=X является медианно несмещенной оценкой g и в
классе всех таких оценок равномерно минимизирует
Р{ — Ai<g—g<Д2} пРи всех Дь
(доказательство см. на стр. 121).
5. Несмещенные доверительные множества
Доверительные множества можно рассматривать как
семейство критериев для гипотез 0 € Н (О') при альтерна-
тивах 0 g К (0'), когда 0' меняется. Если коэффициент
доверия равен 1 —а, то это означает, что все критерии
имеют уровень а и
—« при всех 0g Я (0') и всех -0. (38)
В случае, когда гипотеза Н (0') имеет вид 0 = 0' и S (X)
является интервалом [0 (X), 0(Х)], это согласуется с (33).
В случае односторонней гипотезы Н (0'): О<0' и 5(Х) =
= {0:0 (X) < 0} условие (38) принимает форму Pq, $ {0 (X) <
<0'}>1 —а для всех 0'>О, эквивалентную (32). При
5] НЕСМЕЩЁННЫЕ ДОЙЁРИ^ЁЛЬЙЫЁ МНОЖЕСТВА 239
такой интерпретации доверительных множеств вероят-
ности
Pq. о {9' е s (я)}, 0 6^(0') (39)
суть вероятности ошибочного принятия Н (0') (ошибки
второго рода), и чем они меньше, тем лучше сами кри-
терии.
Рассмотрим вопрос о качестве оценок. Формула (39)
указывает вероятности покрытия «ложного» значения 0'.
При заданной вероятности покрытия правильного зна-
чения доверительные множества дают тем больше инфор-
мации, чем реже накрывают они ложные значения па-
раметра. В этом смысле вероятности (39) могут служить
мерой точности доверительных множеств. Обоснование
(39) с точки зрения функций потерь для односторон-
него случая было дано в разделе 5 главы 3.
При наличии мешающих параметров РНМ критерии
обычно не существуют, соответственно не существуют
и равномерно наиболее точные доверительные множества,
т. е. такие, которые минимизируют (39) при всех 0' с
(О') при всех О’. Это наводит на мысль ограничиться
доверительными множествами, в некотором смысле не-
смещенными. По аналогии с соответствующим определе-
нием для критериев, мы называем семейство довери-
тельных множеств с доверительным уровнем 1 — а не-
смещенным, если
Ре, о {0' 6*5 (#)}< 1 — а для всех 0' с 0 g K(Q')
при всех # и 0, (40)
так что вероятность покрытия этих «ложных» значений
не превосходит доверительного уровня.
В отмеченных выше одно- и двустороннем случаях
условие (40) приводится к следующим:
Ре, ^{0<0'<0}<1—а при всех 0' #= 0 и всех О
и
Ре, «о-{0< 0'}< 1 — а при всех 0'< 0 и всех Ф*
При таком определении несмещенности, несмещенные
семейства критериев порождают несмещенные доверитель-
ные множества и обратно. Семейство доверительных
240
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
(гл. 5
множеств называется равномерно наиболее точным не-
смещенным семейством с доверительным уровнем 1 —а,
если оно минимизирует вероятности
Р0, # {9' б S (я)} при всех 0' с 0gAT(0')
для всех $ и 0
при ограничениях (38) и (40). На основе РНМ несме-
щенных критериев этой и предыдущей глав получаются
равномерно наиболее точные несмещенные доверитель-
ные множества. В частности, это относится и к доверитель-
ным интервалам, построенным в предыдущем разделе.
Ниже приводятся еще некоторые примеры.
Пример 5. Если ..., Хп — выборка из N (g, о2), то
РНМ несмещенный критерий для гипотезы а = а0 имеет область
принятия (13) _
Ci 2 (xf х)2,/о2 С2, I
где С[ и С2 определяются из (14). Следовательно, наиболее точ- ®
ным несмещенным доверительным интервалом для о2 является .
1 1
2 (Ъ~х)2 < 02 _ 2 (^-я)2.
Аналогично этому, из (9) и (10) получается наиболее точная не-
смещенная верхняя доверительная граница для а2:
о2 2 (xi — ж)2,
где
Xn-I (y)dy=l — а. I
Со 1
Соответствующая нижняя доверительная граница является равно- 1
мерно наиболее точной (без ограничения несмещенности). Это
следует из раздела 10 главы 3.
Пример 6. Доверительные интервалы для разности
А = т| — g средних в двух нормальных совокупностях с одинако-
вой дисперсией получаются из критериев гипотезы т] —g = A0.
Если Хь ...,Хт и Yit ..., Уп —выборки из N (g, о2) и N (т>, о2)
соответственно, и если У'-=У;—Ао, -q' = т>—-Ао, то в терминах
величин Xt и У'- гипотеза принимает вид т]' —g = 0. Из (28) и
(30) мы видим, что РНМ несмещенная область принятия дается
неравенством
V[S(^-^)2+S(W-y)2]/(m+n-2) j
•f
i
5] НЕСМЕЩЕННЫЕ ДОВЕРИТЕЛЬНЫЕ МНОЖЕСТВА 241
где С находится из (31). Наиболее точные несмещенные довери-
тельные интервалы для ц— £ суть
(У — х) — С$< ц — £<(?/ — х)-\-С8, (41)
где
6^2 = <1 _l, 1Л S(^-x)2+S(y;-^)2
1 п ) т-\п— 2
Односторонние интервалы получаются аналогичным образом.
Пример 7. Если Xif ..., Хт и Уь ..., Уп —выборки из
TV (g, сг2) и N (ц, т2), то наиболее точные несмещенные довери-
тельные интервалы для Д = т2/о2 находятся с помощью (23) и
имеют вид
1-^2 2(у7.-у)2 <т2 < 1-Ct S(yr~j7)2
^2 2(я:г-5)2 Ci 2(ж._*)2’
где Ci и С2 вычисляются по (25)*). При т — п выражение для
интервалов упрощается:
-Г----i------- < < к------— , (43)
к 2(жг—ж)2 о2 2(ж.__Ж)2
где к определяется по таблицам /’-распределения. Наиболее
точная несмещенная нижняя доверительная граница для отноше-
ния дисперсий равна
4 1 2(^-^)2/(n-l) Т2
Д — 7,------=— --------Z- , (44)
— S (xi — х)2/(т — 1) а
1
где Со дается формулой (22). Если в (22) положить а = —, то
нижняя доверительная граница Д превращается в медианно-не-
смещенную оценку для т2/а2. В классе всех таких оценок она
минимизирует
Гт2 1
Д1<^2—Д<Д2> при всех Дь Д2 > 0.
(Доказательство см. на стр. 121.)
До сих пор мы предполагали, что критерии, на
основе которых строятся доверительные множества, —
нерандомизированные. Видоизменения, которые необхо-
*) Сравнение этих границ с полученными из критерия равных
«хвостов» дается в работе Schef fe, On the ratio oi the varia-
nces of two normal populations, Ann. Math. Stat., vol. 13 (1942),
371- 388.
16 Э. Леман
242
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
димо внести, когда это условие не выполнено, обсужда-
лись в главе 3. Рандомизированные критерии при этом
интерпретируются как нерандомизированные, но зави-
сящие от X и вспомогательной переменной У, равномер-
но распределенной в единичном интервале. Если X —
целочисленная величина (как в биномиальной и пуас-
соновской схемах), то эти критерии могут быть описаны
в терминах непрерывной случайной величины X + F.
Этим путем мы можем, например, получить наиболее
точные несмещенные доверительные интервалы для бино-
миальной вероятности р, отправляясь от РНМ несмещен-
ного критерия для гипотезы H\p — pQ (см. пример 1
главы 4). Априори неясно, что соответствующие дове-
рительные множества для р будут интервалами. Однако
это вытекает из следующей леммы.
Лемма 1. Пусть X — действительная случайная
величина, плотности которой рв(Х) имеют отношение
правдоподобия, монотонное относительно х. Предполо-
жим, что РНМ несмещенные критерии для гипотез
Н (0О): 9 = 0о существуют и имеют области принятия
G(0o)<^<G(0o).
Пусть, кроме того, эти критерии являются строго не-
смещенными. Тогда функции строго возрастают
по 0, и наиболее точные несмещенные доверительные
интервалы для 0 имеют вид
С3'1(х)<0<С-г(Ж).
Доказательство. Пусть 0О < 0Х и пусть Ро (0)
и рх (0) обозначают функции мощности указанных в фор-
мулировке критериев ф0 и фх для проверки гипотез
0 = 0О и 0 = 0Ь Из строгой несмещенности этих крите-
риев вытекает, что
Еео [Ф1 (X) - Фо (X)] = рх (0О) — а>0>а — ро (01) =
= ^е1[ф1(Х)-ф0(Х)].
Таким образом, ни один из интервалов [Ci(0z), C2(0Z)]
(i = 0, 1) не содержит другого, и, как видно из леммы
2 (II) главы 3, Ci (0О) < Ci (0Х) для i = l, 2. Следователь-
но, функции Ci имеют обратные функции, и неравенст-
5]
НЕСМЕЩЕННЫЕ ДОВЕРИТЕЛЬНЫЕ МНОЖЕСТВА 243
ва, определяющие область принятия Н (0), эквивалентны
С'1 (х)^ 0< С;1 (х), что и требовалось доказать.
Сказанное иллюстрирует рис. 6. По границам
х = Ci (0) и х — С2 (0) области принятия А (0) мы находим
при каждом фиксированном х доверительное множество
S(x) — это интервал тех значений 0, для которых
G(0) < С2 (0).
В соответствии с разделом 2 главы 4 условия леммы
выполняются, в частности, для однопараметрического
экспоненциального семейства, в предположении, что
критерии нерандомизированы. В случае распределений
биномиального или пуассоновского типа, когда семейство
экспоненциально, но X — целочисленная величина (так
что требуется рандомизация), доверительные интервалы
могут быть получены применением леммы не к X, а к
X-\-V. Здесь V не зависит от X и распределена равно-
мерно на (0, 1).
В лемме 1 предполагается, что распределение X
зависит только от 0. Рассмотрим теперь экспоненциаль-
ное семейство (1), в котором дополнительно к 0 имеют-
ся и мешающие параметры. РНМ несмещенные критерии
гипотез 0 — 0Q выступают в этом случае в форме услов-
ных критериев при данном Т ~t. Как следствие довери-
тельные интервалы также получаются условным образом.
Если условные распределения непрерывны, то области
принятия имеют вид
С'1(0; t) <u<C2(0; t),
16*
244
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
где, по лемме 1, функции Cj являются возрастающими
при каждом t. Поэтому доверительные интервалы суть
С”1 (и; /)<0<С“1(и; Z).
Если условные распределения дискретны, то непрерыв-
ность достигается введением дополнительной случайной
величины, распределенной равномерно.
Пример 8. Пусть X и Y независимы и имеют распреде-
ления Пуассона со средними значениями X и р. Обозначим Q —
= ц/Х. Условное распределение Y при условии Х-|-У — t являет-
ся биномиальным b (р, t) с
РНМ несмещенный критерий ср (у, t) для гипотезы q = q0 опре-
деляется при каждом t как РНМ несмещенный условный кри-
терий для гипотезы /> = Qo/(1+ (?())• Если
р (О < р < р (О
суть соответствующие наиболее точные несмещенные доверитель-
ные интервалы для р при данном t, то наиболее точные несме-
щенные доверительные интервалы для р/Х имеют вид
f (0 н < p(t)
[1—р (/)] X [i_p (f)] '
Биномиальные критерии, по которым определяются границы
р (t) и р (t), рассматривались в примере 1 главы 4.
6. Регрессия
Изучение связи между двумя величинами X и Y
может производиться на основе выборки и регистрации
п пар измерений (Х1} У1), ..., (Хп, Уп) (см. раздел И
и задачу 11 в главе 6). Но часто бывает возможно ре-
гулировать одну из этих величин, например возраст
обследуемого лица, или температуру, при которой про-
водится эксперимент, или силу применяемого лечебного
препарата. Наблюдения Уь ..., Уп величины У полу-
чают при этом для наперед заданных значений х^ .. ., хп
величины х. Предположим, что при фиксированном х
распределение У нормально с постоянной дисперсией а2
РЕГРЕССИЯ
245
b]
и средним, которое зависит от х (его называют регрес-
сией Y на х) Предположим, что эта зависимость ли-
нейна
Е [Y | х] = а +
Полагая Vi — (xi-x)/Vr'£(Xj--x)2 и Y + = а +
так что Zvt = 0, livl = 1 и
к х о 6
« = Y “ 6 > Р = ,
V 2 (%j—к)2 у S (яj —я)2
мы представим совместную плотность Ух, ..., Yn в форме
Эти плотности образуют экспоненциальное семейство (1) с
U^ViYt, Ту. = ЪУ1 T^ZYf,
0^- «° = У
Из такого представления вытекает существование РНМ
несмещенных критериев для гипотез типа ау + 6б = с,
где a, bf с —заданные постоянные, а следовательно,
и существование наиболее точных несмещенных довери-
тельных интервалов для параметра Q=^ay + bb.
Чтобы найти для этих интервалов точное выражение,
заметим, что РНМ несмещенный критерий для H:q^ Qo
имеет область принятия
| b'ZVjYi-^-aY — Qq !/]/~(a2/n)-\-b2 q (45}
K[S (Уг-У)2-(2угГ|)2]/(п-2)
где
с
^-1(t/)dy = l-a
-с
(см. задачу 20 и раздел 6 главы 7). Соответствую-
щие доверительные интервалы для Q имеют центры
b 2 viYz 4- аУ и длину
L = 2С V[(а^/п) + Ь2] [3 (Xi - П2 - (3 ViY^/in - 2).
246
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
Из преобразования, указанного в задаче 20, вытекает,
что величина Е(г,-г)>-(2»,г,)г]А! имеет %2-рас-
пределение с п — 2 степенями свободы, и поэтому мате-
матическое ожидание длины доверительных интервалов
равно
£(L)^2C,t(j)/(4) + b* •
Как правило, а и Ъ являются функциями х. Если они
находятся в распоряжении экспериментатора, и, следо-
вательно, есть некоторая свобода в выборе а и Ъ, то
средняя длина L минимизируется одновременно с суммой
(а2/п) + &2. Но в действительности средняя длина может
и не быть хорошей характеристикой точности довери-
тельных интервалов, так как короткие интервалы жела-
тельны, если они покрывают истинное значение пара-
метра, и только при этом условии. Однако тот же
вывод справедлив и по отношению к другим критериям
качества, таким как математическое ожидание от (р— р)2 Д-
+ (р —р)2 или, более общим образом, от /1(|р — р|) +
+ /г(| р — р|), где А и /2 — возрастающие функции своих
аргументов (см. задачу 20). Далее, тот же самый выбор
а и Ъ минимизирует вероятность покрытия интервалом
любого ложного значения параметра. Мы будем поэтому
рассматривать (а2/п) + Ь2 как обратную величину к мере
точности интервалов.
Пример 9. Доверительные интервалы для наклона
р=б/У2 (xj—x)2 получаются из указанных выше при а = 0
и b = i/\r2(ж/—х)2 • Здесь точность возрастает вместе с (xi~x)2
и, если точки должны быть выбраны в отрезке [Со, CJ, то точ-
ность становится максимальной при помещении половины всех
xi в каждый конец. Однако с практической точки зрения такой
план часто не очень хорош, так как не позволяет проверить
линейность регрессии.
Пример 10. Другой интересный параметр — математическое
ожидание У в точке ж = т. е. а-|-Р^о- ^аК как
а+₽Жо= у+М*о-Д,
V 2 с*/—*)2
то а и Ь имеют значения а=1, Ь—(х0—ж)/У2 (XJ~х)2 • Макси-
6]
РЕГРЕССИЯ
247
мум точности достигается при наименьшем |я—#0|, и если
невозможно принять х—х0, то следует минимизировать (xj~x)2.
Пример И. Часто представляет интерес оценка точки х,
в которой a-j-prc имеет заданное значение. Например, мы можем
искать точку, х~—a/р, в которой = 0 или, что то же
самое, значение v — {х—Х)/У 2 (»;•—х)2 , при котором у 4"^ = 0.
Наиболее точные несмещенные доверительные множества для
решения —у/Ь последнего уравнения можно получить из РНМ
несмещенных критериев для гипотез — у/6 = р0. Области приня-
тия для этих гипотез даются (45) с а = 1, Ъ — р0 и ро = О.
Соответствующие доверительные множества для и содержат все
точки, для которых
V2 f С2£2 _ ( (2 ViYl) (С2*?2 —пУ2)> 0,
где S2 — — "“(2 Если квадратный трех-
член имеет корни v и г, то доверительные утверждения прини-
мают вид
при | 2 viYi \/$ > С
и
и<^и или v^v при | 2 г\/8 <С-
Удивительная на первый взгляд возможность получить
в качестве доверительного множества внешность интервала, в дей-
ствительности весьма естественна в этой задаче. Когда прямая
—у4-бр почти параллельна оси р, ее пересечение с этой осью
происходит в точке с большой по абсолютной величине абсцис-
сой. Но знак абсциссы может измениться при совсем малом
изменении угла наклона. Возможно также, что дискриминант
квадратного трехчлена отрицателен
пУ2 + (2 ^Уг)2<С2^.
При этом соответствующее квадратное уравнение не имеет веще-
ственных решений. Из выписанного условия видно, что старший
коэффициент квадратного трехчлена положителен, так что довери-
тельным множеством в этом случае является вся прямая.
То обстоятельство, что доверительные множества могут быть
неограниченными, привело к соглашению, чтобы их использо-
вали, исключая этот случай. Однако такое соглашение изменит ве-
роятности, с которыми эти множества покрывают истинное зна-
чение параметра, а тем самым и величину коэффициента доверия *).
*) Метод, учитывающий этот эффект, был развит Нейманом,
и на основе этого Э. Фикс были вычислены таблицы. Об
этом см. в работе: Bennett, On the performance characteristic
of certain methods of determining confidence limits, Sankhya, vol.
18 (1957), 1 — 12.
248
НЕСМЕЩЕННОСТЬ ПРИМЕНЕ НИЯ
[гл. 5
7. Критерии, основанные на перестановках
Допустим, что некоторый способ обработки сравни-
вается с контрольной ситуацией, где он не применяется.
Если результаты измерений Хъ ..., Хт и Уъ Уп
представляют собой выборки из нормальных распреде-
лений N (£, о2) и тУ(г), о2), то, как было показано в раз-
деле 3, односторонний f-критерий является РНМ несме-
щенным критерием для проверки Н\ ц = | при альтер-
нативе ц — Е, = А > 0. Мы рассмотрим теперь эту задачу
без предположения о нормальности распределений. Вместо
этого мы допустим, что величины X и У выбраны из
распределений с плотностями f (х) и /(у —А), где / —
почти всюду непрерывна, а в остальном неизвестна.
В этой непараметрической формулировке совместная
плотность величин X и У равна
/(^i) ... .../(У.-А), /е Г, (46)
где F — семейство всех плотностей вероятности, непре-
рывных почти всюду.
Если изменчивость в совокупности, откуда берется
выборка, велика, то чувствительность эксперимента часто
может быть увеличена разбиением этой совокупности
на более однородные подгруппы, отправляясь от таких
характеристик, как, например, возраст или пол. Затем
из г-й подгруппы отбирается Ni (i = 1, ..., с) элементов,
mi из которых предназначается для контроля, а пг==
= Ni — mi — для обработки по предлагаемому способу.
Если результаты, полученные при наблюдениях над
i-й подгруппой такой расслоенной выборки, обозначить
(Xji, . . ., Xim.i У ib •••» У<пР = (2г11, •••?
то плотность’ Z = (Zu, ..., Zcyc) примет вид
с
Рд(а)^ П 1Л(М ••• /г-(ж{т)/г(уг1-А) ... ft (у гП - Л)].
i=i 1 1
(47)
Несмещенность некоторого критерия ф для проверки
гипотезы А = 0 при альтернативе А > 0 влечет при
7]
КРИТЕРИИ, ОСНОВАННЫЕ НА ПЕРЕСТАНОВКАХ
249
всех /1, ..., равенство
Ф (z) Ро (z) dz — a (dz = dzn ... dzcNc). (48)
Теорема 3. Пусть обозначает семейство всех
вероятностных плотностей f, которые непрерывны почти
всюду. Равенство (48) выполняется при всех Д, ..., /СЕ F
тогда и только тогда, когда
дг \ jy । 2 <P(z') = a почти всюду, (49)
с’ z'es(z)
где S (z) — множество точек, получающихся из znepecma-
новкой при каждом i ~ 1, ..., с координат zpOi — 1, ..., Nt)
внутри i-й подгруппы всеми возможными Nr\ ... Nc\
способами.
Доказательство. Установим результат для с = 1.
Отметим, что совокупность порядковых статистик
7’(Z) = (Z(1), Z(N)) является полной достаточной ста-
тистикой для f (пример 6 главы 4). Поэтому условие,
необходимое и достаточное для (48), имеет вид
Е [<р (Z) | Т (2)] — а почти всюду. (50)
Множество S (z) в рассматриваемом случае (с=1)
состоит из 7V! точек, получаемых из z всевозможными
перестановками координат, так что £(z) = {z': Т {z')~T (z)}.
Из раздела 4 главы 2 следует, что условное распреде-
ление Z при данном Т (z) приписывает вероятность 1/7V!
каждой из 7V! точек S (z), т. е. (50) эквивалентно
"Ж 2 ф(2,) = а почти всюду, (51)
' z'6S(z)
что и требовалось доказать. Общий случай доказывается
совершенно аналогично и помещен в упражнения
(задача 21).
Критерии, удовлетворяющие (49), называются крите-
риями перестановок. Это определение обобщается в за-
даче 31.
250
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
8. Наиболее мощные критерии перестановок
Пусть проверяется гипотеза Н\ Д = 0 об отсутствии
эффекта предлагаемого способа обработки, причем осно-
вой служит расслоенная выборка с плотностью (47).
В предыдущем разделе было показано, что в этом слу-
чае несмещенность влечет (49). Мы определим сейчас
критерий, который удовлетворяет (49) и максимизирует
мощность при любой фиксированной альтернативе (47),
и, более того, при любой альтернативе с фиксированной
плотностью A(z).
Мощность критерия ср при альтернативе h равна
Ф (z) h (z) dz — E [ф (Z) | П dPT (t).
Пусть t ~ T (z) = (z^1), z<N)), так что 5(z) = 5(^).
Как мы видели в примере 7 и задаче 4 главы 2, услов-
ное математическое ожидание ф (Z) при данном Т (Z) = t
равно
3 ф (z) Л (z)
' £ Mz)
z£S(<)
Чтобы максимизировать мощность ф при условии (49),
необходимо максимизировать ф(/) при каждом t при
этом же условии. Проблема сводится, таким образом,
к определению функции ф, которая, подчиняясь условию
2 Ч’<z) ЛГ4! ... Nc\ =
Z£S(O
максимизирует
у ф(г)_Н^)--------.
' У h(z')
По фундаментальной лемме Неймана — Пирсона к этому
можно прийти, отклоняя гипотезу Н для тех z из 5 (2),
для которых отношение
... 7VJ
z'es(Q
8]
НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ ПЕРЕСТАНОВОК 251
слишком велико. Поэтому наиболее мощный критерий
определяется критической функцией
<p(z) =
1 при h(z) > С [Т (z)],
у при h(z)= С [Г (z)], (52)
О при h (z) < С [Т (z)].
Для применения критерия JVi! ... 7VC! точек каждого
множества 5 (z) упорядочивают в соответствии с вели-
чиной плотности h. Гипотеза отвергается для к больших
значений и с вероятностью у для (& + 1)-го, где к и у
определяются уравнением
А + у-а^! ...
Рассмотрим, в частности, альтернативы (47). Мы видим,
что наиболее мощный критерий перестановок зависит
от А и и потому не будет РНМ критерием.
Особый интерес представляет класс нормальных аль-
тернатив с одинаковой дисперсией
= а2).
Наиболее мощный критерий при этих альтернативах
оказывается не зависящим от о2 и Д. Этот критерий
уместен и в том случае, когда предполагается прибли-
женная нормальность, но это предположение не является
слишком надежным. В этом случае желательно поддер-
живать размер критерия на уровне а безотносительно
к форме плотностей ft и сделать критерий несмещенным
при всех альтернативах (47). Однако внутри класса
критериев, удовлетворяющих этим широким условиям,
естественно произвести отбор с той целью, чтобы макси-
мизировать мощность при таких альтернативах, которые
мы вправе ожидать, т. е. при нормальных альтернативах.
Выбирая /ь как указано выше, запишем (47) в форме
с mi
h (z) = (1/2лог )-N exp [ (2 (zij-BO2 +
i=l
+ 2 • (53)
252
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
Ni
Так как множитель ехр [ — 2 3 (zij~~ 1Л2/2<?2] сохраняет
i ;=1
на 5 (/) постоянное значение, то критерий (52) отвергает
Ni
Н, когда ехр(д2. S zu) > С [Т1 (z)J, т. е. когда
г
с ni с
2 2^=2' 2 Zij>C[T(Z)].
i=l j=i j—i )=т.+ 1
(54)
Из Л\! .. . tVJ. значений, которые статистика, входя-
щая в (54), принимает на S (t), различных будет только
/7УС\
\^п j • • • J ’ поскольку статистика принимает одина-
ковые значения в любых двух точках z' и z", для кото-
рых (zii, ..., z'im.) и (Zil, z-m.) получаются друг из
друга перестановкой (Z = 1, ..., с). Поэтому достаточно
рассматривать эти различные значения и отклонять Н
для к' наибольших, а для (к' 1)-го по величине —
отклонять с вероятностью у', где
Критерий (54) является наиболее мощным при рас-
сматриваемых нормальных альтернативах в классе всех
несмещенных критериев уровня а при проверке гипотезы Н\
Д = 0 в первоначальном семействе (47) с /1,'..., /с€ F-
Чтобы завершить доказательство этого утверждения,
остается проверить несмещенность критерия при альтер-
нативах (47). Мы докажем большее, а именно, что этот
критерий является несмещенным при всех альтернативах,
для которых Xfj-(/=l, т<), Yfft(£=l, ..., щ) неза-
висимы и имеют функции распределения Fif Gt соответ-
ственно, причем Yik стохастически больше чем
т. е. Gf(z)<Ff(z) при всех z. Это утверждение вытекает
из следующей леммы.
Лемма 2. Пусть Xlt ..., Хт\ Уь ..., Y.n — выборки
из непрерывных распределений F, G, и пусть (р (#х, ...
. 2/1, •••, Уп) — критическая функция такая, что
(а) ее математическое ожидание равно а, если G — F,
8]
НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ ПЕРЕСТАНОВОК 253
и (б) Уг^Уг при г = 1, п влечет
ф (хъ .... хт- У!..у, ,) < ф (х1( хт; у'г, у'п).
Тогда математическое ожидание £ = р (F, G) функ-
ции ф будет >а для всех пар распределений, для кото-
рых Y стохастически больше чем X. Это математиче-
ское ожидание < а, если X стохастически больше чем У.
Доказательство. По лемме 1 главы 3 существуют
функции /, g и независимые случайные величины
Fi, •••, Уп+п такие, что распределения /(РО и g(Fz)
совпадают с F и G соответственно, и что /(z)<g(z)
при всех 2. Тогда
/(7m+n)] = a
£W(F!)........../(Fm); g(Fro+1), g(Vm+n)] = p.
Так как при всех (t>b ..., vm+n)
ф1М •••, /(ym); /(ym+l).........../(Vm+n)]<
...../(fm); g^m+l), g(fm+n)],
то такое же неравенство верно и для математических
ожиданий обеих частей, т. е. а<р.
Доказательство для случая, когда X стохастически
больше чем У, совершенно аналогично. Лемма обобщается
и на случай с векторов (Хи, ..., ; Ун, ..., У in.)
с распределениями (Fi, G^. Пусть математическое ожи-
дание функции ф равно а при Ft = Gt и ф не убывает
по каждому уц, когда все остальные переменные фикси-
рованы. Как и раньше, математическое ожидание ф
будет >а, если случайные величины с распределениями
Gi стохастически больше величин с распределениями Fi.
Применяя лемму к критерию перестановок (54), доста-
точно рассмотреть случай с=1, поскольку для общего
случая рассуждения совершенно аналогичны. Так как
при F = G вероятность отклонения гипотезы критерием (54)
равна а, остается проверить, что критическая функция ф
m+n
удовлетворяет (б). Отметим, что ф^1, если 2 zt
г=7п-Ь I
254
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
т+п
больше достаточно многих сумм 2 » т- е- если доста-
г—т+1 1
точное число разностей
ТП4-П ТП + 'П
Zt 2 Zj;
i=?n4-l i=m4-l
положительно. Для отдельной перестановки (/ь . ..,
т-^п
г=тЦ-1
т-\-п
zi 2 zh
Р Р
1 г=1
где /\ < ... < гр обозначают те из целых /т+1, ..., ]т+т
которые <т, а $!<...< $р-~ те из целых m-4-l, ...
..., т + п, которые не входят во множество (/m+i, ..., /m+п)-
Если разность 2 zs. — 2 zr. положительна и уг^у\, т. е.
приг = яг + 1, . ..,zn-f-n, то разность 2 2«г. 2
также положительна и, следовательно, ср удовлетворяет (б).
Такие же рассуждения показывают, что вероятность
отклонения гипотезы < а, если плотность рассматривае-
мых величин дается формулой (47) с Д<0. Поэтому
критерий остается пригодным при замене гипотезы Д — О
на Д<0.
Использование критерия перестановок (54) в точной
форме возможно только при небольших объемах выбо-
рок Nв противном случае, вычислительные трудности
становятся непреодолимыми. При с=1, например, для
определения критической точки С [У (z)] требуется оты-
скать множества индексов (Д, ..., /п), дающих к наиболь-
п
ших по величине значений суммам 2*i- Здесь к — наи-
i=i 1
большее целое, не превосходящее а [п') * ^сли « = 0,05,
то при т — п~Ь будет к~ 12, но уже при т — п = 10
величина к превосходит 9000. Однако для случая боль-
ших выборок можно указать весьма удобную аппрокси-
мацию. Умножая обе части неравенства
РАНДОМИЗАЦИЯ
255
*1
на [(1/m) 4- (l/n)] и вычитая затем (2 жг +2 2/0/^, мы
для с — 1 приведем критическую область к виду у — х >
>C[T(z)} или И7=(г/ —ж)/|/ >C[T(z)\,
так как знаменатель у W постоянен на S (z) и потому за-
висит только от T(z). Последнее неравенство, как было
показано в конце раздела 3, эквивалентно следующему
-7=. > С [Т (z)]. (55)
V 12 (^ —*)2+2 (2/у-2/)2]/(т + 'г--2)
Критическая область имеет такой же вид, как у /-критерия,
только константа Со из (27) заменяется случайной вели-
чиной. Можно показать, что при справедливости гипотезы,
т. е. когда величины Z независимы и одинаково распре-
делены, и при условиях (а) Е | Z |3 < оо (б) m/п не прибли-
жается ни к нулю^ ни к бесконечности при ш и п, стре-
мящихся к бесконечности, разность между случайной
критической точкой С|Г(7)] и Со стремится к нулю по
вероятности *). В пределе, следовательно, критерий пе-
рестановок становится эквивалентным /-критерию (27)
— (29). Таким образом, при больших объемах выборки кри-
терий перестановок может быть аппроксимирован стан-
дартным t-критерием. В точности аналогичный результат
справедлив и при с > 1. Соответствующий /-критерий
указан в задаче 7 главы 7.
9. Рандомизация как основа статистических выводов
Проблема проверки действительности какого-либо спо-
соба обработки рассматривалась в разделе 3 (в предпо-
ложении, что результаты измерения как при обработке,
*) Соответствующие предельные теоремы и ссылки на исходные
работы Двасса, Хёфдинга, Нётера, Вальда
и Вольфовица даны в разделе 6 главы 6 книги: Fraser,
Nonparametric Methods in Statistics, N. Y. Wiley, 1957. О более
точных аппроксимациях критерия перестановок см. Box and
Andersen, Permutation theory in the deiivation of robust cri-
teria and the study of departures from assumption, J. Roy. Stat. Soc.,
Ser. B, vol. XVII (1955), pp. 1—34.
256
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
так и в контрольных испытаниях, т. е. . . ., Хгп
и Уь . . . , Уп, образуют выборки из нормального рас-
пределения) и в разделах 7 и 8 (без предположения нор-
мальности).
Допустим, что для проведения эксперимента из рас-
сматриваемой совокупности отбирается наудачу т + п
элементов (пациентов, растений или образцов материала
и т. д.). Из них п подвергаются обработке, а оставшиеся т
служат для контроля. Затем измеряется характеристика,
на которую, возможно, влияет обработка, что приводит
к результатам Хъ . . . , Хт\ Уь . . . , Ут.
Для определенности предположим, что обработка со-
стоит в инъекции лекарства и что имеется т + п ампул,
предназначенных для т + п пациентов. Результат i-ro
измерения может рассматриваться как сумма двух компо-
нент. Одна, скажем Z7f, связана с z-м пациентом. Другая —
с i-й ампулой и с обстоятельствами, при которых она
использована и при которых измерен соответствующий
результат. Мы предположим, что случайные величины
Ut и Vi независимы, причем распределение нормально
и равно N (ц, о2), если ампула содержит исследуемое
лекарство, или N (£, о2), если ампула употребляется для
контроля. Принимая дополнительно, что Ut образуют
выборку из N (р, о2), мы видим, что величины X и У неза-
висимы и распределены нормально с общей дисперсией
о2 + о2 и средними
Я(Х) = И-В, Я(У)=Ф + п.
С точностью до обозначений их совместное распределение
задается формулой (26), и гипотеза ц = £ может быть
проверена с помощью стандартного ^-критерия.
К сожалению, в реальных условиях часто невозможно
добиться того, чтобы пациенты или другие эксперимен-
тальные единицы образовывали случайную выборку из со-
ответствующей генеральной совокупности: мы рассматри-
ваем или совокупность пациентов, находящихся в данном
госпитале в данный момент, или совокупность лиц, добро-
вольно согласившихся на эксперимент и т. п. В этом слу-
чае величины U следовало бы рассматривать, как неиз-
вестные константы, так как они не являются результатом
какой-либо определенной выборочной процедуры. Это
РАНДОМИЗАЦИЯ
257
предположение уместно и в другом контексте. Допустим,
что экспериментальными единицами являются машины
некоторого цеха или поля некоторой фермы. Если экспе-
римент имеет целью отыскать метод, наилучший именно
для этого цеха или этой фермы, то только указанные еди-
ницы имеют отношение к задаче. В этом случае повторение
эксперимента состояло бы в сравнении двух способов
обращения с одними и теми же машинами или полями,
а не с новыми, наудачу выбранными из более обширной
совокупности. В этом случае сами экспериментальные
единицы постоянны, а следовательно, постоянны и вели-
чины и.
При высказанных допущениях совместная плотность
т + п результатов измерений равна
т
(/2йа)т+п еХР [ ~255 (2 ~ В)2 +
п
+ 2 (2/j-Wm+J-n)2] •
Так как величины и совершенно произвольны, то ясно,
что невозможно провести различие между гипотезой
Я: ц = £ и альтернативами К: ц > £. Действительно,
каждое распределение из К принадлежит также Я и об-
ратно. Поэтому наиболее мощный критерий уровня а для
проверки Я при любой простой альтернативной гипотезе
относительно величин £, ц, о и щ отвергает Я с вероятно-
стью а независимо от исхода наблюдений.
Данные, которые могут служить базисом для проверки
эффективности способа обработки, могут быть получены
с помощью весьма важного приема — рандомизации. Пред-
положим, что N = т + п пациентам прописаны N ампул,
причем наудачу, т. е. таким образом, что каждое из Я!
возможных соответствий имеет одну и ту же вероятность
1 /Я!. Тогда при каком-либо данном соответствии резуль-
таты Я измерений будут распределены нормально с дис-
персией о2 и средними g + щ. (i = 1, . . . , т) и ц + и^
(/ == т + 1, . . . , тп + п). Совместная плотность величин
(Zb = Уь ...,УД)
17 э. Леман
258
НЕСМЕЩЕННОСТЬ ПРИМЕНЕНИЯ
[гл. 5
равна, следовательно,
1 хл 1
Ж 2j (,r^z-n\N х
(й...iN) (у 2я °)
m п
х ехР [ 2^(2 (^-и.,-.-ю2+2 (у~изт+i—”п>2)J ’ (56)
г=1 г=1
где внешнее суммирование производится по всем ЛИ
перестановкам (Д, ..,, jN) чисел (1, ..., N). При гипотезе
т] = g эта плотность имеет вид
N
ЛТ 2 (i/-2So)n ехр [ — "2о2 2 (Zi~ Ц)2] ’ (57)
(Я. . (У2ла) i=i
где t,j. = Uj( + l = Uj. + t\.
Без рандомизации появление множества уд, больших
по сравнению с xk, могло бы быть объяснено целиком в тер-
минах компонент щ, связанных с отдельными пациентами.
Однако если связь между ut и уь случайна, то эффект
этих компонент будет в среднем таков же, как и компонент,
приписанных хк. Следовательно, заметное превосходство
второй выборки становится весьма неправдоподобным
в условиях проверяемой гипотезы и потому должно быть
приписано эффективности способа обработки.
Метод сопоставления «наудачу» способов обработки
с экспериментальными единицами позволяет построить
критерий уровня а для проверки гипотезы т] = мощ-
ность которого больше а при всех альтернативах ц — £ > 0.
Действительная мощность этого критерия зависит, одна-
ко, не только от альтернативного значения ц — £, кото-
рое измеряет эффективность способа обработки, но также
и от эффектов щ отдельных единиц. В частности, если измен-
чивость величин щ чрезмерно велика, то она может «пода-
вить» эффект обработки (так же, как могло бы быть при
возрастании дисперсии о2). В соответствии с этим, мощность
критерия была бы мала и не позволила бы обнаруживать
альтернативы ц —
В таких случаях чувствительность эксперимента может
быть повышена приемом, в точности аналогичным спо-
собу «расслоенной выборки», обсуждавшемуся в разделе 7.
РАНДОМИЗАЦИЯ
259
9]
В рассматриваемом случае это означает замену описанного
выше процесса полной рандомизации более ограниченной
процедурой рандомизации. Экспериментальный материал
разбивается на подгруппы, более однородные, чем мате-
риал в целом, так что внутри каждой группы разности
между величинами и малы. В опытах с животными, напри-
мер, этого часто можно достичь разделением по пометам.
Рандомизация применяется только внутри каждой из
групп. Если i-я группа содержит Nt единиц, то щ из них
выбираются для обработки, а остающиеся =Ni — nt
служат для контроля (SA^ = N, = т, Xrti = п).
Примером такого подхода может служить метод сход-
ных пар. В нем экспериментальные единицы делятся
на пары. Единицы каждой пары стремятся подобрать
возможно более похожими друг на друга во всех суще-
ственных для эксперимента отношениях, так что внутри
каждой пары разность значений делается возможно мень-
шей. Предположим, что материал разбит на п таких
пар, и обозначим соответствующие единицам эффекты
(величины U предыдущих рассуждений) t74, £7';...;
C7n, Un. Пусть первый и второй члены каждой пары или
подвергаются обработке, или служат для контроля, соот-
ветственно, и пусть результаты наблюдений за i-й парой
равны Xi и Yi. Если подбор пар вполне удачен, что
может быть, например, когда один и тот же пациент
дважды используется при исследовании снотворного сред-
ства, то U\ = Ui при всех i я плотность величин X и У
равна
(/2^а)апеХР[ —25^ +
+ 2(^-П-иг)2]] , (58)
РНМ несмещенный критерий для проверки Я: г| = £ при
альтернативе т| > £ определяется в этом случае в терми-
нах разностей Жг = Уг — Xz; его критическая область
имеет вид
j/* п U)
(59)
(см. задачу 25).
17*
260
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
Однако обычно не желают доверять предположению
щ = Ui даже после объединения в пары, и снова стано-
вится необходимой рандомизация. Так как, по-видимому,
объединение в пары делает изменчивость и внутри пары
значительно меныпей, чем по всей совокупности, то рандо-
мизация проводится только внутри каждой пары. Одна
из единиц каждой пары выбирается с вероятностью 1/2
для обработки, в то время как остальные служат для
контроля. Плотность величин X и Y в этом случае равна
п
I" (/2лст)2п П {ехр [ ~ К®' Ui^ +
i=l
+ (yt-n-Mi)2lJ +exp [—2^- [(Xi-l-Ui)2 +
+ • (60)
При гипотезе т] = £ это превращается в
п 2
2^ 2 (у ехр [ ” 2^2 2 (za~£«)8] ’ (61)
' r ' * i=l j— 1
где
Zit = Xi, zi2=yi, = 5 + £f2 = n + Wi (i = l, •••, n).
Внешнее суммирование распространяется на 2" точек
£' = (£и, •••, £п2), Для которых (Си. &2) равно или
(Sil, С.г) ИЛИ (Ci2, Си)-
10. Критерии перестановок и рандомизация
В предыдущем разделе было показано, что рандоми-
зация дает базис для проверки гипотезы ц = £ об отсут-
ствии эффекта обработки без каких-либо предположений
об экспериментальных единицах. В настоящем разделе
будет получен специальный критерий для этой проблемы.
В случае, когда экспериментальные единицы рассматри-
ваются как постоянные, совместная плотность резуль-
татов наблюдений дается формулой (56) (при полной
рандомизации) или формулой (60) (при использовании
10]
КРИТЕРИИ ПЕРЕСТАНОВОК И РАНДОМИЗАЦИЯ
261
сходных пар). Более общим образом, пусть эксперимен-
тальный материал разбит на с подгрупп, рандомизация
применяется в каждой из подгрупп и пусть результаты
наблюдений в f-й подгруппе равны
(Zil, . ..» ZiN?) = (Хц, •••» -Xim/» ^il? •••? Yin.)'
Для любой точки w = (uH, ucNc) обозначим, как
и раньше, знаком S (и) множество из Л\! ... 2VJ точек,
получаемых из и всевозможными 7Vt! ... JVC! перестанов-
ками координат внутри каждой подгруппы Тогда совме-
стная плотность величин Z равна
1 у 1 х
1 u-es(u) И 2ла)
с mi
х ех₽ [ 2 (2 (z^ - £ -+
i=l j=l
Ni
+ 2 <62)
•+1
и при 1ипотезе отсутствия эффекта обработки
Ра-1 = ЛГ,! ... 2VC! 2 z,/sz_\W Х
(г 2лег)
с N;
* ир [ - > 2 2 <Zi>- ^)2 ] • <63)
i=l
Может случиться, что не все координаты и или £
различны. Тогда, если некоторые из точек S (и) или S (£)
совпадают, то каждая точка должна считаться с учетом
ее кратности. Более точно, если TVJ ... Nc\ рассматри-
ваемых перестановок + • . . +NC координат обозна-
чить gki к — 1, ..., TVJ ... 2VC!; то в качестве S (£) можно
взять упорядоченное множество точек g^£, Л=1, ...
..., ATJ. ... 7УС!. Тогда соотношение (63), например,
262
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
принимает вид
Nil .Nel
3 77777 х
Хехр(” 2^1г~^|2) ’
с
где | и21 обозначает 3 X-
2=1 j=l
Теорема 4. Для того чтобы критическая функция ср
удовлетворяла неравенству
Ф (z) Prt (z) < а (dz — dzu ... dzcNc) (64)
при всех о > 0 и всех векторах £, необходимо и доста-
точно выполнение условия
yr'-lTi 3 <P(z')<a почти всюду. (65)
c’z'es(z)
Доказательство основано на следущей лемме.
Лемма 3. Пусть А —множество в N-мерном про-
странстве, мера Лебега |1 (Л) которого положительна.
Тогда для любого 8>0 найдутся такие действительные
числа о > 0 и ..., что
Р{(Х,...Хп)еЛ}>1-е,
где Xi —независимые нормально распределенные случайные
величины со средними Е (Х^ = и дисперсиями ol. = о2.
Доказательство. Не ограничивая общности,
допустим, что |л(Л)<оо. Для любого т| > 0 найдется
такой квадрат Q, что
(<?)•
Это следует из того, что почти в каждой своей точке А
имеет метрическую плотность 1*) (или из более элемен-
*) См., например, Hobson, Theory of Functions of a Real
Variable, vol. 1, Cambridge Univ. Press., 3rd ed., 1927, 194.
10]
КРИТЕРИИ ПЕРЕСТАНОВОК И РАНДОМИЗАЦИЯ
263
тарного факта — возможности аппроксимировать измери-
мое множество по мере объединения непересекающихся
квадратов). Пусть а таково, что
1 Г Л t2 \ л ft е \1/N
—а
и пусть
Если (£1( £n) — центр Q, и если а = Ь/а-=
= (1/2а) [|л (0]1/2V, где 26 —длина стороны Q, то
(VW* 5 ехр [ “2 -^)2] •dx» <
^AQ
6ХР f ^Х‘ ~ ^2-i ^Х1 ' ’ * dXN ~
Q
а
—а
С другой стороны,
(Т^ар 5 ех₽ [ —2^ S ~£‘)2] • • • dxN <
AhQ
Складывая почленно оба неравенства, приходим к иско-
мому результату.
Доказательство теоремы. Пусть ср — любая
критическая функция и пусть
^z) = tvj .::ле! 2 ф(г')-
z'es(z)
Если (65) не выполняется, то существует такое ц > О,
что на множестве положительной меры ip(z)>a4-T).
По лемме существуют a > 0 и С — (£и, • • •, tcNc) такие,
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
что Р {Z g 4} > 1 — т), где Zu, .... Zc^c независимы и рас-
пределены нормально с общей дисперсией о2 и средними
Е (Zq) = Мы имеем
Ф (z) Ро,: (z)dz = § Ф (z) Ро, s (z)dz >
6Х₽ [ 2а^ (Z‘J ~ dz >
> («+п)(1-п)> (66)
что больше а, так как а + ц < 1. Этим доказано, что
(64) влечет (65). Обратное утверждение следует из пер-
вого равенства в (66).
Следствие 2. Пусть Н — класс плотностей
{Ро, £ (2): а > 0, — оо < Ztj < оо}.
Полным семейством критериев для проверки Н с уров-
нем а может служить класс критериев, для которых
JV,! n ! 3 <P(z') = a почти всюду. (67)
е’ z'£S(z)
Доказательство. Следствие утверждает, что для
любого данного критерия <р0 с уровнем а найдется эле-
мент <р в который равномерно не менее мощен, чем фо-
По предыдущей теореме среднее значение ф0 на каждом
множестве S (z) не превосходит а. На множествах, где
это неравенство является строгим, мы можем увеличить
Фо таким образом, чтобы получить критическую функцию ф,
удовлетворяющую (67) и такую, что фо(^)<ф(г) для
любых z. При всех альтернативах мощность ф не меньше
мощности фо, т. е. ф — искомый критерий. Точная кон-
струкция критерия ф, показывающая его измеримость,
приведена в задаче 28. Из следствия 2 видно, что в нор-
мальном случае модель рандомизации (62) приводит в точ-
ности к тому же классу критериев, который был найден
ранее в несколько иной обстановке. Из раздела 8 можно
вывести, что наиболее мощный критерий уровня а для
проверки (63) при простой альтернативе (62) дается фор-
мулой (52) с h (2), равной плотности (62). Если ц—- | = Д,
10]
КРИТЕРИИ ПЕРЕСТАНОВОК И РАНДОМИЗАЦИЯ
265
то критическая область этого критерия имеет вид
{ с Ni
2^1 ехР [ Г + А (zij j >
u'£S(u) i—1 j~l
>C[T(z)], (68)
так как обе суммы и S3 4- постоянны на S (z)
и потому зависят только от Т (z). Мы видим, что кри-
терий зависит от А и индивидуальных эффектов так
что РНМ критерий не существует.
Среди альтернатив (62) имеется один подкласс,
занимающий центральное положение и представляющий
особенный интерес. Это класс альтернатив, выделяемый
предположением, что индивидуальные эффекты ut обра-
зуют выборку из нормального распределения. Хотя
трудно ожидать, что это предположение выполняется
точно, во многих случаях можно с основанием предпо-
лагать его приближенное выполнение. Соответствующий
подкласс альтернатив дается вероятностными плотно-
стями
с mi
()/2гё)*еХР I ~"2^ 3 (3(гМ-м«-£)2 +
г=1
Ni
+ 2 • (69)
Эти альтернативы привлекательны и с несколько
иной точки зрения. Процедура случайного (внутри каж-
дой подгруппы) сопоставления способов обработки с экс-
периментальными единицами уместна, как мы видели,
тогда, когда изменчивость и внутри каждой группы
мала. Эта процедура используется при уверенности, что
последнее условие выполняется, что приводит к пред-
положению, может быть приближенному, о постоянстве
Uij=--ult Такой случай может рассматриваться как пре-
дельный для нормальных распределений с дисперсией,
стремящейся к нулю. Для последних плотность задается
формулой (69).
266
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 6
Так как альтернативы (69) совпадают с альтернати-
вами (53) раздела 8 с щ — £ = — = —Д, то кри-
терий перестановок (54) оказывается наиболее мощным
критерием для проверки гипотезы т] = £ в нормальной мо-
дели рандомизации (62) при альтернативах (69) с т] — £>
> 0. Критерий сохраняет это свойство в значительно
более общей обстановке, в которой ни нормальность, ни
выборочные свойства величин U не участвуют. Пусть
совместная плотность рассматриваемых случайных вели-
чин равна
С mi
П [П/г (zij £) Ц f i (zij llij *])] >
u'ES(u)i-4 j=i j=zm.+i
где fi почти всюду непрерывны, а в остальном произ-
вольны*). При гипотезе Н: г| —£ эта плотность симмет-
рична по переменным (z^, ..., ZiN.) г-й подгруппы при
каждом г, так что критерий перестановок (49) имеет
вероятность отклонения, равную а при всех распределе-
ниях из Н. По следствию 2 эти критерии перестановок
образуют полный класс, что и требовалось установить.
11. Проверка независимости в двумерном
нормальном распределении
До сих пор методы настоящей главы применялись,
главным образом, к проблеме двух выборок. Мы исполь-
зуем теперь два рассматривавшихся подхода —нормаль-
ную модель раздела 3 и непараметрическую модель раз-
дела 7 — к проверке гипотезы независимости в двумер-
ном нормальном распределении.
Плотность вероятности для выборки (Хь Ух), .. .
(Хп, Yn) из двумерного нормального распределения
равна
(2лат/1^)п СХР [ “ 2 (1-е2) 3 ~ &)2 ~
- 4? 2 2 - п)2) J • <7°)
*) В действительности требуется лишь, чтобы Д, ...,
где zF — любое семейство, содержащее все нормальные распреде-
ления.
11]
ПРОВЕРКА НЕЗАВИСИМОСТИ
267
Здесь (|, о2) и (т], т2) являются средними и дисперсиями
X и У соответственно, a Q — коэффициент корреляции
между X и У. Гипотезы q<q0 и q = q0 могут быть ис-
следованы методами настоящей главы, и такое исследо-
вание будет предпринято в главе 6. Здесь же мы рас-
смотрим только гипотезу Q = 0, т. е. гипотезу независи-
мости X и У, и соответствующую одностороннюю гипо-
тезу Q<0.
Семейство плотностей (70) имеет экспоненциальную
форму (1) с
U^XiYi, Л = Г2=2П
7’3=SXj, Г4=2У,
И
А = £ fl, — fl
ат(1 — q2) ’ U1 2а2(1 —q2) ’ 2 ~ 2т2(1 —q2) ’
А» _ 1 < I_____ПОЛ fl 1 Л п
3 1 — q2 ч о2 от J ’ • 4 1 — Q2 \ т2 от J
Гипотеза Я: §<0и гипотеза 0<О —эквивалентны. Так
как выборочный коэффициент корреляции
д_ ^(ДГг-Х)(Уг—У)
не меняется при замене Хг и Yt на (Хг — £)/а и (Уг —ц)/т,
то распределение R не зависит от £, ц, о и т, а зави-
сит только от р. Следовательно, при 0 = 0 оно не зависит
от -&!, ..., f>4. По теореме 2 при 0 = 0 R не зависит от
(Т1, ...,74). Из теоремы 1 выводим, что РНМ несме-
щенный критерий отклоняет Н при
R>Cq (71)
или, что то же самое, при
R
{12)
Статистика В. линейна по U, и ее распределение при
Q = 0 симметрично относительно 0. Поэтому РНМ
268
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
несмещенный критерий гипотезы q = 0 при альтернативе
q Ф 0 отвергает гипотезу, если
/(1-Я2)/(п-2) ‘ ’
Так как величина ]/7г — 2Я//1-7?2 имеет при q = О
^-распределение с (п —2) степенями свободы (см. задачу
32), то константы KQ и Kt находятся из уравнений
оо оо
<\jtn^(y)dy = a и tn_2(y)dy . (74)
Ко
Раз распределение R зависит только от р, то и функ-
ция мощности критерия имеет это свойство.
Рассмотрим теперь задачу без предположения нормаль-
ности — в непараметрической постановке. Для любого
двумерного распределения (X, У) обозначим Yx случай-
ную величину, распределение которой совпадает с услов-
ным распределением У при данном х. Мы скажем, что
между X и У имеется положительная зависимость, если
при любых х < х' величина Yx> стохастически больше
Ух. Грубо говоря, большие значения У соответствуют
большим значениям X: в этом интуитивный смысл поло-
жительной зависимости. Примером может служить любое
двумерное нормальное распределение с q > 0 (см. зада-
чу 36).
Возьмем теперь общее двумерное распределение,
имеющее плотность относительно меры Лебега, и рас-
смотрим гипотезу независимости при альтернативе поло-
жительной зависимости. Если ф —какой-либо несмещен-
ный критерий, то при независимости X и У вероятность
отклонения гипотезы равна а, т. е.
ф (xlt ...,хп;уи (Xi) ... (xn) (yi) ...
• • • h(yn)dx dy = a
для всех плотностей ft и По теореме 3 отсюда нахо-
дим, что
11]
ПРОВЕРКА НЕЗАВИСИМОСТИ
269
Здесь суммирование распространяется на все (дг!)2 точек
множества S (х, у), которое получается из фиксирован-
ной точки (ж, у) с я = (^1, . .хп) и у = (г/ь . . ., уп)
всевозможными перестановками хк и yh в отдель-
ности.
В классе всех критериев, удовлетворяющих этому
условию, наиболее мощный по отношению к нормальным
альтернативам (70) с р > 0 выделяется тем, что откло-
няет гипотезу при к' наибольших значениях функ-
ции (70) на каждом множестве S (х, у); здесь к'/(п!)2 = а.
Так как все суммы: постоянны
на S (х, у), то можно сказать, что критерий отвергает
гипотезу для к' наибольших значений в каждом
у).
Из (м!)2 значений, которые статистика прини-
мает на 5(^,г/), различных будет только п!. В самом
деле, значение статистики не изменяется, если величины
X и Y подвергаются одной и той же перестановке. По-
этому критерию может быть придана более простая
форма: гипотеза отвергается для к наибольших значений
суммы на каждом множестве S (х, у)\ здесь
предполагается, что x{v> < ... и kjn\~ а. Можно
показать, что этот критерий не смещен по отношению
ко всем альтернативам с положительной зависимостью
(см. задачу 41 в главе 6).
Сравним критерий перестановок со стандартным нор-
мальным критерием, основанным на выборочном коэффи-
циенте корреляции /?. Пусть Т (X, У) обозначает мно-
жество упорядоченных X и У
Т (X, У) - (Х(1), ..., Х(п); У(1), ..., У(п)).-
Критическая область для критерия перестановок имеет
вид
2хгуг>с[Г(х, У)]
или, что то же, вид
R>K[T(X, У)].
270
НЕСМЕЩЕННОСТЬ ПРИМЕНЕНИЯ
[гл. 5
Оказывается*), что разность между K[T(X,Y)] I
и граничной точкой CQ соответствующего нормального I
критерия (71) стремится к нулю, и оба критерия стано-
вятся эквивалентными при п, стремящемся к бесконеч-
ности. Достаточные условия для этого состоят в том, |
что I
0х > о, Оу >0 |
и
Е(|Х|3)< оо, Е(|У|3)<оо.
Следовательно, при больших п стандартный нормальный
критерий (71) служит приближением к критерию пере-
становок, который непрактичен при сколько-нибудь зна-
чительном объеме выборки.
12. Задачи
К разделу 2
1. Пусть Xi, ..., Хп — выборка из N (5, о2). Мощность Мери-
терия Стыодента является возрастающей функцией от g/o в одно-
стороннем случае
Я: К: 5>0,
и от | 5 I/O в двустороннем случае
Я: 5=0, Я: 5^0.
[Если
то мощность в двустороннем случае равна
t р j- CZ? /ng CS /ng]
[о о о о a J 9
и желаемый результат вытекает из того факта, что он имеет
место условно при каждом фиксированном значении ^/o.]
2. В обстановке предыдущей задачи не существует критерия
уровня а для проверки Я: 5 = 0, который при всех о имел бы
мощность >р>а при альтернативах (5, а) с g=£i>0.
*) Доказательство см. в книге Фрезера, указанной в сно-
ске в разделе 8.
12]
ЗАДАЧИ
271
[Пусть 0’(gi, а) —мощность некоторого критерия уровня а
для проверки Н и пусть 0 (о) — мощность наиболее мощного кри-
терия для проверки g —О при альтернативе g=gb когда ст изве-
стно. Тогда 0а (gb а) < inf 0 (о) = а.]
о
3. (I) Пусть Z и V независимы и распределены по законам
N (д, 1) и %2 с / степенями свободы соответственно. Тогда отно-
шение Z: V// имеет нецентральное ^-ра определение с / степе-
нями свободы и параметром нецентральности д и плотность этого
отношения равна *)
1
Р6 (t) = --------------------X
X у2</ ° ехр (—у у) ехР [ —у Q 1 dy (75)
О
или, иначе,
Рб (*)=-.—-
22 ]
1
1
х
о
Ы
и........
//+«2
2 1
dv.
(76)
Другая форма получается подстановкой w—tYy/Yf в вира-
жение (75).
(II) Если ..., Хп независимы и распределены по закону
JV(g, <т2), то /ЙХ: имеет нецентральное
f-paопределение с (п —1)-й степенью свободы и параметром не-
центральности d=|/"wg/a.
[(I) Первое выражение получается из совместной плотности
Z и V переходом к переменным t = z: v/f и v.]
4. Пусть ..., Хп— выборка из N (g, о2). Обозначим 0 (£/а)
мощность одностороннего ^-критерия для Н: g < 0 при альтерна-
тиве g/cr, 0* (g/o) — мощность соответствующего критерия при из-
вестном а. Определить 0(g/cr) для п = 5, 10, 15, а —0,05, g/cr —0,7;
0,8; 0,9; 1,0; 1,1; 1,2 и в каждом случае сравнить с 0* (g/a).
Сделайте то же самое для двустороннего случая.
*) Функция распределения, так же как и плотность вероят-
ности этого распределения табулирована у Resnikoff and
Lieberman, Tables of the Noa-central ^-distribution, Stanford
Univ. Press., 1957. См. также: Merrington and Pearson,
An approximation to the distribution of non-central t, Biometrika,
vol. 45(1958), 484 — 491.
272
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
5. Пусть Zj, Zn независимы и распределены нормально
с общей дисперсией о2 и средними
FAZi)^i (i = l,
Я(2;) = 0 (i = s4-l, п).
Существуют РНМ несмещенные критерии для проверки «С
и = Их критические области
Zi-£? . с
----~п ' - ~ — > (0
2 Zll(n-S)
i=s+l
При £i = £i статистика имеет /-распределение с n — s степенями
свободы.
6. Пусть ..., Хп независимы и распределены нормально
п
с общей дисперсией ст2 и средними gi, ..., Пусть Zt—
j—1
п
ортогональное преобразование (т. е. 2 aiJaik=z^ или 0 при j~k
i—1
или / к}. Тогда величины Z распределены нормально с общей
дисперсией а2 и средними
[Плотность Z получается из плотности X подстановкой
buzj, где (Ьц) — матрица, обратная к (ед), и умножением
на якобиан, который здесь равен 1.]
7. Если Xlf ..., Хп—выборка из N (§, о2), то РНМ несмещен-
ный критерий для и | = 0 может быть получен из резуль-
татов задач 5 и 6 ортогональным преобразованием X в Z, где
Z^ — VnX.
[Тогда
з z?-z?= 3 s
г=2 i=l i—1 г=1
8. Пусть Xlf Х2, ... — последовательность независимых слу-
чайных величин, распределенных по закону N (£, о2), и пусть
Yn = [nXn+1-(Х,+... +^п)]//« (»+!)•
(I) Величины Yf, Y2, ... независимы и распределены по зако-
ну 2V (0, а2).
(II) С помощью величин Y гипотеза в = <т0 ПРИ альтернативе
0 = 0! может быть проверена последовательным критерием отно-
шений вероятностей.
12]
ЗАДАЧИ
273
К разделу 3
9. Пусть ХА, . ..,ХП и У4, .. r-, Yn— независимые выборки из
N (g, о2) и N (1], т2) соответственно. Определите объем выборки,
необходимый для того, чтобы получить мощность 0 при аль-
тернативах т/а > Д, если а~0,05, 0 = 0,9, Д = 1,5; 2; 3 и прове-
ряемая гипотеза есть Н: Д<1.
10. При т = п область принятия (23) может быть записана
в форме
тах(6’у/Д06’х, До^х/6*уХ (1 —С)/С,
где = = 3 (У*~У)2 и где С 0ПРеДеляется из
С
о
И. Пусть Хр . ..,Xm и Yf, ..., Yn — выборки из N (g, о2)
n'N (ц, о2). РНМ несмещенный критерий для гипотезы т| —g = 0
может быть получен из результатов задач 5 и 6 ортогональным
преобразованием (Xi9 Хт, Уь ...,УП) в (Zi, . ...Zm+n),
таким, что
Zi = (Y-J)//(l» + (l/n),
12. Экспоненциальные плотности. ПустьХ1, . ..,ХЛ — выборка
из распределения с экспоненциальной плотностью а^е~~^х~ь^а
при х^ Ь.
(I) Для проверки л = 1 существует РНМ несмещенный крите-
рий с областью принятия
С!<2 2 to — minCq, ..., xn)]<С2.
При а = 1 соответствующая статистика имеет %2-распределение
с 2п — 2 степенями свободы, a С { иС2 определяются из уравнений
С2 £>2
%1п-а(з/) dy= j 5C2n(3/)^ = l — «•
Ci Ci
(II) Для проверки 6=0 существует РНМ несмещенный кри-
терий с областью принятия
0 < ...,уп) < с
При 6=0 соответствующая статистика имеет плотность
р (и) = , и > 0.
г v ' (1-Н)п
18 Э. Леман
274 НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ [гл. 5
[Эти распределения при меняющемся Ъ не образуют экспонен-
циального семейства, и поэтому теорема 3 непосредственно не
применима.
(I) Можно ограничиться упорядоченными наблюдениями
Х(1) < ... < Х{п\ поскольку они достаточны для а и 6, и перейти
к новым переменным Z1 = nJT(1), — [X(i)—
i = 2, ..., п (так же, как в задаче 13 главы 2). При а — 1 Zx является
полной достаточной статистикой для &, и критерий находится
п
путем решения условной задачи при данном zv Так как 2 zi
4=2
не зависит от то условный РНМ несмещенный критерий
п
имеет при каждом область принятия Ci < 2 что
4=2
приводит к нужному результату.
п
(II) При 6 = 0 2 zi является полной достаточной статистикой
4=1
для а и критерий находится решением условной задачи при дан-
п п
ной 2 zi- Затем используется тот факт, что при& = 0И1/2^г
4=1 4=1
п
не зависит от 2 zt и рассуждения завершаются как в дока-
4=1
зательстве теоремы 1.]
13. Распространите результаты предыдущей задачи на случай,
рассмотренный в задаче 8 главы 3, когда наблюдения продол-
жаются только до тех пор, пока не появятся Х(1),
К разделу 4
14. На основе выборки ..., Хп) фиксированного
объема из N (£, о2) нельзя построить доверительные интервалы
для с положительным коэффициентом доверия и ограниченной
длины.
[Рассмотрите любое семейство доверительных интервалов
d (X) L/2 постоянной длины L, Пусть ..., таковы, что
I li~~I > L ПРИ * =# Тогда множества = {х: | б (х) — |<L/2}
(i= 1, ..., 2N) попарно не пересекаются. Существует о0>0
такое, что
|Р£ {Xg.S’J-P G{XeSt}\^i/2N при о>(Т0,
®1»
что можно увидеть, переходя к новым переменным Yj=(Xj—
12]
ЗАДАЧИ
275
и применяя леммы 2 и 4 Дополнения. Так как min G{X £ $i} <С
1/2Х, то при а > cr0 min а {X € 6^} 1/N и, следовательно,
mfPE,„{|SW-E|<4}<4.
Доверительный коэффициент, связанный с системой интервалов
б (X) ± L/2, равен, следовательно, нулю. Тем более это должно
быть верно для любого множества доверительных интервалов
длины Z.]
15. Двухстепенная процедура, предложенная Стейном.
(I) Если mS2l<fi имеет ^-распределение с т степенями сво-
боды и если условное распределение У при данном S=-s равно
N (0, о2/*?2), то У имеет /-распределение Стьюдента с т степенями
свободы.
(II) Пусть ХА,Х2, ... независимы и распределены по за-
___________________ п0 По ______
кону N (I, О2). Пусть Хо= 2 Xi/n0, -S'2— 2 (Xi — ^о)2/(«о — i)
i=l i=l
и пусть «!=... =anQ = a, «no+i =... — an = b и n > n0—измери-
мые функции от S. Тогда
2йН^-^)
у— *-* ---------
г i=l
имеет распределение Стьюдента с п0 — 1 степенями свободы.
(III) Рассмотрим двухстепенную схему выборки Щ, в кото-
рой б*2 вычисляется, исходя из первоначальной выборки объе-
ма п0, а затем производится п—nQ дополнительных наблюдений.
Объем второй выборки таков, что
n = max(n0+l, >
где с—заданная константа и [г/] обозначает наибольшее целое У*
Тогда существуют числа «р . ..,«п такие, что
ai=... = a , a +i = ...=a„, at = i, a*=c/SZ.
i=l i=t
п
Из (11). следует, что 2 ai№i—%) / Vс имеет /-распределение
г=1
Стьюдента с и0— 1 степенями свободы.
(IV) Ниже описывается схема выборки П2, при которой вторая
выборка может быть и пустой, т. е. не содержащей ни одного
18*
276
НЕСМЕЩЁННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
элемента. По отношению к применениям, которые будут сделаны
в задачах 16 и 17, П2 несколько более эффективна, чем ПР Пусть
и0, и с определены как раньше, пусть
п — max s п0,
["]+*}
п
й. = 1/тг (i = l, ..., п) и X — 2 ai^i- Тогда }/rn(X — ^)/S снова
1—1
имеет ^-распределение с п0 — 1 степенью свободы.
[(II) При данном £ = $ величины а, b и п постоянны,
п0 __
2 аг(Хг-^) = поа(Хо-5)
1=1
распределена по закону N (0, n0«a2«G2), и следовательно, числи-
тель Y распределен нормально с нулевым средним и диспер-
п
сией а2 2 а1- Теперь требуемый результат получается из (I).]
1=1
16. Доверительные интервалы фиксированной длины для сред-
него значения нормального распределения. (I) Рассмотрим двух-
степенную процедуру П1? определенную в п. (III) предыдущей
задачи. Допустим, что при данных Z > О и 0 < у < 1 число с
находится из уравнения
L/2 /с
5 ^П°-1
— L/2 V~c
(У) =
где ^п0-1 ^означает плотность ^-распределения с (и0—1) степенью
п
свободы. Тогда интервалы 2 ai^i i: являются доверитель-
1=1
ными интервалами для £ длины L и с коэффициентом доверия у.
(II) Пусть с определено как в п. (I), а выборочная про-
цедура П2 такова же, как в п. (IV) предыдущей задачи. Интер-
валы X i Ь/2 являются доверительными интервалами длины L для
£ с коэффициентом доверия^у и в то же время число необхо-
димых наблюдений несколько меньше, чем в ПР
[(I) Вероятность того, что интервал покрывает равна
2
L < i=i_______________ < L
2 /с '' у с 2 ]/'с
12]
ЗАДАЧИ
277
(II) Вероятность того, что интервал покрывает £, равна
17. Двухстепенные t-xpumepuu с мощностью, не зависящей
от о. (I) Возьмем процедуру Щ с некоторым с и определим С
посредством равенства
оо
5 *«0-1 (y)dy = a.
С
п
Тогда критическая область ai%i — с определяет
г=1
критерий уровня а для Н\ с0 строго возрастающей
функцией мощности 0С (g), зависящей только от g.
(II) При любой альтернативе и любых а<р<1 число с
может быть выбрано так, что рс(£1)~Р- _ __
(III) Критерий с критической областью ^«(ЛГ—
основанный на П2 и с тем же значением с, как и в п. (I), является
критерием уровня а для Н, причем равномерно более мощным,
чем критерий, данный в (I).
(IV) Распространите утверждения пп. (I)—(III) на случай
проверки гипотезы g = go ПРИ альтернативе g ф g0.
[(I) (II) Мощность критерия равна
оо
₽с(5)= $
Ь-%0
Ус
(III) Это следует из неравенства । g0 \/$ > | g—
К разделу 5
18. Пусть Xlt ...,Хп распределены как в задаче 12. Тогда
наиболее точные несмещенные доверительные интервалы для мас-
штабного параметра а суть
2 кг—min ki> • • •> Яд)] 2 кг—min(х,, ..., жп)].
19. В нижеследующих ситуациях существуют наиболее точные
несмещенные доверительные интервалы:
(I) для параметра если X и Y независимы и имеют
биномиальные распределения b (piy т) и Ь (р2, п),
(II) для параметра А раздела 6 главы 4—в 2x2 таблице.
278
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
К разделу 6
20. (I) В предположениях, сделанных в начале раздела 6, РНМ
критерий для И: Q = Qo дается формулой (45).
(II) Пусть (р, р) — соответствующие наиболее точные несме-
щенные доверительные интервалы для р = лу-[• &$, где р = р(а, Ь),
q=q(cl, b). Тогда, если fi и f2~возрастающие функции, то мате-
матическое ожидание от Л (I Q —Q |) + /2 (I Q —Q I) является воз-
растающей функцией от а2/тг-|—д2.
[(I) Произведите любое ортогональное преобразование yi9 ..уп
в новые переменные ..., zn такие, что
21 = 3 fto« + (a/n)] У«//(«2/»)-Н2. Z2=S (aP»—
i г
и затем примените результаты задач 5 и 6.
_ (II) Если аЦп-Ybl < + т0 случайная величина
I Q («2» ^2) — Q I стохастически больше, чем | р (a1? &i) —Q |. Анало-
гично и для р.]
К разделу 7
21. Докажите теорему 3 для произвольных значений с.
К разделу 8
22. Пусть с=1, т —п —4, а —0,1 и упорядоченные по воз-
растанию координаты точки z суть 1,97; 2,19; 2,61;
2,79; 2,88; 3,02; 3,28; 3,41. Определите точки множества S (z),
входящие в критическую область (54).
23. Доверительные интервалы для сдвига. Пусть Xi9
У4, ...,УП—независимый имеют непрерывные функции распре-
деления F (х) и G (y)~F (у — А) соответственно. Из критерия
перестановок для гипотезы Н (До): Д = До, без всяких дальнейших
предположений относительно можно получить доверительные
интервалы для Д. Именно, возьмем точку (zlt ..., zm+n) =
/ л * х / т-\-п\
= (жр ..., хт, у! — А, ..., уп — А) и ( } перестановок
Ч< ... < im\ < ... < im+n целых чисел 1, ...,т-\-п.
Допустим, что гипотеза Н (Д) принимается для к из этих переста-
новок, которые приводят к наименьшим значениям
m+n 7. ™ z ,
I v
I • XJ n ХЛ m I ’
j=l
причем & = (1 —a)^m^ . Тогда совокупность значений А, для
которых Н (А) принимается, образует интервал, и эти интервалы
12]
ЗАДАЧИ
279
являются доверительными интервалами для А с доверительным
уровнем 1—а.
[Некоторая точка принадлежит критической области для Н(А),
если величину
Д)
п т
= | у—X — Д|
( т-+- п\ 7 .
превосходят по меньшей мере ( * J — к из величин | у —х—
—уА |, где (х'ъ ..., х'т, у{, . ,.,у„) получается перестановкой из
(огр ...» хт, уд), величина у определяется этой перестанов-
кой и | у | 1, Требуемый результат вытекает теперь из следую-
щего замечания. Если
(у — х — А)2 (у'— х'— уА)2
или, более общим образом, если (a —A)2<i (b— у А)2 при некоторых
я, Ъ и А = Ао, А = Ар то это же неравенство выполняется для
любого А между Ао и АР]
К разделу 9
24. Рассмотрим эксперимент со сходными парами для про-
верки эффекта обработки. Допустим, что наблюдаются только
разности 2г=Уг-—Х^ Предположим, что величины Z образуют
выборку из неизвестного непрерывного распределения, которое
при гипотезе отсутствия эффекта обработки является симметрич-
ным относительно начала координат. При альтернативных гипо-
тезах оно симметрично относительно точки £ > 0. Найдите крите-
рий, который в классе всех несмещенных критериев максимизирует
мощность при альтернативах: величины Z образуют выборку из
<т2) с £>0.
п
[При указанной гипотезе совокупность статистик (2 , ...
г=1
п
будет достаточной; так же, как в теореме 3, можно
показать, что она является полной. Дальнейшие рассуждения
следуют плану раздела 8.]
25. (I) Если Х1, ..., Уь ..., Уп — независимые нормально
распределенные величины с общей дисперсией о2 и средними
Е (Xi) — Е (Уг) = gf-|-A, то РНМ несмещенный критерий для
А —0 при альтернативе А>0 дается формулой (59).
(II) Найдите наиболее точные несмещенные доверительные
интервалы для А.
[(I) Структура задачи становится ясной, если произвести орто-
гональное преобразование х1 = (У^—Jj) ^2, Y' = (Л^-|-Уг-)/}^2.]
280
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
26. Сравнение двух планов эксперимента. В предположениях,
сделанных в начале раздела 9, можно провести следующее срав-
нение метода полной рандомизации и метода сходных пар. Эффекты
отдельных единиц и экспериментальные эффекты: Щ и Vi незави-
симы и распределены нормально с дисперсиями о?, о2 и средними
E(Uf) = [i и E(Vi), равным g или ц (в зависимости от того, соот-
ветствует ли Vi контрольной или обрабатываемой единице).
При полной рандомизации результатами наблюдений буд т
Xi — Ui-\-Vi (i— 1, ...,zi) —у контрольных единиц и =
-]-Ип+г (i = l, ..., п)— у обрабатываемых единиц, причем Е (Хг)) =
= |i + g, Е (Уг) = ц-|-ц. В методе сходных пар, если сходство пред-
положить идеальным, величины X будут такими же, как и раньше,
но Yi— Ui4-Vn+i. РНМ несмещенный критерий определяется фор-
мулой (27) в случае полной рандомизации и формулой (59) —
в методе сходных пар. Распределение соответствующей статистики
при альтернативе Д = ц — g будет нецентральным ^-распределением
с параметром нецентральности /пА// 2(о2+о|)и (2п — 2) степе-
нями свободы в первом случае, с параметром нецентральности
У^пД/У^Зо и (« — 1) степенью свободы —во втором. Таким обра-
зом, недостатком метода сходных пар является меньшее число сте-
пеней свободы, а преимуществом—больший параметр нецентраль-
ности. Для а —0,05 и Д —2 сравните мощность двух методов, как
функцию от п при <^=1, сг = 2 и при <^ = 2, сг= 1.
27. Продолжение. Другой способ сравнения двух планов
эксперимента — изучение средней длины наиболее точных несме-
щенных доверительных интервалов для Д = ц —g в каждом случае.
Проведите это сравнение при меняющемся п и коэффициенте дове-
рия 1 —а = 0,95 при cf± = 1, сг=2 и при оА = 2, о=1.
К разделу 10
28. Пусть критическая функция удовлетворяет (65), но не (67),
1 ГТ
и пусть а < — . Нижеследующая конструкция приводит к изме-
римой критической функции ср такой, что для нее выполняется
(67) и сро (z) < Ф (2) ПРИ всех Определим последовательности
функций ф2, ... и ф0, фр ... по индукции, с помощью соот-
ношений
Фт(г) = 3 ••• ЛГС1. т = 0, 1, ...
z'£S(z)
И
( фт-1 (2) + [а—Фт-1 («)]. если как фт_, (z), так
<pm(z)=l и ipm-Jz) меньше а,
I Фш-1 (2) в других случаях.
Функция ф (z) = lim фт (z) является искомой.
[Функции фт образуют неубывающую последовательность
и лежат между 0 и 1. Далее, как можно показать по индукции,
О <а—(z) < (1 — у)т[а — ф0 (z)J, где y = l/JV,! ... JVC!.]
12]
ЗАДАЧИ
281
29. Рассмотрим проблему проверки Н: т) —£ в семействе плот-
ностей (62), когда известно, что а>с>0и что точка (£и ’ • • * ’
(см. (63)) лежит в ограниченной области В, содержащей прямо-
угольник; при этом с и R считаются известными. Теорема 4 уже
неприменима. Однако несмещенность некоторого критерия ср для
проверки Н влечет (67) и тем самым редуцирует проблему к кри-
териям перестановок.
[Несмещенность влечет ср (z) pG (z) = а и, следовательно,
а= pG ^(z)dz =
=S ех₽ С "i’S s ]
при всех а>с и £ из R. Желаемый результат вытекает из пол-
ноты последнего семейства.]
30. Обобщим теорему 4 на другие планы эксперимента. Пусть
Z = (Z1T ..., ZN) и пусть G — {gif ...» gr} — группа перестановок
N координат, или, более общим образом, группа ортогональных
преобразований TV-мерного пространства. Если
где | z |2= то выполнение при всех а > 0 и всех t, неравенства
Ф (2) Ра % (z) dz^a влечет
~ 2 ф(г,Х^а почти всюду, (78)
z'£S(z)
где S (z) — множество точек TV-мерного пространства, получаемых
из точки z применением к ней всех преобразований Л — 1, ..., г.
31. Обобщение следствия 2. Пусть Н—класс плотностей (77)
со>0и —оо<£$<оо (г = 1, ..., TV). Полное семейство крите-
риев для Н с уровнем значимости а образуют все критерии пере-
становок , для которых J
— 2 ф(г') —а почти всюду. (79)
К разделу 11
32. (I) Если совместное распределение X и У представляет
собой двумерное нормальное распределение (70), то условное
распределение У при данном х также нормально с дисперсией
т2(1 —q2) и средним +(QT/a)(#~|).
282
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
(II) Пусть (Х1? Y 4), ..., (Хд, Yn) — выборка из двумерного нор-
мального распределения, и пусть R — выборочный коэффициент кор-
реляции и q = 0. Тогда условное распределение у/'п — 2В.1У i — В?
при данных ...,хп является ^-распре делением Стьюдента
с (п—2) степенями свободы (в предположении, что 2 (xi~^)2>0).
Таково же, следовательно, и безусловное распределение этой
статистики.
(III) Плотность вероятности для R равна
1 |«-2
р ю=-И---------------т (1—г2)2 . (80)
Г«г[-1(п-2)]
[(II) ЕслИР;=(:гг— —Х)2’ ТаК ЧТ0 2 и
2^=1, то исследуемую статистику можно представить в форме
______________________________
/2 [п-пу2-(2^Л/(п-2) '
Так как ее распределение зависит только от q, то мы можем
принять т] — 0, т=1. Желаемый результат получается из задачи 6,
если применить ортогональное_ преобразование (У1? ...,УП)
в (Zt, . ..,Zn) такое, что Z^^nY, Z2= 2 г^-Ур]
33. (I) Пусть Yi), ..., (Zn, Уд) —выборка из двумерного
нормального распределения (70). Пусть
^=2 J)2’ ^=2 5i2=2 №-*) (Yi-Y)-
Тогда существует РНМ несмещенный критерий для проверки
гипотезы т/а — Д. Соответствующая область принятия:
|Д2^-^| < с
V<J&S\ + 51)2- 4A2£22 ’
а плотность соответствующей статистики при истинности гипо-
тезы определяется по (80).
(II) В предположении Т —о существует РНМ несмещенный
критерий для проверки т) = ? с областью принятия
I у-х \tysi+si-si2 < с.
При умножении на надлежащую постоянную соответствующая
статистика при Л имеет ^-распределение Стьюдента с п — 1
степенью свободы (без предположения т = сг эта гипотеза является
специальным случаем гипотезы, рассмотренной в примере И
главы 7).
12]
ЗАДАЧИ
283
[(I) Преобразование U = ДХ+У, V = X— (1/Д) Y сводит задачу
к проверке гипотезы о равенстве нулю коэффициента корреляции
в двумерном нормальном распределении.
(II) Перейдите к новым переменным У^ = У^ — Xi4 =У$-|-Х$.]
34. Пусть (Хр yj, ...» (ХЛ, УЛ) —выборка из двумерного
нормального распределения (70) и пусть =
(I) Тогда статистики (5?, |У12, *^2) и (^> Y) независимый сов-
n—1
местное распределение у первых такое же, как У ( 2
1 *=1
2 2 yi2)’ где Y'l)' г = 1> ..., n — 1 —выборка из
1=1 1=1
нормального распределения (70) с £ — т)=0.
(II) Пусть Х1? ..Хт и У1} ..Ym — две выборки из N (0, 1).
Тогда совместная плотность для Sf = ^2=2^,
<S|= 2 Yi ₽авна
1 4 (т-3) Г 1 1
4лГ(т—1) ех₽ [ -2 (S? +S|) ]
при и нулю в других случаях.
(III) Совместная плотность статистик (Sf, S12l *S|) п. (I) равна
4(«-4)
____(ffii — $12)_ х
4лГ (п-2) (от
Г 1 <
xex₽L-271^)1^
^+4)] <81>
при sl2 и нулю в других случаях.
[(I) Произведите ортогональное преобразование Х£, . ..,ХП
в Х[, ..., Х'п такое, что Х^=]ЛпХ, и примените это же ортого-
нальное преобразование к У1? ...,УЛ. Тогда
^2== 3 ”3^= S {Xt-X^Yi-Y),
i=l г=1 г=1 г=1
п— 1 п __
2 у;2= 2 (у*~у)2-
1=1 г=1
Пары случайных величин (Х{, У[), ..., (Х^, Y'n) независимы
и имеют каждая двумерное нормальное распределение с теми же
284
НЕСМЕЩЕННОСТЬ. ПРИМЕНЕНИЯ
[гл. 5
дисперсиями и корреляцией, что и (X, У), и со средними Е (Х-) =
= Е(Уг)~ 0 при I = 1, ..., тг — 1.
(II) Рассмотрим сначала совместное распределение 6*12= xjY t
и *$2=2^1 при данных ...,хт. Положим Zl = Si2 / ]/"У
и произведем ортогональное преобразование Ур . ..,УШ
т т
в ... ,ZW. Тогда £1= 2 и случайные величины Z^ и 2
г=1 i=2
= $1 — Z? будут независимы и распределены по законам N (0, 1)
и Xm-i соответственно. Отсюда совместная условная плотность
величин Sl2 ~sZ{ и получается простой заменой переменных.
Так как это условное распределение зависит от х только через
то совместная плотность 6*?, 61 находится умножением указан-
ной условной плотности на частную плотность величины б*?, кото-
рая равна Доказательство завершается применением тождества
(III) Если (X', У') — (Xi, У£; Х^, Ут) —выборка из дву-
мерного нормального распределения с g = -q = O, то статистика
7’= (2 2 2 Достаточда для 0 = (о', р, т) и плот-
ность Т находится по данной в п. (II) для 0О— (1, 0, 1) с помощью
тождества (см. задачу 10 (I) в главе 3)
Требуемый результат получается теперь из ri. (I) при т = п — 1.]
35. Если (Х1} У4), ..., (Хп, Уп) — выборка из двумерного нор-
мального распределения, то плотность вероятности выборочного
коэффициента коррреляции R равна *)
9П-3 -^(п-1) 4(^-4)
d-'2)2 х
ОО "
х2Г2[|(«+*-1)] w
fe=0
*) Эта плотность и соответствующая функция распределения
табулированы у David, Tables of the Correlation Coefficient,
Cambridge Univ. Press, 1938,
12]
ЗАДАЧИ
285
или, что то же самое,
Другая форма получается при замене переменных t —
= (1 — у)/(1 —pry) в интеграле правой части (83). Интеграл прини-
мает вид
------!-----1 ° У 2 Г1—i-»(i + er)i 2*>. (S4)
• /2" L J
Разлагая последний множитель по степеням г, получаем для
плотности выражение
11 3
5^-4)(1_егГ+-2х
/2Я г0Ч)
X/Y-I-; п-|; (85)
где
СО Г(а+7)Г(6+7) Г (с)
F (а, Ъ, с, х) = Г («) г (*) Г (с+/) >!
3=0
— гипергеометрическая функция.
[Чтобы получить первое выражение, произведите преобразо-
вание статистики (б*!, 8%, 812) с плотностью (81) в (J'J, 81, R)
и разложите множитель {ps12/(l— р2) от} = ехр {prsj^/^l —р2) пт}
в степенной ряд. Получающийся ряд можно проинтегрировать
почленно по переменным и Эквивалентность со вторым выра-
жением усматривается из разложения множителя (1 —
под интегралом (83) и почленного интегрирования образующегося
ряда.]
36. Если X и У имеют двумерное нормальное распределение
с коэффициентом корреляции р > 0, то они положительно зависимы
в смысле раздела 11.
[Условное распределение У при данном х нормально со средним
ц + рта-1 (х — £) и дисперсией т2 (1 — р2). При добавлении к слу-
чайной величине с таким распределением положительного числа
pro-1 (х' — х) она превращается в случайную величину с распре-
делением, равным условному распределению У при данном х' > х.1
286
НЕСМЕЩЁННОСТЬ. ПРИМЕНЕНИЯ
(гл. 5
13. Литературные ссылки
Басу (Basu D.)
(1955) On statistics independent of a complete sufficient stati-
stic, Sankhya, vol. 15, 377—380. [Теорема 2.]
Гиршик (Girshick M. A.)
(1946) Contribution to the theory of sequential analysis I, Ann.
Math. Stat., vol. 17, 123—143. [Задача 8.]
Леман (Lehmann E. L.)
(1947) On optimum tests of composite hypothesis with one con-
straint, Ann. Math. Stat., vol. 18, 473—494. [Определяются наи-
лучшие подобные области для некоторых задач, включая задачу 12.]
Леман и Стейн (Lehmann Е. L. and Stein С.)
(1949) On the theory of some non — parametric hypotheses, Ann.
Math. Stat., vol. 20, 28—45. [Изложена теория оптимальных крите-
риев перестановок.]
Морган (Morgan W. А).
(1939) A test for the significance of the difference between the
two variances in a sample from a normal bivariate population, Bio-
metrika, vol. 31, 13—19. [Задача 33(1).]
Нейман (Neyman J.)
(1938) On statistics the distribution of which is independent of
the parameters involved in the original probability law of the obser-
ved variables, Stat. Res. Mem., vol. II, 58—59. [Теорема 2 при неко-
торых предположениях регулярности.]
Паулсон (Paulson Е.)
(1941) On certain likelihood ratio tests associated with the expo-
nential distribution, Ann. Math. Stat., vol. 12, 301—306. [Рассма-
тривается мощность критериев задачи 12.]
Питмен (Pitman Е. I. G.)
(1937/38) Significance tests which may be applied to samples
from any populations, I. Roy. Stat. Soc. Suppl., vol. 4, 119—130,
225—232, and Biometrika, vol. 29, 322—335. [Изложена теория ран-
домизированных критериев с большим числом применений.]
(1939) A note on normal correlation, Biometrika, vol. 31, 9—12.
[Задача 33 (I).]
Стейн (Stein C.)
(1945) A two — sample test for a linear hypotheses whose power
is independent of the variance, Ann. Math. Stat., vol. 16, 243—
258. [Задачи 15—17.]
Стьюдент (Student (G osset W. S.))
(1908) On the probable error of a mean, Biometrika, vol. 6,
1—25. [Получено распределение ^-статистики при распределен-
ных по закону N (0, о2). Строгое доказательство было дано в ра-
боте: R. A. Fisher, Note on Dr. Burnside’s recent paper on error
of observation, Proc. Camb. Phil. Soc., vol. 21 (1923) 655—658].
13]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
287
Сюй (Hsu С. Т.)
(1940) On samples from a normal bivariate population, Ann.
Math. Stat., vol. 11, 410—426. [Задача 33 (II).]
Фишер (Fisher R. A.)
(1915) Frequence distribution of the values of the correlation
coefficient in samples from an indefinitely large population, Biome-
trika, vol. 10, 507—521. [Получено распределение выборочного
коэффициента корреляции для двумерного нормального распреде-
ления. ]
(1931) Properties of the [Hh] functions, Brit. Assoc. Math. Tab-
les, vol. 1. (3 rd ed., 1951, XXVIII—XXXVII). [Вывод нецентраль-
ного ^-распределения.]
(1935) The Design of Experiments, Edinburgh, Oliver and Boyd.
[Содержит основные идеи, касающиеся критерия перестановок.
В частности, отмечается, каким образом может быть использована
рандомизация, и предлагается связанный с перестановками вариант
^-критерия, как не требующий предположения нормальности.]
Хельмерт (Helm er t F. R.)
(1876) Die Genauigkeit der Formel von Peters zur Berechnung
des wahrscheinlichen Beobachtungsfehlers direkter Beobachtungen
gleicher Genauigkeit, Astron. Nachrichten, vol. 88, No. 2096—97,
113—132. [Получено распределение — -^)2? гДе величины X
независимы и распределены по нормальному закону.]
Чепмен (Chapman D. G.)
(1950) Some two—sample tests, Ann. Math. Stat., vol. 21,
601—606. [Задачи 15—17 распространяются на случай сравнения
двух средних.]
ГЛАВА 6
ИНВАРИАНТНОСТЬ
1. Симметрия и инвариантность
Многие статистические задачи обладают симметрией,
приводящей к естественным ограничениям на статисти-
ческие процедуры, которые следует использовать. Пред-
положим, например, что Xi, . . . , Хп — независимые слу-
чайные величины с плотностями распределения вероятно-
стей р01 (а^), . . . , (хп) соответственно. При проверке
гипотезы Я: 0Х = . . .= 0П при альтернативе, состоя-
щей в том, что не все 9 равны, естественно ограничиться
рассмотрением только критериев, симметричных относи-
тельно значений х±1 . . . , хп, поскольку в противном слу-
чае принятие или отклонение той или иной гипотезы зави-
село бы (что совершенно не относится к делу) от нумера-
ции этих переменных.
В качестве другого примера рассмотрим круговую
мишень с центром в точке О, на которой отмечены следы
от попаданий выстрелов. Предположим, что выстрелы
совершаются независимо и рассеяние их попаданий харак-
теризуется двумерным нормальным распределением
с центром в точке О, В задаче проверки круговой симметрии
этого распределения относительно точки О представляется
естественным ограничиться рассмотрением критериев, так-
же обладающих подобной симметрией. В противном слу-
чае принятие или отклонение гипотез зависело бы от вы-
бора необходимой для описания критерия двумерной
системы координат (скажем, декартовой), которая при
сделанных предположениях совершенно произвольна
и не имеет никакого отношения к рассматриваемой
проблеме.
1]
СИММЕТРИЯ И ИНВАРИАНТНОСТЬ
289
Математическим выражением симметрии является инва-
риантность относительно подходящей группы преобра-
зований. В первом из рассмотренных выше двух примеров
такой группой является группа всех перестановок вели-
чин хг, . . . , хп, поскольку функция от п переменных сим-
метрична тогда и только тогда, когда она остается инва-
риантной при всевозможных перестановках этих перемен-
ных. Во втором примере круговая симметрия относительно
точки О эквивалентна инвариантности относительно вра-
щений около этой точки.
Вообще, пусть случайная величина X имеет распреде-
ление вероятностей Р0, 0 g й и пусть g — преобразова-
ние выборочного пространства Я*. Все такие преобразо-
вания, рассматриваемые в связи с инвариантностью, будут
предполагаться взаимно однозначными отображениями &
на себя. Обозначим через gX случайную величину, при-
нимающую значения gx при X ~ х, и предположим, что,
когда распределение X есть Р0, 0 g Q, распределение
величины gX равно Pq> с 0', также принадлежащим Q.
Элемент 0' g й, связанный с 0 указанным образом, будет
обозначаться g0, так что
P0{gX^A} = P-gfj{X^A}. (1)
Индекс 0 в левой части равенства (1) указывает на рас-
пределение случайной величины X, а не gX. Равенство (1)
может быть переписано в виде Pq (g"M) — P^q (Л), так что
P-№(gA) = P0(A). (2)
Параметрическое множество Q остается инвариантным
относительно преобразования g (или сохраняется при g),
если g0g£2 для всех 0g Й и если, дополнительно, для
каждого 0х gQ существует 0gQ такое, что g0 = 0'. Эти
два условия можно выразить в форме равенства
gQ-Q. (3)
Определенное таким образом преобразование g множества
й на себя взаимно однозначно, если только распре-
деления Р0, соответствующие различным значениям 0,
различны. В самом деле, пусть g0i = g02- Тогда
19 э. Леман
290
ИНВАРИАНТНОСТЬ
[гл. 6
pg01(^) =pge2(^) и поэтому Рв1 (Л) = Р02 (А) для всех
Л, так что 01 = 02.
Лемма 1. Пусть g и g'— два преобразования, сох-
раняющие Q. Тогда преобразования g'g и g-1, определен-
ные формулами
(g'g) x = g' (gx) и g (g~lx) = x ПРИ Bcex x g .Г,
также сохраняют Q и удовлетворяют соотношениям
Ts = g'g и (g4) = (g)"1. (4)
Доказательство. Если распределение случайной
величины X есть Pq, так что распределение gX равно Р-&
то распределением величины g'gX = g' (gX) является Pg>.gQ-
Этим устанавливается первое из соотношений (4); дока-
зательство второго проводится аналогично.
Мы будем говорить, что задача проверки гипотезы
при альтернативе остается инва-
риантной относительно преобразования g, если g сохра-
няет пространства Q# и Q#, т. е. если в дополнение
к (3) выполнено соотношение
gOn = (5)
Пусть $ —класс преобразований, удовлетворяющий этим
двум условиям, и пусть G будет наименьший класс пре-
образований, содержащий и такой, что из g, g'$G
следует, что g'g и g1 принадлежит G. Тогда G есть
группа преобразований, каждое из которых, согласно
лемме 1, сохраняет Q и Q#. Поэтому любой класс пре-
образований оставляющий проблему инвариантной,
может быть расширен до группы G. Из леммы 1 также
следует, что класс индуцированных преобразований g
образует группу, скажем, G. Соотношения (4) выражают
тот факт, что G гомоморфно группе G.
При наличии симметрии выборочного и параметри-
ческих пространств, выраженной группами G и G, есте-
ственно ограничиться рассмотрением только симметрич-
ных критериев, т. е. критериев, удовлетворяющих
соотношению
ф(^) = ф(я) Для всех х£Х п g£G. (6)
2]
МАКСИМАЛЬНЫЕ ИНВАРИАНТЫ
291
Критерий ф, удовлетворяющий (6), называется инва-
риантным относительно группы G. Ограничения инва-
риантными критериями есть частный случай применения
принципа инвариантности, сформулированного в разделе 5
главы 1, где, равно как и в приведенных ранее приме-
рах, было указано, что преобразование g может быть
интерпретировано как замена системы координат. С этой
точки зрения, критерий будет инвариантным, если он
не зависит от выбора частной системы координат, служа-
щей для выражения результатов наблюдений.
Чтобы проблема оставалась инвариантной, преобра-
зование g необходимо должно сохранять и класс & изме-
римых множеств, на которых определены распределе-
ния PQ. Это означает, что каждое множество
преобразуется в множество же из # и является образом
такого же множества, т. е. что gA и gxA оба принад-
лежат «#. Каждое преобразование, удовлетворяющее этим
условиям, называется биизмеримым. Поскольку группа
вместе с каждым элементом g содержит также и g"1,
то все ее элементы автоматически биизмеримы, если
каждый из них измерим. Если gf и g биизмеримы, то
таковы же g'g и g"1. Элементы группы G, порожденной
классом преобразований $ указанным выше способом,
будут все биизмеримыми, если только таковыми являются
преобразования из %.
2. Максимальные инварианты
Если задача проверки гипотез остается инвариантной
относительно некоторой группы преобразований, то при-
менение принципа инвариантности приводит к рассмотре-
нию инвариантных критериев. Чтобы выбрать среди них
наилучший, удобно сначала охарактеризовать совокуп-
ность всех инвариантных критериев.
Две точки ^i, х2 будут рассматриваться как экви-
валентные относительно группы G,
~Mm°d G),
если существует преобразование g g G, для которого
^2 = g^i. Определенное так отношение действительно
является отношением эквивалентности, поскольку G есть
19*
292
ИНВАРИАНТНОСТЬ
[гл. 6
группа, и поэтому множества эквивалентных точек,
траекторий G, образуют разбиение выборочного про-
странства (см. Дополнение, раздел 1). Точка х пробегает
траекторию, когда к ней применяются все преобразова-
ния g из G; это означает, что траектория, содержащая
точку, состоит из всех точек gx cg£G. Из определения
инвариантности следует, что каждая функция инва-
риантна тогда и только тогда, когда она постоянна
на каждой траектории.
Функция Т называется максимальным инвариантом,
если она инвариантна и если выполняется условие:
из Т (xt) = Т (х2) следует, что х2 = gxr,
для некоторого g£G, (7)
т. е. если она постоянна на каждой траектории и на
различных траекториях принимает различные значения.
Все максимальные инварианты эквивалентны в том
смысле, что множества точек, где они постоянны, со-
впадают.
Теорема 1. Пусть Т (х) — максимальный инвариант
относительно группы G. Тогда необходимое и достаточное
условие для инвариантности функции ф состоит в том,
чтобы ф зависело от х только через Т (х), т. е. чтобы
существовала функция h такая, что q (х) = h (Т (х)) для
всех х.
Доказательство. Если ф (х) — h [Г (я)] для всех х,
тогда ф (gx) = h [7 (g#)] — h [7(;r)] = Ф (х), т. е. ф инва-
риантна. С другой стороны, если ф инвариантна и если
Т (xi) = Т(х2), тогда x2 = gxi для некоторой g и поэтому
ф(ж2) = ф(\).
Пример 1. (I) Пусть х — (х1, . ..,а?п) и пусть G — группа
сдвигов
(х^-с, ..., —оо<с<оо.
Тогда множество разностей y = (xi— хп, ..., xn-i—хп) инвариант-
но относительно G. Чтобы показать, что функция у в то же время
есть и максимальный инвариант, предположим, что Xf—%п —
= x'i~х'г для t = l, ..., тг —1. Полагая х'п—хп = с, видим, что
х'—х^с для всех i, что и нужно было показать. Функция у
является, конечно, только одним из примеров представления
максимального инварианта. В качестве других можно указать
на функцию (а?! — х2, х2—, хп_}~хп) или (х^-х, ...,хп~х).
2]
МАКСИМАЛЬНЫЕ ИНВАРИАНТЫ
293
В частном случае, когда п=Л, не существует нетривиальных
инвариантных функций. Все пространство состоит из одной траек-
тории, так что любые две точки преобразованием из G могут
быть переведены одна в другую. В таком случае группа пре
образований называется транзитивной. Инвариантными функ
циями могут быть только константы ф {х) = с.
(II) Если G есть группа преобразований
^3? •— (СЗ?^, • • •, О,
то специальную роль играет начало координат. Однако в стати-
стических приложениях множество точек, отличных от начала
координат, имеет меру единица, поэтому можно ограничиться
рассмотрением только этой части выборочного пространства
и тогда множество отношений х^хп^ ..., хп^/хп будет макси-
мальным инвариантом. Без этого ограничения, две точки х, х*
эквивалентны относительно максимального инвариантного раз-
биения, если среди их координат имеется одно и то же число
нулевых координат (при условии, что таковые вообще имеются),
если они стоят на одном и том же месте и если для каждых
двух ненулевых координат хъ xj отношения xj/xf и х'-/х\ равны.
(III) Пусть х = {х^ ..., яп) и пусть G —группа всех ортого-
нальных преобразований х* = Га; w-мерного пространства. Тогда
функция 2 х\ является максимальным инвариантом, т. е. две
точки х и х* могут быть переведены одна в другую ортогональ-
ным преобразованием в том и только в том случае, когда они
находятся на одинаковых расстояниях от начала координат.
Доказательство этого получается немедленно, если ограничить-
ся рассмотрением плоскости, содержащей точки х, ж* и начало
координат.
1Гр’имер 2. Пусть х~{х^ ...,хп) и G — множество из nl
перестановок координат х. Тогда множество упорядоченных коор-
динат {порядковых статистик) #<П) является макси-
мальным инвариантом. Перестановка координат xt не изменяет,
очевидно, множества значений координат и поэтому не изменяет
величин х&>. С другой стороны, две точки с одними и теми же
значениями порядковых статистик могут быть получены одна
из другой перестановкой координат.
Пример 3. Пусть G — совокупность преобразований х\ =
= f(xi)i i = l, ..., п, таких, что / непрерывна и строго возра-
стает, и предположим, что мы рассматриваем только точки,
у которых все координаты различны. Если координаты рассма-
тривать как п точек на действительной прямой, то указанное
преобразование сохраняет их порядок. Обратно, если х^ хп
и х{, ..., х'п — две точки с одним и тем же порядком, скажем
х^ < * • • < xin и < ... < x'in, то существует преобразование /
удовлетворяющее сформулированным условиям, и такое, что для
всех i x\ — f{x^. Например, такую функцию можно определить,
положив / (ж)=®+(^1 —Ж41) для x<xix, /(®)=ж+(®-п—
294
ИНВАРИАНТНОСТЬ
[гл. 6
длях^х-п и сделав ее линейной между значениями х^ и жгд+1’
Л = 1, . ..,n—1. Формальным выражением для максимального
инварианта в этом случае служит множество рангов (г4, гп)
вектора (rq, хп). Здесь ранг величины определяется
посредством соотношения
Х}—Х
так что гг- есть число координат x^xi. В частности, г$ = 1, если
xi есть самая наименьшая из координат г^ = 2, если —вторая
наименьшая координата, и т. д.
Часто оказывается удобным получать максимальные
инварианты в несколько этапов, на каждом шагу находя
их для подгрупп группы С. Чтобы проиллюстрировать
этот процесс и трудности, которые могут встретиться
в его применении, положим х = ..., хп) и допустим,
что все координаты xt различны и группа задается пре-
образованием
gz = а #= О, — оо<&<оо.
Применяя сначала подгруппу сдвигов х\ = xt + &,
найдем, что максимальный инвариант есть функция
У = (?/i, • •, Уп-i) с уi = xi — хп. Другая подгруппа состоит
в умножении на скалярный множитель х'1 = ах^ Это пре-
образование индуцирует соответствующее умножение
на множитель для у\ — пуь и максимальным инва-
риантом относительно такого преобразования простран-
ства yk является функция 2 = (z1? ..., zn_2) с = ydy^.
Откуда, в терминах xh получим, что функции =
— (Xf — xn)Kxn-i — хп) являются максимальным инвариан-
том относительно группы G.
Предположим сейчас, что этот процесс производится
в другом порядке. Применяя сначала подгруппу x’i = axi,
получаем максимальный инвариант и = (ui, ..., ип)
с Ui = Xi/xn. Однако преобразования x'i = Xi + b не инду-
цируют преобразования в u-пространстве, поскольку
(Xi 4-Ь)/(жЛ + Ь) не является функцией от xi!xn.
Вообще, пусть группа преобразований G порождена
двумя подгруппами D и Е в том смысле, что она
является наименьшей группой, содержащей D и Е.
Тогда G состоит из множества произведений emdm ...
3] НАИБОЛЕЕ МОЩНЫЕ ИНВАРИАНТНЫЕ КРИТЕРИИ 295
m —1, 2, ..., df^D, et£E (i = l, . ^Следующая
теорема показывает, что всякий раз, когда процесс
нахождения максимальных инвариантов в несколько эта-
пов вообще можно провести, он всегда приводит к макси-
мальным инвариантам относительно группы G.
Теорема 2. Пусть G — группа преобразований и
пусть D и Е —подгруппы, порождающие G. Предположим,
что у = s (х) — максимальный инвариант относительно
группы D и для каждого е£Е выполняется условие
s (rrt) = s (z2) влечет s {ех^ = 5 (ея2). (8)
Если z~t(y) есть максимальный инвариант относительно
группы Е*, состоящей из элементов е* таких, что
e*y — s(ex), когда y = s{x), то z = £[$(#)] является макси-
мальным инвариантом относительно группы G.
Доказательство. Чтобы показать, что функция
t [5 (я)] инвариантна, возьмем х' = gx, g — emdm ...
Тогда
* [S (ж')] = t [s (erodni ... CidiX)] = t [e^s(dm ... е^х)] =
= t [« . erfix)],
и по индукции последнее выражение можно свести
к £[$(#)]. Теперь, чтобы показать, что функция t [5 (ж)]
в действительности является максимальным инвариантом,
предположим, что (я')] = t [5 (ж)]. Полагая y'~s{x),
y = s(x), получим t{y') = t{y) и поскольку /(г/) —макси-
мальный инвариант относительно Е*, то существует е*
такое, что у' =.е*у. Тогда s{xf) = e*s {х) = s {ex) и, в силу
того, что функция 5 {х) — максимальный инвариант отно-
сительно D, существует d^D такое, что х' — dex. Но
так как de есть элемент G, то это и завершает докйзд-L
тельство.
] nV. г. . • Л 1V,) (j\ /
3. Наиболее мощные инвариантные критерии
Класс всех инвариа^т^.’.фу^едй^о^
чен как совокупцостьфунвдий дт максимальн^Ео^нварианпп
та Т(х). Прэ^му^в ч^таосвд, jtnaqc дср^, д^рар^дтр^,,
критериев едвпа^т ро
—zi.mTi.ii,iiqг. 1..и умогсоН Л/. в»говглв мот1н;1кр;нш1 i/Mihii »л/
-гия/,1 .НТ) H-Hiquiuq,!
.iinq»ruq;j йиитибн<р-;ииti I/ЛГI JdOtu/i ~ id!4jq«'->r -5;д
296
ИНВАРИАНТНОСТЬ
[гл. 6
только от максимальной инвариантной статистики Т(х).
Это замечание, будучи справедливым во всех обычных
ситуациях, требует некоторых ограничений на класс
измеримых множеств в /'-пространстве, которые будут
обсуждены в конце настоящего раздела; в приводимых
ниже примерах они выполняются.
Пример 4. Пусть X = (ХЬ ..., Хп). Предположим, что
плотность случайной величины X при гипотезе Н^(^ = 0, 1) равна
/г (^1 —0, ..., —0), где 0 изменяется от — оо до со. Задача
проверки гипотезы Но при альтернативе Hi инвариантна относи-
тельно группы (G) преобразований
= ..., —со<^с<^со,
которая в параметрическом пространстве индуцирует преобразо-
вания
£0=0-Н-
Согласно примеру 1, максимальным инвариантом относительно
группы G является функция У = (Х1 —ХП1 ..., Хп^ — Хп). Рас-,
пределение Y не зависит от 6 и при гипотезе Н* имеет плотностьJ
00
ft (У1+«, • • •> Уп-1+ъ «) dz.
—ОО
Если рассматривать случайную величину Y, то проблема проверки
гипотезы HQ при альтернативе превращается в задачу про-
верки простой гипотезы при простой альтернативе. Наиболее
мощный критерий тогда не зависит от 0 и поэтому является РНМ
среди всех инвариантных критериев. Согласно лемме Неймана-
Пирсона гипотеза Но отвергается, если
f(7i,tol + 2> •••> Уп-1+2. 5 ^(Xi+u, xn + u)du
оо со
J /о(У1+г. •••» Уп-1+2. 2)* 5 foiXi+u, xn+u)du
-оо ПШрТШр! х -оо
Пример 5. Если Ха. . — выборка из нормального
раЙНУ^деЙййй о0 остается инвариант-
в терминах
eWWcffi W, преобразова-
мальным инвариантом является №. Поэтому классоянвариантных-
критериев есть класс критериенщй^оцщдх,ют йдс^к^е^ует
из теоремы 2 главы 3t существует РНМ инвариантный критерий,
3] НАИБОЛЕЕ МОЩНЫЕ ИНВАРИАНТНЫЕ КРИТЕРИИ 297
отклоняющий гипотезу Яо, когда 2 —-Г)2<С. Этот критерий
совпадает с РНМ несмещенным критерием (9) из главы 5.
Пример 6. Если -Гр Хт и Ylt ..., Yn—выборки
из двух нормальных распределений N (£, о2) и N (ц, т2), то мно-
жество достаточных статистик состоит из 1\=Х, T2 = Y,
= (Xi — -Г)2, Т4 = 1^2 (Yi — Y2). Задача проверки гипотезы
Н: т2/а2<Д0 остается инвариантной при преобразованиях =
= Т1+с1, Т'2~Т2-[-с2, Т'3 — Т3, — —оо<ср с2<оо, а также
относительно умножения на одно и то же число всех четырех
величин. Максимальным инвариантом относительно первой группы
преобразований является функция (Т3, Т4). В пространстве значе-
ний этой функции группа умножений на числа индуцирует пре-
образования Т3~сТ3, — 0<с, относительно которых
максимальным инвариантом будет отношение Т4/Т3. Статистика
Z — TU(n — 1): ТЦ(т— 1), поделенная на Д = т2/о’2, имеет распре-
деление F с плотностью, задаваемой формулой (21) главы 5, так
что плотность
распределения вероятностей величины Z равна
| (п-З)
С(Д)г2__________
z ге_1 4<m+n-2>
и+;^-гг)
z > 0.
Это семейство плотностей, зависящее от параметра А, является
семейством с монотонным отношением правдоподобия; таким
образом, среди всех критериев для проверки гипотезы Я, осно-
ванных на статистике Z, а следовательно, и среди всех инвариант-
ных критериев, существует РНМ с критической областью Z>C.
Этот критерий совпадает с РНМ несмещенным критерием (20)
главы 5.
Пример 7. В методе попарных сравнений, применяемом
для выяснения эффективности какого-либо способа обработки,
экспериментальный материал состоит из п пар субъектов.
Из каждой пары случайным образом выделяется для обработки
один субъект, тогда как второй служит для контроля. Пусть
Xi равно 1 или 0 в зависимости от того, говорит ли результат
эксперимента с г-й парой в пользу субъекта, подвергшегося обра-
ботке или в пользу контрольного; пусть pi = P{Xi = l}. Рассмо-
трим гипотезу Н об отсутствии эффекта обработки, т. е. о том,
что Pi — 1^, i — 1, ..., п, при альтернативе, состоящей в том, что
для всех i pi^>i/2.
Эта задача остается инвариантной относительно всех пере-
становок п величин Х^ ...,Хп, и максимальным инвариантом
относительно этой группы является функция, равная суммарному
числу успехов X=Xt+ ,..-\-Хп. Распределение X задается фор-
мулой
Р{Х=Л} = д1 ... V1---4х’ -
298
ИНВАРИАНТНОСТЬ
[гл. в
где дг==1 — Pi и где суммирование распространено по всем
наборам индексов г\<... < г\. Наиболее мощный инвариантный
критерий при альтернативной гипотезе (/>{, отвергает Я,
когда
1 V ^il Pik > с
ш z " ч > ’
Чтобы показать, что f (к) есть возрастающая функция от к, заме-
тим, что = и что
2 3 • • • %=(*+!) 2 ач • • • %+1
и
2 2% ••• %=(”-*) 2% ••• %•
Здесь в обоих равенствах второе суммирование в левых частях
распространено по всем индексам q < ... < из которых ни
один не равен /, а суммирование в правых частях производится
соответственно по всем ц < ... < /д и ц < ... < без всяких
ограничений. Тогда
' “+” ” dos =" 4 >
> JL V а ... а =/(Л),
(h) 1 h
что и надо было показать. Поэтому независимо от выбранной
альтернативы критерий отвергает гипотезу Я, когда к > С, и,
следовательно, является РНМ инвариантным критерием.
Если i-му сравнению приписать знак плюс при равном 1,
и минус, при Xi, равном 0, то, как легко видеть, этот критерий
превращается в критерий . знаков (см. пример 8 главы 3 и раз-
дел 7 главы 4).
Достаточные статистики упрощают задачу посредством
редукции выборочного пространства, причем этот про-
цесс не изменяет параметрического пространства. С дру-
гой стороны, инвариантность путем редуцирования дан-
ных к максимально инвариантной статистике Т (распре-
деление которой может зависеть только от некоторой
функции от параметра) обычно сокращает также и пара-
метрическое пространство. Точные утверждения содер-
жатся в следующей теореме.
3]
НАИБОЛЕЕ МОЩНЫЕ ИНВАРИАНТНЫЕ КРИТЕРИИ 299
Теорема 3. Если функция Т (х) инвариантна отно-
сительно группы преобразований G и если является
максимальным инвариантом относительно индуцирован-
ной группы G, то распределение Т (X) зависит только
от у(0).
Д_о казательство. Пусть v (0А) = v (02). Тогда
02= g0i, и, следовательно,
PQl{T(X)£B} = P^T(gX)£B} =
=р-в1 {Т (X) е В} = Р0а {Т (X) е 5}.
Этот результат можно перефразировать, сказав, что
принцип инвариантности идентифицирует все параметри-
ческие точки, эквивалентные относительно преобразо-
ваний G.
В приложениях, например в примерах 5 и 6, макси-
мальные инварианты Т(х) и S = v(0) относительно G
и G, часто оказываются действительными функциями,
а семейство вероятностных плотностей Рб(О величины Т
имеет монотонное отношение правдоподобия. Тогда при
проверке гипотезы Я: 6<б0 среди всех критериев, зави-
сящих только от Т, существует РНМ, который, следо-
вательно, является РНМ инвариантным критерием. При
этом гипотеза Н отвергается, если t^C, где
00
j Рдо (0 dt = а. (9)
С
Рассмотрим теперь эту проблему как задачу с двумя
решениями d0 и dt, соответствующими принятию или
отклонению гипотезы Н, и с функцией потерь L(0, dt)~
= Li(O). Предположим, что £,(0) зависит только от пара-
метра 6, скажем, пусть (0) = (д) и пусть
L'.(S)—Z'(S) 0, когда S^60.
(10)
В таком случае, из теоремы 3 главы 3 следует, что
семейству критических областей />С(а), при изменении
а от 0 до 1 соответствует семейство решающих процедур
полное относительно класса процедур, зависящих только
300
ИНВАРИАНТНОСТЬ
[гл. 6
от t, т. е. полное семейство инвариантных процедур.
При этом, как и раньше, выбор частных значений уровня
значимости а можно рассматривать как удобный способ
выделения критериев из этого семейства.
В начале данного раздела было установлено, что
класс всех инвариантных критериев совпадает с классом
критериев, основанных на статистике Т — Т(Х), явля-
ющейся максимальным инвариантом. Однако указанием
некоторой функции статистика полностью не опреде-
ляется, поскольку требуется также указать класс $
измеримых множеств. Если в рассматриваемом случае
есть класс всех множеств 5, для которых
то класс всех инвариантных критериев совпадает с клас-
сом критериев, основанных на статике Т. Действительно,
пусть <р (х) == ф [Т (#)], ср — ^-измерима и С — борелевское
множество на числовой прямой. Тогда ф"1(С) =
~ 71”1 [ф^1 (С)] g и, следовательно, ф"1^) так что
ф ^-измерима и ф(^) = ф[Г (ж)] является критерием,
основанным на статике Т.
В большинстве приложений Т (х) является измеримой
функцией со значениями в евклидовом пространстве.
Поэтому удобно в качестве системы SS множеств взять
здесь класс всех борелевских множеств. Тогда если ф (х) =
= ф[7'(ж)] —произвольная измеримая функция, зави-
сящая только от Т (х), то неясно, будет ли ф(£) необ-
ходимо ^-измеримой. Факт измеримости можно уста-
новить, если предположить, что также евклидово
пространство, <# —класс борелевских множеств и что
область Т — борелевское множество. Мы сейчас установим
этот факт при одном дополнительном предположении
(которое в применениях обычно очевидным образом
выполняется и которое поэтому в дальнейшем не будет
проверяться в каждом отдельном случае), что существует
измеримая по Борелю векторная функция Y (х) такая,
что [Т (х), Y (я)] отображает пространство в борелев-
ское подмножество пространства УхЗ/, что это ото-
бражение взаимно однозначно и что обратное отображе-
ние также является измеримым по Борелю. Тогда для
каждой измеримой функции ф от х существует измери-
мая функция ф' от (£, у) такая, что ф (гг) = ф' {Т (х), Y (ж)].
Если ф зависит только от Т (х), то функция ф' зависит
4]
ВЫБОРОЧНЫЙ КОНТРОЛЬ
301
только от /, т. е. ф' (/, у) = ф (£), где ф есть измеримая
функция от t *). Так, в примере 1 (I), где х — (х1ч ..., хп)
иТ (х) = (Х1--хп, ..., хп), в качестве функции Y (х)
можно взять Y(x) = xn.
4. Выборочный контроль по количественному признаку
Из партии некоторых изделий производится выборка
с целью решения вопроса о том, является ли качество этой
партии приемлемым. В простейшем случае каждое изде-
лие классифицируется непосредственно как годное или
негодное (контроль по качественному признаку), и реше-
ние выносится на основе суммарного числа дефектных
изделий. В более общих случаях качество изделия харак-
теризуется случайной величиной У (контроль по количе-
ственному признаку) и изделие считается годным, если У
превышает заданную константу и. Тогда вероятность того,
что изделие дефектно, равна
p = P{Y<u},
и задача состоит в том, чтобы проверить гипотезу Н: р~> pQ.
Как было показано в примере 8 главы 3, конкретные
значения У нельзя использовать для проверки этой гипо-
тезы, если ничего не известно о распределении У. В отсут-
ствие подобной информации решение, как и раньше, будет
приниматься просто по числу дефектных изделий в выбор-
ке. Мы рассмотрим сейчас эту задачу в предположении,
что величины У1? . . . , Уп образуют выборку из нормаль-
ного распределения N (ц, о2).
Тогда
—оо
где
у
ф(?)= S
*) Последнее утверждение немедленно следует, например,
из теоремы 2 § 34 книги П. Хал моша, Теория меры, ИЛ, 1953.
302
ЙЙЁАРЙАЙТЙОСТЬ
(ГЛ. 6
обозначает функцию распределения стандартного нор-
мального распределения, и гипотеза И эквивалентна
тому, что (и — ц)/о > Ф1 (р0). В терминах переменных
Хг- = У^ —м, имеющих среднее £ —ц — и и дисперсию а2,
исходная задача сводится к проверке гипотезы
//: g/a<0o,
с 0о= — Ф'Чро). Необходимость проверки этой гипотезы,
которая для случая 0О = 0 была рассмотрена в разделе 2
главы 5, возникает также и в других случаях. К подоб-
ной задаче приходят, например, когда интересуются
средним £ нормального распределения, выраженным
в единицах стандартного отклонения, а не в единицах
фиксированной шкалы.
Для проверки гипотезы Н можно ограничиться рас-
смотрением пары величин X, 5 = Vs (Xi — X)2, поскольку
они образуют множество достаточных статистик для
(£, а). Эти случайные величины независимы, распреде-
ление X совпадает с нормальным ДГ(£, а2/п), а распре-
деление 5/о есть Хп_граспределение. Умножение X и 5
на общий множитель с > 0 преобразует параметры
в Б' ~с%, о'= со, так что отношение £/а, а следовательно,
и задача проверки гипотезы Н остаются инвариантными.
Относительно этих преобразований максимальным инва-
риантом является функция x/s или
t=z Уп X
sty п — 1
распределение которой зависит только от максималь-
ного инварианта в параметрическом пространстве 0 = |/о
(см. раздел 2 главы 5). Тем самым, инвариантные кри-
терии—это критерии, которые зависят только от t. Остается
в этом классе найти наиболее мощный критерий для
проверки гипотезы Я: 0<0О.
Плотность вероятности t равна (задача 3, главы 5)
Рб(/) = С ехр [ — у Q X
О
|("-2) Г 1 \ ,
X w2 ехр ( — у w j aw,
4]
ВЫБОРОЧНЫЙ КОНТРОЛЬ
303
где 6 = )/п0 — параметр нецентральное™. Покажем, что
семейство этих распределений имеет монотонное отноше-
ние правдоподобия. Чтобы установить, что отношение
является возрастающей функцией от t для 60 < 6t, пред-
положим сначала, что t < 0 и положим v = — t — 1).
Тогда рассматриваемое отношение пропорционально
J f (v) ехр [ - (di - d0) V - (п -1) p2/2i2] dv
о
-----=
J / (у\ ехр [ — (п — 1) f2/2^2] dv
о
= ехр [ — (61 — 60) gt2 (v) dv.
где
f (v) = exp (— f>ov) pn-1 exp
и
g(2 (y) = /(^)exp[-(re-l)p2/2f2] .
J f (z) exp [ — (n — 1) z2/2£2] dz
0,
Поскольку семейство плотностей gt2 (v) имеет монотонное
отношение правдоподобия, то интеграл от ехр [ — (61 — 60) а]
по этой плотности является убывающей функцией от /2
(задача 10 из главы 3) и, следовательно, возрастающей
функцией от I для t < 0. Аналогично рассмотрев пре-
образование V — t Уи>/(п — 1), найдем, что r(t) есть воз-
растающая функция от t при t > 0. Отсюда по непре-
рывности следует, что функция г(1) возрастает с ростом t
для всех t.
304
ИНВАРИАНТНОСТЬ
[гл. 6
Тем самым для проверки гипотезы Н: £/а < 0О суще-
ствует РНМ инвариантный критерий, который ее отвер-
гает, когда t > С, где константа С определяется из усло-
вия (9). В терминах первоначальных величин Yt область
отклонения гипотезы Н: р>ро для РНМ инвариантного
критерия принимает вид
•/д(у —и) > £ (Ц)
2 (г/,—у)2/(п-1)
Если эту задачу рассматривать как задачу с двумя
решениями и функциями потерь Л0(р), Ь{(р) (потери
от принятия или отклонения гипотезы р>ро), завися-
щими только от р и удовлетворяющими условию, ана-
логичному (10), то класс критериев (11) образует полное
семейство инвариантных процедур, когда С изменяется
в пределах от — оо до оо.
Рассмотрим далее сравнение двух партий изделий,
основанное на выборках Хь ..Xm; Yь Yn из рас-
пределений 7V(g, а2) и 7У(ц, а2) соответственно. Если
то возникает задача проверки гипотезы или, что
то же, проверки гипотезы
Я: т)<|.
Статистики X, Y, S = V% (Хг-Х)2 + 2 (У;-У)2
образуют семейство достаточных статистик для ц, а.
Рассматриваемая задача остается инвариантной при доба-
влении произвольной общей константы к X, У. Отсюда
следует, что У — X и S являются максимальными инва-
риантами. Эти функции остаются также инвариантными
и при умножении величин X, У и 5, а следовательно,
и величин У — X и S на общую положительную кон-
станту, что редуцирует исходные данные к максималь-
ному инварианту (У —Х)/5. Поскольку величина
s!}/~ т-\-п— 2
5]
ПОЧТИ ИНВАРИАНТНОСТЬ
305
имеет нецентральное ^-распределение с параметром
нецентральности 6 = , то РНМ инвариантный
у т-\-пб
критерий отклоняет гипотезу Н: ц — £<0, когда t > С.
Этот критерий совпадает с РНМ несмещенным крите-
рием (27) из раздела 3 главы 5. Аналогично, соответ-
ствующий двусторонний критерий (30) главы 5, с крити-
ческой областью |£|>С является РНМ инвариантным
критерием для проверки гипотезы р = л при альтерна-
тиве р Ф л. (Задача 10.)
5. Почти инвариантность
Пусть G — группа преобразований, оставляющая
семейство fp = {Р0, 0 g Q} распределений X инвариантным.
Критерий (р будет называться эквивалентным инвариант-
ному критерию, если существует инвариантный крите-
рий ф такой, что ф(^)=ф(х) для всех х, за исключе-
нием множества N {р-м&ры нуль; ф называется почти
инвариантным относительно группы G, если
ф(£я) = ФОО для всех x^^ — Ng, g£G, (12)
где исключительное множество Ng меры нуль, возможно,
зависит от g. Это определение будет использоваться
при изучении связи между инвариантностью, с одной
стороны, несмещенностью и некоторыми другими опти-
мальными свойствами, с другой. Поэтому важно знать,
является ли РНМ инвариантный критерий также и РНМ
среди почти инвариантных критериев. Оказывается, что
в предположениях, которые точно сформулированы ниже,
в теореме 4, и которые выполняются во всех обычных
применениях, это действительно так.
Если критерий ф эквивалентен некоторому инвариант-
ному критерию, то ф (gx) = ф (х) для всех я (f TVlJg^TV.
Поскольку Pq (g~W) = P-Q (TV) = 0, то отсюда следует,
что критерий ф почти инвариантен. Следующая теорема
дает условия, при которых, обратно, каждый почти
инвариантный критерий эквивалентен некоторому инва-
риантному критерию.
20 Э. Леман
ИНВАРИАНТНОСТЬ
[гл. 6
<306
Теорема 4. Пусть G —группа преобразований Л'
и пусть & и <$-(з-поля подмножеств и G -такие,
что для каждого множество пар (х, g), для кото-
рых gx£A, & х &— измеримо. Предположим далее,
что существует а-конечная мера v на G такая, что
из v(B) = 0 следует, что v(Bg)=0 для всех g£G. Тогда
каждая измеримая почти инвариантная относительно G
функция («почти» относительно некоторой (5-конечной
меры р) эквивалентна некоторой инвариантной функции.
Доказательство. В силу сделанных предполо-
жений об измеримости, функция ф (gx), рассматриваемая
как функция двух переменных х и g, является & х ^-изме-
римой. Следовательно, ф (gx) — ф (х) — также X ^-изме-
рима и таковым же является множество 5 точек (х, g),
где ф (gx) Ф ф (х). Если критерий ф почти инвариантен,
то каждое сечение множества S с фиксированным g
mieev ц-меру нуль. По теореме Фубини (теорема 3
главы 2) существует поэтому множество N р-меры нуль
такое, что для всех х£& — N
Ф (gx) = ф'(я) v-почти всюду.
Без ограничения общности можно считать, 4tov(G) = 1.
Пусть Л —множество точек х, для которых
<P(g'x)dv(g') = (f(gx) v-почти всюду.
Если
Ж g) = | J ф te (?') - ф (йж) |.
то А есть множество точек х, для которых
Ж g)dv(g) = 0.
Поскольку этот интеграл является измеримой функцией
от х, то множество А измеримо. Пусть
^(p(gx)dv(g), если х£А,
0, если х 4 А.
Тогда ф измерима и ф (х) = ф (х) для'x^N, поскольку
из равенства ф (gx) = ф (х) почти всюду относительно
ф(а?) =
5]
ПОЧТИ ИНВАРИАНТНОСТЬ
307
меры v следует, что cp(g'rr) dv (g') = ф (х) и что х £ А.
Чтобы показать теперь, что ф инвариантна, достаточно
доказать, что множество А — инвариантно. Для каж-
дой точки х g А функция cp(g#), рассматриваемая как
функция от g, постоянна, за исключением подмноже-
ства меры нуль Nx g G. Тогда ф (ghx) имеет то же самое
значение и для всех g $ Л^/Г1; последние множества
согласно предположению имеют v-меру нуль. Таким
образом, hx£A, чем и заканчивается доказательство.
Следствие 1. Предположим, что задача проверки
гипотезы Hi 0 g при альтернативе К: 0 g Q \ со
остается инвариантной относительно G, и пусть выпол-
нены предположения теоремы 4. Тогда если ф0 РНМ инва-
риантный критерий, то он будет также РНМ и в классе
почти инвариантных критериев.
Доказательство. Если критерий ф почти инва-
риантен, то согласно теореме 4 он эквивалентен некото-
рому инвариантному критерию ф. Критерии ф и ф имеют
одну и ту же функцию мощности и, следовательно, ф0
равномерно не менее мощен, чем ф.
В приложениях семейство обычно является домини-
рованным, а Ц — любая о-конечная мера, эквивалентная
(которая существует согласно теореме 2 из Дополне-
ния). Если критерий ф почти инвариантен для семейства
3>, то тогда ф почти инвариантен и по отношению к мере
ц и, следовательно, эквивалентен некоторому инвари-
антному критерию. Как правило, выборочное простран-
ство SV является w-мерным евклидовым пространством,
— классом" всех борелевских множеств, а элементы
группы G представимы в форме у = f (х, т), где т изме-
няется на множестве положительной меры в тп-мерном
пространстве, а векторная функция/, как функция т + п
переменных, измерима по Борелю. Если в качестве 38 взять
класс всех борелевских множеств в тп-мерном простран-
стве, то условия измеримости теоремы 4 выполняются.
То требование, что для всех g g G и В g 38
из v(B) = 0 вытекает, что v(Bg) = 0, (13)
выполняется, в частности, когда
v(Bg) = v(B) для всех ggG, BgJ?. (14)
20*
308
ИНВАРИАНТНОСТЬ
[гл. 6
Существование такой правоинвариантной меры для боль-
шого класса групп гарантируется теорией мер Хаара.
С другой стороны, обычно бывает нетрудно проверить
условие (13) и непосредственно.
Пример 8. Пусть G — группа всех невырожденных преобра-
зований n-мерного пространства. В фиксированной системе коор-
динат элементы группы G представляются невырожденными матри-
цами порядка п X п А = (а и), А' = (aij), . . . с групповой опе-
рацией, задаваемой матричным произведением. В качестве о-поля
2^ можно взять класс борелевских множеств в пространстве и2
элементов матриц, а в качестве меры v — обычную меру Лебега
на Ж Рассмотрим теперь множество S матриц с v(S) = 0, и мно-
жество S* матриц А'А с А' £ S и фиксированным А. Если а —
= шах | ац \, С' — A'Af и С" = А"А, то из неравенства | aij —
— aij | < е для всех г, ; следует, что | cij — c'ij | пае. По-
скольку каждое множество имеет v-меру нуль тогда и только тогда,
когда оно может быть покрыто соединением прямоугольников
с суммарной мерой, не превосходящей заданного е > 0, то отсюда
следует, что v(S*) = 0, а это и следовало показать.
В предыдущих главах сравнение различных критериев
производилось только в терминах их функций мощности
(возможно взвешенных в зависимости от степени значи-
мости соответствующих потерь).
Поскольку ограничение инвариантными критериями
представляет собой отход от этой точки зрения, то инте-
ресно выяснить вопрос о том, что же дает применение
инвариантности к функциям мощности. Каждый крите-
рий, инвариантный или почти инвариантный относитель-
но G, имеет функцию мощности, которая остается инва-
риантной относительно группы G, индуцированной груп-
пой G в параметрическом пространстве.
Обратное, вообще говоря, неверно; пусть случайные
величины Xi, Х2, Х3 независимы и нормально распре-
делены со средним % и дисперсией о2. Рассмотрим гипо-
тезу а >а0. Критерий, который отвергает эту гипотезу,
если _
IХ2 — Xi | > к, когда X < 0,
| Х3 — Х21 > А, когда Х>0,
не инвариантен относительно группы G преобразований
X'i = Xi + c, однако его функция мощности инвариантна
относительно группы G.
5]
ПОЧТИ ИНВАРИАНТНОСТЬ
309
Два свойства — почти инвариантность критерия ср
и инвариантность его функции мощности — становятся
эквивалентными, если еще до применения принципа
инвариантности задача сведена к достаточным стати-
стикам, распределения которых образуют ограниченно
полное семейство.
Лемма 2. Пусть семейство 3*Т = {Pq, распре-
делений Т ограниченно полно и пусть задача проверки
гипотезы Н: 0 gQ# остается инвариантной при группе G
преобразований Т при всех 0. Тогда, для того чтобы
функция мощности критерия ф(£) была инвариантной
относительно группы G, действующей в пространстве Q,
необходимо й достаточно, чтобы функция ф (t) была
почти инвариантной при преобразованиях из G.
Доказательство. Для всех 0£Q мы имеем
Е-0ф (Т) = Е0ф (gT). Если ф —почти инвариантно, то
£’еф(71) = £,еф(?2п) и, следовательно, Е-0ф(Т) =±Е0ф(Т),
так что функция мощности критерия ф является инва-
риантной. Обратно, если Е0ф (Т) = Е-0ф (Т), то Е0ф (Т) =
= /?0ф (gT), и из ограниченной полноты семейства
следует, что ф(£0==ф(О почти всюду относительно
Используя эту лемму, можно показать, что РНМ
инвариантный критерий обладает также следующим
оптимальным свойством.
Теорема 5. Пусть выполнены предположения лем-
мы 2 и пусть функция v (0) — максимальный инвариант
относительно G. Предположим, что среди критериев
для гипотезы Н, основанных на достаточной стати-
стике Т, существует РНМ почти инвариантный крите-
рий, скажем ф0(/). Тогда фо(^) является РНМ в клас-
се всех критериев, основанных на первоначальных наблю-
дениях, функции мощности которых зависят только
от у(0).
Доказательство. Пусть ср(х) — некоторый такой
критерий и пусть ф (t) — Е [ср (х) | £]. Функция мощности
критерия ф(/), будучи идентична функции мощности
ср(х), зависит тогда только от v(0) и, следовательно,
инвариантна относительно G. Из леммы 2 следует, что
критерий ф(0 почти инвариантен при G, и что фо(О
310
ИНВАРИАНТНОСТЬ
[гл 6
имеет мощность, равномерно не меньшую, чем ^(/), и,
следовательно, чем ф(я).
Пример 9. В задаче проверки гипотезы т2<о2 относи-
тельно дисперсий двух нормальных распределений величины
(Т, Y, £г) образуют полное множество достаточных стати-
стик. Как было показано в примере 6, при подходящим образом
подобранной группе преобразований существует РНМ ивариант-
ный критерий, который отвергает рассматриваемую гипотезу,
если Sy/Sx > Cq. Поскольку в настоящем случае из почти инва-
риантности этого критерия относительно G вытекает, что он
эквивалентен некоторому инвариантному (задача 13), то приме-
нима теорема 5 с v (0) = Д — т2/а2. Этот критерий является, сле-
довательно, РНМ среди всех критериев, функции мощности кото-
рых зависят только от Д.
6. Несмещенность и инвариантность
Принципы несмещенности и инвариантности допол-
няют друг друга в том отношении, что один дает удач-
ные результаты там, где применение другого не приносит
успеха. Так, например, для сравнения двух биномиаль-
ных или пуассоновских распределений имеется РНМ
несмещенный критерий, тогда как соображения инва-
риантности здесь неприменимы. РНМ несмещенный кри-
терий существует также при проверке гипотезы а = а0
при альтернативе о #= о0 для нормально распределенных
наблюдений, тогда как применение принципа инвариант-
ности не дает здесь значительного продвижения. И об-
ратно, существуют РНМ инвариантные критерии для
проверки гипотез о специальных значениях одного или
нескольких параметров (что будет рассмотрено в гл. 7),
тогда как РНМ несмещенных критериев не существует.
Имеются также гипотезы (как, например, односторонняя
гипотеза |/а < 0о для одномерного нормального распре-
деления или гипотеза Q<Qo для двумерного (задача 11)
с 9о» Qo ¥= 0), где РНМ инвариантный критерий сущест-
вует, тогда как показать существование РНМ несмещен-
ного критерия методами главы 5 не удается, и вопрос
до сих пор остается открытым.
С другой стороны, в некоторых задачах с одинаковым
успехом могут применяться оба принципа. В число та-
ких проблем входят задачи проверки гипотез Стьюдента
6]
НЕСМЕЩЕННОСТЬ И ИНВАРИАНТНОСТЬ
311
£ < Ео и £ = относительно среднего нормального распре-
деления, и соответствующие задачи проверки гипотез
т) —£<Д0 и ц —| = Д0 для случая двух выборок в пред-
положении равенства дисперсий в обоих выборках. Дру-
гим примером может служить задача проверки гипотез
o2>Oq и т2/о2>Д0 относительно дисперсии одного или
двух нормальных распределений. Еще один такой при-
мер дает проверка гипотезы о независимости q = 0 в дву-
мерном нормальном распределении (задача 11). Во всех
перечисленных примерах обе оптимальные процедуры
совпадают. Мы сейчас покажем, что это совпадение не
случайно и имеет место в тех случаях, когда РНМ инва-
риантный критерий является РНМ также и среди всех
почти инвариантных критериев и когда РНМ несмещен-
ный критерий единствен. В этом смысле принципы не-
смещенности и почти инвариантности согласованы.
Теорема 6. Пусть для данной задачи' проверки ги-
потезы существует единственный (с точностью до мно-
жеств меры 0) РНМ несмещенный критерий ф* и, кроме
того, существует РНМ критерий, почти инвариантный
относительно некоторой группы преобразований G. Тогда
последний также является единственным (с точностью
до множеств меры 0), и оба критерия совпадают почти
всюду.
Доказательство. Если U(а) есть класс несме-
щенных критериев уровня а и ggG, то ф g U (а) тогда
и только тогда, когда (а)*). Обозначая функцию
мощности критерия ф через РФ (0), мы тем самым получим
P<₽*g (0) = Рф* (§0) = sup рф (g0) =
ч>еи«х)
= sup P<pg (0) = sup p<pg (0) = Рф* (0).
Ф617 (a) <pg£U (а)
Следовательно, ф* и ф*£ имеют одну и ту же функцию
мощности, и в силу предположенной единственности
критерий ф* почти инвариантен. Поэтому, если ф' есть
РНМ почти инвариантный критерий, то рф< (0) > РФ* (0)
для всех 0. С другой стороны, ф' — несмещенный
*) cpg обозначает критическую функцию, равную ф^а?) для
каждого значения да.
312
ИНВАРИАНТНОСТЬ
[гл. 6
критерий, как это следует из сравнения его с инвариант’
ним критерием ф (х) == а; поэтому рф, (0) < 0Ф* (0) для
всех 0. Так как критерии ф' и ф* имеют одну и ту же
функцию мощности, то они совпадают почти всюду в силу
единственности ф*, что и требовалось доказать.
Эта теорема дает возможность сделать определенные
выводы для некоторых критериев, рассмотренных в гла-
ве 5. В теореме 3 главы 4 существование РНМ несме-
щенных критериев было установлено для одно- и двусто-
ронних гипотез относительно значений параметра 0 в экс-
поненциальном семействе распределений (10) главы 4. Для
этого семейства статистики (£/, Т) достаточны и полны
и поэтому в терминах этих статистик РНМ несмещенный
критерий единствен. Удобные явные выражения для
некоторых из критериев, рассмотренных в главе 5,
можно было бы получить, заметив, что в тех случаях,
когда РНМ почти инвариантный критерий существует^
он, согласно теореме 6, необходимо будет также и РНМ
несмещенным. Этим доказывается, например, что крите-
рии, построенные в примерах 5 и 6 настоящей главы,
являются РНМ несмещенными.
Принципы несмещенности и инвариантности могут
быть применены дополнительно один к другому в слу-
чаях, где каждый из них в отдельности не приводит
к полному решению, а их совместное применение при-
водит к нему. В качестве примера рассмотрим выборку
...,Хп из N(I, о2) и гипотезу Н: |/а = 0о#=О при
двусторонней альтернативе: |/а =# 0о. Здесь достаточность
и инвариантность сводят задачу к рассмотрению стати-
стики I = S (Xi — х)2/(п — 1). Эта статистика имеет
нецентральное ^-распределение с параметром нецентраль-
ности <r = V’ng/a и n —1 степенью свободы. Можно пока-
зать, что это семейство, зависящее от параметра б,
относится к строгому типу Пойа и, следовательно,
в частности, к 3-му типу ♦). Как и в задаче 25 главы 3,
можно показать, что среди всех критериев, основанных
Karlin, Decision theory for Polya type distributions.
Case of two actions, I, Proc. Third Berkeley Symposium on Mat-
hematical Statistics and Probability, vol. I, Berkeley, Univ. Calif.
Press, 115 —129.
6]
НЕСМЕЩЕННОСТЬ И ИНВАРИАНТНОСТЬ
313
на статистике t, существует РНМ несмещенный критерий
с областью принятия Н вида где Ci9 С2
определяются из условия
-И И Ц = о
В терминах исходных наблюдений построенный критерий
будет РНМ среди всех несмещенных и инвариантных
критериев, но вопрос о том, будет ли этот критерий
РНМ несмещенным без ограничений инвариантности,
остается открытым.
Другим случаем, в котором совместное применение
инвариантности и несмещенности дает, по-видимому,
многообещающий подход, является так называемая проб-
лема Беренса — Фишера. Пусть Xi9 ..., Хт иУ1} ..., Уп —
выборки из двух нормальных распределений N (£, о2)
и 7У(ц, т2) соответственно. Проблема состоит в том,
чтобы проверить гипотезу Н: (или ц = £) без пред-
положения равенства дисперсий о2, и т2. Множество до-
статочных статистик для (£, т), о, т) есть в этом случае
(X, Y, 51, S2y), где 51 = 2 (X,-- X)2 и 51=J] (У^-У)2.
Добавление одной и той же постоянной к X и Y реду-
цирует задачу к статистикам У — X, Sx, Sy, а умно-
жение всех переменных на одну и ту же положитель-
ную константу приводит к рассмотрению статистик
(У-Х) Sy
.------- И п •
Vsx+Sy s*
Можно ожидать, что каждая разумная критическая
область представляется в виде
Y—X ( Sy \
g J
(15)
с определенным образом подобранной функцией g. Если
от этого критерия потребовать так же несмещенности,
то вероятность множества. (15) должна быть равна а,
когда ц = для всех значений т/о. Но, существует
ли функция g с таким свойством, до сих пор не выяс7
нено. Однако имеется приближенное решение, которое
314
ИНВАРИАНТНОСТЬ
[гл. 6
протабулировано *) и которое дает для практических
целей удовлетворительные результаты.
Каждый РНМ несмещенный критерий обладает важ-
ным свойством допустимости (задача 1 главы 4), так что
в этом случае не может существовать другого критерия
равномерно не менее мощного, а для некоторых альтер-
натив даже более мощного, чем заданный. Аналогичное
свойство для РНМ инвариантных критериев может и не
выполняться, что показывает следующий пример.
Пример 10**). Пусть случайные векторы (Ти, Т12) и
(X2i, Х22) распределены нормально с нулевыми средними и матри-
цами ковариаций
О? и ( Д®х ДееЧ<Ь>
Q<4<72 of ) \.Деа102 Дст2 ) ’
Предположим, что эти матрицы невырождены, т. е. что | q |#=1;
в других же отношениях 04, а2, q и Д остаются неизвестными.
Задача различения гипотез А=1 и Д>1 инвариантна относи-
тельно группы G всех невырожденных преобразований
.. .
(i = l, 2).
Хг — a21^ii^~a22^i2
Поскольку вероятность того, что ЛГ11Х22=Х12Х21> равна нулю,
матрицы второго порядка (Х^?) с вероятностью единица невыро-
ждены, и поэтому выборочное пространство можно считать
состоящим только из невырожденных матриц. Для любых двух
выборочных точек Z = (X^) и Z — (Xij) существует невырожден-
ное линейное преобразование А такое, что Z' = ^Z. Поэтому от-
носительно G не существует инвариантных критериев, за исклю-
чением тривиального критерия ф а уровня а, мощность кото-
рого Р (Д) = а. С другой стороны, Хц и Т21 независимы и рас-
пределены нормально N (0, о?) и N (0, До^). Основываясь на этих
наблюдениях, можно построить РНМ критерий для различения
гипотез Д = 1 и Д > 1 с критической областью > G
(задача 33 главы 3). Функция мощности этого критерия строго
возрастает по Д и, следовательно, больше а для всех Д>1.
*) Welch, The generalization of Student’s problem when
several different population variances are involved, Biometrika,
vol. 34(1947), 28 — 35; A s p i n, > Tables for use in comparisons
whose accuracy involves two variances, Biometrika, vol. 36(1949),
290—296. См. также Chernoff, Asymptotic studentization in
testing of hypotheses, Ann. Math. Stat., vol. 20(1949), 268—278 и
Wallace, Asymptotic approximations to distributions, Ann.
Math. Stat., vol. 29 (1958), 635-654.
**) Этот пример сообщен мне проф. Стейном.
6]
НЕСМЕЩЕННОСТЬ И ИНВАРИАНТНОСТЬ
315
Тем самым свойство допустимости оптимальных инва-
риантных критериев заведомо не выполняется автомати-
чески и его надо устанавливать в каждом отдельном
случае. Пусть функция 6 = v (0) — максимальный инва-
риант относительно группы преобразований G. Предпо-
ложим, для определенности, что проверке подлежит
гипотеза 6<60. Чтобы проверить допустимость критерия
Фо с уровнем значимости а, достаточно показать для
некоторого подмножества альтернатив Q', что для лю-
бого критерия ф уровня а из условия EQq> (X) Ееф0 (X)
для всех 0gQ' вытекает равенство Eq^ (X) = Eq ф0 (X)
для всех 0. Типичные доказательства допустимости
можно разделить на три категории, соответственно тому,
как они устанавливают указанное свойство:
(а) локально, т. е. для всех 0, удовлетворяющих
условию So < v (0) < 6i для некоторого 6А > 60; (Ь) для
всех достаточно далеких альтернатив, т. е. для всех
альтернатив, удовлетворяющих условию и(0)>62 для
некоторого 62 > 60; (с) для всех альтернатив с любым
заданным расстоянием 6, т. е. для альтернатив, удовле-
творяющих условию 1,(0) = 6. Доказательства типа (а)
или (Ь) не совсем удовлетворительны, поскольку они не
исключают возможности существования критерия с мощ-
ностью, лучшей для всех практически важных альтер-
натив и худшей только тогда, когда оба критерия имеют
мощность, очень близкую к 1, или когда альтернативы
так близки к гипотезам, что значения их функций мощ-
ности становятся несущественными.
В качестве примера рассмотрим РНМ несмещенный
критерий ф1 (из теоремы 3 главы 4) для проверки гипо-
тезы Н: 0 < 0о при альтернативе 0 > 0О и при наличии
мешающих параметров 0*. Чтобы показать, что этот кри-
терий локально допустим, предположим, что ф —неко-
торый другой критерий для Я, имеющий уровень значи-
мости а. Если Eqq# ф (X) < а для некоторого -О', тогда по
непрерывности найдется такое 0t > 0О, что для всех
00 < 0 < 01 -EWP (X) < а < Eq# Ф1 (X). Отсюда следует,
что локально мощность критерия ф не больше, чем мощ-
ность критерия фР С другой стороны, если Eg0^cp(X) —а
для всех О’, то Eq# ф (X) < Eq# ф! (X) для всех 0 > 0О
и всех О’, поскольку при доказательстве теоремы 3 было
316
ИНВАРИАНТНОСТЬ
[гл. 6
показано, что критерий (pt является РНМ среди всех
критериев, подобных на границе. Эта аргументация,
однако, не исключает возможности существования кри-
терия, который смещен вблизи Я, но который в то же
время является равномерно более мощным, чем ф0 при
всех альтернативах, находящихся от Н на расстоянии,
большем некоторого числа.
Свойство допустимости относительно удаленных аль-
тернатив было установлено в задачах проверки некото-
рых гипотез о параметрах экспоненциальных семейств*)
распределений, а также для альтернатив на любом рас-
стоянии—в некоторых задачах **) о параметре сдвига.
К числу последних относится задача проверки гипотезы
£/а<90 при альтернативе £/о=0 для нормального распре-
деления.
7. Ранговые критерии
Одной из основных задач статистики является задача
проверки по двум выборкам гипотезы о равенстве их
распределений. Типичным примером служит задача срав-
нения некоторого способа обработки со стандартным
(контрольным), где проверяется гипотеза об отсутствии
преимуществ этого способа при альтернативе его более
благотворного действия. Этот пример рассматривался
в главах 4 и 5 в предположениях нормальности; соот-
ветствующий критерий основывался на /-статистике Стыо-
дента. Было также показано, что в тех случаях, когда
предположение о приближенной нормальности допустимо,
но не может быть проверено, приходят к замене /-кри-
терия его аналогом (основанным на перестановках),
который, в свою очередь, может быть аппроксимирован
первоначальным /-критерием.
♦) Birnbaum, Characterizations of complete classes of
tests of some multiparameter hypotheses with applications to
likelihood ratio test, Ann. Math. Stat., vol. 26(1955), 21 — 36, и
Stein, The admissibility of Hotelling’s T2-test, Ann. Math.
Stat., vol. 27(1956), 616- 623.
**) Lehmann and Stein, The admissibility of certain inva-
riant statistical tests involving a translation parameter, Ann.
Math, stat., vol. 24 (1953), 473-479.
7]
РАНГОВЫЕ КРИТЕРИИ
317
Ниже мы будем рассматривать эту проблему, отка-
завшись по крайней мере на время от всяких предпо-
ложений относительно даже приближенной формы рас-
сматриваемых распределений, предполагая только, что
они непрерывны. Результаты наблюдений в таком случае
образуют две выборки Хъ ..., Хт и Уь ..., Yn из рас-
пределений с непрерывными функциями распределения F
и G. Задача состоит в том, чтобы проверить гипотезу
Нь G = F.
Если предположить, что эффект обработки аддитивен,
то х альтернативы имеют вид G (у) = F (у — А). Мы рас-
смотрим здесь более общий случай, в котором эффект
обработки может зависеть и от значения у (так что А
есть неотрицательная функция от у). Тогда гипотеза Hi
будет проверяться при односторонней альтернативе, что
величины Y стохастически больше величин X, т. е. при
альтернативе
Ki. G(z)^F(z) для всех z и G±F.
Альтернативный эксперимент, который проводится
для выяснения эффективности обработки, состоит в срав-
нении N пар предметов, группирующихся по парам так,
чтобы исключить расхождения, не являющиеся следствием
обработки. Один член каждой пары выбирается случай-
ным образом для обработки, тогда как другой служит
для контроля. Если предположения (см. раздел 4, гла-
вы 5) о нормальности распределений отбрасываются и пары
предметов рассматриваются как один элемент выборки,
то предполагается, что распределения независимых наб-
людений (Хг, Yi), ..., (Xjv, Y^) описываются двумерной
непрерывной функцией распределения F. Гипотеза отсут-
ствия эффекта обработки эквивалентна тогда предполо-
жению, что функция распределения F симметрична отно-
сительно линии у~х
Н2: F (х, y) — F(y, х).
Другая основная проблема, которая возникает во мно-
гих случаях, касается зависимости или независимости
двух случайных величин. В частности, если (Хь Уг), . ..
..., (Ajv, YN) — выборка из двумерного распределения F,
318
ИНВАРИАНТНОСТЬ
[гл. 6
то может представить интерес проверка гипотезы
Н3: F{x, y) = G1(x) Н2(у),
т. е. гипотезы, что X и Y независимы; для случая нор-
мального распределения эта задача рассматривалась
в разделе 9 главы 5. В качестве интересной альтерна-
тивы можно рассмотреть, к примеру, гипотезу о том,
что X и Y положительно зависимы (см. раздел 11 гла-
вы 5). Альтернативная формулировка возникает, когда
значения х не являются случайными, а выбираются зара-
нее, до эксперимента. Пусть выбраны значения Х\ < ...
. .. < хх и пусть Fi обозначает распределение Y при
заданном хг\ предполагается, что У,- независимы и их
функции распределения Fu ..., F^ непрерывны. Гипо-
теза независимости У от х тогда заключается в том, что
Я4: F1=_^FNi
в то время как альтернативная гипотеза положительной
зависимости Yt состоит в стохастическом их возрастании
с ростом Z.
В этих и других подобных задачах инвариантность ре-
дуцирует исходные данные так, что истинные значения
наблюдений становятся несущественными и сохраняются
только некоторые отношения порядка между различными
группами переменных. Тем не менее оказывается возмож-
ным таким образом проверить исследуемые гипотезы,
а получаемые этим способом критерии часто имеют мощ-
ность, близкую к мощности стандартных нормальных
критериев. Мы сейчас проведем эту редукцию для четы-
рех рассмотренных выше проблем.
В случае двух выборок задача проверки гипотезы Нг
при альтернативе К± остается инвариантной относительно
группы G всех преобразований
(i=l, га)
таких, что функции / непрерывны и строго возрастают.
Это утверждение следует из. того факта, что указанные
преобразования сохраняют непрерывность распределений
и свойства величин оставаться одинаково распределен-
ными или одной быть стохастически больше другой.
[7
РАНГОВЫЕ КРИТЕРИИ
319
Как видно из примера 3 (в других обозначениях), ма-
ксимальным инвариантом относительно группы G являет-
ся множество рангов
(/? j S ) — (У?1, . . . , -ffmj • • • , Sn)
величин Хт\ Уь Уп, рассматриваемых как
элементы одной выборки. Поскольку распределение
(7?р ..R'm- S', ..., Sn) симметрично относительно пер-
вых т и последних п переменных для всех распределе-
ний F и G, то множеством достаточных статистик для
(/?', S') является множество рангов величин X и У без
учета индексов у X и У. Эти статистики можно пред-
ставить в виде упорядоченных рангов величин X и У:
< ••• < ^гп И Si < ... <С Sn-
А поскольку каждое из этих множеств определяется
другим, то достаточно рассматривать только одну из этих
статистик. Тем самым каждый инвариантный критерий
является ранговым критерием, т. е. зависит только от
рангов наблюдений, например, от (Si, ..., Sn).
Чтобы получить подобную же редукцию для гипо-
тезы Я2, сделаем сначала преобразование 2^ = Уг —
Wi=^ Xt-\-Y i. Пары величин (Zf, W\) снова образуют
выборку из непрерывного двумерного распределения.
Тогда проверяемая гипотеза состоит в том, что это рас-
пределение симметрично относительно оси w, в то время
как при альтернативе это распределение сдвинуто в по-
ложительном направлении оси z. Задача проверки этих
гипотез не изменится, если все w подвергнуть одному
и тому же взаимно однозначному преобразованию ач =
= g(wi), где g имеет самое большее конечное число точек
разрыва. Максимальным инвариантом относительно этой
группы [см. задачу 2 (II)] будет функция (Z19 ..., ZN).
Случайные величины Zi имеют непрерывную одномер-
ную функцию распределения D, и гипотеза ее симметрии
относительно начала координат
Я': D(z) -h D( — z) = 1 для всех z
проверяется при альтернативе, что распределение сдви-
нуто в положительном направлении оси z. Эта задача
320
ИНВАРИАНТНОСТЬ
[гл. 6
'инвариантна относительно группы G всех преобразований
таких, что / непрерывна, нечетна и строго возрастает.
Пусть ziv zim < 0 < zh, ..., zjn, где и < ... < im
и ji< ... < Jn- Обозначим s', ..., s'n ранги величин
Zjv . .., Zjn среди абсолютных значений | zx |, ..., | zN |
и г', ..., Гт —ранги величин | zi± |, \zim\ среди
| zx |, | zn |. Преобразование / сохраняет знак каждого
наблюдения и, следовательно, в частности, числа тип.
Поскольку / непрерывная, строго возрастающая функция
от |z|, она оставляет инвариантным порядок абсолют-
ных величин и, тем самым, ранги г\ и sj. Покажем, что
эти функции являются максимальными инвариантами.
Пусть (zx, ..., zjv) и (z', ..., z/v) —два множества точек
с m' = m, n' = n и теми же самыми г\ и s'j. Существует
непрерывная, строго возрастающая функция, определен-
ная на положительной оси, такая, что | z\ | = / (| zt |)
и / (0) = 0. Если / определить для отрицательных z посред-
ством соотношения /(—-z)=—/(z), то такая функция
будет принадлежать G, и тогда Zi = /(zz) для всех i, что
и надо было показать. Как и в предыдущей задаче,
достаточность позволяет совершить дальнейшую редук-
цию данных к упорядоченным рангам гх < ... < гт
и $i < ... < sn Эта редукция сохраняет информацию
о рангах абсолютных значений независимо от того, яв-
ляются ли результаты наблюдений положительными или
отрицательными, но она не сохраняет информации о том,
с каким значением, положительным или отрицательным,
связываются ранги.
Ситуация очень похожа и в случае гипотез Н3 и Я4.
Задача проверки независимости в двумерном распреде-
лении при альтернативной гипотезе о положительной
зависимости не изменяется, если Xt и Уг- подвергнуть
преобразованиям Xi = f{Xi), Y'i = g(Yi) таким, что / и g
непрерывны и строго возрастают. Относительно этого
преобразования максимальными инвариантами являются
ранги (7?', ...,7?^) величин (А\, ...,XN) среди X
и ранги (S', ..., S'n) величин (Ух, ..., YN) среди У.
Совместное распределение величин (7?,', S'), ..., (B'N, S'n)
симметрично относительно этих N пар, каковы бы ни
8] ЗАДАЧА СРАВНЕНИЯ ДВУХ ВЫБОРОК 321
были распределения (X, У). Отсюда следует, что доста”
точной статистикой является (Si, .. - , Sn), где (1, Si),
..., (ДГ, Sn) — перестановка величин (Я', S'J,... ,(B'N, S'n)
и где, следовательно, St есть ранг величины У, связан-
ной с j-м наименьшим значением X.
Гипотеза Я4 о том, что Уь ..., Уп одинаково рас-
пределены, проверяется при альтернативе Х4, состоящей
в том, что Уг- стохастически возрастают с ростом г. Эта
проблема инвариантна относительно группы преобразова-
ний 2/- = /(2/z), где функция / непрерывна и строго убы-
вает. Максимальным инвариантом здесь является множе-
ство рангов 51, .Sn величин Уь YN.
Некоторые инвариантные критерии для проверки
гипотез Hi и Я2 будут рассмотрены в следующих двух
разделах. Соответствующие результаты, относящиеся
к гипотезам Я3 и Я4, даны в задачах 39 — 41.
8. Задача сравнения двух выборок
Принцип инвариантности для случая двух выборок
редуцирует задачу проверки гипотезы Я: G = F при одно-
сторонней альтернативе К, состоящей в том, что вели-
чины У стохастически больше величин X, к изучению
рангов 51 < ... < Sn величин У. Задание величин 5г
эквивалентно указанию для составной выборки из Я =
= т + п элементов наименьшего значения, следующего
за ним по величине значения и т. д., независимо от того,
являются ими х или у. Поскольку в каждом множестве
из N результатов наблюдений yh занимают п положений
и так как, в предположении G — F, все (%) возможных
выборов п положений у^ равновероятны, то совместное
распределение St при гипотезе Я равно
4
Р{51 = «1, ...,^ = «4 = -^, (16)
для каждого множества 1 < $1 < $2 < ... Я. Поэтому
для любого рангового критерия с уровнем а = Л/(^) кри-
тическая область состоит в точности из к точек ($1, ..., $п).
В задаче проверки гипотезы Я при альтернативе К
не существует РНМ рангового критерия и, следователь-
но, не существует РНМ инвариантного критерия. Это
21 Э. Леман
322
ИНВАРИАНТНОСТЬ
[гл. 6
следует, например, из рассмотрения двух стандартных
критериев, применяемых в этой задаче, поскольку каждый
из них является наиболее мощным среди всех ранговых
критериев для случая некоторых альтернатив. Критерии,
о которых идет речь, имеют критическую область вида
($1) + • • • + ^ ($п) > С» (1^)
Один из них, двухвыборочный критерий Вилкоксона *),
получается, если в (17) положить /&($) = $, так что гипо-
теза Н отвергается, когда сумма рангов величин у доста-
точно велика. Ниже мы покажем, что для достаточно
малых Д этот критерий является наиболее мощным при
альтернативе: F есть логистическое распределение F (х) =
= 1/(1 -t е~х), a G(y)=-F(y — Д). Другой критерий, кри-
терий Фишера —И эйтса, получим, если в (17) положим
h ($) = Е (У(8)), где F(1) < ... < — упорядоченная
выборка объема N из стандартного нормального распре-
деления**). Этот критерий является наиболее мощным
при проверке гипотез о том, что распределения F и G
нормальны с общей дисперсией и средними % и г| = £ + Д,
когда Д достаточно мало.
Чтобы доказать, что эти критерии обладают указан-
ными свойствами, необходимо знать распределение
(51, ..., Sn) при каждой из гипотез. Если распределе-
ния F и G имеют плотность / и g такие, что / всегда
положительна, когда положительно g, то совместное рас-
пределение величин Si задается формулой
P{S1 = S1, = M =
~g(y(Si)) g(V(Sn\
(si)\
, (18)
*) По поводу таблиц для этого критерия см. задачу 21
в главе 4.
*♦) Таблицы, необходимые для работы с порядковыми стати-
стиками, для случая нормального распределения, даны в «Biomet-
rika Tables for Statisticians», vol. 1, Cambridge Univ. Press, 1954,
Table 28 (с 3 десятичными знаками для N 20 и 2 знаками для
А<;50) и в работе Teichroew, Tables of expected valnes of
order statistics and products of order statistics..., Ann. Math.
Stat., vol. 27 (1956), 410—426 (c 10 десятичными знаками для
АГ<20).
8]
ЗАДАЧА СРАВНЕНИЯ ДВУХ ВЫБОРОК
323
где F(1) < ... < 7(N) — упорядоченная выборка объема N
из распределения F (см. задачу 22). Рассмотрим, в част-
ности, альтернативу сдвига
ёГ (2/) = /(У — Д)
и обратимся к задаче максимизации функции мощности
для малых значений А. Предположим, что плотность /
дифференцируема и что вероятность (18), являющуюся
функцией от А, можно дифференцировать под знаком
математического ожидания. Производная вероятности (18)
в точке А — 0 равна
Рд {*V1 = 51, . .., Sn == $п} |д=0 —
Поскольку при гипотезе Н вероятность каждого набора
рангов дается формулой (16), то из расширенной формы
леммы Неймана — Пирсона (теорема 5 главы 3) следует,
что производная функции мощности в точке Д = 0 ма-
ксимизируется, если критическая область имеет следую-
щий вид:
п
-2 *
г=1
> с.
(19)
' Г (V(sp)'
Этот же критерий максимизирует и самую мощность
для достаточно малых А. Чтобы это показать, обозна-
чим ранговую точку ($ь ..., $п) и ранговую точку,
на которой достигается /-е наибольшее значение левой
стороны неравенства (19). Если
к
& --- /Л7\
то мощность
этого критерия равна
k h
₽(д)= = S Г7^+д^д(^))1д=о+ • • •] •
з=1 3=1 ’
21*
324
ИНВАРИАНТНОСТЬ
[гл. 6
Поскольку существует только конечное число точек s,
то для каждого / существует число Ду>0 такое, что
точка также дает /-е наибольшее значение величи-
не Рд ($) для всех Д < Ду. Когда Д меньше наимень-
шего из чисел Ду, /==1, ..(^), то этот критерий также
максимизирует £(Д).
Если / (х) — плотность нормального распределения
ДГ(£, о2), то
и левая часть равенства (19) превращается в
где W(1) < ... < есть упорядоченная выборка из
7V (0, 1). Критерием, максимизирующим мощность при
этих альтернативах (для достаточно малых Д), является,
следовательно, критерий Фишера — Иэйтса.
В случае логистического распределения
1
= (l+e-*) ’ (14-е-ж)2
и, следовательно,
_Z£l = 2F(.r)-l.
f(x) ' '
Поэтому локально наиболее мощный ранговый критерий
тем самым отвергает гипотезу, когда Z?[F(y(s*))J > С.
Если V имеет распределение F и 0 < у < 1, то
Р {F (F) < у} = Р {F < F1 (у)} = F [F-1 (у)] = у,
так что случайная величина U = F(V) равномерно рас-
пределена на (0,1) ♦). Критическая область может быть
записана в виде 2Е > С, где < . . .< СЛЮ —
♦) Это преобразование, переводящее случайную величину с не-
прерывной функцией распределения F в равномерно распределен-
ную, известно под названием вероятностного интегрального преобра-
зования.
8]
ЗАДАЧА СРАВНЕНИЯ ДВУХ ВЫБОРОК
325
упорядоченная выборка объема N из равномерного распре-
деления R (0, 1). Поскольку Е (U^s^) = st/(N + 1), то
этот критерий есть не что иное, как критерий Вилкоксона.
И критерий Фишера — Иэйтса, и критерий Вилкоксо-
на являются несмещенными при односторонних альтер-
нативах К. В самом деле, пусть ср — критическая функция
любого критерия, определенного формулой (17) с неубы-
вающей функцией h. Тогда ф не убывает по у, и вероят-
ность отвергнуть гипотезу равна а для всех F = G.
Из леммы 2 главы 5 следует, что этот критерий является
несмещенным для всех альтернатив из К.
Из свойств несмещенности этих критериев вытекает,
что наиболее мощные инвариантные критерии в двух
рассмотренных примерах являются также наиболее мощ-
ными при соответствующих альтернативах и среди всех
инвариантных и несмещенных критериев. Следовательно,
РНМ критерий может не существовать даже, если, помимо
ограничения инвариантности, наложить еще условие не-
смещенности. Аналогично и применение одного только
принципа несмещенности не приводит к решению, что мы
уже видели при обсуждении критериев, основанных на пе-
рестановках в разделе 8 главы 5. Отказ же от этих прин-
ципов (от одного или от обоих сразу) оставляет проблему
не только без решения, но даже и без формулировки.
Одна из возможных формулировок (строгость) будет рас-
сматриваться в гл. 8. Однако отыскание наиболее строгого
критерия в задаче двух выборок остается открытой проб-
лемой.
Хотя оптимальные свойства не установлены ни для
одного из двух выборочных критериев, оба упомянутых
выше критерия представляются довольно удовлетвори-
тельными с практической точки зрения (точно так же,
как и другой такой критерий, критерий Ван-дер-Варде-
на *) с критической областью (17), в которой h(s) =
= Ф"1($/ЛГ + 1), где Ф — функция распределения
стандартного нормального распределения). Даже тогда,
*) Таблицы, упрощающие применение этого критерия, даны
van der Waerden’OM and Nievergelt’oM: Tables
for Comparing Two Samples by Х-Test and Sign Test, Berlin, Sprin-
ger Verlag, 1956.
326
ИНВАРИАНТНОСТЬ
[гл. 6
когда F и G нормальны с общей дисперсией, эти критерии
имеют мощность, близкую к мощности 2-критерия.
Чтобы получить численное сравнение этих критериев,
предположим, что обе выборки имеют одинаковый объем,
и рассмотрим отношение п* In числа наблюдений, требуе-
мых двумя критериями для получения одной и той же
мощности р при одних и тех же альтернативах. Пусть т = п
и тп* = n* = g(n) — объемы выборки, требуемые одним
из ранговых критериев и 2-критерием соответственно,
и предположим, что верно для рассматриваемых крите-
риев, что отношение п* !п стремится к пределу епри п -> оо,
не зависящему от а и р. Тогда е называется асимптотиче-
ской эффективностью рангового критерия по отношению
к 2-критерию. Поэтому, если, в частности, е = 1/2, то
ранговый критерий требует примерно в два раза больше
наблюдений для достижения той же мощности, что дает
2-критерий.
В частном случае критерия Вилкоксона *) е оказывается
равным 3/л ~ 0,95, если F и G — нормальные распре-
деления с одинаковой дисперсией. В случае, когда F
и G не предполагаются нормальными, но отличаются
только сдвигом, эффективность е зависит от вида распре-
делений. Эта эффективность всегда > 0,864, но может
превысить 1 и даже быть бесконечной. Для критерия
Фишера — Иэйтса сравнение оказывается еще более бла-
гоприятным. Его асимптотическая эффективность по отно-
шению к 2-критерию всегда >1, когда F и G отличаются
только сдвигом, и равна 1 в частном случае нормального
распределения F. Тот же результат справедлив и для кри-
терия Ван-дер-Вардена, который асимптотически экви-
валентен критерию Фишера — Иэйтса.
Упомянутые результаты не зависят от предположения
о равенстве объема выборок; они остаются также справед-
*) Эти и ряд других результатов об эффективности приведены,
например, в работах: Hodges and Lehmann, The efficiency
of some nonparametric competitors of the z-tech, Ann. Math. Stat.,
vol. 27 (1956), 324—335; Chernoff and Savage, Asymptotic
normality and efficiency of certain nonparametric test statistics,
Ann. Math. Stat., vol. 29 (1958), 972—994; van der Waerden,
Order tests for the two-sample problem and their powers, Koninkl.
Ned. Acad. Wetenshap., Proc., ser. A, vol. 55 (1952), 435—458
and vol. 56 (1953), 303—316.
8]
ЗАДАЧА СРАВНЕНИЯ ДВУХ ВЫБОРОК
327
ливыми, если т/п и m*/n* стремятся к общему пределу
р, 0 < q < оо, когда п -> со. Асимптотические результаты
хорошо согласуются с теми, которые найдены для выбо-
рок малого объема по крайней мере в случае нормального
распределения F.
Для проверки гипотезы G — F при двусторонней аль-
тернативе, состоящей в том, что величины У стохасти-
чески меньше или больше величин X, можно применить
двусторонний вариант рассмотренных выше критериев.
В частности, если т = п, то (17) подсказывает, что кри-
тическую область здесь можно взять в виде
\Yh(S})-^h(ri)\>C.
Теория этих вопросов, однако, здесь находится на менее
удовлетворительном уровне, чем для случая односторон-
них гипотез. Так, например, для двустороннего критерия
Вилкоксона с h(k) - к и других подобных критериев даже
не известно, являются ли они несмещенными при рас-
сматриваемых двусторонних альтернативах или будут
допустимыми в классе всех ранговых критериев. С дру-
гой стороны, относительная асимптотическая эффектив-
ность их та же, что и для случая односторонних альтер-
натив.
Гипотеза G = F для двух выборок может также про-
веряться при общей альтернативе F. Эта задача воз-
никает, скажем, при решении вопроса о том, можно ли
два продукта, два множества данных и т. п. объединить
вместе, когда ничего не известно о характере их распреде-
лений. Поскольку на альтернативные распределения
не налагается ограничений, проблема остается инвариант-
ной при всех преобразованиях
i = l, j =
таких, что функция / имеет только конечное число раз-
рывов. Не существует критериев, инвариантных относи-
тельно этой группы, за исключением только критерия
ф (х, у) = а.
Этот критерий, однако, не является допустимым, по-
скольку существуют критерии для Н, строго несмещен-
ных при всех альтернативах G =/= F (задача 34). Наиболее
часто к рассматриваемой задаче применяется критерий
328
ИНВАРИАНТНОСТЬ
[гл. 6
Смирнова, состоящий в следующем. Пусть выборочные
функции распределения двух выборок определены по фор-
мулам
, Л/п (2) = — , , Уп (z) — — ,
где а и Ъ — число х и у, меньших или равных z соответ-
ственно. Тогда гипотеза Н: G = F отвергается*), если
sup | Sxi, . . ., xm (z) Sy1} ...,yn (z) | > C.
z
9. Гипотеза симметрии
В разделе 7 было показано, что проверка гипотезы
об отсутствии эффекта обработки методом парных срав-
нений сводится с помощью принципа инвариантности
к проверке гипотезы
Я': D (z)-\- D ( — z) = l для всех z,
т. е. к проверке того, что распределение D разностей Zt =
= Yt — Xi (i = 1, ..., N) симметрично относительно начала
координат. Распределение D может быть описано трой-
кой (q, F, С), где
q = P{Z<0}, F(z) = Р {IZI <z IZ < 0},’
G (z) = P {Z<z | Z > 0].
В этих терминах гипотеза симметрии распределения отно-
сительно начала координат будет эквивалентна гипотезе
н- е = |, G = F.
Как было показано, инвариантность и достаточность
редуцируют данные к рангам Si < ... < положитель-
ных величин Z в ряду абсолютных значений |ZX|, ...
..., |Ztf|. Вероятность, что Sx — sx, ..., Sn~sn, равна
*) Обзор, посвященный теории этого и других сходных кри-
териев, содержащий также ссылки на относящиеся к ним таблицы,
дал Darling, The Kolmogorov—Smirnov, Cramer-von Mises
tests, Ann. Math. Stat., vol. 28 (1957), 823 — 838. Детальное изу-
чение распределения соответствующей статистики при гипотезе
равенства провел Hodges, The significance probability of the
Smirnov two-sample test, Arkiv Mat., vol. 3 (1957), 469 — 486.
9]
ГИПОТЕЗА СИММЕТРИИ
329
вероятности этого события при условии, что п задано,
помноженной на вероятность того, что число положи-
тельных наблюдений равно п. Следовательно,
Р {^l-$1» • • • > Sn-—
5n = S„|n},
где последний сомножитель дается формулой (18). Если
справедлива гипотеза Н, то эта вероятность равна
4
Sn — ,
N
ДЛЯ каждой ИЗ 2 (n) — ^N групп («1, s„), удовле-
п=0
творяющих условию 1 < $1 < ... < sn< N. Поэтому каж-
дый ранговый критерий уровня a~k/2N отвергает гипо-
тезу в области, состоящей в точности из к таких точек
(5Ь ..., sn).
Альтернатива К о благоприятности эффекта применя-
емого способа обработки характеризуется тем, что слу-
чайная величина Z стохастически больше, чем некото-
рая случайная величина, симметрично распределенная
около 0. Представляется естественным искать область,
где гипотеза Н отбрасывается, в виде h (51) + ...
... + h (sn) > С, здесь п не будет постоянным, как и в за-
дачах о двух выборках, но зависит от результатов наблю-
дений. Частными случаями являются одновыборочный кри-
терий Вилкоксона с h(s) = s и аналог критерия Фишера —
Иэйтса с h(s) = Е где < ... < — упорядо-
ченные значения величин | Vi |, ..., | Fjy |, причем Vi обра-
зуют выборку из распределения 7V(0, 1). Тем самым W
здесь образуют упорядоченную выборку объема N из
распределения с плотностью, равной j/2/л e-w2/a для яу>0.
Как и в задаче о двух выборках, можно показать, что
каждый из этих критериев является наиболее мощным
(среди всех инвариантных критериев) для некоторых аль-
тернатив и что они оба оказываются несмещенными при
альтернативах класса К. Их асимптотическая эффектив-
ность по сравнению с ^-критерием, служащим для про-
верки того, что среднее значение Z равно нулю, имеет те
же самые значения 3/ли 1 соответственно, как и для ана-
330
ИНВАРИАНТНОСТЬ
[гл. 6
логичных двувыборочных критериев, если предположить,
что случайные величины Z нормально распределены.
В некоторых приложениях, например тогда, когда
выводы приходится делать на основе данных, полученных
при разных экспериментальных условиях или разными
методами, было бы нереально считать величины Zx, . . .
. . ., ZN одинаково распределенными. Вместо этого пред-
положим, что Zj все еще остаются независимыми, но их
(непрерывные) распределения Di произвольны. Проверяе-
мая гипотеза состоит в том, что каждое из этих распреде-
лений симметрично относительно точки О.
Эта задача остается инвариантной при всех преобра-
зованиях = ft(zifa г = 1, . . TV, где функции fa
непрерывны, нечетны и строго возрастают. Максимальным
инвариантом здесь является число положительных наблю-
дений и, как это следует из примера 7, существует РНМ
инвариантный критерий, а именно критерий знаков, от-
клоняющий проверяемую гипотезу, когда п достаточно
велико. Этот критерий отражает тот факт, что размеры
самих наблюдений или их абсолютных значений можно
всецело объяснить в терминах «разброса» распределений
Di, так что существенны только знаки величин Z.
Часто случается, что величины Z разумно считать
одинаково распределенными, но доверять всецело этому
предположению не представляется возможным. В этом
случае предпочтительнее было бы использовать инфор-
мацию, содержащуюся в рангах st, но потребовать, чтобы
применяемый критерий позволял контролировать вероят-
ность ложного отбрасывания гипотезы даже и тогда, когда
сделанное предположение неверно. Как показывает ниже-
следующая лемма, это требование на самом деле выпол-
няется для каждого (симметричного) рангового критерия.
Фактически, лемма не требует даже независимости вели-
чин Z; будет показано, что каждый симметричный ранговый
критерий сохраняет установленный уровень значимости,
если только внутри каждой пары предмет обработки выби-
рается случайным образом.
Лемма 3. Пусть ф (иь . . ., zN) — симметричная
функция от N переменных такая, что
£dT(Zi, ...,ZN) = a, (20)
10]
ИНВАРИАНТНЫЕ ДОВЕРИТЕЛЬНЫЕ МНОЖЕСТВА 331
когда величины Z образуют выборку из некоторого непре-
рывного распределения D, которое симметрично относи-
тельно начала координат, тогда
Eq> (Zi, ..., Zn) = а, (21)
если совместное распределение Z не меняется при 2N пре-
образованиях Z' = ±Zi, . . ± Z'N = ±ZN.
Доказательство. Из условия (20) вытекает, что
3 3 Ф (± • • • ’ z}- )/(2N-2V!) = а ПОЧТИ всюду, (22)
(л. N
где внешнее суммирование распределено на все 7V! пере-
становок (/i, ]N), а внутреннее — на все 2N возмож-
ных выборов знаков 4 и — . Этот факт устанавливается
в точности так же, как и в теореме 3 главы 5. Если
к тому же функция ф симметрична, то из (22) следует,
что
3 *Р = а. (23)
Предположим, что распределение Z инвариантно отно-
сительно указанных выше 2N преобразований. Тогда
условная вероятность каждой комбинации знаков вели-
чин Zi, ...,ZN при заданных |Zi|, ..., | Zn | равна 1/2N.
Следовательно, (23) эквивалентно тому, что
2 [ф (21, ..., ZN) 11Z11, ..., IZN |] = а почти всюду, (24)
откуда следует (21), что и надо было показать.
10. Инвариантные доверительные множества
Доверительные множества для параметра 0 при нали-
чии мешающих параметров '0 рассматривались в главе 5
(разделы 4 и 5) в предположении, что параметр 0 —
действительный. Соответствие между областью Л(0О),
где принимается гипотеза Н (0О): 0 = 0о, и доверительным
множеством S (х) для 0 задается формулами (34) и (35)
главы 5. Однако оно не зависит от этого предположения
и выполнено независимо от того, является ли 0 дейст-
вительным числом, вектором или служит только для
332
ИНВАРИАНТНОСТЬ
[гл. 6
обозначения неизвестной функции распределения (в по-
следнем случае доверительные интервалы становятся
доверительными границами для функции распределения).
Указанное соответствие, которое можно выразить в виде
соотношения
0g£ (#), тогда и только тогда, когда ж^И(0) (25)
служило основой для получения равномерно наиболее
точных и равномерно наиболее точных несмещенных
доверительных множеств. В настоящем разделе это соот-
ношение будет использовано для получения равномерно
наиболее точных инвариантных доверительных множеств.
Мы начнем с определения инвариантности для дове-
рительных множеств. Пусть G —группа преобразований
переменной X, сохраняющая семейство распределений
{Ре> ф(0, 0) g Q}, a G — индуцированная группа преобра-
зований на Q. Если g(0, 0’) = (0', '0*'), то мы будем пред-
полагать, что 0' зависит только от g и 0, но не от *0*,
так что g индуцирует преобразование в пространстве
значений параметра 0. Чтобы не усложнять обозначений,
будем писать 0' = £0. Для каждого преобразования g £ G
обозначим через g* преобразование множеств S в про-
странстве параметра 0, определенное формулой
g*5 = {i0:0 6S}, (26)
так что g*S есть множество, полученное применением
преобразования g к каждой точке 0CS. Каждая довери-
тельная процедура, задаваемая классом доверительных
множеств S (х), будет называться инвариантной относи-
тельно группы преобразований G, если
g*S (х) = S (gx) для всех х ggG. (27)
Это определение является частным случаем примене-
ния общего принципа инвариантности, рассмотренного
в главе 1. Если преобразование g интерпретировать как
замену системы координат, то (27) означает что довери-
тельные множества не зависят от координатной системы,
в которой выражены исходные данные. Утверждение, что
преобразованный параметр g9 лежит в S (gx), эквивалентно
10] ИНВАРИАНТНЫЕ ДОВЕРИТЕЛЬНЫЕ МНОЖЕСТВА 333
тому, что 0 G g*~rS (grc), а это эквивалентно первоначаль-
ному утверждению, что ft£S(x), если только выполнено
условие (27). .>
Пример 11. Пусть X, У—независимые нормально распре-
деленные величины со средними g, т] и единичной дисперсией,
и пусть G—группа всех движений плоскости, которая порождается
всеми сдвигами и ортогональными преобразованиями. Здесь g = g
для всех g € б?. Инвариантный класс доверительных множеств
образуют, например, все круги радиуса /Сис центром в (а?, у):
*/) = {& П): (*, S)2 + (3/+n)2<Q,
Множество g*S (х, у) — это множество всех точек g (£, ц)
с (?» Л) € $ У) и, следовательно, получается, если 5 (х, у)
подвергнуть движению g. В результате получится окружность
радиуса У С с центром g (х, у)', тем самым условие (27) удовле-
творяется.
В соответствии с определением, данным в главах 3
и 5, класс доверительных множеств для 0 будет назы-
ваться равномерно наиболее точным инвариантным клас-
сом с доверительным уровнем 1 —а, если среди всех
инвариантных классов множеств с этим уровнем он мини-
мизирует вероятность
Р0,#{0' для всех 0'=/=0.
Чтобы из семейства РНМ инвариантных критериев
получить доверительные множества с этим свойством,
изучим соотношение между инвариантностью доверитель-
ных множеств и связанных с ними критериев.
Предположим, что для каждого 0О существует группа
преобразований Gqq, которая сохраняет инвариантной
задачу проверки гипотезы Н (0О): 0 = 0О. Пусть G — группа
преобразований, порожденная совокупностью групп Gq.
Лемма 4. (I) Пусть S (х) — любой класс довери-
тельных множеств, который инвариантен относительно
группы преобразований G, и пусть А (0) = {х : 0 £5 (ж)};
тогда область принятия -4(0) инвариантна при Gq для
каждого 0.
(II) Если, кроме того, для каждого 0О область при-
нятия 4(0О) является РНМ инвариантной для гипотезы
Н (0О) уровня а, то класс доверительных множеств S (х)
будет равномерно наиболее точным среди всех довери-
тельных множеств доверительного уровня 1—а.
334= ЙЙВАРЙАНТНОСТЬ [гл. ё
Доказательство. (I) Рассмотрим некоторое фи-
ксированное 0 и пусть g£GQ. Тогда t
gA (0) = {gx : 0 € s (х)} = {ж : 0 С S (g"1x)} =
= {ж:0€?*-1^(ж)} = {ж:^0е5(ж)} =
= {ж:0€5(ж)} = 4(0).
Здесь третье равенство выполнено, так как S (х) инва-
риантно, а пятое — поскольку g^Ge и, следовательно,
g0 = 0.
(II) Если S' (х) есть некоторый другой инвариантный
класс доверительных множеств с заданным уровнем, то
соответствующие области Л'(0), согласно (I), определяют
инвариантные критерии для гипотез Н (0). Отсюда сле-
дует, что эти критерии являются равномерно не более
мощнымичем критерии с областями принятия ^4(0).
Следовательно,
^е,${0'€5Чх)}<Р0, #{0'££'(я)} для всех 0'^0,
что и надо было показать.
Из этой леммы непосредственно следует, что если для
каждой гипотезы И (0) (инвариантной относительно Gq)
найдены РНМ инвариантные области А (0) и если дове-
рительные множества S (х) = {0 : х £ А (0)} инвариантны
относительно G, то эти множества являются равномерно
наиболее точными инвариантными доверительными мно-
жествами.
Пример 12. В предположениях, сделанных в примере И,
задача проверки гипотезы g = g0, *П — По инвариантна относительно
группы С?£о ортогональных преобразований около точки (£оцо):
—£о = йи (-ЗГ — ?о) + а12 С^'^'По)»
У' — Т]о = «21 (^"“£о) + й22 *no)»
где матрица ац ортогональна. Относительно этой группы преоб-
разований существует РНМ инвариантный критерий с областью
принятия гипотезы (задача 8 главы 7)
(АГ-^0)2 + (У-ц0)2<С.
Пусть Gq — наименьшая группа, содержащая группы п для
всех g, гр Поскольку эта группа является подгруппой груп-
пы G примера 11 (эти две группы в действительности совпа-
дают, но сейчас это несущественно), то доверительные множества
11]
ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ
Зз5
(X—g)2+(Y—г])2 < С инвариантны при Go и, следовательно,
являются среди инвариантных равномерно наиболее точными.
Пример 13. Пусть Xit ..., —независимые, нормально
распределенные величины со средним g и дисперсией о2. Построе-
ние доверительных интервалов для g основано на решении задачи
о проверке гипотезы Н (g0) = которая инвариантна относи-
тельно группы (%0 преобразований Х\ = а (Jj — g0) -j-g0 (а ¥=0).
РНМ инвариантный критерий для Н (g0) имеет область принятия
/(»-!) »|X-jol
у 2 Нг-^)2 ’
которой соответствуют доверительные интервалы
V Ж”*)2 <* <
у п (п—1)
/2(^-J)2 • (28)
у п (п — 1)
Группа G в настоящем случае состоит из всех преобразований
g : Х'^аХ^Ь (а ф 0), которая для параметра gиндуцирует пре-
образование g : g' = ag+&. Применение соответствующего преобра-
зования g* к интервалу (28) преобразует его во множество точек
ag4-&, где g удовлетворяет (28), т. е. в интервал, начальная
и конечная точки которого имеют вид
Поскольку интервал с этими концами совпадает с интервалом,
полученным заменой в (28) Xt на то доверительные
интервалы (28) инвариантны при Go и, следовательно, являются
среди инвариантных равномерно наиболее точными.
И. Доверительные границы для функций распределения
Предположим, что X = (Xi, . ..,ХП) есть выборка из
совокупности с неизвестной непрерывной функцией рас-
пределения F\ пусть надо определить нижние и верхние
границы Lx и Мх так, чтобы с заданной вероятностью
1 — а неравенства
где и любое,
336
ИНВАРИАНТНОСТЬ
[гл. 6
выполнялись для всех непрерывных функций распреде?
ленйя F. Эта задача инвариантна относительно группы G,
состоящей из преобразований
Xl = g{Xi)t f = l,...,n,
где g —любая непрерывная строго возрастающая функ-
ция. Индуцированное преобразование в пространстве
параметров задается формулой gF = F{g~1).
Если S (х) есть множество непрерывных функций рас-
пределения
S (x) = {F: Lx(u)^F (и)^Мх(и) для всех и},
тогда
g*S (x) = {gF: Lx(u)^F (u)<Mx(u) для всех u} =
= {F:LX [g’1 (a)| < F (u) < Mx [g"1 (u)] для всех и}.
Для инвариантных процедур это множество должно
совпадать с множеством
S (gx) = {F: £<(Ж1),.... g(Xn) (и) <F(u)<
...g(xn)(u) Для всех и}.
Поэтому принцип инвариантности приводит к условию
, g(xn) [g (tt)] ~ Mx (x)
для всех x и u.
Чтобы охарактеризовать совокупность инвариантных
процедур, рассмотрим выборочную функцию распределе-
ния Тх, задаваемую формулой
Тх (и) ~ -j- для х(1У < и < я(г+1), 1 = 0, ..., п,
где хау < ... < х(пу — упорядоченная выборка и где
х(0) = — оо, я(п+1) = со. Тогда необходимое и достаточное
условие для того, чтобы L и М удовлетворяли указан-
ному выше условию инвариантности, состоит в суще-
ствовании чисел а0, ...» ап\ а'п таких, что
Lx(u) = ait Mx(u) = a’i для x{iy < и < я(г+1).
Что это условие достаточно, видно непосредственно.
Для доказательства необходимости обозначим и и и' две
11]
ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ
337
точки, удовлетворяющие условию ха) < u < w' <
Для заданных у1у ..., уп и v с уа) < v < уа+1) сущест-
вуют g, g' £G такие, что
8(v) = u, g’(v) = ur.
Если Lxy Mx инвариантны, то Lx (и') = Ly (v), Lx (u) = Ly(v)
и, следовательно, Lx(u') = Lx(u); аналогично этому
Mx(u') = Mx(u), что и требовалось доказать. Это пока-
зывает, что Lx и Мх будут ступенчатыми функциями,
точки разрыва которых совпадают с точками разрыва 7'х.
Поскольку каждые две непрерывные строго возра-
стающие функции распределения могут быть преобразо-
ваны друг в друга посредством преобразования g,. то
вероятность того, что они будут накрыты инвариантной
доверительной полосой (см. задачу 48), одна и та же.
Предположим теперь, что F непрерывна, но не обяза-
тельно строго возрастает. Если I есть некоторый инте-
рвал постоянства F, то наблюдения не попадают в 7,
так что I является интервалом постоянства так же и для
выборочной функции распределения. Отсюда следует, что
вероятность доверительной полосе накрыть F не зависит
от наличия интервала I и, следовательно, имеет одно
и то же значение для всех непрерывных функций рас-
пределения F.
Для любых чисел аг-, а\ определим Дг, Д< посредством
соотношений
a* = V~Ai’ а* = 7г+Д*-
Из сказанного выше видно, что любые числа До, ..., Дп;
Д', ...,Дп определяют доверительную полосу для Fy
которая инвариантна, и, следовательно, имеет постоян-
ную вероятность накрыть распределение F. С помощью
этих доверительных областей может быть получен кри-
терий согласия для гипотезы о том, что неизвестное F
равно некоторому Fo: F = F0. Гипотеза принимается,
если Fq лежит целиком внутри полосы, т. е. если
— Д/ < Fq(u) — Тх(и) < Д{ для всех < и < z(i+1)
и всех i = 1, ..., п.
Внутри этого класса не существует РНМ критерия и наи-
более удобен выбор Дг- = Д'г = Д для всех i. Область,
22 э. Леман
338
ИНВАРИАНТНОСТЬ
[гл. 6
в которой для этого критерия, называемого критерием
Колмогорова ♦), принимается гипотеза F = Fq, может быть
тогда записана в виде
sup \F0(u)-Tx(u)\ < А.
—oo<u<oo
Этот критерий является предельным случаем двувыбо-
рочного критерия Смирнова, когда число наблюдений
во второй выборке стремится к бесконечности.
12. Задачи
К разделу!
1. Пусть G—группа измеримых преобразований пространства
(^, J£), оставляющая семейство ^={Pq, 0 g Q} инвариантным,
и пусть Т (х) — измеримое отображение в пространство (г/, «$).
Предположим, что из Т (zj)—Г (z2) вытекает, что Т (gxfi — T (ga?2)
для всех g£G так, что G индуцирует группу G* на с/ с помощью
соотношений g*T (х) — Т (gx). Предположим далее, что индуци-
руемое преобразование g* ^-измеримо. Тогда группа G* остав-
ляет семейство распределений $>т=^{рТ, 0 g Q} на Т инвариантным.
К разделу 2
2. (I) Пусть —совокупность точек х = (х^ %n)f все
координаты которых отличны от нуля, и пусть G—группа пре-
образований х'—сх;, с>0. Тогда максимальным инвариантом
относительно группы G является (sgna:n, xl/x7l, ..., ^п-1/хп), гДе
sgn х равно 1 или —1, когда х положительно или отрицательно.
(II) Пусть ^ — пространство точек х — (х± ..., ггп), все коор-
динаты которых различны, и пусть G — группа всех преобразо-
ваний s: = /(a;$), г = 1, .л, таких, что / есть взаимно однознач-
ное отображение действительной прямой на себя с самое большее
конечным числом точек разрыва. Тогда группа G транзитивна
на Я7.
*) Обзор, посвященный теории этого и других связанных
с ним критериев (включая и критерии согласия для того случая,
когда рассматриваемые гипотезы относятся не к одному-един-
ственному распределению, а к целому параметрическому семей-
ству), дано в работе: Darling, The Kolmogorov—Smirnov,
Cramer—von Mises tests, Ann. Math. Stat., vol. 28 (1957), 823—838.
Эта статья содержит также ссылки на необходимые таблицы.
Некоторые вопросы, относящиеся к односторонним критериям,
обсуждаются в статье: Chapman, A comparative study of seve-
ral one-sided goodness-of-fit tests, Ann. Math. Stat., vol. 29 (1958),
655 — 674.
12]
ЗАДАЧИ
339
[(II) Пусть х = {х^ ..хп) и х'~(х^ х„) —две точки
из ЭР. Пусть Z1? ..., Zn—множество непересекающихся полу-
интервалов, которые (вместе с их концевыми точками) покрывают
действительную прямую и такие, что xj £ Z;. Обозначим ZJ, ..., Гп
соответствующие множества интервалов для х^, ..., х'п. Тогда
существует преобразование /, которое отображает каждое Ij непре-
рывным образом в Z'-, точки xj—в х'-, и множество из п — 1 кон-
цевой точки интервалов Zx, .1п—в множество концевых точек
интервалов Zj, ..., Гп.}
3. (I) Достаточное условие для того, чтобы (8) было выпол-
нено, состоит в том, что D есть нормальная подгруппа G.
(II) Если G есть группа преобразований х' = ах-\-Ь, а О,
—оо<&<оо, тогда подгруппа сдвигов х' = х-[-Ь является нор-
мальной, подгруппа же преобразований х' = ах таковой не будет.
[Подгруппа называется нормальной, если для каждых d £ D, g £G,
существует d' С Z) такой, что gd~d'g. Из равенства 5 (x^ — s (х2)
следует, что а?2 —Для некоторого d£D и, следовательно,
ex2~edxi —d'ex^ Результат пункта (I) немедленно вытекает
из того, что преобразование $ инвариантно при 2).]
К разделу 3
4. Пусть j (хь у) — совместная плотность величин JV, У. Тогда
оо
интеграл h(z)~ f (у — z, у) dy конечен для почти всех z и яв-
—00
ляется плотностью вероятности для Z = Y—X.
ъ
£ Поскольку P{Z^.b} = h (z) dz конечна, то функция h ко-
—оо
нечна почти всюду. J
5. (I) Пусть Х=(ХА, ..., Хп) — случайный вектор с плот-
ностью (l/O^/K^ —g)/0, ..., (хп — g)/6], где — oo<g<oo, 0<0
неизвестны и где / есть четная функция. Задача проверки гипо-
тезы /=/о ПРИ альтернативе f = fi остается инвариантной отно-
сительно преобразований x'~aXi-\-b (г = 1, ..., п), а =/= 0, —оо<
< b <со, и наиболее мощный инвариантный критерий отвергает
гипотезу /~/0 в области
оо оо
(vx^ + и, ..., vxn + и) dv du >
—оо О
00 00
> С vn~2fo (^i + w, ..vxn~{-u) dv du.
—оо О
22*
340
ИНВАРИАНТНОСТЬ
[гл. 6
(II) Пусть Х = (Хр ...,Хп) имеет плотность вероятности
h k
f (xi~~ 2 •••> xn— 2 *<Л> величины w за-
j=l j=l
даны, а величины |3 неизвестны. Желательно проверить гипоте-
зу /=/0 при альтернативной гипотезе Эта задача остает-
h
ся инвариантной при преобразованиях х^ = х^ 4~ 2
j=l
—oo<Yp .Ya<со, и наиболее мощный инвариантный крите-
рий характеризуется критической областью
$ • • pl (*1 — 2 • • • *П— atoPj) ... dfjh >
J • • • J /о (®i—2®1УРл • • •, »n—So'n/Pj) ... dp*
[Максимальным инвариантом является функция
п п
у = (а?1 2 airxrt х2 2 а2гхт> хп—k~~
r—n—А+1 г=п—А+1
п
2 an—k, тхг )
т=п—А+1
с надлежащим образом подобранными константами а$г.]
6. Пусть Xp...,Xm; Yit Yn — выборки из экспонен-
циальных распределений с плотностями ог-1е”(х~£Уа для а; > £
и для у>т).
(I) В проверке гипотезы т/а < & при альтернативе т/а > Д
существует РНМ критерий, инвариантный относительно группы
преобразований G:
Х'х — аХ^Ь, Yj — aYj-Yc, а>0, —оо<&, с<оо.
Гипотеза отвергается в области
min(yp ..., Уп)]
S [xt — min (a?i, ..., xm)]
(II) Этот критерий является также РНМ несмещенным.
(III) Распространить эти результаты на тот случай, когда
наблюдаются только г наименьших значений X и S наименьших
значений У.
[(II) См. задачу 12 главы 5.]
7. Если ...,ХП и Ур ..., Yn — выборки из нормальных
распределений N (£, а2) и N (т], т2) соответственно, то задача
проверки гипотезы т2=а2 при двусторонней альтернативе т2 =# а2
остается инвариантной относительно группы G, порожденной
преобразованиями
Xi^aXi+b9 Yi = aYi+c, а =/= 0 и Х1 = Уг, У1 = ХЬ
12]
ЗАДАЧИ
341
Существует РНМ инвариантный
отклоняющий гипотезу в области
относительно G критерий,
Ж = тах
f S (У;-У)2
IS (Xf —X)2
-| > !(
2(Yi—Yp J
[Отношение плотностей вероятностей величины W, подсчитываемое
в предположении т2/о2=А и т2/о2=1, пропорционально
[(1+ш)/(Д+^)]п“‘1+[(1+^)/(1+Д^)1п“1 Для ^>1- Производ-
ная этого выражения ^>0для всех А.]
К [разделу 4
8. (I) Воспользовавшись критерием 1(11) для проверки гипо-
тезы H:p^.Pq при альтернативе К:р>р0» определить число
необходимых наблюдений для получения мощности р, если этот
критерий применяется для проверки гипотезы р = р4, а=0,05,
р = 0,9 для случаев ро = О,1, 74 = 0,15; 0,20; 0,25; ро = О,О5,
/4 = 0,10; 0,15; 0,20; 0,25; р0=0,01, ^ = 0,02; 0,05; 0,10; 0,15; 0,20.
(II) Сравнить полученный результат с числом наблюдений,
требуемых в том случае, когда проверка производится по качест-
венному признаку, т. е. критерий основывается на суммарном
числе дефектных изделий, и также со средним числом наблю-
дений, если для проверки гипотез р0 и pi применяется бино-
миальный последовательный критерий отношений вероятностей.
9. Последовательный t-критерий. Гипотезу р^Ро» что экви"
валентно Уп £/а<Сдо, рассмотренную в разделе 4, можно про-
верять с помощью следующего последовательного /-критерия.
Пусть б0 <di,
»1 + • • • +#пЛ2 „ + — (^1+ • • • А~хп)/Уп
» ) П~1 ‘
Если рб(/15 ..., ?n-i) обозначает совместную плотность величин
/р ...» /п-1» то наблюдения продолжаются, если
Ло <
fdl (*1>
Рбо«1’
*п-1)
гп-1)
<А.
и при первом нарушении одного из этих неравенств гипотеза
принимается или отвергается в зависимости от того < Ао или
вероятностное отношение.
(I) Можно показать *), что эта процедура заканчивается
с вероятностью единица. Используя этот факт, показать, что
неравенства (34) главы 3 выполнены в настоящем случае.
*) David and Kruskal, The Wagr sequential t-tes
reaches a decision with probability one, Ann. Math. Stat., vol.
27(1956), 797—805 and vol. 29 (1958), 93§.
342
ИНВАРИАНТНОСТЬ
[гл. 6
(II) Эта процедура очень проста и может быть основана на
таблицах плотности нецентрального £-распре де ления, если заме-
тить, что
Рбх (*1> •• •> *n-i) Pdi (*n-i)
Z’6o(zH •••> ^n-l) Pbottn-l)
где p& (*n-i) есть плотность нецентрального ^-распре деления,
задаваемого формулой (75) главы 5 с —
(III) Интересно отметить, что это отношение вероятностей
может быть представлено как отношение плотностей первона-
чальных величин Х1? ..., Хп, усредненных по инвариантной
(относительно умножения на число) мере ^cf/cf; так что оно равно
оо
5 (/2Й5)П ехр [ ~ 252 S
ОО
| (/2S5)"eXP [ “2^ 2 (ж«-боа)2 ] -5-
[(I) Доказательство проводится аналогично доказательству
формулы (34) главы 3.
(II)*).
(III ) Сделать преобразование гг=г7б и сравнить с отноше-
нием /&£.]
10. Двусторонний t-критерий. (I) Пусть ..., Хп—вы-
борка из N (|, б2). В задаче различения гипотез £=0 и g =£ 0
существует РНМ инвариантный критерий (относительно группы
преобразований Х'^сХ^ с #= 0), являющийся двусторонним £-кри-
терием (17) главы 5.
(II) Пусть Х^ ...,Хт и Yp ..., Yn — выборки из Д’(£, б2)
и N (ц, б2) соответственно. При проверке гипотезы ц = | при
альтернативе Ц =^= £ существует РНМ инвариантный относительно
группы преобразований Х'^аХ^Ь, Y'.= aYj-\-b, а 0, кри-
терий, а именно двусторонний ^-критерий (30) главы 5.
[(I) Достаточность и инвариантность редуцируют задачу к 11|,
который в обозначениях раздела 4 имеет плотность вероятности
(*)+/>$ (—•*) для Отношение этих плотностей при 6 — 64
♦) В работе Сох, Sequential tests for composite hypotheses,
Proc. Camb. Phil. Soc., vol. 48 (1952), 290—299, дано дока-
зательство (II), основанное на тех фактах, что х^п и sn
являются достаточными статистиками для (§, б), что tn_i есть
максимальная инвариантная функция от этих достаточных ста-
тистик относительно изменения масштаба и что ..., tn_i инва-
риантны при этих преобразованиях. Сходным методом в этой
работе разобрано несколько других примеров,
12]
ЗАДАЧИ
34з
оо
и 6 = 0 пропорционально (e61V4"e~"61V) g^ (v) dv, что является
о
возрастающей функцией от t2 и, следовательно, от 11|.]
11. Проверка гипотез о коэффициенте корреляции. Пусть
(Хь Ух), ...» (Xn, Yn) — выборка из двумерного нормального рас-
пределения.
(I) В задаче проверки гипотезы Q < Qo ПРИ альтернативе Q > Qo
существует РНМ критерий, инвариантный относительно группы
всех преобразований Х'—аХ^Ь, Y\ — cYi-\-d с а>0 ис>0.
Согласно этому критерию гипотеза отвергается, когда выбороч-
ный коэффициент корреляции R достаточно велик.
(II) Задача проверки гипотезы Q--0 при альтернативе Q #= 0
остается инвариантной еще и при преобразованиях Y'~—Y
X'—Xi, Относительно группы, порожденной этим преобразованием
и преобразованиями из (I), существует РНМ инвариантный кри-
терий с областью отклонения гипотезы | R | >> С.
[(I) Показать, что плотность вероятности Рр(г) для R имеет
монотонное отношение правдоподобия, применить условие из гла-
вы 3 (задача 6(1)) к выражению (85) для этой плотности, дан-
ному в главе 5. Полагая t — Qr — 1, для второй производной
д2 log рр (г)/д§ dr получим выражение
оо
2 [(/_ f)2 (f_l) + (i+/)]
i, j—О_____________________________
оо *
2 [2 <^]2
г=0
Для доказательства того, что числитель положителен для всех
t > 0, заметим, что он больше, чем
2 2 егГ-2 2 +
г=0 j=i+l
1
Фиксируя индекс i и употребляя неравенство с;+1 < с/, полу-
чим, что во внутренней сумме коэффициент при V будет > 0.]
12. В задаче проверки гипотезы о том, что коэффициент
корреляции Q двумерного нормального распределения будет
определить мощность, если альтернатива состоит в том, что
Уровень значимости а равен 0,05, ро = О,3, Qt=:0,5 и число
наблюдений п равно 50; 100; 200.
К разд ел у 5
13. Почти инвариантность критерия ср относительно группы
преобразований G задачи 7 и примера 6 влечет за собой тот факт,
что ср эквивалентно некоторому инвариантному критерию.
ИНВАРИАНТНОСТЬ
[гл. 6
344
К разделу 6
14. Рассмотрим задачу проверки гипотез, которая инвариантна
относительно группы G преобразований пространства выборок,
и пусть % — класс критериев, замкнутый относительно G, т. е.
из условия ф С следует ф£ g g, где ф£—критерий, определен-
ный формулой Ф£ (#) = ф (##)• Если в этом классе существует
единственный с точностью до множеств меры О РНМ критерий ф0,
тогда ф0 является почти инвариантным.
15. Огибающая функция мощности. Пусть 5 (а)—класс кри-
териев уровня а для гипотезы ZT, и пусть fia (6) —огибающая
функции мощности, определенная соотношением
₽а (0) = sup (0),
0 6 S (а)
где рф обозначает функцию мощности критерия ф. Если задача
проверки гипотезы Н инвариантна относительно группы G, то
0а (0) инвариантна относительно преобразований индуцированной
группы G.
16. Обобщением равенства (1) служит соотношение
$ f(x)dPe(x)=^ f(g-^)dP-Q(x),
A gA
(II) Если Р01 абсолютно непрерывна относительно меры Р0о,
тогда Р-^ абсолютно непрерывно относительно Р-§ и
dP01 dp^
dF1' = dP- (Р0о’почти вС1°ДУ)-
0о £00
(III) Распределение плотности dP§ ldP$ (X), когда X распре-
делено по закону Р0о, то же самое, что и распределение вели-
чины dP- IdP- (X'), когда X' распределено по Р- .
£01 £00 £00
17. Инвариантность отношения правдоподобия. Пусть семей-
ство распределений ^° = {Ре, 0 £ Q} доминируется мерой р, Pq =
= dPe/dp, и пусть р,£-1—мера, определенная соотношением
jig-1 (Л) = ц [g"1 (Л)]; предположим, что мера р абсолютно непре-
рывна по мере для всех g £ G.
(I) Тогда
PQ (х) = р
£<
(II) Пусть Q и со инвариантны относительно G и счетны.
Тогда отношение правдоподобия sup pq (a?)/sup pq (x) почти инва-
Q ©
риантно относительно G.
(gx) dug-i (Ц-почти всюду).
12]
ЗАДАЧИ
345
(III) Предположим, что ре (х) — непрерывная функция по 0
для всех х, что Й сепарабельно и что Й ио инвариантны. Тогда
отношение правдоподобия почти инвариантно относительно G.
18. Пример, когда критерий отношения правдоподобия не яв-
ляется допустимым. Во многих применениях, в которых РНМ
инвариантный критерий существует, он совпадает с критерием,
основанным на отношении правдоподобия. Однако это не всегда
так, что видно из следующего примера. Пусть Р^ ..
п равноудаленных точек на окружности гг2—|-г/2 = 4 и ..
на окружности #2 + ?/2 = 1. Обозначим начало координат
скости х, у через О\ пуъть фиксировано а, 0<а< , и
,Qn-
В ПЛО-
пусть
величина (X, У) принимает 2и-]-1 значение Р4,..., Рд, ..., Qn, О
с вероятностями, задаваемыми следующей таблицей:
Pi Qi о
Я к а/п (1—2а)/п а Pi/n 0 (п—1)/п
где Задача остается инвариантной относительно враще-
ний плоскости на углы 2Лл/и (Л = 0, 1, ..., п— 1). Область, где
гипотеза Н отвергается, если пользоваться критерием отношения
правдоподобия, состоит из точек Р<, ..., Рп, и его мощность
равна 1/п. С другой стороны, РНМ инвариантный критерий
отвергает Я, когда X—Y—0, и его мощность равна (п — 1)/л.
19. Пусть G — группа преобразований пространства —
о-поле подмножеств ЯР и р—мера на , М). Тогда множество
A С называется почти инвариантным, если таковой является
его характеристическая функция (индикатор).
(I) Совокупность почти инвариантных множеств образует
о-поле J£o, и критическая функция почти инвариантна тогда
и только тогда, когда она ^-измерима.
(II) Пусть JP = {P01 0 £ Й}—доминированное семейство вероят-
ностных распределений на (^, J£), и предположим, что #0 = 0
для всех g £ G, 0 £ й. Тогда о-поле [почти инвариантных
множеств достаточно для
[Пусть X = S ciPqi эквивалентна Тогда
dPQ g-lQ dPQ .
-dk^=2-eidPg.le. W (Х'ПОЧТИ всюду)’
так что плотность почти инвариантна и, следовательно
^р-измерима. ]
346
ИНВАРИАНТНОСТЬ
[гл. 6
К разделу 8
20. Деу выбор очный критерий Вилкоксона. Пусть £7^=1 или 0,
когда Хг < Yj или Xi>Yj, и пусть C7 = SS U^—число тех пар
Хр Yp для которых Xt<Yj.
1
(I) Тогда U — ^Si—у п (n-f-1), где 5*1 < ... < <$п —ранги
величин У; таким образом, критерий с критической областью
U^>C эквивалентен критерию Вилкоксона.
(II) Любое заданное расположение xi и yj может быть пре-
образовано в расположение х... ху... у посредством конечного числа
перестановок соседних элементов. Наименьшее число шагов,
за которое заданное расположение можно перевести в указанное,
равно т-^п—U.
21. Математическое ожидание и дисперсия статистики Вилкок-
сона. Если X и У—две случайные величины с непрерывными
распределениями F и G соответственно, то математическое ожидание
и дисперсия статистики Вилкоксона £7, определенной в преды-
дущей задаче, задаются формулами
E(^)=p{x<Yi=^FdG (29)
и
mnD (JL') = J ^+(*-1) 5 (1-G)2^+
+ (m — 1) F^dG— (m+n — 1) (^ F dG^ . (30)
При гипотезе G~F они равны
е(^=^ 4^=^±1). (31)
/ 2 \mn у 12mn
22. (I) Пусть Zp ..., Zn— независимые случайные величины
с плотностями /А, ..., /п соответственно и пусть ранг величины 2$
обозначается Ту Если / есть некоторая плотность вероятности,
положительная всякий раз, когда по крайней мере одна из функ-
ций fi положительна, то
piT -t Т -t 1 1
PfTi-ib | J , (32)
где 7<!>< ... <yW—упорядоченная выборка из распределения
с плотностью /.
(II) Если = = fm+p=... = fm+n = g
и обозначают упорядоченные ранги величин
Zm+1, ...» Zm+n среди всех Z, то распределение вероятностей
величин iSp ..., Sn задается формулой (18).
12]
ЗАДАЧИ
347
[(I) Искомая вероятность равна \ ... \ Д 04).../# (z^) dz ...dzN,
интегрирование производится по множеству, в котором
zi есть ti~e наименьшее из чисел z, г = 1, N. При преобра-
зовании wt —Zi интеграл становится равным \ ... \
/и (“’i
dWi... dwx,
где интегрирование производится по мно-
жеству и?! < ... < Желаемый результат теперь следует из того
факта, что плотность вероятности порядковой статистики 7<1> < ...
равна 7V! / (г^4)... / (wN) для Wf < ... < wN.]
23. (I) Для каждой непрерывной функции распределения F
определим /7-1 (0) = — оо, F-1 (у) = inf {х: F (х) = у}, для 0 < у < 1,
/7-1(1) = оо, если F (х) < 1 для всех конечных а?, и в противном
случае 7^-1 (y) = inf {х : F (х) — !}. Тогда F [/7-1 (г/)] = у для всех
но [F (у)] может быть и меньше у.
(II) Пусть Z имеет непрерывную функцию распределения
G (z) —h [F (z)], где F и h—непрерывные функции распределения,
последняя из которых определена на (0, 1). Если У = /7 (Z), тогда
P{Y< У}=Ь(у) Для всех 0<у<1.
(III) Если Z имеет непрерывную функцию распределения F,
тогда F (Z) равномерно распределено на (0, 1).
[(II) Р {F (Z) < y} = P{Z < F-i (y)} = F [F-1 (г/)] = у.]
24. Пусть Zi имеет непрерывную функцию распределения
Fi(i — 1, ..., N) и пусть G—группа всех преобразований Zi =
= /(Z^ таких, что / непрерывна и строго возрастает.
(I) Преобразование, индуцируемое функцией / в пространстве
распределений, задается формулой Fi = Fi (У-1).
(II) Две ТУ-элементные группы распределений (Fj, ..., F^)
и(F{, .Fn) принадлежат к одной и той же траектории, отве-
чающей преобразованию G тогда и только тогда, когда суще-
ствуют непрерывные функции распределения h{, ..., опреде-
ленные на (0, 1), и строго возрастающие непрерывные функции F
и F' такие, что Fi = hi(F), Fi = hi(F').
[(I) Р {f (Zi) < у} = P {Zi < /-1 (г/)} = Fi [/“1 (г/)].
(II) Если Fi = hi(F) и Fi принадлежат одной и той же траек-
тории, т. е. Fi = Fi (У-1), тогда F'i = hi(F/) с F, = F(f~1). Обратно,
если Fi — hi(F), Fi = hi(F'), тогда Fi = Fi(f~1) с f=F'~1 (F).]
25. В предположениях предыдущей задачи, при Fi~hi(F)
распределение рангов Ti9 ..., TN величин Z1? ..., Z# зависит
только от но не от F. Если функции hi дифференцируемы,
то распределение Ti задается формулой
р<т t т _f ,оох
= ..., Tpr — tN} —----------------------, (33)
348
ИН ВАРИ АНТН ОСТЬ
[гл. 6
где U а ><...< есть упорядоченная выборка объема N
из равномерного распределения Я (О, 1) на (0, 1). [Левая часть
равенства (33) есть вероятность того, что i-я из величин F (Z^t ...
..., F(Zjy) является наименьшей, /=1, Эта вероятность
равна ... h[ (у{) ...hN (yjy) dy, где интегрирование произво-
дится по области, в которой уг- есть tre наименьшее значение
из у, i= 1, ..., N. Завершается доказательство так же, как и
в задаче 22.]
26. Распределение порядковых статистик. (I) Если#!, ..., Zjv—
выборка из распределения F с плотностью /, то совместная плот-
ность величин Yi = Z<Si\ i—1, ...,п, задается формулой
if (»2>-f I»,»’--1 -
- [1-Лг/п)]л'~8п (34)
для 2/1<...<уп.
(II) Для того частного случая, когда случайные величины Z
равномерно распределены на (0, 1), указанная плотность вероят-
ности равна
- <*-»»)"-" <3=>
Для п = 1 (35) есть плотность бета-распределения Bs, n—s+1,
которое тем самым оказывается распределением порядковой ста-
тистики Z<s>, если Zt имеют распределение 2? (О, 1).
(III) Пусть распределение величин У1? ..., Yn задается фор-
мулой (35) и пусть величины Vi определены из формул Yj = 7f+1...
...Уп, г = 1, ..., п. Тогда, совместное распределение величин Vi
равно
г=1
Таким образом, случайные величины Vi независимы
лены согласно бета-распределению Bs в
и распреде-
[(I) Если y, = Z(sl>,Yn = Z(®n) и Yn+1..Yn обозначают
оставшиеся величины Z, взятые в первоначальном порядке их
индексов, то совместное распределение величин У1? ...,УП имеет
плотность АГ (ДГ—1)... (ЛГ—п-|-1) ... у (yN) dyn+l... dyN,
где интегрирование производится по области, в которой — 1 значе-
ние у меньше $2—$i—1 значение лежит между у^ и у2, •••>
и N—значений >уп. Рассмотрим любое множество? где задан-
12]
ЗАДАЧИ
349
ные — 1 значение из у меньше у^ s2——1 значение из них
лежит между у{ и у2 и так далее. Всего существует Nl/(sl — 1)! ...
. . . (N—$п)! таких областей и интеграл, взятый по каждой
из этих областей, принимает одно и то же значение
[* (У1)]’1-1 - [1-F (?„)]*"*"].
27. (I) Если Xit...,Xm и Ylt...9Yn имеют непрерывные
функции распределения F и G—h(F) соответственно, и если
функция h дифференцируема, то распределение рангов Si < ... < Sn
величин Y задается формулой
P(S _s s _ E[h'(U^)-h’(U<Sn))]
P{bi — Si> ...,on — sn}~. (m+n j , (3o)
где ><...< t7(™+n> есть упорядоченная выборка из равно-
мерного распределения R (0, 1).
(II) Если, в частности, G — F\ где к — положительное целое
число, то формула (36) редуцируется к
р<о _, о > __*L_ п г <*>+/*-А.
П r(sy) r(s/+l + f*-/) •
(37)
28. Для достаточно малых 0>О критерий Вилкоксона макси-
мизирует мощность (среди ранговых критериев) при альтернати-
вах (F, G) с G=(1-O)F-J-0F2.
29. Другое доказательство оптимального свойства критерия
Вилкоксона [в задаче определения сдвига в логистическом рас-
пределении можно получить из предшествующей задачи, если
приравнять Д? (х—0) выражению (1—0) F (x)-|-0F2 (а?) и прене-
бречь более^высокими степенями 0. Это приводит к дифферен-
циальному уравнению F—0F' = (1 —0) F-[--0F2, решением которого
является логистическое распределение.
30. Пусть —семейство вероятностных мер на (•#*,
и пусть g—класс преобразований пространства «2Г. Определим
как класс распределений такой, что £ $4, если существуют
Fq С и /6 4? такие, что распределение /(X) есть Fp когда
распределением X является Fq. Если ф—критерий, удовлетворя-
ющий условиям (a) PFoq) (Х) — а для всех Fo С Д'о и (b) ф(а?Х
< Ф [ /(а?)]; для всех х и всех тогда ф является несме-
щенным при различении и
31. Пусть Хр...,Х/п; Ур ..., —две выборки из одного
и того же непрерывного распределения F. Тогда статистика
Вилкоксона U, определенная в задаче 20, симметрично распре-
делена около точки тптг, даже если т =^= тг.
' л»
32. Доверительные интервалы для сдвига. Пусть Х^ ..., Хт
и Ур ..., Уп—выборки из совокупностей с функциями распре-
деления F (х) и G(y) = F(y—Д) соответственно. Гипотезу Д = Д0
350
ИК ВАРИАНТНОСТЬ
[гл. 6
можно проверить, применяя двусторонний критерий Вилкоксона
к наблюдениям X} и Yj— До.
(I) Доверительным интервалом для Д является интервал
yd)—Х<т>< Д <У(П> —Х(1),
когда доверительный коэффициент равен | — 2/(w*n), и
min(y<D—АГ(^)< Д <тах (У<п>—Х<2),У(п-1)_ уа>),
если этот коэффициент равен | —
(II) Определить доверительный интервал для Д, если довери-
тельный коэффициент равен 20/21, т = п = 6, наблюдения х: 0,113;
0,212; 0,249; 0,522; 0,709; 0,788, а г/: 0,221; 0,433; 0,724; 0,913;
0,917; 1 58.
33. ' Пусть X, X' и У, У'—независимые выборки объема 2
из неп грывных распределений F и G соответственно. Тогда
p = P{max(X, X') < min (У, У')} +
+ P{max(Y, Y')<min(X, Т')}=4+Д,
О
где Д= pF~G)2^[(F+Q/2].
(II) Д = 0 тогда и только тогда, когда F—G.
[(I) />= ^ (1 — F)2dG2-\- (1 — Gy^dF*, что после некоторых
преобразований дает требуемый результат.
(II) Из условия Д = 0 следует, что F (x) = G (я), за исключе-
нием множества N, имеющего меру нуль для каждого из распре-
делений F и G. Предположим теперь, что G (xi) — F (х^ = т] > 0.
Тогда существует х§ такое, что G (а?о) = (^0)+Л и F(x)<G(x)
для х^ х xt. Поскольку G (х^)— G (xQ) >0, то Д >0.]
34. Продолжение. (I) Для каждого уровня значимости а
существует критерий проверки гипотезы Н: G = F, мощность кото-
рого >а для всех непрерывных альтернатив (Р, G) с F =/= G.
(II) Не существует нерандомизированного несмещенного кри-
терия для проверки гипотезы Н при всех альтернативах G^F
с уровнем значимости a=l/(m+n).
[(I) Пусть Хг-, Х>, Yi, Y't (i = l, ..., п) — независимо распре-
деленные случайные величины, причем Х-ы имеют распределе-
ние F, У-ки распределение G. Пусть далее Vi — 1, если
тах(Хг, Л^)<пйп(Уг-, У^) или тах(Уг, yj)<min (Х^ JT$) и 7г- = 0
в остальных случаях. Тогда 27г- имеет биномиальное распреде-
ление с вероятностью />, определенной в задаче 33, и задача
сводится к проверке гипотезы />=1/3 при альтернативе р>1/3.
(II) Рассмотреть частные альтернативы, для которых
Р(Х<У) равна 1 или 0.]
12]
ЗАДАЧИ
351
К разделу 9
35. (I) Пусть т и п—число отрицательных и положительных
наблюдений среди Zt, ..., Z^ и пусть . < $п обозначают
ранги положительных Z в ряду величин | Z41, | Z^ |. Рас-
1
смотрим N-{~— N (N—1) различных сумм Zf+Zj с i — j и i #= /.
Ранговая сумма Вилкоксона равна числу тех сумм (Zi-\-Zj)t
которые положительны.
(II) Если D есть распределение величин Z, то
Е (2‘5/) = 4ЛГ(ЛГ+1)-ЛГ°(°)-4ЛГ(ЛГ“1) S D( — z)dD(z).
[(I) Пусть К—число положительных сумм. Поскольку Z^\-Zj
положительно тогда и только тогда, когда наибольшее из чисел
N N
Zi[tt]Zjl положительно, то К — 2 где ^,==^» если ^./>0
i=l j=l
и jZJ<Zj, и ?7^=0 в остальных случаях.]
36. Пусть Zt, ..., Zjy будет выборка из распределения с плот-
ностью /(г — 0), где / (2) положительна для всех z и симметрична
около 0, и пусть т и п определены, как и в предыдущей задаче.
(I) Распределение величин п и Sj задается формулой
Р{число положительных Z равно п и *$'n==sn}=
_ 1 £ Г / (V<ri>+e)... / (7(rm>4-6) / (У<81>—6).., / (7(8п)—0)
“ 2n L /(F<i>) .../(F(III) (iV))
(38)
где 7<х> < ... < есть упорядоченная выборка из распределе-
ния с плотностью 2/ (и) для у>0, и 0 в остальных случаях.
(II) Максимизирующий производную функции мощности в точ-
ке 0 = 0 и, следовательно, максимизирующий мощность для до-
статочно малых 0 > 0 ранговый критерий для гипотезы симметрии
распределения относительно начала координат, отвергает эту ги-
потезу, когда
— Я
з=1
/,(у(Ъ))Ъ С,
/(7(Sj'V
(III) В частном случае, когда /(2) есть плотность нормаль-
ного распределения с нулевым средним, указанная в п. (II)
область сводится к области Е (у^) > С, где 7(1) < ... <
есть упорядоченная выборка из %-раопределения с 1 степенью
свободы.
(IV) Определить плотность / таким образом, чтобы одновы-
борочный критерий Вилкоксона был наиболее мощным при аль-
тернативе /(2—0) для достаточно малых положительных 0.
352
ИНВАРИАНТНОСТЬ
[гл. 6
[(I) Применить задачу 22 (I) к нахождению выражения для
условной вероятности Р{6’1==51, ..., Sn = sn при условии, что
число положительных Z равно м}.]
37. Другое выражение для (38) получится, если распределе-
ние Z описывать тройкой (q, Р, G). Если тогда G—h(F) и Л диф-
ференцируема, то распределение для п и sj дается формулой
ет (1—е)п# [Л' (tf(S1))... A' (tf(8n))], (39)
где Z7<!><;... —упорядоченная выборка из R (0, 1).
38. Несмещенные критерии симметрии. Пусть
ZA, ..., Zpf— выборка и ф—ранговый критерий, служащий для
проверки гипотезы симметрии относительно начала, такой, что
для всех i = l, ..., пк ф(2Р ..., 2/у)<ф(4, ..., z'N). Тогда
критерий ф является несмещенным в задаче проверки односто-
ронней альтернативы о том, что Z стохастически больше, чем
некоторая случайная величина, симметрично распределенная от-
носительно начала координат.
39. Гипотеза случайности. Пусть ..., Z#—неза-
висимые случайные величины с распределениями F\, ..., F^ соот-
ветственно, и пусть Ti—ранг величины Z^ среди всех Z. Для
проверки гипотезы случайности'. F^ = ... = F^ при альтернативе К
о положительном тренде, т. е. гипотезы, что Zz- стохастически
возрастают с ростом г, рассмотрим две области
3 iti > с (40)
и
2 iE(V(ti))>C, (41)
где У<1>упорядоченная выборка из стандартного
нормального распределения,, а —значения, принимаемые вели-
чинами Tt.
(I) Второй из этих критериев является наиболее мощным
ранговым критерием для нормальных альтернатив F=N (y+id, о2)
при достаточно малых д.
(II) Найти альтернативы, для которых первый критерий
является наиболее мощным ранговым критерием.
(III) Оба критерия являются несмещенными для альтернатив
положительного тренда; таким является каждый ранговый кри-
терий ф, удовлетворяющий условию ф (н±, ..., z^) <Сф (z{, ..., z'n)
для каждых двух точек, для которых из Zf<V> *</ следует,
что zj < zj для всех i и /.
[(III) Применить задачу 30, взяв в качестве g класс преоб-
разований zj=z1? z'—fi^i) Для i>l, где z</2 (z) <...</# (z)
и каждая из функций fi неубывающая. Если S' § есть класс
JV-мерных векторов \f^, ..., F^} с Г1=...=Рдг, тогда сов-
падает с классом альтернатив К.]
12]
ЗАДАЧИ
353
40. Пусть Uij—i, если (/—1) (Zj—Zi)^>0 и 0 в остальных
случаях.
(I) Статистика ^jPiTi может быть выражена в терминах вели-
чин U посредством соотношения
N
(II) Наименьшее число шагов (в смысле задачи 20 (II)), кото-
рыми выборка (zt, zN) может быть преобразована в упорядо-
ченную выборку (z<D, z™), равно [N (TV—1)/2] — U, где
и= 2 и* Тем самым, область U >С может быть использована
i<3
в качестве области, где отвергается гипотеза, рассмотренная
в предыдущей задаче.
[(I) Пусть Vij=i или 0, когда Z$<Z; или Zj>Zj.
Тогда
N
2 vii
1=1
или
zV N N
если г</ или Выражая ;Tj=2 V ii в терминах
i~i i=l i=l
U и используя тот факт, что Ua — Uj^ требуемый результат полу-
чаем с помощью простых вычислений.
41. Гипотеза независимости. Пусть (Xt, У4), ...
..., (Xjy, У’у) — выборка из двумерного распределения
и (Х<1>, Z1), (Х<^, Zw) — та же выборка, расположенная
в порядке возрастания Х-ов, тем самым величины Z получаются
некоторой перестановкой из величин Y. Пусть 2?^ —ранг Xf среди
ЛГ-ов, Si— ранг Yi среди У-ов и 7\ —ранг Z/ среди Z-ов. Рас-
смотрим гипотезу о независимости величин X и У при альтер-
нативе положительной зависимости.
(I) В терминах величин Т эта проблема эквивалентна задаче
проверки гипотезы случайности Z-ов при альтернативе положи-
тельного тренда.
(II) Критерий (40) эквивалентен критерию, отвергающему
гипотезу, когда ранговый коэффициент корреляции
'^(Ri—R)(Si—S)
|/'2№-«)22№-j)2
достаточно велик.
23 Э. Леман
354
ИНВАРИАНТНОСТЬ
[гл. 6
(III) Другое выражение для рангового коэффициента корре-
ляции *) дается формулой
2 (‘S’j'—^г)2= 2
(IV) Критерий и>С задачи 40 (II) эквивалентен критерию,
согласно которому гипотеза отвергается, когда i-статистика Кен-
далла 2 Vij/N (N — 1) достаточно велика; здесь Уц равно4-1 или
i<?
— 1 в зависимости от того, положительно или отрицатель-
но (Yj-Yt) (Xj-X^
(V) Критерии (II) и (IV) для альтернатив положительной
зависимости являются несмещенными* **).
К разделу 10
42. В примере 11 семейство множеств S (х, у) является клас-
сом инвариантных доверительных множеств тогда и только тогда,
когда существует множество действительных чисел такое, что
S(x, у)= U {(£. П): (*-£)2+(2/~т])2=г2}.
43. Пусть Xit ...,Хп; Ylf ..., Yn — выборки из нормальных
распределений N (£, а2) и N (ц, т2) соответственно. Тогда дове-
рительные интервалы (43) из главы 5 для т2/сг2, которые можно
записать в виде
2 (У>-У)2 < к 2 (У/—У)2
к 2 №-^)2 «2 2 (*«-*)2 ’
являются равномерно наиболее точными среди инвариантных от-
носительно наименьшей группы G, содержащей преобразования
Х'1 — аХ-\-Ь, Y'~aY-\-c для всех а 0, 6, с и преобразо-
вания X'—dYt, Y'^Xi/d для всех d =£ 0 [см. задачу 6].
44. Односторонние инвариантные доверительные пределы.
Пусть 0 — действительный параметр. Предположим, что для каж-
дого Оо задача проверки гипотез 0 < 0О и 0 > 0о (в присутствии
♦) Дальнейший материал, посвященный этим статистикам
см. в работе: Hoeffding, A class of statistics with asympto-
tically normal distributions, Ann. Math. Stat., vol. 19 (1948),
особенно раздел 9, и в книге: Kendall, Rank Correlation Met
hods, London, Charles Griffin and Co., 2nd ed., 1955.
**) Другой тип критерия, в котором играют особенную роль
крайние значения наблюдений, был предложен Olmstead’oM
и Тике у, A corner test for association, Ann. Math. Stat., vol.
18 (1947), 495—513.
12]
ЗАДАЧИ
355
мешающих параметров О) остается инвариантной относительно
группы Gqq и пусть А (0о) есть область принятия, соответствую-
щая РНМ инвариантному критерию с уровнем а. Пусть соответ-
ствующие доверительные множества 6’(а;) = {0: х С А (0)} будут
односторонними интервалами S (х) ={0: 0 (х) < 0}. Предположим,
что они инвариантны при всех преобразованиях Gq и, следова-
тельно, относительно группы G, порожденной ими. Тогда нижние
доверительные границы 0 (X) являются равномерно наиболее точны-
ми среди инвариантных границ с доверительным уровнем 1—а
(в смысле минимизации PQ ^{0 (X) <0'} для всех 0' < 0).
45. Пусть Х4, ..., Хп—независимо случайные величины, рас-
пределенные по закону N (g, а2). Верхние доверительные грани-
цы <г2< 2 (Х$—Х)2/Со примера 5 главы 5 являются равномерно
наиболее точными инвариантными относительно группы Х^ =
=Х1«+с, — оо<с<оо границами. Они также инвариантны
(и, следовательно, являются равномерно наиболее точными инва-
риантными границами) относительно более широкой группы Х^ —
= аХ$4-с, —оо < а, с<оо.
46. (I) Пусть случайные величины Х4, ...,ХП независимы
и распределены по закону TV (g, о2) и пусть 0 = g/or. Нижние
доверительные границы 0 для 0 с доверительным уровнем 1 —а,
являющиеся равномерн* наиболее точными инвариантными гра-
ницами при преобразованиях Х- = аХ^ имеют вид
где функция С (0) определяется с помощью таблиц нецентраль-
ного ^-распределения так, чтобы
Pq
(Xf^X)2
(n—l)
= 1 —а.
(II) Определить 0, когда значения х равны 7,6; 21,2; 15,1;
32,0; 19,7; 25,3; 29,1; 18,4, а доверительный уровень равен 1 — а =
= 0,95.
47. (I) Пусть (Хр Yi), ...» (Хп, Уп)—выборка из двумерного
нормального распределения и пусть
Г ^№-Х)(У{-У) 1
[ /£(хг-х)2£(Уг-У)2 J ’
23*
356
ИНВАРИАНТНОСТЬ
[гл. 6
где С (q) определено так, что
р j ^)(^~П
< С (р)1 = 1—а.
Тогда q является нижней доверительной границей для теорети-
ческого коэффициента корреляции q с доверительным уровнем
1 — а; эта граница равномерно наиболее точная среди инвариант-
ных относительно группы преобразований
Y'—cYi+d с ле>0, — оо<Ь, d<oo.
(II) Определить р, если 1—а —0,95 и наблюдения таковы:
(12,9; 0,56), (9,8; 0,92), (13,1; 0,42), (12,5; 1,01),
(8,7; 0,63); (10,7; 0,58), (9,3; 0,72), (11,4; 0,64).
К разделу И
48. Если доверительные множества S (х) инвариантны отно-
сительно группы 6, тогда вероятность Pq {О С £ W} того, что
истинное значение параметра будет накрыто этими множествами,
инвариантна относительно индуцируемой группы (7.
49. Рассматривается задача построения (двусторонних) дове-
рительных полос для неизвестной непрерывной функции рас-
пределения F.
(I) Показать, что эта задача инвариантна как при строго
возрастающих, так и при строго убывающих непрерывных пре-
образованиях Xi=f (Х^, i = l, ..., п. Определить максимальный
инвариант, соответствующий этой группе.
(II) Показать, что задача не инвариантна при преобразова-
нии
X'i =
Xt, если | Xi | > 1,
Xi — 1, если 0<Хг-<1,
если —1 <ЛГ^<1.
[(II) Для этого преобразования g множество g*S (х) уже не
будет полосою.]
13. Литературные ссылки
Соображения инвариантности использовались в спе-
циальных классах задач Хотеллингом и Пит-
ие н о м (см. ссылки в главе I). Общая теория инвариант-
ных и почти инвариантных критериев вместе с главными
13] ЛИТЕРАТУРНЫЕ ссылки 357
параметрическими приложениями была дана Хантом
и Стейном в неопубликованной работе (1946). В их
работе инвариантность не рассматривалась как свойство,
желательное само по себе, но как средство получения
наиболее строгих критериев (см. главу 8). За исключением
этого расхождения в точке зрения, изложение здесь осно-
вано на идеях Ханта и Стейна, с которыми я по-
знакомился во время бесед с Чарлзом Стейном в период
1947—1950.
Область непараметрической статистики, в которой
многие основные проблемы еще не решены, находится
в настоящее время в процессе стремительного развития.
Здесь возможно указать только некоторые из сделанных
работ, в частности потому, что многие главные результаты
относятся к области больших выборок. Более детальное
освещение некоторых аспектов непараметрической ста-
тистики дано в книгах Фрейзера (1957) и Кен-
да л л а (1955) и в обзорных статьях Ш е ф ф ё (1943),
Уилкса (1948), Вольфовица (1949), Морана,
Уайтфилда и Даниелса (1950), Кендалла
и Сандрума (1953), ван Данцига и Хемель-
р и й к а (1954). Обширная библиография приведена
у Сэвиджа (1953).
Андерсон (Anderson Т. W.)
(1958) An Introduction to Multivariate Statistical Analysis,
New York, John Wiley & Sons, 99. [Задача 11.]
Арнольд (Arnold К. J.)
(1951) Tables to facilitate sequential t-tests, Appl. Math. Ser.
Nat. Bur. Standards (U. S.), vol. 7, v — VIII. [Задача 9 (II).]
Барнард (Barnard G.)
(1950) The Behrens-Fisher test, Biometrika, vol. 37, 203—207.
Вальд (W aid A.)
(1955) Testing the difference between the means of two normal
populations with unknown standard deviations, опубликовано по-
смертно в Selected Papers in Statistics and Probability by Abraham
Wald, Stanford, Stanford Univ. Press. [Рассматриваются инвариант-
ные критерии для проблемы Беренса — Фишера в случае
выборок равного объема.]
ван Данциг и Хемельрийк (van Dantzig D. and
Hemelrijk I.)
(1954) Statistical methods based on few assumptions, Bull. Int.
Stat. Inst., vol. 34, 2nd part, 3—31,
358 ИНВАРИАНТНОСТЬ [ГЛ. 6
Ван дер Варден (van der W а е г d е п В. L.)
(1952, 1953) Order tests for the two-sample problem and their
power, Proc. Koninkl. Ned. Akad. Wetenschap., vol. 55, 453—458,
and vol. 56, 303—316. [Для задачи двух выборок предлагается
критерий, основанный на функции, обратной к нормальной функ-
ции распределения.]
Вилкоксон (Wilcoxon F.)
(1945) Individual comparisons by ranking methods, Biometrics,
vol. 1, 80—83. [Предлагаются два критерия, носящие имя автора
(см. также Deuchler).]
Вольфовиц (Wolfowitz J.)
(1949) Non-parametric statistical inference, Proc. Berkeley
Symposium on Mathematical Statictics and Probability, Berkeley,
Univ. Calif. Press, 93—113.
(1949) The power of the classical tests associated with the normal
distribution, Ann. Math. Stat., vol. 20, 540—551. [Доказана лемма 2
для нескольких специальных случаев.]
Дейхл ер (Deuchler G.)
(1914) Ueber die Methoden der Korrelationsrechnung in derPae-
dagogik und Psychologie, Z. padag. Psychol., vol. 15, 114—131, 145—
159, 229—242. [Кажется, что здесь впервые предлагается для задачи
двух выборок процедура, известная как критерий Вилкоксона,
который позже был независимо открыт многими авторами. Об исто-
рии этого критерия см. W. Н. Kruskal, Historical notes on the
Wilcoxon unpaired two-sample test, J. Am. Stat. Assoc., vol. 52 (1957),
356—360.]
Кендалл (Kendall M. G.)
(1955) Rank Correlation Methods, London, Charles Griffin
and Co., 2nd ed.,
Кендалл и Сандрум (Kendall M. G. and S u n -
drum R. M.)
(1953) Distribution-free methods and order properties, Rev. Int.
Stat. Inst., vol. 23, 124—134.
Крускал (Kruskal W.)
(1954) The monotonicity of the ratio of two non-central t density
functions, Ann. Math. Stat., vol. 25, 162—165.
Леман (Lehmann E. L.)
(1950) Some principles of the theory of testing hypotheses, Ann.
Math. Stat., vol. 21, 1—26. [Лемма 2; теорема 6; приводится пример
Стейна, взятый за образец для задачи 18.]
(1951) Consistency and unbiasedness of certain nonparametric
tests, Ann. Math. Stat., vol. 22, 165—179. [Задачи 33,34.]
(1953) The power of rank tests, Ann. Math. Stat., vol. 24, 28—
43. [Соображения инвариантности применяются к непараметри-
ческцм задачам. ]
13]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
359
Моран, Уайтфилд и Даниеле (Moran Р. А. Р.
Whitfield J. W. and Daniels Н. Е.)
(1950) Symposium on ranking methods, J. Roy. Stat. Soc., Ser.
B., vol. 12, 153—191.
Питмен (Pitman E. J. G.)
(1939) Tests of hypotheses concerning location and scale parame-
ters, Biometrika, vol. 31, 200—215. [Вводятся идеи инвариантно-
сти и применяются к задачам, похожим на приведенную в при-
мере 4.]
(1949) Lecture notes on nonparametric statistical inference,
неопубликовано. [Исследуется понятие относительной асимптоти-
ческой эффективности. Оно применяется к нескольким примерам,
в том числе к критерию Вилкоксона.]
Раштон (Rushton S.)
(1950) On a sequential t-test, Biometrika, vol. 37, 326—333.
(1952) On a two-sided sequential t-test, Biometrika, vol. 39,
302—308. [Предлагается последовательный /-критерий задач 9 и 10
и обсуждаются некоторые и^ его свойств. Имеется ссылка на близ-
кую по теме неопубликованную работу Барнарда, Голд-
берга и Стейна.]
Сукхатм (Sukhatme Р. V.)
(1936) On the analysis of k samples from exponential distribu-
tions nith expecial reference to the problem of random intervals,
Stat. Res. Mem., vol. 1, 94—112.
Сэвидж (Savage I. R.)
(1953) Bibliography of honparametric statistics and related
topics, J. Am. Stat. Assoc., vol. 48, 844— 906.
С ю й (Hsu P. L.)
(1938) Contributions to the theory of Student’s t-test as applied
to the problem of two samples, Stat. Res. Mem., vol. Il, 1—24. [По-
казано, что двувыборочный t-критерий в случае равных и не очень
малых объемов выборок является приближенно несмещенным, даже
если дисперсии не равны, и что, следовательно, для этого случая
/-критерий приближенно решает проблему Беренса—Фишера.]
У и л к с (W i 1 k s, S. S)
(1948) Order statistics, Bull. Am. Math. Soc., vol. 54, 6—50.
Уолш (Walsh, John E.)1
(1949) Some significance tests for themedian which are valid under
very general conditions, Ann. Math. Stas., vol. 20, 64—81. [Лемма 3;
предлагается критерий Вилкоксона в форме, данной в задаче
35. Эквивалентность двух критериев была показана Т ь ю к и
в неопубликованном отчете (1949 г.)]
Фишер (Fisher R. А.)
(1956) Statistical Methods and Scientific Inference, Edinburgh
and London, Oliver and Boyd. [В главе IV автор формулирует свою
точку зрения на проверку гипотез, в частности обсуждается проб-
лема Беренса—Фищера.]
360
ИНВАРИАНТНОСТЬ
[гл 6
Фишер и Иэйтс (Fisher R. A. and Yates F.)
(1948) Statistical Tables for Biological, Agricultural and Medical
Research, London, Oliver and Boyd, 3rd ed. [Во введении к таб-
лицам XX и XXI рассматриваются ранговые критерии, подоб-
ные (19)].
Фрезер (Fraser D. A. S.)
(1957) Nonparametric Methods in Statistics, New York, John
Wiley & Sons.
Хант и Стейн (Hunt G. and Stein G.)
(1946) Most stringent rests of statistical hypotheses, неопубли-
ковано.
Хемельрийк (Hemelrijk J.)
(1950) A family of parameter-free tests for symmetry with respect
to a given point, Proc. Koninkl. Ned. Akad. Wetenschap., vol. 53,
945—955, 1186—1198. [Обсуждается связь гипотезы симметрии
с проблемой двух выборок.]
Хёфдинг (Hoeffding W.)
(1951) «Optimum» nonparametric tests, Proc. 2nd Berkeley Sym-
posium on Mathematical Statistics and Probability, Berkeley, Univ.
Calif. Press, 83—92. [Выводится общее распределение для рангов,
частным случаем которого является формула (18). На этой основе
строятся локально оптимальные критерии типа (19). Результаты
автора применены к проблеме двух выборок в работе: М i 1 t о n Е.
Terry, Some rank order tests which are most powerful against
specific parametric alternatives, Ann. Math. Stat., vol. 23 (1952),
346-366.]
Хопф (Hopf E.)
(1937) Ergodentheorie, Ergeb. Math., vol. 5, No. 2.
[Доказывается результат, очень сходный с теоремой 4 (стр. 9—10).]
Ш ефф е (Schef f ё Н.)
(1943) Statistical inference in the non-parametric case, Ann.
Math. Stat., vol. 14, 305—332.
(1943) On solutions of the Behrens — Fisher problem, based on
the t-distribution, Ann. Math. Stat., vol. 14, 35—44.
Эпстейн и Цзао (Epstein В. and T s а о С. К.)
(1953) Some tests based on ordered observations from two expo-
nential populations, Ann. Math. Stat., vol. 24, 458—466.
ГЛАВА 7
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
1. Каноническая форма
Многие задачи проверки гипотез касаются средних
значений нормальных распределений и являются специ-
альными случаями следующей общей одномерной линейной
гипотезы. Пусть ..., Хп независимы и распределены
нормально со средними значениями ..., и общей
дисперсией о2. Известно, что вектор образованный из
средних значений*), лежит в данном s-мерном линейном
подпространстве Па($<п), и проверяемая гипотеза Н
состоит в том, что £ лежит в данном ($— г)-мерном под-
пространстве Пш, входящем в Пй(г<$).
Пример 1. В задаче о проверке равенства средних в двух
выборках из нормальных распределений (рассмотренной в других
обозначениях в разделе 3 главы 5) дано, что gf = g при i = l, ...
..., ni и = ц при1=П1 + 1» •••> ^1+^2» и гипотеза, подлежащая
проверке: ц==|. Пространство Пй натянуто на векторы (1, ..., 1,
О, ..., 0) и (0, ..., 0, 1, ..., 1), т. е. s = 2 и его точки суть
(g,g, = 0, ..., 0) + n(0, ..., 0, 1,..., 1).
Аналогично, Пю состоит из всех векторов (g, ..., g) = g(l, ..., 1)
и, следовательно г=Л.
Другая гипотеза, которую можно проверять в этой ситуации,
ц—g = 0. Пространство Пш состоит из одной точки — начала ко-
ординат, $ — г = 0, т. е. г = 2. Более общая гипотеза g = g0, ц = тщ
не будет линейной, так как Пю не содержит начала координат.
*) На протяжении этой главы предполагается, что в п-мерном
пространстве фиксирована некоторая система координат. Вектор
с компонентами £i, ...» обозначается g, а пх 1-матрица-столбец
0 элементами g4, ..., gn обозначается g.
362
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Однако она сводится к предыдущему случаю преобразованием
Хг = Хг-—g0(i=1, •••» Xi —Xi — Т)о (1=^ + 1, П1Ч-П2)-
Пример 2. Задача о регрессии из раздела 6 главы 5 дает
другой пример линейной гипотезы. Чтобы согласовать обозначе-
ния с употребляемыми здесь, положим gf = a-|-0/f, где а, 0 не-
известны, a ti известны и не все равны между собой. Здесь Пд —
пространство векторов а(1, ..., 1) + 0(Ч» • ••> и его размер-
ность равна 2. Проверяемая гипотеза может быть или а = 0 = О
(г = 2), или может состоять в том, что один из параметров равен
нулю (г = 1). Более общая гипотеза a=a0, 0 = 0О сводится к пре-
дыдущей заменой Xi = Хг—ао — 0о^, так как Е (Xi) = a'+ 0'^
с а'=а—а0, 0' = 0—р0.
Полиномиальная регрессия и регрессия при нескольких пе-
ременных также охватываются схемой линейной гипотезы. Так,
если h = a-рР^ + yti или, более общим образом, ^=а-|-0^+у^,
где ti и щ известны, то можно проверять равенство нулю одного
или нескольких из коэффициентов регрессии а, 0, у, и с помощью
замены Xi—a0 — 0oiz-—you^— гипотезы о равенстве этих коэффи-
циентов некоторым заданным значениям, отличным от нуля.
В общем случае гипотезе может быть придан более
простой вид ортогональным переходом к новым переменным
Y = CX, С = i, j = 1, и, (1)
таким, что первые s векторов-строк Ci, cs матрицы
С порождают Uq, а cr+i, ..., cs порождают Пш. Тогда
Ys+l — ... — Yn = 0 равносильно тому, что X лежит в Пд,
а У1 — ... = Yr — Ys+1 = ... = Yn — 0 — тому, что X лежит
в Пю. Пусть — Е (Yi), так что ц = Так как £ лежит
в Ид по предположению и лежит в Щ при гипотезе //,
то r|i = 0 при i = п в обоих случаях и Т)г = 0
при 4=1, ..., г в случае истинности Н. Наконец, раз
преобразование ортогональное, то случайные величины
Yi, • ••, Уп снова распределены нормально с общей дис-
персией о2, т. е. проблема сводится к следующей кано-
нической форме.
Случайные величины Yi, ..., Yn независимы и рас-
пределены нормально с общей дисперсией о2 и средними
Е (Yi) = при 4 = 1, ..., s и Е (Vi) = 0 при 4 = s -j- 1,... ,п,
так что совместная плотность имеет вид
(/2л<7)пехр[-2^(2(уг-т1г)2+ 2 У?)] • (2)
НН
1]
КАНОНИЧЕСКАЯ ФОРМА
363
Величины т] и о2 неизвестны и проверяемая гипотеза
И: ^=...=1^ = 0 (r<s<n). (3)
Пример 3. Чтобы проиллюстрировать преобразование (1),
рассмотрим еще раз модель регрессии ^ = a4-|3Zf из примера 2.
Мы видели, что Пй натянуто на (!,...,!) и (Zb tn). Если
проверяется гипотеза р = 0, то — пространство, порожденное
первым из этих векторов. Вектор-строка с2 лежит в Пю и имеет
длину 1, следовательно, с2 = (1/|/’п, l/j/п). Так как улежит
в Па, имеет длину 1 и ортогонален к с2, то его координаты дол-
жны иметь вид i = l, и, где а и Ь определяются со-
отношениями 2 = 0 и 2 (a-]~^r)2= 1. Решая эти уравнения,
находим а~ — bl, &=1/"рЛ2 (£/—I)2, следовательно,
-7)/]/2 (О-7)2 и
У SXi(^-7) _S№-X)(tf-7)
/s (0-7)2 fs(0_7)2
Остальные векторы-строки С можно взять любыми при условии,
что они ортогональны, имеют длину 1 и ортогональны к Пй; их
явные выражения нам не нужны.
Если проверяется гипотеза а = 0, то Пю порождается векто-
ром (q, ..., tn), так что i-я координата с2 равна . Коор-
динаты ci снова имеют вид а-^-Ьц, где а и b определяются теперь
из уравнений 2 (a-]- bt}) /г==0 и 2(а4-6^)2=1. Решая их, находим
Ь——arii/Zt], a=vl£t$/n'£(tj—Z)2 и, следовательно,
В случае гипотезы а=0 = О Пю состоит из начала координат и в
качестве с2 можно взять два любых ортогональных единичных
вектора из Пй. Возможен, в частности, такой же выбор, как при
гипотезе р = 0. Тогда Yj —линейная функция, указанная ранее,
а =
Общая линейная гипотеза, записанная в терминах
Уд, остается инвариантной относительно группы Gi пре-
образований Yi = Yi + ci при i = r + l, ..У< = У{ при
г=1, ..., г; s -j-1, ..., п. При этом Ух, ..., Yr и У8+ь...
..., Yn — максимальные инварианты. Другая группа,
оставляющая задачу инвариантной, — группа G% всех
364
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
ортогональных преобразований переменных .... YT.
Так как величины с промежуточными индексами не за-
трагиваются, то из примера 1 (III) главы 6 видно, что
максимальными инвариантами относительно G2 будут
г
U = 2 YI, У8+1, Yn. По соображениям достаточно-
i=l
п
сти их можно свести к U и V — 2 Наконец, задача
2 —S+1
остается инвариантной относительно группы G3 изме-
нений масштаба У- = еУь с^=0, 1 = 1, В прост-
ранстве U и V эта группа индуцирует преобразование
и*~с?и, V* — c2V, относительно которого W = U/V
является максимальным инвариантом. Таким образом,
принцип инвариантности сводит данные к единствен-
ной статистике
2 Н
W = —------. (4)
п
2
i=s+1
Каждая из трех групп преобразований Gj(i = l, 2, 3),
осуществляющих вышеуказанную редукцию, индуцирует
соответствующую группу Gi в пространстве параметров.
Группа Gt— ЭТО Группа СДВИГОВ Т|1 = Лг + Сг (i —г-|-1, •••
...,s), тц = (г=1, ...» г), о' = о с максимальными ин-
вариантами (т)1, ..., а). Так как каждое ортогональ-
ное преобразование Уь ..., Уг индуцирует такое же
преобразование величин гц, .. ., и оставляет о2 неиз-
менным, то максимальным инвариантом относительно
_ г __
С2 будет (2 Ль °2) - Наконец, элементами G3 будут пре-
1=1
образования = о' = со, и поэтому максимальным
инвариантом по отношению к этим трем группам пре-
образований будет
2 nt
^2 = ^—• (5)
1]
КАНОНИЧЕСКАЯ ФОРМА
365
Из теоремы 3 главы 6 вытекает, что распределение W
зависит только от ф2, так что принцип инвариантности
сводит дело к проверке простой гипотезы Н : ф = 0.
Точное выражение для плотности W имеет вид (см. за-
дачи 2 и 3):
1 03
p^(w) = e~2 2 Cfe
й=0
Л!
4',-1+ь
l(r+n-s)4-fe
(1-|_ц,)2
(6)
где
г [4~ ('•+»—«)+*]
Г (4~г+*) г
Для любого гр! отношение (w)/po (w) является возра-
стающей функцией до и из фундаментальной леммы Ней-
мана-Пирсона вытекает, что наиболее мощный инва-
риантный критерий для проверки ф = О при альтернативе
ф = ф1 отклоняет гипотезу, если W слишком велико,
т. е. если
2 Yl/r
w* = -^------------->с.
2 Yi/(n—s)
i=s+l
(7)
Граничная точка С определяется из условия, что при
ф = 0 вероятность отклонения равна а. Так как в этом
случае PF* будет отношением двух независимых X2 ве-
личин, каждая из которых поделена на соответствующее
число степеней свободы, то распределением W служит
F-pacnpeделение с г и n — s степенями свободы, а С
определяется из уравнения
оо
§ Fr, n.s (у) dy = а.
с
(8)
366
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 1
Критерий не зависит от г|?! и потому является РНМ в
классе всех инвариантных критериев. По теореме 5 гла-
вы 6 он будет также РНМ в классе всех критериев,
функция мощности которых зависит только от ф2.
Критическую область (7) можно также определить
неравенством
s Yl+ S У?
i=l i=s+l
(9)
При ф = 0 левая часть имеет бета-распределение с г и
n —s степенями свободы (см. формулу (24) главы 5),
так что С' находится из
Bi 1 (y)dy = a.
С' 2r’2(n-S)
(Ю)
При альтернативных значениях ф левая часть (9) имеет
нецентральное бета-распределение с параметром нецен-
тральности ф и с плотностью (задача 3)
ь=о
Мощность критерия при альтернативе ф равна*)
Р (М>) = $ (у) ЛУ-
♦) Номограммы для этой мощности даны в работах: Pearson
and Hartley, Charts of the power function for analysis of vari-
ance tests, derived from the noncentral F distribution, Biometrika,
vol. 38 (1951), 112—130; Fox, Charts of the power of the F-test*
Ann. Math. Stat., vol. 27 (1956), 484—497. Вычислительнная фор-
мула для нецентрального бета-распределения рассматривается
Ходжесом, On the noncentral beta distribution, Ann. Math.
Stat., vol. 26 (1955), 648—653.
2]
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 367
В частном случае, при г=1, критическая область
(7) сводится к
(12)
Это — двусторонний /-критерий, который в соответствии
с теорией главы 5 (см., например, задачу 5 этой главы)
является РНМ несмещенным. С другой стороны, при
г>1 не существует РНМ несмещенного критерия.
2. Линейные гипотезы и метод наименьших квадратов
В применениях к конкретным проблемам приведение
к канонической форме в явном виде проводить неудобно.
Статистику W, соответствующую критерию, можно вы-
разить в терминах первоначальных переменных, если
71
заметить, что У У? является минимальным значением
г=$4-1
Для
п п
3 (Yt-ru)2 + 2
1=1 1=1
при неограниченном изменении величин т]. Так как пре-
образование Y = СХ ортогонально, а ортогональные пре-
образования оставляют расстояния неизменными, то
п п
1=1 1=1
Далее, существует взаимно однозначное соответствие
между совокупностью всех s-членных наборов (т|1, ..., rjs)
и совокупностью векторов £ из IIq. Следовательно,
п п
2 у?=2(х,-ы2. (13)
i=s-H 4=1
368
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
где | — оценки величин £ при условии Q, т. е. значения,
71
которые минимизируют 2 ПРИ условии, что
Подобным же образом можно увидеть, что
г п п
2п+2 п=2(^-Ь)2.
i=l i=s+l г=1
где величины | — это значения, минимизирующие S(X^-—
— £i)2 при условии, что £ лежит в Щ. Критерий (7)
принимает вид
п п
W* = —----------—----------- > С, (14)
2 (Xi-bWln-s)
i=i
где С определяется из условия (8). Геометрически век-
торы | и f являются проекциями X на Па и П©, так
что треугольник, образованный X, | и | имеет прямой
угол при вершине | (рис. 7). Таким образом, знамена-
тель и числитель Ж*, если отвлечься от множителей
l/(n — s) и 1/г, являются квадратами расстояний между
2] МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 369
Хи | и между | и | соответственно. Поэтому альтер-
нативным выражением для W* будет
И7* =• -----------• (15)
1=1
Желательно также выразить в терминах £ параметр
нецентральности ф2 = 2 Ц1/о2- Мы имеем Х~С 1У, 5 =
i=i
— С 1р и
г п п
2 п=2 (^ -1)2- 2 - £)2- (16)
1=1 1=1 1=1
г
Если правую часть (16) обозначить /(X), то 2 = /(£).
1=1
Некоторым обобщением линейных гипотез являются не-
однородные гипотезы типа: вектор g лежит в гипер-
плоскости П©, содержащейся в Пй и не проходящей
через начало. Обозначим Пш подпространство По, про-
ходящее через начало и параллельное П©. Если неко-
торая точка Пю, то множество П^ состоит из всех точек
вида | = £* + £°, где пробегает П0. Применяя преоб-
разование (1У к Пю, вектор средних значений ц для
|£Пю можно представить в канонической форме (2) ц =
= С^ = + и совокупность этих векторов описы-
вается уравнениями гц = , ..., т|г = ц?, ц8+1 = ... = =
= 0, где —i-я координата Cg°. Поэтому в канониче-
ской форме неоднородная гипотеза |£П© принимает вид
= (i = l, Этот случай приводится к однород-
ному заменой Уг на У t~ц? и, как следует из (7), РНМ
несмещенный критерий имеет критическую область
2 (yi-n?)2/r I 2 > с (17)
i=l / i=s+l
r
и параметр нецентральности равен ф2 = 2 (Лг — Л?)2/0"2-
1=1
24 Э. Леман
3?0
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 1
В приложениях обычно бывает более удобным при-
менять преобразование Хг — g? непосредственно к (14)
или (15). Из (17) видно, что такое преобразование всег-
да оставляет знаменатель неизменным. Это можно понять
и геометрически, так как рассматриваемое преобразова-
ние представляет собой сдвиг пространства параллельно
Пй и потому оставляет расстояние 2 (Хг — ^)2 от X до
По неизменным.
Параметр нецентральности может быть вычислен, как
и раньше, заменой X на £ в преобразованном числи-
теле (16).
Некоторые примеры линейной гипотезы, все сг=1,
уже обсуждались в главе 5. В дальнейшем два из них
рассматриваются с новой точки зрения.
Пример 4. Пусть Х1у ..., Хп независимы и распределены
нормальн) с общими средним р, и дисперсией о2. Рассмотрим
гипотезу Н\ ц = 0. Здесь Пй—прямая . =^п, П^ — начало
координат, 6’ и г равны 1. Из тождества
2(Хг-И)2 = £(Х;-Х)2+п(Х-И)2,
X
п /
видно, что = в то время как |j = 0. Статистика, на которой
основан критерий, и ip2 равны, следовательно,
мл пХ2 । s
W = —------—— и -ф2= .
3(ЛГг-Х)2 Т <Т2
При истинности гипотезы распределение (п — 1) И7 таково же,
как у квадрата величины, имеющей ^-распределение Стьюдента
с п — 1 степенями свободы.
Пример 5. В задаче двух выборок, рассмотренной в при-
мере 1, сумма квадратов
П1 п.
S №-в)2+ 3 №-т))2
минимизируется значениями
П1 г
п
п = Х<‘!>= У
1 п2
ixxzni+l
3]
КРИТЕРИИ ОДНОРОДНОСТИ
371
в то время как при гипотезе т]—В=0
s — Л — л -----------------
п
Числитель статистики (15) равен, следовательно,
(Х«>—Х)2 + п2 (Х<2)—Х)2 = [X™ - Х<1>]2.
nl~rw2
Более общая гипотеза т|— В —Оо сводится к уже рассмотренной
заменой Хг на Хг-—Оо при 1=74 + 1, • • •» п и» следовательно,
отклоняется при
(Т<2)_Т(1>_0о)2/<А + ±'\
_________________* Х*4 ^2/___________ > Q
-Х<1>)2Д- 2 (Xt-X^ ]/(П1+п2-2)
г=П14-1
Параметр нецентральности равен i|)2=(,q—0o)2/f — + — а2.
При истинности гипотезы квадратный корень из соответствующей
статистики имеет ^-распределение с п1-]~п2 — 2 степенями свободы.
П1
3. Критерии однородности
Полученный в предыдущем разделе РНМ инвариант-
ный критерий для проверки равенства средних значений
двух нормальных распределений с общей дисперсией
оказывается также РНМ несмещенным (см. раздел 3
главы 5). Однако если число сравниваемых совокуп-
ностей больше 2, то РНМ несмещенный критерий не
существует и принцип инвариантности приводит к ново-
му результату. Пусть Хо-(/= 1, ..., 74; 1 = 1, ...,$)
независимы и распределены по законам о2) соот-
ветственно. Рассмотрим гипотезу
Н: [1! = ... = цв.
Она возникает, например, при сравнении нескольких
способов обработки, процессов, условий, размещений
и т. п. с целью выяснить, влияют ли различия между
ними на интересующий нас исход X. Более общим обра-
зом, она возникает каждый раз в любой ситуации, свя-
занной с одинарной классификацией исходов, т. е. такой,
где разбиение на классы производится по значениям
одного признака.
24*
372
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Гипотеза Н является линейной с r = s —1, с IIQ,
определяемым соотношениями при /, к — 1,...
и; i = l, $ с По, представляемым прямой, на
которой все п ~ 2 ni координат равны между собой.
Мы имеем
22 Фи - нО2 =22 (*ij - X,- )2+2 «i (*<• - Hi)2.
где Xi- = 2 Х^/щ и, следовательно, |ц==Хр Итак,
j=i
22 (хм - и)2 = 22 (хг7 - x..)2+n (x.. - н)2
c х.. = 32хц/п, так что — Используя формулу
(15) статистики PF*, мы получаем критерий
_2пг(^г--Х..)2/(«-1)
— vS'v'S-------------------- •
(18)
33 (Xij-XMn-s)
Параметр нецентральности равен
= 2 «i (Hi -н-)2/°2
S "«Hi
Суммы квадратов как в числителе, так и в знаменате-
ле (18) допускают три близкие между собой интерпре-
тации:
(I) как две компоненты разложения полной суммы
квадратов отклонений от общего среднего («полной из-
менчивости»)
з з <xl} - X. .)2=2 2 (Хо— Xi. )2 + 2 (Xi • - X. .)2,
на а) сумму квадратов отклонений каждой величины
от соответствующего группового среднего значения («из-
менчивость внутри групп») и б) сумму квадратов откло-
нений групповых средних от общего среднего («измен-
чивость между группами»);
(II) как основу сравнения двух источников изменчи-
вости (по критерию (18));
3]
КРИТЕРИИ ОДНОРОДНОСТИ
373
(III) как оценки для их математических ожиданий
(п —$)(У2 И (s— 1)а2+2Пг(Цг““Ц-)2 (см- задачу 9). Это
разбиение полной изменчивости вместе с указанными
интерпретациями компонент дает пример дисперсионного
анализа, который к более сложным проблемам будет
применен в последующих разделах.
Мы оставим теперь на время схему линейных гипо-
тез и обратимся к гипотезе равенства дисперсий в слу-
чае, когда величины Xtj распределены по законам
ЛЧнь at), 5. РНМ несмещенный критерий для
этой гипотезы был найден в разделе 3 главы 5 в пред-
положении s = 2; но он не существует при $>2 (см.,
например, задачу 6 главы 4). К сожалению, в этой
задаче нет и группы, для которой существовал бы РНМ
инвариантный критерий. Тем не менее, чтобы получить
критерий, мы используем асимптотический метод, кото-
рый при достаточно больших п сводит задачу, по сути
дела, к проверке равенства а средних.
Удобно сначала редуцировать совокупность резуль-
татов наблюдений, заменив ее достаточными статистика-
ми Хг. = ^Xij/nt и Si = 3 — * = 1, ..а. Ги-
7 j
потеза
Н: (Г1= ... = os
остается инвариантной относительно преобразований
Xij = Xij + Ci, которые в пространстве достаточных ста-
тистик индуцируют преобразования Si2 = Sl, Х\.=*Хг> +
+ с,-л. Максимальным инвариантом относительно этой
группы служит совокупность величин S2, ..., SI. Каж-
дая статистика SI является суммой квадратов —1 не-
зависимых нормально распределенных величин с нуле-
выми средними и дисперсиями о2. Из центральной пре-
дельной теоремы вытекает, что при больших П( величина
распределена приблизительно по закону 7V(0, 2of). Такая
аппроксимация для наших целей неудобна, так как
374
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
неизвестные параметры входят не только в среднее
значение, но и в дисперсию предельного распределения.
Эту трудность можно преодолеть с помощью подхо-
дящего преобразования, ставилизирующего дисперсию.
Подобные преобразования могут быть получены из сле-
дующих соображений*). Пусть Тп — последовательность
действительных статистик, такая, что Уп(Тп — &)
имеет предельное распределение 7У(0, т2). Тогда для
любой непрерывно дифференцируемой функции f предель-
ное распределение Уп [/(7\) — /(0)] нормально со сред-
ним нуль и дисперсией x2(df/dQ)2. Следовательно, в пред-
положении, что производная от /(0) пропорциональна
1/т (0), эта дисперсия не зависит от 0.
Применим сказанное к рассматриваемому случаю,
полагая п= щ—Л, Тп = S|/(ni — l), 0 = о2 и т2 = 202.
В качестве преобразования берем /(0) = log0. Здесь
производная пропорциональна 1/0. Тогда предельное
распределение для — 1 {log — 1)] — log <*1} будет
нормальным со средним нуль и дисперсией 2, так что
при больших nt случайные величины Zt = log [Sf/(ni — 1)]
распределены приблизительно по законам N (£ь а2) с
= log of, af = 2/(ni-l).
Теперь проблема сводится к проверке равенства сред-
них значений 5 независимых случайных величин Z^,
имеющих распределение N(Сь at), где известны.
В частном случае, когда все nt равны друг другу, дис-
персии а2 равны между собой и асимптотическая проб-
лема становится простым вариантом (простым в том
смысле, что дисперсии известны) задачи, рассмотренной
в начале раздела. Гипотеза gi =...=£« инвариантна
относительно добавления одной и той же константы
к каждой из величин Z и относительно ортогональных
преобразований гиперплоскостей, перпендикулярных
прямой линии Zi = ... = Zs. РНМ инвариантной крити-
ческой областью будет
S(Zf-Z)2/aa>C,
(19)
*) Доказательство см., например, в книге: Rao, Advanced
Statistical Methods in Biometric Research, New York John Wiley
& Sons, 1952, Section 5e.
3]
КРИТЕРИИ ОДНОРОДНОСТИ
375
где а2 —общее значение дисперсий и С определяется
из уравнения
оо
J Xe-i(sO<ty=a. (20)
С
В более общем случае неравных аг проблема сводится
к линейной гипотезе с известной дисперсией посредством
преобразования Zi — Zf/aj и РНМ инвариантный отно-
сительно подходящей группы линейных преобразований
критерий отвергает гипотезу, когда
<21>
йг 2j 1/а7 7 "к «г 7 (1/ap
(см. задачу 10), где С опять определяется равенством (20).
Эта критическая область РНМ, инвариантная при про-
верке гипотезы £i = . . . == £s относительно предельного
распределения, может рассматриваться как обладающая
этим свойством асимптотически при проверке первоначаль-
ной гипотезы Я : 01 — . . .— os *).
Этот же метод может быть применен для проверки
однородности нескольких биномиальных или пуассонов-
ских распределений. Подробности указаны в задаче И.
В применениях принципа инвариантности важно быть
уверенным в том, что предполагаемая симметрия действи-
тельно имеет место. Например, при проверке равенства
средних значений . . ., ps нормальных совокупно-
стей все параметрические точки с одним и тем же зна-
чением 4>2 = 3 nt (Н — р.)2/п2 отождествляются вслед-
ствие принципа инвариантности. Это уместно только
в предположении, что такие альтернативы можно рас-
сматривать как одинаково удаленные от проверяемой гипо-
тезы. В частности, должно быть несущественным, как
получилось данное значение т|)2: за счет нескольких не-
больших слагаемых или за счет одного большого. Ситуа-
ции, где напротив, существенно обнаружить большие
♦) Часто в качестве асимптотического критерия для Н исполь^
зуется критерий Бартлетта (см., например, раздел 6а цит. книги
Rao), который является, по существу, критерием отношения прав*
доподобия.
376
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
индивидуальные отклонения, не обладают требуемой сим-
метрией, и критерий, основанный на (18) не обязан более
быть оптимальным.
В подобных ситуациях обычно привлекают процедуры
боЛее общие, чем проверка отдельной гипотезы. Сравнивая
несколько совокупностей или способов обработки, мы,
как правило, желали бы не только определить, одинаковы
ли они, но, в случае отклонения гипотезы — также упо-
рядочить их или как-то сгруппировать, или, по крайней
мере, выделить из них лучшие. Предположим для про-
стоты, что объемы выборок равны = ппри i ~ 1, . . ., $.
Естественная процедура, приводящая к группировке
значений состоит в объявлении и у,,- различными
при \Х}. - хг. I > CS/Vsn(n-l), где S2 = 22 -
— Xk )2*)- Гипотеза Н равенства всех средних прини-
мается в этом случае, если
max| Х-. — I
---, 3 * 1 < С **).
S lY sn (п— 1)
Если Н отвергается, то считают, что pj > pj для всех
пар (г,/), для которых Xj- — Х^ > CS/Ysn(n — 1).
Уровень значимости здесь равен вероятности объявления
какой-либо из разностей —Цг значимой, в то время
как в действительности все величины у равны друг
ДРУГУ- Левая часть (22) называется стъюдентовым раз-
махом выборочных средних.
Аналогичный подход возможен при сравнении не-
скольких дисперсий. Предположим снова, что объемы
выборок равны и что классификация осуществляется по
(22)
*) Другие типы процедур со многими решениями для этой
и более общих линейных гипотез были предложены в числе других
в работах: Duncan, Multiple range and multiple /’-tests, Biomet-
rics, vol. 11 (1955), 1—42; Scheife, A method for judging all
contrasts in the analysis of variance, Biometrika, vol. 40 (1953), 87—
104; T u k e y, Comparing individual means in the analysis of vari-
ance, Biometrics, vol. 5 (1949), 99—114, и в одной неопубликованной
работе.
♦*) Таблицы С даны в Biometrika Tables, vol. 1, Cambridge
Univ. Press, 1954, Table 29, и работе May, Extended and corrected
tables of the upper percentage points of the studentired range, Bio-
me'trika, vol. 39 (1952), 192—193.
4] ОДНО НАБЛЮДЕНИЕ В КЛЕТКЕ 377
принципу: aj < а|, если S^/Sl > C\al> а], если S^/Sl < 1/С
(С > 1), и al = a1 2jf если ни одно из этих неравенств не
выполняется. Полная гипотеза . = as принимается
в этом случае, когда
max 5 J
“Y Gp = min^ < С *)• <23>
h
Критерии, основанные на стьюдентовом размахе и на
максимуме /"-отношений, не обладают, как кажется,
никакими оптимальными свойствами, если их рассмат-
ривать как критерии для гипотез = ... = и ах = ...
... = а$ соответственно. Однако они обладают свойст-
вами оптимальности, если их рассматривать как реше-
ние проблемы об упорядочении средних или дисперсий
(при допущении «ничьих») **).
4. Двойная классификация: одно наблюдение в клетке
Гипотеза равенства нескольких средних возникает
тогда, когда необходимо сравнить несколько различных
способов обработки или процедур, или совокупностей,
или проявлений каких-либо факторов. Часто интересуются
изучением эффекта более чем одного фактора или эффек-
та одного фактора при изменении некоторых из усло-
вий эксперимента (что играет роль дополнительных
факторов). В настоящем разделе мы рассмотрим случай,
когда число факторов, влияющих на исход эксперимен-
та, равно двум.
Предположим, что при каждой возможной комбина-
ции интенсивностей обоих факторов производится ровно
одно наблюдение. Пусть 1, ..., а; /= 1, ...,&) —
результат наблюдения, соответствующий случаю, когда
первый фактор находится на t-м, а второй на /-м уров-
не. Предполагается, что Хц независимы и распределены
нормально с постоянной дисперсией о2 и (на время) что
оба фактора действуют независимо (в этом случае
говорят, что они аддитивны), так что имеет вид
1 *) Таблицы С даны в Biometrika Tables (цит. книга), Table 31.
^(Lehmann, A theory of some multiple decision problems,
Ann. Math. Stat, vol. 28 (1957), 1—25, 547—572.
378
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
aJ + Pj. Полагая ц = а'+[^ и = — a'., Pj = Pj —
мы можем написать
hij =® Ц 4“ ai + Pj, 2J ai “ S Pj = (24)
где величины a, p и ц однозначно определяются из (24):
Ъ = U - U Р; = - U Н = t • *)• (25)
Рассмотрим гипотезу
Я: сц = ... = aa = 0
о том, что первый фактор не влияет на исходы испыта-
ний. Эта гипотеза возникает в двух различных обстоя-
тельствах. Интересующим нас фактором, соответствую-
щим нескольким способам обработки, может быть р,
в то время как а соответствует классификации по месту,
где производятся наблюдения (ферма, лаборатория,
город и т. п.). Указанная гипотеза соответствует пред-
положению о том, что эта вспомогательная классифика-
ция не влияет на результаты эксперимента и, следова-
тельно, не должна приниматься во внимание. При дру-
гом истолковании фактором, представляющим главный
интерес, является а. В этом случае формулировка проб-
лемы как задачи проверки гипотезы была бы чрезмер-
ным упрощением действительного положения, так как
в случае отклонения Я потребовались бы оценки вели-
чин а или, по крайней мере, их разбиение на группы
больших и малых.
Гипотеза Я является линейной гипотезой с r = a = l,
5 = 1 4-(a— l) + (fe — 1) = а + Ъ — 1 и п — s = (а — 1) (Ь — 1).
Оценки параметров в й по методу наименьших квадра-
тов могут быть получены из тождества
S3 (Xtj - ы2 = 22 (Xtj - и - а{ - ₽,)* =
= 22 t(Xi}-Xi--X.j + X.^ + iXi.— X..-—at) 4-
+ (X.j-x..-p/)+(X„ -И)Г=
= 22(Xfj-Xi--X j + X--)2 + &2(Xi--*--~ «i)2 +
+ а2(Х.,— Х..-р;)2 + а&(Х...-и)2,
♦) Замена индекса точкой указывает на то, что величина
усреднена по этому индексу.
4]
ОДНО НАБЛЮДЕНИЕ В КЛЕТКЕ
379
которое выполняется, так как в разложении третьей
суммы квадратов попарные произведения исчезают. Мы
имеем
= ц = Х..
и
SS (xtj - U)2=SS (xi} - xt. - х.,+X..)2.
При гипотезе Н имеем, кроме того, 0у = Х7 —X..,
|1 = Х.. и iij — |г; = Х;. — X... Следовательно, наилучший
инвариантный критерий отклоняет гипотезу, когда
т.„ 6У, (X,.— Х..У!(а — 1)
W* = ------—------------> С. (26)
^(Xi}-Xt.-X.j+X..y/(a-l)(b-i) К
Параметр нецентральности, от которого зависит мощ-
ность критерия, равен
-1.-)2/о2 = (27)
Эта задача доставляет новый пример применения дис-
персионного анализа. Полная изменчивость может быть
разбита на три компоненты:
SS (Хи - X..)2=ьз №. - X. .)*+aS (X.J - X..)2+
+ xt.- х.}+х..)\
Из них первая описывает изменчивость, обусловленную
фактором а, а вторая —фактором р. Последняя компо-
нента в канонической записи раздела 1 имеет вид
п
3 У*, т. е. это сумма квадратов тех случайных вели-
?=з+1
чин, средние которых равны нулю и при Q. Так как
эта часть (которая после деления на тг —s дает оценку
о2) не может быть связана с действием факторов аир,
то ее часто называют «ошибкой», подчеркивая этим наз-
ванием, что она связана со случайностью результатов
наблюдения, а не с каким-либо расхождением в средних
значениях. В действительности разбиение не является
столь отчетливым, как можно вывести из сказанного.
Каждая компонента, например, относимая к фактору а,
380
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
содержит некоторые «ошибки», как можно видеть из ве-
личины ее математического ожидания
(Xf. - X. .)2 = (а - 1) о2 +
Вместо проверки гипотезы о наличии эффекта неко-
торого фактора можно стремиться оценить размер этого
эффекта при разных интенсивностях (уровнях) фактора.
Другими параметрами, оценка которых может представ-
лять интерес, являются средние значения исходов (на-
пример, размер урожая)^., ..., ga. при различных значе-
ниях фактора. Пусть 0^ = p + az = Тогда доверитель-
ные множества для (01? ..., 0а) получаются рассмотре-
нием гипотезы Н (0°): 0j = 0? (j = l, При провер-
ке гипотезы 01 = ... = 0а — 0 оценки по методу
наименьших квадратов для равны £zj = Xi.+X.j — X..
и iu = X.j — X... Как и раньше, сумма квадратов в зна-
менателе равна 22 ~~ Х.у + Х..)2, а сумма
квадратов в числителе теперь равна
Общий случай сводится к этому специальному заменой
величин Xij на Хг7 —0?. Так как s-a-\ b — 1 и г = а,
то гипотеза Н (0°) отклоняется при
__________ь^(хг.-еруа____________
33 (Хг7-xt.-X.j+Х..^Ка- —1)
Соответствующие доверительные множества для (0Ь ...
..., 0а) являются сферами
3(ег-хг.)2<
аСЗЗ (Хи-Х1.-Х.}^Х..у
(а —1)(Ь —1)д
Рассматривая доверительные множества для эффектов
«1, •••> «а, следует иметь в виду, что величины а свя-
заны между собой. Их общая сумма равна нулю и по-
этому достаточно ограничиться величинами аь ...,аа_1.
Однако решение оказывается более легким и более сим-
метричным, если сохранить все а. Критическая область
для Н: а$ = а? при г = 1, ..., а (с 2а? = 0) получается
5] т НАБЛЮДЕНИЙ В КЛЕТКЕ 381
из (26) заменой Ху = Хц,-а? и потому имеет вид
Соответствующие доверительные множества состоят из
точек (ах, . ..,аа), для которых 2аг = 0 и
В пространстве (ах, ..., аа) это неравенство определяет
шар с центром (Хх. — X.., ..., Xa. —-X..) в гиперплоско-
сти = т. е. доверительные множества для величин
а состоят из внутренности и поверхности гиперсфер,
получающихся в пересечении a-мерных сфер с гиперпло-
скостью 2az — о.
Как в этом, так и в предшествующем случае обыч-
ными методами можно показать, что класс доверитель-
ных множеств инвариантен относительно подходящей
группы линейных преобразований и что среди инвари-
антных эти множества являются равномерно наиболее
точными.
5. Двойная классификация: т наблюдений в клетке
В предыдущем разделе предполагалось, что эффекты
факторов аир независимы и, следовательно, аддитивны.
Однако факторы могут взаимодействовать в том смысле,
что эффект одного из них зависит от интенсивности дру-
гого. Так, успех учителя зависит, например, от степени
подготовленности или возраста студентов, а урожай при
различных условиях орошения зависит от типа почвы
и сорта выращиваемых растений. Если отказаться от
предположения аддитивности, то средние значения Lj
величин Xtj уже не будут более задаваться соотноше-
ниями (24) при Q, но станут совершенно произвольными.
Поэтому для каждой комбинации значений признаков
требуется не менее ab наблюдений, так как в противном
случае s — n. Мы рассмотрим здесь лишь простейший
случай, когда при каждой комбинации значений при-
знаков производится одно и то же число наблюдений.
382
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Пусть Xijk (i = 1, , 6; к — 1, ..., т) — |
независимые случайные величины, распределенные нор- I
мально с общей дисперсией о2 и средними £ ==
По аналогии с прежним случаем мы пишем
lij -1. + (Ip - I-) + (I- j -1-) + (bj - Ip - lj + !..) =
= Н + аг + Р; + ¥г7 I
c Sai = SPj = Syu = — 0- Тогда QLi представляет co- '
i j г j
бой среднее значение фактора 1 на уровне i (усреднение
производится по b уровням фактора 2; аналогично интер-
претируются и величины Р). Величины у называются
взаимодействиями, так как у^ указывает количество, на
которое совместный эффект — факторов 1 и 2 пре- i
восходит сумму их индивидуальных эффектов. Рассмот- ’
рим снова гипотезу о равенстве нулю всех величин а.
Тогда г— а — 1, s — ab и и — s — (m— 1) а&. Из разложения
S2S (х;л-222 (Xijk-Xtj.y+
+тп22(^---^)2 ’
и
22 (xtj. - go-)2=22 (Х^.-Xi..-X.j.+X... - yo-)2+
+ &2 (X i.. - X... - az)2 + aS (X. j. - X... - ₽,)2+
+ afc(X
следует, что
|l = H = t. = ^ аг. = |г.-|.. = Хг..-Х ....
Р7. = ^ = |.;-|..=Х.Л-Х;..,
\tj = ytj = X;J. — Xj.. ~ X.j. + X ...
и что
222 (xtjh - 1иУ = 22 S (Xijk - xtjy,
(Хг..-Х..)2.
Наиболее мощный инвариантный критерий отвергает ги-
потезу, когда
w, = с
J
т НАБЛЮДЕНИЙ В КЛЕТКЕ
383
Здесь параметр нецентральности распределения W* равен
а2 а2 * (^У)
Интерес представляет и гипотеза о независимости фак-
торов*) Н'\ — $ при всех г, /. Оценки параметров по
методу наименьших квадратов снова легко вычисляются.
РНМ инвариантный критерий имеет критическую область
(см. задачу 12)
m Ч(f-i>,30)
При гипотезе Н' статистика РИ* имеет /^-распределение
с (а —!)(&--!) и (m — l)ab степенями свободы. Пара-
метр нецентральности при любых альтернативных значе-
ниях величин у равен
Ч>2 = -(31)
Разложение полной изменчивости на компоненты
в настоящем случае имеет вид
S S3 (Xijk-X...r = mb^i(Xi..-X...y +
+ ma^(X.j.-X...r + m^(Xij.-Xi. .-X.j. + X.. .)2 +
+ 222(^-ад-
Здесь первые три суммы представляют компоненты измен-
чивости, связанные с величинами а, 0 и у соответст-
ственно. Последняя компоне та описывает «ошибку».
Критерии для гипотезы о том, что все а, все (J или все у
равны нулю (первая и третья из них имеют критические
области (28) и (30)), по луча тся сравнением соответст-
вующей суммы квадратов с последней суммой квад-
ратов. Аналогичное разложение возможно и в случае,
*) Критерий для Н' при некоторых ограниченных альтерна-
тивах был предложен для случая одного наблюдения в клетке
Tu key, One degree of freedom for non-additivity, Biometrics,
vol. 5 (1949), 232- 242.
384 ЛИНЕЙНЫЕ ГИПОТЕЗЫ 1гл. 7
когда величины у априори принимаются равными нулю.
Тогда третья компонента, ранее связывавшаяся с у,
описывает дополнительный эффект ошибок. Само разло-
жение принимает вид
SSS (xi}h-x...y=mb 2 (Хь._ а...)2+
+ та 2 (X.s. -X...)2 + SSS (Xi}h -Xt..- Х.}. + X..)2,
где последний член соответствует ошибкам. Гипотеза Н:
ai=... = aa = 0 отклоняется при
Допустим теперь, что предположение об отсутствии
взаимодействия, при котором получен критерий, не оправ-
дано. Тогда сумма квадратов в знаменателе имеет
нецентральное ^-распределение (вместо обычного) и пото-
му стохастически больше, чем предполагалось (см. зада-
чу 13). Отсюда следует, что действительная вероятность
отклонения меньше, чем она была бы при =
Это показывает, что вероятность ошибки первого рода
не превосходит номинального уровня значимости, како-
вы бы ни были значения у. Однако мощность убывает
при возрастании SSyV02 и стремится к нулю, когда
это отношение стремится к бесконечности.
Дисперсионный анализ и связанные с ним критерии,
рассмотренные в этом разделе для случая двух факторов,
непосредственно переносятся на случай большего числа
факторов (см., например, задачу 14). С другой стороны,
если число наблюдений для каждой комбинации значе-
ний факторов (для каждой клетки) не одно и то же, то
задача, хотя и охватывается схемой линейных гипотез,
но становится значительно сложнее.
Чрезвычайно важными являются планы эксперимента,
в которых появляются только некоторые комбинации зна-
чений факторов, поскольку тогда возможно сократить
объем экспериментальной работы. Так, например, дей-
ствия трех независимых факторов ст уровнями каждый
можно проанализировать всего с т2 наблюдениями
(вместо т3 наблюдений, если производить по одному
5]
т НАБЛЮДЕНИЙ В КЛЕТКЕ
385
наблюдению для каждой комбинации уровней), если ис-
пользовать метод латинских квадратов (см. задачу 15).
Рассмотренный здесь класс задач как частный случай
содержит задачу двух выборок, обсуждавшуюся в главе 5,
так как последняя касается одного фактора с двумя уров-
нями. Изложенные в этой связи вопросы о возможной
неоднородности экспериментального материала и о ран-
домизации как средстве компенсации этой неоднородности
сохраняют свою важность и в настоящей, более сложной
ситуации. Если неоднородный материал разделен на не-
сколько однородных групп, то эту классификацию можно
трактовать как порожденную одним или несколькими до-
полнительными факторами. Выбор этих групп является
существенным шагом в определении подходящего плана
эксперимента ♦) (очень простой пример обсуждался в за-
дачах 26 и 27 главы 5).
Как защиту от возможных неоднородностей внутри под-
групп (и других отклонений от сделанных предположений)
используют рандомизацию при назначении способов обра-
ботки внутри групп. Как и в случае задачи о двух вы-
борках, сам по себе процесс рандомизации (без каких бы
то ни было предположений относительно метода отбора
экспериментального материала, нормальности, независи-
мости и т. д.) позволяет строить критерии уровня а для
различных интересных гипотез. Критерии перестановок
в рассматриваемом случае сводятся к вычислению под-
ходящей /’-статистики W* и сравнению этого значения
с тем, которое получается применением к наблюдениям
перестановок, связанных с процессом рандомизации **).
Как и раньше, эти критерии асимптотически эквивалентны
соответствующим /-критериям, которыми они, следова-
тельно, могут быть аппроксимированы.
♦) Обсуждение различных планов и условия, при которых они
уместны, см., например, в книгах: Kempthorn е, The Design-
and Analysis of Experiments, New York, John Wiley & Sons, 1952
и С о c h r an and Cox, Experimental Designs, New York, John
Wiley & Sons, 2nd ed., 1957. Свойства оптимальности некоторых
планов, доказанные Вальдом, Эренфельдом, Кифером
и другими, рассматриваются в работе: Kiefer, On the nonrando-
mized optimality and randomized nonoptimality of simmetrical
designs, Ann. Math. Stat., vol. 29 (1958), 675—699.
**) Подробности см. в цит. книге Kempthorn e.
25 Э. Леман
386
Линейные гипотезы
[гл. 7
6. Регрессия
Как уже отмечалось в примере 2, гипотезы о специ-
альных значениях коэффициентов регрессии аир, когда
Хп — независимые нормально распределенные ве-
личины с общей дисперсией о2 и средними
£z = a + P*b (32)
являются частными случаями общей линейной гипотезы.
Гипотезы Hi. a = a0 и Н2'- Р — Ро обсуждались в разде-
ле 6 главы 5, где было показано, что для них сущест-
вуют РНМ несмещенные критерии. Мы рассмотрим те-
перь гипотезы Н± и Н2 и гипотезу Я3: a = a0, Р = Ро
с новой точки зрения. В соответствии с общей теорией
раздела 1, соответствующие критерии будут РНМ инва-
риантными относительно надлежащих групп линейных
преобразований. Для первых двух гипотез, для которых
г = 1, на этом пути получается, если учесть рассужде-
ния раздела 6 главы 6, новое доказательство того, что
рассматриваемые критерии — РНМ несмещенные.
Пространство Па — одно и то же для всех трех гипо-
тез. Оно натянуто на векторы (1, ..., 1) и (£ь ..., tn)
и потому имеет размерность s — 2, за исключением слу-
чая, когда все равны друг другу. Этот случай мы
не будем рассматривать. Оценки для а и 0 по методу
наименьших квадратов при Q получаются минимизацией
— а — Р^)2. При любом фиксированном Р минимум
достигается при а = Х —рг. При таком а сумма квадра-
тов сводится к У [(Xf — X) — Р (tt — /)]2. Минимизируя пос-
леднее выражение относительно Р, мы находим
(33)
н о»
кроме того, сумма квадратов в знаменателе для всех
трех гипотез равна
2 (Xi-a-fo)2 = 2 (Xi-X)2- 2 (ti- Г)2.
Числитель статистики, по которой строится критерий,
равен yj при проверке гипотез а = 0 ир = 0и равен
У2 при проверке гипотезы a = р = 0.
6]
РЕГРЕССИЯ
387
При гипотезе а = 0, как показано в примере 3, ста-
тистика Ух равна
t д /~ п л и /"n J (tj—о2
V J V 2(^-ф = а V 2‘1
Так как при этом
f 2j i
то гипотеза а = а0 эквивалентна гипотезе Е (Ух) = =
= а0 У п 2 (t} — tf/Ytj, для которой критическая область
(17) имеет вид (и — s) (Y\ — т]?)2/ 2 У2>С0 или
г=§+1
---/-' ' ' —- „ =- > Со. (34)
]/2(^г-а-₽г«)2/(п-2)
Как было показано ранее, при гипотезе р = 0 Ух равно
2 (Xt-X) (tj-t)
= Р/2 (*>-02.
Так как при этом Е (Ух) = 0 ]/" 2 (h~ г)2> то гипотеза
Р = ро эквивалентна гипотезе Е (Ух) = q“ — р0 ]/ 2 (*; ~ ^)2
и, следовательно, критическая область определяется
неравенством
—г-^ ---Л— — > Ьо-
У 2 (Хг-а-ргг)2/(»-2)
(35)
В примере 3 было указано, что при гипотезе а = р = 0
^i^PP^ICj-O2. y2 = V^X = /n(u-(40.
так что числитель в формуле (7) равен
(У?фУ1)_ h («+Р02+₽22 (zj-^)2]
2 “ 2
25*
388
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Более общая гипотеза а —о0, р —0О эквивалентна гипо-
тезе E_(Yl) = ^, E(YZ) = ^, где т)! = ₽о /2 (i;-t)1 2
= У п (а0 4- роО. Поэтому критическая область может
быть представлена в виде
[»(5-00)8 ±2nt (а—а0) (р-?0)+2 Ц (fi—р0)2]/2
2(^г-5-^)8/(п-2) ‘ '
Соответствующие доверительные множества для (а, 0)
получаются обращением этих неравенств и заменой а0
и Ро на а и р. Получающиеся множества имеют вид
эллипсов с центром в (а, 0).
Простую модель регрессии (32) можно обобщать во мно-
гих направлениях; например, средние могут быть по-
линомами от tf степени выше первой (см. задачу 18) или бо-
лее сложными функциями, скажем, тригонометрическими
многочленами, или функциями нескольких переменных,
например ti9 uit vt. Некоторые дальнейшие обобщения
будут теперь проиллюстрированы несколькими примерами.
Пример 6. Несколько проблем возникает при наличии
более чем одной линии регрессии. Допустим, что случайные вели-
чины Хц независимы и распределены нормально с общей диспер-
сией и средними
= (7 = 1, i=l, (37)
Гипотеза о том, что эти линии регрессии имеют один и тот же
наклон,
Н: р1 = ...=р&
может встретиться, например, при проверке равенства нескольких
скоростей роста. Пространство параметров Пд имеет размерность
s = 2b, если предположить, что ни одна из сумм 2
з
не обращается в нуль. Число ограничений, налагаемых гипотезой,
равно г—Ъ — 1. Минимальное значение ^^(Xj—hj)2 в Q полу-
чается минимизацией при каждом i сумм 2 так
3
что в силу (33)
у, <г)
1 г‘=^,А-
3
б]
РЕГРЕССИЯ
389
При гипотезе Н следует минимизировать сумму —
— P^zj)2, что ПРИ любом фиксированном р приводит к значению
ai = Xi.— и сумму квадратов превращает в Хг.) —
— Р(^;—^.)]2« Минимизируя последнее выражение по р, находим
р 22<^-W
Так как
«г——Р^. •
-^zJ““ — — az — fail — (Xij — ^z *i«)
И
то критическая область (15) равна
2<&-iba2(^-M2/<6-1)
г_______I_______________
22 К^-хГ)-₽г- (tij-t^Kn-гь)
где левая часть при гипотезе Н имеет /’-распределение с (& — 1)
и (п — 2Ь) степенями свободы.
Так как
Зр, 3 <<»•-><•>’
то параметр нецентральности указанного распределения при
альтернативных значениях р равен ф2 = 2 (Pz— Р)22 —*|-)2/а2*
г 3
где р = £'(р). В частном случае, когда тц и не зависят от j,
(Г принимает вид р=2р/7&.
Пример 7. Модель регрессии (37) возникает при сравнении
нескольких способов обработки, при условии, что эксперимен-
тальные единицы считаются постоянными, а соответствующие
эффекты иц (определенные в разделе 10 главы 5) —пропорциональ-
ными известным константам Здесь может измерять степень
плодородия i ;-го участка почвы или вес i /-го животного до
эксперимента. В этой обстановке часто можно принять, что
множитель пропорциональности р^ не зависит от способа обра-
ботки. Тогда (37) сводится к
?z7 — az +Р*гЛ (39)
а гипотеза об отсутствии эффекта обработки принимает вид
Я: «!=... =ab.
390
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Пространство Пй совпадает с пространством По предыдущего
примера, так что s — £4-1 и
У£(ХгЛ-х<.)(^-*г) .
р м2
— —p<j.
дает
а = ЛГ.. —р/.. ,
Минимизация суммы 2 —а ~~P^J*)2
12(^—<-)2
где Х..= У У Xij/n, t.^^tuln, п==угаг. Сумма квадратов
в числителе Ж* (см. (15)) равна
у у - tu-)2 = у у ЦХ{ .-*..)+₽ («у— ч.) -1 («У -1. .)12-
Следовательно, гипотеза Н отвергается при
У у [№-х..)+Р (<У- .) 4 (tjj -1. -)]2/(d -1)
у У [(Ху-Xj.) - р («у- ii. )]2/(п-b -1)
с, (40)
где при гипотезе Н левая часть имеет /’-распределение с Ь — 1
и п — Ъ — 1 степенями свободы.
Гипотеза Н может быть проверена и без того, чтобы значения
tij считать известными. В этом случае она становится гипотезой
об отсутствии эффекта в одинарной классификации, рассмотренной
в разделе 3, и соответствующий критерий дается формулой (18).
Действительно, поскольку в этом случае индивидуальные эффекты
ии предполагаются постоянными (но неизвестными), то способы
обработки приписываются экспериментальным единицам или совер-
шенно случайно, или случайно внутри подгрупп. Соответствующий
критерий является рандомизированным; критерий (18) служит
приближением к нему.
Пример 7 иллюстрирует важный класс ситуаций, в ко-
торых дисперсионный анализ (в нашем случае касающийся
одинарной классификации) комбинируется с проблемой
регрессии (в нашем случае — линейная регрессия на един-
ственную «сопутствующую переменную» t). Обе части
проблемы могут, конечно, оказаться более сложными, чем
это было в примере. В общем случае такой комбинирован-
ной проблемы можно проверить гипотезы о величине
эффектов, подобно тому как это сделано выше. Анало-
гичный анализ можно провести для коэффициентов ре-
7]
МОДЕЛЬ II: ОДИНАРНАЯ КЛАССИФИКАЦИЯ
391
грессии. Разбиение полной изменчивости на компоненты,
соответствующие различным способам обработки и раз-
личным коэффициентам регрессии, является предметом
так называемого анализа ковариаций.
7. Модель И: одинарная классификация
Мы видели, что способ анализа действия одного или
нескольких признаков зависит от того, считаются ли экспе-
риментальные единицы постоянными или же образуют
случайную выборку из совокупности таких единиц. То же
различие возникает и при изучении эффектов самих фак-
торов. В некоторых применениях они постоянны, а в не-
которых других являются не наблюдаемыми случайными
величинами. Если размеры эффектов все постоянны или
все случайны, то мы говорим о модели I или модели II
соответственно; ситуации, где встречаются оба типа, мы
обозначаем термином смешанная модель. Ясно, что схе-
мой линейных гипотез, как она определена в начале этой
главы, охватывается только модель I. В настоящем раз-
деле мы рассмотрим для случая одного фактора (одинар-
ная классификация) модель II. Модель I для этого случая
была разобрана в разделе 3.
В качестве иллюстрации рассмотрим какую-либо про-
мышленную продукцию, например сталь, которая произ-
водится партиями. Предположим, что из каждой из з
партий берется выборка объема п и что результаты наблю-
дений (7 = 1, . . ., n; i = 1, . . s) независимы и рас-
пределены нормально с дисперсией о2 и средними
Если бы фактор, соответствующий индексу i, был постоя-
нен, с одним и тем же эффектом at в каждом повторении
эксперимента, то мы имели бы
Вг=ф + аг (2аг = 0) и Хгу = |л + аг + С7г7,
где Utj независимы и распределены по закону N (0, а2).
Гипотеза об отсутствии эффекта имеет вид . . . = |8,
или, что эквивалентно, — . . .= а* ~ 0. Однако эф-
фект связан с партиями, из которых при каждом повторе-
нии эксперимента берется новая часть; поэтому эффект
не остается постоянным. Мы допустим, что эффекты,
392
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
связанные с партиями, образуют выборку из нормального
распределения, и, чтобы подчеркнуть их случайную при-
роду, мы будем писать вместо ah так что
%ij = И + A + Utj. (41)
Предположение об аддитивности (т. е. об отсутствии взаи-
модействия) эффектов, связанных с партией, и индиви-
дуальных эффектов влечет в этой модели независимость
случайных величин А и U. Если математические ожида-
ния величин Ai включить в ц, то все величины А и U
будут независимыми нормально распределенными со сред-
ними нуль и дисперсиями, равными о! и q2 соответствен-
но. Конечно, величины X уже не будут независимыми.
Гипотеза об отсутствии эффекта партий, т. е. гипотеза
о том, что А равны нулю и, следовательно, постоянны,
принимает форму
н-. <d = o.
Это предположение в рассматриваемой ситуации нереали-
стично, но оно может рассматриваться как предельный
“случай гипотезы
Я (До): -^<*0
о том, что эффект партий мал по сравнению с изменчи-
востью материала внутри партии. Этим гипотезам в мо-
дели I соответствуют гипотезы 2а? = 0 и Уа?/а2<Ао-
Чтобы получить критерий для Я(Д0), удобно начать
с того же самого преобразования переменных, которое
приводило соответствующую модель I к канонической
форме. Каждый набор (Х^, ..., Хгп) мы подвергаем орто-
п
тональному преобразованию Yij~ У, CjkXik такому, что
Ун = УпХг. Так как с1& — 1/уЪ при к = 1, ...,п
(см. пример 3), то из предположения ортогональности
п
следует, что У = 0 для / —2, ..., п и, что, следова-
k=i
п
тельно, Yij— 2 cjkUik при />1. Таким образом, вели-
. *=4 - . .
7]. МОДЕЛЬ II: ОДИНАРНАЯ КЛАССИФИКАЦИЯ 393
чины Yij с 7 > 1 независимы и распределены нормально
с нулевыми средними значениями и дисперсией о2. Они
также независимы от Ui•, поскольку (]/тг Ui-Yi2 ... Yin)' =
= С (UiiUi2 ... Uin)' (штрих указывает операцию транс-
понирования матрицы). С другой стороны, случайные
величины Ун = |/*пХ4. =Уп(н + Л + 1Л-) также незави-
симы и распределены нормально со средними значе-
ниями и дисперсией а2 + тгод. Если произвести
дополнительное ортогональное преобразование вектора
(У1Ь ...,У51) в вектор (Zu, ...,Zsi) такой, что ZH =
=]/7у.ь то величины Z будут независимыми, нормально
распределенными с общей дисперсией а2 + пад и сред-
ними Е (Zu) = У$п [i и E(Zzi) = 0 при i>l. Полагая,
по определению, Zi^-Y^ при />1, мы найдем, что
совместная плотность величин Z равна
(2л) "s/2a-(n-i)s (О2 + »/2 ехр Г £ х
L 2 (а2+па а)
S 8 п
х ((zn-/snH)2 + 3 zii) —2^2 2 z«] • (42)
i=2 i=l j=2
Проблема проверки 7/(До) инвариантна относительно
добавления произвольной постоянной к ZH; по отноше-
нию к этому преобразованию совокупность остальных
величин Z является максимальным инвариантом. Эта
совокупность составлена из двух выборок — объемов
s(n — 1) и 5 — 1—из нормальных распределений со сред-
ними нуль и дисперсиями а2 и т2 = а24-тгад. Гипотеза
Н (До) эквивалентна гипотезе т2/а2<1 + До^, и проблема
сводится к задаче сравнения дисперсий двух нормаль-
ных распределений, которая рассматривалась в при-
мере 6 главы 6 (без предположения о том, что средние
равны нулю). РНМ инвариантный (относительно умно-
жения всех Zij на одну и ту же положительную кон-
станту) критерий отклоняет гипотезу, когда
W- 7Г~1—i Г • F57/---FT- > v , (43)
(1 + Доп) S2/(n —l)s ' ’
394
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
где
п S п S п
Л = у Z?! и 52 = У У z?j= У. у YI}.
1=2 1=1 5=2 i=l 5=2
Константа С определяется из уравнения
F»-i, (n-1)«(y)dy = a.
с
Так как
У У^-У?1 = У Uti-nUb
5—1 5=1
И
У 2?!-^ = У У?!-^2!,
г=1 1=1
то суммы квадратов, стоящие в числителе и знамена-
теле И7*, выраженные в терминах величины X, прини-
мают вид
Sl = n У (Xt.-X.y и 52=У У (Xu-Xv)2.
1=1 1=1 5=1
В частном случае, при До = О, критерий (43) экви-
валентен соответствующему критерию (18) для модели I,
но они являются решениями разных проблем и имеют
разные функции мощности. Сумма квадратов в числи-
теле И7* пропорциональна обычному %2, даже если гипо-
теза неверна (в то время как в модели I эта сумма
имела нецентральное Х2-распределение). Мощность кри-
терия (43) при альтернативном значении Д вычисляется
через ^-распределение по формуле
оо
0 (Д) = Рд {И7* > С} = J Л-i, (n-i)S (у) dy.
1+Дрп с
1+Дп
Семейство критериев (43) при меняющемся До экви-
валентно доверительным утверждениям
1 Г
- П 16'5’2/(71—1)5
(44)
7]
МОДЕЛЬ II: ОДИНАРНАЯ КЛАССИФИКАЦИЯ
395
Соответствующие верхние доверительные границы для А
получаются из критериев для гипотез Д>Д0. Области
принятия для этих последних имеют вид
где W* определяется по (43), а С' — равенством
со
FS_1, (n-i)s = 1—а. Соответствующие доверительные гра-
С'
ницы имеют вид
1 г S\/(s — 1) 1 _
А<т1гзМ^Ь-Ч=д- <45>
Как доверительные множества (44), так и доверитель-
ные множества (45) инвариантны относительно группы
преобразований, порожденной группами, рассматривав-
шимися при проверке гипотез, и, следовательно, среди
инвариантных являются равномерно наиболее точными.
Когда Д отрицательно, доверительное множество
(Д, оо) содержит все возможные значения параметра Д.
При малых Д это будет происходить с большой вероят-
ностью (1—а для Д = 0), чего следовало ожидать, так
как Д должно быть надежной нижней границей для
величины, которая равна нулю или очень близка
к нему. Более неприятна возможность получить отри-
цательное значение для Д, так что доверительное мно-
жество ( — оо, Д) оказывается пустым. Интерпретация
подсказывается тем фактом, что это может быть тогда
и только тогда, когда гипотеза Д>Д0 отклоняется при
любых положительных значениях До. Последнее можно
воспринимать как указание на неудачный выбор модели.
Правда, следует иметь в виду, что при малых Д вероят-
ность события Д < 0 близка к а, даже если требуемые
предпосылки выполнены; так что изредка это событие
может наблюдаться.
Критерии для гипотез Д < До и Д > До являются
не только РНМ инвариантными, но и РНМ несмещен-
ными. РНМ несмещенный критерий существует и для
гипотезы Д — До при двусторонней альтернативе Д =# До.
Это вытекает из того факта, что совместные распределе-
ния величин Z образуют экспоненциальное семейство.
Доверительные множества, связанные с этими тремя
396
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
семействами критериев, оказываются равномерно наи-
более точными в классе несмещенных (см. задачу 19).
То обстоятельство, что в модели II существуют опти-
мальные несмещенные процедуры, а в соответствующей
модели I они отсутствуют, объясняется различной струк-
турой двух гипотез. Гипотеза (Гд = 0 в модели II нала-
гает одно ограничение, так как касается единственного
параметра Од. С другой стороны, соответствующая гипо-
теза ai = 0 в модели I касается значений 5 парамет-
г—1
ров ai, ..., as. Так как 5—1 из них независимы, то
число ограничений равно 5 — 1.
8. Классификации по подчиненности
(«гнездовые» классификации)
Теория предыдущего раздела неприменима даже
в столь простой ситуации, как одинарная классифика-
ция с различными численностями различных классов (см.
задачу 22). Однако принцип несмещенности может быть
распространен на важный случай «гнездовых» (иерархи-
ческих) классификаций с равными численностями
классов. Характер этого обобщения легко понять, если
провести его для случая двух факторов. Случай боль-
шего числа факторов охватывается по индукции..
Возвращаясь к примеру с партиями какого-либо про-
дукта, допустим, что одной партии сырья достаточно
для производства нескольких партий окончательного
продукта. Пусть экспериментальный материал состоит
из ab партий, причем каждая из а партий сырья идет
на изготовление b партий продукта. И пусть из каждой
партии взята выборка объема п. Тогда формула (41)
принимает вид
— И + + Bij + U ijk (46)
(г = 1, . .., а; / = 1, ...,&; к — 1, ..., п),
где Ai обозначает эффект, связанный с j-й партией
сырья, Вц — ь ]-й партией окончательного продукта,
полученного из этой партии сырья, Ui^ — с Л-й еди-
ницей, выбранной из последней партии. Все эти вели-
8]
КЛАССИФИКАЦИЯ ПО ПОДЧИНЕННОСТИ
397
чины предполагаются независимыми и распределенными
нормально с нулевыми средними значениями и диспер-
сиями, равными соответственно и о2. Основная
часть доказательства по индукции состоит в указании
ортогонального перехода к величинам Z/д, совместная
плотность которых, с точностью до постоянного множи-
теля, равна
а
ехр [ “ 2(a2+na^4-i>na^) — Vabn н) + 2 z^i) ~
i=2
а Ь а Ь п
~’ 2 (а2-|-пст^) 2 2 ziji — 2а2 2 2 2 z^k ] ’
i=l j=2 1=1 j=l h=2
Прежде всего, при каждых г, / существует ортого-
нальное преобразование величин (Хщ, . . Xijn)
В (Yiji, •••> Yijn) такое, что
Y ijt — V пХц- = р + ]/n (Ai + Btj -j- Uij-).
Как и в случае простой классификации, величины У^д
с к > 1 зависят только от U, независимы между собой
и распределены нормально с нулевым средним и дис-
персией а2 и не зависят от E7i7«. С другой стороны, вели-
чины Угл имеют ту же структуру, что величины У^-
в одинарной классификации
Y tji — R* + Ai + U ijf
где A^yliAi, U'ij===]fn(Bij-]-Uij) и где
дисперсии A'i и U'a равны о а—по а и о'2 = а2 + тгов соот-
ветственно. Эти величины могут быть, следовательно,
преобразованы в величины совместная плотность
которых задается формулой (42) с заменой Ztj на Z/д.
Полагая Zip^Y^ при Л>1, мы видим, что совмест-
ная плотность величин Z^^ определяется выраже-
нием (47).
На основе формулы (47) можно проверить гипотезы
Я1*. Оа/(о2 + пов) < До и Я2: ав/о2<До, которые устанав-
ливают, что одна или другая из классификаций меньше
398
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
влияет на исход испытаний. Пусть
а а Ъ а Ъ п
г—2 i=l j=2 г=1 j=l fe=2
Чтобы получить критерий для Hi, кажется соблазни-
тельной попытка исключить S2 с помощью инвариантности
относительно умножения величин Zijb с к > 1 на про-
извольную постоянную. Однако эти преобразования не
оставляют выражение (47) инвариантным, так как они
не всегда сохраняют тот факт, что а2 является наимень-
шей из трех дисперсий: о2, a2 -f п<3в и а2 + пов + Ьпа\.
Вместо этого мы рассмотрим задачу с точки зрения
несмещенности. Для любого несмещенного критерия гипо-
тезы Я1 вероятность отклонения равна а каждый раз
как + тшв) = До*» в частности, это имеет место,
если дисперсии равны о2, т2 и (1 + &тгА0) гДе то ~ любое
фиксированное число и о2 < т2. Теми же приемами, что
и в главе 4. можно показать, что условная вероятность
отклонения гипотезы при данном 6*2 = $2 должна быть
равна а для почти всех значений s2. При фиксированном
S2 совместное распределение оставшихся величин имеет
такую же форму, как (42), после удаления Zm. РНМ
несмещенный условный критерий при данном S2 == $2 имеет
критическую область
ш*_ 1 ‘Sa/O’-1) . r ,,ях
W1 ~ 14-&пД0 ' S2B/(b—1) а
Так как Sa и Sb не зависят от S2, то константа Сг
определяется тем условием, что при Оа/(п2 + па в) == До
статистика W* имеет распределение Fa-i, (ь-1 )а, т. е.,
в частности, не зависит от $. Критерий (48) является,
очевидно, несмещенным и, следовательно, РНМ несме-
щенным.
В применении к Я2 совершенно аналогичные рассужде-
ния показывают, что РНМ несмещенный критерий имеет
критическую область
л S*/(b—l)a
<49>
где С2 определяется тем условием, что при а^/а2 = Д0
статистика W% имеет распределение F(b-i)a, (n-i)ab-
84 КЛАССИФИКАЦИЯ ПО ПОДЧИНЕННОСТИ 399
Остается выразить статистики Sa, Sb и S2 в терминах
величин X. Из соответствующих выражений для одинар-
ной классификации получаем
51 = У z?u—z2n = ь 2 (^-i—у--О2,
1=1
а Ь
Si = I [ s Zbi -Z?H] = SS (Угл-^-1)2
i=l j=l
И
a b n n
s*= £ Ш Ytik-Yt»] = sS [2 vtik-nutj.] =
i=l j==l fc=l г j fc=l
i j k
Следовательно,
51=bn2(Xi-.-X...)\ Si = n22(Xb--Xi..)S
52=222(Х,Л-Х;?л (50)
Из выражений для этих статистик в терминах величин
Z видно, что их математические ожидания равны
£'[5а/(«--1)]==(у2 t пав + ЬпоА, Е [Зв/(Ь — 1)а] = и2 + пов
и Е [52/(п — 1) ab] = о»2. Поэтому разложение
SSS(XiJfe-X...)2 = 51 + 52B + 52
служит основой для анализа дисперсий Хг&
Хаг (Xijk) = а а + °в + а2,
давая оценки для компонент дисперсии: Од, Ов, о2, и для
некоторых отношений этих компонент.
Двойные классификации по подчиненности могут встре-
чаться в форме смешанных моделей. Предположим, воз-
вращаясь к предыдущим иллюстрациям, что фирма про-
изводит продукцию на нескольких заводах. Пусть
обозначает эффект г-го завода (эта величина будет постоян-
ной, так как при повторении эксперимента заводы не ме-
няются), Bij — эффект партий, U — индивидуальный
эффект. Тогда наблюдения имеют следующую структуру:
%ijh == Ц + ai + Bij 4“ иijb. (51)
400
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Вместо полного приведения величин X к канонической
форме в терминах величин Z здесь удобнее осуществить
редукцию к величинам Y (так что У^д = ) и первое
из двух преобразований, переводящих У в Z. Обозначим
так полученные величины Они удовлетворяют соот-
ношениям Жд1 = ]ЛЬУ11, Wijk = Yijk при А>1 и
а а Ъ
2(жг11-ж.и)2=л, 2
2=1 2=1 j=2
а b п
2 2
2=1 j=l fe=2
где Sa, Sb и 52 определяются по (50). С точностью
до константы совместная плотность величин W равна
а а ' b
“р [ - 2 (<,4-4) с S (ate ->*-“^+33 ) -
V 1 2=1 2=1 7=2
а Ъ п
~2а^ 2 2 3 “й*] • (52)
2=1 7=1 fe=2
Отсюда ясно видно отличие задачи проверки гипотез
о малости эффектов отдельных заводов
V а?
Н: а!=...=аа = 0 или Н': —
(а2+пов)
и задачи проверки аналогичной гипотезы для эффектов
партий: йв/а2<До- Первые две гипотезы включаются
в модель I (линейная гипотеза). Как и прежде, из не-
смещенности вытекает, что условная вероятность отклоне-
ния при 52==s2 равна почти всюду величине а. При
фиксированном 52 гипотеза Н проверяется как линейная
гипотеза и РНМ инвариантный условный критерий при
условии 52 = $2 имеет критическую область (48) с До = О.
Константа Су снова не зависит от S2 и найденный крите-
рий является РНМ в классе всех критериев, как несме-
щенных, так и инвариантных. Критерий с аналогичным
свойством существует и для гипотезы Н'. Его критическая
9]
МНОГОМЕРНАЯ ЛИНЕЙНАЯ ГИПОТЕЗА
401
область имеет вид
S2B/(b-l) a ’
где С' определяется с помощью нецентрального /"-рас-
пределения (а не из центрального /"-распределения как
раньше; см. задачу 5).
С другой стороны, гипотеза ав/о2<Д0 относится,
по существу, к модели II. Она инвариантна относительно
добавления произвольной постоянной к каждой из вели-
чин Wm. При этом преобразовании максимальный инва-
риант образует суммы 2 3 и 3 2! 2 Задача
7=1 ;=2 7=1 j=l /7=2
сводится, таким образом, по структуре к чистой модели II
с одинарной классификацией. Критерий, как и раньше,
определяется по (49). Он является и РНМ инвариантным^
и РНМ несмещенным.
Смешанная модель с двумя факторами, которые взаимо*
действуют, будет рассмотрена в примере И.
9. Многомерная линейная гипотеза
Одномерная линейная модель раздела 1 возникает
при изучении воздействия различных экспериментальных
условий (факторов) на единственную характеристику,
такую, как размер урожая, вес, продолжительность жизни,
давление крови и т. п. Эта характеристика предполагается
распределенной нормально со средним, зависящим от ис-
следуемых факторов, и с дисперсией, не зависящей от них.
Мы рассмотрим теперь многомерный аналог этой модели,
который применим к изучению действия одного или
большего числа факторов на несколько характеристик,
например, к изучению влияния рациона питания коров
на жирность и на количество молока.
Многомерным аналогом действительной нормально
распределенной случайной величины является случайный
вектор (Х1? ..., Хр) с многомерной нормальной плот-
ностью вероятности
1/1 ехр [ — у 22 "ufo-ВО (*>-£/)] » (53)
(2л)2Р
26 э. Леман
402
ЛИЙЁЙЙЫЕ ГИПОТЕЗЫ
[Гл. ?
где матрица А = (afj) положительно определена и | А |
обозначает ее детерминант. Средние значения и матрица
ковариаций Хг- задаются формулами
Е (Х2) = Е (X, - Ы (Xj - Ы « аг7, (о^) - А~\ (54)
Рассмотрим теперь п независимых многомерных нор-
мальных векторов Ха = (Ха1, ..., Хар), а = 1, 71,
со средними 2?(Хаг) = £аг и общей матрицей ковариаций
А’1. Как и в одномерном случае, многомерная линейная
гипотеза формулируется в терминах двух линейных под-
пространств IIq и Пю тг-мерного пространства, имеющих
размерности s < тг и 0<s — r<s соответственно. Пред-
полагается известным, что при всех i — 1, ..., р векторы
(lib •••» ?nj) лежат в Пй; проверяемая гипотеза утвер-
ждает, что они лежат в По. Эта проблема приводится
К канонической форме применением к каждому из р век-
торов (Хн, ..., Xni) ортогонального преобразования (1).
Если
и если новые величины суть Х^, то преобразование может
быть записано в следующей матричной форме:
X* = СХ,
где С — (саР) — ортогональная матрица.
Чтобы найти совместное распределение величин Х^,
рассмотрим сначала ковариацию любых двух из них,
п п
скажем = У сауХу1 и Xfij — 2 cpe-^ey. Используя тот
Y=1 6=1
факт, что ковариация величин Xyi и Х^ равна нулю
при у =# б и равна при у = S, мы получаем
п п
Cov (%, Xfc) =22 Wf* Cov (х?ь X6J) =
Y=1 6=1
Д ( otj, если ct = 0,
' — °Ч / i АхуСру — I n . a
l о, если а ф 0.
9] ..
МНОГОМЕРНАЯ ЛИНЕЙНАЯ ГИПОТЕЗА
403
Таким образом, строки матрицы X* снова являются
независимыми многомерными нормальными векторами
с общей матрицей ковариаций А'1. Как и в одномерном
случае, векторы средних значений должны удовлетворять
соотношениям
(равносильным принадлежности Q) и проверяемая гипо-
теза принимает вид
Я: ^=...=& = 0 =
Изменим обозначения. Буквами У, U и Z будут
обозначаться соответственно первые г, последующие s — г
и последние т == п — s выборочных векторов. Мы приходим
тогда к следующей канонической форме. Векторы Уа, С7р,
Zv (а = 1, ..., г; 0 = 1, ..., s — г; у = 1, ..т) незави-
симы и имеют р-мерные нормальные распределения с общей
матрицей ковариаций Л"1. Дано, что средние величин Z
равны нулю, а проверяемая гипотеза Н состоит в том,
4то средние значения величин У также равны нулю. Если
то, как можно показать, принципы инвариантности
и достаточности позволяют редуцировать данные наблюде-
ний к двум р X р-матрицам У'У и Z'Z. Поэтому удобно
иметь выражение для этих статистик в терминах перво-
начальных наблюдений.
Как и в одномерном случае, обозначим (|п, ..., £пг)
И (tin •••> Im) проекции вектора (Хн, ..., Xni) на Па
и Пю. Тогда
S C^ai 5a i) 5a j)
a=l
представляет собой скалярное произведение двух векто-
ров, каждый из которых есть разность между некоторым
вектором и его проекцией на Hq. Отсюда следует, что
26*
404
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
это выражение остается инвариантным при ортогональ-
ных преобразованиях системы координат, в которой выра-
жены результаты наблюдений. Преобразование
[Хи\
С •
\XnJ
можно интерпретировать как запись вектора (Х1Ь ..., Xni)
в новой системе координат, у которой первые 5 коор-
динатных осей лежат в Пд. Проекция преобразованного
вектора (Ун, ..., УгЬ Uu, . • •, U8_rt h Zlh ..., Zmi) на Пй
равна (Ун, ..., УгЬ Uu, ..., C/s-r, ь 0, .0), так что
разность между этим вектором и его проекцией равна
(0, ..., 0, Zu, ..., Zmi). Элемент, стоящий в матрице
Z'Z на ij-м месте, равен
т п
2 = 2 (Хх$ Sai) C^aj £aj)* (55)
у— 1 a=l
Аналогично, проекция преобразованного вектора
(Уп, • ••, Ун), (^н, •••, Us_T,i, Zu, ..., Zmt) на Пю
равна (0, ..., 0, Uu, • Us_r, ь ..., Zmi) и раз-
ность между его проекциями на ЩиЩ равна (Ух,,..., YTii
г
0, ..., 0, 0, ..., 0). Мы видим, что сумма 2 Уз^З/
3=1
равна скалярному произведению разностей этих проек-
ций, вычисленных для &-го и /-го векторов. Сравнивая
эту сумму с выражением для того же самого скалярного
произведения в первоначальной системе координат, мы
находим Z, /-й элемент матрицы У'У
S = S - L) (U - L). (56)
3=1 a=l
10. Редукция с учетом инвариантности
Многомерная линейная гипотеза, каноническая форма
которой была указана в предыдущем разделе, является
инвариантной относительно некоторых групп преобразо-
ваний. Чтобы найти максимальные инварианты относи-
10]
РЕДУКЦИЯ G УЧЕТОМ ИНВАРИАНТНОСТИ
40^
тельно этих групп, нам потребуется, в дополнение
к стандартным теоремам о квадратичных формах, также
следующая лемма.
Лемма 1. Пусть М —любая тхр-матрица. Тогда
(I) матрица М'М положительно полуопределена, (II) ее
ранг равен рангу М, так что, в частности, М'М не
будет вырожденной тогда и только тогда, когда т^р
и ранг М равен р.
Доказательство. (I) Рассмотрим квадратичную
форму Q = и' (М'М)и. Если w — Mu, то
Q = w'w>0.
(II) Сумма квадратов w'w равна нулю в том и только
том случае, когда вектор w равен нулю. Требуемый
результат вытекает теперь из того факта, что решения и
системы уравнений Ми = 0 образуют линейное простран-
ство размерности p — Q, где g —ранг М.
Мы рассмотрим теперь три группы, относительно
которых инвариантна изучаемая проблема.
Группа Gi. Добавление произвольной постоянной
d$i к каждой из величин U^i оставляет проблему инва-
риантной. Этим исключаются величины U, так как сово-
купность величин Y и Z образует максимальный инва-
риант.
Группа G2. В процессе приведения проблемы к кано-
нической форме было показано, что ортогональное пре-
образование
У* = СУ
не изменяет ни факта независимости строк матрицы У,
ни матрицы ковариаций этих строк. Средние значения
векторов У* равны нулю в том и только том случае,
когда равны нулю средние значения векторов У и, сле-
довательно, проблема остается инвариантной при этих
преобразованиях.
Матрица У'У, составленная из скалярных произве-
дений векторов-столбцов матрицы У, является инвари-
антной относительно группы С2, так как У*'У* =
= У'C'CY — Y'Y. Мы покажем, что равенство У'У =
= У*'У* влечет существование такой ортогональной
матрицы С, что У* = СУ, Отсюда будет следовать, цто
406
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
матрица У'У является максимальным инвариантом отно-
сительно В2. Рассмотрим сначала случай г = р. Не огра-
ничивая общности, мы можем предположить, что пер-
вые р столбцов матрицы У линейно независимы, так как
исключительное множество величин У, для которых это
не выполняется, имеет меру нуль. Из равенства У'У =
= У*'У* вытекает, что матрица С = У*У-1 ортогональна
и что У* = CY, а это и требовалось доказать. Предпо-
ложим теперь, что г>р. По-прежнему мы, не ограни-
чивая общности, предположим, что первые р столбцов
матрицы У линейно независимы. Так как для любых
двух р-мерных подпространств r-мерного пространства
существует ортогональное преобразование, переводящее
одно из них в другое, то можно предположить, что
(после надлежащего ортогонального преобразования) р
векторов-столбцов матриц У и У* лежат в одном и том
же р-мерном пространстве. Тем самым задача сводится
к случаю r — р. Если, наконец, r<pt то можно пред-
положить, что первые г столбцов матрицы V линейно
независимы. Обозначая матрицы, образованные первыми
г и последними р — r столбцами матрицы У, буквами У1
и У2 соответственно, так что
У = (У1У2),
мы получим У*'УГ = У1У1 и, в силу сказанного выше,
найдется ортогональная матрица В такая, что У^ВУр
Из соотношения У*'У2 = У1У2 вытекает, что У1 —
= (У|')-1У(У2 = 5У2, чем и завершается доказательство.
Аналогично, проблема остается инвариантной относи-
тельно преобразований
Z* = DZ,
для которых максимальным инвариантом служит Z'Z.
Редукция к Z'Z может быть проведена и на основе
того факта, что Z'Z вместе с У и U образует систему
достаточных статистик. Как бы то ни было, при груп-
пах Gi и G2 данные редуцируются к двум матрицам
Г-У'У и 5 = Z'Z.
Группа G3. Мы наложим теперь ограничение т^р
(см. задачу 24), которое обеспечивает наличие числа
стеценей свободы, достаточного для разумной оценки
10]
РЕДУКЦИЯ С УЧЕТОМ ИНВАРИАНТНОСТИ
407
матрицы ковариаций. Рассмотрим преобразования
У* = У5, Z* = Z5,
где В —любая невырожденная матрица. Эти преобразо-
вания действуют раздельно на каждый из независимых
нормальных векторов (Ущ, . .., У₽р), (Zvl, ..., ZVP) и,
очевидно, оставляют проблему инвариантной. Индуци-
рованные преобразования матриц V — Y'Y и S = Z'Z
имеют вид
У*=5Т5, 5* = 5'55.
Так как | В' (У — KS) В | = | В |21 V — Х5|, то корни харак-
теристического уравнения
|Г-Х5| = 0 (57)
инвариантны относительно этой группы. Покажем, что
их совокупность образует максимальный инвариант. До-
пустим, что уравнения |У —Х5|==0 и | F* — %5*| = 0
имеют одни и те же корни. Опять-таки не ограничивая
общности, мы можем предположить, что первые р строк
матрицы Z являются линейно независимыми, так что
матрицы Z и Z* имеют ранг р. По лемме 1 матрица S
будет положительно определенной и из теорем об одно-
временном приведении двух квадратичных форм к сумме
квадратов*) вытекает, что существует невырожденная
матрица В^ такая, что
вув^ Л, =
где Л — диагональная матрица, элементы которой суть
корни уравнения (57), а I — единичная матрица. Суще-
ствует также матрица 52, такая что
57*52 = Л, 5'5*52 = 7.
Таким образом, 5 = В^В^1 преобразует V в V* и 5 в 5*.
Среди корней уравнения (57), образующих макси-
мальный инвариант, некоторые могут быть равны нулю.
♦) См., например, Anderson, An Introduction to Multiva-
riate Statistical Analysis, New York, John Wiley & Sons, 1958,
Theorem 3 of Appendix 1 [Есть русский перевод: Андерсон,
Введение В многомерный статистический анализ, Фидматгиз, 1963.]
408
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Действительно, так как эти корни являются диагональ-
ными элементами матрицы А, то число ненулевых кор-
ней равно рангу А, а следовательно, рангу V =
который по лемме 1, равен тт(р, г). Если это число
больше 1, то РНМ инвариантный критерий не сущест-
вует. Случай р — 1 —это случай одномерной линейной
гипотезы, уже изученный в разделе 1. Мы рассмотрим
теперь остающуюся возможность г = 1.
При г = 1 уравнение (57) и эквивалентное ему урав-
нение
| VS'1 —м\ = о
имеют только один ненулевой корень. Записывая опре-
делитель в форме многочлена по степеням X, мы видим,
что коэффициенты при степенях X, меньших р —1, дол-
жны быть равны нулю и что поэтому уравнение имеет
вид
(-Х)р =:0,
где W — сумма диагональных элементов (след) матрицы
VS"1. Пусть Slj обозначает г, /-й элемент матрицы 5'1
и пусть (У 1, ..., Yp)~ единственный У-вектор. Тогда
простые вычисления показывают, что
Р Р
j SliY tY}. (58)
г—1 2=1
Таким образом, необходимое и достаточное условие
инвариантности критерия относительно групп Gi, G2 и G3
состоит в том, что он зависит Только от W.
Распределение W зависит только от максимального
инварианта в пространстве параметров, который равен
р р
Ф2 = Z 5
г=1 j=l
где Плотность вероятности W имеет
(см. задачи 28 — 30)
1 оо
Р* (w) — e 2 2j
h=Q
(59)
вид
(60)
kl
~Р-1+fe
Cfc J
, A<m+‘)+fe
И]
ПРИМЕНЕНИЯ
409
Она совпадает с плотностью (6) статистики для одно-
мерного случая с г = р и п — $ = m +1 — р. При любых
фо < 41 отношение р^х (w)lp^ (w) является возрастающей
функцией от ш. Из леммы Неймана — Пирсона вытекает,
что наиболее мощный инвариантный критерий для про-
верки гипотезы Н: ц1=...=цр = О отвергает ее при
слишком больших W или, что то же самое, при
^±1zlp.w> С. (61)
Величина mW, которая при р = 1 св.одится к квадрату
/-статистики Стьюдента, по сути дела, является ^-ста-
тистикой Хотеллинга. Константа С определяется из
того условия, что при ф = 0 статистика (т -f-1 — р) W/p
имеет /'-распределение ср и — р степенями сво-
боды. Как и в одномерном случае, РНМ инвариантный
критерий существует и для более общей гипотезы Н':
ф2<4о- Его критическая область имеет вид W > С".
Так как при min(/?, г) > 1 РНМ инвариантный кри-
терий не существует, то были предложены различные
критерии, основанные на тех или иных функциях от кор-
ней уравнения (57), например, на сумме корней, на
максимуме или минимуме корней, на произведении
р
П (1 +^г)-1 (это критерий отношения правдоподобия).
i=l
11. Применения
Различные одномерные линейные гипотезы с г = 1,
фиксирующие, например, среднее значение нормального
распределения, разность средних значений двух нор-
мальных совокупностей с равными дисперсиями, наклон
линии регрессии и т. п., могут быть распространены
теперь на многомерный случай.
Пример 8. Пусть ..., Хар), сс = 1, ..., п—выборка
из многомерного нормального распределения со средним^, ..., £р)
и матрицей ковариаций Л"1, причем и то и другое считается
неизвестным. Рассмотрим задачу проверки гипотезы Н: ^ = ...
. ,.~gp = 0. В примере 4 было показано, что
^‘=3ь=°-
p=t
410
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
В силу (55) г, /-й элемент матрицы S = Z'Z равен
Sij= 2 (Xat-X.t) (Xa}-X.j)
а=1
и по (56)
YiYj = nX.iX.j.
Критерий основан на статистике W (см. (58)) и имеет критическую
область (61) с $ = 1 и т — п— s — n— 1. Статистика Т2 = (тг—1) W
известна под названием Т2-статистики Хотеллинга.
Пример 9. Пусть (Л**,’.....лЗД), а=1,и (Xffl. ...
, п2 — независимые выборки из многомерных
нормальных распределений с одной и той же матрицей ковариа-
ций А-1 и средними (^/\ .. м^) и (^2\ . ..,^2)). Рассмотрим
гипотезу Н: = ?i2) Для l’ = l> Тогда $ = 2 и, как сле-
дует из примера 5, при всех аир
п
Следовательно,
а=1
П2
+ X MV-*'.?) К»’
Р=1
и выражение для УгУ; упрощается:
У;У7- = п, (X!1?-X) (X‘.V- Х>) + «2 (Х<Л -Xi) (Х<2/-Х}) *).
Помимо задачи проверки вышеприведенных и анало-
гичных обобщений одномерных гипотез, критерий (61)
применим также и к некоторым проблемам, которые
сами по себе не укладываются в схему линейных гипотез,
как она описана в разделе 9, но сводятся к ней с помощью
♦) Критерий гипотезы Н для случая р > |-п2— 2 рассмат-
ривается в работе: Dempster, A high dimensional two-sample
significance test, Ann. Math- Stat,, vol. 29 (1958), 995 —1010.
ПРИМЕНЕНИЯ
411
11]
соображений инвариантности. Пусть (Ха1, . ..,Хар)»
а = 1, п — выборка из многомерного нормального рас-
пределения со средним (|1, ..., £р) и матрицей ковариа-
ций Л’1. Рассмотрим гипотезу о том, что вектор (|i, ..., £р)
лежит в (р —г)-мерном подпространстве р-мерного про-
странства. Обычным образом можно преобразовать резуль-
таты наблюдений в величины (Уаь • • •, Var, Zai, ..., Zai),
p=zr-\-l, образующие выборку из р-мерного нормального
распределения со средним (т|ь ..., цг, ..., Ci) таким,
что проверяемая гипотеза принимает форму Я: = ...
. . . = Т]г = 0.
Эта задача остается инвариантной относительно неко-
торой группы линейных преобразований, для которой
максимальным инвариантом является совокупность вели-
чин У. В терминах У гипотеза сводится к рассмотренной
в примере 8. Следовательно, существует РНМ инвариант-
ный критерий гипотезы Я, задаваемый формулой (61)
с р~г и т — п — 1. Перед тем как доказать, что вели-
чины Z могут быть отброшены, мы укажем два примера
задач этого типа.
Пример 10. Пусть •••» -^ag» д+1» •••» -^a»2g)»
a = l, ..., n,—выборка из многомерного распределения’. Рассмо-
трим задачу проверки Н: = для i = l, ..., д. Она может
возникнуть, например, когда. Xan •••> Xaq и %а, д+1» •••» 2g
суть результаты q измерений одного и того же объекта в два
различных периода после некоторой обработки. В терминах
переменных
— g+z — -^az> ^'az*==-^az (a = l, ..., n\ i = l, ..., g)
гипотеза принимает вид = (Уаг) =0 для г = 1, ..., д и РНМ
инвариантный критерий получается из критерия примера 8, при-
мененного к величинам У, с заменой р на q.
Пример И. Пусть (Та1, ..., Хар), а = 1, ..., п,—выборка
из p-мерного. нормального распределения. Рассмотрим задачу
проверки гипотезы Н: В. терминах новых перемен-
ных Yai — Xai —Хар (г — 1, ..., р—1) и Za — Xap гипотеза снова
принимает каноническую форму тц = ... = г]р_! = 0 и задача сво-
дится к разобранной в примере 8 (с заменой р на р — 1). Возьмем
конкретный пример: пусть на фабрике имеется р машин, произ-
водящих некоторую продукцию, качество которой измеряется
-случайной величиной X, Эксперимент состоит в том, что п рабо-
чих обслуживают каждую из машин; при этом Хаг^Качество,
получаемое, когда рабочий с номером а обслуживает г-ю машину.
Если указанные п рабочих выбраны наудачу из большой сово-
купности, то можно предположить, что векторы (Хар ...» Хар)
412
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
образуют выборку из р-мерного нормального распределения.
Из двух факторов, влияющих на результат эксперимента, один
(машины) фиксирован, а другой (рабочие) случаен в том смысле,
что повторение эксперимента происходило бы с теми же самыми
машинами, но другими рабочими. Проверяемая гипотеза состоит
в том, что эффект, связанный с неслучайным фактором, отсут-
ствует. В этой смешанной модели критерий совершенно дру-
гой, чем в соответствующей модели I, когда оба эффекта фикси-
рованы (что рассматривалось в разделе 4).
Мы вернемся теперь к общему случаю, когда
(Уа1, Уаг, Zal, ..., Zae), а = 1, ..., п~ выборка
из p-мерного нормального распределения со средним
(тц, •••> Лг> Ci, •••, Si) и когда проверяется гипотеза
щ . • — т]г = 0, проиллюстрированная примерами 10 и И.
Интерпретируя временно совокупность рп величин как
множество р = г + 1 векторов в n-мерном пространстве:
(У1Ь ..ynf), г = 1, ..г, и (Zi;, ..ZnJ), 7 = 1» ..Z,
рассмотрим ортогональное преобразование n-мерного про-
странства, которое переводит (я^, ..., хп) в (#', ..., х£),
причем так, что х^ — Упх. Допустим, что это преобра-
зование применяется к каждому из р наблюдаемых век-
торов, и пусть оно переводит (У1г-, ..., Yni) и (Zi;, ..., Znj)
в (Uu, ..., Uni) и (Fij, ..., Vnj) соответственно. Тогда,
в частности, Vu~ Уп Y.i, Гц = УnZ.j и совокупности
случайных величин (t7al, ..., C7a2, Fai, • ••, Fa{),
a — 1, ..., n, независимы и имеют (г + /)-мерные нормаль-
ные распределения с одной и той же матрицей ковариа-
ций и средними значениями Е (£7П) = У п Е (Fij) —
= Vntj И Е (Uai) = Е (FaJ) = 0 при а>1.
Полагая
/^21 ... и2г. Ж21 ... V2l
Z7-I I и У = ( ’
... uj Vnl ... Vnl
мы видим, что проблема остается инвариантной относи-
тельно следующих двух групп преобразований.
Группа 6\. Добавление произвольной постоянной Cj
к каждой из величин V17-, /=1, .Z.
Группа G2. Преобразования
V* = UB + VC, U* = U,
11] ПРИМЕНЕНИЯ 413
где В — любая матрица порядка гх/, а С —любая невы-
рожденная I х /-матрица.
До применения принципа инвариантности удобно реду-
цировать данные к достаточным статистикам.
Случайные величины U1Ь У17- вместе с матрицами
скалярных произведений U'U, U'V и V'V образуют
систему достаточных статистик для неизвестного вектора
средних значений и неизвестной матрицы ковариаций.
В соответствии с результатом задачи 1 главы 6, группы Gi
и С2 оставляют задачу инвариантной и после того, как
она сведена к достаточным статистикам. Максимальным
инвариантом относительно Gi является совокупность вели-
чин Uц и матриц U'U, U'V и V'V. Мы докажем теперь,
что максимальный инвариант относительно группы, кото-
рую С2 индуцирует на этом множестве статистик, обра-
зуют Uц и U'U. Этим будет завершено желаемое исклю-
чение величин V, а вместе с тем и величин Z.
Для доказательства высказанного утверждения необ-
ходимо показать, что для любой данной (zz — 1) х /-мат-
рицы V** найдутся матрицы В и С такие, что
У* = /75+УС удовлетворяет соотношениям
С7'У* = £/'У** и У*'У* = У**'У**.
Геометрически эти уравнения устанавливают, что суще-
ствуют векторы (У1г, Fni), /==1, ...» /, которые
лежат в пространстве Е, натянутом на векторы-столбцы
матриц U и У, и скалярные произведения которых между
собой и на векторы-столбцы U имеют заданную величину.
Рассмотрим сначала случай I = 1. Если г +1 > п — 1,
то можно предположить, что V и столбцы U порождают
(гс —1)-мерное пространство; тогда можно принять, что
у* = у**. Если r + —1, то можно предположить,
что У и столбцы U линейно независимы. Тогда суще-
ствует такой поворот вокруг натянутого на столбцы U
пространства, который переводит У** в вектор, лежащий
в Е, и этот вектор имеет свойства, требуемые от У*.
Доказательство завершается повторным применением
полученного результата. Мы применяем его сначала
к вектору (У21, ..., Vni) и определяем первый столбец В
и число сц, добавляя к которому нули, мы построим.пер-
вый столбец матрицы С. Присоединяя преобразованный
14 ЛИНЕЙНЫЕ ГИПОТЕЗЫ [гл. 7
вектор (711, • ••, 7»i) к столбцам U и применяя сно-
ва указанный результат к вектору (722, • • •, 7п2), мы
построим вектор (712, • который лежит в про-
странстве, натянутом на (72ь •••» 7ni), (722, • ••, 7rt2)
и столбцы U, и который, кроме того, имеет заданные
скалярные произведения с (711, • • •, 7?и), со столбцами С7,
и заданный скалярный квадрат. Этим вторым шагом мы
определяем второй столбец матрицы В и два числа с12,
с22, добавляя к которым нули, получим второй столбец С.
Продолжая это построение, мы получим «треугольную»
матрицу С с нулями под главной диагональю; эта
матрица не вырождена. Так как можно предположить,
что U, 7 и 7** имеют максимальный ранг, то из леммы 1
и уравнения v*'v* = V**'V** следует, что ранг 7*
также максимален. Этим доказательство завершается.
12. ^-критерий: простая гипотеза
и неограниченные альтернативы
РНМ инвариантные критерии существуют в довольно
узком классе задач, важнейшими из которых являются,
вероятно, связанные с линейными гипотезами. Однако,
если число наблюдений велико, то часто можно указать
критерии, приближенно обладающие этим свойством. Хотя
подробное изложение теории больших выборок не вхо-
дит в задачи этой книги, здесь приводятся краткие све-
дения о двух типах критериев подобного рода: крите-
рии X2 и критерии отношения правдоподобия. В обоих
случаях приближенная оптимальность вытекает из асим-
птотической эквивалентности рассматриваемой задачи
и некоторой задачи о проверке линейной гипотезы. Эта
связь будет прослежена в следующем разделе. В каче-
стве подготовительного шага мы обсудим здесь специаль-
ный класс задач, связанных с Х2-критерием.
Удобно начать со следующего видоизменения модели
линейной гипотезы. Пусть У = (У1, ..., Уд) имеет многомер-
ное нормальное распределение с плотностью вероятности
___________ q q
-^ЦХехр [-у2 S (62)
(2л) 29
12]
%2-КРЙТЕРИЙ
415
и с известной матрицей ковариаций А'1. Известно, что
вектор средних значений ц = (гц, ..., цд) лежит в данном
s-мерном линейном пространстве nQcs<^. Проверяемая
гипотеза состоит в том, что ц лежит в заданном
($ — г)-мерном линейном подпространстве Пф простран-
ства Пд (r<s). Проблема инвариантна относительно под-
ходящей группы G линейных преобразований и суще-
ствует РНМ инвариантный относительно G критерий
с критической областью
2 2 at} (yt - Пг) (уJ - *b) - 2 2 j (yt - T|j) (yj - Л/) =
= (63)
Здесь ц —точка Па, ближайшая к выборочной точке у
в смысле метрики, порождаемой квадратичной формой
2 т- е- точка, которая минимизирует выраже-
ние 2 Tb) (?/j —П;) при Аналогично,
т] минимизирует это выражение на Пш.
Когда гипотеза верна, левая часть (63) имеет /^-рас-
пре деление с г степенями свободы, так что С опреде-
ляется из соотношения
оо
Xr (z) dz = а. (64)
С
Если ц не принадлежит Пю, то вероятность отклонения
гипотезы равна *)
оо
Px(z)dz, (65)
где рь (z) — нецентральная плотность %2 (см. формулу (86)
в задаче 2) с г степенями свободы и с параметром
*) Таблицы даны у следующих авторов: Р a t n a i k, The
noncentral %2 and ^-distributions and their applications, Biomet-
rika, vol. 36 (1949), 202—232; Fix, Tables of noncentral X2, Univ.
Calif. Publ. Statistics, vol. 1(1949), 15—19; Fix, Hodges and
Lehmann, The restricted X2 test, in Studies in Probability and
Statistics Dedicated to Harald Cramer, Almquist and Wiksell, Stock-
holm, 1959.
416
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
нецентральности X2, получаемым заменой величин
r)i? в (63) их математическими ожиданиями (рассма-
тривая (63) как функцию у, можно сказать, что при
этом всюду у заменяется на ц). Указанное выражение
для мощности остается верным и тогда, когда принятая
модель неудовлетворительна, в том смысле, что2?(У) = ц
не лежит в Пй. В случае цбЩ второй член в выраже-
нии для X2 равен нулю. Доказательство высказанных
утверждений получается сведением задачи к проверке
линейной гипотезы с помощью надлежащего линейного
преобразования (см. задачу 33).
Вернемся к х2-критерию и рассмотрим его в приме-
нении к полиномиальной схеме. Возьмем п полиномиаль-
ных испытаний с т возможными исходами. Обозначим
р = (рь ..., рт) вероятности этих исходов, и пусть Xi —
число испытаний, закончившихся i-м исходом. Тогда
распределение Х==(ХЬ ..., Xm) равно
P(xi....ж'») = ^1! ••• (^х1 = п^Р1 = ХУ
(66)
Простейшая из связанных с %2-критерием задач состоит
в проверке гипотезы Н: р — п, где л = (ль ..., л,п) дано,
при неограниченной альтарнативе р=#л. При п—>оо
мощность критерия, о котором будет идти речь, стре-
мится к единице при любой фиксированной альтерна-
тиве*). Для изучения функции мощности такого рода
критерия целесообразно рассмотреть последовательность
альтернатив р(п), стремящихся к л при и—>оо. Если
скорость сходимости по порядку больше 1/]/п , то даже
для наиболее мощного критерия мощность будет стре-
миться к уровню значимости а. Последовательностя-
ми, отражающими наиболее интересные стороны пове-
дения функции мощности и дающими, по всей види-
мости, полезную аппроксимацию действительной мощно-
сти при больших, но конечных н, являются те, для
*) Последовательность критериев с таким свойством назы-
вается состоятельной.
12]
Х2-КРИТЕРИЙ
417
которых ]Az(p(n) —л) имеет ненулевой предел, так что
рГ’ = лг + -^ + 7?п, (67)
у п
где Yп Rn стремится к нулю при п —» со.
Пусть
V __ пЩ) /ао\
Yi-—ylT~- <68>
т
Тогда 2Уг = 0 и среднее значение Уг- равно нулю при
г=1
гипотезе Н и стремится к Д$ при альтернативах (67).
Матрица ковариаций для У имеет элементы
$ij = “ niftj при i ф /; (Уц = Лг- (1 — Яг), (69)
если гипотеза И верна. При альтернативах (67) элементы
матрицы ковариаций стремятся к этим значениям. При
и—> оо распределение У = (Уь ..., Ym_{) стремится
к многомерному нормальному распределению со сред-
ними £(У.) = 0 при Н и 2?(yf) = Af при альтернати-
вах (67) и с матрицей ковариаций, определяемой по (69)
в обоих случаях*). Плотность предельного распределе-
ния равна
с ехр
m—1
Г_1< V Ai)a
L 2 k Z л<
t=i
m-1
(70)
и проверяемая гипотеза принимает вид ff: At = ...
... — Дт-1 — 0.
В соответствии с (63) РНМ инвариантный критерий
в этой асимптотической модели отвергает гипотезу, когда
*) Доказательство в предположении, что гипотеза Н верна,
дано, например, в книге: Крамер Г., Математические методы
статистики, ИЛ, 1948 (§ 30.1). С очевидным применением оно
переносится на случай, когда Н неверна.
27 э. Леман
418
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[хл. 7
т. е. когда
т
(71)
1=1
где у. — Х^/п и где С определяется из (64) с r = m— 1.
Предельная мощность рассматриваемого критерия при
альтернативах (67) вычисляется по формуле (65) с
т
Х2= Это дает приближенное представление о
1=1
мощности при фиксированном п и фиксированной аль-
тернативе р, если отождествить р с р™ для этого п.
Из (67) мы выводим, что приближенно Д$ = Уп (Pi ~ л/),
так что параметр нецентральности принимает вид
т
Х2 = п2(РглГ)2 • (72)
1=1 1
Пример 12. Предположим, что проверяемая гипотеза
состоит в том, что некоторые события (рождения, смерти, проис-
шествия) происходят равномерно в заданном интервале времени
(например, день или год). Разобьем этот интервал на т равных
частей и обозначим pi вероятность наступления указанного собы-
тия в г-м подынтервале. Тогда гипотеза может быть представлена
в виде Я: р^ = 1/тп, i — 1, ..., тп, а статистика критерия — в виде
т
где Vi—относительная частота событий в t-м подынтервале.
Приближенное значение мощности критерия находится из (65)
т
с г = т— 1 и %2 = тптг I/7? — (1/т)]2.
13. ^-критерии и критерии отношения правдоподобия
Сила и слабость ^-критерия предыдущего раздела
связаны с тем, что его асимптотическая мощность зави-
сит только от взвешенной суммы квадратов отклоне-
ний (72), а не от знаков этих отклонений или их рас-
пределения между различными значениями i. Этим
создается преимущество, если ничего не известно об
13]
%2-КРИТЕРИИ И ОТНОШЕНИЕ ПРАВДОПОДОБИЯ
419
альтернативах. Тогда критерий одинаково надежен при
всех альтернативах, равно удаленных от гипотезы Н:
р==п в смысле метрики (72). Однако часто бывают изве-
стны ожидаемые типы отклонений. В этих случаях кри-
терий можно видоизменить так, чтобы его асимптоти-
ческая мощность при интересующих нас альтернативах
возросла.
Для вывода видоизмененного критерия допустим, что
задан ограниченный класс альтернатив к Н
К:р^, рФп,
где поверхность if имеет параметрическое представление
Pi = А(91, ..0S), г = 1, ..т.
Пусть
^-А(0?, 0°s).
Будем считать, что 07- действительны, частные производ-
ные dftldQj существуют и непрерывны в точке 0° и что
якобиан матрицы (dA/d0j) имеет в точке 0° ранг s. Если
0<п) —любая последовательность, для которой
УЯ(0^-0П^>6;, (73)
то предельное распределение случайных величин (Уь ...
..., У m-i), введенных в предыдущем параграфе, является
нормальным со средними значениями
s
Е (У,) = 4,-2»;^^ (74)
i=l
и матрицей ковариаций (69). Это устанавливается раз-
ложением fi в ряд в окрестности точки 0° и примене-
нием (70). Проблема проверки гипотезы Н при всех по-
следовательностях альтернатив из К, удовлетворяющих
(73), оказывается асимптотически эквивалентной задаче
проверки гипотезы
Л1 == ... = Д/n-i “ 0
в семействе (70) при альтернативах К: (Ль ..., Лт-х) ЕПд,
27*
420
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
где Пй — линейное пространство, образованное совокупно-
стью всех точек с координатами
<75>
j—1
Заметим для последующих целей, что при любом фикси-
рованном п совокупность точек
I Д» • л
= щ + , 1=1,
V п
с Д$, удовлетворяющими (75), образует плоскость, каса-
тельную к £Р в точке л. Эта плоскость будет обозна-
чаться
Пусть (Дь ..., Дт) — значения, минимизирующие
S (уг —Дг)2/лг при условиях (Дх, Дш-О^Пя
Дт = — (Д1-г • • • +Дт-1). Тогда, в силу (63), асимптоти-
чески РНМ инвариантный критерий отклоняет Н (т. е.
действует в пользу К) при
т т т
2 И S М
г= 1 1—1 i— 1 > q
JTj Л j «rtj
т. е. при
П 2 (Vi—лг)2 п 3 (V{— Pi)2 П 2 (й—Л»)2
-1=1-------------1=1-------= -1=1---------> с, (76)
Jtj JTj
где Pi минимизируют 3 (vi — Pi)2/^i ПРИ условии р£оР.
Константа С определяется из (64) с r = s. Критерий,
асимптотически эквивалентный этому (вычисление его,
как правило, более трудно), получается, если pi опре-
делять из условия минимальности при р^ъР (а не при
р^оР). Асимптотическое выражение для мощности кри-
терия получается из (65). При этом X2 находится с по-
мощью замены на р^ (отметим, что pt рассматриваются
как функции от v^).
13] %2-КРИТЕРИИ И ОТНОШЕНИЕ ПРАВДОПОДОБИЯ 421
Пример 13. Допустим, что в примере 12, где проверяется
гипотеза равномерности, альтернативой выдвигается циклическое
изменение, которое, по крайней мере приближенно, представ-
ляется «синусоидальной волной»:
. 2л
г —
т
1 С
p.=z — ^-Q \ sin (и — 0) du, 1 = 1, m.
(г—1) —
' т
Здесь q—амплитуды и 0 —фаза циклического возмущения.
Полагая g = pcosO, T] = QsinO, мы получаем
1
pi=—а+^+м)-
где
а< — 2т sin sin (2г — 1) , bi — — 2т sin — cos (2г — 1) — .
1 т т т ' т
Уравнение для pt определяет в этом случае плоскость^, которая,
следовательно, совпадает с ъР.
Величины rj, минимизирующие 2 (vi—Pi)2/ni ПРИ условии
р € сУ’, равны
1 V7 2 ’ ,2
/1 (НЩ /1 bi^i
с щ=1/т. Пусть т >2. Используя тот факт, что =
= 2 «А = 0 и что
т т
2 «(ini -t=2
г=1 г=1
мы, после некоторых упрощений, можем придать критерию форму
т т
2п [ 2 v«sin(2i-l) -^У+2п р У vfcos (2г —1) > С,
i=l 1=1
где число степеней свободы левой части равно s=2. Параметр
нецентральности, через который приближенно выражается
мощность, равен
%2 — п (fyn sin — 4-w^T]msin—=np2?n2sin2— .
422
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
Обсуждавшиеся до сих пор варианты критерия %2
предназначались для простых гипотез. Рассмотрим теперь
более общую проблему проверки гипотезы Я: р£^ при
альтернативах К: р$^, где У СЗсУ5 и где & и У
имеют параметрические представления
Pi = fi (9i, ...» 9S); У: Pi - /f (0J, ..., 0?, 0r+1, ..., 0d).
Базисом для анализа проблемы при больших объемах
выборки служит тот факт, что при больших п можно
указать сферу радиуса g/J/Gt, которая при достаточно
больших р накрывает истинное значение р с вероятностью,
сколь угодно близкой к единице. Поэтому можно огра-
ничиться последовательностями точек р™ (У, которые
стремятся к некоторой фиксированной точке л£У со
скоростью Более точно, пусть ^ = /^(0°, ...,0?)
и пусть 0(п) — последовательность, удовлетворяющая (73).
Тогда случайные величины (Ух, ..., Ym-i) имеют нор-
мальное предельное распределение с матрицей ковариа-
ций (69) и с вектором средних (74). Пусть Пд имеет
тот же смысл, что и раньше, а По пусть обозначает
линейное пространство
П.: Д,= j
j=r+l
Рассмотрим задачу проверки гипотезы о том, что /?(п) —
последовательность из Н, для которой 0(гг) удовлетворяют
(73), причем альтернативами являются все последова-
тельности из К, удовлетворяющие этому же условию.
Эта задача асимптотически эквивалентна задаче, обсуж-
давшейся в начале раздела 12, а именно задаче про-
верки гипотезы (Дх, ..., Ат-1)СП(0 в семействе (70), если
дано, что (Дх, ..., Дпг-1)€Пй- В силу (63) соответст-
вующая критическая область имеет вид
S(yj-Aj)2 S(yf-Aj)2 >
ЗТ j Jtg
где Дг И Дг- минимизируют 2 (*Л “ Аг)2/Лг при условиях,
что \т= ~(Д1+ ... +Дт-1) И что (Дх, ..., Дт_х) лежит
в Пд или в Пш соответственно. В терминах первоначаль-
13]
Х2-КРИТЕРИИ И ОТНОШЕНИЕ ПРАВДОПОДОБИЯ
423
ных величин критическая область имеет вид
A £
Здесь pi 'и pi минимизируют
2 (Vj—Pi)2
«i
(77)
(78)
при условии, что p лежит в касательных плоскостях
к поверхностям и соответственно, проведенных
через л. Константа С определяется из (64).
Это решение задачи зависит от точки л, которая нам
неизвестна. Критерий, асимптотически эквивалентный
(77) и не зависящий от л, получается, если заменить
Pt и pi значениями р* и р**, минимизирующими (78)
при условии, что р лежит на of или на , а не на их
касательных плоскостях, и, кроме того, заменить л$
в (77) и (78) подходящими оценками, например V/. Это
приводит к критической области
"S Pi*)2 п^(Р*-Р**)2 r ,7Q.
—==--------------—---------= ——----------> С, (79)
где pT и pt минимизируют
S (Vi - Pi)2/Vi (80)
при условиях р £ и р С dF соответственно и где С, как
и раньше, определяется формулой (64). Приближенное
выражение для мощности критерия при фиксированных п
и альтернативе р дается формулой (65) с I2, определя-
емым по (79) с заменой на pt (и где р* и р** рассмат-
риваются как функции от Vf)*).
Для случая больших выборок более общий подход,
не связанный в отличие от метода %2 с полиномиальным
распределением, опирается на метод наибольшего правдо-
подобия. Укажем кратко на основные положения этой
*) Доказательство вышеприведенных утверждений и обсуж-
дение критериев, которые асимптотически эквивалентны (76) и ко-
торые иногда легче вычисляются, см. в цитированной работе
Fix, Hodges and Lehmann.
424
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл.
теории. Перечисляя основные факты, мы опустим
сложно формулируемые условия регулярности, при
которых они справедливы*).
Пусть ре (х), 0 = (01, ..., 0Г) — некоторое семейство
одномерных плотностей вероятности. Рассмотрим на
основе большой выборки Хь ..., Хп задачу проверки
простой гипотезы Н: 0z--0?, f—1, ...» г. Пусть
(5 = (91, • • •, 0г) — оценка максимального правдоподобия
для 0, т. е. значение параметрического вектора, макси-
мизирующее pq (rt?i) ... pQ(xn). Тогда асимптотически,
при п—» оо, можно ограничиться оценками 0г, так как
они являются «асимптотически достаточными»**). Мощ-
ность критериев, о которых пойдет речь, стремится
к единице при любой фиксированной альтернативе.
Здесь, как и в случае Х2-критерия, интерес представляют
альтернативы 0-п), для которых
]/^(0^_0?)-> ДгЧ (81)
Если Yi = y^n (0—0?), то предельное распределение
величин Yi, ..., Уг является многомерным нормальным
распределением (62) с
(82)
и с тц = О при гипотезе Яит^А, при альтернативах,
удовлетворяющих (81).
В силу (63) РНМ инвариантный критерий в асимп-
тотической модели отклоняет гипотезу, когда
- S 2 ai3n (0,- - 9?) (ё; - 9?) > С. (83)
1=1 5=1
*) Подробное изложение см. в работе: Wald, Tests of
statistical hypotheses concerning several parameters when the
number of observations is large, Trans. . Ann. Math. Soc., vol.
54 (1943), 426-483.
**) Это было установлено Вальд ом (цитированная работа);
об определении ‘ асимптотической достаточности и дальнейших
результатах, касающихся этого понятия, см. LeCam, On
the asymptotic theory of estimation and testing hypotheses,
Proc. Third Berkeley Symposium on Mathematical and Probability,
Univ. Calif. Press, 1956.
13]
х2-критерии и Отношение правдоподобия
425
При гипотезе Я левая часть имеет в пределе %2-рас-
пределение с г степенями свободы. При альтернативах
(81) предельным распределением является нецентральное
^-распределение с параметром нецентральности
V = - S 3 ацп (9Г - о?) (9)п) - 0«). (84)
г=1 ]=1
Приближенное выражение для мощности при какой-либо
специальной альтернативе 0 дается, следовательно, фор-
мулой (65), где № находится по (84), с заменой 0(п) на 0.
Критерий (83) асимптотически эквивалентен критерию
отношения правдоподобия, который отклоняет гипотезу
при
Сч) • • • Р§ (хп)
Л-71 '— 7 \ 7 С" •
Р0О ... Р0О (*Л)
(85)
Эту эквивалентность можно установить, разлагая
п п
2 1°8> PQQ (^v) в ряд ОКОЛО 2 l°g Р§ (Xv) и используя
V=1 V=1
тот факт, что при 0 = 0 частные производные
д 2 Р® равны нулю. Применение закона боль-
ших чисел показывает, что величина — 21ogAn отли-
чается от левой части (83) членом, стремящимся к нулю
по вероятности при п—>со. Отсюда, в частности, сле-
дует, что обе статистики имеют одно и то же предель-
ное распределение.
Распространение этого метода на сложные гипотезы
аналогично распространению на этот же случай %2-кри-
терия. Пусть 0 = (0Ь ..., 0S) и И: при i = l, ...
..., ?’(r<s). Если ограничиться последовательностями
0т), удовлетворяющими (81) при i = 1, ..., s, и произ-
вольными 0°+1, ..., 0?, то проблема асимптотически
превращается в задачу проверки гипотезы тц= ... =т]г = 0
при неограниченной альтернативе (ць ..., T]s), причем
распределения определяются формулой (62) с (0°)
Л Я Л
из (82). Тогда тц = Уг при всех /, в то время как тц = о
для г = 1, ..., г и r|f = Yi для j = r-]-l, ..., s. Поэтому
РНМ инвариантный критерий имеет вид (83). Коэффи-
426
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
циенты ац = а^(0°) зависят от 0?+i, 0J, но, как
и раньше, заменяя а^(0°) на а^(0), мы приходим
к асимптотически эквивалентному критерию. И снова
статистика асимптотически эквивалентна взятому со
знаком минус удвоенному логарифму отношения правдо-
подобия, т. е. критерий асимптотически эквивалентен
критерию отношения правдоподобия *).
14. Задачи
К разделу 1
1. Математическое ожидание сумм квадратов. Средние зна-
чения числителя и знаменателя статисаики И7*, определенной
формулой (7), равны
/гУ2х а Т
Е(3-г)=’’+т3ч! и 3
г=1 г=1 г=«+1
2. Нецентральное ^-распределение. (I) Если X распределено
по закону N (ф, 1), то плотность вероятности величины V — X2
представляется как 3 Pk W /2А+1 (”)> где Pk (ф) =
fe=0
= ('ip2/2)fe в 2 /к\ и где /2д+1 является плотностью вероятности
Х2-величины с 2/с-}—1 степенями свободы.
(II) Пусть Yit ...,Yr независимы и нормально распределены
с единичной дисперсией и средними rip цг. Тогда СТ" =
имеет нецентральное Х2-распределение с г степенями свободы
г
и параметром нецентральности ф2= Л $5 плотность вероятности
i=l
величины U дается формулой
^*(и)= S W/г+2А (“)• (86)
k=Q
Здесь Pk (ф) и fr+2k(u) имеют тот же смысл, что и в (I), так
что распределение является «смесью» /^распределений с пуассо-
новскими весами.
*) Асимптотическая теория критериев отношения правдопо-
добия была распространена Черновым на более общие типы
проблем, включая, в частности, случай ограниченных классов
альтернатив. См. Chernoff, On the distribution of the
likelihood ratio, Ann. Math. Stat., vol. 25 (1954), 573 — 578,
14] .
ЗАДАЧИ
427
1(1) Это следует из равенства
е 2ДО+Р)(е4>
2 У 2лр
если выражение в скобках разложить в степенной ряд и исполь-
зовать тот факт, что Г(2Л)==22й“1Г(А:)Г^Л+А^//^
(II) Перейдем с помощью ортогонального преобразования
к величинам ZA, ..., Zr таким, что 21 = 2'Пг^/'Ф* Тогда вели-
чины Z независимы и нормальны с единичной дисперсией и сред-
ними £,(21) = ф и Е (Zi) = b при i > 1.]
3. Нецентральные F- и бета-распределения. Пусть У4, ..., Уг;
У5+1, Yn независимы и нормально распределены с общей
дисперсией а2 и средними E(Yi) = i\i (г = 1, ..., 2); £,(yf) = 0
(i = 5-|-l, ..., n).
г п
(I) Плотность вероятности статистики 2
i=l i=s+ 1
дается формулой (6). Величина (п—s)W/r пропорциональна IF,
имеет нецентральное F-распределение,
гт п
(II) Статистика В = yi/( S Yi+ 2 Yi) имеет нецент
i=l i=l i=s+l
ральное бета-распределение с плотностью
ь, W-
Л=0 2r+ft’ 2(n-S)
(87)
где
является плотностью (центрального) бета-распределения.
4. (I) Если (а?) — плотность нецентрального %2 или нецен-
трального /'’-распределения, то отношение (X)/P^Q (х) возра-
стает по х при ф0 < фр
(II) В предположениях раздела 1, гипотеза Н' : ф2 < ф§ (при
данном ф0 > 0) остается инвариантной относительно преобразо-
ваний Gi (i = l, 2, 3), которые были использованы для редукции
Н:ф==0, и существует РНМ инвариантный критерий с крити-
ческой областью Ж>С'. Константа С" определяется равенством
Рфо^>^=а, где плотность дается формулой (6).
оо со
[(I) Пусть /(z) = 2 2 akz\ где постоянные а^
fc=0 Ь=0
428
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
и ряды 2flfczfe и 3 bkzk сходятся при всех з>0. Допустим, что
< bfc+i/ak+i Ддя всех Тогда производная
2S (и-Л) (а^-аМ z^n-1
( 3 «А^)2
fe=0
положительна, так как (га — к) (а^Ьп—апЬь) при к<п и, следова-
тельно, / возрастает.]
5. Наилучшая средняя мощность. (I) Рассмотрим общую ли-
нейную гипотезу в канонической форме, данной формулами (2)
и (3) раздела 1, и пусть для любых т]г+1, ...» тг|$, о и р
г
S = S (7]r+1, ..., t}s, 0'1 о) обозначает сферу {(т^, ..., 7]г) : 2
1=1
= р2}. Если рф (7)1, ..., T)s, о) обозначает мощность критерия <р
для Я, то критерий (9) максимизирует среднюю мощность
J РфСПь •••, Пз, а) ЛА
s__________________
j dA
8
в классе всех несмещенных (или подобных) критериев для каж-
дых т]г+1, T]s, аи р. Здесь dA обозначает дифференциал пло-
щади поверхности сферы.
(II) Результат (I) дает альтернативное доказательство того
факта, что критерий (9) является РНМ среди всех критериев,
г
функция МОЩНОСТИ которых зависит ТОЛЬКО ОТ 2 'П? /а2*
4=1
г п
[(I) Если U= 2 = , то из несмещенности (или
г=1 i=s+l
подобия) следует, что условная вероятность отклонения данных
Уг+ь ..., Ys и U+У равна а почти всюду. Следовательно, для
любых данных цг+1, ..., 7)s, аир средняя мощность максими-
зируется при отклонении гипотезы в случае, когда отношение
средней плотности к плотности при гипотезе Н больше, чем соот-
ветствующая постоянная С (уг+1, ..., ys, z^-j-o), и, следовательно,
когда
g(yi, Уг> *11. •••» *1г) =
Г
=Л ехр( 2-^)йЛ>с^гИ. “+»)•
S i=l
14]
ЗАДАЧИ
429
Как будет показано ниже, функция g зависит от yif ..., уг толь-
ко через и и как функция и является возрастающей. Так как
при проверяемой гипотезе U/(U-\-V) не зависит от Уг+1, Y8
и U4-У, то критерий задается формулой (9).
Показатель в интеграле, определяющем g, может быть записан
т _
в виде 2 'ПгЗ/г/°г2 = е Vrucosp/o, где р —угол (0<Р<л) между
г=1
(Th, т)г) и (г/1? уг). В силу симметрии сферы, он не ме-
няется» если р заменить углом у между (т^, ..., т]г) и произволь-
ным вектором. Этим доказывается, что g зависит от у только
через и. Обозначим величину g при фиксированных .... т)г
через h(u). Пусть S' — подмножество S, для которого 0<у<л/2.
Тогда
Л (и)== [exp(%/w^^Q+exp( — Q/и j dA,
что доказывает желаемый результат.
К разделу 2
6. В предположениях раздела 1 допустим, что средние зна-
чения имеют вид
5i = У
3=1
где константы ац известны, матрица А = (а^) не вырождена и
Ру—неизвестные параметры. Пусть 0= 2 —заданная линей-
j=l
ная комбинация величин ру.
(I) Если & обозначает величину Ру, минимизирующую
8 П
2 (^« —?г)2, и если 6= 2в^= то критическая область
з=1 1
гипотезы Н : 0 = 0О имеет вид
1§-0о1//Ж
г " "Х~ --- <?0>
y^Xt-^Kn-s)
ДЛЯ
(89)
где левая часть при гипотезе Н имеет такое же распределение,
как абсолютная величина Z-статистики Стьюдента с я —5 степе-
нями свободы.
430
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
(II) Соответствующие доверительные интервалы для 0 имеют
вид
где к = Соу У . Эти интервалы являются равномерно наибо-
лее точными среди инвариантных относительно подходящей группы
преобразований.
[(I) Рассмотрим сначала гипотезу 0=0. Допустим, не огра-
ничивая общности, что 0 = Pi, так как общий случай может быть
сведен к этому линейным преобразованием в пространстве 0.
Если ль ..., а3 — столбцы матрицы Л, которые по предположе-
нию порождают Па, то |_= .. + 0sas, и так как £ лежит
в Пй, то 1 = 0^14-... +|?sas- Пространство Пш, определяемое ги-
потезой 01=0, можно рассматривать как натянутое или на век-
торы «2, •••» asi или на векторы-строки с2, ..., cs матрицы С
из (1). В то же время <4 ортогонально Пш. В силу 1 вектор X опре-
ть
деляется равенством Х = 2*^*£*» а его пРоеК11ия I на Пй равна
” г=1 ~ ~
S
|= 2^£*’ Приравнивая друг другу два выражения для |ибе-
г=1
ря скалярное произведение обеих частей полученного уравнения
п
на cif получим Y 1 = 0! 2 аиси> так как векторы с образуют орто-
~ 1=1
тональную систему единичных векторов. Мы показали, что У4
пропорционально и так как дисперсия УА равна дисперсии
величин Т, то |У\ | = | 0t [ / j/"2 • Способ проверки гипотезы
01=0 вытекает теперь из (12) и (13). Критерий для гипотезы
01 = 01 получается после преобразования X* =2j—-a^0J.
(II) Инвариантность интервалов (90) можно доказывать, не
ограничивая общности, в предположении, что параметр 0 равен
01- Тогда в канонической форме раздела 1 Е (У4) = Th=X-0i с
|Х|= |/~2 ^1 , в то время как т)2, ..., “Из не содержит 0р По-
этому гипотеза 01 = 0} эквивалентна гипотезе t|i = t]J с t]J = X0J.
Последняя инвариантна а) относительно добавления произволь-
ных постоянных к У2, ..., У8; б) относительно преобразований
У* = — (У1 — П?) + П?; в) относительно изменения масштаба У* =
= сУг- (г = 2, ..., и), yj—ц5* = с(У1 — т]?). Доверительные интер-
валы для 0 = 01 являются равномерно наиболее точными среди
инвариантных относительно группы, получаемой из а), б) и в)
при меняющемся Т)£.]
<4j
&АДАЙЙ
431
7. Пусть Хц (/=1, mf) и (Л=1, ...» независимы
и распределены нормально с общей дисперсией о2 и средними
Е — и = + Тогда РНМ инвариантный критерий
для гипотезы Н: Д = 0 дается формулой (89) с 0 = Д, 0о = О
mt nt
2 xi) 3 х^+ S (y«-g)
i________________ t 7=1___________fe—1________
ХП mint ’ Si— Nt
Zd Nt
i
где N^mi+n^
8. Пусть Xit ..., Xn независимы и распределены нормаль-
но с известной дисперсией и средними Е (А^) = £г. Рассмотрим
любую линейную гипотезу с s^n (вместо s < и, что требуется
при неизвестной дисперсии). Проблема остается инвариантной
относительно некоторой подгруппы той группы, которая исполь-
зовалась в случае неизвестной дисперсий. РНМ инвариантный
критерий имеет критическую область
2' {Xt - I-)2 - 2 - I/)2 =. 2 (ti - ii)2 > Col, (91)
где С определяется соотношением
оо
X?(y)dy=a.
с
(92)
К разделу 3
9. Если случайные величины Хи (7 = 1, ..., nf, i = l, s)
независимы и распределены по закону N (р,$, а2), то
Е [2 nf (Х4.-Х..)2] =(«-!) а2+2 «г (Щ-Н-)2.
Е [22 [Хц-Х^] = (n-s) <А
10. Пусть Zs независимы и распределены по законам
Я (£г-, а?), г = 1, s, где (ц — известные постоянные.
(I) При надлежаще выбранной группе линейных преобразо-
ваний существует РНМ инвариантный критерий для гипотезы
Я: £1==...=£в, с критической областью (21).
(II) Мощность этого критерия равна интегралу от С до оо от
нецентральной Х2-плотности с s—1 степенями свободы и пара-
метром нецентральности А2, получаемым подстановкой £$ вместо
Zj в левую часть (21).
432
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
11. (I) Если X имеет распределение Пуассона с Е (Х) = Х, то
при больших % статистика X распределена приближенно по
закону N .
(II) Если X имеет биномиальное распределение Ъ (р, п), то
при больших п величина arc sin ]ZХ/п распределена приближенно
по закону N ^arcsin ]/"р , -^п *).
К разделу 5
12. Построенный в соответствии с теорией линейных гипотез
критерий проверки гипотезы об отсутствии взаимодействия в .двой-
ной классификации при т наблюдениях в клетке дается форму-
лой (30).
13. Обозначим Х% случайную величину, имеющую нецентраль-
ное ^-распределение с / степенями свободы и параметром нецен-
тральности Л2. Тогда Х^, стохастически больше, чем Х^ при
X<V.
[Достаточно показать, что при У, распределенном по закону
N (0, 1), величина (УЦ-V)2 стохастически больше, чем (У-|-Х)2.
Равносильное утверждение, что при любом z>0
Р{| У+V |<4<Р{|У+Х|<2}
непосредственно вытекает из формулы для нормальной функции
плотности. Иное доказательство можно получить, комбинируя
задачу 4 с леммой 2 главы 3.
14. Пусть Xjjk (г = 1, ..., а; /=1, ..., Л = 1, ...» т) неза-
висимы и распределены нормально с общей дисперсией о2 и сред-
ними
Е (Xi3-ft) = н+а«+₽7+Ya (2 “«= 2 ₽'= 2 Ya=0).
Найдите критерий проверки линейной гипотезы Н: 04 = ... =аа=0.
15. Предположим, что в трехфакторной ситуации предыду-
щей задачи Ь = с=т. Тогда гипотеза Н может быть проверена
на основе т2 наблюдений, если использовать следующий способ.
Для каждой пары уровней (t, 7) первых двух факторов произво-
дится одно наблюдение, о котором мы будем говорить, что оно
находится на пересечении г-й строки и /-го столбца. Если уровни
♦) Эти преобразования подробно рассматриваются Эйзен-
хартом в главе 16 книги Selected Techniques of Statistical
Analysis, New York, McGraw—Hill Book Co., 1947. Некоторые
усовершенствования обсуждают Anscombe, Transformations of
Poisson, binomial and negative binomial data, Biometrika, vol. 35
(1948), 246—254 и Freeman and Tukey, Transformations rela-
ted to the angular and the square root, Ann. Math. Stat., vol 21
(1950), 607—611.
14]
ЗАДАЧИ
433
третьего фактора выбраны таким образом, что каждый из них
встречается один и только один раз в каждой строке и каждом
столбце, то мы называем план эксперимента латинским квадратом.
Результаты т2 наблюдений обозначаются где третий индекс
обозначает уровень третьего фактора, когда первые два нахо-
дятся на уровнях i и у соответственно. Предполагается, что
£ =P' + ai + ₽j + 'YA с 2 ai= 2 2 =
(I) Параметры вычисляются по величинам g из соотношений
?i-(-)=H'+aP Lj(.)=н+₽Л ?..(S)=P'+ya> ?..(.)=!*
(суммирование по у при фиксированном i автоматически приво-
дит к суммированию по к).
(II) Оценки параметров по методу наименьших квадратов
могут быть найдены из тождества
23 —?y<A>l2 = w 2 “il2 +
i j
+ m 2 1Х'Ц-) — х-.(..')~№+т 2 I*. .(A) — x. (.) — Ya12+
+ ™2 [<.(.) —№+23 [^’(A)— xi-(-y~x-H-') — x- .(A)+2a;. .(.)F-
i k
(III) При проверке гипотезы H: cq = ... = ат — 0 соответствую-
щая критерию статистика W* (см. (15)) равна
22 j(.)—-ЗГ. .(k) + 2^..(.)]2/(m—2)
Число степеней свободы равно т—1 для числителя и (т — 1)(т — 2)
для знаменателя; параметр нецентральности равен ф2 = а?/ст2.
К разделу 6
16. Допустим, что в задаче регрессии наблюдаемые значения
Xj и Yj аргумента (независимой переменной) и функции от него
отличаются от некоторых истинных значений Х^ и У' ошибками
Uj, Vjt которые независимы, распределены нормально с нулевыми
средними и дисперсиями и <т^. Предполагается, что истинные
значения удовлетворяют линейному соотношению y'=a-|-pXJ.
Однако контролируемыми и, следовательно постоянными величи-
нами являются не X'-, а Xj. Обозначая заново Xj через а?у, мы
имеем xj=X^Ujt Уу—У^+У; и, наконец, У;~а +pzy-|-ГИу, где
Wj=Vj—PZ7;. К проверке гипотез о том, что р или а—(-рсг0 име*
ют некоторые определенные значения, могут быть применены
теперь результаты раздела 6.
28 э Леман
434
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
17. Пусть Х1? ...,Хт; Уь ...,УП независимы и распределены
нормально с общей дисперсией о2 и средними значениями Е(Х}) =
— a-j-|3 (wf — и), Е (Уг-) = у-|"б (^—и), где и и v—известные числа.
Найдите РНМ инвариантные критерии для гипотез Н: 0 = 6
и Н: а = у, 0 = 6.
18. Пусть Xj, ..., Хп независимы и распределены нормально
с общей дисперсией о2 и средними ^ = а-|-0^-|-у4, где изве-
стны. Если векторы (ф...» ^), & = 0, 1, 2, линейно независимы,
то пространство параметров Пй имеет размерность 5 = 3 и оценки
а, 0, у по методу наименьших квадратов являются единствен-
ным решением системы уравнений
aS^+pS«?+1+YS^+2 = S^Ti (Л=0, 1, 2).
Эти решения зависят от величин X, и если у = 2^Хг-, то гипо-
теза у=0 отклоняется при
У2 (Хг-а-^-у4)2/(п-3)
К разделу 7
19. (I) Критерий (43) для гипотезы Н: Д •< До—РНМ несме-
щенный.
(II) Найдите РНМ несмещенный критерий для гипотезы Н:
Д = Д0 и соответствующие наиболее точные несмещенные довери-
тельные множества для Д.
20. В модели (41) коэффициент корреляции q между двумя
наблюдениями Х^;, Х^, принадлежащими одному и тому же
классу (так называемый коэффициент внутригрупповой корреля-
ции), вычисляется по формуле q = oa/(oa+o2).
К разделу 8
21. Критерии (48) и (49) являются РНМ несмещенными.
22. Пусть Xtj определены по (41), но число наблюдений
для каждой партии может отличаться от других. Найдите кано-
ническую форму, соответствующую (42), полагая Y^ — УщХ}.
Заметьте, что здесь система достаточных статистик более обширна,
чем в случае одинаковых пг-.
23. В рамках модели II общая «гнездовая» классификация
с постоянным числом наблюдений в клетках имеет структуру
=и+А t+в а+cijk+• • • + uuk' ’
i = l.a; 7 = 1,b-, k = l, c;... (93)
14]
ЗАДАЧИ
435
(I) В этом случае возможно приведение к канонической форме,
обобщающей (47).
(II) Существуют РНМ несмещенные критерии для гипотез
__________________________па___________
А (cd ... ас + «-- + сг2) А°*
Нв: -----------------<Д0.
(d...a2c + ...+a2)
К разделу 10
24. (I) Если т<р, то матрица Д, а с нею и матрица S/m,
являющаяся несмещенной оценкой для неизвестной матрицы
ковариаций исходного р-мерного распределения, будут выро-
жденными. Если т > р, то эти матрицы с вероятностью 1
не вырождены.
(II) Если г-]-т^р, то лишь один критерий, а именно
<р (у, и, z) = а, инвариантен относительно групп и G3 раздела 10.
[(II) Величины U устраняются с помощью соображений
ийвариантности относительно г-\-т строк матриц Y и Z
можно предположить линейно независимыми, а любая такая
система векторов может быть переведена в любую аналогичную
преобразованием группы G3.]
25. (I) Если p<r-^m и V — Y'Y, S—Z'Z, то р X р-матрица
F+Д с вероятностью 1 не вырождена и корни характеристиче-
ского уравнения
। х (V + S) | = 0 (94)
образуют максимальный инвариант относительно групп
С?2 и ^3-
(II) Среди корней уравнения (94) имеется р—min (г, р) равных
нулю и р—min (т, р) равных единице. Других постоянных
корней нет, так что число переменных корней, образующих
максимальный инвариант, равно min (г, p)-|-min(m, р) — р.
[Кратность корня X = 1 равна р минус ранг Д, т. е. р—min (m, р).
Уравнение (94) не может выполняться ни для какого постоян-
ного X ф 0, 1 для почти всех 7, Д, так как при любом р =# 0
матрица Г-|-цД с вероятностью 1 не вырождена.]
26. (I) Пусть А и В — матрицы порядков Лхш и тхЛ соот-
ветственно. Тогда произведения АВ и В А имеют одни и те же
ненулевые характеристические числа.
(II) Отсюда получается альтернативное доказательство того,
что W (см. (58)) является единственным ненулевым корнем харак-
теристического уравнения (57).
[(I) Если х—ненулевое решение уравнения АВх — \х с X Ф 0,
то у — Вх будет ненулевым решением для ВАу — Ху.]
27. В случае г—1 статистика IF, заданная (58), будет ма-
ксимальным инвариантом относительно группы, индуцированной
28*
436
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
группами Gi и G3 в области значений статистик У^, Ua(f = l, ...
..., р\ а = 1, ..., s—1) и S — Z'Z. 1
[Существует такая невырожденная матрица В, что B'SB = I
и только первая координата у YB отлична от нуля. Доказатель-
ство можно начать с отыскания матрицы В{, для которой
B[SBi = I, а затем подобрать ортогональную матрицу Q такую,
что только первая координата у YBiQ отлична от нуля.]
28. Пусть Za^(a=l, ..., m; г = 1,...,р) независимы и распре-
делены по закону N (0, 1) и пусть Q — Q (У) — ортогональная
т х m-матрица, являющаяся функцией от случайной величины У,
не зависящей от величин Z, Определим величины Zai равенством
(Z!i...Z^) = (Z1?-...Zm,) Q'.
Тогда Zai независимы между собой, распределены по закону
N (0, 1) и не зависят от У.
[При каждом у требуемым свойством обладает условное рас-
пределение (Zu ... Zmi) Q' (у) при условии У=у.]
29. Пусть Z — mхр-матрица (Zai), где р<дп и где Zai неза-
висимы и распределены по закону N (0, 1). Обозначим S = Z'Z
и —матрицу, получаемую из S отбрасыванием последней
строки и последнего столбца. Тогда отношение определителей
| 6* |/| 6’11 имеет ^-распределение с т—р4-1 степенями свободы.
[Пусть Q — зависящая от Zn, ...,Zml ортогональная матрица.
т
такая, что (Zu ... Zml) (X =(Я0 ... 0), где Я2= 2 Тогда
a=l
SR 0
° А
“mi
S^Z'Q'QZ —
к • ••• z*mJ
(R Z*2 ... Z*lp\
0 .
\0 • • • %mp/
где Zai получаются из Z преобразованием Q. Первая матрица
справа равна произведению
| I J \ 0 \ z*') ’
где Z* —это (m—l)x(p—1)-матрица с элементами Zai(a = 2, ...
i = 2, ..., p), I—это (p — 1) x (p — 1) единичная матрица,
Z*—вектор-столбец (Z*r ... Zip)' и где 0 обозначает строку или
столбец, состоящий из нулей. Мы видим, что | S [ равен 7?2,
умноженному на определитель матрицы Z*'Z*. Теперь, iS*± полу-
чается из матрицы Z двумя операциями: отбрасыванием у Z
последнего столбца и последующим умножением слева получен-
ной т х (р— 1)-матрицы на транспонированную. Поэтому | J
равен R2, умноженному на детерминант матрицы, получаемой
14]
ЗАДАЧИ
437
из Z*'Z* отбрасыванием последней строки и последнего столбца.
Таким образом, мы свели отношение [ S i/(Si) к аналогичному
отношению для величин Zai, но уже с заменой т на m — 1 и р
на р—1. По индукции устанавливаем, что при любом к<Р
можно заменить т и р на т— к и р— к. В частности, можно
вычислять 16’|/|6,i| в предположении, что тир заменены
на т—(р — 1) и р—(р —1) = 1. В этом случае Z' есть матрица-
ми—р+1
строка (2ц... Zjn-p-н, i), детерминант S равен (б*^ Zai
a=l
и потому имеет распределение Хт-р+1- Наконец, так как S
есть 1 х 1-матрица, то | 6\ | заменяется единицей.]
30. Определенная формулой (58) статистика Ж = У6’-1У'
имеет такое же распределение вероятностей, как отношение двух
независимых величин, причем числитель имеет нецентральное
Х2-распределение с параметрами нецентральности ф2 и р степе-
нями свободы, а знаменатель — центральное ^-распределение
с т-\-1 — р степенями свободы.
[Распределение W не изменяется, если к (У1? ...,Ур) и к каж-
дому из т векторов (Zal, ..., Zap) применить одно и тоже
невырожденное преобразование. Поэтому можно предположить,
что эти векторы имеют единичную матрицу ковариаций. Пусть
() —зависящая от У ортогональная матрица, такая, что (¥\..,Ур) Q —
= (0 0 ... Т), где Г2 = 2У1. Так как QQ' равно единичной матрице, то
Ж=(У(?) (Q'S-iQ) (<?'У') = (0... ОТ) (0... ОТ)'.
Следовательно, W равно произведению величины Т2 (которая
имеет нецентральное распределение X2 с р степенями свободы
и параметром нецентральности ф2) на элемент, стоящий на пере-
сечении р-й строки и р-го столбца матрицы Q'S-iQ~ (Q'SQ)-i =
— (Q'Z'ZQ)-1. В соответствии с задачами 28 и 29 эта матрица
не зависит от У и величина, обратная к рассматриваемому эле-
менту, имеет распределение Хт—р+1]
31. Пусть (Xvl,..., Xvp), v = l, ...,ДГ, —выборка из /^-мерного
нормального распределения с неизвестной матрицей ковариаций
и средними Е (Х^) = аг-+ ₽г (Mv—w ), где и — известные посто-
янные. Гипотеза Н\ —0 является многомерной
линейной гипотезой с г=1, 5 = 2. Мы имеем щ — щ —
N N
рг= 2 (uv—u.) (Xvi—X.i)/ (uv—u.)2. Статистика критерия Ж
v=l ~ v=l
задается формулой (58) с
6’г7 = 5 [«XTvi «Г (uv м-)1 [Xvj Olj pj (uv — u.)]
и
yiy/=^PjS(uv-u.)2
438
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[ГЛ. 7
32. Пусть %=(Xai-), i = l,..., р\ а=1, ...,7V, —выборка
из ^-мерного нормального распределения и пусть д<р>
max (#, р — q) С N. Рассмотрим гипотезу Н о том, что (Тн,..., Xiq)
не зависит от (Xit Q+1, ..., Т1р), т. е. что ковариации
= равны нулю при всех г<л, j>q.
Проблема проверки Н остается инвариантной относительно пре-
образований Xai = Xai-\-bi и Х*—ХС, где С—любая невырожден-
ная р х р-матрица, имеющая структуру
c-CCl1 °>
<0 C2J’
причем Си и С22 имеют порядок q х q и (р—?) X (р —д) соответ-
ственно.
(I) Максимальным инвариантом преобразования, индуциро-
ванного в пространстве значений достаточных статистик: X.}
и матрицы S, которую мы представим в форме S — >
\^21 ^22/
являются q корней уравнения 1^12^22^21 — Хб^^О.
(II) В случае q — \. максимальным инвариантом будет стати-
стика Я2 —6’126’22^21/^11» являющаяся квадратом множественного
коэффициента корреляции между Хц и ...»Х1р). Распре-
деление Я2 зависит только от р2-квадрата теоретического коэф-
фициента множественной корреляции, который получается из Я2
заменой элементов матрицы S их математическими ожиданиями cr/j.
(III) Используя то, что плотность вероятности Л2 равна *)
11 1
^(N-p-2) ^(р-1)-1 ^(N-l)
(1—Да)2____(Д2)2 (1-Q2)2 х
r[4(2V-l)]r[4(2V-P)]
00 (e2)h (R2)h п Г1 (аг- 1)+л 1
хЕ ------пг12------Г"2
л=0 А!г[у(р-1)+Л J
и что гипотеза Н при д = 1 эквивалентна гипотезе р = 0, пока-
жите, что РНМ инвариантный критерий отвергает гипотезу при
R2>CQ.
RZ N_____р
(IV) При Q = 0 статистика -—•---у- имеет ^-распределение
1 — п~ р — 1
с р—1 и N—р степенями свободы.
[(I) Допустим, что уравнения | б’^б’Й^21— 1 = 0 и
[ —W*! | = 0 имеют одни и те же корни. Тогда найдутся
♦) См., например, Anderson, An Introduction to Multi-
variate Statistical Analysis, New York, John Wiley & Sons, 1958.
(Есть русский перевод, см. стр. 407.]
14]
ЗАДАЧИ
439
матрицы В и С такие, что В^В^/^б^С' и BS i2S^S 2iB' =
= С^*,^2’1^*1 = Л, где Л —диагональная матрица, на диагонали
которой стоят корни X. Так как матрицы и б1*"1 положи-
тельно определены, то существуют невырожденные матрицы Е
и Е*, такие, что S^ — EE' и S%~1~E*E*-~i (Это можно устано-
вить, приводя Е к диагональной форме с помощью ортогональ-
ного преобразования). Тогда
(В512В) (BSi2EY-.= (CS*2E*) (CS*2E*Y
и аргументация, использованная в разделе 10 в связи с G2, пока-
зывает, что существует ортогональная матрица Q, такая, что
BSl2EQ = CS$2E*, откуда Сц = С~^В и C22==EQE*-i.]
К разделу 12
33. Проблема проверки гипотезы т] £ когда распределе-
ние Y определяется из (62) с ц£Пй, остается инвариантной отно-
сительно подходящей группы линейных преобразований. По отно-
шению к этой группе критерий (63) будет РНМ инвариантным.
Вероятность отклонения гипотезы этим критерием находится из
(65) и (66) для всех точек (r>i, ...» 'Hq)-
[Существует невырожденное линейное преобразование Z — CY,
для которого С'Л~1С совпадает с единичной матрицей; в терми-
нах Z задача сводится к линейной гипотезе с известной диспер-
сией.]
К разделу 13
34. Допустим, что уравнение касательной плоскости of в точ-
ке л; имеет вид />г= л^ (1+йг111+ • • • ~raisis) и что векторы
(ац, ..., ais) ортогональны в том смысле, что = 0 ПРИ
всех к ф I.
(I) Если (|ь ..., gs) минимизирует 2 (Vf—рг-)2/лг при уело-
ВИИ Р е ТО (/= 2 ap-Vj/J
г г
(И) Статистика (76) критерия для проверки Н: р — л сво-
дится к
з m m
3=1 г~1 i=l
35. Независимость в таблицах сопряженности признаков.
Рассмотрим классификацию п элементов по двум признакам, пер-
вый из которых принимает значения Л1, ..., Ла, а второй —
ВА, ..., Въ. Пусть пц—число элементов, обладающих свойства-
ми Ai и Вр Критерий отношения правдоподобия для проверки
гипотезы Н о независимости признаков Л и В отвергает гипотезу,
когда
а=П^7П^ТЬ7’5
440
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
[гл. 7
слишком велико. Здесь п^. = п^/Ъ, При боль-
ших п величина —2 log А при гипотезе Н распределена приблизи-
тельно по закону X2 с (г—l)(s —1) степенями свободы.
[«Правдоподобие» полиномиальной выборки ..., хт с т
классами пропорционально выражению рХ1 ... р^п, максималь-
ное значение которого равно (xi/n)X1 ... (хт/п)Хт. Это можно
доказать, например, рассматривая п чисел, среди которых Х}
равны Pilxf при г —1, ..., т, и замечая, что их среднее геометри-
ческое не превосходит их среднего арифметического. Применяя
найденный результат к полиномиальным схемам с вероятно-
стями pij(i~i/ ..., а; /=1, ...,&), образующими Q, и Pij~
~ = образующими со, мы приходим к тре-
буемому выводу.]
15. Литературные ссылки
Настоящая глава служит кратким введением в каждую
из трех тем, которые в совокупности охватывают подав-
ляющую часть современных статистических методов: дис-
персионный анализ, многомерный анализ, теорию ^-кри-
териев.
Разработка дисперсионного анализа была начата глав-
ным образом Р. А. Фишером, значительная часть
результатов приведена в его книгах (1925, 1935). Исчер-
пывающим образом дисперсионный анализ изложен в кни-
гах Кемпторна (1952) и Ш е ф ф е (1959). Обзор
некоторых аспектов метода имеется в статьях III е ф ф е
(1956) и К о к р е н а (1957).
Многомерный анализ подробно изложен в книгах
Андерсона (1958), Рао (1952) и Кендалла
(1957).
Обзор применений %2-метода дан в статьях К о к р е-
на (1952, 1954).
Андерсон (Anderson Т. W.) ч Г
(1958) An Introduction to Multivariate Analysis, New York,
John Wiley & Sons.
Бартлетт (Bartlett M.S.)
(1947) The use of transformations, Biometrics, vol. 3, 39—52.
[Рассматриваются в числе других следующие преобразова-
ния: логарифмическое, извлечение квадратного корня и арк-
синуса.]
15]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
441
Б о кс (В ox G. Е. Р.)
(1949) A general distribution theory for a class of likelihood ratio
criteria, Biometrika, vol. 36, 317—346.
Вальд (Wald A.)
(1942) On the power function of the analysis of variance test, Ann.
Math. Stat., vol. 13, 434—439. [Задача 5. Эта задача имеется также
в работе: Н s u, On the power function of the jE'2-test and the T2-test,
Ann. Math. Stat., vol. 16 (1945), 278—286].
(1943) Tests of statistical hypotheses concerning several parame-
ters when the number of observations is large, Trans. Am. Math. Soc.,
vol. 54,426—482. [Общее асимптотическое распределение и свойства
оптимальности критериев отношения правдоподобия и им асимпто-
тически эквивалентных.]
Гербах (Herbach L. Н.) I
(1957) Optimum properties of analysis of variance tests based on
model II and some generalizations of model II, Scientific Paper No. 6,
Engin. Stat. Lab., New York University.
Кемпторн (Kempthorne 0.)
(1952) The Design and Analysis of Experiments, New York, John
Wiley & Sons.
Кендалл (Kendall M. G.)
(1957) A Course in Multivariate Analysis, London, Charles Griffin.
Кокрен (Cochran W. G.)
(1952) The v2-test of goodness of fit, Ann. Math. Stat., vol.
2, 315—345.
(1954) Some methods for strengthening the common %2-test,
Biometrics, vol. 10, 417—451.
(1957) Analysis of covariance: Its nature and uses, Biometrics,
vol. 13, 261—281.
К о л о д жейчик (Kolodziejczyk S.)
(1935) An important class of statistical hypotheses, Biometrika,
vol. 37, 161—190. [Общая линейная одномерная гипотеза рассматри-
вается с точки зрения отношения правдоподобия.]
Нейман (Neyman J.)
(1949) Contributions to the theory of the %2-test, Proc. Berkeley
Symposium on Mathematical Statistics and Probability, Berkeley,
Univ. Calif. Press, 239—273. [Дана теория %2-критериев с огра-
ниченными альтернативами.]
Нейман и Пирсон (Neyman J.and Pearson E.S.)
(1928) The use and interpretation of certain test criteria for pur-
poses of statistical inference, Biometrika, vol. 20 A, 175—240, 263—
294. [Предложен критерий отношения правдоподобия как метод,
который учитывает оба типа ошибок. Критерий применяется к це-
лому ряду проблем проверки гипотез.]
Ньюман (Newman D.)
(1939) Range in samples from a normal population, Biometrika,
vol. 31, 20—30. [Рассматривается критерий (22), который приписы-
вается автором «Стьюденту» (Госсету).]
442
ЛИНЕЙНЫЕ ГИПОТЕЗЫ
(гл. 7
Пирсон (Pearson К.)
(1900) On the criterion that a given system of deviations from the
probable in the case of a correlated system of variables in such that
in can be reasonably supposed to have arisen from random sampling,
Phil. Mag., Ser. 5, vol. 50, 157 -172. [Предложен Х2-критерий (71)
для проверки простой полиномиальной гипотезы. Дается его пре-
дельное распределение при проверяемой гипотезе. Критерий обоб-
щается на случай сложных гипотез, но содержит ошибку в опре-
делении числа степеней свободы предельного распределения;
правильное решение для общего случая было найдено Фишером
(1924а). Применения.]
Р а о (R а о С. R.)
(1952) Advanced Statistical Methods in Biometric Research,
New York, John Wiley & Sons.
Симаик (Si mai ka J. B.)
(1941) An optimum property of two statistical tests, Biometrika,
vol. 32, 70—80. [Показано, что критерий (58) является РНМ в клас-
се всех критериев, функция мощности которых зависит только от
параметра нецентральности (59), и установлено соответствующее
свойство для критерия множественной корреляции, данного в зада-
че 32 (III).]
С ю й (Н s u Р. L.)
(1938) Notes on Hotelling’s generalized T2, Ann. Math. Stat., vol.
9, 231—243. [Получено распределение Т2-статистики в нецентраль-
ном случае. Статистика применена к классу проблем, описанных
в разделе 11 после примера 9. Вывод Т^распределения, указанный
в задачах 29 и 30, принадлежит W i j s m a n, Random orthogonal
transformations and their use in some classical distribution problems
in multivariate analysis, Ann. Math. Stat., vol. 28 (1957), 415—423.
Этот вывод был также отмечен Стейном (ср. Висман, стр. 416)
иБоукером (ср. Андерсон, цит. работа, стр. 107).]
(1941) Analysis of variance from the power function stand-point,
Biometrika, vol. 32, 62—69. [Показано, что критерий (7) является
РНМ в классе всех критериев, функция мощности которых зависит
только от параметра нецентральности.]
Тэнг (Tang Р. С.)
(1938) The power function of the analysis of variance test with
tables and illustrations of their use, Stat. Res. Mem, vol. II, 126—149.
Уилкс (Wilks S. S.)
(1938) The large-sample distribution of the likelihood ratio for
testing composite hypotheses, Ann. Math. Stat., vol. 9, 60—62. [Выве-
дено асимптотическое распределение^ отношения правдоподобия
в случае справедливости гипотезы.]
Фишер (Fisher R. А.)
(1924а) The conditions under which chi square measures the
discrepancy between observation and hypothesis, J. Roy. Stat. Soc.,
vol. 87, 442—450. [Получено предельное распределение (прип ро-
15]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
443
веряемой гипотезе) %2-статистики для случая сложных гипотез.
Обсуждается зависимость этого распределения от метода, используе-
мого при оценке параметров.]
(1924b) On a distribution yielding the error functions of several
well-known statistics, Proc. Int. Math. Congress, Toronto, 805—813.
[Обсуждается вопрос использования Z-распределения (которое
эквивалентно F-распределению) в дисперсионном анализе (модель I)
и регрессионном анализе. Получено распределение выборочного
коэффициента множественной корреляции в случае, когда соответ-
ствующий теоретический коэффициент равен 0.]
(1925) Statistical Methods for Research Workers, Edinburgh,
Oliver and Boyd, 1 st ed.
(1928) The general sampling distribution of the multiple correla-
tion coefficient, Proc. Roy. Soc., Ser. A, vol. 121, 664—673. [Вывод
нецентрального %2- и нецентрального бета-распределения и рас-
пределения выборочного коэффициента множественной корреляции
для произвольных значений теоретического коэффициента множест-
венной корреляции.]
(1935) The Design of Experiments, Edinburgh, Oliver and Boyd,
1 st ed.
X а нтиСт ейн (H un t G. and Stein С. M.)
(1946) Most stringent tests of statistical hypotheses. He опубли-
кована. [Доказывается, что критерии (7) и (61) РНМ почти инва-
риантные и что корни уравнения (57) составляют максимальный
инвариант.]
Хартли (Hartley Н.О.)
(1950) Maximum F ratio as a short-cut test for heterogeneity of
variance, Biometrika, vol. 37, 308—312. [Предложен критерий (23).]
Хотеллинг (Hotelling H.)
(1931) The generalization of Student’s ratio, Ann. Math. Stat.,
vol. 2, 360—378. [Предложена статистика (58) в качестве многомер-
ного обобщения ^-статистики Стьюдента, и получено распределение
этой статистики при проверяемой гипотезе.]
Шеффе (Scheffe Н.)
(1956) A «mixed model» for the analysis of variance, Ann. Math.
Stat., vol. 27, 23—36. [Пример 11.]
(1956) Alternative models for the analysis of variance, Ann. Math.
Stat., vol. 27, 251—271.
(1958) Fitting straight lines when one variable is controlled, J.
Am. Stat. Assoc., vol. 53, 106—117. [Задача 16.]
(1959) Analysis of Variance, New York, John Wiley & Sons.
Эйзенхарт (Eisenhart C.)
(1947) The assumptions underlying the analysis’ of variance,
Biometrics, vol. 3,1—21. [Обсуждается различие между моделями
I и II.]
ГЛАВА 8
ПРИНЦИП МИНИМАКСА
1. Критерии с гарантированной мощностью
Обсуждавшиеся до сих пор ограничениянесмещен-
ность и инвариантность — обладают тем недостатком, что
они только в весьма ограниченных классах задач при-
менимы и приводят к оптимальным решениям. Поэтому
теперь мы обратимся к альтернативному подходу, кото-
рый потенциально имеет более широкую область приме-
нимости. К сожалению, его использование в конкретных
задачах приводит к трудностям и может быть успешно
проведено главным образом в случаях, когда сущест-
вуют РНМ инвариантные критерии.
Одна из важных для планирования эксперимента
характеристик — число наблюдений, необходимое для того,
чтобы результирующая статистическая процедура имела
заданную точность или чувствительность. В проблеме
проверки гипотез это означает, что вероятности ошибок
первого и второго рода не должны превосходить неко-
торых заданных границ, скажем а и 1 — р, так что рас-
сматриваемые критерии должны удовлетворять условиям
Е$Ц)(Х)^а при 0£йн,
Е0ср(Х)>р при
(1)
Если функция мощности £> (^) непрерывна и а < Р,
то (1) не может выполняться для множеств йя и Й#,
которые соприкасаются. Эта математическая трудность
связана отчасти с тем фактом, что разделение значений
параметра на два класса йя и й#, которым соответст-
вуют два различных решения, часто оказывается не рез-
1]
КРИТЕРИИ С ГАРАНТИРОВАННОЙ МОЩНОСТЬЮ
445
ким. Между значениями, для которых одно или другое
решение очевидным образом правильно, могут лежать
другие, для которых относительные преимущества и недо-
статки принятия и отклонения гипотезы приближенно
уравновешиваются. Соответственно мы предположим,
что Q разбито на сумму трех множеств
Q — Qjf -j" + Ок>
где Qj обозначает зону безразличия, a Q# —класс значе-
ний параметра, отличающихся от постулируемых гипо-
тезой так сильно, что ложное принятие Н является
серьезной ошибкой, вероятность которойне должна превы-
шать 1 — р.
Чтобы понять, как определяется размер выборки
в этой ситуации, предположим, что доступные для наблю-
дения случайные величины образуют последователь-
ность Xi, Х2, • • • Допустим на время, что п фиксиро-
вано, и пусть X = (Xi, ..., Хп). В обычной для ряда
применений обстановке (точную формулировку см. в за-
даче 1) существует критерий фЛ, который максимизирует
inf £е<р(Х) (2)
QK
в классе всех критериев уровня а, основанных на X.
Обозначим pn = infEe<P(X) и допустим, что при доста-
точно больших п существует критерий, удовлетворяю-
щий (1)*). Желаемый размер выборки (т. е. наимень-
шее п, для которого определяется в данном слу-
чае методом проб. Для этого требуется уметь при каж-
дом фиксированном п определить критерий, который
максимизирует (2) при условии
2?е<Р(^)<« ПРИ 0£йн. (3)
Метод отыскания критерия с подобным мак си минным
свойством (т. е. критерия, максимизирующего минималь-
ную мощность на Й&) получается обобщением теоремы 7
главы 3. В последующих рассуждениях удобно изменить
*) Условия, при которых это справедливо, даны в статье:
Berger, On uniformly consistent tests, Ann. Math. Stat., vol.
22(1951), 289—293.
446
принцип минимакса
[гл. 8
обозначения: мы назовем теперь со и со' подмножества Q,
которые ранее обозначались Q# и QK. Пусть SP =
— {.Ре, 0£ со |J со'} —семейство распределений вероятностей
на пространстве выборок ($’, &) с плотностями р0 =
^dPQjd\i по некоторой о-конечной мере р. Допустим,
что эти плотности Pq(x), рассматриваемые как функции
пары переменных (ж, 0), измеримы относительно X
и (^Х^'), где и ^' — заданные a-поля в со и со'.
При этих предположениях и при условиях, указывав- |
мых в приводимой ниже теореме, критерий с желатель-
ными свойствами совпадает с решением надлежаще по-
добранной байесовской проблемы.
Теорема 1. Пусть X (X') — любое распределение ,
на 3S (^') и пусть — наиболее мощный критерий
уровня а для проверки
h (ж) == pQ (#)dX(0)
to
при альтернативе
h' ре(х) с/Х'(9)«
Пусть v — мощность этого критерия при альтерна-
тиве h'. Если существуют К и 'К' такие, что
sup ЕеФл, v(X)<a,
“ (4)
inf Евфл, х' (X) — Pz,, v>
to'
то
(I) Фл, V максимизирует inf £еф(^) в классе всех кри-
со'
териев уровня а для проверки гипотезы Н: 0 6 со; он
является единственным критерием с этим свойством,
если единствен наиболее мощный критерий уровня а для
проверки h при альтернативе h'.
(II) Пара распределений X, X' является наименее бла-
гоприятной в том смысле, что для любой другой пары v, v'
Р%, Pv, v'* 1
Доказательство. (I) Пусть ср* —любой другой ,
критерий уровня а для проверки Я. Тогда он является I
1
1] КРИТЕРИИ С ГАРАНТИРОВАННОЙ МОЩНОСТЬЮ 447
критерием уровня а и для проверки простой гипотезы:
плотность X равна h. Поэтому мощность ср* при альтер-
нативе h' не превосходит Рх, X'- Мы имеем
inf Ееф* (А') < #еф* (X) dK' (0) < рх, х- = inf Еефх, х- (X),
(О' (О'
ел'
и последнее неравенство будет строгим, если критерий
Фх, v единствен.
(II) Пусть v, v' —любые другие распределения на
(со, В) и (со', В'). Обозначим
g(^) = Ре {х) dv (0); g' (х) = jj рв (х) dv' (0).
СО (О'
Но как Фх, X', так и q)v>V' являются критериями уровня а
для гипотезы: плотность X равна g(^). Поэтому
Pv, V- > \ Фх, v (х) g' du (х) > inf 7?ефх, х' (X) = Рх, х'.
V (О'
Следствие 1. Пусть 1, К— два распределения
вероятностей, а С — такая постоянная, < что
1, если р& (х) dk' (0) > С (О' (О ре (ж) dX(0),
фх,Х'(^)= Y. если J pe(x)(ZX'(0) = C J (О' (0 pe(o:)dl(0), (5)
0, если Pq (х) dh' (0) < С ,(О' (0 р0 (х) dk (0)
служит критерием уровня а для гипотезы: плотность X
равна Pq (х) dk (0), и что
Х(©о) = Х'«) = 1, (6)
где
(о0 = {0: 06® и ЕеФх, г (X) == sup £0-Фх, v (X)},
ex®
(Оо = {0: 06 <о' и Е0фх, %'(^) = inf ^е'Фх, х'(х)}
0'€(О'
Тогда имеет место заключение теоремы 1.
448
ПРИНЦИП МИНИМАКСА
[гл. 8
Доказательство. Определим Л, hf и Рх, к так же,
как в теореме 1. Из наших предположений вытекает,
во-первых, что фх, %' является наиболее мощным крите-
рием уровня а для проверки h при альтернативе h'\
во-вторых, что
sup Е0фл, к- (X) = Я0фм v (X) dk (9) = а
и, в-третьих, что
inf ^ефл, v (X) = 2?еФм v (X) dk' (0) = 0%, v
(д' %
(д'
Таким образом, условие (4) выполняется, а потому при-
менима теорема 1.
Допустим, что множества QH, Qj и Ок определены
в терминах неотрицательной функции d (измеряющей
расстояние от 0 до Н) посредством формул
QH = {0: d(0) = O}; Qz = {0: 0 < (0) < А};
Ок-{0: </(0)>А}.
Примем также, что функция мощности любого кри-
терия непрерывна по 0. В пределе, при А = 0, зона без-
различия отсутствует. В этом случае Ок превращается
в множество {0: d (0) > 0} и точная нижняя грань р (0)
на Ок будет < а для любого критерия уровня а. Эта
точная нижняя грань максимизируется, следовательно,
любым критерием, для которого р (0) > а при всех 0 £ Ок,
т. е. любым несмещенным критерием. Мы видим, что
несмещенность получается предельным переходом из ма-
ксиминного свойства. Другая предельная форма (более
полезная, так как она обычно приводит к единственному
критерию) дается следующим определением: говорят,
что критерий ф0 локально максимизирует минимум мощ-
ности*), если, каков бы ни был другой критерий ф,
найдется До такое, что
inf РФ (0) > inf РФ (0) при всех О<А<Ао. (7)
«А ° WA
Здесь Юд обозначает множество тех 0, для которых
d(0)>A.
♦) Свойство локальной оптимальности вне связи с расстоя-
нием d рассматривается в задаче 4.
2]
ПРИМЕРЫ
449
2. Примеры
В главе 3 было установлено, что для семейства плот-
ностей, зависящих от действительного параметра 0 таким
образом, что при 9 < 0' отношение Pq' (x)/pQ (х) является
монотонной функцией от некоторой действительной ста-
тистики, существует РНМ критерий проверки Н: 0<0О
при альтернативе 0 > 0О. Указанное предположение, хотя
оно и выполняется для однопараметрических экспонен-
циальных семейств, весьма ограничительно. Поэтому
в действительности РНМ критерий для Н существует
довольно редко. Более общий подход предлагается фор-
мулировками предыдущего раздела. Так, если зону без-
различия составляют те значения 0, для которых
6о < 9 < 01» то задача сводится к максимизации мини-
мума мощности на классе альтернатив со': 0>01е Можно
ожидать, что при надлежащих ограничениях наименее
благоприятные распределения X и X' из теоремы 1 при-
писывают вероятность 1 точкам 0О и 01 соответственно
и что, следовательно, область отклонения максиминного
критерия задается неравенством Pe1(x)/pQQ(x) > С. При-
водимая ниже лемма дает для этого достаточные условия.
Лемма 1. Пусть Хг, ..., Хп независимы и одина-
ково распределены с плотностью fe(x), где 0 и х —дей-
ствительные переменные. Допустим, что при любом
0 < 0' отношение fc (x)/fe (х) является неубывающей функ-
цией х. Тогда критерий ср уровня а для проверки Н,
максимизирующий минимум мощности на со', определяется
равенствами
<р (хъ ..., хп) =
1, если r(xi, ..., хп) > С,
у, если г(хъ ..., хп) = С, (8)
0, если г (£ь ..., хп) < С,
где г (хг, ..., хп) = /01 (хг) ... /01 (xn)/fe0 (хг) ... /0О (хп)
и где Сиу находятся из уравнения
..., Хп) = а. (9)
Доказательство. Функция ср(хи ..., хп) не убы-
вает по каждому из своих аргументов, так что по лем-
ме 2 главы 3 при 0 < 0'
•••» ^0'ф(^ь •••» Хп).
29 э. Леман
450
ПРИНЦИП МИНИМАКСА
[гл. 8
Следовательно, функция мощности для ф монотонна
и ф — критерий уровня а. Так как Ф = Фх, v, где ZnV-
распределения, приписывающие вероятность 1 точкам 0О
и 01, то условие (4) выполнено, что доказывает как
желаемый результат, так и то, что распределения Л,
X' —наименее благоприятные.
Пример 1. Пусть 0 — параметр сдвига, т. е. /е (х) = g (х—0).
Допустим для простоты, что g (х) > 0 при всех х. Мы покажем,
что семейство /о (х) имеет монотонное относительно х отношение
правдоподобия тогда и только тогда, когда функция — logg яв-
ляется выпуклой. Условие монотонности по х отношения правдо-
подобия эквивалентно
g (х—О') g (х' — 0') , Q
-----777- < — . --777- При всех X <£ х', 0<0,
g(z-0) g(x —0) г
что в свою очередь эквивалентно
log g (х' — 0)4-log g (х — 0') < log g (x—0) -+-log g (x’ — O').
Поскольку a? — 0 = £ (x — 0') + (! — t) (#'—-0) и a?'— 0'= (1 —/) (x — 0') +
-\-t(x'— 0), где t=(x' — x)/(xf— #4-0' — 0), то выпуклость—logg
достаточна для выполнения рассматриваемого соотношения. Пока-
жем, что это условие и необходимо. Пусть а<^Ъ — любые дейст-
вительные числа и пусть х—0' —а, х' — Q = b, х' — О' = х—0.
1 1
Тогда х — 0=-2- — 0 + # — 0')~4г(я+&) и условие монотон-
ности отношения правдоподобия влечет неравенство
у [!°g g («)H-l°g g (6)1 < log? •
Так как функция—logg измерима, то она выпукла*).
Вышеприведенному условию удовлетворяют, например (кроме
нормального распределения, для которого совместные плотности
РО (#1, образуют экспоненциальное семейство), симметрич-
ное экспоненциальное распределение с
?(a;)=-l-e-w
и логистическое распределение с функцией распределения
т. е. с плотностью g (х) = e^x/(i-\-e~x)2.
*) См. Sierpinski, Sur les fonctions convexes mesurables,
Fundamenta Mathematicae, vol. 1 (1920), 125 —129.
2]
ПРИМЕРЫ
451
Пример 2. Рассмотрим соответствующую задачу для мас-
штабного параметра. Пусть/д (х) — 0-1Л (х/0), где h—четная
функция. Не ограничивая общности, мы можем иметь дело только
с неотрицательными а?, так как абсолютные значения |-Х\|, ...
..., | Хп | образуют систему достаточных статистик для 0. Если
y^log Xi и т| —log 0, то плотность Yt имеет вид h (ev^) еу~Г].
Если h (а?) > 0 при всех а?, то в соответствии с примером 1 необ-
ходимым и достаточным условием, чтобы /0, (а?)//д (а?) было неубы-
вающей функцией х при всех 0 < 0', является выпуклость функ-
ции — log [e^h (eV)] или, что то же самое, выпуклость функции
— log Л (eV). Помимо нормального и дважды экспоненциального
распределений (для которых совместные плотности образуют
экспоненциальные семейства), примером, в котором это свойство
выполняется, может служить распределение Коши с плотностью
1 1
h(x)= — -г-.
Так как выпуклость —log Л (у) влечет выпуклость —log h (еУ),
то для четной h из монотонности отношения правдоподобия у се-
мейства h (х—0) вытекает его монотонность у h (х/В). Когда
распределение h нормальное или дважды экспоненциальное, это
свойство h (x/Q) вытекает, следовательно, уже из примера 1.
Однако монотонность отношения правдоподобия для масштабного
параметра не влечет аналогичного свойства для соответствующего
семейства с параметром сдвига. Это иллюстрируется примером
распределения Коши. Поэтому рассматриваемое условие в при-
менении к параметру сдвига более ограничительно, чем в приме-
нении к масштабному параметру.
Основная трудность в применении теоремы 1 к кон-
кретным проблемам состоит в необходимости знать, или
по крайней мере уметь правильно угадывать, пару (%, %')
наименее благоприятных распределений. Руководством
для отыскания этих распределений иногда могут слу-
жить соображения инвариантности. Если существует
группа G преобразований X такая, что индуцированная
группа G оставляет инвариантными со и со', то задача
симметрична по отношению к тем 9, которые могут быть
переведены друг в друга пребразованиями группы G.
В этом случае кажется вероятным, что, коль скоро Л
и X' не обнаруживают той же симметрии, они делают
задачу статистика более легкой и, следовательно,
не будут наименее благоприятными.
Пример 3. В задаче попарного сравнения, рассмотренной в
примере 7 главы 6, результаты наблюдений Xt (i=l, ..., п) пред-
ставляют собой независимые случайные величины, принимающие
29*
452
ПРИНЦИП МИНИМАКСА
[гл. 8
значения
которую
max
1 и 0 с вероятностями pt и qt — 1— Pi- Гипотезе Я,
необходимо проверить, соответствует множество со:
1
-«у-. Принимаются во внимание только альтернативы, для
1
которых pi — при всех i. В качестве со' мы выберем подмноже-
1
ство тех альтернатив, для которых pf > -9-+б. Следовало бы ожи-
1
дать, что X приписывает вероятность 1 точке р1=...=рп = — ,
а X' приписывает положительные вероятности только п точ-
кам (рь ...» рп), у которых п—1 координат равны 1/2, а ос-
1
тавшиеся равны-^+б. Вследствие симметрии по п переменным
представляется вероятным, что X' должно приписывать каждой
из этих точек вероятность 1/п. При таком определении критерий
Фх X* отвергает гипотезу при
(1 \ xi
Последнее эквивалентно
п
С.
<=1
а эта критическая область, как было показано ранее, соответ-
ствует РНМ инвариантному критерию для данной задачи. Так
как критическая функция ф^ хп) не убывает по каж-
дому из своих аргументов, то по лемме 2 главы 3 из неравенств
Рг< Pt ПРИ всех i = l» и следует
...» рЛ, V (^1’ • • •» Хп) < Ep'v v (^1» • • •> хп)>
т. е. выполняются условия теоремы 1.
Пример 4. Пусть Х=(ЛГ1, .Хп) — выборка из N (g, а2).
Рассмотрим задачу проверки гипотезы Н: в —-о0 при альтерна-
тивах со': о< Of или о > о2 (а1 < ао < Задача остается инва-
риантной при преобразованиях = которые индуцируют
в пространстве параметров группу G преобразований g' = g4-c,
<у' = а. Поэтому следовало бы ожидать, что наименее благоприят-
ное распределение % на прямой со: —oo<g<oo, о = о0 инвари-
антно относительно G. Отсюда вытекает, что % приписывает лю-
бому интервалу меру, пропорциональную его длине, т. е. %
не может быть распределением вероятностей, и теорема 1 не-
посредственно не применима. Эту трудность можно преодолеть,
аппроксимируя % последовательностью распределений вероят-
3]
МАКСИМИННЫЕ КРИТЕРИИ И ИНВАРИАНТНОСТЬ 453
ностей, в разбираемом случае, например, последовательностью
нормальных распределений N (О, Л), k — i, 2, ...
Оказывается, что в той специальной задаче, которую мы
сейчас рассматриваем, существуют наименее благоприятные рас-
пределения А и А', являющиеся настоящими распределениями
вероятностей и, следовательно, не обладающие инвариант-
ностью. Эти распределения можно найти путем исследования
соответствующей односторонней задачи из раздела 9 главы 3,
что и производится ниже. На множестве о, где меняется
только g, в качестве распределения А для g принимается нор-
мальное распределение с произвольным средним и дисперсией
(о| — о§)/п. Распределение X' следует сконцентрировать на двух
прямых а = а1 и о = а2 (£> (У)-плоскости. Положим А' = pAj-]-qk/2l
где Aj нормально со средним и дисперсией (<г|—<т|)/и, в то вре-
мя как AJ приписывает вероятность 1 точке (gp о2). Вычисления,
аналогичные проведенным в разделе 9 главы 3, показывают,
что область принятия гипотезы определяется неравенством
<тр^ехр [~2стГ2 (**—ж)2~~lai- (ж~^1)2] ।
, ~^ехр [ir [2(*i-*)2+w(*-^)2]]
5F^exp ["гоГ 2 to-*)2- 25Г
которое эквивалентно неравенству
Вероятность последнего неравенства не зависит от Следова-
тельно, С{ и С2 могут быть определены таким образом, что вероят-
ность принятия гипотезы будет равна 1 — а при а=о0 и будет
иметь равные значения при o — cq и о —о2.
Из раздела 7 главы 3 выводим, что существуют такие р и С,
которые приводят к указанным Ci и С2, и что вышеприведенный
критерий удовлетворяет условиям следствия с и с ©J,
состоящим из двух прямых линий: 0 = ^ и о = о2.
3. Максиминные критерии и инвариантность
Когда проблема проверки Q# при альтернативе Q#
остается инвариантной относительно преобразований
некоторой группы, представляется разумным ожидать,
что существует инвариантная пара наименее благоприят-
ных распределений (или, по меньшей мере, последова-
тельности распределений, которые в пределе, в некотором
454
ПРИНЦИП МИНИМАКСА
[гл. 8
смысле, являются наименее благоприятными и инвари-
антными) и что, вместе с тем, существует инвариант-
ный максиминный критерий. Это приводит к возмож-
ности обойти трудности подхода, намеченного в преды-
дущих параграфах. Если бы мы смогли доказать, что для
инвариантной проблемы всегда существует инвариантный
критерий, который максимизирует минимум мощности
на й#, то мы были бы вправе ограничиться только
инвариантными критериями. В частности, в этом случае
РНМ несмещенный критерий автоматически обладал бы
желательным максиминным свойством. Эти догадки ока-
зываются правильными в важном классе задач, хотя
они, к сожалению, не переносятся на общий случай.
Чтобы найти соответствующие условия, удобно сначала
разделить статистический и теоретико-групповой аспекты
проблемы посредством следующей леммы.
Лемма 2. Пусть ^p = {PQf 0gQ} — доминированное
семейство распределений на (Д?, &) и пусть G — группа
преобразований на (Ж, &) такая, что индуцированная
группа G оставляет инвариантными подмножества йн
и Йд- пространства й. Допустим, что для любой крити-
ческой функции ср существует (почти) инвариантная
критическая функция ф, для которой
inf £г0ф (X) < £еф (X) < sup (X) (10)
G G
при всех 0£й. Тогда, если существует критерий ф0
уровня а, максимизирующий ш£_Ееф(Х), то существует
и (почти) инвариантный критерий с этим свойством.
Доказательство. Пусть inf /?0фо (X) = 0 и пусть
фо — (почти) ивариантный критерий, такой, что (10)
выполняется с ф = ф0, ф = фо- Тогда
£ефо (X) < sup ^0Фо (X) < а при всех 0 £ йн
“ G
и *
Еефо (X) > inf /?^0Фо (X) > 0 при всех 0 6 йк,
G
что и требовалось доказать.
3] МАКСИМИННЫЕ КРИТЕРИИ И ИНВАРИАНТНОСТЬ
455
Чтобы установить условия, при которых существует
инвариантный или почти инвариантный критерий ф,
удовлетворяющий (10), рассмотрим сначала простейший
случай конечной группы G. Пусть G —{gi, . ..,g/y}.
Тогда, если определить ф равенством
N
фоо=42 01)
i=i
то ясно, что ф будет критической функцией, и притом
инвариантной относительно G. Она также удовле-
творяет (10), так как £0ф (gX) = .Е^0ф (X) и £0ф(Х)
является средним нескольких величин, минимальная
и максимальная из которых совпадают соответственно
с первым и последним членами в (10).
Конечный случай иллюстрируется примером 3. В нем
проблема остается инвариантной относительно п\ пере-
становок переменных (Хь ...,ХП). Лемма 2 применима
и показывает, что существует инвариантный критерий,
максимизирующий inf£^(X). Поэтому, в частности,
РНМ инвариантный критерий, полученный в примере 7
главы 6, обладает требуемым максиминным свойством и,
следовательно, является решением проблемы.
Определение (И) приводит к мысли о возможности
и в других случаях получить ф(я) усреднением зна-
чений ф (gx) по отношению к надлежаще выбранному
распределению вероятностей на группе G. Посмотрим,
каким условиям должно было бы удовлетворять подобное
распределение. Пусть о-поле подмножеств G и v —
распределение вероятностей на (G, J?). Отвлекаясь на вре-
мя от проблем измеримости, определим ф соотношением
’l’ (ж) = Ф (g*) dv (g). (12)
Тогда 0<ф<1 и (10) имеет место, как можно заклю-
чить из теоремы Фубини (теорема 3 главы 2), применяя
ее к интегралу от ф по распределению Pq. Для любого
go € G
ф (gQx) =Л ф (gg0^) dv (g) = £ ф (hx) dv* (h)t
456
ПРИНЦИП МИНИМАКСА
[гл. 8.
где h — ggv и где v* —мера, определенная формулой
v* (5) = v (5g"1) для всех В G
т. е. мера, в которую v переводится трансформацией
^ = ggo- Таким образом, ф будет обладать желаемой инва-
риантностью, ф (goz) = ф (х) при всех go G G, если v —
правоинвариантна, т. е. если
v(5g) = v(5) при всех 5g^, ggG. (13)
Для справедливости приведенных выше рассуждений
нужны следующие предположения измеримости:
(I) При любом А € # множество пар (х, g) с gx£A
является («# X ^-измеримым (этим обеспечивается изме-
римость функции ф, определяемой по (12));
(II) при любых 5g^, g$G множество Bg принад-
лежит .
Пример 5. Пусть G—конечная группа с элементами
gb gy, —класс всех подмножеств G и v — вероятностная
мера, приписывающая вероятность i/N каждому из N элементов.
В этом случае (13) выполняется и определение (12) сводится к (И).
Пример 6. Рассмотрим группу G ортогональных (п х п)-
матриц и определим групповое произведение 1\Г2 как обычное
произведение матриц. Каждую матрицу можно рассматривать
как точку в п2-мерном евклидовом пространстве, координаты
которой равны элементам матрицы. Тогда группа порождает
некоторое множество в этом пространстве. В качестве п-поля &
мы возьмем борелевские подмножества G. Чтобы доказать сущест-
вование на (G, правоинвариантной вероятностной меры*),
мы построим случайную ортогональную матрицу, распределение
вероятностей которой удовлетворяет (13) и тем самым является
искомой мерой. Свяжем с каждой невырожденной матрицей х = (хц)
ортогональную матрицу y — f (х), получаемую применением к п
векторам-строкам ^=(а?н, ..., х^ матрицы х следующего про-
цесса ортогонализации Грама — Шмидта. Пусть —единичный
вектор в направлении х^, у2—единичный вектор в плоскости,
натянутой на xl и х2, ортогональный к у^ и образующий острый
угол с х2, и т. д. Пусть у—(м)— матрица, i-я строка которой
равна у}.
Допустим теперь, что случайные величины Xjj (i, /=1, ..., п)
независимы и распределены по закону 2V (0, 1). Обозначим X
случайную матрицу (Х^) и положим У = /(Т). Покажем, что
*) Более детальное изложение вопросов, связанных с этой
инвариантной мерой, дано в работе: James, Normal multivariate
analysis and the orthogonal group, Ann,, MMh. Stat., vol. 25 (1954),
4]
ТЕОРЕМА ХАНТА—СТЕЙНА
457
распределение случайной ортогональной матрицы У удовлетворяет
(13). С этой целью рассмотрим любую фиксированную ортого-
нальную матрицу Г и любое фиксированное множество В £
Тогда Р {Y С ВГ} = Р{УГ' С В] и из определения / видно, что
УГ' = /(ХГ'). Так как п2 элементов матрицы -ХТ' имеют то же
самое совместное распределение, что и элементы матрицы X,
то и матрицы / (ХГ') и / (X) имеют одно и то же распределение,
что и требовалось доказать.
Примеры 5 и 6 достаточны для тех применений, кото-
рые будут исследованы здесь. Эти примеры являются
простыми частными случаями по отношению к общим
условиям существования инвариантных вероятностных
мер, даваемых теорией меры Хаара*).
4. Теорема Ханта—Стейна
Инвариантные меры существуют (и с точностью до
константы) для большого класса групп, но, к сожале-
нию, часто бывают бесконечными и, следовательно, не
могут быть взяты в качестве распределений вероятностей.
Это явление сходно (и, по существу, связано) с отсут-
ствием пары наименее благоприятных распределений
в теореме 1. Трудность обычно можно преодолеть, рас-
сматривая последовательность распределений, которая
«в пределе» обладает требуемым свойством. Аналогично,
мы обобщим теперь конструкцию ф как среднего по
отношению к правоинвариантной мере, рассматривая
последовательность распределений на G, которые при
больших п приближенно правоинвариантны.
Пусть tP — {Pq, 0 g Q} — семейство распределений
на евклидовом пространстве (^Г, <^), доминированное
о-конечной мерой ц, и пусть G —группа преобразований
(35, <#) такая, что индуцированная группа G оставляет й
инвариантным.
Теорема 2 (Ханта — Стейна). Пусть — ъ-поле
подмножеств группы G, так что для любого Agfa мно-
жество пар (х, g) с gx^A принадлежит & X & и для
*) Мера Хаара рассматривается, например, в книгах: Mont-
gomery and Zippin, Topologica Transformation Groups, New
York, Interscience Publishers, 1955, главы I, II, и П. Халмогп,
Теория меры, ИЛ, 1953, главы XI, ХП.
458
ПРИНЦИП МИНИМАКСА
[гл. 8
любых и g£G Bg£<$. Допустим, что существует
последовательность распределений вероятностей vn на
(G, $), которые асимптотически правоинвариантны в том
смысле, что для любых g£G, В£$
lim | vn (Bg) — vn (В) | = 0. (14)
n->oo
Тогда, какова бы ни была критическая функция ср,
существует критическая функция ф, которая почти инва-
риантна и удовлетворяет (10).
Доказательство. Пусть
1|>п(х)= J <f(gx)dvn(g).
Как и раньше, эта функция измерима и лежит между 0 и 1.
По теореме о слабой компактности (теорема 3 в Допол-
нении) существует подпоследовательность {фп.} и изме-
римая функция ф, лежащая между 0 и 1, для которой
lim \ фп.рйр = \ фр dp,
i—>оо J 1 v
для всех р-интегрируемых функций р. В частности,
lim Еефп. (Я) = £"еф (X)
г->оо 1
при всех 0gQ. По теореме Фубини
ЗДп;(Х) = J [Eeq)(gX)] dvn. (g) = J E-e(f (X) dvn. (g),
так что
inf E-e <p (X) < E(4n. (X) < sup E-e<p (X)
G G
и ф удовлетворяет (10).
Чтобы доказать почти инвариантность ф, мы пока-
жем теперь, что для всех х и g
^n((gx)-^nt(x)->0. (15)
По теореме об ограниченной сходимости (теорема 1 (II)
главы 2) отсюда будет следовать, что
j Wnj (gx) — l|)n. (ж)] dPe (x) -> 0
A
4]
ТЕОРЕМА ХАНТА—СТЕЙНА
459
при всех и а следовательно, что =
= 'ф(я) ($> — почти всюду), что и требовалось доказать.
Фиксируем х и, выбрав целое т, разобьем G на
попарно непересекающиеся множества
Bk = g G: ak < y(hx) < ak + , к = 0, . .., m,
где ak = (k — l)/m. В частности, Bq — это множество
{h g G : ф (hx) = 0}. Из определения множеств Вд видно, что
2 ak^ni (Bk) < 2 Ф (hx) dvn.(h) <
/>=о а=о Bk
т т
<2 +4-) Vni < 2 а*ч- (л*)+4-
fe=0 fe=o
и, аналогично,
т т
|2 J 4>(hgx)dvn.(h)-^ akVn.tBkg-1)^-^ ,
h=0 Bkg-1 fe=0
откуда следует, что
I Я’п, (gx) - •'Ц (я) । < 21ак । • iVnz (s*) I+•
В силу (14) первый член в. правой части стремится
к нулю при г, стремящемся к бесконечности, и этим
доказательство завершается.
Если существует правая инвариантная мера v на С
и последовательность Gn подмножеств G с Gn£^Gn+i,
U Gn = G и v (Gn) = сЛ < оо, то естественно пытаться
выбрать в качестве вероятностных мер vn теоремы 2
меры v/cn, рассматриваемые на Gn. В указанном ниже
примере это приводит к успеху. С другой стороны,
имеются случаи, когда существуют подобные последо-
вательности Gn, но нет инвариантных критериев, удов-
летворяющих (10), и нет, следовательно, последователь-
ности vn, для которой выполнялось бы (14).
Пример 7. Пусть х = (х^ ..., хп), —класс борелевских
множеств в n-мерном пространстве и G—группа сдвигов (xl g, ...
• ••, яп+#)> — оо< g<oo. Элементы G могут быть представлены
460
ПРИНЦИП МИНИМАКСА
[гл. 8
действительными числами, и групповое произведение оказывается
в этом случае обычной суммой g+g'. Пусть — класс боре-
левских множеств на прямой. Тогда предположения измеримости,
входящие в теорему 2, выполнены. Пусть v —мера Лебега,
которая, очевидно, инвариантна относительно G. Определим
vn как распределение, равномерное в интервале Z( — га, га) =
= {g : — Тогда для всех В g £G
I vn (B)-vn (Bg) |=A. IV [В ПI (-n, n)] —
»-S)J,
так что (14) выполняется.
Эти рассуждения применимы также и к группе изменений
масштаба (а^1? ...,ахп), 0<а<оо, которая может быть пре-
вращена в группу сдвигов переходом к логарифмам.
Редукция максиминной проблемы может быть прове-
дена шаг за шагом в предположениях теоремы 2 главы 6.
Допустим, что проблема остается инвариантной по отно-
шению к двум группам D и Е. Обозначим у = s(x) мак-
симальный инвариант относительно D и буквой Е* —
группу, определенную в теореме 2 главы 6 (которую Е
индуцирует в пространстве у). Если D и удовлетворяют
условиям теоремы Ханта — Стейна, то, во-первых, суще-
ствует максиминный критерий, зависящий только от у =
= s(x), во-вторых, существует максиминный критерий,
зависящий только от максимального инварианта z = t(y)
относительно £*.
Пример 8. Рассмотрим одномерную линейную гипотезу,
в канонической форме которой Уь ..., Уп независимы и распределе-
ны по N ('П!, о2), причем дано, что ц8+1=...=т]п=0. Проверке под-
лежит гипотеза ц1=...=цг=О. В разделе 1 главы 7 было показано,
что эта проблема инвариантна относительно некоторых групп преоб-
разований и что по отношению к этим группам существует РНМ
инвариантный критерий. Указанные группы являются группами
ортогональных преобразований или группами сдвигов типа, рассмот-
ренного в примере 7, или группами изменений масштаба. Так как
каждая из этих групп удовлетворяет условиям теоремы Ханта —
Стейна и поскольку они оставляют инвариантной проблему макси-
мизации минимума мощности на множестве альтернатив
Г в2
2 т>о), (16)
- . м
4]
ТЕОРЕМА ХАНТА—СТЕЙНА
461
то РНМ инвариантный критерий главы 7 является решением
также и этой максиминной проблемы. Более общим образом кри-
терий, который является РНМ инвариантным (относительно той
же самой группы) для проверки
Г 2
i=l
(задача 4 главы 7), максимизирует минимальную мощность на
альтернативах (16) для ф0 <
Пример 9 (Стейн). Пусть G — группа всех невырожденных
линейных преобразований /^-мерного пространства. При р > 1
она не удовлетворяет условиям теоремы 2, как можно увидеть
из нижеследующей задачи, которая инвариантна относительно G,
но для которой РНМ инвариантный критерий не максимизирует
минимум мощности. Обобщая пример 10 главы 6, допустим, что
Х—(Х^ ...,Хр) иУ=(У1, ...,Ур) независимы и имеют р-мер-
ное нормальное распределение с нулевыми средними и невыро-
жденными матрицами ковариаций Е (Х$Х/) = а^ и Е (YtYj) =
Пусть проверке подлежит гипотеза Н: А Ао при альтернативе
А>А1(Л0<А1), причем предполагаются неизвестными.
Эта проблема остается инвариантной, если оба вектора под-
вергаются любому (одному и тому же) невырожденному преобра-
зованию, и так как с вероятностью единица эта группа транзи-
тивна на выборочном пространстве, то РНМ инвариант-
ный критерий тривиален: ср (я, у) == а. Следовательно, мак-
симинная мощность при альтернативах А>А1} которая
может быть достигнута при использовании инвариантных критериев,
равна а. С другой стороны, критерий с критической областью
У£/Х?>С имеет строго возрастающую функцию мощности р (Л),
минимум которой на множестве альтернатив А > Ai равен
Р (АО > (РА&)=а.
Интересная особенность теоремы 2 состоит в том, что
ее предположения касаются только группы G, а не распре-
делений Р0. Если эти предположения выполняются для
некоторой группы G, то, как можно вывести из (10) (пу-
тем, указанным в доказательстве леммы 2), для любой
проблемы, инвариантной относительно G и допускающей
РНМ инвариантный критерий, этот критерий максимизи-
рует минимум мощности в любом инвариантном классе
альтернатив. Наоборот, допустим, что мы установили,что
в некоторой отдельной задаче РНМ инвариантный отно-
сительно G критерий не максимизирует минимум мощ-
ности (как это имело место в группе линейных преобразо-
ваний примера 9). Тогда предпосылки теоремы 2 не могут
462
ПРИНЦИП МИНИМАКСА
[гл. 8
быть выполнены. Однако это не исключает той возможно-
сти, что в другой проблеме, инвариантной относительно G,
РНМ инвариантный критерий будет максимизировать ми-
нимум мощности. Произойдет это или нет—зависит уже
не только от группы, но и от семейства распределений.
Рассмотрим, в частности, задачу проверки гипотезы
Н: £1== . , . = = 0 на основе выборки (Ха1, . . .
. . ., Хар), а = 1, . . ., п, из р-мерного нормального
распределения со средними Е (Xai) = и общей матри-
цей ковариаций (а0-) == (а^)”1. Как мы показали в раз-
деле 10 главы 7, эта проблема инвариантна относительно
нескольких групп, в число которых входит группа всех
невырожденных линейных преобразований р-мерного про-
странства. Кроме того, было установлено существование
РНМ инвариантного критерия. Инвариантным относи-
тельно этих групп является класс альтернатив
(17)
Здесь теорема 2 неприменима, и вопрос о том, будет ли
РНМ инвариантный критерий максимизировать минимум
мощности при альтернативах (17), остается открытым.
5. Наиболее строгие критерии
Одна из практических трудностей, связанных с кри-
териями, максимизирующими минимум мощности на клас-
се £1К, состоит в выборе подходящего QK. Если инфор-
мация, на основе которой можно было бы провести такой
выбор, отсутствует и если соображения инвариантности
не приводят к естественному определению, то часто ра-
зумное определение может быть получено в терминах мощ-
ности, достигаемой при различных альтернативах. Оги-
бающая функция мощности PJ, была определена в задаче
15 главы 6 формулой
0* (0) = sup рф (9), (18)
где обозначает мощность критерия ф и где супремум
берется по всем критериям проверки Н с уровнем а. Таким
образом, РХ(9) является максимальной мощностью, кото-
НАИБОЛЕЕ СТРОГИЕ КРИТЕРИИ
463
рая может быть достигнута при уровне а и альтернативе 0
(что супремум достигается, вытекает из теоремы 3 допол-
нения при очень слабых ограничениях). Если
51 = {0:ра(0)=Д}
И 01 6 02 С #д2 — две альтернативы, то 0Х можно
полагать более близкой, равноудаленной или более уда-
ленной от Я, чем 02, в соответствии с тем, будет ли Дх с, =
или >Д2.
С идеей измерения расстояния от альтернативы до Н
в терминах доступной информации мы уже сталкивались
ранее. Если, например, Хъ . . ., Хп образуют выборку
из N (В, tf2), т0 проблема проверки Н: 0 может рас-
сматриваться (см. раздел 2 главы 5) с альтернативами
измеренными как в абсолютных единицах, так и в о-еди-
ницах. Последний случай соответствует сделанному выше
предположению, так как из соображений инвариантности
(задача 15 главы 6) следует, что (g, о) постоянно на ли-
ниях g/a = const.
Фиксируя значение Д и принимая в качестве Q# класс
альтернатив 0, для которых Ра(6)>А, мы можем опреде?
лить критерий, который максимизирует минимум мощности
на Q#. Другая возможность, которая исключает необ-
ходимость выбора значения Д, состоит в том, что для лю-
бого критерия ф рассматривается разность (0) — РФ(0).
Эта разность показывает, насколько действительная мощ-
ность РФ(0) меньше, чем максимально достижимая. Крите-
рий, который минимизирует выражение
sup [Р* (0) — РФ (0)], (19)
£2—(О
называют наиболее строгим. Таким образом, критерий
является наиболее строгим, если он минимизирует ма-
ксимальную «нехватку» мощности.
Обозначим фд критерий, который максимизирует мини-
мальную мощность на и, следовательно, минимизирует
максимум разности между Р«(0) и ₽ф(0) на 5д. Если ока-
жется, что фд не зависит от Д, то фд будет наиболее стро-
гим. Это замечание делает возможным применение резуль-
татов предыдущего раздела к отысканию наиболее стро-
гих критериев. Допустим, что проблема проверки Я: 0 geo
464 ПРИНЦИП МИНИМАКСА [гл. 8
при альтернативах 0 g Й — со остается инвариантной
относительно группы G, что существует РНМ почти
инвариантный относительно G критерий ф0 и что выпол-
няются предположения теоремы 2. Так как р£(0) и, сле-
довательно, множество инвариантны относительно G
(задача 15 главы 6), то мы заключаем, что ф0 максимизи-
рует минимум мощности на при каждом А. Стало быть,
критерий фо — наиболее строгий.
Как пример применения метода, рассмотрим проб-
лему проверки Н: рп < 1 /2 при альтернативе
К: Pi> 1/2 при всех /, где р, — вероятность успеха в i-м
из последовательности п независимых испытаний. В зави-
симости от того, заканчивается i-e испытание успехом
или неудачей, Xt равно 1 или 0. В этом случае проблема
остается инвариантной по отношению к перестановкам
величин X, и РНМ инвариантный критерий имеет крити-
ческую область С (пример 7 главы 6). Из сделан-
ных выше замечаний мы выводим, что этот критерий —
наиболее строгий.
Другим примером служит общая одномерная линей-
ная гипотеза. В этом случае из рассуждений примера 8
вытекает, что стандартный критерий проверки Я: = ...
г
... = т|г == 0 или Я': 2 'HiM2 < 'Фо является наиболее
г=1
строгим.
Во многих задачах, к которым неприменимы сооб-
ражения инвариантности, наиболее строгие критерии
до сих пор не найдены. Ниже указывается один класс
задач, где эти критерии находятся непосредственно.
Пусть распределения X образуют однопараметрическое
экспоненциальное семейство с плотностями, определяе-
мыми формулой (12) главы 3. Рассмотрим гипотезу
Я:0 = 0О. Тогда, в соответствии с тем, будут ли 0 > 0О
или 0 < 0о, огибающая функция мощности р«(0) является
мощностью РНМ одностороннего критерия для про-
верки Я при альтернативах 0 > 0О или 0 < 0О. Предпо-
ложим, что существует двусторонний критерий ф0, зада-
ваемый формулой (3) главы 4 и такой, что
sup [0* (0) - рф0 (0)] = sup [0* (0) - 0фо (0)] (20)
6]
ЗАДАЧИ
465
и что супремум достигается в обеих частях равенства,
скажем, в точках 01 < 0О < 02. Если 0Фо (0f) = i = 1, 2,
то применение фундаментальной леммы (теорема 5 (III)
главы 3) к точкам 0Ь 02, 0© показывает, что среди всех
критериев <р с рф (0J > рх и рф (02) > р2 только <р0 Удов-
летворяет условию рф(0о)<а. Для любого другого кри-
терия уровня а имеем: или РФ(01) < Р1? или рф (02) < р2,
т. е. мы видим, что ф© является единственным наиболее
строгим критерием. Существование критерия, удовлетво-
ряющего (20), может быть выведено с помощью соображе-
ний непрерывности (по отношению к изменению констант
Ct и у^которые определяют границу критерия (3) главы 4)
из того факта, что для РНМ одностороннего критерия
при альтернативах 0 > 0О правая часть (20) равна нулю,
а левая положительна, в то время как для другого
одностороннего критерия имеет место обратное соотно-
шение.
6. Задачи
К разделу 1
1. Существование максиминных критериев. Пусть (^*, ^)—
евклидово пространство выборок и пусть распределения Ре, 0^0,
доминированы о-конечной мерой на («2^, «5^). Для любых взаимно
непересекающихся подмножеств Од, £ Q существует критерий
уровня а, максимизирующий (2).
[Пусть p = sup [inf £еф (X)], где верхняя грань берется по
всем критериям уровня а гипотезы Н: 0 £ Q#. Пусть фп— последо-
вательность критериев уровня а таких, что величина inf Eq^u (X)
стремится к р. Если фп—подпоследовательность и <р—критерий
(гарантированный теоремой 3 дополнения) такие, что ^©<рп (Т)
стремится к Е$у (X) для всех 0£Q, то ср является критерием
уровня а и inf £оф (ЛГ) = р.]
2. Локально наиболее мощные критерии. Обозначим d меру
расхождения между альтернативой 0 и данной гипотезой Н. Кри-
терий ф0 уровня а называется локально наиболее мощным (ЛНМ),
если для любого другого критерия ф уровня а существуют Д
такое, что
Рф0 (0) > Р<р (0) при всех 0 с 0 < d (0) < Д. (21)
30 э. Леман
466
ПРИНЦИП МИНИМАКСА
[гл. 8
Допустим, что 0 действительно и функция мощности каждого
критерия непрерывно дифференцируема в точке 0О.
(I) Тогда Л НМ критерий для проверки гипотезы Н: 0 = 0О
при альтернативе 0 > 0О существует и определяется тем, что среди
всех критериев уровня а для проверки Н он максимизирует р' (0О).
(II) Л НМ критерий локально максимизирует минимум мощ-
ности при условии, что его функция мощности «удалена» от а
для каждого множества альтернатив, которые «удалены» от Н.
(Ш) Пусть Х±, ..., Хп — выборка из распределения Коши
с неизвестным параметром сдвига 0, так что совместная плотность
п
Хь равна [J [1 + (^—-О)2]”1. Л НМ критерий для проверки
i=l
1
гипотезы 0 = 0 при альтернативе 0 >0, имеющий уровень а<—,
не является несмещенным и, следовательно, не максимизирует
локально минимум мощности.
[(Ill) Существует М столь большое, что любая точка с > М
для всех 1 = 1, ..., п лежит в области принятия Л НМ критерия.
Следовательно, мощность критерия стремится к нулю при 0, стре-
мящемся к бесконечности.]
3. Критерий ср0 называется Л НМ несмещенным, если он
является несмещенным и если для любого другого несмещенного
критерия <р уровня а существует А такое, что выполняется (21).
Предположим, что 0 дейстьительно и что функция мощности
каждого критерия дважды непрерывно дифференцируема в точке 0О.
Тогда ЛНМ несмещенный критерий урогня а для Н: 0=0О при
альтернативе 0 =£ 0О существует и определяется фактически тем,
что максимизирует Р" (0О) среди всех несмещенных критериев
уровня а для Н.
К разделу 2
4. Пусть распределение X зависит от параметров (0, 0) =
= (01, ...,0Г, -01, ...,0S). Критерий для Н: 0 = 0° называется
локально строго несмещенным, если для каждого 0 выполняется:
(а) рф(0°, 0) = а, (б) существует 0-окрестность точки 0°, в кото-
рой рф (0, 0) > а при 0 ф 00.
(I) Допустим, что первая и вторая производные
И’«>|8, - К/ «Х-йреуМ». «)|в.
существует при всех критических функциях ср и всех 0. Тогда,
для того чтобы критерий ср был локально строго несмещенным,
необходимо и достаточно, чтобы Рф(0) = О при всех г и 0 и мат-
рица (PqJ (0)) являлась положительно определенной при всех 0.
(II) Критерий для Н называется критерием типа Е (типа D,
если 5 = 0, так что не существует «мешающих» параметров),’ если
он является локально строго несмещенным и в классе всех кри-
6]
ЗАДАЧИ
467
териев с этим свойством максимизирует определитель |( р^) |.г(Этот
определитель при перечисленных условиях оказывается равным
гауссовской кривизне поверхности мощности в точке 0°.) Тогда
критерий ф0, заданный формулой (7) главы 7, для проверки общей
линейной одномерной гипотезы (3) главы 7 является критерием
типа Е.
[(II) В соответствии с задачей 5 главы 7 приО = (т)1, т|г)
и О (т)г+1, ..., Яз, а) критерий ф0 максимизирует поверхностный
интеграл
(Рф Ob а2) — <х] dA.
8
г
где З1 — •••» Tlr): в классе всех подобных (и,
1=1
следовательно, всех локально несмещенных) критериев. Полагая
q стремящимся к нулю и используя условия
Рф(^) = °» ^7^ = 0 при 1=#/, j (рог),
8 8
г
найдем, что ф0 максимизирует У 0™ (т|, о2) среди всех локаль-
г=1
но несмещенных критериев. Для любой положительно определен-
ной матрицы | (Рф7) | < р Из этого следует, что для любого
строго локально несмещенного *) критерия
|($)|<П₽Ф< [^]=1^г=к₽ф'в)и
5. Пусть Zi, —независимы и имеют одно и~то же не-
прерывное распределение D. о котором известно лишь, что оно
симметрично относительно некоторой (неизвестной) точки. Тогда
критерий знаков максимизирует минимум мощности, если прове-
ряется Н: D (0) = у при альтернативах Кл Р(0)<7^7<у^.
[Пара наименее благоприятных распределений приписывает
вероятность 1 соответственно распределениям F G£K
с плотностями
... 1—27 < 7 /ч /л о ч / 7
♦) В оригинале «Strictly locally unbiased». Уместно обратить
внимание читателя на то, что термин «строгий» (stringent) ранея
употребляется в ином смысле.—Прим, перев. \ .
30*
468
ПРИНЦИП МИНИМАКСА
[гл. 8
где для всех х, положительных, отрицательных и равных нулю,
[а?] обозначает наибольшее целое число <я\]
6. Пусть /в (х) = Qg (1 — 0) h (х) сО<0<1, Тогда /0 (х)
удовлетворяет предположениям леммы 1 при условии, что отно-
шение g (x)/h (х) является неубывающей функцией х.
7. Пусть х=(хъ ..., хп). Обозначим gQ (х, Н) семейство плот-
ностей вероятности, зависящих от 0— (0Ь 0Г) и действитель-
ного параметра £ и измеримых по совокупности х и При каж-
дом 0 обозначим Kq (g) плотность вероятности по отношению к
a-конечной мере v так, что существует pq (х)~ gQ (х, £) hQ (g) dv(g).
Мы будем говорить, что функция / двух аргументов и — (и1ч
и р = (v4, ..vs) не убывает по (и, р), если / (u', v)/f (и, v)
•</(и', v')/f (и, v') для всех (и, и), удовлетворяющих
О'- = ...» г; /=!,..., $)* Тогда pq(x)—неубывающая функ-
ция (а?, 0) при условии, что произведение gQ (х, g) hQ (g) обладает
следующими свойствами: (а) не убывает по (ж, 0) при каждом
фиксированном g; (б) не убывает по (0, g) при каждом фиксиро-
ванном х\ (в) не убывает по (х, g) при каждом фиксированном 0.
[Интерпретируя gQ (х, g) как условную плотность х при дан-
ном g и hQ © как априорную плотность £х, обозначим р (g)
апостериорную плотность g при данном х, и пусть р' © опреде-
ляется аналогично, с заменой 0 на 0'. Тогда то, что функция
Pq (х) является неубывающей по двум своим аргументам, экви-
валентно соотношению
В силу (а), достаточно доказать, что
Пусть 5_ = © р'©/р©<1}и £+ = © р' ©/р © > 1}. По (II)
множество S_ полностью лежит левее 6’+. Из (III) следует суще-
ствование а^Ъ таких, что
« J [Q' ©-Q ©1 dv © + & J
S- st
И, следовательно, что D = (b —а) [р' ©—'р ©] dv ©>0.J
S+
8. (I) Пусть X имеет биномиальное распределение Ь (р, п).
Рассмотрим проверку гипотезы Н: р = р$ при альтернативах
Ок** Ро/7о или При уровне а = 0,05 опреде-
лить наименьший размер выборки, для которого существует кри-
терий с мощностью >0,8 при альтернативах если ро = О,1;
0,2; 0,3; 0,4; 0,5.
ЗАДАЧИ
469
в]
(II) Пусть «Х\, ..., Хп независимы и распределены по закону
N (g, о2) и проверяется гипотеза а=1. Определить наимень-
ший размер выборки, для которого существует критерий с
уровнем а=0,05 и мощностью ^>0,9 при альтернативах о2 <-|-
и о2 >2.
[См. задачу 5 главы 4.]
9. Симметричное экспоненциальное распределение. Пусть
..., Хп — выборка из симметричного экспоненциального рас-
пределения с плотностью — е“1х-01. ЛНМ критерием для про-
верки и0<О против 0>О является критерий знаков.
[Докажем это для случая, когда уровень а представляется
т
в виде а= 2 т- е« когда критерий знаков уровня, а будет
ь=о
нерандомизированным. Обозначим R^ (к = 0, ..., п) подмножество
пространства выборок, в котором к величин X положительны
ип — к — отрицательны. Допустим, далее, что 0^.к<1<п и
выберем в Яд и Я/ подмножества б’д и Si соответственно такие,
что Ро (5д) = Р0 (5/)=£0. Тогда из рассмотрения Pq (Sk) и Pq (Si)
при малых 0 следует существование Д такого, что Pq (S^) <
<ZPq(Si) для О<0<Д. Допустим теперь, что область отклоне-
ния нерандомизированным критерием гипотезы 0 = 0 при кон-
курирующей гипотезе 0 > 0 не совпадает ни с одним из множеств,
для которых число положительных X больше константы. Тогда
этот критерий может быть превращен в критерий знаков того же
самого размера посредством конечного числа шагов, каждый из
которых состоит в замене б’д на Si с к < Z, и поэтому увеличи-
вает мощность при достаточно малых 0. Для рандомизированных
критериев аргументация та же. самая с фд, фг вместо бд, 6^.]
К разделу 4
10. Пусть Х=(Х1? ...,Хр) и У = (УЬ ...,Ур) независимы
и имеют одно и то же р-мерное нормальное распределение с ну-
левым средним и матрицами ковариаций Е (XiXj) = о^- и
Я (У1-Уу) = Дп^у.
(I ) Задача проверки Н\ Д До остается инвариантной отно-
сительно группы G преобразований Т* = ХЛ, У* = УЛ, где
А=^(ац) — любая невырожденная (р х р)-матрица с аг-; = 0 при
i >;, и существует РНМ инвариантный относительно G крите-
рий с областью отклонения Yf/Xf >> С.
(II ) Критерий с областью отклонения Yf/X% > С максимизи-
рует минимум мощности для проверки Д До при альтернативе
Д>Д1(Д0<А1).
[(H) Тот факт, что теорема Ханта — Стейна применима к G,
может быть доказан рассмотрением групп Gq преобразований
X' —aiXi+.. .+aiqXq(X'i = Xi для i = l, ..., q—1, g4-l, ..., py
470
ПРИНЦИП МИНИМАКСА
[гл. 8
последовательно для д=1, р — 1. Здесь aq #= 0, так как
^патрица А является невырожденной тогда и только тогда, когда
Фп #= 0 для всех г. Групповое произведение (уь . ..,yQ) двух
таких преобразований (аь . ..,ад) и (0Ъ . ..,0д) задается соот-
йошениями Yi = aiPQ + ₽i, у2 = «гРд Ч~ ₽2, • ••, Y<2-i = aq-iPq + P<j-i>
Уд = «д₽д, которые показывают, что Gq изоморфна группе измене-
ний масштаба (умножение всех компонент на Pg) и сдвигов
^сложение с (Р1; pq_lt 0)). Теперь результат следует из тео-
ремы Ханта—Стейна и примера 7, так как допущения теоремы
Ханта—Стейна, за исключением легко проверяемых условий
измеримости, связаны лишь с абстрактной структурой (<?, ^9),
а не частной реализацией элементов группы G как преобразова-
ний некоторого пространства.]
11. Допустим, что проблема проверки гипотезы 0 £ Qh при
альтернативе 0 £ остается инвариантной относительно С, что
существует РНМ почти инвариантный отн сительно G критерий ф0
и что выполняются предположения теоремы 2. Тогда <р0 макси-
мизирует inf \w (0) Еоф (X)-f-u (0)] при любых весовых функ-
днях w (0) > 0, и (0), инвариантных относительно G.
К разделу 5
12. Существование наиболее строгих критериев. В предположе-
ниях задачи 1 существует наиболее строгий критерий для про-
верки гипотезы 0 С &н при альтернативе 0 С Q — Йд.
13. Обозначим {Йд} класс взаимно непересекающихся мно-
жеств альтернатив такой, что огибающая функция мощности
постоянна на каждом Од и = Q —йд. Пусть фд макси-
мизирует минимум мощности на йд. Если фд = ф не зависит
от Д, то ф является наиболее строгим критерием для провер-
ки 0 £ Од.
14. Пусть (Z|, ..., Z1v) = (X<[, ..., ^i, •••> Уд) распре-
делены с совместной плотностью (56) главы 5. Рассмотрим про-
блему проверки Н: д=£ при конкурирующей гипотезе, что Х^
и Yj независимы и нормально распределены с общей дисперсией
а2 и средними Д =# £. Тогда критерий перестановок с областью
отклонения ] У—X1 > С [Т (Z)] (двусторонний вариант крите-
рия (55) главы 5) является наиболее строгим.
[Применить задачу 13 к случаю, когда каждое из множеств
Йд состоит из двух точек (£ь t|i, °) и (?2> Лг, а) таких, что
п & 5- । m А
т-\-п 1 Т^1 “’
о „ , п & ~ т А
Ёо — “1---!- 6, *П2 — £---i О
Ь2 ъ т-\-п 12 m-f-n
для некоторых J и б.]
7]
ЛИТЕРАТУРНЫЕ ССЫЛКИ
471
7. Литературные ссылки
Идеи и результаты раздела 1, по существу, содержатся
в развитой Вальдом для общих проблем решения
теории минимакса. Изложение этой теории и некоторых
ее применений дано в книге Вальда (1950). Материал
разделов 3—5, включая, в частности, лемму 2, теорему 2
и пример 8, составляет основную часть неопубликованной
работы Ханта и Стейна (1946).
Вальд (Wald А.)
(1942) On the principles of statistical inference, Notre Dame Math.
Lectures No. 1, Notre Dame, Ind. [Определение наиболее строгих
критериев.]
(1950) Statistical Decision Functions, New York, John Wiley
& Sons.
Вольфовиц (Wolfowitz J.)
(1949) The power of the classical tests associated with the
normal distribution, Ann. Math. Stat., vol. 20, 540—551. [Доказано,
что стандартные критерии для одномерной линейной гипотезы
и для проверки отсутствия множественной корреляции являются
наиболее строгими в классе всех подобных критериев, а также
обладают другими чертами оптимальности.]
Изаксон (Isaacson S. L.)
(1951) On the theory of unbiased tests of simple statistical
hypotheses specifying the values of two or more parameters,
Ann. Math. Stat., vol. 22, 217—234. [Вводятся критерии ти-
па D и E.]
Кифер (Kiefer J.)
(1958) On the nonrandomized optimality and randomized nonopti-
mality of symmetrical designs, Ann. Math. Stat., vol. 29, 675—699.
[Задача 4.]
Леман (Lehmann E. L.)
(1947) On families of admissible tests, Ann. Math. Stat., vol. 18,
97—104. [Последний пример раздела 5.]
(1950) Some principles of the theory of testing hypotheses, Ann.
Math. Stat., vol. 21, 1—26. [Теорема 1, задача 10.]
(1955) Ordered families of distributions, Ann. Math. Stat., vol.
26, 399—419. [Лемма 1, задачи 2,3 *), 8.]
ЛеманиСтейн (Lehmann E. L. and Stein C.)
(1949) On the theory of some nonparametric hypotheses, Ann.
Math. Stat., vol. 20, 28—45. [Задача 14.]
*) Задача 3 представляет собой исправленный вариант теоре-
мы 3 этой работы. Я благодарен Р. Блюменталю, обнаружившему
ошибку в этой теореме.
472 ПРИНЦИП МИНИМАКСА [гл. 8
Нейман (Neyman J.)
(1935) Sur la verification des hypotheses statistiques composees,
Bull. Soc. Math. France, vol. 63, 246—266. [Определяются критерии
типа В, т. е. критерии, являющиеся при наличии «мешающих» пара-
метров Л НМ в классе всех локально несмещенных критериев, а так-
же показано, как их получить.]
НейманиПирсон (Neyman J. and Pearson Е. S.)
(1936, 1938) Contributions to the theory of testing statistical
hypotheses, Stat. Res. Mem., vol. I, 1—37; vol. II, 25—57. [Обсуж-
даются критерии типа А, т. e. критерии, являющиеся ЛНМ в классе
всех локально несмещенных критериев при отсутствии «мешающих»
параметров.]
Р у и с т (R u i s t Е.)
(1954) Comparison of tests for nonparametric hypotheses, Arkiv
Mat., vol. 3, 133—163. [Задача 4.]
Хант и Стейн (Hunt G. and S t е i n C.)
(1946) Most stringent tests of statistical hypotheses. He опубли-
кована.
Шёнберг (Schoenberg I. J.)
(1951) On P6 lya frequency functions, I., J. Analyse Math., vol.
1,331—374. [Пример 1.]
ДОПОЛНЕНИЕ
1. Отношения эквивалентности; группы
Отношение х — у между точками пространства 37
называется отношением эквивалентности, если оно
рефлексивно, симметрично и транзитивно, т. е. если
(I) х — х для всех х£37,
(II) х—у влечет у~х,
(III) х— У, У — z влечет x~z.
Пример 1. Рассмотрим класс статистических решающих
процедур как пространство, точками которого являются отдель-
ные процедуры. Тогда отношение д'-д', если процедуры д и д'
имеют одну и ту же функцию риска, есть отношение эквивалент-
ности. В качестве другого примера рассмотрим на действитель-
ной прямой все функции с действительными значениями как
точки пространства. Тогда соотношение / ~ g, если f(x) = g(x)
почти всюду, будет отношением эквивалентности.
Пусть дано отношение эквивалентности; обозначим
Dx множество точек пространства, эквивалентных точке х.
Тогда Dx — Dy, если х~у, и Dx[\Dy — G в противном
случае. Так как по (I) каждая точка пространства при-
надлежит, по крайней мере, одному из множеств Dx,
то из этого следует, что множества Dx —классы эквива-
лентности, определенные отношением образуют раз-
биение пространства на части.
Множество G элементов называется группой, если
выполняются следующие условия.
(I) Определена операция — групповое умножение, ко-
торая любым двум элементам a, b£G ставит в соответ-
ствие элемент с £ G. Элемент с называется произведением
а и & и обозначается аЪ.
ДОПОЛНЕНИЕ
474
(И) Групповое умножение подчиняется ассоциатив-
ному закону
(ab)c~ а (Ьс).
(III) Существует элемент e£G, называемый единичным,
такой, что
ае = еа — а для всех а 6 G.
(IV) Для каждого элемента a g G существует ему
обратный элемент a"1 gG такой, что
аа"1 = а^а = е.
Можно показать, что как единичный элемент, так
и обратный любому элементу а определяются однозначно.
Пример 2. Множество всех (п х п)-ортогональных матриц
составляет группу, если матричное умножение и обращение матриц
принять соответственно за групповое умножение и обратную
операцию и если единичную матрицу принять за единичный эле-
мент группы. С тем же самым определением групповой операции
класс всех невырожденных (п х п)-матриц также образует группу.
С другой стороны, класс всех (п х п)-матриц не удовлетворяет
условию (IV).
Если элементы G являются отображениями некоторого
пространства на себя, причем групповое произведение
Ьа определяется как результат выполнения преобразо-
вания с помощью элемента а и последующего примене-
ния элемента Ь, то G называется группой преобразований.
В данном случае предположение (IV) удовлетворяется
автоматически. Для любой группы преобразований,
определенной на пространстве отношение между
точками
х~у, если существует элемент agG такой, что у = ах,
будет отношением эквивалентности.
Тот факт, что удовлетворяются условия эквивалент-
ности (I), (II) и (III), следует из формулировок (III),
(IV) и (I) (соответственно) свойств группы.
Пусть — любой класс взаимно однозначных отобра-
жений пространства и пусть G является классом всех
конечных произведений а^1 ... а*1 с
тп = 1, 2, ..., где каждый показатель равен +1 или —1
и где среди элементов а19 а2, ... могут быть равные.
Тогда легко проверяется, что G —группа и к тому же
наименьшая группа, содержащая
2] СХОДИМОСТЬ РАСПРЕДЕЛЕНИЙ 475
2. Сходимость распределений
Когда изучаются свойства сходимости функций, часто
удобней рассматривать класс функций как реализацию
абстрактного пространства F точек /, в котором опре-
делена сходимость последовательности к пределу /,
обозначаемая —» /.
Пример 3. Пусть р—мера на измеримом пространстве
(#*, J?).
(I) Обозначим 2F класс интегрируемых функций. Тогда fn
сходится к / в среднем, если *)
| /167р. —>0. (1)
(II) Пусть &—равномерно ограниченный класс измеримых
функций. Последовательность /п называют сходящейся к / слабо,
если
fnP dP —> fP dP (2)
для всех р-интегрируемых функций р.
(III) Пусть & является классом измеримых функций. Тогда
/п сходится к / поточечно, если
/п (х) —> / (*) P-почти всюду. (3)
Подмножество пространства F плотно в , если
для любого элемента /6 F существует последователь-
ность элементов из Fo, имеющая / своей предельной
точкой. Пространство F называется сепарабельным, если
существует счетное плотное подмножество Простран-
ство а такое, что каждая последовательность содержит
сходящуюся подпоследовательность, предельная точ-
ка которой принадлежит , называется компактом **).
*) Здесь и в следующих примерах предельная функция / не
единственна. Более определенно, если /п —> /, то fn —> g тогда
и только тогда, когда /=g p-почти всюду. Положив / ~ g при
/=g р,-почти всюду, мы можем получить однозначность, пере-
ходя к классам эквивалентности.
**) Термин компактность обычно употребляется для другого
понятия, которое в случае метрических пространств совпадает
с данным здесь. Поэтому для данного здесь понятия иногда
употребляют название последовательностная компактность. —
Прим, перев.
476
ДОПОЛНЕНИЕ
Пространство Ф является метрическим пространством,
если для каждой пары точек f, g^JF ^определено рас-
стояние о?(/, g)>0 такое, что
(I) d(f, g) = 0 тогда и только тогда, когда f = g\
(П) d(/,g) = rf(g,/);
(III) d(ft g)4-d(g, h)>d(j, h) для всех f,g,h.
Пространство псевдометрично, если (I) заменяется
на (/')d(/, /) = О для всех /Е Псевдометрическое
пространство может быть превращено в метрическое вве-
дением отношения эквивалентности/—g, еслий (/, g)=0.
Классы эквивалентности F,G, ... в этом случае обра-
зуют метрическое пространство по отношению к рас-
стоянию D(F, G) = d (f, g), где f^F, g£G.
В любом псевдометрическом пространстве естественно
определить сходимость, полагая если d (jn,
Пример 4. Пространство интегрируемых функций примера
3 (I) становится псевдометрическим пространством, если мы
положим
<Д/, $) = j I/—*1Ф-
Тогда определение сходимости для пространства с такой мет-
рикой совпадает с данным формулой (I).
Пример 5. Обозначим семейство распределений вероят-
ностей на , &). Тогда —метрическое пространство по отноше-
нию к метрике
d(P,Q)— sup | P(4)-QG4)|. (4)
A&&
Лемма 1. Каждое подмножество сепарабельного
псевдометрического пространства р сепарабельно.
Доказательство. Согласно предположению, су-
ществует плотное счетное подмножество {/п} простран-
ства . Пусть
и пусть Л —любое подмножество ф. Выберем один
элемент из каждого непустого пересечения
и обозначим полученное счетное множество элементов Ао.
Если а — любой элемент из Ло и т — любое положительное
число, то существует элемент fnm такой, что d (a, fnm) <
< i/m. Поэтому а Е Sm, пгп> пересечение A пт не пусто
2]
СХОДИМОСТЬ РАСПРЕДЕЛЕНИЙ
477
и существует элемент в Ао такой, что расстояние от а
до этого элемента < 2/т. Этим показано, что Ао плотно
в Л и что, следовательно, А сепарабельно.
Лемма 2. Последовательность интегрируемых функ-
ций fn сходится к / в среднем тогда и только тогда,
когда
/ndp —> / dp равномерно для А£&. (5)
А А
Доказательство. Очевидно, что (1) влечет (5),
так как для всех А£&
I /п dp — f dp I < j | fn — /1 dp.
A A
Обратно, пусть выполняется (5). Обозначим Ап и А'п
множества точек х, для которых fn (х) > / (х) и /п (х) < / (х)
соответственно. Тогда
Jj I/п-/1 dp= J (fn~f)dp — Jj (fn-f)dp. 0.
АП An
Лемма 3. Последовательность равномерно ограничен-
ных функций fn сходится к ограниченной функции f слабо
тогда и только тогда, когда
\^fnd\k—^ ^ / dp для всех А с р (А) < оо. (6)
А А
Доказательство. Условие (6) следует из слабой
сходимости, если в (2) взять в качестве функции Р
индикатор множества А, который интегрируем, если
НИХ оо. Обратно, из(6) следует, что (2) выполняется,
если р — любая простая функция s = ., где Аг таковы,
что р(Л^)<оо. Для любой интегрируемой функции р
по определению интеграла существует такая простая
функция s, для которой |р —s|dp< е/ЗМ, где М —
константа, ограничивающая |/[. Тогда мы имеем
I Jj
<| Jj /n(p-s)dp| + | J /(s-p)dp| + | J (/n —/)sdp.| .
478
ДОПОЛНЕНИЕ
Первые два слагаемых правой части неравенства меньше
каждого 8/3, а третье слагаемое стремится к нулю,
когда п стремится к бесконечности. Таким образом,
левая часть неравенства < 8 при п достаточно больших,
что и требовалось доказать.
Лемма 4*). Пусть f и fn, п — 1, 2, .. ., — неотри-
цательные интегрируемые функции и такие, что
/ dp = fn dp, = 1.
Тогда поточечная сходимость [п к f влечет сходимость
fn к f в среднем.
Доказательство. Если gn=^ fn —f, gn> — f и от-
рицательная часть gn = max ( — gn, 0) удовлетворяет
неравенству | gn| </. Так как gn (х) —> 0 (р,-почти всюду),
то из теоремы 1 (II) главы 2 следует, что gn — dp,—>0;
gndp, здесь также стремится к нулю, так как gn dji=O.
Поэтому | gn | dp, = (gn + gn) dp, —> 0, что и требовалось.
Пусть Р и Рп, п==1, 2, ..., —распределения вероят-
ностей на (^Г, <#) с плотностями р и рп по отношению
к мере ц. Рассмотрим определения сходимости
(а) Рп—>Р (н-почти всюду);
(6) $ |Рп-Р|dp->0;
(в) gPndp—* j gpdp для всех ограниченных изме-
римых g и
(б') Рп(А) —» Р(Л) равномерно для всех А С <#;
(в') Рп(А)—>Р{А) для всех А$&.
Тогда леммы 2 и 4 вместе с незначительно видоиз-
мененной леммой 3 показывают, что (а) влечет (б) и (б)
влечет (в); и что (б) эквивалентно (б'), а (в) эквивалент-
но (в'). Кроме того, можно показать, что ни (а) и (б),
ни (б) и (в) не эквивалентны**).
*) S с h е f f ё, A useful convergence theorem for probability dis-
tributions, Ann. Math. Stat., vol. 18 (1947), 434 — 438.
**) Robbins, Convergence of distributions, Ann. Math. Stat.,
vol. 19 (1948), 72—76.
3]
ДОМИНИРОВАННЫЕ СЕМЕЙСТВА РАСПРЕДЕЛЕНИЙ 479
3. Доминированные семейства распределений
Пусть е# —семейство мер, определенных на измери-
мом пространстве <#). Говорят, что о/И доминировано
о-конечной мерой р, определенной на <#), если каждый
элемент <М абсолютно непрерывен по отношению к р.
Семейство (М называется до минированным, если суще-
ствует a-конечная мера, которой оно доминировано. Дей-
ствительно, если М является доминированным, то всегда
существует конечная доминирующая мера. В самом деле,
допустим, что (М доминировано мерой р и что ^=^иАг
с р конечной для всех i. Если множества Аг взять
взаимно не пересекающимися, то мера v, определенная как
v (4) = Sp (Л П Д)/2*р (Л), также доминирует
и конечна.
Теорема 1*). Семейство & вероятностных мер на
евклидовом пространстве (Ж, &) доминировано тогда
и только тогда, когда оно сепарабельно по отношению
к метрике (4) или, что эквивалентно, по отношению
к сходимости
если
Рп(А)^Р(А)
равномерно для А£&.
Доказательство. Допустим сначала, что ?р се-
парабельно и что последовательность {Рп} плотна в ZP,
и пусть р = 2^п/2п. Тогда р(Л) = 0 влечет Z\(A) = O
для всех п, и следовательно, jP(A) = O для всех Р£ ZP,
Обратно, пусть fp доминировано мерой р, которая без
ограничения общности предполагается конечной. Тогда
мы должны показать, что множество интегрируемых функ-
ций dP/dp сепарабельно по отношению к сходимости,
определенной (5), или, согласно лемме 2, по отношению
к сходимости в среднем. Но, исходя из утверждения
леммы 1, достаточно доказать, что этим свойством обла-
дает класс А? всех р-интегрируемых функций /. Так
как по определению интеграла каждая интегрируемая
*) Berger, Remark on separable spaces of probability mea-
sures, Ann. Math. Stat., vol. 22 (1951), 119—120.
480
ДОПОЛНЕНИЕ
функция может быть аппроксимирована в среднем про-
стыми функциями, то достаточно доказать наше утвержде-
ние для случая, когда является классом всех простых
интегрируемых функций. Любая простая функция может
быть аппроксимирована в среднем простыми функциями
с рациональными значениями, так что достаточно пока-
зать сепарабельность класса функций 2^7^, где г ра-
циональны и А — борелевские множества с конечной
p-мерой (так как функции / интегрируемы). Наконец,
достаточно взять в качестве д? класс функций 1А инди-
каторов борелевских множеств с конечной мерой. Однако
любое такое множество. может быть аппроксимировано
конечными суммами непересекающихся прямоугольников
с рациональными концами. Множество всех таких сумм
счетно, поэтому рациональные линейные комбинации со-
ответствующих индикаторов образуют счетное плотное
подмножество д?.
Анализ доказательства показывает, что «евклидовость»
пространства (Я?, <#) была использована лишь для уста-
новления факта существования счетного числа множеств
А&Ф таких, что любому А$& с конечной мерой соот-
ветствует подпоследовательность с >р(А).
Это свойство выполняется, вообще, для любого с-поля
которое обладает счетным множеством образующих, т. е.
в котором существует счетное число множеств Bt та-
ких, что & является наименьшим о-полем, содержащим
все Bi*).
Отсюда следует, что теорема 1 выполняется для любо-
го a-поля с таким свойством. В статистических примене-
ниях такие п-поля встречаются в последовательном анали-
зе, где выборочное пространство SV есть сумма Ж = ЦЖ-
г
борелевских подмножеств /-мерного евклидова про-
странства. В этих проблемах — множество точек
(Xi, которые требуют ровно i наблюдений. Если
a-поле борелевских подмножеств то можно взять
в качестве # a-поле, порожденное &t, и так как каж-
дое обладает счетным множеством образующих, то &
также обладает им.
*) Доказательство дано, например, в книге: Халмош П.,
Теория меры, ИЛ, 1953 (теорема 2 раздела 40).
3] ДОМИНИРОВАННЫЕ СЕМЕЙСТВА РАСПРЕДЕЛЕНИЙ 481
Если & не обладает счетным множеством образующих,
то может быть сделано более слабое утверждение. Два
семейства мер и называются эквивалентными, если
равенство р(Л) = 0 для всех р£с< влечет v(4) = 0 для
всех и наоборот.
Теорема 2*). Семейство еР вероятностных мер до-
минироеано в-конечной мерой тогда и только тогда, ког-
да fp имеет счетное эквивалентное подмножество.
Доказат е л ь с т в о. Допустим сначала, что fp имеет
счетное эквивалентное подмножество {/\, Р2, . . *}. Тогда
доминировано мерой р = 1^Рп12п. Обратно, пусть !р
нировано cr-конечной мерой р, про которую, без ограни-
чения общности, можно предположить, что она конечна.
Пусть й—-класс всех вероятностных мер Q вида
где Рt С ?Р, все с положительны и = 1. Класс & также
доминируется мерой р, и мы обозначим q фиксирован-
ный вариант плотности dQ/dy..
Докажем эквивалентное теореме утверждение: сущест-
вует такое, что из (>о(^) = О следует Q (А) = О
для всех Q£@,.
Рассмотрим класс множеств С в для которых
существует Q 6 (£ такое, что q (х) > 0 p-почти всюду на С
и <?(С)>0.
Пусть p(Cf) стремится к supp(C), пусть qt(x) > О
почти всюду на Cf; обозначим Со сумму множеств Ct.
Тогда д* (х) = Zciqt^x) совпадает почти всюду с плот-
ностью вероятности Qo^^iQi, q* положительна почти
всюду на Со, так что С0Е^- Допустим теперь, что <2о(^)=:О.
Пусть Q—любой другой элемент й и пусть С—{х: q (х) > 0}.
Тогда (7о(4р|Со)=-О, поэтому р (А ПС0) = 0 и Q (А Р|Со) = О.
Точно так же и Q (A Q Со Q С) равно нулю. Наконец,
неравенство Q (A Q Со П С) > 0 привело бы к тому, что
р (Со U [А р Со П С*]) > Р (Со), а это противоречит равен-
ству p(C0) = supp(C), так как А П Со П С, а потому
и Со U [А П Со П С] принадлежат ГС.
*) Halmos and Savage, Application of the Radon — Ni-
kodym theorem to the theory of sufficient statistics, Ann. Math.
Stat., vol. 20 (1948), 225—241.
V4 31 Э. Леман
482
ДОПОЛНЕНИЕ
4. Теорема о слабой компактности
Следующая теорема создает основу для доказатель-
ства существования наиболее мощных критериев, наи-
более строгих критериев и т. д.
Теорема 3*) (Теорема о слабой компактности).
Пусть р — ^-конечная мера в евклидовом пространстве
или, более общим образом, в любом измеримом простран-
стве (ST, &), в котором & обладает счетным множест-
вом образующих. Тогда множество измеримых функций ф
с 0 с ср < 1 является компактом по отношению к слабой
сходимости, определяемой условием (2).
Доказательство. Возьмем любую последователь-
ность {фп}. Мы должны доказать существование под-
последовательности {фи{} и функции ф таких, что
С (*
lim \ фпгР^Ц = \ фрйр
J J
при всех интегрируемых р. Если р* — конечная мера,
эквивалентная р, то р* реинтегрируема тогда и только
тогда, когда p = (dp*/dp) р* р-интегрируема, и фрйр =
= фр* dp* при всех ф. Поэтому мы можем, без огра-
ничения общности, предположить, что р конечна. Пусть
{рп} — последовательность, плотная в классе функций р
по отношению к сходимости в среднем. Существование
такой последовательности гарантировано теоремой 1
с следующим за ней замечанием. Если
то последовательность Фп(р) ограничена при каждом р.
Можно выбрать подпоследовательность так, что
Фп^(Рт) сходится при каждом рт. Для этого применяем
следующий диагональный процесс. Рассмотрим сначала
последовательность чисел {ФП(Р1)}, которая обладает
*) Banach, Theorie des operations lineaires, Warszawa,
Fundusg Kultury Narodowej, 1932, 131.
4]
ТЕОРЕМА О СЛАБОЙ КОМПАКТНОСТИ
483
сходящейся подпоследовательностью ФП'(/>1), ФП;(Р1), •••
Следующая последовательность Фп'(рг)> Фп'СРг)» • ••
содержит сходящуюся подпоследовательность Фп„ (р2),
ФП"(Р2), ••• Продолжая этот процесс, положим И1==тг',
тг2 —п", Пз = п"', ... Тогда ni<n2<..., и последова-
тельность {Фн|} сходится при каждом рт.
Из неравенства
| (фпу-фм)Р^|<| J (фпу-фп<)Рт^| +2 j|p — pro|d(l
следует, что Фт(р) сходится при всех р. Обозначим ее
предел Ф(р) и определим функцию множества Ф* на
полагая
Ф*(4)=Ф(/Л).
Тогда Ф* неотрицательна и ограничена, так как при
всех А Ф*(Л)< р(Л). К тому же она счетно-аддитивна.
Действительно, пусть А = |J Ak, где Ak не пересекаются.
Тогда
Ф*(Л)~ПтФ*Ди А)
и
т
| фпг dp 2Ф*(^)|<| J Фпг^-З Ф*(ЛА)| +
IMk w fe=l
и Лк
ь=1
со
'Т* | фщ dp 2 Ф*(А)|.
оо
и Лк
k=m+l
Здесь второе слагаемое равно нулю в случае конечных
т
сумм А = (J Ah, в противном случае оно не превосхо-
k=zl
оо
дит величины 2g ( (J Лй), которая при т достаточно
k=m-H
большом может быть сделана произвольно малой. При
любом фиксированном т первое слагаемое стремится
к нулю, когда i стремится к бесконечности. Таким об-
разом, Ф* представляет собой конечную меру на (.2^, «#).
Она, кроме того, абсолютно непрерывна относительно
31*
.484
ДОПОЛНЕНИЕ.
меры р, так как р(Л) = 0 влечет Фш(/д) = 0 при всех i
и поэтому Ф (/А) =- Ф* (4) = 0. Мы можем теперь, при-
меняя теорему Радона — Никодима, получить
ф* (Л) = ф dp для всех Л,
А
где 0<ф<1. Тогда мы имеем
\ \ фс?р для всех Л,
А А
и слабая сходимость последовательности q)ni к ф следует
из леммы 3.
ИМЕННОЙ УКАЗАТЕЛЬ
Андерсен (Andersen S. L.) 235,
255
Андерсон (Anderson Т. W.) 212,
358, 407, 438, 440, 441
Анскомб (Anscombe F. J.) 432
Армсен (Armsen F.) 198
Арнольд (Arnold R. J.) 358
Банах (Banach S.) 482
Барнард (Barnard G.) 358, 359
Бартлетт (Bartlett М. S.) 169, 215,
441
Басу (Basu D.) 236
Бахадур (Bahadur R. R.) 38,
85, 87, 194
Беннет (Bennett В.) 247
Бергер (Berger А.) 445
Берксон (Berkson J.) 201
Бирнбаум (Birnbaum А.) 197,
206, 316
Бирнбаум (Birnbaum Z. W.) 170
Блекуэл (Blackwell D.) 28, 45,
110, 170, 173
Блюменталь (Blumenthal R.)
471
Бокс (Box G. Е. Р.) 235, 255,
441
Боукер (Bowker А. Н.) 442
Браун (Brown G.) 45
Вальд (Wald А.) 30, 32, 45, 122,
157, 170, 171, 215, 255, 358,
385, 424, 441, 471
Ван-дер-Варден (van der Waer-
• den В. L.) 45, 46, 326, 358
Вийсман (Wijsman К. A.) 144,
.442 .
Виленский (Wilenski H.) .216
Вилкоксон (Wilcoxon F.) 358
32 Э Леман
Вилсон (Wilson Е. В.) 169, 170
Волфовиц (Wolfowitz J.) 46, 157,
170, 171, 213, 255, 358, 471
Гаварэ (Gavarret J.) 169, 170
Гаусс (Gauss С. F.) 44, 169, 170
Гейен (Gayen А. К.) 228
Гербрах (Herbrach L. Н.) 441
Гири (Geary R. G.) 228
Гиршик (Girshick М. А.) 28, 45,
143, 170, 173, 215, 286
Голдберг (Goldberg Н.) 359
Госсет В. (Стыодент) (Gossett
W. S. (Student)) 286, 442
Гренандер (Grenander V.) 171
Гудман (Goodman L.) 200, 212
Гхош (Ghosh М. N.) 215
Даниеле (Daniels Н. Е.) 358, 359
ван Данциг (van Dantzig D.)
358
Данциг (Dantzig G. В.) 122, 171
Дарлинг (Darling D.) 328, 338
Дармуа (Darmois G.) 77
Дворецкий (Dvoretzky A.) 157,
171
Демпстер (Dempster A. P.)’41O
Джеймс (James A. T.) 456
Джефрис (Jeffreys H.) 169
Диксон (Dickson L. E.) 64
Дуб (Doob J. L.) 13, 38, 87
Дункан (Duncan D. B.) 376
Дуосс (Dwass M.) 255
Дынкин E. Б. 38
Дэвид (David F. N.) 215, 284
Дэвид (David H. T.) 341
Дюклер (Deuchler G.) 358
Зиппин (Zippin L.) 457
486
ИМЕННОЙ УКАЗАТЕЛЬ
Изаксон (Isaakson S. L.) 471
Ирвин (Irwin J. О.) 215
Иэйтс (Yates F.) 215, 360
Карлин (Karlin S.) 108, 171, 312
Кемпторн (Kempthorne О.) 385,
440, 441
Кендалл (Kendall М. G.) 45,
46, 354, 358, 359, 440, 441
Кифер (Kiefer J.) 47, 171, 385,
471
Кокрен (Cochran W. G.) 385,
440, 441
Кокс (Сох D. R.) 343
Кокс (Сох G.) 385
Колмогоров А. Н. 46, 87
Колоджейчик (Kolodziejcyk S.)
441
Коэн (Cohen L.) 168
Крамер (Cramer Н.) 45, 46, 184,
228, 417
Крускал (Kruskal W. Н.) 168,
200, 215, 341, 358, 359
Кудо (Kudo Н.) 47
Купмен (Koopman В. О.) 77
Лаплас (Laplace Р. S.) 44,. 46»
169, 171
Ле Кам (Le Cam L.) 30, 46, 153,
424
Лексис (Lexis W.) 169, 171
Либерман (Lieberman G.) 271
Линдли (Lindley D. V.) 39, 169
Литлвуд (Littlewood J. E.) 150
Лоэв (Loeve M.) 69, 87 88
Ляпунов A. 157
Мей (May J. M.) 376
Мейнланд (Mainland D.) 198
Мерингтон (Merrington M.) 271
Монтгомери (Montgomery D.) 457
Моран (Moran P. A. P.) 358, 359
Морган (Morgan W. A.) 286
Мостеллер (Mosteller F.) 157, 215
Нанди (Nandi H. K.) 216
Нейман (Neyman J.) 45, 46, 47,
169, 170, 171, 172, 201, 216,
247, 286, 441, 471, 472
фон Нейман (von Neumann J.) 45
Нётер (Noether G.) 255
Нивергельт (Nievergelt E.) 325
Ньюман (Newmann D.) 442
Ольмстед (Olmstead P. S.) 355
Патнайк (Patnaik P. B.) 415
Паулсон (Paulson E.) 286
Пейсаков (Peisakoff M.) 47
Пирсон (Pearson K.) 44, 169
172, 231, 442
Пирсон (Pearson E. S.) 47, 169,
172, 216, 271, 366, 441, 472
Питмен (Pitman E. J. G.) 47,
77, 286, 357, 359
Пойя (Polya G.) 143, 150
Пшиборовский (Przyborowski J.)
216
Путтер (Putter J.) 216
Pao (Rao C. R.) 374, 375, 440
442
Раштон (Rushton S.) 359
Резников (Resnikoff G.) 271
Роббинс (Robbins H.) 478
Робинсон (Robinson J.) 143, 148
Рубин (Rubin H.) 171
Руист (Ruist E.) 472
Сакс (Saks S.) 87, 88
Сандрум (Sundrum R. M.) 358,
359
Свед (Swed F.) 213
Свердруп (Sverdrup E.) 216
Серпинский (Sierpinski W.) 450
Симаик (Simaika J. B.) 442
Смирнов H. B. 328
Смит (Smith G. A. B.) 217
Собел (Sobel M.) 88, 173
Стейн (Stein C.) 48, 140, 144,
171, 172, 286, 314, 316, 357,
359, 360, 442, 443, 461, 471, 472
Стьюдент (В. Госсет) (Student
(W. S. Gosset)) 286, 442
Сукхатм (Sukhatme P. V.) 359
Сэвидж (Savage I. R.) 326, 358,
359
Сэвидж (Savage L. J.)28, 45, 47,
88, 215, 481
Сюй (Hsu С. T.) 286
Сюй (Hsu P. L.) 359, 441, 442
Сютклифф (Sutcliffe M. I.) 198
ИМЕННОЙ УКАЗАТЕЛЬ
487
Тейкроу (Teichroew D.) 322
Терри (Terry М.) 360
Токер (Tocher К. D.) 216
Томпсон (Thompson W. R.) 172
Тьюки (Tukey J.) 35, 157, 170,
171, 228, 355, 360, 376, 383
432
Тэнг (Tang Р. С.) 442
Уайтфилд (Whitfield J. W.) 358,
359
Уилкс (Wilks S. S.) 45, 47, 358,
360
Уоллес (Wallace D.) 228, 314
Уоллис (Wallis W. А.) 206
Уолш (Walsh J.) 216, 360
Уоркинг (Working Н.) 169, 172
Уэлч (Welch В. L.) 314
Феллер (Feller W.) 13, 167,217
Фикс (Fix Е.) 214, 247, 415, 423
Фишер (Fisher R. А.) 45, 47,
170, 172, 215, 217, 286, 360,
440, 443
Фокс (Fox М.) 366
Фрезер (Fraser D. A. S.) 172,
217, 255, 270, 357, 360
Фримен (Freeman М. F.) 432
Фурье (Fourier J. В. J.) 169, 173
Халмош (Halmos Р.) 87, 88, 157’
301, 457, 480, 481
Хант (Hunt G.) 48, 357, 360,
443, 471, 472
Харди (Hardy G. Н.) 150
Хартли (Hartley Н. О.) 366, 443
Хельмерт (Helmert F. R.) 287
Хемельрийк (Hemelrijk J.) 358,
360
Херрера (Herrera L.) 198
Хёфдинг (Hoeffding W.) 255,
354, 360
Хобсон (Hobson Е. W.) 262
Ходжес (Hodges J. L., Jr.) 48,
113, 214, 227, 326, 328, 366,
415, 423
Холдейн (Haldane J. В. S.)
217
Хопф (Hopf Е.) 360
Хотеллинг (Hotelling Н.) 48,
169, 171, 173, 357, 443
Хоул (Hoel Р. G.) 217
Цзао (Tsao С. К.) 360
Чепмэн (Chapman D. G.) 170,
287, 338
Чернов (Chernoff Н.) 173, 314,
326, 426
Чубер (Czuber Е.) 44, 48
Шеффе (Scheffe Н.) 35, 38, 173,
193, 216, 217, 241, 358, 360,
376, 440, 443, 478
Шёнберг (Schoenberg I. J.) 472
Шметтерер (Schmetterer L.) 45,
48
Эджворт (Edgeworth F. Y.) 48,
169, 173
Эйзенхарт (Eisenhart С.) 213,
432, 443
Эльфвинг (Elfving G.) 85
Эпстейн (Epstein В.) 88, 173,
360
Эренфельд (Ehrenfeld S.) 385
Эрроу (Arrow К. J.) 170, 173
Эспин (Aspin А.) 314
32*
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ *)
Абсолютная непрерывность 56
Аддитивность эффектов 377; —,
критерий 383; — в модели II
392
Анализ ковариаций 391, 441
А рксинуса преобразование для
биномиального распределения
432, 441
Байесовский риск 27
Байесовское решение 27, 40, 42;
— ограниченное 28; — для
последовательных проблем с
двумя решениями 149
Бартлета критерий для ра-
венства дисперсий 375
Берэнса — Фишера проблема 232,
313, 358, 360
Бета-распределение 231; —,
связь с /^-распределением 231;
— при исследовании отноше-
ний дисперсий 230, 273; ~
как распределение порядко-
вых статистик 349; — в задаче
проверки линейных гипотез
366; — нецентральное 366,
427
Биизмеримое преобразование 291
Биномиальная вероятностная
бумага 157
Биномиальное распределение 13;
—, достаточные статистики 33,
44; — как экспоненциальное
семейство 103; ~, полнота
182; — в задаче о сравнении
двух пуассоновских распреде-
лений 195; преобразова-
ние арксинуса 432, 441. См.
также Полиномиальное рас-
пределение; Отрицательно-би-
номиальное распределение
Биномиальные вероятности; ~
односторонний критерий 103,
157, 204, 341; доверитель-
ные границы 118, 160;
последовательный критерий
отношения вероятностей 143,
148,166,341; —, двусторонний
критерий 162, 178, 202, 207;
сравнение двух 165, 197,
212, 277; сравнение не-
скольких 375. См. также Таб-
лица сопряженности призна-
ков; Медиана; Парные срав-
нения; Выборочный контроль;
Критерий знаков
Биологические испытания 214
Борелевские множества 50
Вальда тождество 148, 167
Ван-дер-Вардена критерий 325
Взаимодействия (interactions)
382; критерий отсутствия
383; —, ~ в смешанных моде-
лях 412
Вилкоксона критерий; дву-
выборочный 214, 322, 325,
346, 350; —, относительная
асимптотическая эффектив-
ность 326; одновыборочный
329, 352; —, доверительные
интегралы 350
Вилкоксона статистика; таб-
лица распределения 214; —,
♦) Знак — заменяет группу слов, выделенных курсивом.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
489
математическое ожидание и
дисперсия 347; —, симметрия
350
Время ожидания см. Показа-
тельное распределение; Пуас-
сона процесс
Выборка 14; ~ расслоенная
(stratified sample) 248
Выборочная функция распре-
деления 328, 336
Выборочное пространство 53;
— для последовательного
анализа 480
Выборочный контроль*, ** по
качественному признаку 102,
301, 341; — по количественно-
му признаку 134, 301; —, сте-
пень строгости (stringency) 113;
— при сравнении двух пар-
тий изделий 202, 304; —,
сравнение двух методов 341
Гарантированная мощность*, ~
в последовательных критери-
ях отношений вероятностей
145; —, достижимая с по-
мощью последовательных про-
цедур 193, 196; — при мини-
мальном объеме выборки 445
Гипергеометрическое распреде-
ление 102; равномерно
наиболее мощный (РНМ) од-
носторонний критерий для
проверки среднего 103; ~
в задаче сравнения двух би-
номиальных вероятностей 198;
— и проверка независимости
в 2 X 2 таблице 201
«Гнездовая'» (nested) классифика-
ция 396, 434
Группа 473; —« конечная 42,
455, 456; ~ свободная 42;
~ перестановок 281; ~ сдви-
гов 292, 459; — транзитивная
293; ~ ортогональная 293,
456, 474; ~ полная линейная
461
Двойная классификация (two-way
classification)*, ~ с одним на-
блюдением в клетке 377; —,
доверительные интервалы 380;
— с несколькими наблюдения-
ми в клетке 381; —, сме-
шанная модель 399, 412.
См. также Взаимодействия;
«Гнездовая» классифика-
ция.
Двумерное нормальное распре-
деление 266; —, доверительные
границы 356; критерий для
него 343; **, критерий неза-
висимости 267; —, критерий
отношения дисперсий 282; —,
критерий равенства средних
282; —, распределение коэф-
фициента корреляции 282,283;
—, совместное распределение
вторых моментов 284. См. так-
же Многомерное нормальное
распределение.
Двухстепенная (two-stage) про-
цедура Стейна 275
Декартово произведение мно-
жеств 56
ДисперсионныйЛанализ 373, 440;
~~ при одинарной классифи-
кации 373; ~ при двойной
классификации 379, 383;
рандомизация 385; ~, раз-
личные модели 391; — в мо-
дели II 399. См. также Линей-
ные гипотезы (одномерные).
Доверительные множества 16,
115, 119, 236; —, равномерно
наиболее точные (most accura-
te) 114, 160; —, связь с кри-
териями 115, 117, 236; — пу-
стые 119, 395; связь с ме-
дианно несмещенными оцен-
ками 121, 238; — равномерно
наиболее точные, несмещенные
240; —, не являющиеся ин-
тервалами 247; — равномерно
наиболее точные инвариант-
ные 333; 355
Доверительный коэффициент
114, 237
Доверительный уровень 114
Даминированное (dominated) се-
мейство распределений 73,
479
490
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Допустимость (admissibility) 31;
** несмещенных и инвариант-
ных процедур 43; — РНМ
несмещенных критериев 206;
— РНМ инвариантных крите-
риев 315; ~ критериев t и Т2
316; — локальная 315; — кри-
териев отношения правдоподо-
бия 316, 345
Достаточная статистика 33,
72; критерий факторизации
34, 44, 75; —, определение в
терминах апостериорного рас-
пределения 37; минималь-
ная 37, 44; —, отношение
правдоподобия 84; — попар-
ная 84; —, связь с вполне
информирующей статистикой
157; — при наличии мешаю-
щих параметров 165; —, не-
зависимость от нее 220; — и
инвариантность 343;
асимптотически 424
Достаточный Эксперимент 111
Евклидово пространство 67
Естественное параметрическое
пространство экспоненциаль-
ного семейства 777
Зависимость (связь, dependence)",
~ положительная 112, 200,
268, 285, 318; — меры 200
Задача сравнения двух выборок
(two-sample problem), непара-
метрическая; критерий пе-
рестановок 248, 254; до-
верительные интервалы для
сдвига 278, 350; ранговый
критерий при односторонних
и двусторонних альтернативах
317, 321, 328; ранговый
критерий при общих альтерна-
тивах 327, 353
Задача сравнения двух выборок,
параметрическая см. Бино-
миальное распределение; По-
казательное распределение;
Нормальное распределение;
Пуассоновское распределе-
ние
Задача сравнения нескольких вы-
борок (k-sample problem) см.
Однородности критерий
«Иерархическая'» (hiera rchical)
классификация 396, 434
Измеримое", пространство 50;
— множество 50; — отобра-
жение 52
Инвариантная мера 308, 455; —
на ортогональной группе 456
Инвариантность", — решающих
процедур 23, 40, 41, 43, 47; —,
связь с несмещенностью 40,
310; связь с принципом
минимакса 41, 453, 457; —
критерия 291; — меры, 308,
455; — функций мощности
309; — доверительных мно-
жеств 331, 336, 355, 357; —,
связь с достаточностью 343,
346; — отношения правдопо-
добия 345; —, предостереже-
ние против неоправданного
употребления 375. См. также
Почти инвариантность
Индикатор 55
Интегрируемая функция 54
Испытания на продолжитель-
ность жизни (life-testing) 85,
173. См. также Показательное
распределение; Пуассоновский
процесс
Каноническая форма", для
одномерной линейной гипоте-
зы 361, 369; — для «гнездовой
классификации в модели II
396, 434, —для многомерной
линейной гипотезы 403
Качественные признаки (attri-
butes)", выборочный кон-
троль по ним 102, 301;
парные сравнения 297, 451
Кендалла 2-статистика 354
Классификация «по подчинен-
ности» см. «Гнездовая» клас-
сификация
Классы Эквивалентности 473
Колмогорова критерий согласия
338
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
491
Комбинация критериев 206
Компакт 475
Компоненты дисперсии 399
Коши распределение 109, 451,466
Коэффициент внутригрупповой
корреляции (intraclass correla-
tion coefficient 434
Коэффициент корреляции] — в
двумерном нормальном рас-
пределении 284, 343, 356; —
ранговый 354; — внутригруп-
повой корреляции 434; мно-
жественный 438
Крамера — Мизеса критерий
328, 338
Критерии с неймановской
структурой 181, 185
Критерий 89; — рандомизиро-
ванный 92, 118; — равно-
мерно наиболее мощный (РНМ)
93; — типа Л, 172, 472; —
типа 172; — несмещенный
174; — подобный 175, 181;
— строго несмещенный 178;
— типа В 216, 471; — типа
216; — локально наиболее
мощный (Л НМ) 216, 465; —
инвариантный 291; — почти
инвариантный 305; — мак-
симинный 445; — локально
максиминный 448; — наиболее
строгий 463, 470; — типов D
и Е 466
Критерий знаков (sign test) 135;
— при проверке того, какой
из товаров предпочитают 202;
—, трактовка «ничьих» 203;
— при отыскании центра сим-
метрии 205,467; —при попа-
рных сравнениях 298; — при
проверке гипотезы симметрии'
330; — при проверке гипотез
о симметричном показатель-
ном распределении 469. См.
также Биномиальные вероят-
ности; Медиана; Выборочный
контроль
Критерий отношения правдо-
подобия 30, 42, 47; —, инва-
риантность 345; —, пример,
когда не является допустимым
345; —, теория, основанная
на больших выборках 423.
424, 440
Критерий перестановок 248,
281; — наиболее мощный, при
непараметрических гипотезах
248, 268; —, аппроксимация
стандартными нормальными
критериями 255, 270; — наи-
более мощный, при рандоми-
зации 260; —, доверительные
интервалы, основанные на нем
278; — наиболее строгий 470
Критерий суммы рангов 214,
215. См. также Вилкоксона
критерий
Критерий Т2] —, допустимость
316; — как РНМ инвариант-
ный критерий 409; —, маю
симинное свойство как откры-
тый вопрос 462
Критерий X2 414, 418, 440, 441
Критическая область 90
Критическая функция 92
Критический уровень 91, 158,
206
Лапласа распределение см. Сим-
метричное показательное рас-
пределение
Латинский квадрат 385, 433
Лебега теорема сходимости 55 .
Линейная гипотеза многомерная
401; —, каноническая форма
403; —, редукция с учетом
инвариантности 404, 435; —,
свойство критерия 409, 462;
—, обобщение 410; —, крите-
рий отношения правдоподобия
409; — с известной матрицей
ковариаций 415. См. также
Многомерное нормальное рас-
пределение; Критерий Т2.
Линейная гипотеза одномерная
361; —, каноническая форма
362; —, оптимальные свойства
критерия 366, 427, 460, 464,
* 467; —, мощность критерия
466; —, обобщение 369, 429;
—, доверительные множества,
связанные с ней 380, 430;
492
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
критерий перестановок 385;
— при известной дисперсии
431. См. также Дисперсионный
анализ; Смешанная модель;
Модель II; Одинарная клас-
сификация; Регрессия; Двой-
ная классификация
Логарифмическое преобразование
374, 441
Логистическое распределение 322,
324, 350, 450
Локальные оптимальные свойства
критериев 216, 448, 465, 472
Максимальное правдоподобие 30,
42, 423, 440
Максимальный инвариант 291;
—, отыскание в несколько
этапов 294
Максиминный критерий 445;
— локальный 448, 465; —,
связь с инвариантностью 453;
—, существование 465
Максимум F-отношений 377
Маркова цепь 212
Масштабный параметр (scale
parameter); —, устранение с
использованием инвариантно-
сти 339; —, критерий 359, 450
Математическое ожидание 55;
— условное 62, 65, 68
Медиана; —, доверительные гра-
ницы 164, 172; критерий
217, 360
Мера зависимости признаков
200, 355
Мера зависимости Юла 200
Мера Лебега 51
Мера Хаара 308, 457
Метод сходных пар (matched
pairs) см. Попарные сравнения
Метрическое пространство 476
Минимальная достаточная ста-
тистика 37, 44, 87
Минимальный полный класс ре-
шающих процедур 31
Многомерная линейная гипотеза
см. Линейная гипотеза много-
мерная
Многомерное нормальное распре-
деление 401; —, проверка ги-
потез о векторе средних зна-
чений 409; —, проверка ра-
венства векторов средних зна-
чений в двух 410; — как предел
полиномиальных распределе-
ний 417; —, проверка гипоте-
зы о независимости двух групп
компонент 438. См. также
Двумерное нормальное рас-
пределение
Многомерный анализ 440. См.
также Линейная гипотеза мно-
гомерная; Множественный ко-
эффициент корреляции
Множественный коэффициент
корреляции 438; —, распре-
деление 438; —, оптимальный
критерий 438, 442, 471
Модель I в дисперсионном анали-
зе 391
Модель II в дисперсионном анали-
зе 391, 396, 434
Монотонное отношение правдо-
подобия 100; — в случае гипер-
геометрического распределе-
ния 102; —, следствие 108; —,
условия его существования
158; в случае нецентрального
^-распределения 303; — в слу-
чае распределения коэф-
фициента корреляции 344;
— — нецентральных %2- и
/’-распределений 427; —, кри-
терии, основанные на выборках
из распределений 449; — в
случае семейства распределе-
ний с параметром сдвига
450
Монотонный класс множеств 81
Мощность критерия. 90
Наиболее строгий (stringent) кри-
терий 325, 462, 470
Наименее благоприятное (favo-
rable) распределение 32, 131,
446
Наименьших квадратов метод
367
Независимость 57; —, критерий
в таблице сопряженности при-
знаков 111, 198, 440,— стати-
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
493
стики от полной достаточной
статистики 220; критерий
в двумерном нормальном рас-
пределении 266, 343; не-
параметрическая гипотеза 268,
318, 320; непараметриче-
ский критерий 354
Неопределенные множители 127
Непараметрические критерии;
обзор 357; —, библиогра-
фия 359; См. также Критерий
перестановок; Ранговый кри-
терий; Критерий знаков
Несмещенность; ~ решающих
процедур 25;. — критериев
25, 174; — доверительных
множеств 25, 238; ~ точечных
оценок 26, 39, 193; ~ медиан-
ная 39, 121; —, связь с ин-
вариантностью 40, 310; —,
связь с принципом минимакса
41, 453; связь с понятием
подобия 175; — строгая
(strict) 178
Нецентральное; f-распределе-
ние 226, 270, 302, 341; - F-
распределение 366, 401, 415,
427; ^-распределение 415,
426, 431; ~ бета-распределе-
ние 366, 427
«Ничьи'» в критерии знаков 203
Нормальная подгруппа 339
Нормальное распределение 14; —,
достаточные статистики 36
Нормальное распределение, две
выборки; —, проверка равен-
ства средних при равных дис-
персиях 165, 232, 254, 287,
304, 370; —, проверка равен-
ства дисперсий 166, 229, 235,
273, 310, 340; —, проверка
равенства средних при нерав-
ных дисперсиях 232, 313;
доверительные интервалы для
разности средних значений
240; —, доверительные интер-
валы для отношения диспер-
сий 241, 355; критерий
перестановок для разности
средних значений 254, 266,
470; —, сравнение полной
рандомизации с методом сход-
ных пар 280. См. также Бе-
рэнса — Фишера проблема;
Однородности критерий; Стью-
дента ^-распределение
Нормальное распределение, дис-
персия; —, оптимальный кри-
терий 137, 180, 224, 227, 296,
452, 469; —, доверительные
интервалы 240, 355; —, после-
довательный критерий 272
Нормальное распределение сред-
нее; отсутствие РНМ кри-
терия 140; критерий, ос-
нованный на выборке случай-
ного объема 168; опти-
мальный критерий 225, 272,
302, 312, 343, 370; устой-
чивость критериев 228; —,
доверительные интервалы 237,
335; медианно несмещен-
ная оценка 238; отсутствие
критерия с контролируемой
мощностью 270; довери-
тельные интервалы фиксиро-
ванной длины 276; —, критерии
с контролируемой мощностью
277; критерий и довери-
тельные границы для отно-
шения к стандарту 303, 312,
341, 356; —, последовательный
критерий. См. также Попар-
ные сравнения; Критерий пе-
рестановок; Стьюдента f-рас-
пред ел ение; Симметрия
Обратный выбор; ~ для бино-
миальных испытаний 104; —
для распределения Пуассо-
на 104
Огибающая (envelope) функция
мощности 345, 462
Ограниченная полнота (bounded
completeness) 185; ~ и отсут-
ствие полноты 208. См. также
Полнота
Одинарная классификация 371;
~ в модели II 391
Однородности критерий; — для
пуассоновских распределений
217, 375; — для нормальных
494
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
распределений 370, 371; —
для биномиальных распреде-
лений 375
Отношения эквивалентности 473
Отрицательно-биномиальное
распределение 38, 104
Оценка медианно-несмещенная
39; —, связь с доверительны-
ми границами 121, 236; —,
примеры 238, 241
Оценки см. Доверительные мно-
жества; Максимальное прав-
доподобие; Оценка медианно-
несмещенная; Несмещенность
Ошибки первого и второго рода 90
Параметр сдвига (location para-
meter)'^ —, устранение с ис-
пользованием инвариантности
296, 340; критерий 359, 450
Планирование экспериментов 18,
201, 385, 471. См. также Срав-
нение экспериментов
Плотность вероятности 56; ,
теорема сходимости 478
Подобный критерий 175, 181; —,
связь с несмещенностью 175;
характеристика 185
Пойа распределение 108, 162, 171
Показательное распределение
38; —, связь с процессом
Пуассона 38, 104, 197; —,
достаточные статистики 44;
порядковые статистики
выборки 86; —, доверитель-
ные границы и критерии для
параметра сдвига и масштаб-
ного параметра 117, 156, 273,
277, 286; задача сравне-
ния двух выборок 340, 360.
См. также испытания на про-
должительность жизни
Полиномиальное распределение
76; — как условное распреде-
ление 85; — в задаче оценки
вкусов потребителя 202; —
и Х2-критерий 416; —, предель-
ное распределение 416; ,
оценки максимального прав-
доподобия для параметров
44Q
Полнота (completeness); се-
мейства распределений 181;
— биномиальных распределе-
ний 182, 208; ~ экспоненци-
альных семейств 183; — по-
рядковых статистик 184, 209;
связь с ограниченной пол-
нотой 185, 208
Полный класс; — решающих
процедур 31; —, связь с доста-
точностью 85; ~ односторон-
них критериев 105; — дву-
сторонних критериев 208
Положительная связь см. За-
висимость
Попарная достаточность 84
Попарные сравнения (paired com-
parisons); —, теория для нор-
мально распределенных вели-
чин и критерии перестановок
259, 280; обобщение 260;
сравнение с методом пол-
ной рандомизации 280; —
по качественному признаку
297, 451; ранговые крите-
рии 317, 328
Пополнение (completion) меры 51
Порядковые статистики 64; —,
эквивалентность суммам сте-
пеней 64; — как достаточная
статистика 84; полнота 184,
209; — в критериях переста-
новок 249; ~ как максималь-
ный инвариант 293; —, мате-
матические ожидания 322;
распределение 349
Последовательные процедуры; —,
их преимущества 19; — с га-
рантированной мощностью
193; — для сравнения двух
пуассоновских распределений
196. См. также Обратный вы-
бор; Двухстепенная процедура
Стейна.
Последовательный критерий от-
ношений вероятностей 140,
143; функция мощности
145, 147, 166; —, объем выбор-
ки 147, 166; —, оптимальные
свойства 149; — для сравнения
двух биномиальных распреде-
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
495
лений 212; — для сравнения
двух дисперсий 272
Последовательный t-критерий
341
Почти всюду 56, 181
Почти инвариантность', — ре-
шающих процедур 40; — кри-
териев 305; —, связь с инва-
риантностью 305, 344; —,
связь с инвариантностью функ-
ции мощности 309; —, соотно-
шение между почти инвариант-
ностью и несмещенностью 310;
— отношения правдоподобия
345; — множеств 346; —,
связь с максиминными кри-
териями 453
Правдоподобия функция 39
Преобразование', — интегралов
60; —вероятностное интеграль-
ное 324; —, стабилизирующее
дисперсию 374, 441; — лога-
рифмическое 374; — арксину-
са 432; — квадратного корня
432
Преобразование с помощью функ-
ции распределения (probability
integral transformation) (пере-
водящее произвольную слу-
чайную величину в равномерно
распределенную) 324
Приемочный контроль см. Вы-
борочный контроль
Принцип минимакса 26, 32; —,
связь с несмещенностью 41,
448; —, связь с инвариант-
ностью 41, 453; — при проверке
гипотез 446. См. также Мак-
симинный критерий
Проблема с тремя решениями 194
Произведение мер 57
Простая гипотеза 94
Простая функция 54
Пространство решений (decision
space) 12
Процедура отбора 161, 170
Процедуры со многими решения-
ми (multiple decision procedu-
res) 15; — для расположения
по величине средних значений
рли дисперсий нормальных
совокупностей 376, 377. См.
также Проблема с тремя ре-
шениями
Прямое произведение множеств
56
Прямоугольное распределение см.
Равномерное распределение
Пуассона процесс 13; —, распре-
деление времени ожидания 38;
—, критерий для масштабного
параметра 105, 158; —, срав-
нение экспериментов 113, 158;
—, доверительные границы
для масштабного параметра
117; —, сравнение двух про-
цессов 195. См. также Показа-
тельное распределение
Пуассона распределение 13; —,
достаточные статистики 35; —
как распределение суммы пу-
ассоновских величин 85; —,
односторонний критерий для
среднего значения 104, 158;
—, гипотезы о сумме парамет-
ров 163; —, сравнение несколь-
ких выборок 217, 375; —, до-
верительные интервалы для
отношения средних значений
двух распределений 244; —,
преобразование квадратного
корня 432
Равномерно наиболее мощный
(РНМ) см. Критерий
Равномерное распределение ,
оценка среднего значения 19;
—, достаточные статистики 36,
44, 208; —, критерий для
масштабного параметра 156;
—, полнота 182, 208; — кри-
тического уровня 206; —,
порядковые статистики 349;
—, проверка равномерности
распределения 418, 421
Радона — Никодима производ-
ная 56; —, свойства 81
Радона—Никодима теорема 56
Размер (size) критерия 90
Ранги 294; — как максимальный
инвариант 294, 319; —, рас-
пределение 321, 352, 353
496
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Ранговый коэффициент корре-
ляции 354
Ранговый критерий', *— в задаче
сравнения двух выборок 324,
346, 347, 351; — для гипоте-
зы симметрии 328, 352; — для
гипотезы случайности 353;
для гипотезы независимости
354
Рандомизация*, — с целью по-
низить максимум риска 41; —,
возможность отказа 157;
как основа для статистических
выводов 255; ~, связь с кри-
терием перестановок 257
Рандомизированные', — решаю-
щие процедуры 18; — инва-
риантные процедуры 41; —
критерии 92, 118; — довери-
тельные множества 119
Распределение', см. распределе-
ния: Бета, Биномиальное, Ги-
пергеометрическое, Двумер-
ное нормальное, Коши, Мно-
гомерное нормальное, с Моно-
тонным отношением правдопо-
добия, Нормальное, Отрица-
тельно-биномиальное, Пойа,
Полиномиальное, Показатель-
ное, Пуассона, Равномерное,
Симметричное показательное,
Стьюдента, Г2 -распределение
Распределение вероятностей слу-
чайной величины 51
Расслоенная выборка (stratified
sample) 248
Регрессия', —, критерий для
коэффициента 244, 363, 386,
434; —, доверительные интер-
валы 245, 246, 388; довери-
тельные множества для абс-
циссы линии 247; — полино-
миальная 388, 434; —, сравне-
ние линий 388, 434; — в анали-
зе ковариаций 391; — в много-
мерном распределении 438
Решающее правило 11
Сдвиг (shift)*, доверительные
интервалы, основанные на кри-
териях перестановок 278; —,
—, основанные на ранговых
критериях 350 (—, критерии
см. Задача сравнения двух
выборок, непараметрическая)
Семейство распределений с пара-
метром сдвига', — является
стохастически возрастающим
108; —, условие для того,
чтобы оно имело монотонное
отношение правдоподобия 450
Сепарабельное пространство 475
Серии (runs)', *— для проверки
гипотезы независимости в цепи
Маркова 213; распределе-
ние 213
G-конечная мера 50
с-поле 50; — со счетным числом
образующих 480
Симметричное показательное
(double exponential) распреде-
ление 450, 469
Симметрия', —, связь с инва-
риантностью 23, 288; доста-
точные статистики для распре-
делений, обладающих симмет-
рией 84; гипотеза симмет-
ричности относительно начала
координат 205, 279, 319, 328,
352, 467
Сложная гипотеза 94
Случайная величина 51; —, связь
со статистикой 53
Случайность', *—, гипотеза 321;
—, критерий 353
Смешанная модель (mixed model)
391; — для «гнездовой» клас-
сификации 399; — с двумя
факторами 399, 411
Смирнова критерий в задаче
сравнения двух выборок 328, 338
Согласия критерий 337. См.
также %2-критерий
Состоятельные последовательно-
сти критериев 416
Сравнение экспериментов НО,
159; — для проверки незави-
симости в 2 X 2 таблицах 111,
198; '-по выборочному кон-
тролю ИЗ, 341; — по оценке
параметра процесса Пуассона
158; '—по проверке вкуса по-
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
497
требителей 204; — по анали-
зу регрессии 246; — по
сопоставлению двух способов
обработки 280. См. также
Планирование экспериментов;
Выборки объем
Средняя мощность наилучшая
428
Статистика 53; —, подполе,
индуцированное ею 57; —,
эквивалентные представления
61; —, вполне информи-
рующая (fully informative)
157
Стационарность 212
Стохастический процесс 171.
См. также Пуассона про-
цесс
Стохастическое возрастание 107,
314
Строго (strictly) несмещенный
критерий 178
Стьюдента t-критерий', как
критерий отношения правдо-
подобий 43; — как РНМ кри-
терий 140; — как РНМ несме-
щенный критерий 225, 233; —,
устойчивость 228, 235;
связь с критерием перестано-
вок 255; мощность 270,
271; — как РНМ инвариант-
ный критерий 305; допу-
стимость 316; эффектив-
ность по сравнению с ранго-
выми критериями 326. См.
также последовательный £-кри-
терий
Стьюдента t-распределение 226;
нецентральное 226, 271,
302, 342; — в задаче сравне-
ния двух выборок 233; —
в регрессионном анализе 245;
— в методе попарных сравне-
ний 259, 280; — в процедуре
Стейна 275; ~ как условное
распределение функции от ко-
эффициента корреляции 282;
— в линейной гипотезе с од-
ним ограничением 367. См.
также Нормальное распреде-
ление, среднее значение;
Нормальное распределение,
задача сравнения двух выбо-
рок
Стьюдентов размах (studentized
range) 376
Сходимость', в среднем 475;
слабая 475; — поточечная
(pointwise) 475
Счетная аддитивность 49
Считающая (counting) мера 51
Таблица сопряженности при-
знаков 111, 160, 198, 440
Теорема о слабой компактности
481
Теорема факторизации для до-
статочных статистик 34,44,
75
Теоремы о сходимости; ~~ огра-
ниченной 55; — монотонной 55;
— Крамера 228; — плотностей
478
Транзитивная группа преобра-
зований 293
^-распределение 409
Тренд; критерий отсутствия
353
Упорядочение решающих проце-
дур по предпочтению 21, 26
Условная вероятность 65
Условная мощность; —, интер-
претация 192
Условное математическое ожи-
дание 61; свойства 65
Условное распределение 67
Условный критерий 188, 215
Устойчивость критериев (robus-
tness of tests) 228, 235
Фишера — Ирвина критерий не-
зависимости в 2 X 2 таблицах
201
Фишера — Иэйтса критерий
322, 326
F-распределение, 230; ~ при
построении доверительных ин-
тервалов и критериев для от-
ношения дисперсий 230, 241;
связь с бета-распределени-
ем 231; — при проверке
498
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
линейных гипотез 365; — не-
центральное 366, 401, 415,
427; — в модели II дисперсион-
ного анализа 394, 398; —,
связь с ^-распределением 409;
связь с распределением
множественного коэффициен-
та корреляции
Фубини теорема 57
Фундаментальная лемма Ней-
мана — Пирсона 94; — обоб-
щенная 121, 173
Функция мощности 91; ~ од-
ностороннего критерия 101,
161; ~ двустороннего крите-
рия 129; — последовательного
критерия отношений вероятно-
стей 144; — , оценка 193; ~
инвариантного критерия 309
Функция потерь 12; — , ее выбор
16; ~ для одностороннего
критерия 105, 299; ~ для
доверительных границ 114,
160; для доверительных
интервалов 120, 246; — для
медианно-несмещенных оце-
нок 121; — для двусторонних
критериев 208
Функция распределения 52, 83;
— выборочная (эмпирическая)
328; —, доверительные гра-
ницы 335
Функция риска 12
Ханта — Стейна теорема 457,
469
Хотеллинга Т2-критерий см*
Т2-распределение; ^-крите-
рий
%2-распределение 76; — , провер-
ка гипотез о масштабном па-
раметре 180, 207; — при
проверке однородности 375;
— в линейной гипотезе с из-
вестной матрицей ковариаций
414; ~ нецентральное 415,
426, 431; ~ в многомерном
анализе 437. См. также Пока-
зательное распределение; Ис-
пытания на продолжитель-
ность жизни; Нормальное рас-
пределение, дисперсия; Пуас-
сона процесс
Эквивалентность] ~ распреде-
лений 73; —' семейств мер 480;
~ статистик 61
Экспоненциалное семейство рас-
пределений 76; ~, естествен-
ное параметрическое простран-
ство 77, 87;~, аналитичность
некоторых интегралов 79; —,
моменты достаточных стати-
стик 85; —, критерии в одно-
параметрическом семействе
103; полнота 183;
критерии в многопараметри-
ческом семействе 186, 207;
эквивалентная запись 192; —,
допустимость критериев 316
Эффективность] — относитель-
ная асимптотическая 326
I
Э. Леман
Проверка'статистических гипотез
М., 1964 г., 500 стр. с илл.
Редактор И. Е. Морозова
Техн, редактор Л. Ю. Плакше
Корректор Л. О. Сечейко
Сдано в набор 15/VIII 1963 г. Подписано к
печати 25/XI 1963 г. Бумага 84х108/з2-
Физ. печ. л. 15,625. Условн- печ. л. 25,63.
Уч.-изд. л. 26,76. Тираж 6000 экз»
Цена книги 1 р. 49 к. Заказ № 952.
Издательство «Наука».
Редакция машинной
и прикладной математики.
Москва, В-71, Ленинский проспект, 15.
Московская типография №16
«Главполиграфпрома» Государственного
комитета Совета Министров СССР
по печати.
Москва, Трехпрудный пер., 9.
i
КНИГИ ПО МАТЕМАТИКЕ
ИМЕЮТСЯ В ПРОДАЖЕ:
Бусленко Н. П. и др., Метод статистических испыта-
ний (Монте-Карло) и его реализация на цифровых
вычислительных машинах, Физматгиз, 1961, 226 стр.,
54 коп.
Буш Р. иМостеллерФ., Стохастические модели обу-
чаемости, перев. с англ., Физматгиз, 1962, 484 стр.,
1 р. 37 к.
Гутер Р. С. и ОвчинскийБ. В., Элементы числен-
ного анализа и математической обработки результатов
опыта, Физматгиз, 1962, 356 стр., 1 р. 07 к.
Коуден Д., Статистические методы контроля качества,
перев. с англ., Физматгиз, 1961, 624 стр., 2 р. 88 к.
Линник Ю. В., Метод наименьших квадратов и основы
математико-статистической теории обработки наблюде-
ний, Физматгиз, 1962, 350 стр., 1 р. 24 к.
Математика в СССР за сорок лет. 1917 —1957. Биобиблиогра-
фия, Физматгиз, 1959, 820 стр., 4 р. 47 к.
Митропольский А. Ку Техника статистических вы-
числений, Физматгиз, 1961, 480 стр., 1 р. 78 к.
Романовский В. И., Дискретные цепи Маркова, Гостех-
издат, 1949, 436 стр., 1 р. 38 к.
Хованский А. Н., Приложение цепных дробей и их
обобщений к вопросам приближенного анализа, Гостех-
издат, 1956, 203 стр., 53 коп.
Книги продаются в книжных магазинах и высылаются
также почтой наложенным платежом без задатка всеми
республиканскими., краевыми и областными отделениями
«Книга — почтой ».
Л9к.