SEQUENTIAL
ANALYSIS
BY
ABRAHAM WALD
Professor of Mathematical Statistics
Columbia University
NEW YORK
JOHN WILEY & SONS, INC.
CHARMAN & HALL, LTD.
LONDON

А. ВАЛЬД
ПОСЛ Е ДОВ ATE Л Ь Н Ы И
АНАЛИЗ
Перевод с английского
П. А. БАКУТА, Б. М. ГЕРАСИМОВА
И. Н. КУЗНЕЦОВА, А. А. КУРИК1ИИ
Под редакцией
Б. А. СЕВАСТЬЯНОВА
ГОСУДАРСТВЕННОЕ ИЗДАТЕЛЬСТВО
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА I960

АННОТАЦИЯ
Предлагаемый перевод книги выдающегося
математика-статистика дополнен пятью статьями
того же автора, развивающими тему книги.
Монография посвящена разработанному автором
методу последовательной проверки статистических
гипотез. Этот метод оказывается весьма
эффективным в различных областях науки и техники,
например при выборочном контроле массовой
продукции, при статистической обработке
результатов физических экспериментов, в общей
теории связи (при решении задачи обнаружения
сигнала в шумах). До сих пор на русском языке
отсутствовали монографии по методу
последовательной проверки гипотез.
Книга рассчитана на специалистов в области
математической статистики, физики и различных
отраслей техники (радиотехника, машиностроение
и др.), а также на студентов и аспирантов,
специализирующихся в указанных областях.
Валъд Абрахам
Последовательный анализ
Редактор А, Ф. Лапко
Техн. редактор Е. А. Ермакова Корректор Л. Я. Сагасти
Сдано в набор б/Н 1960 г. Подписано к печати 9/V I960 г. Бумага 84x108/32.
Физ. печ. л. 10,25. Условн. печ. л. 16,81. Уч.-изд. л. 16,31. Тираж 8000 экз.
Т-01100. Цена 10 р. 15 к. Заказ 1119.
Государственное издательство физико-математической литературы.
Москва, В-71, Ленинский проспект, 15.
Типография № 2 им. Евг. Соколовой УПП Ленсовнархоза.
Ленинград, Измайловский пр , 29

ОГЛАВЛЕНИЕ
Предисловие редактора перевода 12
Предисловие 13
Введение * 15
ЧАСТЬ I
ОБЩАЯ ТЕОРИЯ
Глава 1. Элементы современной теории проверки
статистических гипотез , . 20
§ 1.1. Случайные величины и распределения вероятностей 20
1.1.1. Понятие случайной величины 20
1.1.2. Интегральная функция распределения случайной величины .... 22
1.1.3. Функция плотности вероятности 25
1.1.4. Дискретные случайные величины 27
1.1.5. Математическое ожидание и высшие моменты случайной
величины 28
§ 1.2. Понятие статистической гипотезы 29
1.2.1. Неизвестные параметры распределения 29
1.2.2. Простые и сложные гипотезы 30
§ 1.3. Основные черты существующей методики проверки
статистических гипотез 31
1.3.1. Выборка 31
1.3.2. Общая методика проверки статистических гипотез 32
1.3.3. Принципы выбора критической области 34
1.3.4. Количество наблюдений, необходимых при заданных
вероятностях аир 39
1.3.5. Проверка гипотезы как выбор между двумя возможными
действиями 40
Глава 2. Последовательная проверка статистических
гипотез. Общие вопросы 42
§ 2.1. Понятие последовательной проверки 42
§ 2.2. Последствия выбора конкретной методики
последовательной проверки ь 45
2.2.1. Оперативная характеристика 45
$.2.2. Функция среднего числа наблюдений последовательного критерия. <6

§ 2.3. Принципы, на которых основывается выбор
последовательного критерия 48
2.3.1. Зависимость от параметра 8 степени предпочтения того или
иного решения относительно нулевой гипотезы Но 48
2.3.2. Требования, предъявляемые к оперативной характеристике ... 54
2.3.3. Функция среднего числа наблюдений как основа для выбора
последовательного критерия 57
§ 2.4. Проверка простой гипотезы Но при единственной
конкурирующей гипотезе Н\ 58
2.4.1. Эффективность последовательного критерия 58
2.4.2. Эффективность существующей методики проверки гипотез,
рассматриваемой как частный случай последовательного критерия 60
Глава 3. Последовательный критерий отношений
вероятностей для проверки простой гипотезы Мо
против единственной конкурирующей гипотезы Нг 62
§ 3.1. Определение последовательного критерия
отношений вероятностей 62
§ 3.2. Основные соотношения между величинами а, р,
А и В 66
§ 3.3. Определение постоянных А и В на практике .... 71
§ 3.4. Оперативная характеристика последовательного
критерия отношений вероятностей 75
§ 3.5. Среднее число наблюдений последовательного
критерия отношений вероятностей . . 79
§ 3.6. Выигрыш в числе наблюдений при использовании
последовательного критерия отношений
вероятностей вместо обычной процедуры проверки 81
§ 3.7. Нижняя граница вероятности того, что
последовательный критерий окончится при числе наблюдений,
меньшем или равном заданному числу 86
§ 3.8. Усечение процедуры последовательного анализа . . 89
§ 3.9. Увеличение среднего числа наблюдений,
обусловленное заменой точных значений А (а, р) и В (а, р) на
1=1 п-2— 94
а 1 —а
Глава 4. Основы теории последовательных критериев
для простых и сложных гипотез относительно
множества конкурирующих гипотез 99
§ 4.1. Проверка простых гипотез 99
4.1.1. Вводные замечания 99
4.1.2. Проверка простой гипотезы при односторонних конкурирующих
гипотезах 102
4.1.3. Проверка простой гипотезы в случае, когда на конкурирующие
величины неизвестных параметров не накладывается никаких
ограничений 103
4.1.4. Применение общей методики к проверке среднего значения
нормального распределения с известной дисперсией 108
§ 4.2. Проверка сложных гипотез 109
4.2.1. Обсуждение важного частного случая 109
4.2.2. Описание методики проверки в общем случае 113
4.2.3. Применение общей методики к проверке среднего значения
нормального распределения с неизвестной дисперсией
(последовательный ^-критерий) 116
4.2.4< Частный класс задач, рассмотренный Гиршиком 118

ЧАСТЬ II
ПРИЛОЖЕНИЕ ОБЩЕЙ ТЕОРИИ К ЧАСТНЫМ СЛУЧАЯМ
Глава 5. Критерий для среднего значения биномиального
распределения (приемочная проверка партии
изделий, в которой каждое изделие отнесено
к одной из двух категории) 123
§ 5.1. Постановка задачи 123
§ 5.2. Допускаемый риск, связанный с принятием
неправильных решений 124
§ 5.3. Последовательный критерий отношения
вероятностей, соответствующий величинам р0, рь а и р . . . 125
5.3.1. Определение алгебраических формул для критерия проверки ... 125
5.3.2. Табличный метод проведения контроля 127
5.3.3. Графический метод проведения контроля 128
§ 5.4. Оперативная характеристика критерия L(p) .... 130
5.4.1. Определение L (р) при некоторых значениях переменной р . ¦ , 130
5.4.2. Определение L (р) на всей оси р • . 131
5.4.3. Точная формула для L (р), когда величина, обратная угловому
коэффициенту линий решения, есть целое число 133
§ 5.5. Среднее число наблюдений критерия 134
§ 5.6. Группировка наблюдений 136
5.6.1. Общее обсуждение 136
5.6.2. Влияние группировки на оперативную характеристику и среднее
число наблюдений; верхние и нижние границы для них 138
§ 5.7. Усеченный критерий 140
Глава 6. Критерий для разности между средними
значениями двух биномиальных распределений
(двойная дихотомия) 142
§ 6.1. Постановка задачи 142
§ 6.2. Классический метод 143
§ 6.3. Точный непоследовательный метод 144
§ 6.4.^Последовательный критерий для гипотезы рг >/?2 • • 146
6.4.1. Допускаемый риск, связанный с принятием неверных решений. . 146
6.4.2. Последовательный критерий отношения вероятностей,
соответствующий величинам и0, аи а и () 147
6.4.3. Кривая оперативной характеристики критерия 150
6.4.4. Среднее число наблюдений, требуемых в критерии • • 152
6.4.5. Наблюдения, осуществляемые группами 153
Глава 7. Проверка того, что среднее значение нормально
распределенной случайной величины с
известным средним квадратическим отклонением не
превышает заданной величины 155
§ 7.1. Постановка задачи 155
§ 7.2. Допускаемый риск, связанный с неправильным
решением ... 156
7

§ 7.3. Последовательный критерий отношений
вероятностей, соответствующий величинам 0О, 6lt а и р . . . 156
§ 7.4. Кривая оперативной характеристики критерия ... 161
§ 7.5. Среднее число необходимых наблюдений в критерии 162
Глава 8. Проверка того, что среднее квадратическое
отклонение нормально распределенной случайной
величины не превышает заданного значения . . 164
§ 8.1. Постановка задачи 164
§ 8.2. Допускаемый риск принятия неверного решения . . 164
§ 8.3. Последовательный критерий отношений
вероятностей, соответствующий величинам а0, alf а и р ... 165
§ 8.4. Оперативная характеристика критерия 169
§ 8.5. Среднее число наблюдений в критерии 171
§ 8.6. Модификация методики проверки, когда среднее
значение генеральной совокупности неизвестно . . . 173
Глава 9. Проверка того, что среднее значение
нормально распределенной случайной величины
с известной дисперсией равно определенной
величине 174
§ 9.1. Постановка задачи 174
§ 9.2. План последовательной проверки, удовлетворяющий
заданным требованиям 175
ЧАСТЬ III
ПРОБЛЕМА МНОГОЗНАЧНЫХ РЕШЕНИЙ И ОЦЕНКИ
Глава 10. Выбор гипотезы из множества взаимно
исключающих друг друга гипотез (многозначное
решение) 179
§ 10.1. Постановка задачи 179
§ 10.2. Основные черты последовательного критерия для
выбора гипотезы из множества взаимно
исключающих друг друга гипотез 181
§ 10.3. Последствия выбора любого частного способа
последовательной выборочной проверки 182
§ 10.4. Принципы выбора плана последовательной выборки 183
10.4.1. Зависимость значимости возможных неправильных решений
от параметрической точки 8 183
10.4.2. Функция риска, связанная с данным способом проверки 184
10.4.3. Функция риска и среднее число наблюдений как основа для
выбора плана последовательной выборки 185
10.4.4. Использование некоторых простых весовых функций 186
§ 10.5. Обсуждение специального класса планов
последовательной выборки 188
Глава 11. Проблема последовательной оценки 195
§ 11.1. Принципы современной теории оценок интервалами
или множествами 195
а

§ 11.2. Постановка задачи о последовательной оценке
посредством интервалов или множеств 197
§ 11.3. Специальный класс способов последовательной
оценки 200
Приложения
П. 1. Доказательство того, что с вероятностью, равной
единице, последовательный критерий отношений
вероятностей рано или поздно закончится 202
П. 2. Верхняя и нижняя границы оперативной
характеристики последовательного критерия 203
П. 2.1. Лемма 203
П. 2.2. Фундаментальное тождество 205
П. 2.3. Определение верхней и нижней границ для оперативной
характеристики 206
П. 2.4. Расчет 8д и tjq для биномиального распределения 210
П. 2.5 Вычисление Од и tjq для нормального распределения 211
П. 3. Верхняя и нижняя границы для функции среднего
числа наблюдений последовательного критерия
отношений вероятностей 216
П. 3.1. Вывод общих формул для верхней и нижней границ 216
П. 3.2. Расчет величин Ц и ?q для биномиального и нормального
распределений 226
П. 4. Вывод точных формул для оперативной
характеристики и функции среднего числа наблюдений в
случае, когда z может принимать только конечное
число значений, кратных постоянному числу .... 228
П. 5. Характеристическая функция и высшие моменты
величины п 234
П. 5.1. Вывод приближенных формул при пренебрежении перескоком
границ накопленной суммой 234
П. 5.2. Вывод точной формулы для случая, когда z может принимать
только конечное число значений, кратных некоторому
постоянному числу 239
П.* 6. Приближенное распределение величины п для
случая, когда z распределено по нормальному закону . 240
П. 6.1. Случай, когда В = 0 и А конечно 240
П. 6.2. Случай, когда В>0 и Л=оо 243
П. 6.3. Случай, когда В > 0 и А конечно 243
П. 6.4. Некоторые замечания 245
П. 7. Эффективность последовательного критерия
отношений вероятностей 245
П. 8. Определение оптимальной весовой функции о (в)
в некоторых специальных случаях проверки простых
гипотез без ограничения возможных конкурирующих
значений параметров 249
П. 8.1. Класс случаев, когда оптимальная весовая функция <о \$)
может быть определена простой процедурой 249
П. 8.2. Приложение к проверке средних значений независимых
нормально распределенных случайных величин с известными
дисперсиями . ¦. 251
9

П. 9. Определение оптимальных весовых функций &а @) и
ыг(Ь) в некоторых специальных случаях проверки
сложных гипотез 254
П. 9.1. Класс случаев, для которых можно простым способом
определить оптимальные весовые функции и>а (б) и <&г (&) 254
П. 9.2. Применение к проверке среднего значения нормального
распределения с неизвестной дисперсией (последовательный
^-критерий) 255
Дополнения
А. Вальд, Асимптотические минимаксные решения задач
лоследовательных точечных оценок 26Э
1. Введение 260
2. Предположения регулярности 263
3. Доказательство того, что Т® является асимптотическим
минимаксным решением 264
4. Предельное распределение оценки максимального
правдоподобия, когда число наблюдений определено
последовательным правилом 267
5. Доказательство того, что Тхс есть асимптотическое
минимаксное решение и что имеет место A.8) 273
А. Вальд, Дифференцирование под знаком
математического ожидания в основном тождестве
последовательного анализа 275
1. Введение 275
2. Необходимые условия для дифференцирования A.1) под
знаком математического ожидания 276
3. Математическое ожидание п при Е (z) = 0 279
А. Вальд, Некоторые уточнения границ для среднего
числа наблюдений в последовательном
критерии отношений вероятностей 281
Краткое содержание 281
1. Введение 281
2. Обозначения 282
3. Ограничения, накладываемые на множество функций
распределения 283
4. Доказательство совместной непрерывности ср (t, 6) по t
и 6 и непрерывности моментов ^ по 6 283
5. Некоторые леммы 285
6. Предельное значение E§(ri), когда 0 стремится к в', для
которого Еь, (z) = 0 289
7. Определение нижней и верхней границ для среднего
значения любой функции от Zn 290
8. Границы для ?q (л), когда h @) близко к нулю, но не
равно ему 29}
Ю

А. В а л ь д и Дж. Вольфовиц, Оптимальный характер
последовательного критерия отношений
вероятностей 292
1. Краткое содержание 292
2. Введение 293
3. Роль отношения вероятностей 294
4. Основная лемма 298
5. Поведение А и В 304
6. Свойства функции W0(Wh Ь) 305
7. Доказательство теоремы 307
А. В а л ь д, Основные идеи общей теории статистических
решений 308
1. Введение 308
2. Функции потерь, стоимости и риска 311
3. Устранение рандомизации при конечных Q 313
4. Определение сходимости в пространстве решающих
правил и некоторые теоремы непрерывности 314
5. Байесовские и минимаксные решения в задачах
статистических решений 315
6. Полные классы решающих правил 319
7. Применение к теории игр Неймана 320
8. Некоторые специальные случаи 321
9. Заключительные замечания 325
Предметный указатель 326

ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА
Применение статистических методов в контроле и анализе
производственных процессов в промышленности, получившее
широкое распространение в годы второй мировой войны,
привело к постановке новых задач и развитию новых
направлений в математической статистике. Одним из таких новых
направлений является последовательный анализ, создателем
которого является известный американский статистик А. Вальд.
В классических статистических критериях объем выборки
устанавливается заранее, а это приводит иногда к большим
излишним затратам. В последовательном анализе объем
выборки не фиксируется заранее, а определяется в процессе
анализа статистических данных, получаемых последовательно
в порядке их поступления. Это приводит к заметному
сокращению по сравнению с классическими критериями объема
контрольной работы.
Предлагаемая в русском переводе книга А. Вальда
«Последовательный анализ» впервые вышла в США в 1947 г. и
сразу приобрела широкую популярность среди математиков
и статистиков. Хотя с тех пор появилось много работ,
развивающих дальше теорию последовательного анализа, эта
книга не потеряла своей актуальности и сейчас. Книга
обращена главным образом к лицам, занимающимся применениями
математической статистики. Предполагается, что читатель
знаком с элементами высшей математики и теории
вероятностей. Более трудные математические доказательства
помещены в виде приложений в конце книги. Русский перевод
книги дополнен пятью статьями автора, в которых излагаются
некоторые доказательства, отсутствующие в книге, и
развивается дальше теория последовательного анализа.
Б. Л. Севастьянов

ПРЕДИСЛОВИЕ
Настоящая книга представляет собой теорию недавно
развитого метода статистического анализа, так называемого
последовательного анализа. Я пытался изложить материал на
уровне, который сделал бы ббльшую часть книги, исключая
приложения, доступной для читателей, математическая
подготовка которых не выходит за пределы курса алгебры и
математического анализа в объеме первого курса колледжа.
Для понимания книги желательно также обладать некоторыми
знаниями по - теории вероятностей и математической
статистики, что, однако, не является обязательным, поскольку
в книге приводится краткий обзор таких основных
положений &той теории, как случайные величины, распределения
вероятностей и статистические гипотезы.
Чтобы облегчить чтение книги для тех читателей,
которые не имеют достаточной математической подготовки, при
изложении материала были сделаны некоторые отступления
от общности, а иногда даже от строгости. Более того, все
более или менее сложные математические выводы были
вынесены в приложения, чтение которых может быть опущено
без ущерба для понимания остальной части книги.
Эта книга представляет собой расширенное изложение
идей и результатов, которые я опубликовал ранее в двух
статьях по последовательному анализу (в 1944 и 1945 гг.),
а также некоторые последующие исследования по этому же
вопросу, например обсуждение многомерных решений и
оценок в III части книги, получение более точных пределов для
среднего числа наблюдений в последовательном критерии,
пределы эффекта группировки в биномиальном случае. В книгу
включены также некоторые последние результаты Гиршика.
При обсуждении конкретных приложений теории во II части
книги были использованы некоторые упрощения, содержа-
13

щиеся в публикациях Группы статистических исследований
Колумбийского университета, посвященных этим
приложениям. Некоторые разделы из двух упомянутых выше
публикаций автора были включены в книгу, главным образом
в приложения, без существенных изменений. Почти все
таблицы книги были вычислены Группой статистических
исследований Колумбийского университета во время моего
пребывания консультантом этой Группы.
Я желал бы выразить свою признательность Милтону
Фридману и В. Аллену Валлису, которые предложили мне
в марте 1943 г. исследовать задачу о последовательной
проверке статистических гипотез. Их ясная формулировка задачи
побудила меня начать исследования, которые привели к
созданию предлагаемой здесь теории. Я хочу также выразить
спою благодарность Комитету исследований в области
социальных наук за помощь, которая облегчила публикацию этой
книги. Я обязан Мортимеру Спигельману из Страховой
компании Метрополитан за тщательный просмотр рукописи и
сделанные при этом ценные замечания. Благодарю также
Е. Боукер, которая особенно тщательно подготовила
рукопись к печати.
Колумбийский университет Л. В
Март 1947 г.

ВВЕДЕНИЕ
Последовательный анализ является методом
статистического исследования, характерная черта которого заключается
в том, что количество наблюдений, необходимых в процессе
испытания, заранее не определено. Решение об окончании
эксперимента зависит на каждой данной стадии эксперимента
от результатов предыдущих наблюдений. Достоинство
данного метода, применительно к проверке статистических
гипотез, заключается в том, что он позволяет сконструировать
такую методику проверки, которая требует, в среднем,
существенно меньшего числа наблюдений, чем равная ей по
надежности проверка, основанная на заранее определенном
количестве наблюдений.
Настоящая книга представляет собой теорию одного
частного метода последовательного анализа, так называемого
последовательного критерия отношений вероятностей, который
был предложен автором в 1943 г. главным образом для целей
проверки статистических гипотез. Сравнение этого частного
последовательного критерия с любым другим
(последовательным или непоследовательным) показывает (см. раздел П. 7
приложений), что он дает наибольший возможный выигрыш
в среднем числе наблюдений, которые необходимы при
проверке простой гипотезы относительно единственной
конкурирующей гипотезы. Последовательный критерий отношений
вероятностей зачастую требует примерно на 50% меньше
наблюдений, чем наиболее эффективный критерий,
основанный на фиксированном количестве наблюдений.
Впервые идея о последовательной методике проверки,
т. е. о проверке, для которой количество наблюдений не
определено заранее, а зависит от исхода наблюдений по мере
их проведения, была высказана Доджем и Ромигом *), которые
*) Н. F. D о d g e, H. G. R о m i g, A method of sampling
inspection; The Bell System Techn. Journ. 8 A929), 613—631.
15

предложили методику проверки с двойной выборкой.
В соответивии со схемой этих авторов, решение о взятии
второй выборки принимается на основе результатов
наблюдений в первой выборке. На основе этого метода,
допускающего только две выборки, Бартки впоследствии разработал
методику проверки, основанную на многих выборках,
применительно, однако, лишь к частному случаю проверки
среднего значения биномиального распределения *). Его схема
близка к схеме проверки, которая получается при
применении последовательного критерия отношений вероятностей
к этому частному случаю. Причина, побудившая Доджа и
Ромига предложить методику проверки, основанную на двух
выборках, а Бартки — разработать метод, основанный на
многих выборках, заключается в том, что при этом требовалось,
в среднем, меньшее число наблюдений, чем в случае
«единственной» выборки.
Эти немногие работы по созданию методики эксперимента,
состоящей из последовательных стадий, можно считать
предшественниками последовательного анализа. Идея таких
«цепных» экспериментов была вкратце рассмотрена Хотеллин-
гом 2). Очень интересным примером этих экспериментов
является последовательность выборочных переписей участков,
занятых под джутом в Бенгалии, которая была проведена
под руководством Махаланобиса3). Выборочная перепись,
постепенно увеличивающаяся в объеме, была предпринята
первоначально с целью получения предварительных данных
о параметрах, подлежащих последующей оценке. Эта
информация была затем использована для определения конечной
выборки всей огромной площади, занятой под джутом
в Бенгалии.
Проблема последовательного анализа возникла в Группе
статистических исследований Колумбийского университета4)
*) W. В а г t k у, Multiple sampling with constant probability, Ann.
of Math. Stat. 14 A943), 363—377.
2) H. Hotel ling, Experimental determination of the maximum
of a function, Ann. of Math. Stat. 12 A941), 20—45.
3) Р. С. М a h a 1 a n о b i s, A sample survey of the acreage under
Jute in Bengal, with discussion on planning of experiments, the
proceedings of the 2-nd Indian statistical conference, Calcutta, Stat. Publ.
Soc. A940).
4) Во время второй мировой войны Группа статистических
исследований работала по контракту с Министерством научных
исследований и разработок под руководством Бюро прикладной
математики Комитета по исследованиям в области национальной
обороны..
Ю

в связи с некоторыми замечаниями, высказанными капитаном
Шульцем из Артиллерийского управления Министерства
военно-морского флота. Милтон Фридман и В. Аллен Валлис
увидели большие возможности и далеко идущие последствия,
которые могло иметь применение последовательного анализа
к дальнейшему развитию теоретической статистики. В
частности, они предположили, что можно сконструировать такую
методику последовательного анализа, для которой
возможные ошибки, связанные с принятием ложных решений, были бы
точно такими же, как и у лучшей из существующих методик
проверок, основанных на заранее определенном количестве
наблюдений, и которая в то же время требовала бы, в
среднем, существенно меньшее количество наблюдений, чем
фиксированное количество наблюдений, необходимое при
существующей методике проверки *). Фридман и Валлис
предложили также несколько примеров модификаций существующей
методики проверки в смысле последовательного анализа,
получив в результате в ряде случаев увеличение
эффективности критерия. Проблема последовательного анализа
находилась в описанном здесь состоянии, когда они предложили
автору заняться ею. Это предложение побудило меня заняться
исследованиями, которые привели к созданию
последовательного критерия отношений вероятностей.
Поскольку последовательный критерий отношений
вероятностей оказался применимым к конструкторским работам
в области военного и военно-морского оборудования, мне
было предложено изложить свои результаты в
предварительном отчете2), датированном сентябрем 1943 г. В этом отчете
кратко излагалась методика последовательного критерия
отношений вероятностей и давались основы теории этого
критерия. Чтобы облегчить использование этой новой методики
армией и военно-морским флотом, Группа статистических
исследований выпустила в июле 1944 г. второй отчет, в
котором приводилось элементарное, нематематическое описание
!) Схема Бартки, основанная на многих выборках, которая
использовалась для .испытания среднего значения биномиального
распределения, является примером такого последовательного
критерия. Результаты Бартки в то время не были известны Фридману
и Валлису, поскольку они были опубликованы почти годом позже.
2) A. W а 1 d, Sequential analysis of statistical data: Theory,
a report submitted by the statistical research group, Columbia
University, to the Applied Mathematics Panel, National Defense Research
Commitee, Sept. 1943.
2 Зак. 1119. А. Вальд 17

приложений последовательного критерия отношений
вероятностей и содержалось значительное количество таблиц,
графиков и расчетных соотношений, которые облегчали
использование этой теории *).
Дальнейшее развитие теория последовательного критерия
отношений вероятностей получила в 1944 г. Для случая
биномиального распределения Милтоном Фридманом и
Георгом В. Брауном (независимо друг от друга) была получена
оперативная характеристика последовательного критерия
отношений вероятностей, которая была несколько раньше
получена также Стокманом в Англии 2). Вслед за этим мною было
получено общее выражение для оперативной характеристики
любого последовательного критерия отношений
вероятностей 8). Несколькими месяцами позже была развита теория
коммулятивных сумм 4), которая давала не только
оперативную характеристику любого последовательного критерия
отношений вероятностей, но также и характеристическую
функцию для количества наблюдений, необходимых при этом
критерии, и различные другие результаты.
Материалы этого отчета вместе с новыми результатами,
полученными в 1944 г., были опубликованы в статье
«Sequential test of statistical hypotheses» в журнале The Annals
of Mathematical Statistics в июне 1945 г. Группа
статистических исследований в 1945 г. выпустила пересмотренное
издание ь) своего первоначального отчета. Это пересмотренное
издание включало в себя также применение оперативной
характеристики и функции среднего числа наблюдений к раз-
*) Н. Freeman, Sequential analysis of statistical data: pA
cations, a report submitted by the statistical research group,
Columbia University, to the Applied Mathematical Panel, National Defense
Research Commitee, Jule 1944.
*) С. М. S t о с k m a n, A method of obtaining an approximation
for the operating characteristic of a Wald sequential probability ratio
test applied to a binomial distribution, (British) Ministry of Supply,
Advisory service on statistical method and quality control, Technical
Report, series «R», № QC | R | 19.
») A. W a 1 d, A general method of deriving the operating
characteristics of any sequential probability ratio test, unpublished report
submitted by the statistical research group, Columbia University,
April 1944.
4) A. Wald, On cumulative sums of random variables, Ann. of
Math. Stat. 15 (Sept. 1944).
б) Автором пересмотренного издания, которое было выпущено
издательством Колумбийского университета в сентябре 1945 г.,
следует считать всю Группу в целом.

личным приложениям последовательного критерия отношений
вероятностей.
Независимо от исследований, проводившихся в США, и
примерно в то же самое время Бернард указал на достоинства
последовательного метода проверки1). Он рассматривал
задачу двойного последовательного деления целого' на две
части, используя тем самым последовательный метод
проверки, который, однако, отличался от проверки,
получающейся при применении к этой задаче последовательного
критерия отношений вероятностей.
Настоящая книга состоит из трех частей, а также
приложений. В части I обсуждается общая теория
последовательного критерия отношений вероятностей. В части II
рассматриваются приложения общей теории, данной в части I.
Эти приложения предназначены в основном для иллюстрации
общей теории, однако представляют также и известный
теоретический интерес в связи со спецификой этих приложений.
При этом дается лишь немного расчетных формул и
приводится сравнительно мало таблиц 2). В части III дается
краткое изложение возможного подхода к задаче
последовательных многозначных решений и оценок. Эта область в
значительной мере не исследована, и дальнейшее развитие ее—дело
будущего.
Для облегчения использования книги теми читателями,
которые не имеют достаточного математического
образования, все сколько-нибудь сложные математические выводы
вынесены в приложения.
*) G. A. Barnard, Economy in sampling with reference of
engineering experimentation, (British) Ministry of Supply, Advisory
service on statistical method and quality control, Technical Report,
series «R», № QG | R | 7.
2) Более полное и детальное рассмотрение этих приложений
читатель найдет в пересмотренном издании отчета Группы
статистических исследований, упомянутом выше.

ЧАСТЬ I
ОБЩАЯ ТЕОРИЯ
ГЛАВА 1
ЭЛЕМЕНТЫ СОВРЕМЕННОЙ ТЕОРИИ ПРОВЕРКИ
СТАТИСТИЧЕСКИХ ГИПОТЕЗ
§ 1.1. Случайные величины и распределения
вероятностей
1.1.1. Понятие случайной величины. Исход
эксперимента или результат измерения является обычно
непостоянным, поскольку вообще в результате измерения мы можем
получать различные величины. Так, повторяющиеся
измерения длины стержня будут давать, вообще говоря, различные
результаты. Весьма часто мы можем высказать некоторое
вероятностное утверждение относительно исхода
эксперимента или результата измерения. Рассмотрим, например,
эксперимент, заключающийся в бросании игральной кости,
стороны которой пронумерованы числами от 1 до 6. В этом
случае исходом эксперимента может быть любое целое число
от 1 до 6, и мы можем высказать различные вероятностные
утверждения относительно исхода рассматриваемого
эксперимента. Так, вероятность того, что в результате
эксперимента будет выброшено число 5, равна -g-; вероятность
того, что в результате эксперимента будет выброшено число,
меньшее 4, равна у и так далее. Вероятностные утверждения
можно высказать и относительно исхода следующего
эксперимента. Предположим, что из группы в 1000 индивидуумов
случайным образом выбирается один индивидуум. Тогда
20

вероятность того, чтб рост выбранного индивидуума менее
170 см, будет равна -^г^-, умноженной на количество инди-
1UUU
видуумов в группе, рост которых менее 170 см.
Переменная х называется случайной величиной, если
для любого заданного числа с существует конечная
вероятность события, заключающегося в том, что х принимает
величину меньше с. Исходя из только что данного
определения, можем теперь описать общий класс экспериментов,
исход которых является случайной величиной. Рассмотрим
группу из TV индивидуумов (или объектов) и некоторые
числовые характеристики этих индивидуумов (или объектов),
такие, как вес, рост, диаметр или твердость. Предположим,
что величина х некоторой характеристики рассматриваемых
объектов меняется в пределах данной группы от объекта
к объекту. Эксперимент состоит в случайном выборе объекта
из группы N объектов и в последующем измерении
величины х интересующей нас характеристики выбранного
объекта. При этом под случайным выбором понимается такой
выбор, при котором каждый объект группы из N объектов
имеет равные шансы быть выбранным. Исход х такого
эксперимента является случайной величиной, поскольку при
любом заданном с существует вероятность того, что х
будет меньше с. Эта вероятность фактически будет
равна -т~, где Nc — количество объектов в группе, для
которых рассматриваемая характеристика имеет величину
меньше с.
Интересным частным случаем является случай, когда
рассматриваемая характеристика может принимать лишь два
значения. Такая ситуация возникает, например, при проверке
промышленной продукции, когда каждое изделие относится
к одной из двух категорий: либо оно дефектно, либо
недефектно. Будем приписывать дефектному изделию
характеристику 1, а недефектному — характеристику 0. Тогда
рассматриваемая характеристика, т. е. характеристика
дефектности, может принимать только два значения: 0 и 1.
Рассмотрим партию, состоящую из N изделий, считая при этом,
что количество дефектных изделий в партии равно Nd. Если
эксперимент заключается в проверке одного изделия,
случайным образом выбранного из партии, то исход такого
эксперимента х будет случайной величиной, которая
может принимать только два значения: 0 или 1. При этом
21

вероятность того, что л: —0, будет равна — а , а
вероятность того, что jc == 1, будет равна -Л-.
1.1.2. Интегральная функция распределения
случайной величины. Обозначим через F(t) вероятность того, что
случайная величина х принимает значение меньше t. F(t),
являющаяся функцией t, называется интегральной
функцией распределения величины х. Поскольку любая
вероятность должна лежать в интервале между 0 и 1, то для всех
значений t имеем: O^F(t)^.l. Если tx и t2 таковы, что
*i < ^2» то вероятность того, что х < t2, будет больше или
равна вероятности того, что x<tlt т. е. F (*2)> F (^).
Другими словами, функция F(t) не может уменьшаться
с возрастанием t. Типичная форма интегральной функции
О
Рис. 1.
распределения F (t) показана на рис. 1, где по
горизонтальной оси отложено t> а по вертикальной функция F(t).
Зная интегральную функцию распределения F (t), легко
можем для любых заданных а и Ь (а < Ь) определить
вероятность того, что а^х<^Ь. Действительно, поскольку
события х < а и а^х < Л несовместны, то вероятность
осуществления какого-либо из этих событий будет равна
сумме вероятностей осуществления каждого из событий, т. е.
(вероятность осуществления события х < а или события
а ^ х < Ь) = (вероятности осуществления события х < a) -f-
+ (вероятность осуществления события а^х < ft). A.1)
22

Поскольку вероятность осуществления какого-либо из
этих двух событий (х < а или а<^ х < Ь) совпадает с
вероятностью осуществления события х < Ь, то в соответствии
с соотношением A.1) имеем
p(p)z=zF (a) + (вероятность осуществления
события а^.х<Ь). A.2)
Следовательно, искомая вероятность осуществления
события а^х<Ь будет равна F(b) — F(a).
В случае, когда случайная величина х является
результатом измерения какой-либо характеристики объекта,
случайным образом выбранного из группы N объектов, можно
дать простое толкование интегральной функции
распределения F{f). Как указывалось в п. 1.1.1, в этом случае
вероятность того, что наблюденная величина х удовлетворяет
некоторому равенству или неравенству (скажем, х = с, х < с
или а < х < b)t равна относительной доле (в данной группе
из N объектов) таких объектов, для которых величина х
удовлетворяет соответствующему равенству или неравенству.
Таким образом, F (t) просто определяет относительную долю
тех объектов, для которых х < t. При таком истолковании
вероятностей соотношение A.2) становится очевидным. Оно,
собственно, утверждает, что относительное количество
объектов, для которых х < Ь, равно относительному количеству
объектов, для которых х < а, плюс относительное
количество объектов, для которых a^x<ib. Группа из N
объектов часто называется генеральной совокупностью.
До сих пор мы рассматривали только генеральные
совокупности, содержащие конечное число объектов. Такие
генеральные совокупности называются конечными.
Истолкование вероятности события, для которого
выполняется определенное соотношение (равенство или неравенство),
как относительной доли в данной генеральной совокупности
таких элементов, для которых величина х удовлетворяет
этому соотношению, оказывается во многих случаях весьма
полезным, и мы будем им часто пользоваться. Однако такая
интерпретация вероятностей не всегда возможна, если мы не
ограничиваемся конечными генеральными совокупностями.
Действительно, интегральная функция распределения,
связанная с конечной генеральной совокупностью, имеет свои
особенности.

Предположим, что генеральная совокупность состоит из
N элементов. Тогда случайная величина х может принимать
не более N различных значений. Пусть av . ... ам —
различные значения, которые может принимать величина х%
причем эти значения расположены в возрастающем порядке,
т. е. ах < а2 < ... < ам. Ясно, что М ^ N. Если
величина х одинакова для нескольких элементов, то М < ЛЛ
Интегральная функция распределения в этом случае будет
r(t)
а,
а3 а4
Рис. 2.
ам t
иметь вид ступенчатой кривой, показанной на рис. 2.
Функция распределения будет иметь ровно М скачков, причем
величина каждого скачка будет равна либо -^, либо целому
числу, умноженному на jr. Интегральная функция
распределения, представленная непрерывной кривой рис. 1,
очевидно, не относится к этому типу.
Таким образом, если интегральная функция
распределения является непрерывной кривой, то истолкование
вероятностей как относительной доли определенных элементов
конечной генеральной совокупности оказывается
невозможным. Однако любую непрерывную интегральную функцию
распределения можно с любой заданной точностью
аппроксимировать ступенчатой интегральной функцией
распределения, связанной с конечной генеральной совокупностью, если
только число элементов в последней достаточно велико.
Таким образом, любую непрерывную интегральную функцию
распределения можно считать предельной формой
интегральной функции распределения, связанной с конечной
генеральной совокупностью. Предел достигается при бесконечном
возрастании числа элементов в этой генеральной совокуц-

ности. Это означает, что если мы допускаем существование
бесконечной генеральной совокупности 1) (генеральной
совокупности с бесконечно большим числом элементов), то любую
вероятность, связанную с этой совокупностью, всегда можно
истолковать как относительную долю соответствующих
элементов совокупности. Конечно, понятие бесконечной
генеральной совокупности является просто полезной абстракцией,
вводимой лишь для упрощения теории.
В качестве примера бесконечной генеральной совокупности
рассмотрим эксперимент, заключающийся в измерении длины
некоторого стержня. Исход каждого измерения можно
считать случайной величиной, характеризующейся интегральной
функцией распределения F (t). Тогда бесконечной
генеральной совокупностью будет бесконечная последовательность
повторяющихся измерений длины стержня, так что каждое
действительно произведенное измерение можно считать
элементом этой совокупности. Иногда генеральная совокупность
является конечной, но число элементов N этой совокупности
настолько велико, что оказывается удобнее рассматривать
задачи, связанные с этой совокупностью, так, как если бы N
было бесконечным, т. е. как если бы генеральная
совокупность была бесконечной. Предположим, например, что мы
интересуемся распределением роста всех женщин в возрасте
20 лет и старше, проживающих в Соединенных Штатах.
Очевидно, что количество таких индивидуумов настолько
велико, что можно рассчитывать на значительные
математические упрощения, если считать генеральную совокупность
таких индивидуумов бесконечной.
1.1.3. Функция плотности .вероятности. Пусть F (t) —
интегральная функция распределения случайной величины х.
Тогда, как мы видели в п. 1.1.2, вероятность того, что
!) Под бесконечной генеральной совокупностью мы понимаем
упорядоченную бесконечную последовательность элементов Olf O2,
О3, ... Рассматривая определенную измеримую характеристику этих
элементов, мы предполагаем, что величина этой характеристики х
меняется от элемента к элементу. Под относительной долей
элементов бесконечной генеральной совокупности, для которых
величина х удовлетворяет некоторому соотношению (равенству или
неравенству), мы понимаем предел соответствующей доли в
конечной генеральной совокупности (Ov O2, ..., UN) при бесконечном
возрастании N.
25

(при А > 0), определяется разностью
Предел f(t) отношения
при А -> О в случае, когда такой предел существует *),
называется плотностью вероятности случайной величины х
в точке x = t. Плотность вероятности f(t) является
функцией t и называется функцией плотности вероятности
случайной величины х. Из определения плотности
вероятности f(t) следует, что для малых положительных А
произведение /(/) • А хорошо аппроксимирует вероятность того,
что х принимает величину, лежащую в интервале t ± -у
Функция плотности вероятности существует не всегда.
Если случайная величина х дискретная, т. е. если х может
принимать только дискретный ряд значений, то интегральная
функция распределения является ступенчатой функцией, и
функция плотности вероятности не существует.
Вероятность того, что х принимает значение, лежащее
в интервале от tx до t2 (t{ < t2), можно получить
интегрированием функции плотности вероятности f(t) в этих пределах,
т. е. указанная вероятность равна
i*
*f(t)dt.
Одной из наиболее важных функций плотности
вероятности является так называемая нормальная функция
плотности вероятности, которая определяется выражением
A.3)
!) Вообще говоря, необходимо, чтобы существовал предел
отношения —^ ~* ^ —— при А -* 0, где Д может принимать как
положительные, так и отрицательные значения и может
приближаться к 0 по любому произвольному пути. Существование этого
предела обусловливает также существование предела отношения
26

где [х и с — некоторые постоянные. Если случайная
величина х имеет функцию плотности вероятности /(?),
определяемую выражением A.3), то говорят, что х — нормально
распределенная случайная величина или что х подчиняется
fft)
нормальному распределению вероятностей. Форма
нормальной кривой показана на рис. 3, где по горизонтали
отложено tt а по вертикали f(t).
1.1.4. Дискретные случайные величины. Случайная
величина х называется дискретной, если она может
принимать только дискретный ряд значений. Любая величина,
которая может принимать лишь конечное множество
различных значений, является, конечно, дискретной величиной.
Однако величина, которая может принимать бесконечно
много значений, также может быть дискретной. Например,
если х принимает только целые значения, то х —
дискретная величина. Интегральная функция распределения
дискретной случайной величины является ступенчатой функцией,
вид которой показан на рис. 2. Таким образом, дискретная
случайная величина не имеет функции плотности вероятности,
но имеет функцию элементарной вероятности f(t), где f(t)
означает вероятность того, что x = t.
В дальнейшем будем рассматривать только такие
случайные величины, которые или допускают существование
функции плотности вероятности, или имеют дискретное
распределение вероятностей. Под распределением
вероятностей или более кратко — под распределением случайной
величины х мы всегда будем понимать функцию плотности
вероятности f(t), если она существует. Если х является
27

дискретной случайной величиной, то f(t) будет означать
вероятность того, что x — t. Иногда мы будем толковать
распределение f(t) и как распределение х в генеральной
совокупности.
1.1.5. Математическое ожидание и высшие моменты
случайной величины. Предположим, что х является
случайной величиной, имеющей дискретное распределение
вероятностей. Пусть f(t) обозначает распределение х, т. е. f(t)
равно вероятности того, что x = t. Тогда математическое
ожидание х, обозначаемое через Е(х), определится
выражением
= 2'/('). A.4)
t
где суммирование ведется по всем возможным значениям х.
Интерпретируя вероятность f(t) как долю элементов
генеральной совокупности, для которых х = t, легко видеть
из A.4), что математическое ожидание Е(х) величины х
совпадает со средним значением х в генеральной
совокупности. Если х является непрерывной величиной, которая
допускает существование функции плотности вероятности/^),
то математическое ожидание х определится следующим
образом:
оо
Е(х)= ftf(t)dt. A.5)
— ОО
Математическое ожидание х часто называют средним по
множеству или просто средним значением х.
Функция ср(х) случайной величины сама является
случайной величиной. Математическое ожидание функции (х — c)rt
где г — любое целое положительное число, а с —
постоянная, называется r-м моментом величины х относительно с.
Особый интерес представляет случай, когда с — Е(х).
Математическое ожидание функции [х — Е(х)]г называется г-м
моментом х относительно среднего. Второй момент
относительно среднего, т. е. математическое ожидание функ^
ции [х — Е(х)]2, называется также дисперсией. Корень
квадратный из дисперсии называется стандартным
отклонением или средним квадратическим отклонением.
Рассмотрим нормальную функцию плотности вероятности
**;* 2°° ' A-6)

где [i и а — постоянные (о > 0). Пусть х — случайная
величина, распределение которой определяется выражением A.6).
Тогда, как легко убедиться, математическое ожидание х
равно у, а дисперсия равна о2.
§ 1.2. Понятие статистической гипотезы
1.2.1. Неизвестные параметры распределения. Пусть
х — случайная величина. Если распределение х неизвестно,
то может возникнуть следующая статистическая задача: по
некоторому конечному числу наблюдений х высказать
некоторое суждение относительно неизвестного распределения х.
Зачастую распределение х не является совершенно
неизвестным, т. е. некоторые неполные данные о распределении
известны априори. Для иллюстрации этого рассмотрим
следующие два примера.
Пример 1. Рассмотрим партию товара, состоящую из N штук
некоторых промышленных изделий. Предположим, что каждое
изделие может быть отнесено к одной из двух категорий: к
дефектным или недефектным, и мы случайным образом выбираем из этой
партии одно изделие и проверяем его. Если цифрой 0 обозначить
каждое недефектное изделие, а цифрой 1 каждое дефектное, то
результат нашей проверки будет случайной величиной, которая
может принимать только два значения: 0 и 1. Обозначим через р
относительное количество дефектных изделий в данной партии.
Тогда вероятность того, что х = 1, будет равна />, а вероятность
того, что х = О, будет равна 1—р. Таким образом, если величина р
известна, то распределение х будет полностью определено. Обычно
величина р неизвестна, и мы, проверяя некоторое количество
изделий, взятых из данной партии, хотим высказать некоторое
суждение относительно величины р. Если р неизвестно, то наше знание
распределения х неполно: мы знаем только, что х может принимать
лишь значения 0 и 1. В этом примере р рассматривается как
неизвестный параметр распределения, который может принимать
любую величину от 0 до 1. При этом будем говорить, что
распределение х включает в себя неизвестный параметр р. Таким образом,
в данном примере с точностью до значения параметра р нам
известно распределение х.
Пример 2. Предположим, что мы измеряем длину стержня
при помощи некоторого инструмента, относительно которого
известно, что ошибки измерения распределены по нормальному закону.
Тогда результат х такого измерения будет нормально
распределенной случайной величиной, т. е. распределение х будет определяться
нормальной функцией плотности вероятности
-— ехр — - ^~ ,

Среднее значение распределения (л и его дисперсия о* являются
параметрами нормального распределения и обычно неизвестны.
Среднее значение ja может равняться любой действительной
величине, а а2 может принимать любое положительное значение.
Таким образом, в данном примере функция распределения также
известна с точностью до значений параметров (х и о, входящих
в состав распределения.
Ситуацию, подобную указанным в этих двух примерах,
вообще можно сформулировать следующим образом:
функциональная форма закона распределения известна, но
величины конечного числа параметров, входящих в распределение,,
неизвестны, т. е. функция распределения известна полностью,
кроме значений конечного числа параметров. В первом
примере единственным неизвестным параметром было
относительное количество дефектных изделий р в данной партии
товара, во втором примере было уже два неизвестных
параметра: среднее значение ji и дисперсия о2.
В дальнейшем будем предполагать, что нам известен вид
распределения случайной величины х, но неизвестны
входящие в него в конечном числе параметры.
1.2.2. Простые и сложные гипотезы. Пусть бх, 92, ...
..., 0Л — неизвестные параметры распределения
рассматриваемой случайной величины х. Будем называть простой
гипотезой такое предположение относительно величины
параметров 6lf ..., 0?, которое определяет единственные
значения всех к параметров. Если согласно нашему
предположению некоторый параметр может иметь больше одного
значения, то мы имеем дело со слоэюной гипотезой.
Например, если имеются два неизвестных параметра 6t и 02,
входящих в распределение х, то гипотеза о том, что бх = 2
и б2 = 4, будет простой гипотезой, поскольку она
однозначно определяет значения всех неизвестных параметров.
С другой стороны, гипотеза о том, что 61 = 62, будет
сложной гипотезой. В примере 1 утверждение, что относительное
количество дефектных изделий р = 0,2, будет простой
гипотезой; с другой стороны, утверждение, что величина р лежит
между 0,1 и 0,3, будет сложной гипотезой. В примере 2
утверждение, что [а = 3, будет сложной гипотезой, поскольку
оно не определяет величину неизвестного параметра о2.
Вообще параметры 6lt . . ., Qk ничем априори не
ограничены, т. е. они могут принимать любые значения. Однако
в некоторых случаях возможные значения параметров могут
30

быть ограничены известными интервалами. Так, если один
из неизвестных параметров является стандартным отклонением,
то он может принимать лишь положительные значения. В
других случаях параметр может принимать лишь конечное число
дискретных значений.
§ 1.3, Основные черты существующей методики проверки
статистических гипотез
1.3.1. Выборка. Пусть х— случайная величина, и мы
хотим проверить гипотезу, касающуюся неизвестных
параметров распределения х. Решение о принятии или
отклонении указанной гипотезы всегда выносится на основе
конечного числа наблюдений х. Совокупность конечного числа
наблюдений х называется выборкой. Количество наблюдений,
составляющих выборку, называется объемом выборка.
Мы будем рассматривать, в основном, случаи, когда
последовательные наблюдения х независимы в вероятностном
смысле. Последовательные наблюдения х1$ х2, ..., хп
величины х называются статистически независимыми, если
условное распределение вероятностей 1-го наблюдения хг
A = 2 п) (при условии, что величины предыдущих
наблюдений xv ..., Xt_! известны) не зависит от величин
предыдущих наблюдений. Это условие, строго говоря, не
удовлетворяется, если последовательные наблюдения берутся из
конечной генеральной совокупности. Рассмотрим, например,
случай, который обсуждался в примере 1 предыдущего
параграфа. Предположим, что из партии товара случайным
образом выбираются два изделия. Обозначим через xt величину
параметра х для первого, а через х2 — величину параметра х
для второго изделия. Очевидно, что распределение хх
определяется следующим образом: вероятность того, что хх = 0,
равна 1—р\ вероятность того, что л:1==1, равна/?.
Распределение х2 при известной величине хх определяется
следующим образом: если д:1 = 0, то вероятность того, что
pN
лг2=1, равна -jfzT\ и вероятность того, что лг2=0, равна
1 — j/^i * В другом случае, когда jc1=1, вероятность
и вероятность того, что
, что лг2=1, равна PN~i
p]sf l
х2 = 0, равна 1— дг_1 * Таким образом, распределение
вероятностей х2 зависит от исхода первого наблюдения — от
31

величины xv В силу подобных обстоятельств и в любом
другом случае, когда последовательные наблюдения
производятся из конечной генеральной совокупности, строгая
независимость этих наблюдений невозможна. Однако если число
элементов в конечной генеральной совокупности достаточно
велико, то зависимость между последовательными
наблюдениями будет слабой и ею можно пренебречь.
Пусть х — дискретная случайная величина и через f(t)
обозначено ее распределение, т. е. f(f) — это вероятность
того, что х — t. Пусть jCj, ..., хп — последовательность
независимых наблюдений величины х. В силу независимости
наблюдений вероятность получения выборки, совпадающей
с наблюденной, определяется произведением
Это произведение называется также совместным
распределением вероятностей выборка xv ..., хп.
Если х — непрерывная случайная величина, для которой
существует функция f(t) плотности вероятности, то функция
плотности совместной вероятности п независимых
наблюдений хх, х2, ..., хп величины х определяется произведением
1.3.2. Общая методика проверки статистических
гипотез. Обозначим через п количество наблюдений, на основе
которых принимается или отвергается некоторая гипотеза,
подлежащая проверке. Любой возможный исход п последо*
вательных наблюдений образует выборку объемом п.
Методика проверки, приводящей к принятию или отклонению
проверяемой гипотезы, заключается просто в некотором
правиле, определяющем на основании каждой возможной выборки
объема п, следует ли принять или отвергнуть данную гипотезу.
Эту мысль можно также выразить следующим образом:
методика проверки заключается в подразделении множества
всех возможных выборок объема п на два непересекающихся
подмножества (скажем, подмножество 1 и подмножество 2)
и в применении следующего правила: проверяемая гипотеза
должна быть отвергнута, если наблюденная выборка попадает
в подмножество 1, и должна быть принята, если
наблюденная выборка принадлежит подмножеству 2. Подмножество 1
называют также критической областью. Поскольку
подмножество 2 состоит из всех тех выборок объема п,
которые не вошли в подмножество 1, то подмножество 2 одно-
32

значно определяется заданием подмножества 1. Таким
образом, выбор той или иной методики проверки эквивалентен
выбору критической области.
В качестве иллюстрации рассмотрим несколько примеров.
Предположим, что партия товара, состоящая из N
промышленных изделий, подвергается приемочному контролю. Будем
считать, что каждое изделие можно отнести к одной из двух
категорий: либо оно дефектно, либо недефектно.
Относительное количество р дефектных изделий в проверяемой партии
считается неизвестным. Обозначим через р0 такую величину,
лежащую между нулем и единицей, что считается
целесообразным принять партию товара, если относительное
количество дефектных изделий р меньше или равно этой величине.
В противном случае, т. е. когда р>р0, мы предпочитаем
забраковать партию. Предположим, что проверяется выборка
из п изделий, случайным образом выбранная из
рассматриваемой партии, и по результатам этой проверки выносится
решение о принятии или отклонении гипотезы р4^Ро-
Критическую область, обычно используемую в подобных случаях,
можно определить следующим образом: гипотеза р^СРо
отвергается, т. е. партия товара бракуется, в том (и только
в том) случае, если относительное количество дефектных
изделий в выборке из п изделий превысит соответствующим
образом выбранную постоянную величину с.
Второй пример. Предположим, что мы производим
измерение длины стержня при помощи инструмента, ошибка
измерения которого распределена по нормальному закону
с единичной дисперсией, так что результат х нашего
измерения является нормально распределенной случайной
величиной со средним значением [х, равным истинной длине стержня,
и с дисперсией, равной единице. Допустим, что мы
проверяем гипотезу о том, что истинная длина стержня равна
некоторой заданной величине jjl0. Эта гипотеза должна быть
проверена на основе выборки, состоящей из п независимых
измерений xlt x2> ..., хп длины стержня. Критическая
область, обычно используемая в подобных случаях, определяется
следующим образом: гипотеза о том, что jx = a0, отвергается
тогда (и только тогда), когда наблюденная выборка такова,
что \х — |д0 | ^ с, где х — среднее арифметическое значение п
наблюдений, с — соответствующим образом выбранная
постоянная.
Вообще говоря, существует бесконечное количество
способов выбора критической области. Так, в последнем примере
3 Зак 1119. А Вальд 33

мы могли бы использовать не среднее арифметическое
значение наблюдений, а медиану, среднее геометрическое, среднее
гармоническое или некоторое другое среднее значение
наблюдений.
Очевидно, что различным образом выбранные критические
области не могут приводить к одинаково хорошим
результатам. Поэтому основная проблема, связанная с проверкой
статистических гипотез, заключается в установлении
некоторых принципов для соответствующего выбора критической
области. Такие принципы были выдвинуты Дж. Нейманом
и Е. Пирсоном. В следующем пункте мы кратко обсудим
основную идею теории Неймана —Пирсона1).
1.3.3. Принципы выбора критической области.
Принципы, которыми следует руководствоваться для правильного
выбора критической области, были сформулированы Нейманом
и Пирсоном. Эти принципы имеют фундаментальное
значение в теории проверки статистических гипотез. В настоящем
разделе будет кратко изложена основная идея теории
Неймана— Пирсона.
Особый теоретический интерес представляет простой
случай, когда в распределение рассматриваемой случайной
величины х входит единственный неизвестный параметр б, который
может принимать лишь два значения: 90 и 01# Основную идею
теории Неймана — Пирсона можно пояснить даже на этом
простом примере. Поэтому в данном и в следующем
разделах ограничимся случаем единственного неизвестного
параметра распределения 0, который может принимать только
два значения 0О и 0Х.
Пусть f(xy 0) означает распределение случайной
величины х при любой величине параметра 0. Обозначим через /0 (х)
распределение /(х, 0О), а через fx(x) распределение f(x, 0J.
Предположим, что нам требуется проверить гипотезу о том,
что 0 = 0О. Будем называть эту гипотезу нулевой и обо-
.значать ее через Но. Гипотезу о том, что 0 = 0!, будем
называть конкурирующей и обозначать ее через Нх. Таким
образом, перед нами стоит задача проверки гипотезы Но
относительно конкурирующей гипотезы Нх на основе выборки
xl9 х2, . . ., хп из п независимых наблюдений х.
В качестве основы для выбора из множества возможных
критических областей той критической области, которая со-
!) См., например, J. Neyman and E. S. Pearson, Statistical
research memoirs, University College, London, vol. 1 A936), pp. 1—37.
34

ответствует данной конкретной задаче, Нейман и Пирсон
предложили следующие соображения. Принимая или отклоняя
гипотезу Но, можем допустить ошибки двух родов. Мы
допускаем ошибку первого рода, если отклоняем гипотезу Но>
в то время как она истинна, и допускаем ошибку второго
рода, если принимаем гипотезу Яо, в то время как истинна
конкурирующая гипотеза Hv Вероятности ошибок первого
и второго рода однозначно определяются выбором
критической области W. Действительно, вероятность ошибки
первого рода равна вероятности попадания наблюденной выборки
в .критическую область W, вычисленной при гипотезе Яо,
а вероятность ошибки второго рода равна вероятности
непопадания наблюденной выборки в критическую область W,
вычисленной при гипотезе Hv Для любой заданной
критической области W будем обозначать через а вероятность
ошибки первого рода и через р— вероятность ошибки
второго рода. Вероятности аир допускают следующую
важную практическую интерпретацию. Предположим, что мы
получили большое количество выборок объема п. Обозначим
количество таких выборок через М и будем считать, что для
каждой из этих М выборок мы отвергаем гипотезу Яо, если
выборка попадает в область W, и принимаем гипотезу Яо,
если выборка не попадает в область W. Таким образом, мы
делаем М выводов о принятии или отклонении гипотезы #0.
Некоторые из этих заключений будут, вообще говоря,
ложными. Если гипотеза Яо истинна, а М велико, то с
вероятностью, близкой к единице (т. е. практически достоверно),
можно считать, что доля ложных заключений (т. е.
количество ложных заключений, деленное на М) будет примерно
равна а. Если истинна гипотеза Hv то с вероятностью,
близкой к единице, можно считать, что доля ложных
заключений будет примерно равна р. Таким образом, можем
сказать, что при большом количестве выборок доля ложных
заключений равна а, если верна гипотеза Яо, и равна р, если
верна гипотеза Ht.
Ясно, что если некоторой критической области W
соответствуют меньшие величины а и р, то такая область W для
нас предпочтительнее. Соответствующий выбор критической
области W позволяет сделать как угодно малой либо а,
либо р, однако оказывается невозможным при
фиксированном пу т. е. при фиксированном объеме выборки, сделать
как угодно малыми одновременно и а и р. Для иллюстрации
сказанного рассмотрим следующие два предельных случая.
3* 35

1) Область W пустая, т. е. мы всегда принимаем
гипотезу Но независимо от исхода испытания. В этом случае
а = 0 и р== 1.
2) Область W представляет собой множество всех воз*
можных выборок, т. е. мы всегда отвергаем гипотезу Но.
В этом случае а = 1 и р = 0.
Если по каким-либо причинам мы решим рассматривать
только те критические области W, для которых вероятность а
равна заданной величине, то выбор какой-то определенной
области из областей указанного класса должен основываться на
следующем принципе, выдвинутом Нейманом и Пирсоном:
ограничивая наш выбор областями Wt для которых вероятность а
равна заданной величине, мы должны выбрать ту область
из этого множества, для которой вероятность р минимальна.
При этом величина а называется уровнем критической
области, а величина 1—р — мощностью критической
области. Критическая область, имеющая наибольшую мощность
среди всех областей одинакового уровня, называется
наиболее мощной областью. Поскольку выбор минимального
Р — это то же самое, что и максимализация величины 1— р,
то принцип Неймана — Пирсона, касающийся выбора
критической области W, можно сформулировать следующим
образом: ограничивая наш выбор областями фиксированного
уровня а, мы должны выбрать в качестве критической
наиболее мощную область этого уровня.
Если при фиксированном объеме выборки будем
использовать наиболее мощную критическую область, то
вероятность р будет однозначной функцией а, которую обозначим
через Р(а). Следовательно, задавая количество наблюдений,
на которых основана проверка, мы можем выбрать
произвольно одну из величин а или р. Теория Неймана — Пирсона
оставляет вопрос об этом выборе открытым. Вообще говоря,
ясно, что если а мало, то р велико, и, наоборот, если
велико а, то р будет, вообще говоря, малым. Выбор
величины а (или Р) в каждом частном случае сильно зависит от
того, насколько важны для нас ошибки первого и второго
рода. Предположим, например, что убыток, вызываемый
ошибкой первого рода, составляет один доллар, а потери,
вызываемые ошибкой второго рода, равны одному центу1).
Тогда, очевидно, мы предпочитаем иметь малую
вероятность а и большую вероятность р, а не наоборот.
х) 1 доллар = 100 центов. {Прим. ред.)
36

Нейман и Пирсон показали, что область, состоящая из
всех выборок xv х2 хп, для которых удовлетворяется
неравенство
/(*)/(*) Л(*) ^ и
является наиболее мощной критической областью для
проверки гипотезы Но относительно гипотезы Ht. Постоянная
величина k в правой части неравенства выбирается из
условия, чтобы критическая область имела определенный
уровень а. Обстоятельства, в силу которых критическая область,
определяемая неравенством A.7), является наиболее мощной
областью для данной проверки, можно изложить
следующим образом. Будем для простоты считать, что
распределения вероятностей х при гипотезах Яо и Н1 дискретны, т. е.
fi(xi)fi(x2) ••• fi(xn) (где * = 0, 1) означает вероятность
получения выборки, совпадающей с наблюденной.
Построение критической области, определяемой неравенством A.7),
можно начать с выборки E1 = (x1v х\, ..., хг\, для кото-
f (х ) f (х )
рой отношение }, .'' * }) . максимально. Затем в эту
/о \х\) . • • /о \хп)
область включается также выборка
для которой отношение }\ '' j ,п[ максимально среди
/о (-^i) ... /о \Хп)
всех выборок, оставшихся после извлечения из множества
всех возможных выборок выборки Е1. Вообще после того как
в критическую область включено г выборок Е1, Е2 Егу
в эту область включается также выборка Er+1, которая
имеет максимальное среди всех оставшихся выборок
отношение },{ ''' } ]п\ . Этот процесс продолжается до тех
/о (*i) -. /о \*п)
пор, пока уровень критической области не достигнет
заданной величины ах). Поскольку на любой стадии этого
процесса последняя выборка, включенная в критическую область,
имеет наибольшее отношение вероятностей осуществления
при гипотезах Н1 и Ио по отношению к любой другой
выборке, еще не вошедшей в состав области, то очевидно, что
х) Если х — дискретная случайная величина, то может случиться,
что на последней стадии этого процесса при включении в
критическую область последней выборки уровень области увеличится
с величины меньше а до величины несколько больше а.
37

вероятностная мера критической области при справедливости
гипотезы Hv т. е. мощность критической области, больше
или равна мощности любой другой области того же уровня.
Проиллюстрируем принцип выбора критической области на
следующем простом и хорошо известном примере. Пусть Но —
гипотеза о том, что случайная величина х распределена по
нормальному закону со средним значением 0о и с единичной
дисперсией. Будем считать, что задана также бх и имеется
гипотеза Нх о том, что величина х распределена по
нормальному закону со средним значением 0Х и единичной
дисперсией. Предположим 62 > 0О. При проверке гипотезы Ио
относительно конкурирующей гипотезы Их мы должны опре-
f (х \ f (х \
делить отношение }) 1('" }; п! . Так как
/о C*i) ... /о (хп)
f (У \ f (у \ — —— р~~2
/О \ХО • • • /О \Хп) — п е
то неравенство A.7) можно переписать в виде
A.8)
Беря логарифм от обеих частей неравенства, получим
/ а 1 / = 1
П
Следовательно,
38

Неравенство A.9) можно записать в виде
AЛ0)
Выберем теперь величину k" такой, чтобы критическая
область, определяемая неравенством A.10), соответствовала
уровню а = 0,05. Так как при гипотезе Но случайная вели-
2(*/-во)
чина — распределена по нормальному закону с
нулевым средним значением и дисперсией, равной —, то по
таблице нормального распределения получим, что k" = -у=^.
у п
Таким образом, наиболее мощная область уровня 0,05
является совокупностью всех выборок, для которых
выполняется неравенство
„.,„
Полученный результат хорошо известен. Задолго до того,
как Нейман и Пирсон развили свою теорию проверки
статистических гипотез, на практике при проверке гипотезы
б = б0 относительно гипотезы 0 > 60 уже использовалась
критическая область A.11). Замечательным свойством
области, определяемой этим неравенством, является то, что она
не зависит от конкурирующей величины Glf так как при
выводе этого неравенства использовалось только условие,
что д{ > 60. Следовательно, критерий, определяемый областью
A.11), является наиболее мощным по отношению ко всем 61(
т. е. является равномерно наиболее мощным критерием
в случае, когда конкурирующее значение параметра
превышает величину б0.
1.3.4. Количество наблюдений, необходимых при
заданных вероятностях а и р. В предыдущем пункте мы
предполагали, что величина а и объем выборки п заданы
и требуется найти критическую область, соответствующую
этим величинам, для которой вероятность р была бы
минимальной. В настоящем разделе будем считать, что заданы
вероятности аир, так что наша задача заключается теперь
39

в отыскании минимальной величины п, при которой мощность
наиболее мощной области уровня а больше или равна 1—C.
Обозначим через рЛ вероятность ошибки второго рода,
связанной с наиболее мощной критической областью уровня а
в случае, когда проверка гипотезы основана на п
наблюдениях. Можно показать, что с ростом п величина (Зл
уменьшается или во всяком случае не возрастает. Вообще (Зя
стремится к нулю при неограниченном возрастании п.
Обозначим через п(а, C) наименьшую величину я, для которой
Р/г^Р- Тогда для получения критерия, при котором
вероятность ошибки первого рода равнялась бы а, а
вероятность ошибки второго рода не превосходила бы (J, мы
должны будем, в соответствии с существующей теорией, брать
выборки объемом п^ п(а, ф). При использовании наиболее
мощной критической области мы должны брать выборки
объемом п = п (а, C).
1.3.5. Проверка гипотезы как выбор между двумя
возможными действиями. На практике часто появляется
необходимость выбора между двумя возможными действиями,
скажем действием 1 и действием 2, причем
предпочтительность того или иного действия зависит от величины
неизвестного параметра 6 в распределении случайной величины х.
Обозначим через а> множество всех величин 9, для которых
действие 1 предпочтительнее. Следовательно, для любой
величины б, не входящей в <о, действие 2 предпочтительнее
действия 1. Проблему выбора между этими двумя действиями
в случае, когда выбор проводится на основе п независимых
наблюдений величины х, можно толковать как проблему
проверки гипотезы Н о том, что истинная величина 6
принадлежит множеству о). Если наша проверка приводит
к принятию гипотезы Я, мы совершаем действие 1; если
проверка приводит к отклонению гипотезы И, мы
совершаем действие 2.
Рассмотрим в качестве примера следующую задачу.
Предположим, что приемочной проверке подвергается партия то-
зара, состоящая из большого количества промышленных
изделий. Доля р дефектных изделий для данной партии
неизвестна. Тогда возможны два действия: принять данную
партию или забраковать ее. Вообще говоря, существует
такая величина р\ что если истинная доля дефектных изде*
лий р меньше /?', то мы предпочитаем принять всю партию
товара, а если /?>/?', то мы предпочитаем забраковать ее.
40

Если р—р', то для нас безразлично, принять партию или
забраковать ее. Предположим, что решение о принятии
партии принимается на основе выборки из п изделий,
выбранных случайным образом из проверяемой партии. Тогда наша
задача эквивалентна задаче проверки гипотезы Н о том, что
р^СР' по данной выборке, взятой из проверяемой партии.
Вся партия принимается или бракуется в зависимости от
того, принимается или отклоняется гипотеза И.
Как уже упоминалось в п. 1.3.3, выбор величины а, т. е.
выбор уровня критической области, сильно зависит от
относительной важности ошибок первого и второго рода. Если
задача проверки той или иной гипотезы связана с проблемой
выбора одного из двух возможных действий, то
относительная важность ошибок первого и второго рода вытекает из
рассмотрения практических последствий от принятия того
или иного решения в тех случаях, когда величина
интересующего нас параметра делает предпочтительным решение,
как раз обратное принятому.

ГЛАВА 2
ПОСЛЕДОВАТЕЛЬНАЯ ПРОВЕРКА
СТАТИСТИЧЕСКИХ ГИПОТЕЗ.
ОБЩИЕ ВОПРОСЫ
§ 2.1. Понятие последовательной проверки
В существующей теории проверки статистических гипотез
количество наблюдений, т. е. объем выборки, на которых
основывается проверка, считается постоянным для каждой
конкретной задачи. Существенной чертой последовательной
проверки гипотез, в отличие от ныне существующей
методики проверки, является то, что количество наблюдений,
необходимых для принятия решения, зависит в данном
случае от исхода самих наблюдений и, следовательно, является
не определенной заранее, а случайной величиной.
Метод последовательной проверки гипотезы Н можно
изложить следующим образом. Устанавливается некоторое
правило, которым руководствуются при принятии на каждой
стадии эксперимента (при т-м испытании, где т — любое
целое число) одного из следующих трех решений: 1)
принять гипотезу Н, 2) отклонить гипотезу Я, 3) продолжать
эксперимент и провести дополнительное наблюдение. Таким
образом, проверка проводится последовательно. На основе
первого наблюдения принимается одно из трех решений,
указанных выше. Если принимается первое или второе
решение, то проверка на этом заканчивается. Если
принимается третье решение, то производится второе наблюдение.
На основе двух наблюдений опять принимается одно из
трех возможных решений. Если принимается третье
решение, то производится третье наблюдение и т. д.
Проверка продолжается до тех пор, пока не будет принято
первое или второе решение. Количество п наблюдений, необхо-
42

димых при такой методике проверки, является случайной
величиной, поскольку величина п зависит ог исхода
наблюдений.
Обозначим через Мт множество всех возможных выборов
(хг хт) объема ту глет— любое положительное целое
число. При этом Мт можно толковать и как яг-мерное
пространство выборок. Правило, согласно которому
производится принятие одного из трех возможных решений на
каждой стадии эксперимента, можно изложить следующим
образом. Для каждого целого т /^-мерное пространство
выборок разбивается на три попарно непересекающиеся
области R°m, Rlm и Rm. После того как в результате
первого наблюдения будет определена величина xv мы принимаем
проверяемую гипотезу /У, если величина хх лежит в
области /?ь отклоняем эту гипотезу, если хх лежит в /?}, и
производим второе наблюдение, если хх лежит в Rv Если
принимается третье решение и производится второе
наблюдение х2, то гипотеза И принимается, отклоняется или
производится следующее, третье, наблюдение в зависимости
от того, в какую область попадает выборка (хи х2): в R%
в /?2 или в R2. Если выборка (xlt x2) попадает в область /?2,
производится третье наблюдение х3, после чего вновь
принимается одно из трех возможных решений в зависимости
от того, в какую область попадает выборка (xi9 х2, х3):
в R$, в R\ или в /?3, —и так далее. Этот процесс
заканчивается тогда (и только тогда), когда принимается либо
первое, либо второе решение1). Таким образом,
последовательный критерий полностью определяется заданием
совокупности областей R°m, R{m и Rm для всех возможных
положительных целых т. Поскольку R°m, Rxm и Rm — попарно
непересекающиеся области, которые дополняют друг друга
до полного пространства выборок Мт, то достаточно
определить любые две из совокупностей R°m, Rxm и Rm. Любая
из трех совокупностей R°mt Rlm и Rm состоит как раз из
всех тех выборок, которые не содержатся в двух остальных.
Будем называть выборку (xlt . . ., хт) неэффективной,
если она включает в себя такую первоначальную выборку
(*!, ..., хт'), где т'<т, что (хи ..., хт>) лежит либо
х) Мы будем рассматривать только такие последовательные
критерии, которые заканчиваются с вероятностью, равной единице.
43

в области Рт< либо в области Rlm'. Выборку, не
Отвечающую этому определению, будем, соответственно, называть
эффективной. Ясно, что при последовательном критерии
мы должны иметь эффективную выборку на каждом этапе
эксперимента. Таким образом, при определении
совокупностей R°mt Rlm и Rm можем пренебречь неэффективными
выборками. Другими словами, достаточно указать, в какую из
совокупностей R°m, Rxm и Rm должна включаться каждая
эффективная выборка (х1у ..., хт), поскольку неэффективные
выборки не могут появиться при последовательных проверках.
Приведем простой пример последовательного критерия.
Предположим, что приемочной проверке подвергается
партия товара, состоящая из большого количества
промышленных изделий. Каждое изделие по некоторому признаку может
быть отнесено к дефектным или недефектным. Доля
дефектных изделий р в данной партии неизвестна. Считается, что
партию следует принять, если р меньше или равна заданной
величине р'. Если р > //, то мы предпочитаем забраковать
партию. Таким образом, мы заинтересованы в проверке
гипотезы И о том, что р^.р'.
Методика проверки гипотезы Н может служить простым
примером последовательного критерия. Пусть п0 означает
заданное целое число. Будем считать, что если первые п0
проверенных образцов окажутся недефектными, то проверка
на этом прекращается, и вся партия товара считается
годной (гипотеза Н принимается). Если m-t проверяемое
изделие при т ^ п0 оказывается дефектным, то последующие
изделия не проверяются, и вся партия бракуется (гипотеза Н
отвергается). Будем обозначать цифрой 0 недефектные
изделия, а цифрой 1—дефектные изделия. В нашем примере
выборка (xv .. ., хт) эффективна в том (и только в том)
случае, когда т^.п0 и х1 = х2 = ... — хт_1 = 0. Таким
образом, область R°m не содержит эффективных выборок
при т < /г0, т. е. принятие проверяемой гипотезы невозможно
при т < п0. Область R°nQ содержит единственную
эффективную выборку @, 0, 0 0). С другой стороны, каждая
из областей Rxm содержит при т^.п0 точно по одной
эффективной выборке @,0, ..., 0, 1).
Совокупности областей R°m, Rlm и Rm (где т = 1, 2, .. .),
определяющие последовательный критерий, могут быть
выбраны многими способами, так что основная проблема в тео-
44

рии последовательных критериев заключается в
соответствующем выборе этих совокупностей. Для того чтобы
сформулировать принципы, на которых основывается
наиболее целесообразный выбор совокупностей /?^, Rlm и Rm,
необходимо предварительно изучить те последствия, к
которым приводит каждый конкретный выбор этих
совокупностей, чем и займемся в следующем параграфе.
§ 2.2. Последствия выбора конкретной методики
последовательной проверки
2.2.1. Оперативная характеристика. После того как
выбран конкретный последовательный критерий, т. е.
определенным образом выбраны совокупности R°m, Rxm и Rm
(m=l* 2, ...), вероятность того, что процесс проверки
закончится принятием проверяемой гипотезы Яо, зависит
только от распределения рассматриваемой случайной
величины х. Как и раньше, предполагаем, что распределение
вероятностей х нам известно с точностью до конечного
числа параметров 6lt 02, ..., ftk. Таким образом,
распределение х задается функцией f(x; 0,, 02, ..., 0А), причем
функциональная форма / известна, но истинные значения
параметров 0lt 02, ...» Qk неизвестны. Для простоты будем
обозначать через 0 без индекса совокупность всех
параметров 6lt 02, ..., 0k и считать 0 параметрической точкой
в /г-мерном пространстве с координатами 0lt 02, ..., Ък.
Таким образом, распределение х определяется
параметрической точкой 0. В связи с этим вероятность принятия
гипотезы Но будет функцией от 0. Эту функцию будем
обозначать через L@) и называть оперативной
характеристикой. Если имеется только один неизвестный параметр 0,
то функцию L@) можно изобразить в виде кривой на
графике, где по горизонтали отложено 0, а по вертикали L@).
Поскольку мы условились рассматривать только такие
критерии, которые оканчиваются с вероятностью, равной
единице, то вероятность отвергнуть гипотезу Но будет
равна 1 —Z,@).
Оперативная характеристика очень тесно связана с
понятием функции мощности в существующей теории проверки
статистических гипотез. Для любой параметрической точки 0,
которая входит в нулевую гипотезу Но> мощность
критерия определяется как вероятность отвергнуть гипотезу Яо,
когда 0 является истинной параметрической точкой. Таким
45

образом, для любой точки 0, которая не входит в гипотезу Но,
мощность критерия равна 1—L(Q).
Для иллюстрации смысла оперативной характеристики
вычислим оперативную характеристику конкретного
последовательного критерия, рассмотренного в качестве примера
в предыдущем параграфе. В этом примере имеется только
один неизвестный параметр Ь = р, означающий долю
дефектных изделий в данной партии товара. По условиям
критерия партия принимается в том (и только в том) случае,
когда первые п0 проверенных изделий оказываются
недефектными. Вероятность того, что
первое проверенное изделие
окажется недефектным, равна 1—р.
В предположении, что количество
изделий в рассматриваемой партии
достаточно велико по сравнению с я0,
можно все последовательные
проверки считать независимыми. Тогда
вероятность того, что все п0 изде-
-—*% лий окажутся недефектными, равна
A—р)п\ Таким образом, операткв-
ис* ная характеристика определяется
выражением L (р) = A — р)п°. Эта
функция представлена на рис. 4, на котором по
горизонтальной оси отложена величина р, а по вертикальной величина L (/?).
Эта оперативная характеристика показывает, что процесс
последовательного критерия оканчивается. Для любой
параметрической точки 0 вероятность принятия правильного
решения может быть получена непосредственно из
оперативной характеристики. Если параметрическая точка
согласуется с проверяемой гипотезой Яо, то вероятность принятия
правильного решения равна L(b). Если истинная
параметрическая точка не согласуется с гипотезой Яо, то вероятность
принятия правильного решения равна 1—L(Q). Ясно, что
для нас предпочтительнее иметь такую оперативную
характеристику, которая принимает большее значение для б,
согласующихся с проверяемой гипотезой Яо, и имеет меньшие
значения для 6, не согласующихся с гипотезой Но.
2.2.2. Функция среднего числа наблюдений
последовательного критерия. Выше было указано, что число
наблюдений, необходимых в последовательном критерии, не
предопределяется заранее, а является случайной величиной,
46

поскольку решение о прекращении проверки на некоторой
стадии эксперимента зависит от исхода предшествующих
наблюдений. Например, для конкретного последовательного
критерия, рассмотренного в предыдущем пункте, количество
необходимых наблюдений может равняться любой величине
от 1 до п0. Если в процессе проверки не будет
обнаружено дефектных изделий, то число наблюдений будет равно п0.
С другой стороны, если первые т—1 проверенных изделий
оказались недефектными, а т-е — дефектным (при т </г0),
то общее число наблюдений равно т.
Обозначим через п количество наблюдений, необходимых
для принятия того или иного решения при последовательной
проверке некоторой гипотезы. Очевидно, что п является
случайной величиной. Повторяя один и тот же процесс
последовательной проверки некоторой гипотезы, получим,
вообще говоря, различные значения /г. Особый интерес при
этом представляет среднее значение п (среднее значение п
при большом числе повторений одного и того же
последовательного критерия).
Для любого заданного последовательного критерия
среднее значение п зависит только от распределения х.
Поскольку распределение х определяется параметрической
точкой б, то и среднее значение п зависит только от 0.
Обозначим через Еь (а) среднее значение п при заданной
параметрической точке 6. Если имеется лишь один неизвестный
параметр 0, то функцию Еь(п) можно изобразить в виде
кривой на графике, где по горизонтальной оси отложена
величина 0, а по вертикальной величина Еь(п). Функцию Еь(п)
будем называть функцией среднего числа наблюдений.
В качестве примера вычислим функцию среднего числа
наблюдений для конкретного последовательного критерия,
рассмотренного в предыдущем пункте. Для любого целого
положительного т < п0 вероятность окончания проверки
на m-м наблюдении определяется выражением A —р)/?.
Мы должны проверить п0 изделий в том (и только в том)
случае, если первые п0 — 1 проверенных изделий
оказываются недефектными. Таким образом, вероятность того,
что при данном последовательном критерии потребуется
точно п0 наблюдений, равна A —р)". Следовательно,
среднее значение п определится формулой
? (*) = 2 mpiX-p^+n^l— p)*-1.
m = l
47

Типичный график функции среднего числа наблюдений
приведен на рис. 5.
Оперативная характеристика и функция среднего числа
наблюдений характеризуют любой процесс проверки
статистических гипотез. Эти две функ-
ции являются, возможно, наиболее
важными характеристиками процесса
проверки. Оперативная
характеристика показывает, насколько хорошо
данное правило проверки
соответствует своему назначению —
принятию правильного решения. Функция
среднего числа наблюдений
представляет собой цену, которую нам
*г приходится платить за принятие
определенного решения, выраженную
Рис. 5. в количестве наблюдений,
совершенных в процессе испытания. Таким
образом, оценивая относительные достоинства двух
различных правил проверки, мы должны сравнивать оперативные
характеристики и функции среднего числа наблюдений,
соответствующие этим критериям.
§ 2.3. Принципы, на которых основывается выбор
последовательного критерия
2.3.1. Зависимость от параметра 6 степени
предпочтения того или иного решения относительно нулевой
гипотезы //0. В порядке установления принципов, на
которых следует основывать выбор того или иного
последовательного критерия, необходимо рассмотреть зависимость от
параметрической точки 0 степени предпочтения, которое мы
оказываем решению о принятии или отклонении нулевой
гипотезы Яо.
Обозначим через со множество всех параметрических
точек 6, которые согласуются с гипотезой Но, так что
гипотеза Но заключается в утверждении, что истинная
параметрическая точка входит в состав множества со. Если, например,
имеется только один неизвестный параметр 6 и если
гипотеза Но заключается в том, что б меньше или равен
определенной заданной величине 60, то множество со будет
включать в себя все 6, для которых справедливо
неравенство б ^ б0. Поскольку правильное решение всегда предпоч-
48

тительнее неправильного, то можем сказать, что принятие
гипотезы #0 предпочтительнее при любых б, принадлежащих
множеству со, а отклонение гипотезы Но предпочтительнее
при всех б, не вошедших в состав множества со.
Однако при выборе определенного последовательного
критерия недостаточно руководствоваться простым
утверждением о предпочтительности принятия или отклонения
гипотезы Ио. При этом выборе нам необходимо также знать
что-то относительно того, как степень предпочтения,
которую мы оказываем принятию или отклонению
рассматриваемой гипотезы, зависит от параметрической точки б.
Обозначим через со множество всех параметрических
точек, не вошедших в состав множества со. Тогда точку б
будем считать граничной точкой множества со, т. е. точкой,
расположенной на границе множества to, если в любой
произвольно малой окрестности точки имеются точки,
принадлежащие как к со, так и к ш. Совокупность всех граничных
точек множества со будем называть границей множества со.
Если, например, имеется только один неизвестный параметр
и множество со определяется неравенством б <; б0, то б0
является единственной граничной точкой множества со. Если со
является множеством всех параметрических точек б,
удовлетворяющих условию бо^б^бр то точки б0 и бх будут
граничными точками данного множества.
Если истинная параметрическая точка б принадлежит
множеству со, но расположена вблизи границы этого множества,
то принятию гипотезы Ио будет дано, вообще говоря,
небольшое предпочтение. Аналогично, если истинная
параметрическая точка принадлежит множеству со, но расположена
вблизи границы этого множества, то отклонению гипотезы Но
также будет дано лишь небольшое предпочтение. Другими
словами, отклонение гипотезы Ио нельзя рассматривать как
серьезную ошибку, если истинная параметрическая точка
принадлежит множеству со, но расположена вблизи его
границы. Аналогично, принятие гипотезы Но нельзя считать
серьезной ошибкой, если истинная параметрическая точка
принадлижит к множеству со, но расположена вблизи его
границы. Если же истинная параметрическая точка б
лежит точно на границе множества со, то вообще нельзя
отдать никакого предпочтения тому или иному решению, т. е.
для нас безразлично, будет принята гипотеза Но или же
отклонена.
4 Зак. 1119. А. Вальд 49

Таким образом, множество всех параметрических точек
(параметрическое пространство) можно подразделить на три
попарно непересекающиеся области: 1) рбласть, состоящую
из всех точек б, в которых значительное предпочтение
оказывается принятию гипотезы #0, 2) область, состоящую из
всех точек б, в которых значительное предпочтение
придается отклонению гипотезы Яо, 3) область, состоящую из
всех тех точек, которые не вошли в состав двух
предыдущих областей. Эта последняя область будет состоять из всех
параметрических точек б, в которых ни принятие, ни
отклонение гипотезы не являются сильно предпочтительными.
Будем называть первую область областью принятия, вторую
область — областью отклонения и третью область —
областью безразличия. Область принятия всегда является частью
множества о), а область отклонения — частью множества со.
Область безразличия обыкновенно состоит из точек
множества со и множества о), расположенных вблизи границы или
на самой границе множества о).
Хотя описанное выше подразделение параметрического
пространства на три области и является основой для выбора
того или иного последовательного критерия, его нельзя
рассматривать как статистическую задачу. Такое подразделение
проводится в каждом случае на основе практической
оценки тех последствий, к которым приводит неправильное
решение.
Подразделение параметрического пространства на
упомянутые выше три области приводит к тому, что степень
предпочтения того или иного решения оказывается разрывной
функцией параметра б. Более того, степень предпочтения
того или иного решения мы можем описать при помощи
функций wo(B) и ^(б): функция wo(B) выражает
относительную важность ошибки, связанной с принятием гипотезы Яо,
т. е. те потери, к которым приводит принятие этой
гипотезы, когда б является истинным значением параметра;
функция ^(б) выражает относительную важность ошибки,
связанной с отклонением гипотезы Но, т. е. относительную
важность тех потерь, к которым приводит отклонение
гипотезы Яо, когда б является истинным значением параметра.
Функция wo(Q) равна нулю для всех б, принадлежащих
к множеству со, поскольку для таких б принятие гипотезы Но
является правильным решением. Для всех б, принадлежащих
к множеству о>, функция wQ(Q) будет иметь положительную
50

величину, которая, вообще говоря, тем больше, чем дальше
расположена точка 0 от границы множества о). Аналогично,
функция wt(B) равна нулю для всех 0, принадлежащих к
множеству со, и /о/1@)>О для всех 0, принадлежащих к
множеству о). При этом величина wt(d) будет, вообще говоря,
увеличиваться с увеличением расстояния параметрической
точки от границы множества со.
Проведенное выше подразделение параметрического
пространства на три области эквивалентно следующему выбору
функций wo(Q) и wl(b): wo(Q) = O для 0, расположенных
в области принятия или в области безразличия. Для всех 0,
расположенных в области отклонения, функция wo(Q) равна
большой положительной величине, например с0, что
означает, что потери, вызванные принятием рассматриваемой
гипотезы, имеют уже практическое значение. Аналогично,
-0^F) = О для всех 0, расположенных в области
отклонения или в области безразличия. Для всех 0,
расположенных в области принятия, функция w1(b) равна большой
положительной величине, например cv что означает, что
потери, к которым приводит отклонение рассматриваемой
гипотезы, имеют уже практическое значение.
Для точного описания зависимости степени предпочтения
того или иного решения от параметра 0 необходимо
зачастую использовать непрерывные функции ^о@) и wl(d). Тем
не менее ступенчатые функции, получающиеся в результате
подразделения параметрического пространства на три области,
будут давать хорошую аппроксимацию функций wo(Q) и w1(B)
в большинстве практических случаев. С другой стороны, эти
ступенчатые функции отличаются большой простотой и
наглядностью. В связи с этим в дальнейшем будем
предполагать, что зависимость степени предпочтения того или иного
решения от 0 описывается ступенчатыми функциями,
получающимися в результате подразделения параметрического
пространства на три области, упомянутые выше.
Для иллюстрации введенных понятий рассмотрим кратко
несколько примеров. В качестве первого примера рассмотрим
приемочную проверку партии товара, состоящей из большого
количества промышленных изделий. Предположим, что все
изделия разделяются на две категории (дефектные и
недефектные) и мы предпочитаем принять эту партию товара
или забраковать ее только в зависимости от доли р
дефектных изделий в партии. Вообще говоря, можно выбрать две
величины р0 и /?! (Ро<СРх) такие, что в случае
4* 51

отклонение партии является серьезной ошибкой, имеющей
практическое значение, а в случае р^рх то же можно сказать
о принятии этой партии. В случае, когда величина р лежит
между р0 и р1% ни одно из этих двух решений не является
сильно предпочтительным. Таким образом, область
безразличия в данном примере можно определить как интервал
между р0 и pv область принятия — как совокупность всех /?,
соответствующих неравенству /?<^/?о» и область
отклонения— как совокупность всех/?, соответствующих
неравенству /?>/?!.
В качестве второго примера рассмотрим задачу об
определении твердости х некоторых промышленных изделий.
Будем считать, что твердость х меняется от образца к
образцу, так что в генеральной совокупности всех
изготовленных изделий твердость х можно считать случайной
величиной, распределенной по нормальному закону. Предположим,
что среднее значение 6 величины х неизвестно, но
стандартное отклонение этой величины мы знаем. Будем считать,
что наиболее желательная величина 0 равна 60 и что изделия
становятся тем менее желательными, чем больше абсолютная
величина разности |б — 0О| между истинным средним
значением и наиболее желательной величиной 0О.
Предположим, что мы должны ответить на вопрос,
следует ли выпускать данную продукцию на рынок или нет.
При такой постановке вопроса можно, вообще говоря,
определить некоторую положительную величину с такую, что
при |б — 60|<с мы предпочитаем выпустить партию наших
изделий на рынок, а при |0 — 0О|>?— воздержаться от
этого. При |0 — 0о| = с для нас безразлично, какое
решение будет принято. Таким образом, гипотезу Но можно
сформулировать как гипотезу о том, что |0 — 0О | < с. Мы не
будем определять область безразличия равенством | 0 — 0О |=с,
так как если 10 — 0О | несколько отличается от с, то
степень предпочтения одного решения перед другим очень мала
и не может иметь практического значения. Можно, однако,
определить некоторую положительную величину А такую,
что при |0 — 0о|<с — А мы очень заинтересованы в
принятии гипотезы Яо, т. е. в выпуске продукции на рынок,
а при |0 — 0о|>с-)-А мы сильно заинтересованы в
отклонении гипотезы Яо. В случае, когда с — А ^ I 0 — ^ol^^ + A»
мы не можем оказать значительного предпочтения ни одному
из решений. Таким образом, область безразличия в данном
примере определится неравенством с — А <^ | 0 — М^
$2

область принятия — неравенством |б — 0о| < с — А, а область
отклонения — неравенством | 0 — б0 | > с -\- Д.
В обоих рассмотренных примерах было только по одному
неизвестному параметру. Рассмотрим теперь пример с двумя
неизвестными параметрами. Предположим, что приемочному
испытанию подвергается партия товара, состоящая из
большого числа промышленных изделий. Предположим, что
интересующей нас характеристикой изделий является
сопротивление их давлению, которое измеряется величиной х.
Будем считать, что величина х меняется от изделия к
изделию и распределена в данной партии товара по нормальному
Область
отклонения
Область
принятия
I
Рис. 6.
закону с неизвестным средним значением [х и неизвестным
стандартным отклонением а. Обозначим через L такую
величину xt что принятие данной партии является очень
предпочтительным, если доля изделий, для которых x^L, не
превосходит 1 %, а в случае, когда доля таких изделий
больше 5%, мы очень заинтересованы в отклонении всей
партии. В промежуточном случае, когда доля изделий, у
которых х <С L, составляет величину, лежащую между 1 %
и 5%, ни одно из решений не является значительно
предпочтительным.
Доля изделий, для которых x^L, больше или равна 5%
в том (и только в том) случае, если ^^— ^ Х1э а доля та-
о
ких изделий меньше или равна 1% в том (и только в том)
„ ?
случае, когда — ^\ Оч < ^)- Величины \< и Х2 можно
о
определить по таблице нормального распределения. Таким
образом, область отклонения определится совокупностью
53

всех величин jjl и а, для которых выполняется неравенство
<С ^i« область принятия определится неравенством
^ >- Х2, область безразличия—неравенством Хх <**""" ¦ <Х2.
Эти три области представлены на' рис. 6, где по
горизонтальной оси отложена величина [л, а по вертикальной
величина с. Область безразличия ограничена двумя прямыми,
проходящими через точку L на оси абсцисс и имеющими
1 1
наклон
соответственно.
2.3.2. Требования, предъявляемые к оперативной
характеристике. Предположим, что согласно проверяемой
гипотезе Но истинная параметрическая точка G принадлежит
к некоторому множеству w параметрических точек. Тогда
для нас желательно, чтобы вероятность • принятия
гипотезы Но была как можно больше, когда 0 принадлежит к а>,
и была как можно меньше, когда 0 не принадлежит к
множеству со. Поскольку вероятность принятия гипотезы Но
равна, по определению, оперативной характеристике Z,@)f
то нам желательно иметь такую функцию А@), которая
имела бы большую величину для всех 0, принадлежащих
Пример идеальной
оператибной
характеристики
Рис. 7.
к множеству о>, и меньшую величину для всех 0, не
принадлежащих к этому множеству со. Пусть, например, имеется
только один неизвестный параметр 0 и надо проверить
гипотезу о том, что 0 ^ 0О. Тогда идеальная оперативная
характеристика должна быть равна единице при 0 ^ 0О
и нулю при 0 > 0О (рис. 7).
54

Исходя из той неполной информации относительно 9,
которая заключена в случайной выборке из генеральной
совокупности, нельзя, вообще говоря, получить идеальную
оперативную характеристику, но мы можем как угодно близко
подойти к этому идеалу, если будем исходить из достаточно
большой выборки.
Чем ближе оперативная характеристика к указанной
идеальной характеристике и чем меньше среднее число
необходимых наблюдений, тем более желательным является данный
последовательный критерий. Эти две основные
характеристики критерия накладывают на него противоречивые
ограничения, так как чем ближе будет наша оперативная
характеристика к своей идеальной форме, тем, вообще говоря,
большее число наблюдений потребуется во время испытания.
Для достижения компромисса можно поступать следующим
образом. Сначала сформулируем требования, предъявляемые
к оперативной характеристике, касающиеся близости ее
к идеальной оперативной характеристике, и в дальнейшем
будем рассматривать только те критерии, которые
удовлетворяют этим требованиям. Из этих критериев выберем тот,
для которого среднее количество необходимых наблюдений
будет минимальным. Такая процедура, когда мы сначала
накладываем ограничения, связанные с оперативной
характеристикой, а лишь затем минимализируем среднее число
наблюдений, представляется вполне оправданной, так как
оперативная характеристика, вероятно, является наиболее важным
показателем критерия.
Для формулировки требований, предъявляемых к
оперативной характеристике, используем подразделение
параметрического пространства на три области, которое введено
в предыдущем пункте. Так как в области безразличия ни
одно из решений не является сильно предпочтительным, то
не будем накладывать никаких ограничений на поведение
оперативной характеристики L F) внутри этой области.
В областях принятия и отклонения требования,
предъявляемые к оперативной характеристике, можно сформулировать
следующим образом. Для любой параметрической точки 6,
расположенной в области принятия, вероятность отклонения
гипотезы Но (т. е. величина 1—L(Q)) должна быть меньше
или равна заранее заданной величине а. Для любой
параметрической точки б, расположенной в области отклонения,
вероятность принятия гипотезы Ио (т. е. величина ?(9))
должна быть меньше или равна заранее заданной величине C.
55

Таким образом, все сказанное относительно оперативной
характеристики можно резюмировать следующим образом.
Сначала параметрическое пространство подразделяется на три
попарно непересекающиеся области: область принятия,
область отклонения и область безразличия. Затем выбираются
две положительные величины а и р, обе меньшие единицы.
Тогда требования, предъявляемые к оперативной
характеристике, определятся следующим образом;
1—
для всех 0, расположенных в области принятия.
B.1)
9)<1Р Для всех в, расположенных в области отклонения.
B.2)
Условие B.1) можно также записать в виде
—а для всех 0, расположенных в области принятия.
B.3)
Подразделение параметрического пространства на три
области, так же как и выбор величин аир, осуществляется
в каждом конкретном случае на основе практического
рассмотрения различных аспектов данной задачи. Мы будем
Рис. 8.
говорить, что последовательный критерий допустим, если
для него удовлетворяются неравенства B.2) и B.3).
Типичная оперативная характеристика, удовлетворяющая
условиям B.2) и B.3), приведена на рис. 8 для случая, когда
имеется лишь один неизвестный параметр 0 и область прц-

иятия определяется неравенством 0^вО' а область
отклонения— неравенством 0 !>-0Х (б0 < 0^.
2.3.3. Функция среднего числа наблюдений как основа
для выбора последовательного критерия. Подразделив
параметрическое пространство на три области и выбрав
величины аир, будем затем рассматривать только
допустимые критерии, т. е. критерии, которые удовлетворяют
условиям B.2) и B.3). Ясно, что из этих критериев
целесообразно выбрать такой последовательный критерий, для
которого среднее число наблюдений, необходимых в процессе
испытания, оказывается наименьшим. Это среднее число
наблюдений Еь(п) зависит, как было указано в п. 2.2.2, от
параметрической точки 0. В п. 2.2.2 мы назвали функцию Еь(п)
функцией среднего числа наблюдений при данном критерии.
Среднее число наблюдений Еь(п) будет, конечно,
зависеть и от конкретного применяемого последовательного
критерия. Учитывая эту зависимость, мы часто будем
использовать символ Еь (п 15) для обозначения величины ?0 (я),
имеющей место при последовательном критерии 5. Особо
интересно рассмотреть для каждой параметрической точки 8
минимальную1) относительно 5 величину Eb(n\S) (здесь S
может быть любым допустимым последовательным критерием).
Эта минимальная величина, обозначаемая min Еь (п | 5), зави-
сит уже только от 0. Ясно, что для любого допустимого
последовательного критерия S' имеет место неравенство
|0
s
Если существует такой допустимый последовательный
критерий 50, для которого среднее число наблюдений
минимально для всех 0, т. е. для которого Еь (п | So) = min Еь (п | S)
s
для всех 6, то такой критерий можно считать «равномерно
наилучшим» критерием. Однако, вообще говоря, не
существует равномерно наилучшего критерия2), т. е. невозможно
минимализировать среднее число необходимых при
испытании наблюдений одновременно для всех 0. Таким образом,
!) Если минимум не существует, то можно взять нижнюю грань
для E$(n\S).
3) Это положение подобно тому, которое имеет место в теории
проверки статистических гипотез Неймана — Пирсона, в которой
равномерно наиболее мощные критерии существуют только в
исключительных случаях.
57

практически во всех случаях следует при выборе
последовательного критерия руководствоваться некоторым
компромиссным принципом. Мы не предполагаем входить в
обсуждение различных возможных компромиссных принципов,
которые могут быть выдвинуты, поскольку различные
возможные решения этой проблемы euie полностью не
исследованы. Однако в частном, но теоретически очень
интересном случае, когда проверке подвергается простая гипотеза
при единственной конкурирующей простой гипотезе, эта
задача решена и подробно рассмотрена в следующем
параграфе.
§ 2.4. Проверка простой гипотезы Но
при единственной конкурирующей гипотезе Нх
2.4.1. Эффективность последовательного критерия.
Будем рассматривать только два значения параметра б,
например 0О и 6^ Пусть гипотеза Ио заключается в том,
что 0 = 60, а #! означает гипотезу б = б1# Будем называть Но
нулевой гипотезой, а Н1— конкурирующей гипотезой. С
любой последовательной проверкой гипотезы Но относительно
гипотезы #! связаны два числа аир, заключенные между
нулем и единицей. Если истинна гипотеза #0, то вероятность
того, что мы допустим ошибку первого рода (т. е. отклоним
гипотезу #0), будет равна а, а если истинна гипотеза #lf
то вероятность того, что мы совершим ошибку второго
рода (т. е. примем гипотезу Яо), будет равна р. Будем
называть два последовательных критерия равносильными,
если величины а и р, связанные с одним критерием, равны
соответствующим величинам о! и $', связанным со вторым
критерием. Если а < а! и р ^ р' или же а^а' и р < р\
то будем говорить, что критерий 5 сильнее критерия S'
(критерий S' слабее критерия S). Если а < а' и Р > р'
или же а > а' и р < р', то будем говорить, что критерии S
и Sr несравнимы.
Ограничиваясь последовательными критериями данной
силы (а, Р), можно считать более желательным тот критерий,
который требует меньшее среднее число наблюдений. Если S
и S'—два последовательных критерия равной силы, а
"ИЛИ
E%(n\S)<E%(n\S') и
58

то критерий 5 считается предпочтительнее критерия S'.
Если критерий So таков, что
E%(n\S0)^Ebo(n\S) и Ее, (л | So) < Ее, (л |S)
для всех критериев S, равносильных критерию 50, то этот
критерий 50 будем называть оптимальным.
Обозначим через по(а, р) минимальную относительно 5
(где 5 — любой последовательный критерий силы (а, рI))
величину E$0(n\S), a через я^а, р) — минимальную
относительно 5 величину Е^ (п \ S). Тогда для любого
последовательного критерия 5 силы (а, Р) имеем Е$о (п | S) ^ п0 (а, р)
и Ее, (п I S)^nx (а, р). Последовательный критерий S силы (а, Р)
является оптимальным, если Ее0(п \S) = п0(а, Р) и E^(n\S) =
= л1(а, Р). Существование оптимального критерия, вообще
говоря, не доказано. Однако в приложении П. 7 показано,
что для так называемого последовательного критерия
отношений вероятностей So силы (а, Р), который будет определен
в главе 3, отношения
ЕЬа (п | So) \ (п | So) B
П0 (а, р) пх (а, р)
отличаются от единицы только на очень малые величины,
которыми на практике можно пренебречь. Таким образом,
для всех практических целей последовательный критерий
отношений вероятностей можно считать оптимальным2).
В приложении П. 7 также показано, что отношения B.4)
стремятся к единице при 01э стремящемся к 60.
Будем определять эффективность последовательного
критерия силы (а, р) отношением ° :? , когда истинна ги-
потеза Яп, и отношением i*1, , ^ , когда истинна гипо-
теза Hv Очевидно, что эффективность последовательного
критерия в обоих случаях равна величине, лежащей между
г) Если минимальная относительно S величина E$(n\S) не
существует, то берем нижнюю грань ?fi (n \ S).
2) Автор предполагает, что последовательный критерий
отношений вероятностей является строго оптимальным критерием,
но доказать это ему не удалось. (Позднее это удалось доказать
автору и Вольфовицу в совместной работе «Optimum character
of the probability ratio test», Ann. of Math. Stat. 19, № 3 A948),
326—339. Перевод этой статьи помещен в дополнении к этой книге
(Прим. ред.)).
59

нулем и единицей. При этом более желательным является
тот критерий силы (а, р), который имеет большую
эффективность. Эффективность оптимального критерия равна
единице в обоих случаях. Последовательный критерий отношений
вероятностей при проверке гипотезы Но относительно
гипотезы Н1 имеет эффективность, которая, как показывается
в приложении П. 7, если и не точно равна единице, то очень
близка к единице как при гипотезе //0, так и при гипотезе Hv
Как уже упоминалось выше, в приложении П. 7 показывается,
что эффективность последовательного критерия отношений
вероятностей достигает единицы как при гипотезе //0, так
и при гипотезе Hlt если 0Х приближается к б0.
2.4.2. Эффективность существующей методики
проверки гипотез, рассматриваемой как частный случай
последовательного критерия. Существующую методику
проверки гипотез можно рассматривать как частный случай
последовательного критерия. Действительно, если через /V
обозначить фиксированное количество наблюдений,
используемых при существующей методике проверки, а через Wм
обозначить критическую область (т. е. WN — множество всех
выборок объема N, для которых проверяемая гипотеза
отклоняется), то существующую методику проверки можно
считать частным случаем последовательного критерия,
который определяется следующим образом.
Для всех положительных целых чисел т < Л/" области R°m
и R^n являются пустыми областями /я-мерного пространства
выборок Мт% так что Rm = Mm. Для m = N область RlN
равна Wm, область R°m включает в себя множество всех
выборок объема N, не вошедших в состав области WNt
а область Rm пустая. Следовательно, для существующей
методики проверки статистических гипотез имеем Еъ0 (п) =
= Ebl(n) = N.
Ниже показано, что эффективность существующей
методики проверки гипотезы Но относительно гипотезы Hlt
основанной на наиболее мощной критической области,
оказывается довольно низкой. Часто эффективность такого
критерия ниже 0,5. Другими словами, оптимальный
последовательный критерий может обеспечить те же величины а
и р, что и существующая методика проверки, основанная
на наиболее мощной критической области, при среднем
числе наблюдений много меньшем, чем фиксированное число
60

наблюдений, которые необходимо произвести при
существующей методике проверки.
В главе 3 предложена простая методика последовательной
проверки гипотезы Яо относительно гипотезы Нх. Этот
критерий называется последовательным критерием
отношений вероятностей. Для практических целей такой
критерий можно считать оптимальным последовательным критерием.
Будет показано, что при таком последовательном критерии
производится в среднем лишь около 50% наблюдений,
которые необходимо произвести при использовании
существующей методики проверки, основанной на наиболее мощной
критической области.

ГЛАВА 3
ПОСЛЕДОВАТЕЛЬНЫЙ КРИТЕРИЙ ОТНОШЕНИЙ
ВЕРОЯТНОСТЕЙ ДЛЯ ПРОВЕРКИ
ПРОСТОЙ ГИПОТЕЗЫ #0 ПРОТИВ ЕДИНСТВЕННОЙ
КОНКУРИРУЮЩЕЙ ГИПОТЕЗЫ Нх
§ 3.1. Определение последовательного критерия
отношений вероятностей
Пусть /(х, 0) означает распределение рассматриваемой
случайной величины1). Пусть Но является гипотезой о том,
что 0 = б0, и Н1 — гипотеза о том, что б = 0Х; следовательно,
распределение х задается выражением f(x, б0), когда
справедлива Но, и выражением f(x, 0J, когда справедлива Нх.
Обозначим последовательные наблюдения х через xv
х2, х3, ... Рассмотрим, как упоминалось ранее, два случая:
1) распределение х непрерывное, 2) х имеет дискретное
распределение. Желательно объединить оба случая, но при
этом возникают трудности в формулировке некоторых
утверждений, так как эти утверждения должны формулироваться
по-разному в зависимости от того, имеет ли х непрерывное
распределение или дискретное. Эта разница в формулировках
чаще всего вызывается тем, что «плотность вероятности»
в случае непрерывного распределения должна быть заменена
«вероятностью» в дискретном случае. Ради краткости будем
иногда использовать термин «вероятность» для обозначения
плотности вероятности в непрерывном случае, если это не
!) f(x, 0) означает функцию плотности вероятности, если эта
функция существует. Если х имеет дискретное распределение,
то f(x, 6) означает вероятность того, что рассматриваемая
случайная величина примет значение х.
62

приведет к опасным недоразумениям. Учитывая это, часто
можно формулировать дискретный и непрерывный случаи
в виде единого утверждения.
Для любого положительного целого числа т вероятность
получения выборки л^, .. .
когда справедлива гипотеза Hlt и выражением
когда справедлива гипотеза Яо.
Последовательный критерий отношений вероятностей для
проверки гипотезы Но относительно Нх определяется
следующим образом. Выбираются две положительные величины А
и В (А > В). На каждой стадии эксперимента (в т-и
испытании для любого целого значения т) вычисляется отношение
вероятностей -^-. Если
Рот
B<Pim_<At C.1)
Рот
то эксперимент продолжается и производится дополнительное
наблюдение. Если
Рш
Рот
>А, C.2)
то процесс оканчивается отклонением гипотезы Но
(принятием Нх). Если
<В, C.3)
Р\ т
Рот
то процесс оканчивается принятием гипотезы Нох).
Постоянные Л и В должны быть определены так, чтобы
критерий имел наперед заданную силу (а, C). Соотношения,
связывающие величины а, [}, А и Б, рассмотрены в следующем
параграфе.
На практике более удобным является вычисление
логарифма отношения i-^-, чем непосредственное вычисление
Рот
х) Если для некоторой выборки рХт = рот = 0, то будем
приравнивать величину ^т единице. Если для некоторой выборки
Рот
(хъ...>хт) получим р1т > 0, но /?0т = 0, то неравенство C.2)
считается выполненным, и Но отвергается.
63

отношения J!±2Lt так как ln-^^- может быть записан как
Рот Рот
сумма т членов, т. е.
^ /j*;) C.4)
Рот /С*1. 60) ^ ^ f{xmt в0)
Обозначим /-гй член этой суммы через <г/? т. е.
l) И к\
Если использовать величины ^ (/=1, 2, ...), то
процедура испытаний выполняется следующим образом. На каждой
стадии эксперимента вычисляется сумма zx-\- ... -\~zm- ^
\nB<z,+ ... +2т<1пД C.6)
то эксперимент продолжается и производится дополнительное
наблюдение. Если
то процесс оканчивается отклонением Яо; если
то процесс оканчивается принятием Но.
Для иллюстрации этой процедуры рассмотрим несколько
простых примеров. Предположим, что случайная величина х
может принимать только два значения: 0 и 1. Обозначим
вероятность того, что jc = 1, через /?, величина которой
предполагается неизвестной. Таким образом, р является
неизвестным параметром распределения. Распределение х дается
функцией /(л:, /?), которая определена только для двух
значений х: для л; = 0 и х=1, а именно f(ltp)=p
и f(Q*P)=l—Р- Пусть Ио будет гипотезой, что/?—/?0,
и Нх— гипотезой, что р=рх (Pi?=Po)- Тогда
In—, если xt=\,
= In J v"**' i'X) ^°
-i——, если x, = 0.
1 —Po l
In
Следовательно,
где т* означает число единиц в первых т наблюдениях.
64

Принимаем Гипотезу Яо, если
/71 1П 1— Ufl 1ft ) 1П -z ^, 1П ?j9
Po A —Po
и отвергаем гипотезу Но (принимаем Яг), если
m* In — + (W — w*) In , *~^ ^. In A\
Po x — A
если же
+ (^ w)ln ]
Ро i —Ро
<\nA,
то продолжаем эксперимент, производя дополнительное
наблюдение. Выражение C.7) может, конечно, получаться
последовательно. Если результатом наблюдения является единица,
то к предшествующей величине C.7) добавляется
постоянная 1п^-. Если результатом наблюдения является нуль, то
добавляется постоянная In 1 """^ .
В качестве второго примера рассмотрим случай проверки
гипотезы о среднем значении нормального распределения.
Пусть х будет нормально распределенной случайной
величиной с единичной дисперсией и неизвестным средним
значением 6. Пусть Но является гипотезой, что б = б0, и Ях —
гипотезой, что б = 6j. Тогда
Следовательно,
Если
т
2/+f (©о—
5 Зак. 1119. А. Вальд 65

то процесс оканчивается отклонением Яо; если
то процесс оканчивается принятием Но; если
то эксперимент продолжается и производится дополнительное
наблюдение. Здесь In -^L также можно определять после-
Рш
довательно, если после каждого наблюдения xt производить
вычисление величины (Ьг — %)xi-\—^{dl— 61) и добавлять
ее к предшествующей величине In
Рот
§ 3.2. Основные соотношения между
величинами а, р, А и В
В этом параграфе выведем некоторые неравенства,
связывающие величины a, j3, Л и 5, которые послужат основой
для определения постоянных А и В последовательного
критерия отношений вероятностей. '
Будем называть выборку хи . •., хп выборкой типа О,
если
В <гЛИ*. = /(^1> !Н)-_*•/(***» ei) /j ллй/и-1 2 /2—
И
Аналогично будем называть выборку (jclt .... дгл) выбор*
кой типа 1, если
'%^\<А, для т = 1, 2 я-1

Таким образом, выборка типа 0 приводит к принятию
гипотезы Яо, а выборка типа 1 приводит к принятию
гипотезы Ях (к отклонению Яо).
Очевидно, вероятность получения любой заданной выборки
(xlt ..., хп) типа 1 по крайней мере в А раз больше при
гипотезе Н19 чем при гипотезе Яо. Следовательно, мера
вероятности совокупности всех выборок типа 1 также
по крайней мере в А раз больше при Ни чем при Яо. Мера
вероятности совокупности всех выборок типа 1 является
вероятностью того, что последовательный процесс окончится
принятием Нх (отклонением Яо). Но эта вероятность равна а,
когда верна гипотеза Яо, и 1-—C, когда верна1) гипотеза Нх;
таким образом, получаем неравенство
1—Р>Л-а. C.8)
Неравенство может быть записано в виде
Ц=1. C.9)
1 —— В
Таким образом, является верхней границей для А.
Подобным образом может быть получена и нижняя
граница для В. Действительно, вероятность получения любой
заданной выборки (хг хп) типа 0 при гипотезе Нх по
крайней мере в В раз больше вероятности получения этой
выборки, когда верна Яо. Следовательно, и вероятность
принятия Яо при гипотезе Нх по крайней мере в В раз
больше, чем при Яо. Так как вероятность принятия Яо
равна 1—а, когда верна гипотеза Яо, и C, когда верна
гипотеза Hv то из этого следует неравенство
а)Я. (ЗЛО)
Это неравенство можно записать в виде
47. C.11)
Таким образом, «__а является нижней границей для В.
!) Вероятность принятия Яо, когда верна Нь равна по
определению р. В приложении П. 1 показано, что с вероятностью
единица процесс окончится. Таким образом, вероятность отклонения Яо,
когда верна HXt должна быть равна 1 — р.

Неравенства C.8) и (ЗЛО) могут быть переписаны в виде
а ^ 1
1—{
(ЗЛ2)
1—а
C.13)
Эти неравенства являются наиболее важными в
практическом приложении, так как они обеспечивают верхние
границы для аир при заданных Л и В. Например, из этих
неравенств следуют
а<Х (ЗЛ4)
и
р<?. C.15)
Интересно представить графически совокупность всех
пар (а, р), которые удовлетворяют неравенствам C.12) и C.13).
Рис. 9.
Любая пара (а, Р) может быть представлена точкой в
плоскости с абсциссой а и ординатой р (рис. 9). Рассмотрим
прямые линии Lx и L2 на плоскости, заданные уравнениями
аЛ=1— р C.16)
и
Р = ?A— а) C.17)
соответственно. Линия Lx пересекает ось абсцисс в точке
a = -j- и ось ординат в точке р=1. Подобно этому ли-
ния L2 пересекает ось абсцисс в точке а = 1 и ось ординат
в точке р==5. Область, состоящая из всех точек (а, р),

удовлетворяющих неравенствам C.12) и C.13), является
совокупностью внутренних и граничных точек
четырехугольника, образованного прямыми Lx и L2 и осями координат.
На рис. 9 эта область показана штриховкой.
Неравенства C.12) и C.13) были выведены в
предположении, что последовательные наблюдения xv лг2, ... являются
независимыми наблюдениями х. Предположение о
независимости наблюдений было использовано при доказательстве
того, что с вероятностью единица процесс в конце концов
заканчивается*). Остальные результаты оказываются
справедливыми также в случае, когда последовательные наблюдения
зависимы, т. е. когда условное распределение /-го
наблюдения хг зависит от исхода предыдущих наблюдений. Если
последовательные наблюдения являются зависимыми, то
вероятность получения выборки (л^, ..., хт)У т. е. совместное
распределение (xlt .. ., хт) уже не является произведением
/(*i» ®)f(x2> е) • • • f(xm> б)« а будет более сложной
функцией pm(xlt ..., хт). Таким образом, в случае зависимых
наблюдений гипотеза Но является утверждением, что
распределение выборки (хи. .., хт) задается функцией рОт (xv ..., хт),
а конкурирующая гипотеза Нх является утверждением, что
распределение определяется другой функцией plm(xlt ..., хт).
Можно построить последовательный критерий отношения
вероятностей для проверки гипотезы Но при конкурирующей
гипотезе Нх таким же образом, как и для независимых
наблюдений. И здесь выбираем две константы А и В {А > В)
и продолжаем производить наблюдения до тех пор, пока
Рот (Х1> • • •»
А
При достижении ?^-^А или J-^-^B последовательный
Рот Рот
процесс оканчивается. Если ¦^т- ^ В, то принимается Ио%
РОт
если J^nL >- А, то принимается Нг. Несмотря на зависимость
Рот
последовательных наблюдений, основные неравенства C.12)
и C.13) остаются справедливыми и для этой процедуры
испытания, если только с вероятностью единица процесс рана
или поздно окончится. Можно показать, что для достаточно
большого класса совместных распределений рОт(хх хт)
и pim(xlt ..., хт) с вероятностью единица последовательный
См. приложение П. \%
69

процесс рано или поздно окончится. Таким образом,
справедливость неравенств C.12) и C.13) не ограничивается
случаем независимых наблюдений. Они в общем справедливы
и для зависимых наблюдений.
Простой случай зависимых наблюдений возникает при
взятии выборки из конечной совокупности. Предположим,
например, что партия промышленной продукции, состоящая
из N изделий, предъявляется к приемочному контролю.
Пусть число дефектных изделий в партии, которое
предполагается неизвестным, будет D. Каждому дефектному изделию
припишем величину, равную единице, а каждому годному
изделию — величину 0. Тогда распределение одного
наблюдения определится выражением f(x, р), где /A, р)=р,
f@t р)=1—р и р = — щ Последовательные наблюдения
не являются, однако, независимыми. Например, если xl=l,
(?) \\
х2, д> , 1, в то
время как при хг = 0 оно определяется выражением
f(x2, -atzTt ^сли обозначить через dt число дефектных
изделий (число единиц) в совокупности первых /
наблюдений хх xt, то совместное распределение хх, ..,, хт
задается выражением х)
•¦•/(*«¦ S~im+\)- <3-l8)
Пусть гипотеза Но означает, что D равна некоторой
заданной величине Do, и Нх является гипотезой, что D равна
некоторой величине Dx (Dx > Do). Тогда распределение
выборки (хг хт) при Но определяется выражением
C.19)
и распределение при Нх дается равенством
^) C.20)
Последовательный критерий отношений вероятностей для
проверки Но относительно Нг основывается на отноще-t
*) Этд формула справедлива при dm-
7Q

нии J-±zlu Контроль продолжается до тех пор, пока
Рот
В <^?Ш- <Л. Партия принимается, если ^^-<^В, и партия
Рот Рот
отвергается, если -?^-^>Л. Основные неравенства C.12) и
Рот
C.13) остаются справедливыми и для этой процедуры
испытаний, несмотря на зависимость наблюдений.
§ 3.3. Определение постоянных А и В на практике
Предположим, что мы хотим получить критерий силы (а, р).
Необходимо определить постоянные А и В таким образом,
чтобы полученный критерий имел желаемую силу (а, р).
Обозначим через Л (а, C) и В (а, р) соответственно величины Л
и В, для которых критерий имеет требуемую силу (а, C).
Точное определение величин Л (а, {3) и В (а, C) обычно
чрезвычайно трудоемко х). Однако основные неравенства,
полученные в предыдущем параграфе, позволяют произвести
приближенное определение величин Л и В, которое достаточно
для большинства практических целей. Из C.9) и C.11)
следует
Л(сс, РХ-Ц^. C.21)
Обозначим Л = -^-за(а, C) и В = у^ ==#(<*, Р) и
исследуем следствия такого определения, А и В. Из C.21)
и C.22) следует, что величина а (а, C), выбранная для Л,
больше или равна точному значению Л (а, C) и величина
ft (a, P), выбранная для В, меньше или равна точному
значению Б (а, Р). Тогда замена Л (а, C) на Л = а(а, р) и Б (а, р)
на B = b(<xt P) приведет в общем случае к изменению
вероятностей ошибок первого и второго рода. Если положить Л
равным величине, большей Л (а, Р), и положить В равным
величине В (а, Р), то полученная вероятность ошибки первого
рода будет меньше а, но вероятность ошибки второго рода
будет несколько больше р. Подобно этому, если использо-
зать для Л точное значение Л (а, Р), а для величины В
!) Результаты приложения могут быть использованы для полу*
чения произвольно близких к А (а, р) и В (а, р) приближенных
значений.
71

значение ниже точного В (а, р), то вероятность ошибки второго
рода будет меньше р, а вероятность ошибки первого рода
будет несколько больше а. Таким образом, если
используемая величина А выше точного значения Л (а, Р), а величина В
ниже точного значения В (а, C), то неясно, какими получатся
в результате этого ошибки первого и второго рода.
Обозначим через о! и Р' результирующие вероятности ошибок
первого и второго рода при Л = а(а, Р) и В = Ь(а, C).
Тогда из C.12) и C.13) получим
J C'23)
= т=7 <324)
Из этих неравенств следует, что
C-25)
C.26)
Умножая C.23) на A — р)A_р'), C.24) на A — а)A —а')
и складывая полученные неравенства, имеем
C.27)
Неравенства C.25), C.26) и C.27) дают важные верхние
оценки для Ы и р'. На практике величины аир обычно
бывают малыми. Чаще всего они лежат в диапазоне от 0,01
до 0,05. Таким образом, ^ " и i_g 6УДУТ достаточно
близки кайр соответственно. Из C.25) и C.26) видно,
что величины, на которые о! может превосходить аир'
может превосходить р, являются достаточно малыми и для
всех практических целей ими можно пренебречь. Более того,
C.27) показывает, что по крайней мере одно из неравенств
а'О и Р'<;р должно выполняться точно. Другими
словами, при использовании а (а, р) и b (а, р) вместо Л (а, р)
и В (а, р) может произойти увеличение не более одной
вероятности а или р.
Таким образом, можно сделать следующий вывод:
использование а (а, р) и b (а, р) вместо Л (а, р) и В (а, р) не
приводит к сколько-нибудь существенному увеличению
величин а или р. Другими словами, для всех практических
72

целей критерий, которому соответствуют А = а(а, C)
и B = b(a, Р), обеспечивает по крайней мере такую же
гарантию от неправильного решения, как и критерий
Л = Л(а, р) и В = В(аУ р).
Мы оставили до сих пор открытым вопрос о том,
может ли привести использование а (а, C) и b (а, Р) вместо
Л (а, Р) и В (а, 6) к существенному уменьшению а или C или
их обоих. Если бы было так, то это означало бы, что
критерий Л = а(а, Р) и В — Ь(<х> Р) обеспечивает лучшую
гарантию против неправильного решения, чем критерий
Л = Л(а, р) и В = В(<х, р). Таким образом, единственный
ущерб, который может появиться в результате
использования а (а, Р) и ft (а, р) вместо Л (а, Р) и Б (а, Р), заключается
в том, что это может привести к заметному увеличению
числа наблюдений, требуемых в критерии. Действительно,
так как а (а, р) ^> А (а, р) и ft (а, Р) ^ В (а, Р), то число
наблюдений, необходимых в критерии с А = а (а, р) и
B = b(<Xj p),. никогда не будет меньше числа наблюдений,
необходимых в критерии с Л = Л(а, Р) и В = В(а, Р).
Таким образом, если показать, что увеличение числа
наблюдений, обусловленное заменой А (а, р) и Б (а, р) на а (а, р)
и ft (а, р), малб и не имеет практического значения, то
критерий с A = a(at P) и В = Ь(а9 р) достаточно хорошо
удовлетворяет поставленным целям; поэтому определение точных
значений Л (а, Р) и В (а, р) не представляет большого
интереса.
Покажем теперь, почему при замене точных значений
Л (а, Р), В (а, Р) на приближенные а (а, р), b (а, Р)
возрастание числа необходимых наблюдений, вообще говоря,
незначительно *). В выражениях C.21) и C.22) стоят неравенства,
а не равенства, так как последовательный процесс может
окончиться при -^^- > Л или при ?Щ±- < В. Если бы на
Рот Рот
последней стадии ¦^2- было точно равно Л или Б, то
Рот
1 — ft ft
Л (а, р) и В (а, Р) были бы точно равны —^-!- и t J_
соответственно. Другими словами, возможное превышение ^nL
Рот
границ А и В при окончании процедуры проверки обусло-
Более полно об этом см. в § 3,9,
73

влено только дискретностью числа наблюдений, т. е. тен
фактом, что число наблюдений может принимать только
целые значения. Если бы были возможны дробные
наблюдения, т. е. если бы число наблюдений т было бы непрерыв-.
ной величиной, то ^nL также было бы непрерывной функ-
РОт
цией от т и, следовательно, Л (а, C) и В (а, р) были бы
точно равны а (а, C) и Ь(а, р). Следовательно, и
незначительность возрастания необходимого числа наблюдений при
использовании а (а, C) и ?(а, [3) объясняется тем
обстоятельством, что разница между А (а, р) и а (а, C), так же как и
между В (а, Р) и ?(а, {3), возникает из дискретности числа
наблюдений.
В § 3.9 будет дана верхняя оценка увеличения среднего
числа наблюдений, обусловленного использованием а (а, C)
и Ь (а, C). Численные расчеты, данные в том же параграфе,
показывают, что это возрастание незначительно. Можно
добавить, что чем ближе распределение f(x, 6X) к
распределению f(x, 60), тем меньше возрастание среднего числа
наблюдений. Это объясняется тем, что чем ближе f(xt 6Х) к f(x, 60),
тем меньше ожидаемое превышение -^^- границ Л и В$
Рот
следовательно, тем меньше разница между Л (а, р) и а (а, [3),
так же как и между В (а, Р) и ?(а, Р). Если f(x, бх)
приближается к f(xt б0), то точные значения величин А (а, р)
и В (а, Р) приближаются к а (а, Р) и #(а, р).
Следовательно, если экспериментирование не очень дорого
стоит, то для всех практических случаев может быть
сформулировано следующее правило: если желателен такой
последовательный критерий, у которого вероятность
ошибки первого рода не превосходит а, а вероятность
ошибки второго рода не превосходит р, то надо пола-
и проводить последователь-
ный критерий отношений вероятностей в соответствии
с неравенствами C.1), C.2), C.3).
Тот факт, что для практических целей можем положить
А = а(а> Р) и B = b(pLt P), приводит к удивительной
особенности последовательного критерия по сравнению с обычными
критериями. В то время как обычные критерии нельзя
рассчитать без определения закона распределения вероятностей
статистики, на которой основан критерий, при расчете
последовательного критерия не возникает проблемы разыскания
74

распределения. Действительно, а (а, C) и ft (а, C) зависят
только от а и В, и отношение -^-^- может быть вычислено
Am
на основе данных задачи без нахождения каких-либо
распределений. Вопросы распределения в связи с
последовательным процессом возникают лишь при нахождении закона
распределения числа наблюдений, необходимого для принятия
окончательного решения. Но это является вопросом
второстепенной важности, поскольку известно, что
последовательный критерий приводит в среднем к уменьшению числа
наблюдений.
§ 3.4. Оперативная характеристика последовательного
критерия отношений вероятностей 1)
Последовательный критерий отношений вероятностей для
проверки гипотезы Но против гипотезы Нх будет
использоваться и в тех случаях, когда параметр 9 может иметь
значения Ф б0 и Ф 61э поэтому целесообразно вывести всю
оперативную характеристику критерия ?@).
В этом параграфе и в § 3.5 ограничимся для удобства
случаем единственного неизвестного параметра 6. Результаты
без труда могут быть распространены на любое число
параметров.
В п. 2.2.1 Ьф) была определена как вероятность того,
что процесс окончится принятием гипотезы Яо, когда
истинное значение параметра равно б. В этом параграфе покажем
вывод приближенной формулы для LF) в случае, когда
пренебрегаем превышением величиной ^т- границ А и В в мо-
Рот
мент окончания процесса. Строгий вывод (использующий
другой метод) вместе с верхней и нижней границами для
оперативной характеристики будет дан в приложении П. 2.3.
Рассмотрим выражение
!) Как упоминалось в введении, оперативная характеристика
для случая биномиального распределения была найдена Милтоном
Фридманом и Георгом Б. Брауном независимо друг от друга и
несколько раньше С. М. Стокманом в Англии. Вывод оперативной
характеристики в общем случае принадлежит автору.
75

Для каждого значения
таким образом, что
равно 1, т. е.
величина А (б) определяется
и среднее значение C.28)
если /(х, 6) является плотностью вероятности, или
fix. 0)=1,
C.29b)
если f(xt 0) имеет дискретное распределение (суммирование
выполняется по всем возможным значениям х). Как показано
в приложении П. 2.1, при достаточно слабых ограничениях,
накладываемых на характер функции распределения f(x, 0),
существует только одно значение h @) Ф О такое, при
котором выполняется C.29).
Следовательно, для любого заданного значения 0
функция от х, определенная выражением
]е) C-30)
является функцией распределения.
Так как &@)=?О, то имеются две возможности: /г@)>О
или /г@)<О. Рассмотрим сначала случай /г@)>О.
Пусть Н означает гипотезу, что /(х, 0) является
истинным распределением х> и Н* означает гипотезу, что /*(х, 0)
является истинным распределением х. Рассмотрим
последовательный критерии отношений вероятностей 5* для
проверки Н относительно Я*, определенный следующим
образом. Проверку продолжаем до тех пор, пока остается
справедливым неравенство
Bh
э%(в)
- ПхьЪ).../{хтЪ)
Принимаем гипотезу Я, если
/(*!. в) .../(Jfmt в) ^" •
Отвергаем гипотезу Н (принимаем Я*), если
C.31)
C.32)
C.33)
76

Так как
r334^
Я*. 6) "~L/(^0o)J (^4)
и так как /гF)>0, то неравенства C.31), C.32) и C.33)
эквивалентны неравенствам
о ^ Я*Ь
3 <
Но эти неравенства совпадают с неравенствами,
определенными в последовательном критерии отношений
вероятностей 5 для проверки Но относительно Нх при постоянных А
и В. Таким образом, если 5* приводит к принятию Я, то 5
приводит к принятию Яо, а если 5* приводит к
отклонению Я, то приводит также к отклонению Яо. Из этого
следует, что вероятность принятия Яо, когда 9 истинно, т. е.
величина L(d)t является такой же, как и вероятность того,
что критерий 5* приведет к принятию Н, когда /(л:, 6)
является истинным распределением х.
Для определения последней вероятности применим
формулы C.9) и C.11) к процедуре испытаний 5*. Обозначим
через о! вероятность того, что 5* приводит к отклонению Я,
когда Я истинно, и через (^ вероятность того, что 5*
приводит к принятию Я, когда истинно Я*. Применяя формулы
C.9) й C.11) к процедуре испытаний 5*, получим
C-39)
Если при окончании процесса можно пренебречь
эффектом превышения границ, то в выражениях C.38) и C.39)
оставляется знак равенства, т. е. х)
Символ ?^ указывает на приближенное равенство.
77

Из C.40) и C.41) получаем
«'=Ат1вт> <3-42>
Так как а' = 1 — L @), то
4й (9) _1
C.43)
Случай h F) < 0 может быть рассмотрен таким образом,
что при этом получается тот же результат, т. е.
приближенная формула C.43) справедлива и при /гF)<0.
Интересно заметить, что ЛF0)=1 и h Ф^ — —*• Это
легко получить из C.29Ъ).
Для иллюстрации определим ?(б) для биномиального
распределения случайной величины х, принимающей
значения 0 и 1. Пусть ее распределение вероятностей f(x, б)
задано следующим образом: /A,6) = б, /@, 6)=1 — 8.
''Тогда уравнение C.29Ь) может быть записано в виде
Для графического представления оперативной характери*
Стики необходимо решить уравнение C.44) относительно h (б).
Будем рассматривать h(Q) как параметр и решим C.44)
относительно б. При этом получим
C.45)
е
1ft ft
Если положить Л = "^*р и В = у?^ # то C.43) можно
записать в виде
78

может быть нарисована
точек [б, ?(б)],
соответВыбирая произвольно величину А, получим с помощью
C.45) и C.46) точку [б, ?(б)], которая является точкой
оперативной характеристики.
Оперативная характеристика
по достаточно большому числу
ствующих различным значениям к.
Типичная оперативная харак-
теристика для случая
биномиального распределения показана на
рис. 10.
Вычислим теперь LF) для
случая нормального
распределенного х с известной дисперсией а2
и неизвестным средним
значением б. В этом случае имеем
/
/(*, Ъ) =
1
-(x-t
1
в
рис.10.
Величина А F) является ненулевым корнем уравнения
— \. C.47)
Вычисляя интеграл и решая уравнение относительно А (б),
получим
Приближенное выражение для оперативной характеристики
ft — ft —. 9А
получается подстановкой в формулу C.43) -1 е J^ 6
вместо А (б).
§ 3.6. Среднее число наблюдений последовательного
критерия отношений вероятностей
Пусть п означает необходимое число наблюдений в
критерии и пусть Е%(п) есть среднее значение п, когда б
является истинным значением параметра. Среднее значение
Еь(п) является функцией от б, которую назовем функцией
среднего числа наблюдений. В этом параграфе дадим в
общих чертах вывод приближенной формулы для функции
среднего числд наблюдений при условии, что мы пренебрегаем
79

эффектом превышения границ А и В величиной •^т- при
Рот
окончании последовательного процесса. Более полное
рассмотрение функции среднего числа наблюдений вместе с
нижней и верхней границами приводится в приложении П. 3.
Пусть целое число N будет настолько большим, чтобы
вероятность того, что n^N, была пренебрежимо малой 1).
Таким образом, предположим, что я < N. Тогда можно
записать
). C.49)
где
~ in f(xt h) /о клч
Zi~]n C>50)
Вычисляя математическое ожидание от обеих частей
равенства C.49), получим
+1 + ... + zN)t C.51)
где
~_ln Я*. 6l) /о кпч
Так как для / > п случайная величина zt распределена
независимо от п, то математическое ожидание от zn+l-\- ... -\-Zn
равно произведению математического ожидания (N — п) на
математическое ожидание одной zt т. е.
= NE (z) — E(n)-E (z). C.53)
Из C.51) и C.53) следует, что
?(*!+ ... +zn) — E(n)E(z) = 0. C.54)
Следовательно,
Е (гг -\- ... -f- гп) .о гсч
gyE5O)
если ?"B)^0. Если 6 является истинным значением
параметра, то Е(п)— Еь(п) по определению функции Еь(п).
Обозначим через Е$(г) математическое ожидание E(z)
величины 2, когда 0 является истинным значением параметра.
1) Как показано в приложении П. 3.1, можем предполагать
это, так как мы переходим к пределу, когда N устремляется к оо.

Если можно пренебречь эффектом превышения границ Л и В
отношением вероятностей S^ при окончании последователь-
Рот
ного процесса, то случайная переменная zx-\- ... -\-zn
может принимать только значения In Л и In В с
вероятностями 1—L F) и /,F) соответственно. Следовательно,
g — /.(в)] In A C.56)
Из C.55) и C.56) получаем приближенную формулу
]lnA. C.57)
В предыдущем параграфе мы получили явную формулу
для LF) в случае биномиального и нормального
распределения. Таким образом, для получения окончательной формулы
для Еь(п) необходимо вычислить E$(z). В случае
биномиального распределения, т. е. когда f(x, 8) = 6 для х=\ и
/(л:, б)=1 — 6 для х = 0, имеем
В случае нормального распределения, т. е. когда
1 L_(jr_0\a
получаем
/^М ^[ ??]. C.59)
Следовательно,
^ — Ы]. C.60)
§ 3.6. Выигрыш в числе наблюдений при использовании
последовательного критерия отношений вероятностей
вместо обычной процедуры проверки *)
В данном параграфе будем предполагать, что Но является
гипотезой, заключающейся в том, что рассматриваемая
случайная величина х является нормально распределенной со
*) Более детально этот вопрос изучен в статье С. А. А й-
в а з я н а, Сравнение оптимальных свойств критериев Неймана —
Пирсона и Ьальда, Теория вероятн. и ее примен. 4. № 1 A959),
86—93 {Прим. ред.)
§ Зак. 1119. А. Вальд §}

средним значением 90 и единичной дисперсией, в то время
как Нх является гипотезой, что х нормально распределена
со средним значением бх и единичной дисперсией. Можно
предположить, без потери общности, что б0 < 6Х. Сравним
среднее число наблюдений, необходимых в последовательном
критерии отношений вероятностей силы (а, |3) для
проверки #0 относительно Hv с фиксированным числом
наблюдений, необходимых для обычного наиболее мощного
критерия той же силы (а, р).
Обозначим через я (а, р) фиксированное число
наблюдений, необходимых в обычном критерии для обеспечения
силы (а, Р). Наиболее мощный обычный критерий заключается
в следующем. Гипотеза Но принимается, если среднее
арифметическое значение > наблюдений х1% ..., хп (число наблю*
дений п определяется заранее) меньше или равно заранее
определенной постоянной dt иЯ0 отвергается (принимается HJ,
если х превосходит d. Постоянная d и фиксированное число
наблюдений п должны быть выбраны таким образом, чтобы
критерий имел требуемую силу (а, C). Для заданных п и d
соответствующая сила критерия может быть определена
следующим образом. Так как x<^d эквивалентно неравенству
УШ(х — %LCVn(d — в0), т0 вероятность того, что Ic
точно такая же, как и вероятность того, чтоУп(х—
^Y^n(d — 90). Если справедлива Яо, то случайная величина
у = Уп (х — б0) нормально распределена со средним 0 и
единичной дисперсией. Таким образом, вероятность того,
что x<^dt когда справедлива Яо, т. е. вероятность
принятия Яо, когда Но истинна, равна вероятности того, что
y-^.yn(d — б0). Обозначим через G(t) вероятность того,
что нормально распределенная случайная величина с нулевым
средним значением и единичной дисперсией примет значение
меньше t, т. е.
t _^i
 dx. C.61)
Тогда вероятность принятия Но, когда Но истинна, равна
G\yn(d — 80)]. Так как вероятность принятия Но, когда Но
истинна, равна по определению 1—а, то получаем
О [УНу — 6о)] = 1 — а. C.62)

Для определений бе личины р, соответствующей
заданным п и d, запишем неравенство х ^ d в равносильной
форме Yn (х — "i) ^ Y п (^ — "О- По определению р является
вероятностью принятия #0, когда верна Hv но последняя
вероятность точно такая же, как вероятность того, что х <^ d,
т. е. Yn (х — ^i) <^ Y п (А — Gi)> когда Нх истинна. Но когда Ht
справедлива, эта вероятность равна О[|Ля(й— 6^]. Таким
образом, получаем
G[Yn(d — вО] = Р- C.63)
Следовательно, для получения критерия требуемой си*
лы (а, C) необходимо выбрать величины п и d таким
образом, чтобы выполнялись уравнения C.62) и C.63). Пусть \
будет величиной, для которой G(Xq)=1 — а, и пусть \г
будет величиной, при которой G(X1) = p. Величины Xq и Х1
могут быть получены из таблицы нормального
распределения. Тогда уравнения C.62) и C.63) можно записать в виде
Yn(d — eo) = Xo C.64)
и
Yn(d — в1) = Х1. C.65)
Вычитая уравнение C.64) из уравнения C.65), получим
У1@О_61) = Х1 — Хо. C.66)
Таким образом,
«=«(«• P)=-feE^. C-67)
Если это выражение дробно, то /г (а, Р) является
наименьшим целым числом, превышающим это выражение.
Определим теперь среднее число наблюдений,
необходимых в последовательном критерии отношений вероятностей
силы (а, р), и сравним его с фиксированным числом п (а, C)
наблюдений, необходимых в обычном критерии, которое
определено формулой C.67). В последовательном критерии будем
использовать приближенные формулы для определения А и В,
т. е. положим А и В равными и -.¦ J_ (соответственно)
вместо точных значений Л (а, C) и В (а, Р). Как было
показано в § 3.2, 1=1 > Л (а, р) и Ti_<#(a» p). таким
6* 83

1 ft 8
образом, полагая Л = и В = -~— вместо точных зна-
1 а 1 — а
чений Л (а, р) и В (а, C), можем только увеличить число
наблюдений, необходимых в последовательном критерии.
Соответственно и выигрыш, обусловленный последовательным
критерием силы (а, C) по сравнению с обычным критерием,
не может быть меньше, чем выигрыш, который получается
в последовательном критерии, использующем приближенные
1 О Q
формулы А = и Д = i __ - Предположим, что Вг — 0О
достаточно мало, и поэтому можно воспользоваться
приближенной формулой C.57) для среднего значения величины п.
Так как L@O)=1—а и iF1) = p, то из C.57) получаем
C-68)
C.69)
где Et(n) означает среднее значение величины п, когда
справедлива гипотеза Ht (/ = 0, 1). Легко проверить, что
?i(*) = 4(9o — 9iJ C.70)
Из выражений C.67), C.68), C.69) и C.71) получаем
-^=Ж^$\пВ-A-$)ЫА] C.72)
Интересно отметить, что отношения —т-^ттг и —? L не
П(а, р) л (а, р)
зависят от значений параметра 90 и 9Х. Средний выигрыш
последовательного критерия по сравнению с обычным
критерием равен 100 1 ^Ж пРои>ентам» если верна Hv
и 10011 * Q\ процентам, если верна Но. В табл. 1А
L ^ (a, p;j
приведены значения величины 10011 } L » а в табл. 1В
L п (а, р)J
84

значения величины
для нескольких
значен Р)
ний аир. Вследствие симметричности нормального
распределения табл. 1В получается из табл. 1А простой
перестановкой аир.
Та блица 1
Средний выигрыш в числе наблюдений при последовательном
критерии по сравнению с обычным наиболее мощным критерием
при проверке гипотезы о среднем значении нормального
распределения случайной величины
А. При конкурирующей гипотезе
0,01
0,02
0,03
0,04
0,05
0,01
58
54
51
49
47
0,02
60
56
53
50
49
0,03
61
57
54
51
50
0,04
62
58
55
52
50
0,05
63
59
55
53
51
Р ^\^
0,01
0,02
0,03
0,04
0,05
В. При нулевой
0,01
58
60
61
62
63
0,02
54
56
57
58
59
гипотезе
0,03
51
53
54
55
55
0,04
49
50
51
52
53
0,05
47
49
50
50
51
Как видно из таблиц, для значений а и C в диапазоне
от 0,01 до 0,05 (наиболее часто используемый диапазон)
последовательный критерий приводит к выигрышу не менее 47%
необходимого числа наблюдений по сравнению с обычным
критерием. Действительный выигрыш несколько выше, чем
показано в таблице, так как Et(n) (/ = 0, 1), определяемые
ift й
при условии, что А = ~р иБ= 1 j_g , больше, чем ЕДя),
вычисляемые при условии, что А = А (а, р) и В = В (а, C).
85

§ 3.7. Нижняя граница вероятности того,
что последовательный критерий окончится
при числе наблюдений, меньшем или равном
заданному числу
В приложении П. 6 выведена приближенная формула!)
Для закона распределения числа наблюдений, необходимых
в последовательном критерии, когда величина
нормально распределена. Там же подчеркивается, что тот же
закон распределения величины п можно рассматривать как
приближение для точного закона распределения в случае,
когда распределение величины г отлично от нормального,
если только абсолютное значение величины E(z) и
стандартное отклонение величины г достаточно малы по сравнению
с In Л и In В. Хотя распределение величины я, данное в
приложении П. 6, и может быть использовано для определения
вероятности того, что п^п0 при любом фиксированном
целом числе я0, мы предпочтем вывод нижней границы для
этой вероятности иным методом по следующим причинам:
1) вычисление нижней границы, данное в настоящем
параграфе, является очень простым, в то время как
использование функции распределения, приведенной в приложении П. 6,
требует трудоемких вычислений, так как эта функция
распределения еще не табулирована; 2) если п0 достаточно
велико и если аир являются малыми, как это бывает на
практике, то нижняя граница, данная в настоящем параграфе,
достаточно близка к точному значению.
Пусть для любого заданного положительного целого числа п0
Рг (п^.п0) означает вероятность того, что п<^п0, когда
справедлива И1% т. е. когда в ===== 9г (/ = 0, IJ). Мы хотим
вывести нижнюю границу для вероятности ЯДя<^яо)«
Предположим, что п0 настолько велико, что сумму zx-\- ... -\-znQ
можно считать распределенной по нормальному закону, даже
если закон распределения z отличен от нормального 3).
1) См. формулы (П. 166), (П. 183) и (П. 194).
2) Вообще для любого соотношения R будем использовать
символ Pi(R) для обозначения вероятности того, что R
выполняется, когда Ht справедлива.
8) В соответствии с хорошо известной из теории вероятностей
теоремой сумма большого числа независимых случайных величин
при достаточно общих условиях распределена по закону, близкому
к нормальному.
86

Если 2jZt^\n Л, то получаем п<^,п0. Таким же обра-
зом, если
i то п-^п0. Следовательно,
РЛ 2г/>1пЛ)<Р1(я<«0)
рЛ 2*/<ln^)<ро(«<«о)-
V-i /
C.74)
C.76)
Неравенство zlzt
*1
может быть записано в виде
to Л — п0Ег (z)
где ох{г) означает стандартное отклонение величины г, когда
справедлива Hv Левая часть выражения C.76) при Нх
нормально распределена с нулевым средним значением и
единичной дисперсией. Обозначим через О (к) вероятность того,
что нормально распределенная случайная величина с нулевым
средним значением и единичной дисперсией примет значение,
меньшее X. Таким образом, вероятность того, что случайная
величина примет значение ^ X, равна 1 — G (X).
Следовательно, вероятность того, что C.76) выполняется, когда
справедлива Hv равна 1—G[^i(/&o)L где
C.77)
(z)
Вероятность того, что C.76) выполняется, когда
справедлива Н1% равна Рх B zi >- In Л\ . Таким образом,
Pi ( 2 *< > I» A = 1 — О Iх! ("о)]-
C.78)
87

Из C.74) получаем
1 —G[X1(ai0)]<P1(ai<ai0),
Таким образом, 1—(/[^(^о)! является нижней границей
вероятности того, что п4^п0, когда справедлива гипотеза Hv
Для получения нижней границы величины Р0(п^,п0) пере-
пишем неравенство S2/^^11^ B виДе
i l
ШД-яоДЬЮ = ^( }j C
где ao(z) — стандартное отклонение величины z, когда
справедлива Но. Так как член в левой части неравенства при Но
распределен по нормальному закону с нулевым средним
значением и единичной дисперсией, то вероятность того, что
выражение C.79) выполняется, когда справедлива Яо, равна
G[\)(ti0)]. Следовательно,
^о ( f! *i < !п ВJ = G [ко (п0)]. C.80)
В соответствии с выражением C.75) получаем
C.81)
Таким образом, C/[Xq(^0)] является нижней границей
вероятности того, что /г^п0, когда справедлива гипотеза Но.
В табл. 2 приведены значения нижних границ
величин Р0(п^п0) и Pi(n4^n0), соответствующих различным
парам (а, В) и различным величинам п0 при условии, что
1 О О
In Л = In и \пВ = \пгг-?—. При расчете
предполагалось, что распределение при Но является нормальным с
нулевым средним значением и единичной дисперсией, а
распределение при Нх также нормальное со средним 8 и единичной
дисперсией. Для каждой пары (а, ?}) значение б определялось
из выражения C.67) таким образом, чтобы число
наблюдений, необходимых в наиболее мощном обычном критерии
силы (а, Р), было равно 1000,
W

Таблица 2
Нижняя граница вероятности того, что последовательный
анализ окончится в пределах различного числа наблюдений,
в то время как наиболее мощный обычный критерий требует
ровно 1000 наблюдений
Число
наблюдений
1000
1200
1400
1600
1800
2000
2200
2400
2600
2800
3000
а=0,01
верна

курирующая
гипотеза
0,910
0,950
0,972
0,985
0,991
0,995
0,997
0,999
0,999
1,000
1,000
и р«0,01
верна
нулевая
гипотеза
0,910
0,950
0,972
0,985
0,991
0,995
0,997
0,999
0,999
1,000
1,000
а-0,01;
верна

курирующая
гипотеза
0,799
0,871
0,916
0,946
0,965
0,977
0,985
0,990
0,994
0,996
0,997
Э—0,05
верна
нулевая
гипотеза
0,891
0,932
0,957
0,972
0,982
0,989
0,993
0,995
0,997
0,998
0,999
а*=0,05;
верна

курирующая
гипотеза
0,773
0,837
0,883
0,915
0,938
0,955
0,967
0,976
0,982
0,987
0,990
Р=0,05
верна
нулевая
гипотеза
0,773
0,837
0,883
0,915
0,938
0,955
0,967
0,976
0,982
0,987
0,990
Приведенные в таблице вероятности являются нижними
границами истинных вероятностей. Они относятся к случаю проверки
среднего значения нормально распределенной случайной величины,
причем различие между нулевой и конкурирующей гипотезами
регулировалось для каждой пары аир таким образом, чтобы число
испытаний, необходимых для наиболее мощного обычного
критерия, точно равнялось 1000.
§ 3.8. Усечение процедуры последовательного анализа
Как показано в приложении П. 1, последовательный
процесс с вероятностью 1 рано или поздно окончится. Однако
иногда необходимо установить для числа наблюдений
верхнюю границу, скажем п0. Этого можно достигнуть усечением
последовательного процесса на « = я0, т. е. установлением
новых правил для принятия или отклонения Но на по-ы
испытании, если последовательный процесс не привел к
окончательному решению при п^.п0. Простым и разумным
правилом для усечения на яо-м испытании, по-видимому, должно
быть следующее: если последовательный критерий
отношений вероятностей не привел к окончательному решению
при п ^ по> то после п0 испытаний принимается гипотеза Яо,
89

/1
если In Б < ZiZ,<fCQ, и отклоняется #0, если
/1
<
Однако усечение последовательного процесса на по-м
наблюдении изменяет ошибки первого и второго рода. Пусть а
и р будут вероятностями ошибок первого и второго рода
для неусеченного последовательного критерия. Влияние
усечения на а и C будет, конечно, зависеть от значения п0.
Чем больше /г0, тем меньше влияние усечения на а и р.
Результирующие вероятности ошибок первого и второго рода
обозначим через <х(п0) и Р(я0) соответственно, если усечение
последовательного процесса производится при n = n0. В этом
параграфе мы выведем верхние границы для а(п0) и ф(п0).
Чтобы получить верхнюю границу для а(я0), рассмотрим
случаи, в которых усеченный процесс приводит к отклоне*
нию //0, в то время как неусеченный приводит к
принятию Но. Обозначим через ро(яо) вероятность получения
при Но такой выборки, которая при усеченном процессе
приводит к отклонению #0, в то время как неусеченный
процесс приводит к принятию Яо. Тогда, очевидно, имеем
а(/*о)<<*-ЬРо(Яо). C.82)
В выражении C.82) стоит знак неравенства, а не
равенства, так как могут быть такие выборки, для которых
усеченный процесс приводит к принятию Яо, в то время как
неусеченный приводит к отклонению Но. Для получения
верхней границы величины a(/t0) необходимо только вывести
верхнюю границу величины ро(по). По определению ро(по)
есть вероятность того, что при Но для последовательных
наблюдений zv z2, ... и т. д. одновременно выполняются
следующие три условия:
L 1пВ<2<^< 1иЛ для я=1 п0—
и.
III. Если процесс продолжается после п0 испытаний, то он
оканчивается принятием Яо.
90

Обозначим через ро(по) вероятность того, что при Яо
будет выполняться условие II, т. е.
l zi < ln A\
Ро ("о) = Л) (о < |l zi < ln A\ C.83)
Так как вероятность выполнения условия II не может быть
меньше вероятности одновременного выполнения всех трех
условий, то получаем
поэтому
C.84)
Таким образом, а + ро(Яо) является верхней границей
величины а(я0), которая, как будет показано ниже,
достаточно просто вычисляется. Для получения верхней границы
величины ф(п0) обозначим через рх (/г0) вероятность (при Нх)
того, что последовательные наблюдения окажутся такими,
что усечённый процесс приводит к принятию Яо, тогда как
неусеченный процесс приводит к отклонению Яо. Другими
словами, pi^io) является вероятностью того, что при Нх
последовательные наблюдения будут удовлетворять одновременно
следующим трем условиям:
. I. 1п5< 2^<1п Л для п= 1, ..., п0—1,
и. inB<2 *i<o.
III. Если процесс продолжается после п0 испытаний, то
он оканчивается принятием Hv
Очевидно,
C.85)
Так как величину pi(fl0) определить трудно, то
определим ее верхнюю границу. Пусть рА (/^0) будет вероятностью
того, что при Нх выполняется условие II, т. е.
Рх(п0) = Рх(\пВ < 2*,<Oj . C.86)
Тогда 7i (п0) > р! (я0), поэтому
~ • C.37)
91

Покажем теперь, как можно вычислить ро(по) и
Предположим, что п0 настолько велико, что zx~\- ... +2Ло
можно считать нормально распределенной. Если
справедлива #Д/ = 0, 1), то математическое ожидание величины
Bi+ ••• +2Ло) равно tioEiiz), а стандартное отклонение
величины zx-\- ... -\-zno равно Yn<Pi(z)> гДе ai(z) означает
стандартное отклонение величины z, когда справедлива Ht.
Для вычисления ро(#о) перепишем неравенство
zt<\nA
в виде
npE0(z)
C.88)
Пусть
nogiW и V2==^^o^oW, C.89)
У «о ао W V «о "о (*)
Так как средний член в C.88) имеет при Но нормальный
закон распределения с нулевым средним значением и
единичной дисперсией, то вероятность выполнения C.88) при Яо
равна O(v2) — G(vt), где G(v) означает вероятность того,
что нормально распределенная случайная величина с нулевым
средним значением и единичной дисперсией примет
значение < v. Таким образом,
Ро = ОЫ — 0(*д. C.90)
Для вычисления Pi(fl0) перепишем неравенство
в виде
+ +^М (г)
(г)
C.91)
Пусть
Так как средний член выражения C.91) имеет при Н1
нормальный закон распределения с нулевым средним зцаче,*

нием и единичной дисперсией, то вероятность (при
выполнения C.91) равна O(v4) — G(v3). Следовательно,
C.93)
Полученные результаты можно записать в виде
неравенств
a(rto)<a + G(v2) — O(vt) C.94)
W-O(v2), C.95)
где vlf v2, v3 и v4 определяется равенствами C.89) и C.92).
Эти верхние границы могут значительно превосходить
соответствующие величины а(я0) и ф(п0). Поэтому желательно
найти более точные границы.
Таблица 3
Влияние усечения последовательного анализа на заданном
числе наблюдений на вероятности ошибок
Число

наблюдений
1000
1200
1400
1600
1800
2000
2200
2400
2600
2800
3000
a=0,01;
верхняя
граница

действительной a
0,020
0,015
0,013
0,012
0,011
0,010
0,010
0,010
0,010
0,010
0,010
Р—0,01
верхняя
граница

действительной C
0,020
0,015
0,013
0,012
0,011
0,010
0,010
0,010
0,010
0,010
0,010
а=0,01;
верхняя
граница

действительной a
0,033
0,024
0,019
0,016
0,014
0,012
0,012
0,011
0,011
0,010
0,010
Р=0,05
верхняя
граница

действительной C
0,070
0,063
0,058
0,055
0,053
0,052
0,051
0,051
0,051
0,050
0,050
a=0,05;
верхняя
граница

действительной a
0,095
0,082
0,072
0,066
0,062
0,058
0,056
0,055
0,053
0,053
0,052
Э=0,05
верхняя
граница

действительной C
0,095
0,082
0,072
0,066
0,062
0,058
0,056
0,055
0,053
0,053
0,052
Если последовательный анализ основывается на расчетных
значениях а и р, но решение принимается на п0 испытаниях, хотя
нормальный последовательный критерий и требует продолжения
процесса, то действительные значения а (п0) и р (п0) не будут
превосходить табличных данных. Таблица относится к проверке
среднего значения нормально распределенной случайной величины,
причем различие между нулевой и конкурирующей гипотезами
устанавливалось для каждой пары (a, Р) таким, чтобы число
наблюдений, необходимых в обычном критерии, равнялось. 100Q.
93

В табл. 3 даны значения верхних границ величины сс(я0)
и Р(/г0), определенные по C.94) и C.95), при различных,
парах (а, р) и при различных значениях величины п0. В этих
расчетах мы полагали
1ПЛ 1п '$
и In Я = In
1 — а
и предполагали, что распределение при Но является
нормальным с нулевым средним и единичной дисперсией и
распределение при Нх также нормально со средним значением б1
и единичной дисперсией. Для каждой пары (а, Р) величина О
определялась таким образом, что число наблюдений,
необходимых в наиболее мощном обычном критерии силы (а, Р),
равнялось 1000.
Автору кажется, что верхние границы, определенные
C.94) и C.95), значительно выше соответствующих
истинных значений а(/г0) и р(д0) Для /г0, незначительно
превышающих величину п, необходимую в наиболее мощном
обычном критерии.
§ 3.9, Увеличение среднего числа наблюдений,
обусловленное заменой точных значений А (а, §) и В (а, C)
Величины Л (а, Р) и Б (а, р) являются значениями А и В%
для которых вероятности ошибок первого и второго рода,
связанных с последовательным критерием отношений
вероятностей, точно равны а и р. В § 3.3 было рекомендовано
заменять
А (а, р) и В (а. Р) на а(а, Р) = Ц^ и ft (а, Р)--^.
Это может привести к незначительному увеличению среднего
числа наблюдений, так как а (а, Р)>-Л(а, Р) и *(а, Р)^[
^Б(а, РI). В данном параграфе производится
количественная оценка такого увеличения среднего числа наблюдений.
В § 3.5 была получена следующая приближенная формула
для среднего числа наблюдений
Е (гй-?(е)
?е (п) —
1) См. н^раееист^^ C.21) » C.22).
94

Так как Z, (в0) =1 — а и ?(81) = р, то из C.96)
получаем
_ A-а)\пВ + а\пА „
Здесь ?Дд) означает математическое ожидание величины п,
когда справедлива б/#
Таким образом, изменения &Е0(п) и LE^ri)
математических ожиданий /^(Ю и /^(я)* обусловленные
использованием а (а, Р) и #(а, р) вместо Л (а, Р) и Б(а, р)
соответственно, определяются выражениями
,_ч ^ , A-а) [In ^ (а, Р)—In В (а, Р)] +»[Шд (сц Р)—In Л (а, Р)] _
(I — а) In -37—оч" г а 1п
C-99>
[In t (а, Р)-1п В (а, р)] + A-Р) [In fl (а, р)-1п Л (а, Р)] _
Формулы C.99) и C.100) являются, так же как и
формулы C.97) и C.98), приближенными. Однако, если бы
ошибки в формулах C.97) и C.98), т. е. если разности
C.101а)
C.101b)
были бы совершенно независимы от величин А и В, то
в C.99) и C.100) знак равенства выполнялся бы точно.
Можно показать, что небольшие изменения величин Л и В
чрезвычайно мало сказываются на разностях C.101), и
поэтому C.99) и C.100) являются достаточно хорошими
приближениями.
95

Выведем верхние границы дли членов правой части C.99)
и C.100). Так как EQ(z) и In ffi *2 являются
отрицательными1), a In алу уч положительным, то
Л (а, р)
Аналогично, так как El(z) и In * ' ** положительны,
a In D, q4 , отрицателен, то
# (а, р)
(а'Р) L" р)щ g(g>P)
/1 04 !«¦% v ¦ P/ 1«i v * P/
C.103)
Таким образом, для всех практических целей
~KW]n a (in
является верхней границей LE1(n)t a
1
является верхней границей для кЕ0(п). Но точные значения
Л (а, Р) и Б (а, р) неизвестны, поэтому полученными
границами пользоваться нельзя. Так как Я1(<г)>0, то оценка
сверху выражения
1) Как отмечается в конце приложения П. 2.1, величина E(z)
и некоторый параметр h0 имеют противоположные знаки Так как
Ло = 1, если истинна Но, и /го = — 1» если справедлива Нь то из
этого следует, что ?0 (-г) < 0 и ?х (г) > 0.
96

а (а 6}
Получится, если подставить вместо л ) о( ее верхнюю гра-
А (a, \j)
ницу. Так как ?0B)<0, то верхний предел выражения
EO(Z) В (а, р)
- ft (a, P)
может быть получен, если подставить вместо D\ '¦ ее
В (a, jj)
нижнюю границу,
* Из формул (П. 29) и (П. 30) приложения легко получить
неравенства
где величины &е0 и т]9о определяются равенствами (П. 27)
и (П. 28I)» Для биномиального и нормального законов
распределения величины &е0 и т/д0 вычислены в явной форме.
Таким образом, приходим к следующему результату: для
1п5е
всех практических целей можно рассматривать рк как
In T)Q
верхнюю границу величины Д?х(я) и „ / ° как верхнюю
границу величины ДЕ0(/г).
В качестве примера рассмотрим случай, в котором
распределение при Но является нормальным с нулевым средним
значением и единичной дисперсией, а распределение при Нх
*) Это легко получается из следующего: заменяя Л на Л (а, р),
В на В (а, р) и 0 на \ получим из (П. 29) и (П. 30)
[В (а,
Так как А == Л (а, р) и В = В(а, р), то получаем Л (Оо) = 1 — а
и I F^ = р. Из этого, а также из двух уравнений, полученных
из (П. 18) подстановкой 80 и 0Х вместо 9, следует, что
и
Так как /г@о) = 1, то получаем
В(а^)що^Ь(а^) и Л(а, р)<Л(а, p)^f
откуда и следуют C.104) и C.105).
7 Зак. 1119. А. Вальд 97

также является нормальным с единичной дисперсией и
средним значением 0. Так как для нормального распределения
71в:==у (см- уравнение (П. 51)) и —E0(z) = E1(z), то
верхняя граница величины Д?0(/г) точно такая же, как и верхняя
граница Д/г^/г). Эта верхняя граница зависит только от
величины б. Для любой пары (а, |3) и для любого
положительного целого числа т существует только одно значение 9
такое, что для наиболее мощного критерия силы (а, Р)
необходимо т наблюдений. Таким образом, каждой паре (ос, C)
и целому числу т можно сопоставить только одно
значение 9. В табл. 4 приводится общая верхняя граница величин
' kE0(ri) и LE1{n), рассчитанная для значений 0,
соответствующих различным парам (а, р) и целым числам т.
Таблица 4
Увеличение среднего числа наблюдений,
обусловленное использованием приближенного
критерия для окончания последовательного
процесса
Число наблюдений,
необходимых для обычного
наиболее мощного
критерия
10
30
100
20Э
500
1000
сс=0,01
C=0,01
1,1
1,9
3,4
4,9
7,7
10,8
а-0,01
р=0,05
1,3
2,2
4,0
5,7
9,0
12,7
а=0,05
0=0,05
1,6
2,7
4,9
6,9
10,9
15,4
Для практических целей данные таблицы можно рассматривать
как верхние границы точных коэффициентов увеличения. Таблица
составлена для случая среднего значения нормально
распределенной случайной величины, причем разница между нулевой и
конкурирующей гипотезами устанавливалась для каждой пары
значений аир таким образом, чтобы число наблюдений в наилучшем
обычном критерии равнялось значениям, приведенным в левой
колонке.

ГЛАВА 4
ОСНОВЫ ТЕОРИИ ПОСЛЕДОВАТЕЛЬНЫХ КРИТЕРИЕВ
ДЛЯ ПРОСТЫХ И СЛОЖНЫХ ГИПОТЕЗ
ОТНОСИТЕЛЬНО МНОЖЕСТВА
КОНКУРИРУЮЩИХ ГИПОТЕЗ
В главе 3 мы сталкивались главным образом с
теоретическим случаем проверки простой гипотезы Но относительно
единственной конкурирующей гипотезы Нг. Однако в
задачах, связанных с приложениями, неизвестный параметр или
параметры обычно могут принимать бесконечно много
значений. В настоящей главе рассмотрим последовательную
проверку простых и сложных гипотез относительно
бесконечно большого числа конкурирующих гипотез.
§ 4.1. Проверка простых гипотез
4.1.1. Вводные замечания. Выше мы назвали простой
гипотезой такое утверждение, которое полностью определяет
величины всех неизвестных параметров распределения. Теперь
целесообразно высказать несколько замечаний относительно
тех условий, при которых проверка простой гипотезы может
иметь практическое значение. С этой целью достаточно
рассмотреть случай лишь одного неизвестного параметра 6,
входящего в распределение рассматриваемой случайной
величины х. При этом простая гипотеза заключается в
утверждении, что 9 равно некоторой определенной величине 60.
В различных приложениях задача проверки той или иной
гипотезы обычно ставится следующим образом. Имеются два
противоположных действия, например действие 1 и
действие 2, между которыми должен быть сделан выбор, причем
целесообразность того или иного действия зависит от
величины параметра 6. Пусть ш означает множество всех
величин 6, для которых действие 1 оказывается предпочтительнее
7* 99

действия 2. Тогда действие 2 будет предпочтительнее для
всех 0, не принадлежащих к множеству со1). Обозначим
через Яо> гипотезу о том, что параметр 0 принадлежит
множеству со. Тогда проблему выбора между двумя линиями
поведения можно сформулировать как задачу проверки
гипотезы Нш. Если гипотеза Нш принимается, то мы совершаем
действие 1, если гипотеза Н^ отклоняется, то мы совершаем
действие 2. При этом, если степень предпочтения,
оказываемая тому или иному решению, непрерывно изменяется
с изменением величины 0, то множество со не может состоять
из единственного элемента 0О. Действительно, если со состоит
только из одного элемента 0О, то это означает, что мы
предпочитаем действие 1 только при 0 = 0О, а действие 2 для
всех 0 Ф 0О, невзирая на то, насколько 0 близко к 0О.
Следовательно, функция предпочтения оказывается
разрывной при 0 = 0О.
Итак, гвидим, что задача проверки простой гипотезы
возникает, строго говоря, только в том случае, когда функция
предпочтения того или иного решения оказывается
разрывной. Хотя разрыв функции предпочтения, конечно, возможен,
такие случаи встречаются довольно редко. Разрыв функции
предпочтения может, например, иметь место в случае, когда
мы хотим проверить справедливость некоторой
гипотетической научной теории, согласно которой некоторый
параметр должен иметь определенную величину 0О. В таком
случае любое отклонение величины 0 от 0О, независимо
от того, насколько оно мало, оказывается существенным,
поскольку оно опровергает проверяемую гипотетическую
теорию.
Во всех случаях, когда степень предпочтения того или
иного решения непрерывно изменяется с изменением
величины 0, проверяемая гипотеза будет, строго говоря, сложной.
Тем не менее зачастую целесообразно заменить сложную
гипотезу подходящей простой гипотезой, поскольку проверка
последней является обычно более простой задачей. Для
иллюстрации сказанного рассмотрим следующий пример.
Предположим, что твердость х некоторого материала меняется от
изделия к изделию и является нормально распределенной
случайной величиной с известной дисперсией, но неизвестным
средним значением 0. Предположим, что 0О является наиболее
!) Для величин в, расположенных на границе множества со,
обычно безразлично, какое действие будет совершено.
Ш

желательным значением 8, так что наш материал считается
тем менее желательным, чем больше разность |б — 80J.
Пусть действие 1 соответствует приемке материала, а дей*
ствие 2 — его браковке. Приемка материала является наиболее
желательной, когда 8 = 80, и желательность приемки
непрерывно уменьшается с ростом величины | б — бо|. Допустим, что
имеется положительная величина 8 такая, что при |8 — бо| > 8
целесообразной является уже браковка материала, и
желательность браковки возрастает с ростом величины |8 — бо|
в области |8 — 8О|>8. Если |8 — во| = 8, т. е. если
рассматриваемая характеристика имеет как раз граничное
значение, то ни одно из двух возможных действий не является
предпочтительным. Нетрудно видеть, что в данной задаче
проверяемая гипотеза является сложной гипотезой (8 — 8О|^8.
Если, однако, величина 8 мала, то эту сложную гипотезу можно
заменить для практических целей простой гипотезой 6 = б0.
Проверка гипотезы 8 = 80 имеет почти такую же оперативную
характеристику, что и проверка сложной гипотезы 18 — 80| ^ 8.
Действительно, при проверке гипотезы |8 — 8О|<^8, мы
подразделяем ось 6 на три области; область принятия, область
отклонения и область безразличия. Как указывалось в п. 2.3.1,
область принятия состоит из всех величин 6, для которых
принятие гипотезы является сильно предпочтительным, т. е.
для которых браковку материала следовало бы считать
ошибкой, имеющей практическое значение. Аналогично, область
отклонения состоит из всех тех величин 8, для которых очень
желательно отклонение гипотезы, в то время как для
величин 8, расположенных в области безразличия, предпочтение
одного действия другому является слабым, и нас не особенно
беспокоит, какое решение будет принято.
В нашем примере эти три области целесообразно
определить следующим образом. Выбираем две положительные
величины 80 < 8 и Ьг > Ьг Область принятия определится тогда
неравенством |б — 80|<^80, область отклонения определится
неравенством |8 — 601 ^> St и область безразличия —
неравенствами 80 < 18 — 80 | < 81# Методику проверки следует затем
определить так, чтобы вероятность отклонения гипотезы не
превосходила заданной величины а для всех 6,
расположенных в области принятия, и вероятность принятия гипотезы
не превосходила заданной величины р для всех 6,
расположенных в области отклонения *)•
В этой связи см. п. 2*3.2^
101

Если теперь заменим исходную сложную гипотезу простой
гипотезой б = 0О, то область принятия будет состоять из
единственного значения параметра б = б0; область отклонения
можно, как и раньше, определить неравенством |6 — 60|^>8lt
а область безразличия теперь определится неравенствами
О < | 6 — 601 < Ьх. После этого к методике проверки
гипотезы б = 0О следует предъявить требования, чтобы
вероятность отклонения гипотезы равнялась а при б = б0, а
вероятность принятия гипотезы не превышала р во всей области
| б — б01 ^> Sx. Если Ьо очень мало, то проверка гипотезы б = б0
будет с большой точностью удовлетворять требованиям,
предъявляемым к проверке исходной сложной гипотезы,
поскольку вероятность отклонения гипотезы будет примерно
равна а для асех б, расположенных в достаточно малой
окрестности б0. Таким образом, для практических целей
можем заменить исходную сложную гипотезу простой
гипотезой 6 = б0.
Как мы видели, задача о проверке простой гипотезы
возникает в двух случаях: 1) когда имеется разрыв функции
предпочтения и возникает задача проверки простой гипотезы
в строгом смысле (такие случаи редки), 2) когда
возникающая задача сводится к проверке сложной гипотезы и эта
гипотеза заменяется простой гипотезой лишь ради простоты
решения. С точки зрения областей принятия, отклонения и
безразличия простая гипотеза характеризуется тем, что область
принятия состоит из единственной точки.
4.1.2. Проверка простой гипотезы при односторонних
конкурирующих гипотезах. Здесь рассмотрим простой
случай, когда имеется только один неизвестный параметр 6 и
проверяется гипотеза 6 = 0О относительно конкурирующих
величин б, которые лежат по одну сторону от 0О, например
б > б0. Другими словами, допустимыми конкурирующими
величинами по отношению к проверяемой гипотезе считаются
только величины б > б0. В этом случае область принятия
состоит из единственной точки б0, и желательность
отклонения гипотезы будет вообще увеличиваться с возрастанием
величины 6 в области 6 > 60. Поэтому можно найти такую
величину 6j > 60, что принятие гипотезы в области б > бх
приведет к ошибке, имеющей практическое значение, в то
время как для величин, ббльших 60, но меньших бх, принятие
гипотезы приводит к ошибкам, которые не имеют особого
практического значения. Следовательно, область отклонения
102

можно определить неравенством 0 ^> Bl9 а область
безразличия— неравенствами б0 < 0 < 61#
В соответствии с п. 2.3.2 будем предъявлять к
оперативной характеристике критерия следующие требования.
Вероятность отклонения гипотезы при 0 = 0О должна равняться
заранее заданной величине а. Вероятность принятия гипотезы
для всех 0^>0j не должна превышать заранее заданной
величины р.
В большинстве важных случаев, встречающихся на
практике, когда х подчиняется нормальному, биномиальному,
пуассоновскому и другим распределениям, последовательный
критерий отношений вероятностей силы (а, C), применяемый
для проверки гипотезы 0 = 0О относительно единственной
альтернативы 6lf будет удовлетворять предъявляемым к
оперативной характеристике требованиям, поскольку вероятность
ошибки второго рода непрерывно уменьшается с увеличением
величины 0 в области 0 ^. 01# Следовательно, во всех этих
случаях последовательный критерий отношений вероятностей,
примененный для проверки гипотезы 0 = 0О относительно
соответствующим образом выбранной конкурирующей
гипотезы 0j, обеспечивает удовлетворительное решение нашей
задачи.
Случай, когда конкурирующие величины 0 удовлетворяют
неравенству 0 < 0О, а не 0 > 60» полностью аналогичен и не
нуждается в отдельном рассмотрении.
4.1.3. Проверка простой гипотезы в случае, когда
на конкурирующие величины неизвестных параметров не
накладывается никаких ограничений. В этом пункте
рассмотрим следующую общую задачу. Распределение х включает
в себя k неизвестных параметров 0t, ..., Bk. Проверяется
гипотеза Яо о том, что параметры 8lf ..., Qk равны
некоторым определенным величинам 0?, .... 0*. Будем обозначать
совокупность k параметров @Х, ..., 0^) буквой 0 без всяких
индексов, которую будем трактовать как точку в
пространстве параметров. Применение индексов у буквы 0, таких,
как 0°, 01 и т. д., будет указывать, что имеется в виду
определенная параметрическая точка. Тогда нашу гипотезу Ио
можно выразить так: неизвестная параметрическая точка 0
совпадает с определенной параметрической точкой 0°.
Как мы видели в предыдущем пункте, область принятия
состоит из единственной параметрической точки 0°.
Обозначим через оо0 область отклонения. Обычно область отклонения
103

образуется множеством всех точек 0, «расстояние» которых
(определенное в некотором смысле) от 6° больше или равно
некоторой заданной положительной величине. Тогда
требования, предъявляемые к оперативной характеристике
критерия, которые были сформулированы в п. 2.3.3, можно
ваписать следующим образом: вероятность отклонения
гипотезы Но в случае, когда 6 = 6°, должна равняться заранее
заданной величине а, а вероятность принятия гипотезы Но для
злобой параметрической точки, расположенной в области оH,
«е должна превышать заранее заданную величину C.
Прежде чем рассмотреть задачу о конструировании
соответствующего последовательного критерия, удовлетворяющего
указанным выше требованиям, рассмотрим сначала задачу
об отыскании некоторого вспомогательного критерия,
удовлетворяющего следующим видоизмененным требованиям. Для
любой 6 в области оH обозначим через [3(8) вероятность
принятия гипотезы Но в случае, когда 0 является истинной
параметрической точкой. Следовательно, C(8) является
вероятностью ошибки второго рода в случае, когда б является
истинной параметрической точкой. Наши первоначальные
требования заключались в том, чтобы CF) для всех 8 в
области о)о не превышала заданной величины C. Теперь будем
требовать, чтобы среднее значение C@), взвешенное с данной
"весовой функцией w(b)9 было равно р, т. е.
= p, D.1)
где w(B)^>0 для всех 0 в области <оо, и1)
l. D.2)
При этом по-прежнему сохраняется требование, чтобы
вероятность отклонения гипотезы Яо, когда она истинна,
равнялась заранее заданной величине а. Теперь можем легко
сконструировать последовательный критерий,
удовлетворяющий этим модифицированным требованиям. Пусть рОп — это
*) Весовая функция w @) может быть также дискретной. Единая
формула, охватывающая как непрерывные, так и дискретные весовые
"функции, может быть записана при использовании в D.1) и D.2)
интегралов Стилтьеса.
.104

распределение вероятностей выборки (хг хп), к'огда гй«
потеза HQ оказывается истинной, т. е.
Pon=f(xlt в; ei)f(xz, в; ы)... /(ха, 0? e°ft).
D.3)
Введем распределение р1п, определяемое интегралом
O. D.4)
. Следовательно, р1п является взвешенным средним
распределением функции f(xv 6lf ..., Bk) ... f(xn, Qlt ..., вЛ),
которое соответствует различным параметрическим точкам,
расположенным в области соо. Поэтому р1п само является
функцией распределения вероятностей выборки (xlt .. ., хп)х).
Пусть Нх означает гипотезу о том, что распределение
вероятностей выборки (xv ..., хп) дается функцией /?1л,
которая определяется формулой D.4). Тогда Нх будет простой
гипотезой, поскольку она полностью определяет все
распределение. Рассмотрим последовательный критерий отношений
вероятностей силы (а, [3) применительно к проверке
гипотезы Но относительно простой гипотезы Нх. Этот критерий
определяется следующим образом. Гипотеза Но отклоняется,
если
D.5)
принимается, если
— <S, D.6)
и производится дополнительное наблюдение, если
?<^М-<Л. D.7)
Выражения рОп и р1п определяются формулами D.3) и D.4),
а постоянные А и В выбираются так, чтобы критерий ияел
*) Распределение выборки (*i, ..., хп) будет точно даваться
функцией pin, если предположим, что величина б в области со0 имеет
распределение вероятностей, определяемое функцией плотности
вероятности w (8).

требуемую силу (а, C). Как мы видели в параграфе 3.3, для
большинства практических целей можно пользоваться
приближенными формулами
а
).
1 —а
Можно показать, что последовательный критерий
отношений вероятностей, определяемый неравенствами D.5), D.6)
и D.7), удовлетворяет соотношению D.1). Таким образом,
этот критерий можно считать удовлетворительным решением
задачи, если наши требования таковы, что вероятность ошибки
первого рода должна равняться а и что C (8) должно
удовлетворять равенству D.1).
В практических задачах представляется, однако, более
Целесообразным сохранить первоначальные требования, т. е.
требовать, чтобы вероятность CF) принятия гипотезы Но
не превышала величины ?) для всех параметрических точек 0,
расположенных в области ш0, и вероятность отклонения
гипотезы #0 для 6 = 6° равнялась а. Существует вообще
бесконечно много последовательных критериев, которые
удовлетворяют этим требованиям, но мы хотим выбрать такой, для
которого среднее число наблюдений было бы минимальным.
Строгое исследование этого вопроса еще не проведено,
тем не менее, возможно, является приемлемым следующее
приближение. Сначала мы ограничимся классом С
последовательных критериев отношений вероятностей, основанных на
отношении -^-, где рОп определяется формулой D.3), ^ры—
Pan
формулой D.4), при произвольной неотрицательной весовой
функции w(b)t удовлетворяющей равенству D.2J). Таким
1) Хотя последовательные наблюдения хь хъ ... и т. д. не
являются независимыми, когда гипотеза Нг оказывается
справедливой (функцию /?1л нельзя представить как произведение п
сомножителей, каждый &-й из которых зависит только от величины х^), но
справедливость результатов и заключений §§ 3.2 и 3.3 сохраняется,
как это уже отмечалось в § 3.2.
*) Вместо определения ргп как некоторого взвешенного
среднего по типу D.4) представляется одинаково приемлемым
как максимальное относительно 6 произведение
) где ® ограничивается точками,
расположенными в <о0. Тогда отношение -^- будет совпадать с так называе-
Роп
мым отношением правдоподобия, введенным Нейманом и Пирсоном
и широко используемым в существующей теории проверки статисти-
106
определить ргп к

образом, класс С содержит по крайней мере столько же
критериев, сколько может быть весовых функций ie/@),
удовлетворяющих условию D.2).
Критерий класса С однозначно определяется выбором
определенной весовой функции w(d) и определенных
величин А и В. После этого испытание проводится обычным
способом. Гипотеза Но принимается, если -^--^В, отклоняется,
Роп
если —- ^ Л, и производится дополнительное наблюдение,
Роп
если В < ^5- < А.
РОП
Мы ограничиваем наш выбор последовательными
критериями класса С, поскольку они были получены, исходя из
требования, чтобы некоторая взвешенная средняя вероятность
ошибок второго рода равнялась заданной величине р.
Принимая ограничение, согласно которому
последовательный критерий должен принадлежать классу С, мы должны
сформулировать принцип, которым следует руководствоваться
при выборе весовой функции w(Q). Предположим, что
величины А и В уже определены. Посмотрим, какой выбор
весовой функции будет при этом приемлем. После того как Аи В
выбраны, вероятность а совершения ошибки первого рода
также оказывается определенной с достаточной для практики
точностью, и выбор функции «0/(8) не повлияет на ее
величину1). Таким образом, выбор функции w(b) влияет только
на C@). При этом более желательной следует считать такую
весовую функцию w(B), для которой максимальная
относительно 9 величина [3(8) @, конечно, ограничено областью оH)
оказывается меньше.
ческих гипотез. Мы предпочитаем определять /?1л как взвешенное
среднее потому, что теория та-ких критериев оказывается
значительно проще. Если определить ргп как максимальное относительно б,
принадлежащих к области о>0, произведение f(xh в) . ../(*л, в),
то pin уже не будет распределением вероятностей.
г) В самом деле, с_ достаточной точностью выполняются еле-
1 "а "рГ 1*
дующие равенства: ~"~Р = А и . J_ = Д где"р= Г"р"@) w (в) dti.
1 D
Решая эти уравнения относительно аир, получим, что а = ^
и "р== \_Z"r * ^аким образом, а и |~ зависят только от А и В.
107

- Итак, приемлемым представляется следующий выбор
функции w(b): при заданных величинах А и В весовая
функция выбирается из условия, чтобы максимальная
относительно 9 величина Р(9) (9 пробегает точки, расположенные
в области <d0) была наименьшей. После того как этот
принцип выбора функции w(b) нами принят, величина а и
максимальная относительно 9 (9 — в области аH) величина [3(9)
будет зависеть только от А и В. Величины А и В
определяются таким образом, чтобы вероятность ошибки первого
рода равнялась желательной величине а и максимальная
относительно 9 величина C (9) равнялась требуемой величине C.
Общего метода, пригодного для определения оптимальной
в указанном выше смысле весовой функции w(Q), вообще
говоря, еще не существует. Однако для некоторых частных,
но важных случаев такая весовая функция была определена.
Этот вопрос будет рассмотрен в приложении П. 8.
4.1.4. Применение общей методики к проверке
среднего значения нормального распределения с известной
дисперсией. В этом разделе рассмотрим задачу о проверке
простой гипотезы Но о том, что среднее значение 9
нормального распределения с известной дисперсией равно
определенной величине 90.
Для 9, не равных 90, но близких к 90, принятие
гипотезы Но не будет считаться серьезной ошибкой. Существует,
однако, такая положительная величина 8, что принятие
гипотезы Но рассматривается как ошибка, имеющая практическое
значение, в том (и только в том) случае, когда
где через о обозначено известное стандартное отклонение
рассматриваемого распределения. Таким образом, область
отклонения можно определить как совокупность всех вели-
А А
чин 9, для которых ° ^.8, область принятия будет
состоять из единственной точки 9 = 90, а область безразли-
I A A 1
чия—из всех величин 9, для которых 0 < *"" ° < 8.
Плотность распределения вероятностей выборки (хг хп)
при гипотезе Но определяется выражением
108

В соответствии с общей теорией, обсуждавшейся в
предыдущем пункте, функция р1п определяется как некоторое
взвешенное среднее значение функции плотности
вероятностей, соответствующей различным величинам 6,
расположенным в области отклонения. В приложении П. 8.2
показывается, что оптимальная взвешенная функция является простым
средним значением для функций плотности вероятностей:
функции плотности вероятностей, соответствующей значению
б = 0О — So, и функции плотности вероятностей,
соответствующей значению в == в0 —|—8о. Таким образом,
+ —V-expl—iy ^(^-во-во)» П. D.9)
После определения функций рОп и р1п проверка
проводится следующим образом. Производим наблюдения до тех
пор, пока остается справедливым неравенство В < — < Л.
Роп
Если— >-Л, то гипотеза Но отклоняется, если — <; ?,
Роп Роп
то гипотеза Но принимается. Чтобы при этом вероятность
ошибки первого рода равнялась а, а максимальное в обла-
п о
сти "" ° ^.8 значение CF) равнялось (J, во всех практи-
ческих случаях можно брать Л — ~~р и В = ^ .
Более подробное обсуждение рассмотренного здесь
критерия проведено в главе 9.
§ 4.2. Проверка сложных гипотез
4.2.1. Обсуждение важного частного случая. Часто
возникает важная задача проверки гипотезы И о том, что
неизвестный параметр 0 не превосходит определенной
величины б'х). Эта задача имеет особую важность при контроле
качества промышленной продукции. Важность ошибок
первого рода (отклонения гипотезы Н, когда она верна) или
ошибок второго рода (принятие гипотезы Я, когда она
!) Здесь предполагается, что в распределение х входит всего
один неизвестный параметр 6.
Л09

неверна) обычно изменяется с изменением величины 9. Если,
например, б лишь несколько меньше б', то отклонение
гипотезы Н нельзя рассматривать как серьезную ошибку.
Аналогично, если б лишь слегка превосходит величину б',
то принятие гипотезы Н также нельзя считать серьезной
ошибкой. Вообще важность ошибки первого рода будет
постоянно увеличиваться с уменьшением величины б в
области б ^ б', а важность ошибки второго рода будет
непрерывно увеличиваться с увеличением величины б в области
6 > 6х. Таким образом, можно определить такие две
величины б0 < б' и 6t > б', что ошибка первого рода будет
иметь уже практическое значение для б ^ б0, а ошибка
второго рода будет иметь практическое значение для б ^ 6lt
в то время как для величин б, расположенных между б0
и 6t, в достаточной степени безразлично, какое решение
будет принято. Следовательно, областью принятия можно
считать совокупность всех величин б <^ б0, областью
отклонения— совокупность всех величин 6^6t и областью
безразличия— совокупность всех величин 6, для которых
справедливы неравенства б0 < б < бх.
Исходя из описанной ситуации, мы хотим подобрать
такой критерий, при котором вероятность ошибки первого
рода была бы меньше или равна заранее заданной
величине а для всех б ^ б0, а вероятность ошибки второго
рода была бы меньше или равна заранее заданной
величине р для всех 6^6t. В большинстве важных
практических случаев, когда х имеет нормальное, биномиальное или
пуассоновское распределение, последовательный критерий
отношений вероятностей силы (а, C), будучи применен к
проверке гипотезы б = б0 относительно единственной
конкурирующей гипотезы б = бх, обладает желательными для нас
свойствами и обеспечит удовлетворительное решение задачи.
Если последовательный критерий отношений вероятностей
приводит к принятию гипотезы б = б0, то принимаем
первоначальную гипотезу 6^6', а если этот критерий приводит
к отклонению гипотезы б = б0, то отклоняем и
первоначальную гипотезу 8^; б'.
В качестве иллюстрации рассмотрим кратко следующий
пример. Предположим, что партия товара, состоящая из
большого числа промышленных изделий, подвергается
приемочной проверке. Будем считать, что каждое изделие
может быть либо дефектным, либо недефектным. Доля р
дефектных изделий в партии предполагается неизвестной.
ПО

Желательность принятия или браковки партии товара, ко
нечно, зависит от величины р. При этом можно выбрат
такие две величины /?, например р0 и рх (р0 < рг), что бра
ковка партии является ошибкой, имеющей практическое зна
чение, если р^.р0, и принятие партии также является
ошибкой, имеющей практическое значение, если p^pt. Если
величина р лежит между р0 и pv то для нас в известной
степени безразлично, какое значение будет принято. Таким
образом, область принятия определяется неравенством /?^/?0.
область отклонения — неравенством р^>р^ и область
безразличия — неравенствами р0 < р <pv Следовательно, мы
должны подобрать такой критерий, при котором вероятность
браковки партии была бы меньше или равна заданной
величине а при всех р-^.р0 и вероятность принятия партии была
бы меньше или равна заданной величине C при всеос р ^pv
Такой критерий получим в случае, если применим
последовательный критерий отношений вероятностей силы (а, C)
к проверке гипотезы р=р0, относительно единственной
альтернативы p—pv Чтобы вычислить отношение
вероятностей -^- для данной задачи, обозначим через dn количество
Роп
дефектных изделий среди п проверенных изделий.
Вероятность получения выборки, совпадающей с наблюденной, равна
pin=pi"(\—pd"~\ D.10)
когда р =р! 0. и равна
Рол-РояA-РоГ"". D.11)
когда/?=/?о. Тогда
Сама проверка проводится следующим образом.
Продолжаем наблюдения до тех пор, пока остаются
справедливы неравенства In В < ln-^- < In А. Если на каком-
Роп
либо этапе наблюдения окажется, что In -^-^> In Af то
Роп
!) Формулы D.10) и D.11), строго говоря, справедливы лишь
в случае, когда партия товара состоит из бесконечно большого
числа изделий. Здесь предполагается, что партия состоит из
достаточно большого числа изделий, так что эти формулы
оказываются достаточно точными.
Ш

проверка оканчивается браковкой партии, а если окажется, что
In SliL ^ in в, то проверка оканчивается приемкой партии.
РОп
Для практических целей можем взять
Детальное рассмотрение задачи о приемочном контроле
в случае, когда каждое изделие может оказаться либо
дефектным, либо недефектным, проводится в гл. 5.
Вторым примером проверки гипотезы 0 <^ 6' может
служить случай, когда 0 — неизвестное среднее значение
нормального распределения с известной дисперсией1). В этом
случае мы опять можем выбрать такие две величины 0О < 0'
и 0i > 0', что ошибка первого рода имеет практическое
значение лишь при 0 < 0О, а ошибка второго рода имеет
практическое значение лишь при 0 > б1# Для величин 0,
расположенных между 0О и 01э не имеет особого значения,
какое решение будет принято. При такой ситуации мы должны
выбрать критерий, для которого вероятность совершения
ошибки первого рода была бы меньше или равна заранее
заданной величине а для всех 0, удовлетворяющих
неравенству 0 <; 0О, а вероятность совершения ошибки второго
рода не превосходила бы для всех 0 ^ 0Х заранее заданной
величины р. Эти условия будут выполнены, если применить
последовательный критерий отношений вероятностей силы
(а, р) к проверке гипотезы 0 = 0О относительно
единственной конкурирующей гипотезы 0 = 0Х. Плотность
вероятностей выборки (xlt ..., хп) определится выражением
ехр{-
когда 0 = 0О, и
{Zn) <з
когда 0 = 0j. Наблюдения производятся все время, пока
удовлетворяются неравенства В < -^- < Л. Если на некото-
Роп
ром этапе испытания ¦S^'^A, то мы отклоняем гипотезу
* Рш
1) Эта задача подробно рассматривается в главе 7,
U2

0^6'. Если на некотором этапе испытания -^-^В, то мы
Роп
принимаем гипотезу 6^0'. В этом случае мы также берем
а 1 — а
4.2.2. Описание методики проверки в общем случае.
При проверке сложной гипотезы Яш о том, что
параметрическая точка б принадлежит подмножеству а>
параметрического пространства, параметрическое пространство вновь
подразделяется на три попарно непересекающиеся области:
область принятия, область отклонения и область
безразличия. Область принятия теперь в отличие от случая проверки
простой гипотезы может состоять более чем из одной
параметрической точки.
При любой методике проверки вероятность ошибки
первого рода (вероятность отклонения гипотезы Нф, когда
она верна) будет вообще изменяться при изменении
параметрической точки в области со. Для любой параметрической
точки б, принадлежащей к области ш, обозначим через а (б)
вероятность того, что гипотеза Нф будет отклонена, в то
время как б является истинной параметрической точкой.
Аналогично, вероятность ошибки второго рода (вероятность
принятия гипотезы Нф, когда она неверна) является
функцией р F), определенной для всех точек 6, расположенных
вне области со.
В соответствии с требованиями, сформулированными
в п. 2.3.2, мы требуем, чтобы при нашем критерии а (б)
не превышало заранее заданной величины а для всех б,
принадлежащих к области а>пр, и чтобы Р@) не превышало
заранее заданной величины р для всех б, принадлежащих
к области соотк. Прежде чем перейти к задаче отыскания
соответствующего критерия, удовлетворяющего этим
требованиям, мы опять, как и в случае простой гипотезы,
рассмотрим некоторую видоизмененную задачу. Пусть wnp(d)
и ^отк(^) — Две неотрицательные функции величины б,
называемые весовыми функциями, — таковы, что1)
= 1 и fwOTK(9)dB=l. D.15)
1) Весовые функции wnJ? (°) и w0TK (8) могут также быть и
дискретными. Формула, справедливая как для непрерывных, так и для
дискретных весовых функций, может быть получена при
использовании в D.15) интегралов Стилтьесз.
§ Зак. 1119. А. Вэльд " ИЗ

Предположим, что мьг хотим сконструировать такой
последовательный критерий, чтобы взвешенное среднее
"пр
вероятностей ошибок первого рода равнялось заданной
величине а, а взвешенное среднее вероятностей ошибок
второго рода
равнялось величине р.
Соответствующий последовательный критерий,
удовлетворяющий этим видоизмененным требованиям, можно
сконструировать следующим образом. Пусть рОп и р1п—функции,
определяемые формулами
Р
и D.16)
Pin = //(*!• б1 h) . . . /(*л. в1. . • •. h) ^о (б
^отк
D.17)
где через f(x, 0lf ..., 6ft) обозначено распределение
вероятностей в случае, когда 0 является истинной параметрической
точкой. Функции рОп и р1п можно интерпретировать как
распределения вероятностей выборки (xv ..., хп). Обозначим
через Hi гипотезу о том, что распределение вероятностей
выборки (хи .. ., хп) определяется формулой D.16), а через
Hi — гипотезу о том, что это распределение определяется
формулой D.17). Последовательный критерий отношений
вероятностей силы (а, |3), будучи применен к проверке
гипотезы #о относительно гипотезы Н*и обеспечит решение
нашей задачи. Если постоянные А и В в этом
последовательном критерии выбраны так, чтобы вероятность
отклонения гипотезы #о, когда она верна, равнялась а, а
вероятность принять гипотезу #о, когда верна конкурирующая
114

гипотеза и[9 равнялась р, то для этого последовательного
критерия имеем
Чтобы сделать силу проверки гипотезы Но относительно
гипотезы Hi равной (а, C), мы вновь для практических
целей можем положить
а 1 — а
Для получения последовательного критерия,
удовлетворяющего требованиям
аF)<!а для всех 0 в области wnp, D.18)
для всех 0 в области w0TK, D.19)
мы должны ограничиться последовательными критериями
отношений вероятностей, для которых рОп и р1п определяются
формулами D.16) и D.17) соответственно, а функции wnp(Q)
и wOTK(Q) могут быть любыми весовыми функциями,
удовлетворяющими условиям D.15).
Обозначим через С класс всех таких критериев,
соответствующих всем возможным весовым функциям wnp @)
и wOTK(Q). Чтобы выбрать определенный критерий из класса С,
который удовлетворял бы требованиям D.18) и D.19), мы
должны поступать аналогично случаю простых гипотез,
который рассматривался в п. 4.1.3. Этот критерий однозначно
определяется выбором постоянных А и В и весовых
функций допр@) И ^отк^)» Таким образом, максимальная
относительно 0, принадлежащих к области ш^, величина а@),
так же как максимальная относительно 0, принадлежащих
к области о>отк, величина р@), однозначно определяются
заданием Л, В, wnp(Q) и wOTK(9). Обозначим эти максимумы
через а [Л, В, <*пр(9), ^отк@)] и р [Д В. дапр(в). wOTK(B)\
соответственно. Для заданных величин Ли В считаются более
желательными такие весовые функции адпр@) и wOTK@).
которым соответствуют меньшие величины а [А, В, wnp(Q), wOTK(Q)]
и р[Л, В, wn?(Q), wOTK(B)]. Таким образом, если можно
найти весовые функции ^пр@) и wOTKF), для которых
одновременно минимализируются величины а [Л, ?, ч^прС^)» ^отк(^)]
8* 115

и E [Л, В, ДОПр(в). ^отк(^)]» т0 эти весовые функции можно
считать оптимальными. В приложении П. 9 показывается,
что в ряде важных частных случаев (таких, например, как
определение среднего значения нормального распределения
с известной дисперсией) оптимальные весовые функции
описанного выше типа существуют. Однако неизвестно,
существуют ли они в общем случае. Если невозможно
одновременно минимализировать и а [Л, Bt wnp F), -а;отк(9I
и j3 [Л, В, t2Jnp(8), ^отк(^)]» то приемлемым может быть такой
выбор wnp(b) и wom(Q), при котором некоторое среднее двух
величин а [Л, Bt wnp(ft), wOTKF)] и C [Л, В, wnp(Q), wOTK(b)] или
максимум этих двух величин оказывается минимальным.
Если принимается принцип, сформулированный выше для
выбора функции веса wnp(b) и wOTK(B), то максимальная
в области о)Пр величина а (б) и максимальная в области соотк
величина C@) будет зависеть только от Л и В. Наконец,
постоянные А и В определяются так, чтобы эти два
максимума были равны аир соответственно.
Вообще говоря, не существует общего метода,
пригодного для определения весовых функций wap(B) и wOTK(b),
оптимальных в указанном выше смысле, Однако в некоторых
частных случаях такие весовые функции могут быть найдены х).
4.2.3. Применение общей методики к проверке
среднего значения нормального распределения с неизвестной
дисперсией (последовательный ^-критерий). В
приложениях часто возникает важная задача проверки гипотезы Я
о том, что неизвестное среднее значение 9 нормального
распределения равно некоторой определенной величине 60,
в то время как относительно дисперсии о2 этого
распределения ничего неизвестно. Если истинная величина 9
отличается от 90 только на небольшую величину, т. е. если
|9 — 0О| является лишь малой частью стандартного
отклонения о, то принятие гипотезы И обычно не считается
ошибкой, имеющей практическое значение. Однако важность
ошибки, допускаемой при принятии гипотезы Н в случае,
когда 9 Ф 90, будет вообще увеличиваться с ростом
величины —"~ ° . Таким образом, можно определить такую
положительную величину S, что принятие гипотезы И может
1) См. приложение П.9.
116

ствия, только когда
рассматриваться как ошибка, имеющая практические послед-
""" ° ^>о. В соответствии с этим
определятся три области параметрического пространства.
Область о)пр принятия состоит из всех точек F, а), для
которых 0 = 60, т. е. область сопр состоит из всех точек
@О, о), где о может принимать любое положительное
значение. Область шотк отклонения состоит из всех точек @, о),
0
для которых
0О
Наконец, область безразличия
ft A I
fi л I
состоит из всех точек @, о), для которых 0< —~~ ° <8.
Функция плотности вероятностей выборки (xv ..., хп),
соответствующая нормальному распределению со средним
значением 6 и стандартным отклонением о, определяется формулой
D.20)
B«)
Как и в общей методике, описанной в предыдущем пункте,
критерий в этом случае основан на отношении ^-, где
Роп
Роп — некоторое взвешенное среднее величины рп,
соответствующее различным точкам F, о), принадлежащим к
области (опр, и р1п — некоторое взвешенное среднее величины рп%
соответствующее различным точкам (б, о), принадлежащим к
области о)отк. В приложении П. 9 показывается, что выбирая
весовые функции wnp(b) и wQTK(b) b соответствии с принципом,
описанным в предыдущем пункте, мы придем к отношениюх)
Рт_
Роп
оо
1/г-
D.21)
!) Значительная работа по оценке этого отношения с целью
приведения его к форме, удобной для табулирования, была
проделана К. Арнольдом в бытность его членом Группы
статистических исследований Колумбийского университета. Таблицы для
вычисления этого отношения подготовлены Mathematical Tables Project,
New York. *
117

Сама проверка проводится затем следующим образом.
Производим дополнительные наблюдения до тех пор, пока
выполняются неравенства В < ^- < А\ гипотеза Н прини-
РОп
мается, если на некотором этапе проверки ^-^В; если же
Роп
•^-^>Л, то гипотеза Н отклоняется. Чтобы удовлетворить
Роп
требованиям D.18) и D.19), мы для практических целей
можем брать Л = и В = -^—.
г а 1 —а
4.2.4. Частный класс задач, рассмотренный Гирши-
ком х). Класс задач, рассмотренный Гиршиком, можно
определить следующим образом.
Пусть ххи х2 — две независимые случайные величины.
Распределение величины хх дается функцией f(xl9 0Х),
распределение величины х2 — функцией f(x2, 02), причем
функциональный вид распределений известен, а величины
параметров 0Х и 02 неизвестны. Задача заключается в проверке
гипотезы Н : 0Х ^ 02 относительно конкурирующей гипотезы
И' : 0, > 02.
Задачи данного типа часто возникают в приложениях.
Пусть, например, х означает некоторую количественную
характеристику промышленного изделия, например, твердость,
сопротивление на разрыв или вес. Предположим, что
распределение х в генеральной совокупности готовых изделий
имеет известную функциональную форму f(x, 6), но
величина параметра 0 неизвестна. Предположим далее, что
промышленность стоит перед выбором одного из двух
возможных способов производства этих изделий. Пусть 0х означает
величину параметра 0 при использовании первого способа
производства, а 02 — величину параметра 0 при
использовании второго способа производства. Обе величины 0t и 02
неизвестны. Если считается более желательной продукция
с бблыией величиной 0, то задача выбора между двумя
возможными способами производства сводится к испытанию
гипотезы Н о том, что 0!<^02; выбирается первый способ,
если гипотеза Н отклоняется, и избирается второй способ
производства, если гипотеза И принимается.
1) М. A. G i r s h i с k, Contributions to the Theory of Sequential
Analysis, The Ann. of Math. Stat. 17 A946).
113

Гиршик предложил следующую методику проверки
гипотезы Н. Выбираем некоторую величину 0J параметра 8Х
и некоторую величину б° параметра б2, причем величины 6о
и б° берутся такими, чтобы 6J < б°. Пусть Но означает
гипотезу о том, что совместное распределение величин хх
и х2 дается произведением f(xv 6J)/(x2, 6°) и пусть Нх
означает гипотезу о том, что совместное распределение
величин хх и х2 имеет вид f(xv 6^/7jc2, 6J). После этого
применяем последовательный критерий отношений
вероятностей к проверке простой гипотезы Но относительно
простой конкурирующей гипотезы Hv Гипотеза Н принимается
или отклоняется в соответствии с тем, к чему приводит наше
испытание — к принятию или отклонению гипотезы Но.
Таким образом, для проведения проверки необходимо выбрать
две постоянные Л и В и на каждой стадии эксперимента
подсчитывать величину отношения
Pin __ f Ы Ф /(*«¦ 8?) ¦ ¦ • /(х1я, 8») /(*»» 6°)
Р°п f(xu, 0?) f(xn, в«) ... f(xln, в») л: (*л. в») ' * ' '
Здесь xik означает k-t наблюдение величины xi(i= 1, 2)-
Предполагается, что наблюдения производятся попарно,
причем каждая пара состоит из одного наблюдения величины хх
и одного наблюдения величины лг2. Эксперименты
продолжаются до тех пор, пока отношение — остается в диапа-
Рт
зоне между В и Л. Гипотеза Я принимается, если —^В,
Роп
и отклоняется, если — 2>А
РОп
Гиршик показал, что во многих важных случаях
приведенная выше методика проверки обладает следующим
свойством: существует такая функция v = v(Q1, б2), что v можно
считать некоторой допустимой мерой разности между 0Х
и б2, и вероятность принятия гипотезы Н зависит только
от величины V. Функция v удовлетворяет условиям:
1) V(BV 62) = О, когда в1 = в2, 2) v^, 62)< 0, когда 02>6lf
3) v(Bv Q2) = — v(e2, 0t).
Если функция vt свойства которой указаны выше,
существует, то выбор четырех величин 6J, б^, А и В можно
сделать на основе следующих соображений. Пусть 8 такая
119

положительная величина, -что принятие гипотезы Н считается
ошибкой, имеющей практическое значение, для всех г>^-о,
а отклонение гипотезы Я является ошибкой, имеющей
практическое значение, для всех -у^ — 8. Для величин vt
расположенных между —8 и 8, не очень важно, какое решение
будет принято. Таким образом, мы хотим получить такую
методику проверки, для которой вероятность отклонения
гипотезы И не превосходит для всех ^^ — 8 заранее
заданной величины а и вероятность принятия гипотезы Н для
всех v^b не превосходит заранее заданной величины [3.
Наша методика проверки будет обладать этими свойствами,
если величины 6J, 8?, А и В выбраны так, что v(d®, $%) =— 80
и последовательный критерий отношений вероятностей,
примененный к проверке гипотезы Но относительно гипотезы Hv
имеет силу (а, C). Для всех практических целей мы можем
1 о о
положить А = - и В — 1 .
а 1 — а
Для иллюстрации сказанного рассмотрим следующий
пример. Предположим, что нам надо выбрать один из двух
возможных технологических процессов. Предположим также,
что рассматриваемая количественная характеристика изделий
является нормально распределенной случайной величиной с
известным средним значением, но неизвестным стандартным
отклонением ог в случае, если используется первый процесс,
и о2 — при использовании второго процесса. Для нас
предпочтительнее, конечно, тот технологический процесс, который
приводит к меньшему стандартному отклонению.
Таким образом, производство заинтересовано в проверке
гипотезы И о том, что ох^а2. Не ограничивая общности,
можно считать, что средние значения распределений равны
нулю. Пусть Но — гипотеза о том, что a1 = oj и оа = о^
а Нх — гипотеза о том, что ^ = 0^ и оа = «?(в? < о°). Тогда
отношения вероятностей при проверке гипотезы Но
относительно гипотезы Нг определятся выражением
Роп
где xik означает k-e наблюдение, взятое из генеральной
совокупности, соответствующей процессу /(/=1, 2).
120

Гиршик показал, что вероятность того, что последовав
тельный критерий отношений вероятностей закончится
принятием гипотезы Но, зависит только от величины
*(°i.a2)= у D—т) • D-24>
у D
Эту величину можно интерпретировать как приемлемую
меру отклонения <зг от о2. Предположим, что мы хотим,
чтобы наша методика проверки удовлетворяла следующим
условиям: вероятность отклонения гипотезы Н не должна
превосходить а во всей области
и вероятность принятия гипотезы Н не должна
превосходить р во всей области
После этого выбираем oj и о? так, чтобы
Отношение вероятностей, определяемое формулой D.23),
становится тогда равным
<4-26>
Если вместо — использовать
Роп
1 1пЛл_ Y ^2 v-2\
то испытание может проводиться следующим образом.
Продолжаем делать пары наблюдений до тех пор, пока остаются
121

справедливыми неравенства
D'27)
/»1
Принимаем гипотезу Я, если
и отклоняем гипотезу Я, если
S (*!*-*¦«)>?• D>29)

ЧАСТЬ II
ПРИЛОЖЕНИЕ ОБЩЕЙ ТЕОРИИ
К ЧАСТНЫМ СЛУЧАЯМ1)
ГЛАВА 5
КРИТЕРИЙ ДЛЯ СРЕДНЕГО ЗНАЧЕНИЯ
БИНОМИАЛЬНОГО РАСПРЕДЕЛЕНИЯ
(ПРИЕМОЧНАЯ ПРОВЕРКА ПАРТИИ ИЗДЕЛИЙ,
В КОТОРОЙ КАЖДОЕ ИЗДЕЛИЕ ОТНЕСЕНО
К ОДНОЙ ИЗ ДВУХ КАТЕГОРИЙ)
§5.1. Постановка задачи
Пусть х — случайная величина, которая может принимать
только два значения 0 и 1. Обозначим через р неизвестную
вероятность того, что х принимает значение 1. Мы будем
иметь дело с задачей проверки гипотезы о том, что р не
превышает некоторой заданной величины р'.
Эта задача возникает, например, в приемочном контроле
партий, состоящих из большого числа единиц произведенной
продукции. Предположим, что каждая единица отнесена
к одной из двух категорий: дефектной или годной. Будем
приписывать величину 0 любому годному изделию и вели-
1) Эти частные случаи рассмотрены главным образом в
качестве иллюстраций к общей теории для того, чтобы выявить
специфичные для этих приложений моменты, представляющие
теоретический интерес. Поэтому здесь не делается упор на процесс
вычислений и его упрощения, не приводятся таблицы. Более
детальное и математическое обсуждение этих приложений с большим
числом таблиц, графиков и вычислительных уравнений содержится
в докладе «Sequential Analysis of Statistical Data: Applications»,
подготовленном Группой статистических исследований
Колумбийского университета и опубликованном Columbia University Press
в сентябре 1945 г. В дальнейшем ссылки на этот доклад будут
обозначаться SRO .255,
123

чину 1 любому дефектному изделию. Пусть р означает
относительное число дефектных изделий. Тогда величина х,
получающаяся в результате проверки изделия, случайно
выбранного из партии, может принимать только значения 1 и О
g вероятностью р и 1—р соответственно. Иногда можно
задать такую величину р\ что при р^.р' мы предпочитаем
принять партию, а при/?>// — отвергнуть.
Таким образом, задача о пригодности данной партии
изделий, решение которой дается на основании выборочной
проверки, может быть поставлена как задача проверки
гипотезы о том, что р^р', против гипотезы /?>/?'.
Так как приемочный контроль промышленной продукции
является, возможно, одним из самых важных приложений
задачи о проверке среднего значения биномиального
распределения, в дальнейшем будем использовать терминологию,
принятую в приемочном контроле. Это, конечно, не
означает, что методика проверки неприменима также хорошо
к другим случаям. В терминах приемочного контроля наша
задача может быть сформулирована следующим образом:
необходимо найти подходящий план выборочного контроля
(методики проверки) для принятия решения о том, должна
ли контролируемая партия быть принята или забракована.
§ 5.2. Допускаемый риск, связанный с принятием
неправильных решений
Любой план контроля, который не обеспечивает проверку
всей партии, может привести к неверному решению, поэтому
мы можем принять партию изделий, когда р > р\ или
забраковать партию, когда р^р'. Так как полная проверка
часто неосуществима или слишком дорога, мы готовы пойти
на некоторый риск принятия неправильных решений. Чтобы
составить подходящий план выборочного контроля, следует
установить максимум связанного с неправильными решениями
риска, на который мы готовы пойти.
Если р=р', то качество партии находится как раз на
грани допустимого, и нам безразлично, какое решение принять.
При/?>р' мы предпочитаем забраковать партию и степень
предпочтения увеличивается с увеличением р. При /?</?' мы
предпочитаем принять партию, и степень этого предпочтения
увеличивается с уменьшением р. Если р незначительно
превышает р1\ степень предпочтения, оказываемого браковке
партии, невелика, и принятие партии не будет рассматриваться как
ошибка, имеющая практические последствия. Аналогично,
fe4

если р немного меньше //, браковка партии не является
серьезной ошибкой. Таким образом, представляется
возможным определить две такие величины р0 и р1 (р0 меньше р/ и рх
больше /?')» что принятие партии изделий рассматривается как
ошибка, имеющая практические последствия, тогда (и только
тогда), когда p^>pv и отказ от принятия партии рассматри-
вается как ошибка с практическими последствиями в том
(и только в том) случае, когдаp^pQ. Если/? лежит между р0
и pv мы не особенно заботимся о том, какое решение
принимается.
После того как величины р0 и рх выбраны, риск,
связанный с принятием неправильных решений, который мы
готовы допустить, может быть определен следующим образом:
вероятность .забраковать партию не должна превышать
некоторой наперед заданной малой величины а, когда р*Ср0,
и вероятность принятия партии не должна превышать
некоторой наперед заданной малой величины р, когда p^-pv
Таким образом, допускаемый риск характеризуется
четырьмя числами: /?0, pt а, [3. Выбор этих четырех величин не
является статистической проблемой. Они выбираются из
практических соображений в каждом частном случае.
Соответствующий план выборочного * контроля, как будет показано
в следующем пункте, может быть определен после того, как
эти четыре величины выбраны.
§ 5.3. Последовательный критерий отношения
вероятностей, соответствующий
величинам р0, ри а и р
5.3.1. Определение алгебраических формул для
критерия проверки. План выборочного контроля, для которого
вероятность отказа от принятия партии не превышает а, когда
Р^СРо* и вероятность принятия партии не превышает C,
когда p^pi можно задать при помощи последовательного
критерия отношения вероятностей силы (а, C) для проверки
гипотезыр=ро против гипотезы р—рг. Этот критерий
определяется следующим образом (см. § 3.1). Пусть xi означает
результат проверки 1-го изделия, т. е. xl=lf если /-е
проверенное изделие оказалось дефектным, и ^ = 0 в
противоположном случае. Если р означает относительное число
дефектных изделий в партии, то вероятность получения вы-*
борки (xv ..., хт) определяется формулой

где dm означает число дефектных изделий среди первых т
проверенных1). Если верна гипотеза p=pv то вероятность
E.1) равна
Plm=pim(l-Pi)m'dmt E.2)
а если верна гипотеза /?=/?0, то вероятность E.1) равна
Pom=PdomV-Po)n-dm- E.3)
Последовательный критерий отношения вероятностей
проводится следующим образом. На каждом этапе при
проверке гп-то изделия для каждого положительного целого
значения m вычисляем
Проверка продолжается до тех пор, пока
и прекращается при нарушении неравенств E.5). Если на
этом последнем этапе имеем
^ E-6)
то партия бракуется, а если
lnfs^inJ-, E.7)
Pom x — а
го партия принимается2).
Неравенства E.5), E.6) и E.7) могут быть, как легко
видеть, заменены следующими эквивалентными неравенствами:
,n_J_ in\zz?o
pi <dm
PO A—PO PO
Po 1— Po Po
!) Партия предполагается достаточно большой, чтобы
последовательные наблюдения Х\, хъ ... можно было считать независимыми.
в 1 — в
2) Использование постоянных \ъ^— и 1п заключает
' 1 —а а
в себе небольшое приближение. Подробнее см. § 3.3.
Кб

" (_m L=?i—, E.9)
ta
При каждом w будем обозначать правую часть
неравенства E.10) через ат и называть ее приемочным числом.
Аналогично, правую часть E.9) будем обозначать через гт
и называть браковочным числом. При практических расчетах
представляется более удобным использовать неравенства E.8),
E.9), E.10) вместо исходных неравенств E.5), E.6), E.7I).
На основе неравенств E.8), E.9) и E.10) последовательный
критерий отношения вероятностей применяется следующим
образом. На каждом этапе вычисляем приемочное и
браковочное числа. Проверка продолжается до тех пор, пока
am<dm<C rm. Как только dm в первый раз оказывается за
пределами этого интервала, проверка прекращается. Если
dm^rmi партия бракуется, а если dm^am, партия
принимается.
5.3.2, Табличный метод проведения контроля.
Приемочное число
1=1°
Ро
и браковочное число
E.12)
Ро 1— Ро
зависят только от величин /?Ot pv аир. Таким образом,
они могут быть рассчитаны и табулированы перед началом
испытаний. Если ат не целое число, можем заменить его
г) Использовать неравенства E.8), E.9) и E.10) вместо E.5), E.6)
и E.7) впервые предложил Дж. X. Кэртис. В SRQ 255 подобные
преобразования неравенств, определяющих методику проверки,
использованы также в других задачах.
127

наибольшим целым числом < ат. Точно так же, если гт не
целое число, можем заменить его наименьшим целым
числом > гт.
В качестве иллюстрации рассмотрим следующий пример.
Пусть р0 = 0,1, рх = 0,3, а = 0,02 и р = 0,03. Приемочное
и браковбчное числа и результаты наблюдений при
эксперименте приведены в табл. 5. В этом примере проверка
закончилась при т = 22 браковкой партии.
т
число
проверенных
изделий
1
2
3
4
5
б
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
ат
приемочное
число
0
0
0
0
0
0
1
1
1
1
1
2
2
2
2
2
3
Та
йт число
обнаруженных
дефектов
0
0
1
1
1
1
1
1
2
2
3
4
4
5
5
5
5
6
6
б
6
7
блица 5
тт

браковочное число
• •
• •
4
4
4
5
5
5
5
5
б
б
6
6
6
7
7
7
7
7
7
8
8
8
8
8
9
9
9
5.3.3. Графический метод проведения контроля. При
контроле можно пользоваться также графическим методом.
128

Число наблюдений т откладывается по горизонтальной оси,
а число дефектов dm по вертикальной оси. Точки (т, ат)
лежат на прямой линии Z,o, так как ат линейная функция т.
Точно так же точки (гп% гт) лежат на прямой линии Lx.
Прямая Lo пересекает вертикальную ось в точке
In
/zo =
и прямая Lx — в точке
1 — а
Рй i—Po
E.13)
E.14)
Ро 1—1
Линии Lo и Lx параллельны и их общий угловой
коэффициент равен
1—А)
In
— Pi
E.15)
— />o
Две прямые линии Lo и Lx наносятся на график перед
началом контроля. Точки (т, dm) наносятся на график по
dm
8
6
Ю
15
Рис. 11.
20
25
30
мере того, как идет проверка. Продолжаем проверку
добавочных изделий до тех пор, пока точка (tft, dm) лежит между
линиями Lo и Lx. Проверка прекращается, как только в
первый раз точка (ту dm) не попадает между линиями Lo и Lv
9 Зак. 1119, А. Вальд 129

Если (т, dm) лежит на Lo или ниже, партия принимается.
Если (m, dm) лежит на. Lt или выше, партия бракуется.
Рис. 11 иллюстрирует графический метод на примере,
рассмотренном в п. 5.3.3.
§ 5.4. Оперативная характеристика критерия L(pI)
5.4.1. Определение L(p) при некоторых значениях
переменной р. Согласно определению п. 2.2.1 значение
оперативной характеристики L(p) для каждого р равно
вероятности того, что партия будет принята, когда истинная доля
дефектных изделий в партии равна /?. Легко проверить, что
L@)=l и L(l) = O. E.16)
Так как методика проверки составляется так, что
вероятность принятия партии при р=р0 равна 1—а, а
вероятность принятия партии при p—pt равна р, то
L(pJ=l—a и L(Pl) = $. E.17)
Когда
P=s=
Р
Ро 1 — Ро
получаем из равенства C.43)
In
1— a
E.18)
где h0 и hx — свободные члены в уравнениях прямых LQ и Lx 2).
Таким образом, пять точек графика оперативной
характеристики, соответствующие /? = 0, 1, pQt px и 5 можно опре-
г) Формулы этого раздела являются приближенными, так как
мы пренебрегли избытком dm по отношению к границам ат и гт
при окончании испытания. Подробности см. в § 3.4, и в
приложении П. 2.3. Точная формула для L (р) дана в п. 5.4.3 в том частном
случае, когда угловой коэффициент 5 определяющих контроль
линий является числом, обратным целому числу.
2) Когда р = s, то h в формуле C.43) равно 0. Предел правой
In A
части C.43) при h -> 0 равен -j— . —^- , что в свою очередь
равно правой части E.18), так как Л = и В= J_ -,
130

делить немедленно. Ввиду того, что L(p) монотонно убывает
с увеличением /?, пять точек почти точно определят форму
кривой оперативной характеристики в целом. Часто этого
достаточно для практических целей, и расчет L(p) для других
значений р не нужен.
5.4.2. Определение L(p) на всей оси р. В главе 3
(равенства C.45) и C.46)) было показано, что!)
_ 1
**КР) — л-рчд / р
где /г определяется из уравнения
E.19)
Р =
E.20)
Чтобы рассчитать кривую оперативной характеристики,
не обязательно решать уравнение E.20) относительно h.
Для любого произвольного
значения h значения р и L (р) могут
быть получены из E.19) и E.20).
Найденная таким образом точка
(/?, L(p)) будет точкой кривой
оперативной характеристики.
Эту кривую можно изобразить,
нанеся на график достаточно
много точек (р, L(p)),
соответствующих различным
значениям /г. На рис. 12 изображена
типичная кривая оперативной
характеристики. Параметр h
E.19) и E.20) изменяется от
—оо до -f-oo. Можно показать, что правая часть
равенства E.19) возрастает с увеличением /г, а правая часть
равенства E.20) убывает с увеличением /г. Пять значений /?,
рассмотренных в п. 5.4.1, т. е. /7 = 0, /?0, s, plt 1,
соответствуют, как видно из E.20), значениям /г = -|-оо, 1, 0, —1,
Рис. 12.
х) В формулах, приведенных в SRG 255, стр. 2.50, величины р
и L (р) выражены через другой параметр х, функционально
связанный с /г.
9*
131

-г-оо, соответственно. Подставляя /г = -}-оо, 1, 0,—1, —оо
в E.19), получим пять «соответствующих значений L(p), ко*
торые совпадают со значениями, приведенными в п. 5.4.1.
Если часть кривой оперативной характеристики,
соответствующая положительным значениям h, определена, расчет
части кривой, соответствующей отрицательным /г, можно
упростить1). Чтобы показать это, возьмем положительное h
и соответствующую этому значению точку (/?, L(p)) кривой
оперативной характеристики. Пусть (/?', L (р')>) означает точку
на кривой, соответствующую —/г. Тогда имеем
i-p
} " j (J^). E.21)
р'
Аналогично,
i _ (hzPiY" (Ei)" (Lz.Pi\h - (&\h
U-Po/ \Po) \l—Po) W
W \1—/>o/ \1—Po/ W
= (Щ У-™ =¦ = (&)%. E.22)
\1— Po) W
i) Подобные упрощения сделаны в SRG 255, стр. 2.50, по
отношению к используемому там параметру х.
132

Таким образом, точку (//, L(p')), соответствующую —К
можно найти, зная точку (/>, Z, (/?)), соответствующую Л, при
помощи простых соотношений
5.4,3. Точная формула для L (/?), когда величина, об*
ратная угловому коэффициенту линий решения, есть
целое число. Величина z, т. е. логарифм отношения
вероятностей для одного наблюдения, может принимать только
два значения: Ы^ и In 1 ~~Ргщ Из E.15) следует, что
Ро L—Po
Ро
ln?i= — —
Po \s I 1— Pi
где 5 — угловой коэффициент линий решения. Допустим, что
целое число. Тогда оба значения г являются целыми
о
для
о
кратными d = ln "~~^°,а именно —d и ( 1) d, и
1 Pi \s /
определения точной кривой оперативной характеристики можно
использовать результаты последней части приложения П. 41).
На основе этих результатов можно показать, что
It — Uj)
где Ли В постоянные, используемые в последовательном
критерии2), символ [k] означает наименьшее целое число
!) Чтобы свести этот случай к рассмотренному в
приложении П. 4, достаточно рассмотреть критерий, соответствующий z*t
Л*, В\ где г* = — zt In А* = — In Д In Я* = — In A.
2) Чтобы получить критерий силы (а, р), мы воспользовались
приближенными значениями
1 — а
133

и и1% и2 u± корни уравнения
s «
1
a7
Другой метод получения точной формулы для L(p) был
дан М. А. Гиршиком (Ann. of Math. Stat. 17. A946)). Его
метод не требует вычисления корней их% .... и\.
§ б.б. Среднее число наблюдений критерия
Пусть п означает число наблюдений, потребовавшихся
при проведении критерия. Тогда п — случайная величина,
так как она зависит от исходов наблюдений. Математическое
ожидание величины п за-
Еа(п)\ висит от относительного
числа дефектных изделий
в партии и обозначается
через Ep(ri). Эту
зависимость можно представить
графически, откладывая
р по горизонтальной оси,
а Ер(п) по
вертикальной оси. Типичная кри-
—»- вая среднего числа ис-
Р пытаний показана на
рис. 13. Эта кривая
называется кривой среднего
числа наблюдений критерия (общее определение функции
среднего числа наблюдений см. в п. 2.2.2).
Общая формула для среднего числа наблюдений в
последовательном критерии отношения вероятностей получена
в § 3.5. Приближенная формула C.57), примененная к
биномиальному случаю, дает1)
Ре Р%
Рис. 13.
L(p)\nB+[\—L(p))\nA
E.23)
!) Правую часть E.23) можно выразить через L (/?), свободные
члены в уравнениях линий решения и их угловой коэффициент,
134

где Д = —-!-, В = у^» и ^С/7) означает вероятность
того, что проверка закончится принятием партии. Пользуясь
этой формулой, рассчитаем Ер(п) для /? = 0, /70, pt
и 1. Так как Z,@)=l, значение ?"р(л) при р = 0
определяется формулой й
Л)
Для р=р0 имеем L(p)=\—а и из E.23) получаем
Для р=рг имеем Z,(/?) = p и из E.23) получаем
Так как L(l) = 0, то имеем при р=1
?Р(«) = ?-. E.27)
Пользуясь формулой (П. 99) приложения, можно
рассчитать величину Ер (п), когда/? равно общему угловому
коэффициенту 5 линий принятия и браковки, т. е. когда1)
'"
Ро 1 —Ро
Из (П. 99) получаем
/ р \/ 1—В\
— (in rz^j^n-^)
E.28)
!) Значение 5для/7 соответствует значению в' в формуле (П. 99),
Можно показать, что 5 лежит между р0 и рх. Формула (П. 99).
а следовательно, и E.28) содержат приближение, вызванное тем,
что мы пренебрегли излишком накопленной суммы по отношению
к границам.
135

где Es(z2) — математическое ожидание z2, a z может
принимать только два значения: In — и In 1 ~Pl с
вероятного 1 — А)
стями s и 1—5 соответственно. Таким образом,
+(ta?fiI-tafi"'?S- E-29)
Из E.28) и E.29) получаем
_(ta P )(lnLzi)
/с о
E-
Ро 1— Pi
На практике часто можно удовлетвориться определением
цяти точек кривой среднего числа наблюдений, определяемых
формулами E.24), E.25), E.26), E.27), E.30), так как эти
пять точек уже дают довольно хорошее представление о форме
кривой в целом. Среднее число наблюдений обычно
возрастает при изменении р от 0 до р0 и убывает при изменении р
от рх до 1. В интервале (/?0, рх) среднее число наблюдений
возрастает при увеличении р от р0 до некоторого р' и
убывает, когда р меняется от рг до рг. Значение pf обычно
равно s или очень близко к s. Если желательно начертить
кривую среднего числа наблюдений при всех значениях р,
то сперва необходимо рассчитать оперативную
характеристику L(p). Величина Ер{п) может быть затем просто
определена из E.23) для любого р.
§ 5.6. Группировка наблюдений
5.6.1. Общее обсуждение. На практике иногда
предпочтительнее производить наблюдения группами, а не поодиночке.
При этом проверка проводится следующим образом. Из
партии извлекается группа glt состоящая из v изделий. Если
число дефектных изделий dv в этой группе gx меньше или
равно приемочному числу av, проверка заканчивается
принятием партии.
Если dv больше или равно браковочному числу rv,
проверка заканчивается браковкой партии. Если же av<^dv<irv,
136

берется для проверки вторая группа изделий g2. Опять
партия принимается, если общее число дефектных изделий
в двух группах d2v меньше или равно a2v, партия бракуется,
если d2v^r2v, и берется третья группа g3 из v изделий,
если a2v <d2v < r2v. Процесс продолжается, пока партия не
будет либо принята, либо забракована. Таким образом, когда
наблюдения производятся над группами по v изделий, число
обнаруженных дефектов dm сравнивается с соответствующим
приемочным числом ат и браковочным числом гт только
при m = v, 2v, Зг>, ...
Цель данного параграфа состоит в том, чтобы сделать
некоторые замечания о влиянии группировки на оперативную
характеристику и среднее число наблюдений. Ясно, что
группировка может только увеличить число наблюдений,
требуемых в критерии.
Например, предположим, что проверка оканчивается на
я-м изделии, когда наблюдения производятся поодиночке.
Если п равно целому кратному v, т. е. п = kv, то число
проверенных групп в случае, когда наблюдения производятся
группами, точно равно k и общее число проверенных
изделий получается то же самое, как если бы наблюдения
производились поодиночке. Однако, если kv < п <(A-f- l)v,
группировка будет увеличивать количество проверяемых
изделий, так как мы будем вынуждены проверить по крайней
мере ?+1 групп, т. е. по крайней мере (к +1)^ изделий.
Может представиться случай, когда dn лежит вне
интервала (ал, гл), в то время как a(b+i)V<d(k+i)v<r{k+i)v
Таким образом, в некоторых случаях увеличение числа
проверяемых изделий, вызванное группировкой, может даже
превышать v.
Касаясь влияния группировки на кривую оперативной
характеристики, можно сделать следующие замечания.
ift ft
При А = ~~ , В =. J__ вероятность а' браковки
партии, когда р — р0% и вероятность C' принятия партии, когда
p — plt будут только приближенно равны аир, даже если
наблюдения производятся поодиночке. Это уже отмечалось
в § 3.3, где были выведены неравенства
и Р'<т=г
Легко убедиться, что эти неравенства остаются в силе, когда
наблюдения производятся группами. Величины аир обычно
137

о
очень малы, так что i—„ и г-*— очень близки к а и В. Та-
I — р 1 — а
ким образом, также и в случае группировки реализуемые
значения а' и р' могут оказаться больше выбранных а и р
(соответственно) лишь на некоторую чрезвычайно малую
величину, которой во всех практически интересных случаях
можно пренебречь.
Это означает, что во всех практически интересных
случаях группировка не уменьшит степени защищенности
против принятия неправильного решения при проверке.
Единственный возможный эффект группировки, имеющий
практическое значение, состоит в том, что группировка может
сделать о! и р' значительно меньшими, чем выбранные
заранее значения аир. Это свойство группировки
компенсирует, до известной степени, увеличение числа наблюдений.
Интересно отметить, что если число v изделий в группе
равно обратной величине общего углового коэффициента
линий принятия и браковки и если свободные члены в
уравнениях этих линий целые числа, то группировка никак не
влияет на кривую оперативной характеристики1). Это можно
показать следующим образом. Так как $ = — , то мы имеем
am+d = am+1 и rm+d = rm-\-1- Кроме того, так как
свободные члены в уравнениях линий решения предполагаются
целыми числами, ат и гт принимают целые значения для
любого /я, которое является целым, кратным v. Если
проверка изделий одного за другим приводит к принятию
партии на л-ом этапе, то п должно быть целым, кратным vt
и поэтому проверка по группам также приведет к
принятию партии. Если проверка изделий одного за другим
приводит к браковке партии на я-ом этапе, то dn^rn. Пусть
п! — наименьшее целое, кратное v, ббльшее или равное п.
Тогда dn = rn>, так как dn целое число, dn — /*л<]1
и /V-—гл^1. Отсюда dn'^rn>, и проверка по группам
также закончится браковкой партии. Таким образом,
проверка по группам приводит к тем же самым решениям, что
и проверка изделий поодиночке, и, следовательно,
группировка не влияет на кривую оперативной характеристики.
5.6.2. Влияние группировки на оперативную
характеристику и среднее число наблюдений; верхние и
нижние границы для них. Верхние и нижние границы опера-
1) См. также SRG 255, стр. 2.30.
138

тивной характеристики и среднего числа наблюдений при
группировке могут быть получены в результате
рассмотрения следующих трех вспомогательных способов
последовательного критерия. Пусть h0 — свободный член в уравнении
линии принятия, ht — свободный член в уравнении линии
браковки и s — общий угловой коэффициент этих линий
для данного способа выборочного контроля. Первый
вспомогательный способ получается заменой hQ на /г* = й0— vs
при неизменных hx и s. Второй вспомогательный способ
получается заменой /zt на h^ = ^-{-vs при неизменных h0
и s. Наконец, третий вспомогательный способ соответствует
свободным членам Л*, h* и угловому коэффициенту s. Пусть
L^p) — оперативная характеристика и Bpi(n) — среднее число
наблюдений вспомогательного способа /, когда изделия
проверяются поодиночке (/=1,2, 3). Кроме того, обозначим
через L(p) оперативную характеристику, а через Ер(п) —
среднее число наблюдений данного способа выбора, когда
изделия проверяются одно за другим. Когда проверка
производится по группам, оперативная характеристика и среднее
число наблюдений меняются1), и мы будем обозначать их
через L(p) и Ер(п) соответственно.
Легко видеть, что всегда, когда первый вспомогательный
способ выборочной проверки (при проверке поодиночке)
приводит к принятию партии, исходный план проверки (при
группировке наблюдений) также приводит к принятию.
Обратное, однако, не всегда верно. Может случиться, что
вспомогательный способ ведет к браковке партии, в то время
как исходный способ ведет к принятию. Таким образом,
имеем
Lt(p)^l(p). E.32)
Аналогично можно удостовериться, что всегда, когда
второй вспомогательный способ (использующий проверку по-
одиночке) приводит к браковке партии, исходный способ
проверки (использующий группировку) также приводит к
браковке. Отсюда
Г E.33)
*) Исключение составляет оперативная характеристика, когда
число изделий в группе равно величине, обратной наклону, как
было установлено в п. 5.6.1.
139

Это может быть записано так
L(p)<L2(p). E.34)
Из E.32) и E.34) получаем
I E.35)
Для получения верхнего предела Ер(п) воспользуемся
третьим вспомогательным способом проверки.
Если проверка этим способом (использующим проверку
поодиночке) заканчивается на я-м изделии, проверка по
первоначальному способу (использующему группировку)
заканчивается не позже той группы, в которую входит п*). Отсюда
следует, что число проверяемых изделий при групповом
способе проверки не может превышать n-\-v. Следовательно,
E.36)
Так как Ер(п)^,Ер(п)9 то получаем границы для Ер(п)
E . E.37)
Границы для L(p) и Ер(п) можно также вывести,
используя метод, описанный в приложениях П. 2.3. и П. 3.1.
Границы, выражаемые формулами E.35) и E.37), будут
весьма узкими, когда величины — и 1 Pl близки к еди-
нице и vs не превышает единицы.
§ 5.7. Усеченный критерий
План последовательного выборочного контроля не
обеспечивает какую-либо определенную верхнюю границу для
чисел п изделий, которые должны подвергнуться проверке.
Любое, как угодно большое значение п возможно, однако
вероятность того, что п в два или три раза превысит свое
математическое ожидание, мала. Иногда желательно
установить точную верхнюю границу п0 для пу исключая даже
малую вероятность того, что п превысит п0. Это можно
сделать путем усечения последовательного критерия при
п = п0. В усеченном критерии наблюдения прекращаются при
п = п0, даже если обычное последовательное правило не
*) Возможно, конечно, что проверка закончится на одной из
предшествующих групп.
140

приводит к окончательному решению при п ^ п0. Следующее
правило кажется оправданным для решения вопроса о
принятии или браковке партии при п = п0, если решение не
принято для п^п0 при помощи обычного способа
последовательной проверки: если йПо^> п° ~——» мы бракуем
партию, а если <гПо < п° 2 п°, принимаем.
Усечение и его влияние на кривую оперативной
характеристики рассмотрены в § 3.8. Если п0 выбрано настолько
большим, что раза в три превосходит математическое
ожидание л, эффект усечения для оперативной характеристики
пренебрежимо мал, так как с близкой к 1 вероятностью
обычная процедура последовательной проверки закончится
при п < п0.

ГЛАВА б
КРИТЕРИЙ ДЛЯ РАЗНОСТИ МЕЖДУ СРЕДНИМИ
ЗНАЧЕНИЯМИ ДВУХ БИНОМИАЛЬНЫХ
РАСПРЕДЕЛЕНИЙ (ДВОЙНАЯ ДИХОТОМИЯ)
§ 6.1. Постановка задачи
Предположим, что мы хотим сравнить эффективность
двух производственных процессов, причем эффективность
производственного процесса измеряется долей годных
изделий в общем количестве произведенных изделий. Мы будем
говорить, что изделие является годным, если оно имеет
некоторые желаемые свойства, например, если оно способно
противостоять определенному растяжению. Пусть р1 — доля
годных изделий, когда осуществляется процесс 1, а р2—доля
годных изделий, когда осуществляется процесс 2. Другими
словами, /?! есть вероятность того, что изготовленное
изделие будет годным, если осуществляется процесс 1, а
/?2—вероятность того, что изделие будет годным, когда
осуществляется процесс 2. Предположим, что нам неизвестны
значения pt и р2 и что осуществляется процесс 1. Если
Pi<>P2> то нам желательно сохранить процесс 1. Однако,
если pt < /?2, особенно, если р1 значительно меньше р2> то
мы хотели бы заменить процесс 1 процессом 2. Таким
образом, нас интересует проверка гипотезы рг^>р2 против
конкурирующей гипотезы р1 < р2.
В более общем виде задачу можно поставить следующим
образом. Рассмотрим два биномиальных распределения.
Пусть рг — вероятность успеха в одиночном эксперименте
согласно первому биномиальному распределению, а
/^—вероятность успеха в одиночном эксперименте согласно второму
биномиальному распределению. Будем обозначать успех сим-
142

волом 1, а неуспех символом 0. Предположим, что
вероятности /?! и р2 неизвестны. Рассмотрим задачу проверки
гипотезы Р\^рг на основе выборки, состоящей из Nx
наблюдений, взятых из совокупности, подчиняющейся первому
биномиальному закону распределения, и N2 наблюдений из
совокупности, подчиняющейся второму биномиальному закону.
Так как очень часто наиболее интересным оказывается
случай Nt = N2 и именно в этом случае (как мы увидим позже)
удается получить точное и достаточно простое
математическое решение задачи, будем в дальнейшем предполагать
Ml = N2 = N. Таким образом, на основании двух серий
из N независимых испытаний мы должны принять или
отвергнуть гипотезу
§ 6.2. Классический метод
Ниже приводится классическое решение проблемы для
больших N. Пусть 5Х — число успехов в первой серии из N
испытаний (взятых из совокупности, подчиняющейся первому
биномиальному закону), и пусть S2 — число успехов во
второй серии из N испытаний (взятых из второй биномиальной
О | О
совокупности). Обозначим 1ЛГГ 2 через р и 1 —р через q*
Тогда для больших N величина
F.1)
ViNpq
распределена по нормальному закону с нулевым средним
значением и единичной дисперсией, если р{=р2.
Предположим, что мы хотим выбрать уровень значимости а.
Пусть Ха — величина, для которой вероятность того, что
нормальная случайная переменная с нулевым средним
значением и единичной дисперсией превысит Ха, равна а
(например, если а = 0,05, Ха=1,64). Таким образом, в случае,
когда рх=р2у вероятность того, что величина F.1)
превысит Ха, равна а. Если /?1>/?2» то вероятность того, что
величина F.1) превысит Ха, меньше а. В соответствии
с классическим методом гипотеза pi^-p2 отвергается, если
наблюдаемое значение F.1) превышает Ха. Этот метод является
приближенным, так как распределение для F.1) не точно
нормальное (при малых N оно далеко от нормального).
Для малых N точный метод был предложен Р. А. Фишером,
однако этот метод включает в себя громоздкие вычисления.
143

В § 6.3 будет предложен другой (непоследовательный) метод,
который является точным и довольно простым в обращении,
поскольку это касается вычислений. Дополнительным
преимуществом предлагаемого метода является его пригодность
для последовательного анализа, для которого существующие
методы не могут быть непосредственно приспособлены.
§ 6*3. Точный непоследовательный метод
Пусть аи ..., пм—результаты первой серии из N опытов,
а Ьи ...» Ьм—результаты второй серии из N опытов. Эти
результаты расположены в том порядке, в котором они
наблюдались. Рассмотрим последовательность N пар
(аи Ьх), .... (aNf bN). F.2)
Пусть tx — число пар A, 0) и t2— число пар @, 1)
в этой последовательности. Мы рассматриваем только пары
@, 1) и A, 0) и на них основываем критерий.
Пусть а — исход наблюдения из первой совокупности,
a b — исход наблюдения из второй совокупности.
Вероятность того, что (а, ?) = A, 0), равна рх{\—/?2), а
вероятность того, что (а, ?) = @, 1), равна A—рдРг- Зная,
что (а, Ь) равно одной из двух пар @, 1) или A, 0), можно
записать условную вероятность того, что (а, Ь) равно @, 1),
в виде
а условную вероятность того, что (а, ?) = A, 0), в виде
Следовательно, когда рассматриваются только пары @, 1)
и A, 0), переменная /2 распределена как число успехов
в последовательности t — tl-\-t2 независимых наблюдений,
причем вероятность успеха при каждом наблюдении равна р.
Легко убедиться, что /? = -^-> если pi=p2; рК.-к% если
/?1>/72, и/? > у, еслир^/^. Таким образом, проверяемая
гипотеза о том, что Рх^Рг* эквивалентна гипотезе, что
Р^.~2* Следовательно, мы можем проверить гипотезу о том,
что Рх^Рч* посредством проверки гипотезы о том, что
144

P^-Q-t на основе наблюденного значения /2. Так как
распределение t2 то же самое, что и распределение успехов
в серии / == /х —|— /2 независимых опытов (t рассматривается
как постоянная и вероятность успеха в одном опыте равна /?),
то проверку можно проводить обычным образом. Если мы
хотим установить уровень значимости а, то критическое
значение Т надо выбирать так, чтобы для р = -~ вероятность
того, что t2^T, равнялась а. Гипотеза Р<С~о отвергается
тогда (и только тогда), когда наблюденное t2 больше или
равно критическому значению Т. Величину Т можно найти
по таблице биномиального распределения. Если / велико,
t2 распределено приближенно по нормальному закону и
критическое значение Т можно получить из таблицы
нормального распределения.
Этот способ обеспечивает, таким образом, простую
проверку гипотезы рх^рг- Возникает вопрос о сравнении этого
метода с классическим по эффективности. Казалось бы, что
предлагаемый здесь метод не может быть самым
эффективным, так как значения tx и t2 зависят от порядка элементов
в последовательностях (аи ..., #лО и (р±, ..., Ь^) и нет
особенных причин располагать их в том порядке, в каком мы
их наблюдаем. Однако было показано1), что потери в
эффективности по сравнению с классическим методом
пренебрежимо малы, если число опытов N велико2). Следует
отметить, что способ проверки гипотезы рг^р2 может быть
использован также для проверки гипотезы рх=р2, если
конкурирующие гипотезы ограничены неравенством р2 >рх.
Кроме простоты и точности, рассматриваемый метод,
по-видимому, превосходит классический в следующем
отношении. Предположим, что (в противоположность
первоначальному предположению) вероятность успеха меняется от
опыта к опыту. Пусть рСО означает вероятность успеха
в /-м испытании первой серии и pW — вероятность успеха
*) См. доклад автора «Sequential Analysis of Statistical Data:
Theory», представленный на рассмотрение секции прикладной
математики Национального комитета оборонных исследований, сентябрь
1943 г.
2) Автор полагает, что потери в эффективности невелики, даже
когда N мало, хотя точное исследование этого случая не
проводилось.
J0 Зак. 1П9. А. Вальд J45

в /-м испытании второй серии. Предположим, что
вероятности pW и pW полностью неизвестны, и мы хотим
проверить гипотезу о том, что рМ —р?>= ... =p[N) — pW) = 0.
В этом случае классический метод неприменим, а
рассматриваемый метод дает правильную процедуру испытания. Такая
ситуация может возникнуть, например, если мы хотим
проверить гипотезу о том, что вероятность успеха (попадания
в цель) одна и та же для двух различных ружей. В ходе
эксперимента вероятность попадания может изменяться за
счет вненших условий, таких, как ветер или положение
стрелка. Однако эти внешние условия должны влиять на оба
ружья одинаково, если опыты осуществляются поочередно
(или приблизительно поочередно), так что, если оба ружья
одинаково хорошие, мы имеем pW=pV) (/=1, ..., N).
§ 6.4. Последовательный критерий для гипотезы р^рг
6.4.1. Допускаемый риск, связанный с принятием
неверных решений. Чтобы построить подходящий
последовательный критерий для проверки гипотезы pi^>p^ мы должны
установить сначала величину риска, связанного с принятием
неправильных решений, на который мы готовы пойти.
Эффективность производственного процесса 1 может быть
измерена отношением числа годных изготовленных изделий к числу
дефектных, т. е. kx = yzt— • Производственный процесс 1
можно считать тем более эффективным, чем больше kv
Аналогично, эффективность производственного процесса 2
может быть измерена отношением &2=^-^—• Относитель-
ное превосходство производственного процесса 2 над
процессом 1 может быть, естественно, измерено отношением k2
Если и= 1, оба процесса одинаково хороши. Если #> 1,
процесс 2 лучше, чем процесс 1, а если а < 1, то процесс 1
лучше, чем процесс 2. Таким образом, будем, вообще говоря,
иметь возможность выбрать для и два значения а0 и и1
(а0 < их) таких, что отказ от процесса '1 ради процесса 2
рассматривается как ошибка, имеющая практическое
значение, когда истинное значение а^.и0% и сохранение про-
146

цесса 1 рассматривается как ошибка, имеющая практическое
значение, когда и ^> uv Если и лежит между и0 и аи то мы
не особенно заботимся о том, какое решение принято.
Ясно, что мы всегда будем иметь и0 < иг. Если переход
от производственного процесса 1 к производственному
процессу 2 связан с некоторыми затратами или другими
неудобствами, кажется естественным положить и0 = 1 (или и0
может быть даже немного меньше единицы). Такой выбор и0
реально означает, что мы считаем отказ от процесса 1
серьезной ошибкой во всех случаях, когда этот процесс не
уступает процессу 2. С другой стороны, если переход от
процесса 1 к процессу 2 не связан ни с какими
неудобствами, отказ от процесса 1 в пользу процесса 2 не может
быть серьезной ошибкой, когда оба процесса одинаково
эффективны, т. е. когда и=\. Следовательно, в этих случаях
представляется естественным выбирать и0 несколько меньше 1.
После того как величины и0 и их выбраны, величину
риска, на который мы готовы пойти, можно выразить в
следующей форме: вероятность отказа от процесса 1 не должна
превышать заранее заданной величины а, когда и^а0,
и вероятность сохранения процесса 1 не должна превышать
заранее заданной величины р, когда а ^> их. Следовательно,
риск, на который мы готовы пойти, характеризуется четырьмя
величинами: aQi al9 а и p.
6.4.2. Последовательный критерий отношения
вероятностей, соответствующий величинам #0, аи а и (З. После
того как четыре величины и0, uv а и р выбраны,
соответствующую последовательную проверку можно проводить
следующим образом. Условная вероятность того, что мы
получим пару @,1), как следует из F.3), может быть
представлена как функция а. В самом деле,
Р
Пусть Но означает гипотезу о том, что р = -т——,
а Нх — гипотезу о том, что /? = у-^—. Подходящим
последовательным критерием, удовлетворяющим нашим
требованиям, касающимся допустимого риска, является
последовательный критерий отношения вероятностей для HQ против Нх.
10* 147

Приемочное и браковочное числа для этого
последовательного критерия можно получить из E.11) и E.12)
подстановкой f ,° - вместо /?0, у-ц— вместо рх и t = tx -\-12 вместо т.
Таблица 6
Число
наблюдаемых пар
@,1) и A,0)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Наблюдаемые
пары @,1)
и A,0)
@,1)
@,1)
A,0)
A.0)
A.0)
(ОД)
A.0)
@,1)
@,1)
A.0)
@.1)
@,1)
@,1)
A.0)
A.0)
@,1)
A.0)
A.0)
па
приемочное число
• •
• •
• •
• •
0
1
1
2
3
3
4
5
5
6
7
7
8
9
9
10
11
И
12
13
13
14
15
15
16
/я число
наблюдаемых
пар @,1)
1
2
2
2
2
3
3
4
5
5
6
7
8
8
8
9
9
9
г, брако-
i
вочное
число
13
14
14
15
16
16
17
18
18
19
20
20
21
22
22
23
24
Таким образом, для каждого значения t приемочное число
определяется формулой
In
1
1п-
+ ио
1п и\ — In а0 ~ In ui — In щ f
148
F.7)

а браковочное число' дается формулой
in
In
_ a if i + Mp
In UX — In W0 ' In «j — In tt0
F.8)
Эти числа а, и /^ (t=l, 2, ...) лучше табулировать
перед началом эксперимента. Тогда последовательный
критерий проводится следующим образом. Наблюдения берутся
парами, причем каждая пара включает в себя наблюдение
первого процесса и наблюдение второго процесса. Мы
продолжаем образование таких пар до тех пор, пока at < t2 < rt.
Как только t2 в первый раз окажется вне этого интервала,
эксперимент прекращается. Процесс 1 сохраняется, если на
этом последнем этапе t2^.at, и процесс 1 заменяется
процессом 2, если t2^rt.
В качестве иллюстрации рассмотрим следующий пример.
Положим мо= 1,3, #1 = 3, a = 0,03 и р = 0,10. Наблюдаемые
в эксперименте пары @,1) и A,0) и приемочное и
браковочное числа сведены в табл. 6. В этом примере испытание
заканчивается при ?=18 сохранением процесса 1.
Критерий можно представить также графически, как это
показано на рис. 14. Общее число t пар @,1) и A,0)
откладывается вдоль горизонтальной оси. Точки (t> at) будут
лежать на прямой линии LQi так как at — линейная функция t.
Точки (t, г/) будут лежать на параллельной Lo линии Lx.
Мы проводим линии Lo и Lx и по ходу эксперимента наносим
на график точки (/, t2), получающиеся в результате
эксперимента. Как только точка (t, t2) впервые окажется вне
149

области, ограниченной линиями 10 и ?р эксперимент
прекращается. Процесс 1 сохраняется, если на последнем
этапе (ty t2) оказывается лежащей на Lo или ниже, и
процесс 1 заменяется процессом 2, если (t, t2) лежит на Lx или
выше.
Свободный член в уравнении Lo запишется так:
и In иг — In и0
а свободный член в уравнении Lx так:
F.9)
Общий угловой коэффициент двух линий равен
6.4.3. Кривая оперативной характеристики критерия.
Вероятность сохранения процесса 1 для любого значения и
отношения -~- будем обозначать через L{u). Таким обра-
зом, L(u) есть функция и. Эта функция L(u) называется
оперативной характеристикой критерия. Она может быть
получена из равенств E.19) и E.20) подстановкой ^
вместо р0 и -j-S— вместо рх. После подстановки эти
равенства приобретают вид1)
1+в Г И! A + Ир) I*
L A + ) J
(
L % A + «i) J V1 + «1
F.12)
F.13)
!) В формулах, приведенных в SRG 255, стр. 3.38, величины а
и L (и) выражены через переменную х, функционально
связанную с h.
150

Равенство F.13) может быть записано в виде
1+,V • F-14)
Для любого данного значения h находим и и L(u) из
уравнений F.12) и F.14). Полученная таким образом точка
(и, L(a)) будет точкой графика оперативной характеристики.
Вычисляя (at L(u)) для достаточно большого числа
значений /г, можно построить кривую оперативной характеристики.
Вычислим (и, L(u)) для h = — оо, —1, 0, 1, +со.
Так как ±±Hl < 1 и % {} ^ %j • > 1. то из F.12) и F.14)
получим
и = оо и /,(я) = 0, когда h = — оо, F.15)
и = 0 и ?(и)=1, когда h = + оо. F.16)
Кроме того, получим,
# = #! и ?(а) = р, когда А = —1, F.17)
и = и0 и L(w)=l, когда А = +1. F.18)
При А==0 выражения и и L(a) представляют собою
неопределенность типа -jr. Предельные значения и и /,(#) при
Л ~» 0 могут быть получены дифференцированием числителя
и знаменателя в точке /г = 0. В результате при & = 0
получаем
Эти пять точек графика оперативной характеристики
уже определяют грубо форму кривой. Нетрудно заметить,
что и — убывающая функция от /г, a L(u) — возрастающая
функция /г. Следовательно, L(u) является убывающей
функцией а. Когда а изменяется от 0 до u0, L(u) уменьшается
от 1 до 1—а. В интервале от и0 до uv L(u) уменьшается
от 1—а до р, и в то время как а изменяется в пределах
от их до -|-оо, оперативная характеристика L{u)
уменьшается от р до О,

6.4.4. Среднее число наблюдений, требуемых в
критерии. Для любого значения и отношения -^ обозначим
через Eu(t) математическое ожидание общего числа пар @,1)
и A,0), требуемых в критерии. Величину Eu{t) можно
получить из E.23) подстановкой Eu(t) вместо Ep(n)t L(u)
вместо L(p), -yqr^- вместо р0» Т+п^ вместо Pi и Т^И
вместо р. Таким образом, имеем
иг)^ 1 + и 1+иг
Чтобы вычислить математическое ожидание общего числа
пар (включая также пары @,0) и A,1)), мы должны просто
разделить правую часть уравнения F.20) на р1(\—р2)~г~
ЛО—Pi)-
Так как Z,@)=l и L(oo) = 0, получаем из F.20)
ес^ = 0, F.21)
1п + вйГ' если й = оо. F.22)
ио A + «l)
В силу 1(мо)=1—а и i(«i) = р из F.20) получаем
«о 1И1A+Ио) ,
1И , 1п
«о «о A + «i) 1 + «о 1 + «1
1+иг
*) Правую часть F.20) можно представить как функцию
свободных членов уравнений линий решения и их угловых
коэффициентов. См. SRO 255, стр. 3.41.
152

В § 5.5 мы вычисляли математическое ожидание вели*
чины п, когда р равно общему угловому коэффициенту
приемочной и браковочной линий. Это соответствует слу-
IL 9
чаю, когда -=—т-— = s, т. е. и — -« , где угловой коэф-
1 "-J— И I ¦—¦ о
фициент $ определяется формулой F.11). Величина Eu(t)
при и = -л может быть найдена из правой части E.30)
заменой рх на -=-^— и р0 на -т-^г—• Таким образом,
получаем
_(„,!!_) (,„!=?)
У-ЖН1' F-25)
-I «> ш ——; — ш
«о A + «i) 1 + «о
Знания пяти значений ?я@» определяемых формулами
F.21) — F.25), часто оказывается достаточным для
практических целей, так как эти пять точек дают, вообще говоря,
довольно хорошее представление о форме всей кривой.
6.4.5. Наблюдения, осуществляемые группами. В
приложениях иногда вместо того, чтобы производить одно
наблюдение на каждом этапе последовательного процесса,
мы производим группу наблюдений над каждой из двух
совокупностей, распределенных по биномиальному закону.
Следовательно, вместо одной пары имеем две группы по v
наблюдений. Влияние группировки на кривые оперативной
характеристики и среднего числа наблюдений обсуждалось
в § 6.6; полученные там результаты могут быть применены
к рассматриваемому здесь случаю. Если порядок
наблюдений в каждой группе зарегистрирован, можем установить
число пар @, 1) и пар A,0) для каждой пары групп по v
наблюдений. В этом случае испытания можно проводить так,
как это описано в п. 6.4.2, так как для каждой пары групп
по v наблюдений можем подсчитать t и /2« Однако, если
порядок наблюдений в таких группах не зарегистрирован,
возникает трудность, связанная с невозможностью
определить величины t и t2, необходимые для критерия.
Было показано х), что в этом случае можем заменить /
и t2 некоторыми оценками для / и t2, не изменяя серьезно
1) См. доклад автора «Sequential Analysis of Statistical Data:
Theory».
153

вероятности принятий неверного решения. Оценки tl и t2
(а тем самым и оценка для t = tl-\-t2) получаются
следующим образом. Пусть vx — число успехов в группе из v
наблюдений над первой биномиальной совокупностью и
v2— число успехов в группе из v наблюдений над второй
биномиальной совокупностью. Тогда для этой пары групп
из v наблюдений примем в качестве оценки для числя
пар A,0) величину vx ^!f а в качестве оценки для числа
пар @,1) — величину v2 ?ll!l. Таким образом, оценка
для tx получается суммированием vx — по всем
наблюдаемым парам групп, а оценка для t2 получается
суммированием v2 ^1. по всем наблюдаемым парам групп.
Результаты § 5.6 о влиянии группировки на оперативную
характеристику и среднее число наблюдений приложимы
в данном случае, так как обсуждаемый здесь критерий
сводится к рассмотренному в § 5.6, если р= « , , nt = tl-\r
= t и <*„ = *,.

ГЛАВА 7
ПРОВЕРКА ТОГО, ЧТО СРЕДНЕЕ ЗНАЧЕНИЕ
НОРМАЛЬНО РАСПРЕДЕЛЕННОЙ
СЛУЧАЙНОЙ ВЕЛИЧИНЫ С ИЗВЕСТНЫМ
СРЕДНИМ КВАДРАТИЧЕСКИМ ОТКЛОНЕНИЕМ
НЕ ПРЕВЫШАЕТ ЗАДАННОЙ ВЕЛИЧИНЫ
§7.1. Постановка задачи
Пусть л: — случайная величина, распределенная по
нормальному закону, с неизвестным средним значением 9 и
известным средним квадратическим отклонением о. В этой
главе займемся проверкой гипотезы о том, что б меньше или
равно некоторой заданной величине б'.
Такая задача часто возникает, например, при контроле
качества и приемочном контроле. Предположим, что партия,
состоящая из большого числа единиц производственной
продукции, представлена на приемочный контроль. Число изделий
в партии предполагается достаточно большим, так что партию
можно рассматривать как содержащую бесконечно много
изделий. Предположим, что результатом наблюдения является
измерение некоторой характеристики качества изделия, такой,
например, как вес, твердость или прочность на разрыв.
Величина х будет, вообще говоря, изменяться от изделия
к изделию. Предполагается, что х распределено нормально,
с известным средним квадратическим отклонением, но
неизвестным средним значением б. Предположим, кроме того, что изделие
с меньшим значением б рассматривается как более
желательное. Тогда можно, вообще говоря, определить такое
значение 6', что при б < б7 мы предпочитаем принять партию,
а при 6 > б' предпочитаем забраковать ее. Таким образом,
в этой ситуации мы интересуемся составлением плана
контроля для проверки гипотезы 9 < б'.
155

Так как контроль качества и приемочный контроль
представляют собой важные случаи приложения такого критерия,
то будем продолжать изложение, пользуясь терминологией
приемочного контроля. Это, конечно, не должно
рассматриваться как ограничение общей ценности и применимости
критерия.
§ 7.2. Допускаемый риск, связанный
с неправильным решением
Если б = б', то нам безразлично, принимается или
бракуется партия. Степень предпочтения, которое мы оказываем
принятию, возрастает с уменьшением величины 6 в области
6 < 6', и степень предпочтения, оказываемого браковке
партии, возрастает с увеличением 6 в области б > б'. Можно,
вообще говоря, найти два таких значения б0 и бх (б0 < б'
и 6Х > б'), что браковка партии рассматривается как ошибка
с практическими последствиями, если б ^ б0, и принятие
партии рассматривается как ошибка с практическими
последствиями, если 6 ^ бх; для значений б между б0 и 6j мы не
особенно заботимся о том, какое именно решение
принимается. Используя терминологию, введенную в п. 2,3.1, можем
сказать, что зона предпочтительного принятия состоит из всех
значений 6, для которых 6^6, зона предпочтительного
отказа образуется совокупностью всех величин б, для
которых в;>б1э и зона безразличия состоит из всех значений б
между б0 и бх.
После того как величины 60 и бх выбраны, величину
риска, на который мы готовы пойти, можно выразить
следующим образом *). Вероятность браковки партии не должна
превышать заранее заданной малой величины а, когда б <^ б0,
и вероятность принятия партии не должна превышать
заранее заданной малой величины C, когда 6 ^ б1# Таким
образом, риск, на который мы готовы пойти, характеризуется
четырьмя числами б0, бх, а и р.
§ 7,3. Последовательный критерий отношений
вероятностей, соответствующий
величинам 60, 6lf а и Р
Требования, налагаемые на допустимый риск,
удовлетворяются последовательным критерием отношений вероятностей
силы (а, Р) для проверки гипотезы б = б0 против конкури-
*) См., например, п. 2.3.2.
156

рующей гипотезы 0 = 9^ Этот последовательный критерий
определяется следующим образом. Пусть xlt х2, ...
—последовательно наблюдаемые значения х. Плотность вероятности
выборки (xv ..«, х^ определяется формулой
GЛ)
B*)<
если G = Go, и формулой
если 6 = 01# На каждом этапе проверки вычисляется
отношение вероятностей -^^ . Дс
* Рот
водятся до тех пор, пока
ние вероятностей -^-^ . Дополнительные наблюдения произ-
е <л. G.з)
Проверка заканчивается принятием партии, если
g-Tv х <в' G-4)
Проверка заканчивается браковкой партии, если
е Т v >А' ^7-5>
Согласно § 3.3 приближенное значение А к В опреде-
1ft ft
ляется формулами "~"р и ¦ р . После логарифмирования
157

и упрощения неравенства G.3), G.4) и G.5) могут быть
записаны в виде
т
+2^-^о— 0J < In ——, G.6)
<7-7)
№ Vyo — ^>in —^— . G.8)
Дальнейшее упрощение в методике проверки может быть
достигнуто добавлением—-^ (во — б2) к обеим частям
неравенств G.6), G.7) и G.8) и их последующим делением
на 1-^ ¦. Этими операциями неравенства G.6), G.7) и G.8)
преобразуются в
С использованием неравенств G.9), G.10) и G.11)
проверка может осуществляться следующим образом. Для
каждого т вычисляется приемочное число
G.12)
и браковочное число
158

Приемочное и браковочное числа лучше всего рассчитать
перед началом проверки. Проверка продолжается до тех пор,
пока ат <
<
т
только 2 xi окажется в первый
раз вне интервала (ат1 гот), проверка прекращается. Партия
т т
принимается, если ^ixl<^am, и бракуется, если ^х^гт.
Для иллюстрации рассмотрим следующий пример. Пусть
0о=135, 0!= 150, а = 0,01 и р = 0,03. Кроме того, пусть
о = 25. Результаты наблюдений и приемочное и браковочное
числа приводятся в табл. 7, которая показывает, что
выборочная проверка заканчивается при т = 20 принятием партии.
Таблица 7
т
число
наблюдений
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
ат
ш
приемочное
число
139
281
424
566
709
851
994
1136
1279
1421
1564
1706
1849
1991
2134
2276
2419
2561
2704
2846
2989
3131
3274
3416
X
наблюдаемые
значения
151
144
121
137
138
136
155
160
144
145
130
120
104
140
125
Кб
145
123
138
108
накопленная
сумма
наблюдаемых
значений
151
295
416
553
691
827
982
1142
1286
1431
1561
1681
1785
1925
2050
2156
2301
2424
2562
2670
'.!!
Тт

браковочное число
334
476
619
761
904
1046
1189
1331
1474
1616
1759
1901
2044
2186
2329
2471
2614
2756
2899
3L1
3184
3326
3469
3611
3754
159

Проверку можно также произвести графически, как
показано на рис. 15. Число наблюдений т откладывается по
горизонтальной оси. Точки (т> ат) будут лежать на прямой
линии Z,o, а точки (т, гт) будут лежать на параллельной
3000
2000
Ю00
Ю 15
Рис. 15.
20
25
прямой Lt, Параллельные линии Lo и Lx наносятся на
график перед началом проверки.
/ т \
Точки ( т, 2**) наносятся на график в процессе
проверки. Проверка продолжается до тех пор, пока нанесенные
л*. 2 xi) лежат между линиями Lo и Ll%
/ т
Проверка прекращается, как только точка 1т, 2
выходит за пределы области, лежащей между Lo и Z,,. Если
эта точка лежит на Lo или ниже, партия принимается, а если
она лежит на Lx или выше, партия бракуется.
Общий угловой коэффициент линий Lo и Lx определяется
формулой
в = Щ^-. G.14)
Свободный член в уравнении Lo равен
/г0 = fl ^fl In 1 __ ,
а свободный член в уравнении Z,, равен
1-Р
1 ех — о0
G.15)
G.16)
160

§ 7.4. Кривая оперативной характеристики критерия
Пусть LF) означает вероятность того, что
последовательный критерий приведет к принятию партии, когда б —
истинное среднее значение. Функция L@) называется
оперативной характеристикой критерия. Приближенные
формулы для оперативной характеристики выведены в § 3.4;
эти общие формулы применены к проверке среднего
значения нормально распределенной случайной величины (см.
равенство C.48)). В этом параграфе показано, что
У1
G.17)
(—У-
где
h = 0l^^26 . G.18)
Из G.17) и G.18) можно заключить, что L(8) —
возрастающая функция /г, a h — убывающая функция 8.
Следовательно, L(8) — убывающая функция 8.
Для 8 = — со, 60, ¦ ° ^ 1 , 6lf -|~°° функция L(8)
принимает следующие значения, полученные из GЛ7I):
?(—oo)=lf L(90)=l—а,
in-^J
G.19)
Для многих приложений можно ограничиться расчетом
этих пяти точек.
Может представить интерес выражение LF) через
свободные члены /г0 и h1 в уравнениях линий Lo и Lx 2) и их общий
Для 6 = 1 "Г ° h = 0 и предельное значение правой
In-: s-
части G.17) при h -> 0 равно ^ «
In- ?-—In-
а 1 — а
2) См. также SRG 255, стр. 4.19.
И Зак 1119 А. Вальд ' 161

угловой коэффициент $. Из G.17) и G.18) следует, что
1
e1+e0-29 m p
G.20)
Так как ^«
5= 2 ° » то из G.20) получаем
G'21>
§ 7.5. Среднее число необходимых
наблюдений в критерии
В § 3.5 выведена следующая приближенная формула для
среднего значения Ен(п) числа п наблюдений, требуемых
в последовательном критерии:
+ [1-1F)] In-Lz!
AW ' G'22)
где
= 2^ [2 (9i — 60) * + б02 — в*] G.23)
и Е0Сг) означает математическое ожидание z, когда
истинное среднее значение х равно 0. Величина Eb(z) определена
в § 3.5 равенством C.60)
1г[-е?]. G.24)
Следовательно,
?F)^0 —А,)
162

где hQ и hx— свободные члены в уравнениях линий Lo и Lit
а 5 — общий угловой коэффициент этих линий.
При 6 = 5 правая часть G.25) оказывается
неопределенностью вида -Q-. В Приложении (см. (П. 99)) показано, что
предельное значение определяется формулой
1
In-
?,00 = 'Р.Г^ " - G-26)
п
Так как Е (,г) = 0, Es(z2) равно дисперсии ог величины ,г.
Из G.23) следует, что дисперсия z равна 2 .
Следовательно,

ГЛАВА 8
ПРОВЕРКА ТОГО, ЧТО СРЕДНЕЕ КВАДРАТИЧЕСКОЕ
ОТКЛОНЕНИЕ НОРМАЛЬНО РАСПРЕДЕЛЕННОЙ
СЛУЧАЙНОЙ ВЕЛИЧИНЫ НЕ ПРЕВЫШАЕТ
ЗАДАННОГО ЗНАЧЕНИЯ
§ 8.1. Постановка задачи
Пусть х — нормально распределенная величина. В этой
главе мы займемся проблемой проверки гипотезы о том, что
среднее квадратическое отклонение а величины х не превышает
заданной величины а'. Рассматриваются два случая: с
известным и неизвестным средним значением х. Начнем со
случая, когда среднее значение х известно. Если среднее
значение х неизвестно, необходима, как будет показано, лишь
незначительная модернизация методики проверки.
Эта проблема, как и проблема, рассмотренная в главе 7,
часто возникает при контроле качества и приемочном
контроле. Предположим, что х есть некая измеряемая
характеристика качества производственной продукции и что х
нормально распределено в совокупности готовых изделий.
Предположим, что качество продукции считается тем более высоким,
чем меньше среднее квадратическое отклонение о. При этом
найдется, вообще говоря, такая величина о', что продукт
считается нестандартным, если а > а', и продукт считается
удовлетворительным (отвечает спецификации), если с^о'. Так
как о неизвестно, проблема состоит в том, чтобы
разработать способ проверки гипотезы о^с\
§ 8.2. Допускаемый риск принятия неверного решения
Если качество продукта находится точно на границе, т. е.
если а = о'у то безразлично, будет ли этот продукт
классифицирован как удовлетворительный или как нестандартный.
164

Однако если а значительно меньше а', то классификация
продукта как нестандартного будет обычно рассматриваться как
существенная ошибка. Аналогично, если о значительно
больше а', классификация продукта как удовлетворительного
будет серьезной ошибкой. Таким образом, можно задать
такие две величины о0 и сх (а0 < а' и ах > а'), что
классификация продукта как нестандартного считается существенной
ошибкой, если только о ^oQf и классификация продукта как
удовлетворительного рассматривается как ошибка, имеющая
практические последствия, если o^at; для значения о между а0
и Gj мы не особенно заботимся о том, какое именно
действие совершается.
В соответствии с изложенным в п. 2.3.2 величина
допустимого риска может быть определена следующим
образом: вероятность классифицировать продукт как
нестандартный не должна превышать заданной малой величины а,
когда o-Oq, и вероятность признать продукт
удовлетворительным не должна превышать заданной величины [5,
когда <s^ov
§ 8.3. Последовательный критерий
отношений вероятностей,
соответствующий величинам ?0, аи а и р
План выборочной проверки, удовлетворяющий
требованиям, касающимся величины допустимого риска, дается
последовательным критерием отношений вероятностей силы (а, C)
для проверки гипотезы а = о0 при конкурирующей гипотезе
а = ог.
Пусть xv x2, ... означают результаты последовательных
наблюдений х. Плотность вероятности выборки (xv х2, ..., хт)
есть
где среднее значение б предполагается известным. Пусть р1т
означает выражение, получающееся подстановкой в правую
часть (8.1) ot вместо о (/ = 0, 1). Последовательный
критерий отношений вероятностей производится следующим
образом. На каждом этапе эксперимента вычисляется отношение
165

. Дополнительные наблюдения производятся до тех
РОт
пор *), пока
/о
(8'
1
— е
Продукт классифицируется как удовлетворительный, если
Продукт классифицируется как нестандартный, если
(8.4)
1 1
i) Приведенные ниже формулы содержат в себе небольшое
приближение, так как постоянные А и В предполагаются равными
ft
т-^— соответственно. См. в связи с этим § 3.3.
I — а
166

После логарифмирования, деления на —- и упро-
2а0 2а1
щения неравенства (8.2), (8.3) и (8.4) превращаются в
-2 2
m 2\n-=^ + mln-±
S< —6J < i i—- *(8>5)
ао а1
о о?
2 In -^ 1- m In -4-
С, — 6J < 1 (8.6)
2 (*, - 9J > j p-^-. (8.7)
a2
На основе неравенств (8.5), (8.6) и (8.7) проверка
осуществляется следующим образом. Для каждого целого
значения т вычисляется приемочное число
ат -
' ЧИСЛО
2
1
!ln!
1 1
1 1
а2
~~2~ ""
а
In
G
/Я !
а2
"Т
1 *
а2
Приемочное и браковочное числа не зависят от исхода
испытания и поэтому могут быть вычислены перед началом
проверки. Проверка длится до тех пор, пока
167

Как только 2 (xi — бJ оказывается вне интервала
между ат и гт% проверка прекращается. Если на последнем
т
этапе 2 (xi — ®J4Сат> продукт объявляется удовлетвори-
т
тельным, а если 2 (•*/ — ®J<>гт* продукт объявляется не-
стандартным.
Графическое представление процедуры проверки показано
на рис. 16. Число наблюдений т отложено по
горизонтальной оси. Так как ат и гт являются линейными функциями т%
-9)*
Рис. 16.
точки (т> ат) будут лежать на прямой линии ?0, а точки
(т. гт) будут лежать на прямой линии Lv Эти две линии
параллельны и их общий угловой коэффициент выражается
формулой
In 4-
(8.10)
Свободный член в уравнении Lo равен
2 In
1—а
(8
168

и свободный член в уравнении Ll определяется равенством
*i=3~X' (8Л2)
Линии Lo и Lx могут быть нанесены на график до
начала проверки. В ходе проверки на график наносятся точки
1тъ 2(*i— вJ)- Проверка прекращается, как только точка
( \ \
\т* 2 (-*ч — ^J) оказывается не лежащей между прямыми Lo
\ i-i /
и Lx. Если точка ( т% 2(xi — ^J) лежит на LQ или ниже,
V /-1 /
принимается гипотеза о том, что продукт удовлетворителен;
/ т \
если точка ( т, 2 (xi—^J) лежит на Lx или выше, продукт
объявляется нестандартным.
§ 8.4. Оперативная характеристика критерия
Пусть для любого значения о L(o) означает вероятность
того, что проверка окончится принятием гипотезы о том, что
продукт удовлетворителен. Функция L(p) называется
оперативной характеристикой критерия.
В § 3.4 был дан общий метод вывода приближенной
формулы оперативной характеристики для любого
последовательного критерия отношений вероятностей. Используя
результаты этого пункта, получаем
/ (813)
где h — корень уравнения
^-J J -JL (х-в? е dX = X- (8Л4)
169

Нетрудно убедиться, что интеграл в левой части (8.14)
имеет конечную величину, только если — «гН—«" > 0.
°i ао а
В этом случае, как легко проверить, имеем
-I ~bu-v\" , г *¦
f \^4— .-*<-'*.-i/ 4--S-+-V •
(8.15)
Следовательно, уравнение (8.14) можно записать так:
Г~ 1
в, \Л -. / Л А . 1 *
(8.16)
Вместо того, чтобы решать (8.16) относительно А, решим
его относительно о; получаем
(8.17)
Если использовать равенства (8.13) и (8.17), то кривая
оперативной характеристики может быть получена следующим
образом. Для любого данного значения h находим о и L(?)
из уравнений (8.13), (8.17). Пара (а, /,(а)), полученная таким
образом, дает нам точку на кривой оперативной
характеристики. Вычисляя (s, L(a)) для достаточно большого числа
значений h, получаем достаточное количество точек для
построения кривой оперативной характеристики.
Для расчетных целей может оказаться удобным положить *)
JL_JL = , или А-^ЗГ. (8Л8)
J) Аналогичные упрощения были сделаны Группой
статистических исследований. См. SRG, стр. 31. Параметр t, используемый
там, соответствует —t здесь. *
170

Тогда уравнения (8.13) и (8.17) можно записать как
e-th1_fi-thlt
(8.19)
где s — общий угловой коэффициент, a h0 и /гх— свободные
члены в уравнениях линий Lo и Z^. Уравнения (8.19) и (8.20)
могут оказаться более удобными для расчета кривой
оперативной характеристики, чем исходные уравнения (8.13) и (8.17).
Для о = 0, о0, V^ s, alt -\-oo значения L(o) даются
следующими формулами:
1@)= 1. L(ao)=l— a,
= р, L(oo) = 0.
(8.21)
Эти пять точек определяют грубо форму кривой
оперативной характеристики; во многих случаях не возникает
необходимости брать другие точки.
§ 8.5. Среднее число наблюдений в критерии
Согласно результатам § 3.5 приближенная формула для
математического ожидания Еа(п) числа наблюдений,
требуемых в плане последовательной проверки, имеет вид
L (a) In
1—а
-1 (а)] 1п
1—[
Е, (?)
(8.22)
171

где
1 2<jj
1 9 2 \ 0 1 /
— ^ °
и ?о(<г) означает математическое ожидание <г, когда
среднеквадратичное отклонение х равно а. Мы имеем
^ <8-24)
Отсюда, подставляя правую часть (8.24) вместо EQ(z)
в (8.22), получаем !)
.. 1 — 9
/3 25)
Для о = у5 математическое ожидание z равно нулю, и
правая часть (8.25) становится неопределенностью вида -~ .
Согласно равенства A1.99) в приложении предельное значение
определяется формулой
_,n_L_In 1=1
f/T^
х) Выражение для ?б (п) через общий угловой коэффициент и
свободные члены уравнений линий решения приведено также
в SRG 255, стр. 6.34.
172

Так как EVj(z) = O, Eyj(z2) равно дисперсии z, когда
о = У s, то из (8.23) легко следует, что эта дисперсия
равна у (~2 г) ^2
Р 1
— In -^ In
ГТ1
§ 8.6. Модификация методики проверки,
когда среднее значение
генеральной совокупности неизвестно *)
Если среднее значение 6 величины х неизвестно, можно
предложить следующую модификацию методики
проверки: заменить
2(^ — 8J на S,
/-1 1-1
где х == —1 ' '" т , приемочное число ат заменить
на ат_х и браковочное число гт заменить на гт_1. Таким
образом, если среднее неизвестно, то приемочное и
браковочное числа на т-м этапе равны приемочному и
браковочному числам на (т—1)-м этапе, когда среднее известно.
Формула для оперативной характеристики остается
неизменной и математическое ожидание числа наблюдений в
критерии при неизвестном среднем на 1 больше, чем при
известном.
А) Результат, приведенный в этом параграфе, был получен
С. Стейном и Гиршиком независимо друг от друга. Доказательство
основано на преобразовании наблюдений, благодаря которому этот
случай сводится к случаю известного среднего значения. См. работу
Гиршика «Contribution to the theory of sequential Analysis», Ann.
of Math. Stat. A946).

ГЛАВА 9
ПРОВЕРКА ТОГО, ЧТО СРЕДНЕЕ ЗНАЧЕНИЕ
НОРМАЛЬНО РАСПРЕДЕЛЕННОЙ СЛУЧАЙНОЙ
ВЕЛИЧИНЫ С ИЗВЕСТНОЙ ДИСПЕРСИЕЙ
РАВНО ОПРЕДЕЛЕННОЙ ВЕЛИЧИНЕ
§ 9.1. Постановка задачи
Пусть х — характеристика качества продукта, например
вес, диаметр или твердость. Предположим, что х нормально
распределено в генеральной совокупности всех произведенных
изделий и что среднее квадратическое отклонение о
величины х известно, а среднее значение 0 неизвестно.
Предположим, кроме того, что некоторое определенное
значение б, скажем, 0О, рассматривается как наиболее
желательное для продукта. Вообще говоря, чем больше
абсолютная величина отклонения истинного значения 0 от наиболее
желательного, тем менее удовлетворительным является данный
продукт. Так как изготовителю хотелось бы достигнуть и
сохранять наибольшую возможную близость б к 0О, он
заинтересован в проверке гипотезы о том, что б = б0. Если
проверка указывает, что б Ф б0, он будет стараться улучшить
производственный процесс. Разумеется, если б Ф 60, но близко
к 0О, нет особенной нужды в улучшении производства, и
принятие гипотезы о том, что 0 = б0, не является серьезной
ошибкой. Однако найдется, вообще говоря, такая величина 8,
что принятие гипотезы 0 = 0О рассматривается как практи-
чески важная ошибка, если
а
Ситуация, описанная в предыдущем параграфе, приведет,
таким образом, к следующей задаче.
174

Необходимо разработать план выборочной проверки, для
которого вероятность того, что гипотеза 0 = 0о будет
забракована (продукт будет объявлен нестандартным), не превышает
малой наперед заданной величины а, когда 0 = 60> и
вероятность принятия гипотезы 6 = 60(признания продукта
удовлетворительным) не превышает малой наперед заданной
величины C, когда
§ 9.2. План последовательной проверки,
удовлетворяющий заданным требованиям
В п. 4.1.4 было показано, что адекватным планом
выборочной проверки для задачи, описанной в § 9.1, является
следующий. Нужно вычислять на каждом этапе эксперимента
отношение
т т
Рш __ 1 е '-' +е '¦'
Рот — 2 т
е Ы1
Продолжаем проверку до тех пор, пока
Я< —<А
РОт
(9.2)
Принимаем гипотезу о том, что продукт является
удовлетворительным, если
Т^<В. (9.3)
Рот
Отвергаем гипотезу о том, что продукт является
удовлетворительным, если
Р\т
Рот
> Л. (9.4)
Чтобы обеспечить заданные значения вероятностей
принятия неправильных решений, для всех практических целей
1 —3 « 3
можем положить А = и В = -—-—.
а 1 — а
175

Выражение (9.1) для ?^%- может быть приведено к виду:
PQjn
= е
т \
e t=1 / =
Ch _ У\(х,—
(9.5)
Подставляя это выражение для J-^L в (9.2), (9.3) и (9.4)
гОтп
и логарифмируя, превращаем эти неравенства в
т
[т -л
Г « -1
In ch — V (х,— б0) < In
L j-i J
и
inchFlJ]^ — ео)|>!п,
(9.6)
(9.7)
(9.8)
При помощи неравенств (9.6), (9.7) и (9.8) проверка
осуществляется следующим образом. На каждом этапе экспери-
мента вычисляем гт = I
Как только в первый раз гт окажется вне интервала
между \пВ-\-т-^ и la A-j-tn-^ , прекращаем испытание.
Гипотеза о том, что б = 0О, принимается, если гт ^ In В -\- т -к,
и отвергается, если zm^\nA-\-m-^.
Расчет zm на каждом этапе эксперимента представляется
затруднительным. Однако, если
трех, то
т 2 <*,-«¦>
больше
176

очень близко к
т 2 (*,-«»>
— In 2 х). Когда используется
это приближение для zm, неравенства (9.6), (9.7) и (9.8)
приводятся к виду
-1
4 (9-Ю)
°(\пА + 1п2) + т%-. (9.11)
Для всех практических целей неравенства (9.9), (9.10) и
(9.11) можно использовать вместо (9.6), (9.7) и (9.8), когда
Ниже приводится другой метод расчета, который может
оказаться полезным. Рассмотрим уравнение для и
lnch|tt| = xr. (9.12)
Оно имеет только один положительный корень, если
1. Этот корень определяется формулой
'—1). (9.13)
Функцию y(v) легко табулировать. Используя
функцию <f(v)f неравенства (9.6), (9.7) и (9.8) можно записать
в виде
!) См. также SRG 255, стр. В. 15.
12 Зак. 1U9. А. Вальд
\). (9.14)
¦?-) (9.15)
177

(9.16)
При помощи неравенств (9.14), (9.15) и (9.16) проверка
может проводиться следующим образом. Для каждого целого
значения т вычисляем приемочное число
(9.17)
и браковочное число
Эти приемочное и браковочное числа могут быть
вычислены до начала эксперимента. Дополнительные наблюдения
т
производятся до тех пор, пока ат < 2 (л;; — 60)
Если
если
ат, гипотеза б = 60 принимается, и
гт% гипотеза 6 = 90 отвергается.

ЧАСТЬ III
ПРОБЛЕМА МНОГОЗНАЧНЫХ РЕШЕНИЙ
И ОЦЕНКИ
ГЛАВА 10
ВЫБОР ГИПОТЕЗЫ ИЗ МНОЖЕСТВА
ВЗАИМНО ИСКЛЮЧАЮЩИХ ДРУГ ДРУГА ГИПОТЕЗ
(МНОГОЗНАЧНОЕ РЕШЕНИЕ)
§ 10.1. Постановка задачи
Часть I была посвящена исключительно обсуждению задач
проверки статистической гипотезы. В этих задачах может
быть принято только одно из двух возможных решений:
гипотеза либо отвергается, либо принимается. Таким
образом, можно сказать, что проверка гипотезы представляет
собой задачу двузначного решения, так как решение может
принимать только два значения: принятие и отказ. Пусть Я
означает отрицание проверяемой гипотезы Я. Тогда проверка
гипотезы Я есть не что иное, как выбор между двумя
конкурирующими гипотезами Я и Я.
В п. 1.3.5 указывалось, что задача проверки гипотезы Я
возникает часто из задачи выбора между двумя
альтернативными действиями, например действием 1 и действием 2.
Предположим, что предпочтение, оказываемое тому или
другому действию, зависит от неизвестного параметра 9
распределения случайной величины х. Пусть со означает множество
всех значений 6, для которых действие 1 является более
предпочтительным, чем действие 2 (или, по крайней мере,
не менее желательным, чем действие 2). Если решение должно
быть принято на базе конечного числа наблюдений над х,
это приводит к проблеме проверки гипотезы Я о том, что
истинное значение 6 принадлежит к со. Если Я принимается,
выбираем действие 1 и, если Я отвергается, выбираем
12* 179

действие 2. В приложениях часто оказывается необходимым
осуществить выбор более чем из двух альтернативных
действий. Предположим, что имеется k (k > 2) альтернативных
действий, например действие 1, действие 2, ..., действие k\
пусть одно из них должно быть выбрано на базе нескольких
наблюдений случайной величины х. Итак, можно будет,
вообще говоря, разбить совокупность всех возможных
значений 0 на k неперекрывающихся частей <о1( о>2, ..., a>ft
таких, что предпочтение отдается действию j по сравнению
со всеми другими действиями i ф j тогда и только тогда,
когда истинное значение 0 принадлежит к оу Пусть Н;. означает
гипотезу о том, что 0 принадлежит к а)у. (/=1, 2, ..., k).
В этом случае задача выбора определенного действия сводится
к задаче выбора одной из гипотез Hv ..., Hk. Если
принимается #/} мы решаем избрать действие /. Такая задача
может быть названа задачей многозначного решения, так как
решение, которое нужно принять, может принимать k
значений: мы можем принять Hv или //«, ..., или Hk.
В этой главе займемся задачей выбора одной из k взаимно
исключающих и исчерпывающих всевозможные случаи
гипотез Ни . .., Hk на основе нескольких наблюдений
рассматриваемой случайной величины х1). Задача проверки
гипотезы содержится в этой задаче как частный случай, если
ft = 2.
Иллюстрацией к этой задаче может служить следующий
простой пример. Предположим, что х — измеряемая
характеристика качества продукта, которая нормально
распределена в совокупности произведенных изделий. Допустим, что
качество продукта считается тем более высоким, чем больше
среднее значение 0 величины х. Предположим, что
изготовитель рассматривает следующие три альтернативные
действия: 1) продать продукт по обычной рыночной цене,
2) признать продукт второсортным и продать по сниженной
цене, 3) воздержаться от продажи продукта. Пусть а и b
{а < Ь) два значения 0, таких, что изготовитель предпочитает
действие 3), если 0 <; а% действие 2), если а < 0 < Ь, и
действие 1), если Ъ^-b. Пусть Нх означает гипотезу 0<^а,
#2 — гипотезу а<0<? и Н3 — гипотезу 0>-?. Если зна-
*) Эта проблема в непоследовательном случае, т. е. когда число
наблюдений определено заранее, освещалось в нескольких
предшествующих публикациях. См., например, статью автора «Statistical
decision functions which minimize the maximum risk», Ann. of Math.
Stat. A945).
180

чение fi неизвестно и если изготовитель должен решить,
какое из действий следует совершить на базе нескольких
наблюдений над х, то перед ним стоит задача многозначного
решения о выборе одной из взаимно исключающихся
гипотез Ни #2 и Н3.
§ 10.2. Основные черты последовательного критерия
для выбора гипотезы из множества
взаимно исключающих друг друга гипотез
План последовательной выборочной проверки для выбора
одной из к взаимно исключающихся и исчерпывающих все
возможные случаи гипотез Hlf ..., Hk может быть описан
следующим образом. Дается правило принятия на каждом
этапе эксперимента при m-й пробе (для каждого целого т)
одного из следующих k-\-\ решений: 1) закончить
эксперимент принятием Hlt 2) закончить эксперимент принятием
//2, •••> к) закончить эксперимент принятием Hk, к-{~\)
продолжать эксперимент, производя дополнительное
наблюдение. Такая процедура выполняется последовательно.
На основе первого наблюдения принимается одно из
вышеупомянутых k-\-l решений. Если принимается одно из
первых к решений, процесс заканчивается. Если принимается
последнее решение, производится второе наблюдение. Снова
на основе первых двух наблюдений принимается одно из к -\- 1
решений. Если принимается последнее решение, производится
третье наблюдение и т. д. Процесс продолжается до тех пор,
пока не будет принято одно из первых к решений.
В более точных математических терминах методика
последовательной выборочной проверки может быть описана
следующим образом. Пусть Rm означает совокупность всех
возможных выборок объема т, т. е. Rm— /я-мерное
выборочное пространство. Для каждого положительного целого
значения т m-мерное выборочное пространство разбивается
на /5 —J— 1 неперекрывающихся частей Rml, Rm2) ..., Rmk и
Rmt k+1. Если первое наблюдение хх принадлежит к Rw
где i^.k, процесс оканчивается принятием Нь. Если же х1
принадлежит к Rlt k+u производится второе наблюдение.
Если (xlt x2) принадлежит к некоторому R2l с i^k> процесс
оканчивается принятием Ht. Если (х19 х2) принадлежит
к /?2, *+i» производится третье наблюдение и т. д. Этот
процесс прекращается, как только выборка (xv ..., хт)
в первый раз попадает в Rml при некотором i^k. Таким
181

образом, план последовательной выборки полностыЬ
определен множествами Rml Rmt k+l. Так как эти множества
не пересекаются и в сумме дают все выборочное
пространство Rm> достаточно определить любые k из этих множеств,
так как оставшееся множество однозначно определяется ими.
Для любого т разбиение выборочного пространства Rm
на k-\-\ частей Rml, ..., Rmt k+x можно осуществить
многими способами, поэтому основной задачей является
правильный выбор этих множеств. Чтобы сформулировать
принципы такого выбора, в следующем параграфе изучим
последствия любого частного выбора.
§ 10.3. Последствия выбора любого частного способа
последовательной выборочной проверки
После того как множества RmU ..., Rmt k+1 выбраны,
т. е. принят определенный план последовательной выборочной
проверки, вероятность завершения процесса принятием И1
для любого / ^ k зависит только от распределения
рассматриваемой случайной величины х. Так как распределение х
предполагается известным с точностью до значений конечного
числа параметров бх, ..., 6Г, вероятность принятия Н1 будет
функцией этих параметров. Чтобы упростить обозначения,
будем использовать букву 6 без индекса для обозначения
множества всех г параметров в„ ..., 6Г. Пусть Lt(Q)
означает вероятность того, что принятый план последовательной
выборочной проверки приведет к принятию Нь{1=\9 ..., к).
Совокупность функций /^(S), L2(Q), ..., Lk(b) будем
называть оперативными характеристиками способа
выборочной проверки. Будем рассматривать только такие способы
проверки, для которых с вероятностью 1 процесс в конце
концов закончится. Тогда
М0)+ •¦• +Lk(d)=\ A0.1)
и поэтому одна из функций Ll(b)f ..., Lk(Q) определяется
остальными k—1 функциями. Оперативные характеристики
представляют собой меру защищенности против возможных
неверных решений, обеспечиваемой данным планом выборочной
проверки. Для любой точки пространства параметров 0
вероятность принять правильную гипотезу, т. е. гипотезу,
которая согласуется с б, может быть немедленно получена
из оперативных характеристик. Ввиду того, что гипотезы
182

Hv .... Hk взаимно исключают друг друга и исчерпывают
всевозможные случаи для любой точки б, одна (и только
одна) из гипотез Нх, ..,, Hk будет согласовываться с б.
Если И1 — гипотеза, согласующаяся с данным 6, вероятность
правильного решения, когда это б истинно, равна Lt(b).
Оперативные характеристики способа выборочной проверки
считаются более предпочтительными при больших
вероятностях правильного решения для различных возможных
параметрических точек б.
Цена, которую мы вынуждены платить за гарантию против
принятия неверных решений, обеспечиваемую данным
способом выборочной проверки, представлена числом п
наблюдений, необходимых при данном выборочном плане. Так как
п —случайная величина, будем рассматривать, как и при
проверке гипотезы, математическое ожидание л. После того
как принят определенный план проверки, математическое
ожидание п будет функцией только параметрической точки б.
Как и при проверке гипотезы, будем обозначать
математическое ожидание п через Еь(п)9 когда значение б истинно,
и будем называть Еь{п) средним числом наблюдений
выборочного плана.
В заключение можно сказать, что наиболее важными
следствиями любого определенного выбора способа
выборочной проверки являются оперативные характеристики и
среднее число наблюдений для принятого способа.
Оперативные характеристики показывают то, чего можно достичь
при помощи данного выборочного плана, а среднее число
испытаний показывает уплачиваемую за это цену.
§ 10.4. Принципы выбора плана последовательной
выборки
10.4.1, Зависимость значимости возможных
неправильных решений от параметрической точки 0. Чтобы
установить принципы выбора способа последовательной
выборочной проверки, необходимо исследовать зависимость
значимости возможных неправильных решений от
параметрической точки. Пусть ш/ — множество параметрических точек б,
согласующихся с гипотезой Ht (/ = 1 k)> т. е. Н1
представляет собой утверждение, что истинная параметрическая
точка 6 принадлежит а^. Если истинное значение б находится
в о)/э но не далеко от ш^ для некоторого j Ф /, то принятие
183

Hj не будет, вообще говоря, рассматриваться серьезной
ошибкой. Однако, если 0 далеко от coy и принимается И^
совершенная ошибка будет иметь значительные практические
последствия.
В качестве иллюстрации рассмотрим снова пример,
приведенный в § 10.1. Решение воздержаться от продажи
продукта будет означать ошибку, незначительную для практики,
если 6 лишь немного больше а. Серьезность этой ошибки
будет, однако, возрастать с увеличением 6. Если 0
существенно больше а, то решение не продавать продукт будет
рассматриваться как практически важная ошибка. Аналогично,
решение' пытаться продать продукт по обычной рыночной
цене не будет серьезной ошибкой, если 0 лишь немного
меньше Ь, но важность этой ошибки будет возрастать с
уменьшением величины 0.
Часто имеется возможность выразить значимость
различных неправильных решений k функциями wx @), .. ., wk @),
где тг/у@) — неотрицательная функция, выражающая
значимость ошибки, совершенной вследствие принятия Н^ когда
истинно 0. В промышленных проблемах Wj(Q) можно считать
выражением финансовых потерь, вызванных действиями,
связанными с принятием Hj% когда истинно 0. Будем, конечно,
полагать Wj @) = O для всех точек 0 в а>у, так как для таких
точек принятие Hj— правильное решение. Будем называть
функции wl@), .... wk($) весовыми функциями ошибки
или, короче, весовыми функциями.
Весовые функции wl@), ..., ^@) будут влиять на выбор
способа проверки. Определение этих весовых функций не
может рассматриваться как статистическая задача. Они должны
выбираться на основе практического рассмотрения каждой
частной задачи.
10.4.2. Функция риска, связанная с данным способом
проверки. Для любой параметрической точки 0 будем
называть риском г@) математическое ожидание потерь, вызванных
возможными неправильными решениями, когда истинно 0.
Так как вероятность принятия И{ равна Lt(Q) и потеря,
вызванная этим решением, равна ^@), то математическое
ожидание потерь равно
t a B)wt<?). A0.2)
184

Будем называть г (8) функцией риска выборочного плана1).
Если стоимость эксперимента непропорциональна числу
наблюдений и определяется функцией стоимости с(п), то
член сЕц(п) в A0.2) следует заменить на Еь(с(п)). Будем
судить об относительных достоинствах способа проверки
по его функции риска г (б) и по среднему числу
наблюдений Еь(п).
10.4.3. Функция риска и среднее число наблюдений
как основа для выбора плана последовательной выборки.
План последовательной выборки тем лучше, чем меньше
риск гF) и математическое ожидание Еь(п) числа
наблюдений. Эти две характеристики плана находятся в
противоречии, так как, чем меньше мы делаем г (б), тем больше, вообще
говоря, будет число требуемых наблюдений. Чтобы
достигнуть оправданного компромисса между этими двумя
противоречивыми требованиями, можно поступить следующим
образом. Сначала потребуем, чтобы риск г (б) не превышал
некоторой наперед заданной величины г0, т. е.
г(б)<г0 A0.3)
для всех параметрических точек 6. В дальнейшем
рассматриваем только те планы выборок, для которых A0.3)
выполнено. Из этого класса планов попытаемся выбрать
один, для которого Еь(п) наименьшее.
Такой способ выделения лучшего плана выборочной
проверки, при котором сначала накладывается условие A0.3),
а затем минимализируется функция Ев(п), не кажется
неоправданным, так как функция риска г (б) является,
по-видимому, наиболее важной характеристикой критерия2). Выбор
х) Другое определение функции риска можно получить, если
учесть также математическое ожидание стоимости эксперимента.
Если стоимость одного наблюдения обозначить через с, то
математическое ожидание стоимости всего эксперимента равно сЕ$(п)
и риск определяется формулой
k
Г (в) =. 2 Li W wi (8) + сЕ* (л). (Ю.2*)
2) Если использовать функцию риска г* F), определяемую
формулой A0.2*), то выборочный план, для которого максимальное
относительно в значение г* F) минимально, можно считать
оптимальным. Если принято это определение оптимального выборочного
плана, то условие типа A0.3) не выполнено; мы просто пытаемся
найти способ, для которого максимум г' F) относительно 0
принимает наименьшее возможное значение.
185

верхней границы риска г0 не является статистической задачей.
Эта граница должна определяться на основе практических
соображений в каждом данном случае.
10.4.4. Использование некоторых простых весовых
функций. Построение специальных весовых функций 1^@), ...
..., wk @) для данной задачи часто наталкивается на
практические трудности. Хотя в промышленных задачах Wj(Q)
можно считать равным финансовым потерям, вызванным
принятием Hj, когда значение 0 истинно, в чисто научных иссле»
дованиях довольно трудно дать оправданную меру потерь,
вызванных принятием неверной гипотезы.
Если даже не обращать внимания на трудности
измерения потерь, вызванных неверными решениями, мы все-таки
сталкиваемся с другой практической трудностью,
заключающейся в том, что весовые функции ^(О), ..., wk(Q) могут
быть слишком сложными, чтобы ими можно было пользо»
ваться. Имеется, таким образом, потребность в упрощении.
Выбор плана выборочной проверки обычно не очень
сильно зависит от точной формы весовых функций. Поэтому
часто достаточно использовать какие-нибудь грубые
приближения, воспроизводящие лишь основные черты весовых
функций. Очень грубое, однако достаточное для многих
приложений, приближение можно получить, заменяя функции Wj@)
на Wj(Q), определяемые следующим образом:
10, если Wj(B) меньше или равно
некоторой величине cj9 A0,4)
с, если Wj(b)>cfi
где с — некоторая положительная постоянная. Таким
образом, Wj(Q) может принимать только два значения: 0 и с.
Не теряя общности, можно положить с=1, так как это
может быть достигнуто умножением функций риска на
постоянный множитель, что никак не скажется на выборе
способа проверки.
Ниже, в этом и следующем разделе, будем
рассматривать только весовые функции Wj(ft). Будем называть
множество всех параметрических точек, для которых <а;/@) = О,
а<о^.F)=1 для j Ф L зоной предпочтения принятия Ht.
Множество точек 0, для которых 1^@) = 0, WjF) = 09
186

a wk(b)= 1 для k Ф /, У, будет называться зоной
безразличия Иь и Яу. Аналогично, множество точек 0, для которых
18): @) = wj @) = wm @) = 0, a W» @) = 1 для / Ф /, у, /#,
будет называться зоной безразличия гипотез Я^, Яу. и Яот
и т. д.
Если имеем дело с проблемой проверки гипотезы Я, то
k = 2t Нг = Н, а Я2 совпадает с Я—отрицанием Я. Зона
предпочтения принятия Я, зона предпочтения принятия Я
и зона безразличия Я и Я, определенные выше,
соответствуют зоне предпочтения принятия, зоне предпочтения
браковки и зоне безразличия, рассмотренным в п. 2.3.1.
Для иллюстрации значения различных зон вернемся к
примеру, рассмотренному в § ЮЛ. В этом примере Нх —
гипотеза 0<Ж Я2 — гипотеза а<0<*, Я3 — гипотеза 0^>?.
Функции wx @),. w2 @), ^з(^) естественно задать следующим
образом:
0 при
1 при
где Д — некоторая положительная величина;
О, если а — Д < 0 <
1 для других 0,
О, если Ь^Ь — Д,
для других 0.
1
_ j 0,
3 \ 1
Тогда зона предпочтения принятия Нх представляет собой
множество значений 0, для которых 0<^а — Д. Зона
предпочтения принятия Я2 определяется неравенством л + Д^
<^0<? — А, а зона предпочтения принятия Я3 —
неравенством 0^? + Д. Зона безразличия Н1 и Я2 определяется
неравенством а — Д<0<а + А, зона безразличия НХ и Я3
отсутствует, и зона безразличия Я2 и Я3 определяется
неравенством b — Д<;0<?-|-А- Наконец, зона безразличия
Ях, Я2 и Я3 отсутствует.
Когда используются весозые функции wx(b), ..., wkF)t
функция риска г@), определяемая A0.2), принимает особенно
простую форму. Так как WjF) может принимать только
значения 0, 1, получаем
гф) = %Lj(b), A0.5)
187

где суммирование производится по всем значениям /, для
КОТОРЫХ Wj(fi)= 1.
Будем говорить, что принимается неверное решение, тогда
(и только тогда), когда принимается гипотеза Ht, для которой
Wj(Q)=l. Тогда риск г(8), определяемый формулой A0.5),
просто равен вероятности принятия неправильного решения.
Принцип выбора плана последовательной выборки, как
говорилось в п. 10.4.3, может быть теперь сформулирован
следующим образом. Мы рассматриваем только те планы
последовательной выборки, для которых вероятность
принять неправильное решение не превышает определенной
наперед заданной величины г0. Из класса таких планов
последовательной выборки пытаемся выделить такой способ, для
которого математическое ожидание числа наблюдений
наименьшее.
§ 10.5. Обсуждение специального класса планов
последовательной выборки
Проблема отыскания плана последовательной выборки,
который можно рассматривать как оптимальный в смысле
предыдущего параграфа, еще не решена. Однако, как будет
показано в этом параграфе, можно построить широкий класс
планов последовательной выборки, для которых вероятность
неправильного решения не превышает наперед заданной
величины г0.
Для построения такого класса выборочных планов
воспользуемся следующей леммой.
Лемма. Пусть xv х2, ... есть последовательность
переменных, пусть plm (хг, ..., хт) (т=1, 2, ...) есть
совместная плотность вероятности xv . .., хт при
условии, что верна гипотеза Hv и пусть pOm(xlt ..., хт)
есть плотность вероятности при условии, что верна
гипотеза Но *). Пусть, кроме того, Л — постоянная,
большая единицы. Тогда при условии, что верна гипотеза #0,
вероятность того, что неравенство
*) Если распределение хь х2, ... дискретно, то pim (хъ ..., хт)
означает вероятность получения выборки, равной наблюденной.
188

будет выполнено для всех значений т, будет больше ила
равна 1—-j-.
Справедливость этой леммы легко показать при помощи
неравенств § 3.2, устремляя постоянную В в этих
неравенствах к 0.
При помощи этой леммы можем построить план
последовательного критерия, для которого вероятность принятия
неправильного решения не превышает наперед заданной величины г0.
Пусть pm(xv . . ., хт, б) равно f(xv в)/(х2, 6) .. ./(*т, б),
где /(х, 6) — распределение вероятностей х, когда б —
истинное значение. Для любой параметрической точки 6
возьмем произвольное, но заданное заранее, распределение
вероятностей р*т (xv .. . ,хт, 6) для величин х1% хъ ..., хт *).
Тогда в соответствии с леммой вероятность того, что
неравенство
< (Ш7)
выполняется для всех т, будет больше или равна 1 j,
когда 0 — истинное значение. Пусть для любой выборки
Еп = (хи ..., хп) о)Л (Еп) означает множество всех
параметрических точек б, для которых неравенство A0.7)
выполняется для всех значений т^п. Ясно, что вероятность того,
что истинная параметрическая точка б войдет во все
множества ®п(Еп) (л=1, 2 +°°)э больше или равна
1 j. Определим последовательный критерий следующим
образом: продолжаем производить наблюдения до тех пор,
пока хотя бы одна из весовых функций wx (б), ..., wk (б)
не будет тождественно равна нулю на (ол(Ея). Как только
wn(En) станет таким, что по крайней мере одна из весовых
функций ^iF), ..., wk@) будет тождественным нулем на
шЛ(/:л), прекращаем наблюдения и принимаем гипотезу,
соответствующую обратившейся в нуль на wn(En) весовой
1) Понятно, что распределение хг хт полученное
из распределения p*m>(xlt ..., xm,t 6) (mf > т), идентично с
189

функции *). Очевидно, для этого плана последовательного
критерия вероятность неправильного решения не будет
превышать -j. Если положим А равным —, то вероятность
неправильного решения не превысит г0, что и требуется.
Этот метод приводит к широкому классу С планов
последовательного критерия с требуемыми свойствами, так как
плотность распределения р^ Лх^ хт% 0) в числителе A0.7)
выбирается совершенно произвольно. Неясно, содержит ли
этот класс С планов проверки оптимальный план в смысле
определения, данного в § 10.4. Если мы намерены
ограничиться способами проверки класса С, то и в этом случае
нам остается еще выбрать р*т (xv ..., хт% б) так, чтобы
сделать математическое ожидание числа наблюдений,
требуемых в критерии, возможно более малым. Эта задача также
еще не решена. Предположение, что А = —, может при-
вести к некоторому расточительству, так как при этом
максимум вероятности неправильного решения может оказаться
значительно меньше допустимой величины г0. Дальнейшее
развитие теории может показать, что А можно полагать
равным некоторой величине, меньшей —, что привело бы к эко-
номии числа наблюдений.
Хотя на данном этапе развития теория является очень
неполной, выборочные планы, основанные на неравенстве A0.7),
все же с успехом могут быть использованы в некоторых
задачах. Если мы и не можем еще найти наилучшее
распределение р*т (xv . . ., хт% б), чтобы использовать его в
числителе A0.7), мы все же способны сделать достаточно
хороший выбор р*т (xv .... хт, 6) и тем самым получить
последовательный критерий, требующий в среднем
значительно меньшее число наблюдений, чем самый лучший
непоследовательный критерий, основанный на заданном числе
наблюдений. Относительно возможных способов выбора таких
p*m(xv ..., хт, б), которые могут дать достаточно хорошие
результаты, можно сделать следующие замечания. Хороший
результат можно получить в некоторых случаях, полагая
Р*т (xv • •'» хт> *0 Равным разумно выбранному взвешенному
1) Если имеется нескрлько весовых функций, которые
тождественно равны нулю на <*>п (Еп), можем произвольно выбирать одну
из гипотез, соответствующих этим весовым функциям.
190

среднемур*т(л^, ..., хт, С), где С — переменная
параметрическая точка. Другими словами, полагаем 1)
P*m(Xi> •'•• Хт> d)=f?b?)Pm(Xl> «... *«. О Л. A0.8)
где интегрирование производится по всему пространству
параметров Q и р8(С) — неотрицательная функция С,
удовлетворяющая условию
Jl. A0.9)
Выбор усредняющей функции ре(С) будет зависеть от
весовых функций ^@), .... ^@). Если например, Wj(Q) = 0
в рассматриваемой параметрической точке 0, то кажется
естественным положить р9 (С) = 0 для всех точек С, для которых
Wj(?) = 0, так как мы не заинтересованы в том, чтобы
различать параметрические точки, для которых является
правильным одно и то же решение.
В некоторых случаях к хорошим результатам может
привести другой способ выбора р*т (х± хт% 0), а именно:
A0.10)
где бг — оценка максимального правдоподобия 0, основанная
на первых г наблюдениях, xlt .... хТ и ср(лг1, 0) —
некоторое подходящим образом подобранное распределение
вероятностей хх.
Чтобы проиллюстрировать способ выборочных испытаний,
основанный на A0.7), рассмотрим следующий простой
пример. Пусть х распределено нормально с неизвестным
средним 0 и единичной дисперсией. Тогда
m
, -т2(*г*
pm(xlt .... хя, в) = l-^-e '-1 . A0.11)
B*)а
1) Усредняющая функция pQ (С) также может быть дискретной.
Формула, пригодная как для случая непрерывной, так и для случая
дискретной усредняющей функции, может быть получена при
использовании интеграла Стилтьеса.
191

Пусть
Pm{*V ••- *«. 0) = y[Pm(^ ..^ *„•
+Pm(*i хм% б — 8)].
где 8 — заданная положительная величина. Тогда
A0.12)
л„Г*% г- fli— 2 L
= ГтЯ1в"сЬ 82(^—6) .
L /-1 J
A0.13)
Уравнение
ch u = v (v > 1)
имеет два корня, равных по абсолютной величине.
Ф(^) — положительный, а —ф(г^) — отрицательный
A0.14). Тогда корни уравнения относительно б
A0.14)
Пусть
корень
есть
U 3 А)
тЬ
¦(/^
A0.15)
A0.16)
где хт — среднее арифметическое результатов наблюдений
*i, .... хт.
Множество всех значений 0, для которых неравенство
<А
Рт \ХЬ • • •» xm>
выполнено, представляет собой открытый интервал
(92(EW), В1(Еп^)я Множество юл(?л) определяется как
пересечение открытых интервалов @2(^1), 01(El))i ...
..., @2(?"л), 0t(^)). Следовательно, ып(Еп) равно открытому
интервалу нижняя граничная точка которого равна максимуму
величин 02(?i), • . ., 02(?Д а верхняя граничная точка равна
192

минимуму величин б^Е^, ..., в !(?„)*)• Эксперимент прбкра*
щается, как только в первый раз открытый интервал о>Л (Еп)
оказывается таким, что одна из весовых функций wx (б), ...twk F)
обращается в нуль тождественно на а)я(Ел).
В качестве другой иллюстрации рассмотрим снова пример
§ ЮЛ и для простоты предположим, что дисперсия х равна 1.
Хотя правильный выбор P*m(xv . ••. *т> б) Для этого
примера совершенно не был исследован, следующий выбор
P*m(xv •••• хт' ®)» по-видимому, не является неразумным.
Параметрическая точка б в зоне предпочтения принятия Hit
т. е. величина Ь^а — Л2), должна отличаться от всех
других параметрических точек С, для которых принятие Нх
является неверным решением. Наименьшее значение С, для
которого ^@= 1, есть С = а + Д. Таким образом, положим
для всех б^а — Л.
Если 6 находится в зоне безразличия Нг и Н2, т. е.
а — A<6<a-f~A, то мы хотим отличить б от всех
значений С, для которых принятие одной из гипотез Нх и Н2 —
неправильное решение. Наименьшее из таких значений равно
С== ^-(—Д. Таким образом, возьмем
P*m{xv .... хя. «)-;.(*, хя. ft + A). 00.18)
если а — Д<б< +
Если б находится в зоне предпочтения принятия Я2, т. е.
а-|-Д^б<й — Д, мы хотим отличить б от значений С, для
которых принятие Н2 является неверным. Наибольшее из
таких значений слева от а + Д есть С = а — Д, а наименьшее
справа от Ъ — Д есть С = # + Д-
Поэтому кажется естественным взять
/>«=2-[А»0*1 *т. а — Ь)+рт(хх хт% *
A0.19)
если а + Д<б<6 —Д.
х) Если оказывается, что верхняя граница, определенная таким
образом, меньше нижней границы, то множество сол (Еп) пусто.
__ 2) Определение различных зон и весовых функций wx @),
йг>@) и ^3F)» Для этого примера см. в п. 10.4.4.
13 Зак, 1119, А. Вальд 193

Если 0 находится в зоне безразличия Н2 и #3, т. е,
если Ь—Д<^0<?-|-Д, то мы хотим отличить 0 от
значений С, для которых принятие одной из гипотез И2 или Н3
неверно. Таким образом, положим
р*т(х19 .... хт% Ь)=рм{хх хт% а —А). A0.20)
если Ь — Д<0 +
Наконец, если 6 находится в зоне предпочтения
принятия #3, т- е- если 6^># + А, мы хотим отличать б от
значений С, для которых принятие Н3 неверно. Верхняя граница
таких С равна С = ? — А. Таким образом, положим
Р*т(*1 хт> Ъ)=рт(х1 хм% Ь — А)
для
Следует помнить, что систематическая теория,
позволяющая правильно выбратьр*т(х1 хт, 0),отсутствует. Выбор
Р*т (xi> • • •» хт> в) в вышеприведенных примерах был
сделан из чисто интуитивных соображений. Может оказаться,
что! существует другой выбор р*т (хи .... хт, б), который
ведет к более хорошим результатам. Заметим, что, вообще
говоря, неизвестно, входит ли оптимальный выборочный план
в класс планов, основанных на неравенстве A0.7). Дальнейшие
исследования должны пролить свет на эти вопросы.

ГЛАВА 11
ПРОБЛЕМА ПОСЛЕДОВАТЕЛЬНОЙ ОЦЕНКИ
§ 11Л. Принципы современной теории оценок
интервалами или множествами
В этом разделе мы дадим краткий очерк основных идей
развитой Дж. Нейманом х) теории оценок посредством
интервалов или множеств. Рассмотрим сначала случай, когда
распределение случайной величины х известно с точностью до
значения единственного параметра 6. Современная теория
рассматривает проблему оценки величины 6 на основе
фиксированного числа наблюдений х, т. е. на основе N наблюдений
xi> • • •» хлг
Пусть Е означает выборку (xlt .... xN), а Ь(Е) и 0(Я) —
две однозначные функции выборки Е таких, что
6(?)^6(Е) для всех возможных выборок Е. A1.1).
Обозначим через §(?) интервал, простирающийся от 6(?)
до 6(?). Будем называть также Ь(Е) функцией интервала,
так как она ставит в соответствие каждой выборке интервал.
Так как интервал Ь(Е) — функция выборки, его
местоположение и длина будут, вообще говоря, случайными
величинами, и поэтому может быть сделано вероятностное
утверждение о том, содержится ли в Ь(Е) истинное значение пара-"
метра или нет. Для любого значения 6 будем выражать
символом Ь(Е)СЬ тот факт, что б содержится в &(?). Для
любого соотношения R символ Р (/? 10) будет означать
х) J. Neyman, Outline of a theory of statistical estimation
based on the classical theory of probability, Philosoph. Trans. Roy.
Soc. London, Series A. 236 A937), 333—380.
13* L95

вероятность того, что R имеет место, когда истинное
значение параметра равно б.
Согласно Нейману, говорят, что функция интервала Ь(Е)
есть доверительный интервал б, если
Р[8(?)Св|в] = Т A1.2)
тождественно для всех б, где f — фиксированная величина,
не зависящая от 6. Соотношение A1.2) означает следующее:
вероятность того, что истинное значение параметра будет
заключено в Ь(Е), всегда равна f независимо от того, какое
значение параметра имеет место. Фиксированная величина f
называется доверительным коэффициентом, связанным с
доверительным интервалом Ь(Е).
Предположим теперь, что распределение х зависит от
нескольких неизвестных параметров, например 6lf ..., бг.
Любой набор возможных значений бх Ьг может быть
представлен точкой б, называемой параметрической точкой
в r-мерном декартовом пространстве (пространстве
параметров). Если мы хотим оценить параметры 6lt ..., Ьг совместно,
т. е. если хотим оценить параметрическую точку б,
оценивающим множеством будет некоторое подмножество г-мерного
пространства параметров. Если в случае единственного
неизвестного параметра оценивающие множества, отличные от
интервалов, имеют малое практическое значение, то в случае,
когда необходимо оценить совместно несколько неизвестных
параметров, это не так. Нам придется рассматривать
оценивающие множества, отличные от "/--мерных интервалов, такие,
как область, ограниченная сферой, эллипсом или более
сложной поверхностью. Таким образом, мы должны будем
рассмотреть функцию множеств о>(?), которая связывает с каждой
выборочной точкой Е некоторое подмножество ">(?)
пространства параметров; при этом мы не ограничиваемся случаем,
когда о>(?) — r-мерный интервал.
Говорят, что функция множеств о)(?) является
доверительной областью параметрической точки 6 = Flt..., 6Д
если
т A1.3)
тождественно для всех б, где f — фиксированная величина,
не зависящая от б. Величина f называется доверительным
коэффициентом доверительной области ш(Е).
Если требуется произвести оценку только одного из
параметров 6lt ..., бг, оценивающие множества, отличные от.

одномерных интервалов, не будут иметь большого
практического значения (как и в случае единственного неизвестного
параметра). Предположим, например, что должно оцениваться
только 61# Следуя Нейману, говорят, что функция
интервала Ь(Е) является доверительным интервалом Ь1 с
доверительным коэффициентом f, если
Ь1У 82, ..., 6Л] = Т A1.4)
тождественно для всех 6lf 62, ..., 6Г.
Обычно существует бесконечно много доверительных
интервалов §(?) или доверительных областей со(?") с заданн-ым
доверительным коэффициентом f, и основная проблема
состоит в том, чтобы найти наилучший доверительный интервал
или доверительную область, обладающие некоторыми
оптимальными свойствами. Ясно, что доверительный интервал
или доверительная область будет тем лучше, чем короче
интервал или чем меньше область. Понятия «короткий» или
«малый» необходимо уточнить, так как длина доверительного
интервала и объем доверительной области являются
случайными величинами, зависящими от исхода выборки. Это было
сделано в теории, развитой Нейманом, который ввел
различные понятия об оптимальных доверительных интервалах
и доверительных областях. Математические следствия из этих
определений исследованы, и во многих важных случаях
получены оптимальные доверительные интервалы и области. Мы
не намерены здесь углубляться в детали и отсылаем читателя
к публикациям Неймана по этому вопросу.
§ 11.2. Постановка задачи о последовательной оценке
посредством интервалов или множеств
В способах оценки, основанных на фиксированном числе
наблюдений, мы не можем, вообще говоря, контролировать
длину получающегося доверительного интервала, так как она
зависит от исхода выборки. Поэтому иногда может случиться,
что полученный доверительный интервал столь велик, что
оценка не имеет практического значения. Наличие этой
возможности является недостатком, присущим методам оценки,
основанным на заранее заданном числе наблюдений.
Например, длина наилучшего доверительного интервала,
основанного на фиксированном числе наблюдений для
среднего значения нормальной совокупности с неизвестным
стандартным отклонением, пропорциональна оценке 5 стандартного
197*

отклонения совокупности о. Выборочное стандартное
отклонение 5 может принимать любые значения и, вероятно, будет
большим, если о велико.
Чтобы отыскать метод оценки, который приводит к
доверительному интервалу не только с фиксированным
доверительным коэффициентом, но и с наперед заданной длиной
или с длиной, не превышающей наперед заданную величину,
или удовлетворяющий какому-либо другому подобному
условию, необходимо, вообще говоря, отказаться от подхода,
основанного на фиксированном числе наблюдений, и построить
методику последовательной оценки *).
Общий характер методики последовательной оценки
множествами можно описать следующим образом. Для любого
положительного целого т рассматриваем множество Sm
выборок объема т. Эти множества должны удовлетворять
следующему условию. Если выборка Ет— элемент Sm и если
Emi (т! > т) — элемент Sm/ , то Ет не должно быть равно
выборке, состоящей из первых т наблюдений Emi . С любым
элементом Ет из Sm (т= 1, 2, ..., -f- оо) мы связываем
подмножество ш (Ет) пространства параметров2). Процесс
последовательной оценки осуществляется так: продолжаем
наблюдения над х до тех пор, пока не достигнем
значения я, при котором Еп является элементом Sn, На этом
этапе прекращаем процесс и утверждаем, что о) (Еп) содержит
истинную параметрическую точку, т. е. <*>(Еп) —
доверительное множество, полученное методом последовательной оценки.
Таким образом, методика последовательной оценки
определяется множествами выборок S^ 52, . . . и функцией
множеств ш (?), определенной для всех выборок Е из 5lt «S2.
Основная задача последовательной оценки заключается в
правильном выборе Slt 52, ... и &(Е). Прежде всего потребуем
выполнения следующих двух условий:
Условие I. Доверительное множество о>(?л),
получающееся в результате последовательной оценки, должно
удовлетворять некоторым установленным требованиям,
касающимся его геометрической формы.
!) Очень интересная последовательная процедура была
предложена С. Стейном «A two sample test for a linear hypothesis whose
power is independent of the variance», Ann. of Math. Stat. 16 A945).
Этот способ приводит к доверительным интервалам фиксированной
длины для важного класса задач, включающих и упомянутый выше
пример.
2) Если имеем дело с оценкой посредством интервала, то с» (Еп)
всегда будет интервалом.
198

Условие II. Доверительное множество <*>(?„),
получающееся в результате последовательной оценки, должно
удовлетворять неравенству *)
для всех параметрических точек 0 (фиксированная величина у.
часто выбирается порядка 0,95 или более).
Требования, накладываемые на геометрическую форму
доверительного множества о>(?л), не представляют собой
статистической проблемы и должны быть сформулированы
на основе практического рассмотрения каждой частной задачи.
Например, если неизвестный параметр только один
(пространство параметров одномерное), можем потребовать, чтобы о>(?)
было интервалом, длина которого не должна превышать
некоторой заранее заданной величины d или некоторой данной
функции средней точки интервала. Последний случай может
оказаться интересным, например, при оценке среднего
значения биномиального распределения. Если есть несколько
неизвестных параметров, например 6lf ..., 6Г, и мы хотим
оценить их совместно, можем потребовать, чтобы объем или
диаметр2) доверительного множестви о> (Еп) не превышал
заранее фиксированной величины. Если мы хотим оценить
один из неизвестных параметров, например, 6lf то можем
потребовать, чтобы о> (Еп) было интервалом, длина которого
не превышала бы заранее заданной величины, или наложить
более слабое требование, состоящее в том, чтобы м(Еп) было
таким подмножеством г-мерного пространства параметров,
диаметр проекции которого на ось 0Х не превышал бы наперед
заданной величины.
Обычно существует бесконечно много способов
последовательной оценки, удовлетворяющих условиям I и И. Критерий
выбора одной из них основывается на математическом
ожидании числа наблюдений, требующихся для оценки. Способ
последовательной оценки можно считать тем более хорошим,
чем меньше математическое ожидание числа наблюдений,
требующихся для оценки. Таким образом, будем пытаться
выбрать из класса способов последовательной оценки,
удовлетворяющих условиям I, II, такой, для которого математическое
ожидание числа наблюдений было бы возможно более малым.
*) Это слабее, чем требование Неймана о сохранении знака
равенства.
2) Диаметром множества называется наибольшее возможное
расстояние между двумя его точками.
199

Задача отыскания оптимального способа последовательной
оценки не решена. Ниже будет кратко рассмотрен
специальный класс способов оценки, удовлетворяющих условиям I и II.
Неизвестно, содержит ли этот класс оптимальное решение
в указанном выше смысле.
§ 11.3. Специальный класс способов
последовательной оценки
Специальный класс выборочных испытаний, основанных
на неравенстве A0.7) и рассмотренных в § 10.5 может быть
использован для получения способов оценки,
удовлетворяющих условиям I и II. С каждой выборкой En = (xt хп)
(п= 1, 2, .. ., + оо) мы связываем множество ю(?л),
содержащее в себе все параметрические точки, для которых A0.7)
выполняется для всех значений т^.п. Если положить
А =« __ , то и>(Еп) будет удовлетворять условию II для
любого п. Оценка производится следующим образом.
Продолжаем наблюдения до тех пор, пока со(?л) не удовлетворит
условию I. Процесс прекращается при наименьшем п9 для
которого <я(Еп) удовлетворяет условию I; при этом мы будем
считать, что истинная параметрическая точка 6 заключена
в о)(?л). Это правило остановки автоматически обеспечивает
выполнение условия I.
Если р*т{х1 хп, б) выбрано так, что с вероятностью 1
диаметр со (Ет) будет стремиться к 0 при т->оо, и если
условие I таково, что любое множество достаточно малого
диаметра ему удовлетворяет, то с вероятностью 1 процесс
оценки закончится при конечном числе наблюдений.
Неизвестно, содержит ли рассмотренный здесь
специальный класс способов оценки оптимальный способ. Даже если
мы готовы ограничиться способами, основанными на A0.7),
то отсутствует теория, позволяющая правильно выбрать
p*m(xv ..., хт, 6). Нашей целью, конечно, является такой
выбор р*т (xv .... хт, 6), чтобы математическое ожидание
числа наблюдений было наименьшим. Оптимальный выбор
P*m(xi* •••• хт* ") зависит также от характера условия I.
Например, если данный выбор p*m(xv ..., хт, б) является
оптимальным, когда условие I требует, чтобы диаметр ю(Еп)
не превышал заданной величины, то этот же самый выбор
не будет оптимальным, когда условие I требует, чтобы
200

диаметр проекции ы(Еп) на одну из параметрических осей
не превышал заданной величины; верно и обратное
утверждение. Предположение, что Л = т—-» может привести к
некоторому расточительству, так как при этом условие II может
выполняться для значений *f/ значительно больших, чем
назначенное т. Возможно, дальнейшее развитие теории покажет,
что Л можно брать равным некоторой величине, меньшей -. ,
что приведет к экономии числа наблюдений.

ПРИЛОЖЕНИЯ
П. 1. Доказательство того, что с вероятностью,
равной единице,
последовательный критерий отношений
вероятностей рано или поздно закончится
Последовательный критерий отношений вероятностей
оканчивается на /г-м испытании, где п является наименьшим целым
числом, для которого или
или
где
Пусть c = |lnB| + |lnА|. Разобьем бесконечную
последовательность zv z2, zZt ... на интервалы длиной г, где г
является некоторым положительным числом. Таким образом,
первый интервал 5Х будет состоять из элементов zu ..., zr%
второй интервал S2 из zr+l, ..., z2r и т. д. В общем к-й
интервал Sk будет состоять из элементов Z{k_i) r+1 zkr
Пусть С^ означает сумму элементов &-го интервала. Нетрудно
убедиться в том, что если бесконечная последовательность
zv z2, ... такова, что последовательный процесс никогда не
окончится, то должно выполняться следующее неравенство
\Ък\<с для *= 1, 2. ... (П. 1)
Неравенство (П. 1) может быть записано в виде
(С*J < с2 для к = 1, 2, ... (П. 2)
Следовательно, для доказательства того, что с
вероятностью, равной единице, последовательный процесс рано или
202

поздно окончится, достаточно показать, что вероятность
выполнения (П. 2) при всех целых значениях к равна нулю.
Для любого заданного положительного целого числа /
обозначим через Pt вероятность того, что Ц < с2. Распределение
величины С/ должно быть одинаково для всех значений I,
так как zlt z2, ... являются независимыми случайными
величинами с одним и тем же законом распределения.
Следовательно, и Рг не зависит от /, поэтому обозначим ее через Р.
Так как Ct, C2, ... распределены независимо, то вероятность
совместного выполнения неравенства (П. 2) для к = 1, 2, .... у
равна PL Следовательно, для доказательства того, что
вероятность выполнения (П. 2) при всех значениях к равна 0,
достаточно показать, что Я<1. Если математическое ожидание
величины С2 больше с2, то Р должно быть меньше единицы.
Так как дисперсия zt по предположению не равна нулю, то
математическое ожидание величины Щ может быть сделано
произвольно большим соответствующим выбором г, т. е.
достаточно большим числом элементов в интервале. Таким
образом, Р<1, и мы доказали теорему: с вероятностью,
равной единице, последовательный критерий отношений
вероятностей рано или поздно окончится.
П. 2. Верхняя и нижняя границы
оперативной характеристики последовательного критерия
П. 2.1. Лемма. Здесь и ниже будем обозначать
математическое ожидание любой случайной величины z через E(z).
Для любого соотношения R будем обозначать символом P(R)
вероятность того, что R выполняется. Если математическое
ожидание E{z) или вероятность P(R) определяется в
предположении, что 9 является истинным значением параметра,
входящего в распределение рассматриваемой случайной величины,
то при доказательстве часто будем использовать для этих
величин обозначения Eb(z) и PB(RI).
При выводе нижней и верхней границ оперативной
характеристики нам понадобится следующая лемма.
Лемма П. 1. Пусть дана случайная величина z,
удовлетворяющая следующим трем условиям.
Условие I. Математическое ожидание Е(z)
существует и не равно нулю.
*) Если имеются несколько неизвестных параметров, например
®1» «••» fUi тогда в означает совокупность Flf ..., 6#).
203

Условие И. Существует такое положительное 8,
что Р {ez < 1 — 8) > 0 и Р (ez > 1 + 8) > 0.
Условие III. Для любого действительного числа А
математическое ожидание E(ehz) = g(h) существует.
Тогда существует одна и только одна
действительная величина Ао Ф 0, такая, что
Доказательство. Для любого положительного А
имеем
g(h) >Р(е*> 1 +8)A +Ъ)\ (П. 3)
Отсюда, в силу Р(?* > 1-f-o) > 0, получаем
lim ?(/0 = + оо. (П. 4)
Точно так же для отрицательных А имеем
g{h)>P(e*<\— 8)A— 8)\
Но Р (е* < 1 — 8) > 0, поэтому
lim g{h)= 4-oo. (П. 5)
Л>-оо
Так как х) g" (A) = ^ (z2ehz), то из условия II следует, что
*"(*)> О (П. 6)
для всех действительных значений А.
Из соотношений (П.4), (П.5) и (П.6) вытекает, что
существует только одно такое действительное значение А*, что
g(h) имеет минимальное значение в точке А==А*. Так как
g'@) = E(z) не равно нулю по условию I, то А* Ф 0 и
g(h) <g-@)= 1. Очевидно, что функция ?"(А) является
монотонно убывающей в интервале (—сю, А") и монотонно
возрастающей в интервале (А*, оо). Так как g*@)=l и
g (А*) < 1, то существует только одно действительное
значение Ао Ф 0, для которого gp(A0)=l. Таким образом,
лемма П.1 доказана. Из изложенного следует, что если А* > О,
то и Ао > 0, если А* < 0, то и Ао < 0. Далее, если А* > 0, то
*) Из условия III следует, что все производные функции
существуют и могут быть получены дифференцированием под
знаком интеграла, т. е.
ИГ & (U\
¦°kr = E{zTe*h) (r = 1, 2...).
204

E(z) = g'(O)<Ot а если /г*<0, то E(z) = g'@)>0.
Следовательно, h0 и Е (z) имеют противоположные знаки.
П.2.2. Фундаментальное тождество. В этом пункте
выведено равенство, которое будет играть фундаментальную
роль. Рассмотрим последовательный критерий отношений
вероятностей для проверки гипотезы Но о том, что
распределение вероятностей величины х определяется функцией
/(л:, 0о) относительно конкурирующей гипотезы Нх о том,
что распределение вероятностей задается функцией (/(х, 6Х).
Пусть
Z ¦ 1П ™гт л ч~ И Zs •—— 1П ,. , л—г~ ,
где xt означает /-е наблюдение х. В соответствии с § 3.1
процедура проверки выполняется следующим образом.
Продолжаем делать наблюдения до тех пор, пока
\nB<z,+ ... +zm<\nA, (П.7)
где А и В (В < А) являются постоянными, определенными
перед началом эксперимента. Принимаем Яо, если
*!+... +*«<1пЯ. (П.8)
и отвергаем Но (принимаем Ях), если
(П. 9)
Здесь и ниже будем обозначать через п число
необходимых наблюдений в критерии. Очевидно, что п является
величиной случайной. Пусть Df означает подмножество
комплексной плоскости, в которой E(ezt) = (f(t) существует и
является конечной для любой точки t из D'. Рассмотрим
тождество /
(П. 10)
где N означает положительное целое число и Z/ = 21-|- •••
... -\-zr Пусть Pn будет вероятностью того, что п^М.
Для любой случайной величины а обозначим через Ем (и)
условное математическое ожидание величины и при условии,
что N^n, а через E*N(u) — условное математическое
ожидание величины и при условии, что N > п. Тогда
тождество (П. 10) можно записать в виде
(zi) 'r. (П. 11)
206

Так как в множестве, определенном любым
фиксированным n^N, выражение Z^— Zn не зависит от Zn% то
имеем
EN(ezn(+^-^n)')^EN{(e^)l<?it)f-'4 (п. 12)
Из (П. 11) и (П. 12) получаем тождество
PNEN\еЧ [ср {t)f-"\ + A -Pn) En{e2) = [<р (t)f. (П. 13)
Разделив обе части равенства на [ср(О]^. получаем
Обозначим через D" подмножество комплексной
плоскости, в которой | ср (t) 1^-1, а через D — общую часть
подмножеств U и D". Так как lim(l— PN) = 0 и |^(/^)|
является ограниченной функцией от N, то имеем в области D
г =0> (П. 15)
Так как
lim РЫЕЫ
то из (П.14) и (П. 15) получаем фундаментальное тождество
E[&Vf ЮГ"} = 1 (П. 16)
для любой точки в подобласти D.
П.2.3. Определение верхней и нижней границ для
оперативной характеристики. Оперативная характеристика
последовательного критерия определяется функцией LF), где
функция ?(9) означает вероятность того, что
последовательный процесс приводит к принятию Яо, когда истинное значение
параметра равно б1). В параграфе П. 1 было показано, что
вероятность того, что процесс никогда не окончится, равна
нулю, т. е. было доказано соотношение Р(я = оо) = 0.
Таким образом, вероятность того, что при окончании
процесса гипотеза Но отклоняется (принимается //х), равна 1 — L F).
х) Для простоты рассматривается случай единственного
неизвестного параметра 0, но результаты, очевидно, могут быть
обобщены' на любое число параметров.
206

Используя фундаментальное тождество, выведенное в преды-;
дущем параграфе, получим верхнюю и нижнюю границы
для?,(9).
Будем предполагать, что при любом значении 0 распре-;
деление величины г = 1п^^ * удовлетворяет трем уело-
виям леммы П. 1. Тогда для любого заданного 6 существует
только одно действительное значение /г(8)=?0, такое, что
?е (eZh F)) = 1. Подставляя в фундаментальное тождество (П. 16)
А (9) вместо t, получаем
Eb(eznh®)=l, (П. 17)
так как ср[/г(9)] = 1.
Обозначим через Ее условное математическое ожидание
величины eznh{b) при условии, что принимается Яо, т. е. что
Zn^\nB, а через ?"е —условное математическое ожидание
величины eznh<<) при условии, что принимается Hv т. е.
что Zn^>\nA. Тогда из (П. 17) получаем
= l. (П. 18)
Разрешая относительно ?(9), получаем
?** — 1
?(9) = р?—^-. (П. 19)
Если абсолютное значение Eb(z) и дисперсия величины z
малы, что будет при близких f(x, 9t) и f(x, 90), то ?е и ^е
приближенно равны ВЛ()и Лн^ соответственно.
Следовательно, хорошим приближением для L(9) в этом случае
будет выражение
Это есть приближенная формула C.43), приведенная
в § 3.4. Нетрудно убедиться, что /г (G) = 1 при 0 = 90 и
кф) = — 1 при 9 = 61# Разность L (9) — L (9) стремится
к нулю, если среднее значение и дисперсия величины z
стремятся к нулю.
Чтобы судить о степени приближения, которую дает
Г@), нужно вывести верхнюю и нижнюю границы
величины L(9). Эти границы могут быть получены при помощи
207

нижних и верхних границ для ?9 и Еь . Рассмотрим сначала
случай /гF)>0. Для получения нижней границы величины El
рассмотрим действительную переменную С, которая
принимает значения > 1. Для любой случайной величины и любого
соотношения R обозначим через Е {и | R) условное
математическое ожидание величины и при условии, что выполняется R.
Пусть Рь (С) означает вероятность того, что eh (9) z*-i < 0
Тогда получаем
со
f [
(П. 21)

выра(П. 22)
где символ inf означает нижнюю границу относительно С.
Так как Вн^ является верхней границей E\t то получим
границы
Вн (8)Г
1
Следовательно,
жением
нижняя
L с \
граница
определится
8)Гт1 С?о (^ Л <9> * | ^ (9) ^ < 1\] < ?j < ВЛ (9) [Д F) > 0].
(П. 23)
Для вывода границ величины ?& рассмотрим
действительную переменную р, ограниченную значениями >0 и < 1.
Пусть Q(p) означает вероятность того, что eh^zn-i < рЛЛ(9).
Тогда получаем
1
ЕТ = / [рАн F)Еь (в» » * | е" <»)» > I)] rfQ (p). (П. 24)
О
Следовательно, верхняя граница ?е* определяется
выражением
Ah (9) [sup рЕь (eh (Q) * | eh (e> * > 1)]. (П. 25)
Так как Лй() является нижней границей величины ?е*,
то получаем границы для Ев
Лн (9) < ЕТ < Лн (9) [sup p?e (^ (Q) -| * ^ > 1)] [А F) > 0].
Р (П. 26)

Полагая
inf C?o («"(">* | eft<e>*<-J-) = v)9 (П. 27)
sup P?o («*<9>«| *» С») *> ±\ = 8е> (п. 28)
P?o («*<9>«| *» С») *> ±
можно переписать неравенства (П. 23) и (П. 26) в виде
S"D<?e<Bft((!) (П. 29)
И
лЛ(9)<?Г<лЛ(\. (п. зо)
Так как В < 1 и Л > 1 *), то, очевидно, ?9 < 1 и Ев > 1.
если /г@) > 0. Из этого, а также из (П. 19), (П. 29) и (П. 30)
следует, что
—I 5^() —1
Ah (8) _ ^дй (8) < L W < 5()ЛЛ F) _ д/k (8) ' (П-31>
где ЛF)>0.
Если Л(8)<0, то пределы для L@) можно получить
следующим образом. Пусть <г/ = — г, А/==-^и В' = -т-.
Рассмотрим последовательный критерий S', определенный
следующим образом. Продолжаем производить наблюдения
все время, пока \nB/<^z/1-\- ... -{-z'm<l\nA. Заканчиваем
процесс тем или другим решением в зависимости от нера*
венства Z\-\- ... -f-zn^ In В' или ^ In А'. Обозначим через
U @) вероятность того, что при окончании процесса
накопленная сумма Z\-\- ... -\-zm окажется меньше или равна
In В'. Тогда Z/F)=l—L@). Обозначим величины А (б),
т]8 и 8е, соответствующие критерию S', через ^'@), т\'в и 8д#
Так как А'@) = — /г F) >> 0, то можем применить к
критерию S' выражение (П. 31). Таким образом, получаем
f
L
0 Мы предположили, что В < А. Так как мы полагали
3 1 — 3 3 1 —-3
В = г-1-— и А = , то должны иметь т-5-— < . У мно-
1—а а 1 —а ^ а
жая эти неравенства на а A — а), получаем ар < 1 — а — р -)_ ар,
т. е. 0 < 1 — а — р. Следовательно, Р<1 — аи 1 — р>а, и поэтому
?< 1 и А > 1.
14 Зак. 1119, А. Вальд '
20?

где h! @) > 0. Так как т)9 и 88 зависят только от
распределения h @) z и h! @) z' = Л @) z, то tj^ = т]9 и 8J = 8e.
Подставляя в (П.32) 8Q вместо 8JJ и у\в вместо ч\ь, ^ вместо Л', -т-
вместо ?', — А @) вместо Л' @) и 1 —L @) вместо Z/ @), получаем
?Й (8) J
<1
вн F) _ ^Ан(Ь)<1~1 @) < bJh F) _ л*(в) • (п-33)
где Л@)<О. Следовательно,
ЬЬВН W - ЛЛ W < L FХ д* F) J^ лл (б) • (П-34)
где А (8) < 0.
Подытожим результаты следующим образом. Если h @)> 0,
то границы функции L@) определяются выражением (П. 31).
Если /г@)<О, то границы функции /,@) определяются
выражением (П. 34). Величины 8Q и 7/8 определяются при помощи
(П. 27) и (П. 28).
В пунктах П. 2.4 и П.2.5 будет произведен расчет
величин \ и т]9 для биномиального и нормального законов
распределения. Если границы /,@), определенные выражениями
(П. 31) и (П. 34), сильно отличаются от истинных значений,
то желательно определить точные значения Z,@) или по
крайней мере найти лучшее приближение для величины ?@),
чем данные выражениями (П. 31) и (П. 34). Метод решения
данной проблемы описан в параграфе П.4. Там выводится
точное значение функции /,@) для случая г, принимающего
конечное число целых значений, кратных постоянной d.
Если z не обладает этим свойством, то достаточно хорошее
приближение величины /,@) может быть получено
аппроксимацией с любой желаемой степенью точности распределения z
дискретным распределением упомянутого выше типа, если
только постоянная d выбрана достаточно малой.
П.2.4. Расчет 86 и % для биномиального
распределения. Допустим, что X является случайной величиной,
которая может принимать только значения 0 и 1. Пусть pt
будет вероятность того, что Х= 1, когда истинна ЯД/==0,1).
Пусть Н будет гипотезой, что р является вероятностью
события Х=\. Обозначим 1—р через q и 1—рг через qi%
Тогда распределение f(x, p) величины х определяется
следующим образом: f(\,p)=p и /@, p) — q.
210

Можем предположить без потери общности, что /?i>/V
Производящая функция моментов величины z — \n ,,y Pl\
j (•*, Ро)
определяется выражением
Пусть h (р) Ф 0 будет таким значением t, для которого
=1. т. е.
Рассмотрим сначала случай Л(/?)>0. Очевидно, что из
=.\*yCt Pi) I >q вытекает х=\. Следовательно,
L / (^, Ро) J
L
из е* (^ > 1 вытекает # (Л = Ш^Ц
L/(l. Po)J \^о/
Отсюда и из определения Ър% данного в (П.28), следует
<п.И)
где /*(/?)> 0. Точно так же из неравенства ezh№< 1
вытекает ?**(/*) = (-?М . Отсюда и из определения т] , дан-
ного формулой (П. 27), следует
где А(р)>0.
Пусть А (/?) < 0, тогда таким же путем легко показать,
что
где Л(р) < 0, и
*-(?) ' (П-38)
где h(p)<0.
П. 2.5. Вычисление 50 и v)e для нормального
распределения. Предположим теперь, что X является нормально
распределенной случайной величиной с неизвестным средним
значением и известной дисперсией о2. Можем предположить
без потери общности, что о=1, так как этого легко
достигнуть умножением на коэффициент пропорциональности.
14* 211

Тогда
/(*. Ъ^ = -^-е-*{Х~Ч (/ = 0,1) (П.39)
И
/(*, Ъ) = -^е~Ъ{Х~Ь)\ (П. 40)
Можем предположить, не теряя общности, что 0О =— А
и 6j = А, где А > 0, так как это легко получить при
помощи переноса. Тогда
Производящая функция моментов величины z определяется
выражением
Еь (ezt) = е2 де '+2 ш\ (П. 42)
Следовательно,
Подставляя значение Л (б) в (П. 27) и (П. 28), получаем
(П. 44)
7]9 = inf C^q (в-«* | ^-28лг ^^у (П .45)
Для любого соотношения R обозначим через Ре(/?)
вероятность выполнения R при условии, что распределение х
является нормальным с единичной дисперсией и средним
значением 0. Далее, пусть Ре (R) означает вероятность
выполнения R при условии, что распределение х является
нормальным со средним значением —0 и единичной дисперсией.
Так как е~2Ьх равно отношению плотности вероятностей
нормального распределения со средним значением —0 и
единичной дисперсией к плотности вероятностей нормального
распределения со средним значением 0 и единичной
дисперсией, то очевидно, что
212

(П. 47)
Легко убедиться, что члены в правой части (П. 46) и
(П. 47) имеют одинаковые значения как для 0=Х, так и для
0 = —X. Таким образом, 88 и т]9 также имеют одинаковые
значения как при 0 = Х, так и при 6 = — X. Поэтому
достаточно будет вычислить \ и т]9 для отрицательных
значений 0. Пусть 0 = — X, где Х>0. Сначала покажем, что
т]в = —. Очевидно, что
A<С<оо). (П. 48)
Подстановка С = — @ < р < 1) в (П. 48) дает
(П. 49)
Следовательно,
т)9 = inf
\ ? 7
sup
р
¦. (П. 50)
Вследствие симметричности нормального распределения
легко увидеть, что
sup
р
Следовательно,
= sup|
р
•49 =
h
(П. 51)
213

Вычислим теперь величину 89. Пусть
Тогда
= у^ J e a dt.
X
Точно так же
Обозначим Trrln— через и. Так как р изменяется от О
до 1, то и может иметь любые значения от 0 до сю. Но
р = ?-2хи> поэтому
Ьь= sup
(«**>!)
@<я<оо).
Докажем теперь, что
(П. 53)
является монотонно убывающей функцией от # и
соответственно имеет максимум при и = 0. Для этой цели
достаточно показать, что производная от 1п^(й) всюду
неположительна. Имеем
lnx(tf) = lnG(tf — X) — lnG(a + >0 — 2Хи. (П.54)
d
du
Пусть Ф(х) означает ^_- е 2 . Так как
(
то из (П. 54) следует
-2Х. (П.55)
214

Из теоремы о среднем значении следует, что правая часть
d Ф (и)
равенства (П. 55) всюду неположительна, если ~^-^щ равна
или меньше единицы для всех значений а. Таким образом,
нужно показать, что
_d_ г Ф (и) 1 _ Ф' (u)G(u) — Gr (и)Ф(и) _ Ф' (и) G (и) + Ф^ (и) _
Обозначим -рут чеРез У* ^°РНИ уравнения у2 — иу —
—1=0 равны
У _ и - и ^
Следовательно, неравенство у2 — иу—1^0 выполняется
тогда (и только тогда), когда
2
Так как у не может быть отрицательным, то это
неравенство эквивалентно следующему
(П.57,
Таким образом, нужно доказать (П. 57). Покажем, что
(П. 57) выполняется для всех действительных значений и.
Бернбаум х) показал, что для и > 0
ф(и)<0(ц)>
Следовательно,
что и доказывает (П.57) для и > 0. Докажем теперь (П.57)
для и < 0. Пусть а = — v, где v > 0. Тогда из (П. 59)
следует
1) Z. W. Birnbau m, An inequality for Mill's ratio, Ann. Math,
stat. 13 A942).

Заменяя дробь на обратную, получим из (П. 60)
G{v) Y^^f'-v
WW>
W2
Так как
G(u) О(у) + 2уФ(у) _ О(у)
Ф (и) ^ Ф (у) — Ф (у) "Г"
то из (П. 61) получим
G(u) У
> 2 ^ 2 '
Переходя к обратным величинам, мы получаем
2
G(a)
Таким образом, соотношение (П. 57) доказано для всех
значений а и, следовательно, 89 равна выражению (П. 53),
если подставить 0 вместо а. Таким образом,
Формула (П. 63) получена для случая 0О = — А, 61 = Д
и о=1. Легко показать, что в общем случае для
значений 60, бх и о
fe (П. 64)
где
П.З. Верхняя и нижняя границы для функции
среднего числа наблюдений
последовательного критерия отношений вероятностей
П. 3.1. Вывод общих формул для верхней и нижней
границ. Пусть, как и выше,
а-Ь 2....) .
, ад
и пусть /г будет необходимым числом наблюдений в
последовательном критерии, т. е. пусть п есть наименьшее целое
число, для которого Zrt = 21-f- ... -\-zn либо ^>\пА, либо
<1п?. Для определения математического ожидания Е(п)

величины п при гипотезе Я, заключающейся в том, что
истинным значением параметра является 0, зададимся
положительным целым фиксированным числом N. Сумма
Zm=z1-\- ... -\-Zm может быть разбита на две части
следующим образом
ZM = Zn + z'nt (П. 65)
где Ze = s/I+1+ ... +zNt если л<А/, и z'n=:ZM — Zn%
если п > ЛЛ Вычислив математическое ожидание от обеих
частей равенства (П. 65), получим
Пусть PN означает вероятность того, что я <^ N. Тогда
где символ Еьм означает условное математическое ожидание
при условии n^N, E*M означает условное математическое
ожидание при п^> N.
Так как Zm при п > ЛЛ лежит между In В и In А и так
как lim A—РЛГ)==0, то из последних двух уравнений
получаем
lim [NEB(z) — PNEbN(Zn + Z'n)] = 0. (П. 66)
Для любого заданного значения п < N случайные
величины zn+l, ..., zN распределены независимо и имеют тот же
закон распределения, что и величина z. Следовательно,
Em(z'n) = Em(N — п) Еь (z) = — Ем(п) Еь (z) + NEb (z).
Из этого, а также из (П.66) получаем в силу х)
Нш A_р^)дг = о
lim [PNEm(n)E^z) — PNEm(Zn)] = 0. (П. 67)
JV>oo
Так как
lim PNEm (п) = ?0 (/г) и lim PNEm (Zn) = ?9 (ZJ,
ЛГ>оо ' N
х) Штейн в статье «A note on cumulative sums», Ann of Math.
Stat. 17 A946) показал, что все моменты величины п должны быть
конечны. Отсюда вытекает, что lim A — PN)Nk = 0 для любого
положительного целого числа k.
217

то из уравнения (П.67) следует
Eb(Zn) = Eb(n)EB(z). (П. 68)
Следовательно,
§f§ (п-69)
если Еь(г)Ф0. Пусть Е$(Zn) будет условным математическим
ожиданием величины Zn при условии, что последовательный
анализ приводит к принятию Яо, т. е. что Zn ^ In В. Точно
так же пусть ЕQ (Zn) будет условным математическим
ожиданием величины Zn при условии, что принимается гипотеза Н1%
т. е. что Zn^\nA. Так как LF) является вероятностью
того, что Zn^.\nB9 а 1—/,@) вероятностью того, что
Zn^\nA, то получаем
Еч (Zn) = [L (9)] ?5 (Zn) + U—L F)] ЕТ (Zn). (П. 70)
Из (П. 69) и (П. 70) следует
zdn) — -щщ . A1. /1)
Точные значения величины E$(Zn) и, следовательно,
точные значения Е(п) могут быть вычислены в том случае,
когда z может принимать только целые значения, кратные
постоянной d, так как для этого случая получен точный
закон распределения величины Zn (см. параграф П. 4). Если z
не удовлетворяет этим условиям, то можно получить
достаточно хорошее приближение для величины E^(Zn)f так как
распределение z может быть аппроксимировано с любой
желаемой степенью точности дискретным распределением
упомянутого выше типа, при условии, что постоянная d
выбирается достаточно малой.
Если же |Е(г)| и стандартное отклонение величины z
являются малыми, то E$(Zn) приближенно равно In Б, а Ец (Zn)
приближенно равно In А. Следовательно, в этом случае можно
записать
111/^
Эта приближенная формула была приведена в C.57).
Чтобы оценить качество приближения, данного
выражением (П. 72), выведем нижнюю и верхнюю границы для ffl (/г);
для этого определим нижнюю и верхнюю границы величин
218

E*e(Zn) и Ее*(Zn). Пусть г будет неотрицательной
переменной и пусть
) (г>0) (П. 73)
e(*-[-r|3-br<0) (г>0). (П. 74)
Легко убедиться, что
In Л < ?Г B„) < In Л + U (П. 75)
<lnB. (П. 76)
Из (П. 71), (П. 75) и (П. 76) получаем
—/:(б)] (in
если Eb(z) > 0, и
[1-1(8I In Л
f ( 8)
если ?"eB:)<0. Границы, определенные выражениями (П. 77)
и (П. 78), вообще близки друг к другу для значений б^б0
и 0^>6j. Однако для значений 8, лежащих между Go и 6lf
разница между верхней и нижней границами может оказаться
достаточно большой, так как величина EB(z) при этих
значениях 0 может быть близка к нулю (или равна нулю).
Действительно, мы видели, что Ец0 Сг)< 0 и E%t (z) > 0.
Следовательно, если Eb(z) является непрерывной функцией от 0,
то имеется такое значение 0' между 0О и 0j, для которого
Бв'(.г) = О. Для 0 = 0' или для значений 0, близких к 0',
границы, данные в (П. 77) и (П. 78), не представляют
практического интереса, так как они далеки друг от друга.
Выведем границы для Ев(п), которые могут быть полезны
для значений 0, близких к 0' *). Для этой цели разложим
1) См. также статью автора «Some impovement in setting limits
for the expected number of observation required by sequential
probability ratio test», Ann. of Math. Stat. 17 A946). (Перевод на
русский язык этой статьи помещен в дополнениях к этой книге.)
219

no формуле Тейлора
+j[h(e)fZ2n + ±lh(B)fzle\ (П.79)
где величина X лежит между 0 и h(d)Zn. Из (П. 17) и (П. 79)
получаем
h(b)Eb(Zn)= -±lh(Q)fEb(Z2n) — \[h(b)fEb(zW). (П. 80)
Отсюда и из (П. 69) вытекает
Л2пе). (П. 81)
Таким образом, верхняя и нижняя границы для Еь(п)
могут быть получены, если вывести верхние и нижние
границы для Еь (zl) и ?е (^пе )• Для вывода границ для Еь (z^)
запишем
Еь(Zl) = L F) El (Z2n) + [ 1 - L F)] ET D). (П. 82)
где символ Е* означает условное математическое ожидание
при Zn ^ In В и Е** означает условное математическое
ожидание при Zn^\nA. Пусть е' означает Zn — \пВ и г"
означает Zn — In Л. Тогда
El (Zl) = (In Bf + 2 (In В) El (e') + El (e^2) (П. 83)
и
ET (Zl) = (In Af + 2 (In A) ET (О + ЕГ (е'/2). (П. 84)
Так как ?е(е/2)>0 и (In J5)?e(e0>0, то из (П. 83)
получаем
(\nBf^El(zl). (П. 85)
Определенная в (П. 74) величина V является нижней
границей для ^(е'). Так как 1п?<0, то (\пВ)$$ является
верхней границей для (lnB)?j(e/). Верхнюю границу для
дает величина
; [ h ] . (П. 86)
г
Следовательно,
El (Zj) < (In Bf + 2 (In В) *i + Се. (П. 87)
220

Таким образом, мы получили границы
(In BJ< ?j(zj) <(ln ВJ-1-2Aп В)Й -+-С,'. (П. 88)
Точно так же могут быть получены границы для fe*(Z^)
(In Af < Е? (Z2n) < (In Af + 2 (In A) |8 + Ce, (П. 89)
где ?j определяется в (П. 73) и
С9 = max ?« [(г — г)* | г > г] (г > 0). (П. 90)
Г
Если обозначить через V @) нижнюю границу, а через Z," (б)
верхнюю границу величины ?F), данные в (П. 31) (для
/гF)<0 в (П. 34)), то из (П. 82), (П. 88) и (П. 89) получим
границы для E^(Z2n)
U @)(In Bf + [ 1 — I» @)] (In Af <?0(Z2,) <
< l» 0) [(in Bf+2 (in 5) % + c; ] -+-
(П. 91)
Используя подобный метод, без труда можно вывести
верхнюю и нижнюю границы для ?*6(Z^X). Но мы, однако,
не будем выводить этих границ, так как нас интересует
определение границ Еь(п), когда 0 близка к 0', т. е. для
таких значений 0, при которых вторым членом в правой
части (П.81) можно пренебречь. Покажем, что если /г@),
Еь(г) и EB(z2) являются непрерывными функциями, то коэф-
фициент р /\ при этих условиях стремится к нулю при
0 -> 0'. Как следует из рассуждений, приведенных в пункте
П. 2.1, lim /г@) = О. Так как
88'
(П. 92)
<;1), то при h ф)ф 0 получаем
^ = о. (П.93)
Таким образом,
*g>] (ft (8)^=0). (П. 94)
221

Предполагая, что Еь(е^г\) является ограниченной
функцией от 6 в окрестности б', убеждаемся, что Еь (| z |3 #'h@> 11z I)
является также ограниченной функцией от б в достаточно
малой окрестности 8' *). Следовательно, Eb(z3euh^z) является
также ограниченной в окрестности б' функцией от б. Отсюда
и из (П.94) следует
}™=-ъЕ*1(г2)<0- (П-95)
Из (П. 95) вытекает
Hmi|№ = 0. (П. 96)
Нижняя и верхняя границы для Еь(п), основанные на (П. 81),
будут, в общем случае, близки друг к другу для значений б
из малой окрестности б7. Таким образом когда б близко к б',
для Ef)(n) можно использовать эти границы вместо границ,
определенных выражениями (П. 77) и (П. 78).
Представляет интерес найти предельное значение (П. 81),
когда 6-* 6'. Если Eb(Z2n) является непрерывной функцией
от б, a Еь (Zsnex) является ограниченной в окрестности б'
функцией от б, то из (П.81), (П. 95) и (П. 96) следует2)
*'<Я> = 1П^- (rL97)
Ограниченность EJZ^e^ может быть доказана, если
математическое ожидание pEbletz\etz*^> — \ при t= ± 1 является
ограниченной функцией от б и р(О<р<1). Так как
lim /г(б) = О, то существует такая постоянная С, что
| Z«?X | ^ Cel zi I при всех 6 из окрестности б'. Следовательно,
необходимо показать, что Еь (#1 zn I) ограничена. Так как ezn -j-
+ e~zn ^ е^ zn I, то достаточно показать, что ЕQ {ezn) и Е6 (e~Zn)
ограничены. При 0 < р < 1 имеем
Еь {ezn | Zn > In A) < A sup [р?9 (е*\ е* > |)].
1) Это следует из того факта, что | h @) | < 1 при значениях в,
достаточно близких к 6'.
2) Иной метод вывода (П. 97) был дан автором в статье
«Differentiation under the expectation sign in the fundamental identity»,
Ann. of Math. Stat. 17 A946). (Перевод на русский язык этой статьи
помещен в дополнениях к этой книге.)
222

Так как
то получаем
{eZ") < A sup [9ЕЬ (е* \ е* > у)] + В.
Выражение в правой части этого уравнения является
ограниченным, так как pEb(ez\ ez^—j ограничена по
предположению. Следовательно, E^(ezn) ограничена.
Ограниченность EH(e~zn) можно показать таким же путем. Верхнюю и
нижнюю границы для Ев> (п) можно получить из (П. 97)
подстановкой вместо Е$' (Z2n) верхней и нижней границ, данных
в (П. 91).
Вычислим теперь приближенное значение выражения Е$> (/г),
пренебрегая перескоком величиной Zn через границы. Так
как lim /г(б) = О, то из C.43) получаем
8б
m!=m (П-98)
Следовательно,
Таким образом, приближенное значение Е& (п) дается
выражением 1)
EBt(Z2n) — In В In A
?Wi~ Vw • (П-99)
Если известна точная оперативная характеристика LF)
критерия, то для Ен(п) можно получить достаточно близкие
границы, действующие во всем диапазоне значений 6. Покажем
кратко вывод таких границ. Обозначим через fb(z)
распределение величины г> когда б является истинным значением
параметра. Через распределение 2, сопряженное с
распределением /еОг), обозначим распределение eh^zfb(z). В таких
важных случаях, как биномиальное и нормальное
распределения, любому заданному значению 8 параметра будет
соответствовать такая величина 0, для которой fj(z) является
!) Валлис получил приближенную формулу независимо от автора.
Оно включено в издание Группы статистических исследований при
Колумбийском университете Techniques of statistical analysis, гл. 17;
раздел 7.2, New York A946).
223

сопряженным с fb(z), т. е. fj(z) = eh^zfB(z). Будем
называть 0 сопряженным с 0. В других источниках х) было
показано, что
Цеп) = Ш
Другими словами,
(П. 101)
где v лежит между 0 и h(Q)[Zn— E*e(Zn)]. Подобно этому
ЕТ (eh (9> zn) = eft F) я" G«)бГ {1 +[-^-2 [Zn - ?Г BЯ)]2 ••'}.
(П. 102)
где v' лежит между 0 и h(B)[zn — ET(Zn)]. Из (П. 100),
(П. 101) и (П. 102) получаем
(П. 103)
Л-?ГBП)Г^}). (П- Ю4)
Таким образом,
(П. 105)
1) См., например, статью автора «Some generalisation of the
theory of cumulative sums of random variables», Ann. of Math. Stat.
16 A945).
224

где
(П.106)
Так как /г(9)?00г)<0 (см. пункт П. 2.1), то R > 0.
Следовательно, нижняя граница для Еь(п) получается
подстановкой в (П. 105) 0 вместо R.
Для получения верхней границы Еь(п) выведем верхнюю
границу для R. Очевидно, что
{(Zn — In B) + [El(Zn) — In В] }2>[Zn —El(Zn)Y (П. 107)
всякий раз, когда Zn^\nB. Отсюда и из (П. 76) получаем
[(Zn-\nB)^f>[Zn — El(Zn)f (П. 108)
всякий раз, когда Zn^.\nB. Точно так же получаем
\(Zn — In А) -Ь 5,1» > [Zn—Е? (Za)f, (П. 109)
если Zn^-ln/4, где ?6 определяется выражением (П. 73).
Из (П. 107), (П. 108) и (П. 109) следует
(П. 110)
Т [(Zn — In A + &еJ e(z«-In A+5e) I *«I]. (П. 111)
Кроме того, имеем
15 Зак. 1119. А. Вальд 225

[ + 9)|0] = р'/. (П. 113)
Из (П. 106), (П. ПО) и (П. ИЗ) получаем следующую
верхнюю границу для R
Верхние границы для Еь(п) получаются подстановкой
в (П. 105) R вместо R. Величина R будет в общем мала
во всем диапазоне значений 6.
§
П. 3.2. Расчет величин §9 и §в для биномиального и
нормального распределений. Пусть X будет случайной
величиной, принимающей значения только 0 и 1. Вероятность
того, что Х=1, обозначим через б. Тогда распределение
величины х определяется через f(xt б), где /A, 0)==б и
/@, 6)=1— б. Пусть Н% есть гипотеза 6 = 6,G = 0, 1).
Можно предположить без потери общности, что бх > б0.
Очевидно, что из In у. ' *[ > 0 вытекает х = 1 и, следова-
тельно,
1П1П1П
/(*. е0) — In/(i, е0)—ш е0 •
Следовательно,
ln-Ji-. (П. 115)
Так как из In *; ' *[ ^ 0 вытекает х = О, то получаем
f(x, 0о)
?9 = m\nEb(z-\-r\ z~\-r ^0) = In ^ ~* , (П. 116)
Теперь вычислим величины ?е и $9 для случая, когда
X распределено по нормальному закону с единичной
дисперсией. Пусть
f(x, 6,) = ¦ в 2 (/ = 0, 1 и 6j'
226

Можно предположить без потери общности, что 0О = — Д
и 0j == А, где Л > 0, так как это всегда можно получить
переносом. Тогда
2 = ln^-g=2Ax. (П. 117)
Пусть
и пусть
X
= г в
G(jt)
ОС
—L. Г
е 2 dt.
Пусть t = x — 9. Тогда 2 = 2Д(/ + 9) и
оо
=щы f (t~to)ф @dt=те l~
ф
где
г
2А"
(П.119)
В пункте П. 2.5 (формула (П. 56)) было доказано, что
l — А) является монотонно убывающей функцией от t0.
Следовательно, максимум Eb(z — r\z — г^0) получается при
г = 0 и
bg]. (П. 120)
Вычислим теперь Се. Имеем:
min Eb(z-\- r \z-\- г <0),
г
— max Еь (— z — г\ — z — г >. 0),
— 2Дтах?е(— л: — "зг — * — Wk-
(П.121)
227

Пусть t = — x-i-Q и ^0 = ?--f 6. Тогда
(—х—{к
— х—^->о)=?9(^—to\t—
(ПЛ22)
Так как эта функция является монотонно убывающей
от /0, то получаем
Из (П. 121) и (П. 123) получаем
] (П. ,24)
Формулы (П. 120) и (П. 124) были выведены для случая
бо = — А, 6Х = Д и о=1. Величины Ь и ?е для общего
случая 0О, 0j и о определяются выражениями
(П- 125)
(П. 126)
где
П. 4. Вывод точных формул для оперативной
характеристики и функции среднего числа наблюдений
в случае, когда г может принимать
только конечное число значений,
кратных постоянному числу
В этом параграфе выведем точные формулы для
оперативной характеристики и функции среднего числа
наблюдений для случая, когда z = In yXy flx{ может принимать
только конечное число значений, кратных положительному
постоянному числу d. Этот результат является достаточно
общим, так как любое распределение величины z может
быть с произвольной точностью аппроксимировано дискрет-
228

ным распределением вышеупомянутого типа, если
постоянное число d выбрано достаточно малым.
Для получения точной оперативной характеристики и
функции среднего числа наблюдений, выведем сначала точное
распределение вероятностей накопленной суммы Zn = zx -f- ...
... -\-гп при окончании процесса. В данном параграфе
определение вероятности любого соотношения и среднего
значения любой случайной величины производится в
предположении, что б является истинным значением параметра1)*
Однако для упрощения написания не будем отражать этого
в формулах, т. е. будем писать Р вместо Рь и Е вместо ?9.
Пусть gx и g2 будут такими двумя положительными целыми
числами, что P(z —— gxd) и P(z = g2d) являются
положительными, а г может принимать только целые значения,
кратные tf, которые могут быть ;> — gxdt но ^g2d.
Обозначим P(z = td) через ht. Тогда производящая функция
моментов z определяется выражением
= 2
l
(П. 127)
Для получения корней уравнения <р (t) = 1 обозначим etd = и
и решим уравнение
(П. 128)
i--gi
Пусть g означает gx + gz и пусть g корней уравнения
(П. 128) будут равны и1% .... ug соответственно.
Предположим, что все корни различны, т. е. ut Ф Uj при / + j.
Подставляя в фундаментальное тождество (П. 16) at вместо etd,
получаем
Е\а^)=1 (/=1 g). (П. 129)
А
Пусть [а] будет наименьшим целым числом ;>1п —
и [*1 — наибольшим целым числом ^——. Тогда-j может
принимать только значения
— gi + 2) 1*1. la]. ([e]+D. •••
l). (П. 130)
!) Если имеется несколько неизвестных параметров, то 0
означает совокупность всех параметров,
229

Обозначим g различных значений в (П. 130) через с1$ ...
..., cg соответственно. Обозначим P(Zn = ctd) через %ь.
Тогда уравнение (П. 129) может быть записано в виде
jta«fy=:
(/=1. .... g). (П. 131)
Пусть Д будет определителем матрицы || а*/|| (/, ]=\, ..., #)
и пусть Ду будет определителем, полученным из Д
подстановкой 1 вместо элементов в у'-м столбце. Если Д Ф 0, то
из (П. 131) следует, что P(Zn = Cjd) = tj равна
6/ = Х- (ПЛ32)
Таким образом, вероятность LF) окончания процесса
при Zn^\nB определится выражением
где суммирование должно производиться по всем J, для
которых dCj^.\nB. Равенство (П. 133) определяет точное
значение оперативной характеристики.
Из закона распределения Zn легко вывести
математическое ожидание Еь(п) величины п. Действительно, в
параграфе П.З было показано, что
Но так как
%*? (П. 134)
то
е г y=i
является точным выражением для функции среднего числа
наблюдений.
Для получения вероятностей ?lt ..., \g по описанному
выше методу необходимо вычислить корни уравнения (П. 128).
Однако этого можно избежать, если воспользоваться
методом, предложенным Гиршиком1). Гиршик предлагает по-
1) М. A. G ire hick, Contributions to the theory of
sequential analysis, Ann. of Math. Stat., 17 A946),
230

ступить следующим образом. Умножая
1—1^ на
и (^lfUcJ—\\ на ugl~^~l, получаем два полинома f(u) и
F(u), причем f(u) имеет порядок gi~\-g2 = g* a F(u)—
порядок # + [#] — Щ— 2. В соответствии с (П. 128) и
(П. 131) любой корень f(u) является так же корнем F (и).
Следовательно,
F (и) =/(«)/*(«).
где f*(u) является полиномом степени [а] — [Ь] — 2, т. е.
Полагая коэффициент при любой степени а в F (и)
равным коэффициенту при той же степени в f(u) f*(u),
получим систему g-\-[a] — [b] — 1 линейных уравнений
b l %
— [b\ — 1 неизвестными
kl9
g
.... k[a]-[b]-2, из которых можно определить эти неизвестные.
Таким образом, вероятности ^ lg можно определить,
не решая уравнения (П. 128). Это преимущество, однако,
достигается ценой увеличения числа линейных уравнений,
которые надо решить. Если производить вычисление корней
полинома (П. 128), то для определения ?lf ...,
^необходимо решить только g линейных уравнений. При
использовании метода Гиршика не нужно определять корней
полинома, но число линейных уравнений при этом увеличивается
ДО g + \a\ — \b\ — \.
Если g=l, то оперативная характеристика дается
простым выражением относительно корней ии ..., иг
Действительно, L (8) = Р (Zn < In В) = 1 — Р (Zn > In A) = 1 — 6Г
Имеем:
u[b\
231

Отношение -^- не изменится, если умножить *-е строки
А и А^ на «fi-M-i. Таким образом,
1 щ ... ttf «f1""
1 Ug
1 па
Минор каждого элемента в последней колонке является
определителем Вандермонда. Раскрывая определители в
числителе и знаменателе по последним колонкам и деля числитель
и знаменатель на определитель Вандермонда
1 и
S "g
„gl
получаем
! = *—1).
Pi-l-[b]
ч-W -i
Проиллюстрируем на простом примере вывод точной
оперативной характеристики и точной функции среднего числа
наблюдений. Пусть х будет случайной величиной, которая
может принимать только два значения: 0 и 1. Обозначим
через Ht (/ = 0, 1) .гипотезу о том, что вероятность события
х = 1 равна Рг (/ = 0, 1)." Пусть
Ро ~ е е-2 И Pl= e g-2 *
Рассмотрим последовательный критерий для проверки Яо
относительно Нх'. Вычислив' вероятность того, что процесс
окончится принятием //р, и среднее число наблюдений в кри-
232:

терии для случая, когда истинная вероятность того, что
х=1, равна р — у.
Сначала вычислим ср (/) = ? (?*0- Так как * может
принимать только значения
А>
^~ Ро
—2
3 4
с вероятностями уи j соответственно, то получаем
Полагая е* = и и решая уравнение
получим корни ux=lt «2 = 2 и #3 =— -g-. Тогда целые
числа clt с2, ^з определятся следующим образом
сх = In В — 1, с2 = In В, с3 = In Л.
Таким образом,
1 1 I
2in в-\
(s) (-Т)
2\
)
1пЛ
1 1
1
2lnA
2\lnA
1 1
В)"
, 2 л

Тогда вероятность принятия Но равна
Среднее значение величины п равно
J
__7_ —(—\п В + I) Ьг + (\п В) Ь2+ (\п А) Ьз _
~ 5 " Д ~
_7 (-
~~ 5
П. 5. Характеристическая функция и высшие моменты
величины п
П. 6.1. Вывод приближенных формул при
пренебрежении перескоком границ накопленной суммой. Пусть Zn
будет случайной величиной, определенной следующим
образом: 2Я = In A, если Zn = zx + ... -\-zn^-\nA, и Zn = \nB,
если Zn^\nB, Обозначим разность Zn — Zn через s. Тогда е
является случайной величиной.
В этом параграфе будем пренебрегать величиной е, т. е.
будем подставлять нуль вместо е. Такая замена не приведет
к ошибке в частном случае, когда г принимает только два
, \пА \пВ
значения: d и —а, а отношения —т— и —j— являются це-
d d
лыми числами, так как при этом е точно равна 0. За
исключением этого частного случая, е никогда не будет точно
равна 0. Однако, чем меньше \E(z)\ и E(z2), тем меньше
будет ошибка, вызванная пренебрежением е. Действительно,
для произвольно малых положительных чисел St и 82
неравенство P(|s|-<Si)>-1—82 будет выполняться в том
случае, если E(z) и E(z2) являются достаточно малыми. Таким
образом, в предельном случае, когда Е (z) и Е (z2)
приближаются к нулю, случайная величина е становится константой,
равной нулю.
Как и в предыдущем параграфе, все вероятностные
утверждения и все математические ожидания будут относиться
к случаю, в котором истинным значением параметра является 6;
мы не будем специально отмечать это обстоятельство в фор-
234

мулах при помощи индекса б в символах Р и Е, Пусть ср(/)
будет производящей функцией моментов 2, т. е.
Для вывода приближенной характеристической функции
величины п рассмотрим уравнение
— 1пср = т, (П. 136)
где т есть чисто мнимая величина. Предположим, что z
удовлетворяет условиям леммы П. 1. Тогда в соответствии
с леммой П. 1 уравнение —1пср(/) = О имеет точно два
действительных корня относительно t, равные t = О и t = h
(h Ф 0). Кроме того, <р'@) и ср'(^) не равны нулю.
Следовательно, если ср(/) несингулярна при ? = 0 и t = h, то
уравнение (П. 136) для достаточно малых |т[ имеет такие два
корня ^(т) и (/2)С0. чт<> l*m tl(*z) = Q и lim t2(x) = h.
х > 0 х-> 0
Тождество (П. 16) может быть записано в виде
я1 +A — 1)Е**{еЧ[9у)Гп} = 1, (П. 137)
где L означает вероятность того, что процедура испытаний
приводит к принятию Яо, Е* означает условное
математическое ожидание при условии, что процесс приводит к
принятию Но, Е** — условное математическое ожидание при
условии, что процесс приводит к отклонению Но. Пренебрегая
перескоком величины Zn границ, получаем Zn = In Я, когда
процесс приводит к принятию Яо, и Zn = \n А, когда
процесс приводит к отклонению Яо. Следовательно, (П. 137)
может быть записано в виде
АВ'?*[<р@Гя+ A — L) Л'?**[ср(/)ГЛ= 1. (П. 138)
Это тождество справедливо для всех значений tt при
которыхх) | ср (t) | ;> 1. Полагая t = tx (t) и t = t2 (x), получаем
из (П. 138)
tA){) tA)= 1 (П. 139)
n) = \. (П. 140)
*) Это следует из рассуждений в пункте П. 2.2. В нашем
случае D' является всей комплексной плоскостью.
235

Решая эти уравнения относительно E*(ezn) и Е**(е™\
получаем
А**(т) — А*>(т)
— В'*(т)
t> (t)j (n- 142>
__ L) [Bt, (x)Atu (,) _ Atx wBt> (t)j
для всех мнимых значений т.
Безусловное математическое ожидание Е(ехп), очевидно,
равно
— L)E**(e™). (П. 143)
Следовательно, характеристическая функция величины п
определяется выражением
W А** <х> 4 В** <т) — В*> (т>
^ (т)^^а (т) ^11.
для всех мнимых т.
По определению математическое ожидание Е(ехп) является
характеристической функцией величины /г, а (П. 144) дает
искомое приближение для случая, когда можно пренебречь
перескоком границ величиной Zn. Из наших выводов
получаются также приближенные формулы для Ц* (х) = Е*(ехп) и
ф**(т) = Е** (ехп). Функция ф*(т) может быть истолкована как
характеристическая функция условного распределения
величины п при условии, что процесс приводит к принятию Яо,
а функция ф**(т) — как характеристическая функция
распределения величины п в совокупности выборок, приводящих к
браковке Яо.
В качестве иллюстрации определим ф*(т), ф**(т) и ф(т)
для случая, когда z имеет нормальное распределение.
Обозначим через [а среднее значение zt г через о — стандартное
отклонение величины г. Тогда уравнение (П. 136) можно
записать в виде
— in <р@ = — ,!*—Yt2=x-
Следовательно,
tsB-,>±Y?=s* ^ (ПЛ45)
Таким образом,
'too**—?+iW-2<* (п. не)
236

(П. 147)
где знак корня jAj,2 — 2о2т определяется так, что
действительная чаеть корня ]/~\i2— 2о2т является положительной..
Подставляя величины ^(т) и /2(т) в (П. 141), (П. 142) и
(П. 144), получим ф**(т), ф*(т) и ф(т) для случая нормального
распределения величины г. В соответствии с формулой C.43),
приближенная формула для L определяется выражением
L^^Ew- (П-И8)
Для нормально распределенной величины z имеем
й=-=^. (П. 149)
Интересно рассмотреть два предельных случая: 1) В — О
и А — конечная положительная величина, 2) В— конечная
положительная величина и Л = -|-оо. Можно показать, что
Е(п) будет конечной в случае 1) только при E(z)>0. Точно
так же Е(п) будет конечной в случае 2), если ?(<г)<0.
Таким образом, в случае 1) предположим, что E(z)>0,
а в случае 2) — E(z)<CQ. Для получения характеристической
функции ф(т) величины п в случае 1) необходимо определить
предельное значение правой части (П. 144) при В->0. Для
этой цели выведем сначала предельное значение величины
JLLL = Btt{x)-'l(x) при ?-*0. Так как в случае 1) Е(z)
предполагается > 0, то величина h— lim t2(x), как пока-
т-»0
зано в пункте П. 2.1, должна быть отрицательной.
Следовательно, для малых т действительная часть ?2(т)
отрицательна. С другой стороны, действительная часть ^(т)
стремится к нулю при т->0. Таким образом, для малых т
действительная часть t2(x) — t1(x) отрицательна, и поэтому
Ш9\#и-™\ = + оо. (П. 150)
Из (П. 150) и из соотношения lim |в'а(т)| = оо следует,
что при ?->0 правая часть уравнения (П. 144) стремится к
A-tl{z). (П. 151)
Таким образом, если ?(,г)>0, то характеристическая
функция величины п в случае 1) определяется выражением
237

П . 151). Если z нормально распределено, то ^(т)
определяется (П. 146). Следовательно, для нормально
распределенной z при [а > 0 характеристическая функция от п в случае
1) определяется
и 1
(П.152)
В случае 2) мы предположили ?B)<0. Следовательно,
t2 (х) и t2 (т) — tx (т) будут иметь при малых т положительную
действительную часть. Таким образом,
lim | Ah (х) | = lim | л'3 (xWl (т) | = + оо. (П. 1*53)
Л>оо А > оо
Из (П. 153) следует, что предельное значение правой
части уравнения (П. 144) при Л->оо равно
Я"Мт). (П. 154)
Таким образом, если ?(.г)<0, то характеристическая
функция п в случае 2) определяется выражением (П. 154).
Моменты величины п можно получить
дифференцированием характеристической функции п. Для любого
положительного целого числа г начальный момент r-го порядка
величины п определяется равенством
Е(л0 = 7йгФС0. (П. 155)
Можно также получить условные моменты величины п
при условиях, что Zn^,\nB или Zn^\nA. Пусть Е*(пг)
означает условное математическое ожидание величины пг при
Zn^\nB и пусть Е**(пг) означает математическое ожидание
величины пг при Zn^\nA. Тогда получаем
где ф*(т) и ф**(х) являются условными характеристическими
функциями, определенными (П. 141) и (П. 142).
dr dr
Интересно заметить, что -гуЦ*(х), -т-гф**(т). а следова-
dr
тельно, и Е (пг) = -т^г ф(т) можно получить непосредственно
из тождества (П. 138) последовательным дифференцированием.
Действительно, (П. 138) можно записать в виде
LMp [— lncp (x)] + A — L) A(f* [— In cp (/)] == 1. (П. 156)
238

Дифференцируя (П. 156) г раз по t при /==0 и t = h,
получим систему из 2г линейных уравнений с 2г неизвестными
dxi *
т=»0
G = 1 г),
•с-0
из которой можно определить эти неизвестные. Например,
можно определить следующим обра-
г 0
зом. Дифференцируя по t (П. 156), получим
dx
[т = —1п<р@]. (П. 157)
Полагая ? = 0 и t — h, получим уравнения
' *@) dx |Хш0 '
— L)\nA — (\—L)
т»0
= 0 (П. 158)
т-0
W-0
= 0, (П. 159)
из которых можно определить
dx
т-0
П. 6.2. Вывод точной формулы для случая, когда г
может принимать только конечное число значений,
кратных некоторому постоянному числу. Воспользуемся здесь
без дополнительных объяснений обозначениями, введенными
в параграфе П. 4. Пусть фДт) обозначает характеристическую
функцию условного распределения величины п в
совокупности выборок, для которых Zn = ctdt Относительно
переменной t уравнение
y(t) = e-x (П. 160)
имеет g таких корней, что
lim^i(t)d = el (/ = 1 g). (П. 161)
239

Фундаментальное тождество (П. 16) может быть записано
в виде
g
2 bfec*td ф;- [— In ср (О] = 1. (П. 162)
Подставляя в (П. 162) /Дт) вместо t% получаем
g
2^'<(T)%.00==i (/ = i g). (п. 163)
Эти уравнения являются линейными относительно
неизвестных ^(т), .... фо-(^). Определитель этих уравнений равен
(П.164)
Очевидно, 8@) = ?^2 ... S^A. Отсюда, если ^ Ф О
(/== 1, ..., g) и А Ф 0, тогда и §@)=?0, следовательно,
и S (т) =? О для любого т с достаточно малым абсолютным
значением. Таким образом, фх(т), ..., ф^(т) могут быть
получены решением линейных уравнений (П. 165I).
Характеристическая функция ф(х) безусловного распределения величины п
определяется равенством
g
Ф СО = 2 ^^ (х)- (п • 165)
Для любого положительного целого числа г точное
значение момента r-го порядка случайной величины /г, т. е.
Е(пг), равно r-й производной ф(о) по т при т = 0.
П. 6. Приближенное распределение величины п для случая,
когда z распределена по нормальному закону
П. 6.1. Случай, когда В = 0 и Л конечно. В этом
случае мы предполагали, что ?B) = jjl>0. Тогда приближенная
характеристическая функция величины п при пренебрежении
перескоком Zn границ определяется выражением (П. 152).
1) При этом методе определения ^1 (т)» •••» Ф^(х) необходимо
производить вычисления всех корней уравнения (П. 160). Как
показал Гиршик в статье, упоминавшейся в параграфе П. 4, этого можно
избежать, если применить здесь методику, подобную той, которая
использовалась для определения ?lf .,., ig (см. параграф П.4).
240

Пусть
т^^п. (П. 166)
Тогда характеристическая функция величины т
определяется формулой
q(t) = ес I1- КГГ71. (П. 167)
где
с = ^>0 (П. 168)
и
а = 1пЛ. (П. 169)
Знак квадратного корня (П. 167) определяется таким обра-
зом, что действительная часть корня |^1—t является
положительной. Распределение величины т дается выражением
_!__ j ec(i-Vi-t)-mtdL (П. 170)
-/оо
/оо
G(c,/70 = -^- f e'cVI=}'m/dt (П. 171)
-/оо
/оо
W (C> W) = ~Ь I YT=T е-сУГ*-Ш<**- (П. 172)
— /со
Так как
/ dt 2пГ плГл 1 ' ' '
-/оо
Пусть
/оо
то имеем
Из (П. 171) и (П. 172) получаем
Из (П. 174) и (П. 175) вытекает
16 Зак. 1119. А. Вальд
= 0. (П.
(П.
(П.
174)
175)
176)
241

Следовательно,
\пН(с, т) = — -^ + 1пХ(/и), (П. 177)
где \{т) является некоторой функцией только от т. Таким
образом,
Н(с, т) = Цт)е ш* (П. 178)
Теперь определим Х(яг). Имеем
too
X(n0 = //@fm) = JL f-fJ=e-mtdt. (П. 179)
-Zoo
Так как A—f) a является характеристической
функцией -о-Х2» где X2 имеет распределение ^2 с одной степенью
свободы, то правая часть (П. 179) равна
1
Следовательно,
(П. 180)
Из (П. 178) и (П. 179) получаем
Щс, т)= \ _e~im m. (П. 181)
Из (П. 174) и (П. 181) следует
с»
G(c, т) = —ге im . (П.182)
Отсюда распределение т определяется формулой
F(m)dm = —?е ш m+Cdm @<w<oo). (П. 183)
242

Пусть т = -j m*. Тогда распределение величины т*
определяется формулой
Функция —;--|-/га* — 2 неотрицательна и равна нулю
только при т*=1. Если с достаточно велико, то D(m)
для значений т% не близких к единице, чрезвычайно мало.
Разлагая —Т -\-т* — 2 в ряд Тейлора в окрестности т*=1,
получим
—эг-f- m*—2 = (m*-- 1J + члены высших порядков. (П. 185)
Отсюда для больших с
^L" ^{т*~1Гdm\ (П. 186)
т. е. если с велико, то т* имеет приближенно нормальное
распределение со средним значением, равным единице, и
стандартным отклонением -=.
ус
П. 6.2. Случай, когда 5>0 и Д«оо. В этом случае
мы предполагали, что Е (г) = |х < 0. Легко показать, что
распределение т = -^ л определяется здесь выражением,
которое получается из (П. 183) подстановкой -^1пБ вместо с.
П. 6.3. Случай, когда В>0 иЛ конечно. В этом случае
приближенная характеристическая функция величины п при
пренебрежении перескоком Zn границ определяется
формулой (П. 144), где /j(t) и t2(x) равны правым частям
выражений (П. 146) и (П. 147) соответственно. Пусть
m = 1-in и <* = — ¦?.
16* 243

Тогда характеристическая функция величины т
определяется формулой
где
h1 = d(\—VT^t)t /*2==d(l4-l/HT=l), (П. 188)
a t является мнимым аргументом. Полагая Ad = A, Bd = B,
da —а и йЬ = Ъ, перепишем характеристическую функцию
величины т в виде
Me" VT=1
(П. 189)
Достаточно рассмотреть только случай [* > 0, так как
случай [«. < 0 может быть рассмотрен подобным же образом.
Тогда а < 0 и * > 0. Так как действительная часть
-j-]/l—t больше или равна 1, то имеем
\e^-b)VTrt\<x (П. 190)
для любого мнимого значения t. Пусть
T = es(i-l)vrrt, (П. 191)
Тогда
7- (ПЛ92)
/-о
Из (П. 189) и (П. 192) следует, что ф(х) можно записать
в виде бесконечного ряда
оо
Ф@=2^"Х/ . (П. 193)
1=1
где Х/ и rt являются постоянными и Х/ > 0. Каждый член
ряда является характеристической функцией вида (П. 167)
с точностью до постоянного множителя. Пусть F^m) будет
распределением величины т% соответствующим
характеристической функции eKi"l^Vl~x. Тогда Ft(m) можно получить
из (П. 183) подстановкой Xz вместо с. Так как правую
244

часть (П. 193) можно почленно интегрировать, то
распределение величины т определяется выражением
= У -^f Ft(m)
F(m) dm = У -^f Ft(m) dm. (П. 194)
П. 6.4. Некоторые замечания. Так как т является
дискретной величиной, то может показаться парадоксальным,
что для т получили функцию плотности вероятностей. Однако
это объясняется тем фактом, что мы пренебрегли е = Zn — Zn,
а эта величина равна нулю только в предельном случае,
когда (а и о приближаются к 0.
Если | [х | и о достаточно малы по сравнению с In Л и In Б»
то распределение тх определенное выражением (П. 194), будет
хорошим приближением для точного распределения
величины т, даже если z распределена не по нормальному закону.
Причину этого можно объяснить следующим образом. Пусть
1г
2 , (t=l. 2. ...). (П. 195)
где г является заданным положительным целым числом. Так
как Zj являются независимыми случайными величинами,
распределенными по одному и тому же закону, то при
некоторых достаточно слабых ограничениях и больших значениях г
величины z* (/=1, 2, ...) будут иметь распределение,
близкое к нормальному. Следовательно, если представить
накопленные суммы в виде Z* = z[ + ... -\-z* (i=l, 2, ...),
то распределение (П. 194) является достаточно хорошим
приближением, если только г||х| и УТа малы по сравнению
с In Л и In В, так что разностью a =Z*n — Zn можно
пренебречь.
Желательно было бы вывести границы для ошибки в
функции распределения величины т, обусловленной
пренебрежением Zn — Zn. Но такие границы еще не получены.
П. 7. Эффективность последовательного критерия
отношений вероятностей
Пусть 5 является любым последовательным критерием
для проверки Но против Нг, у которого вероятность ошибки
первого рода равна а, вероятность ошибки второго рода
равна р и вероятность окончания процесса равна 1. Пусть S'
245

является последовательным критерием отношений
вероятностей, сила которого равна силе критерия S. Докажем, что
последовательный критерий отношений вероятностей является
оптимальным, т. е. что Et (n \ S) > Et (n \ S') (/ = 0, 1), если
в критерии S' можно пренебречь перескоком границ In Л и
In В величиной Zrt1). Этот перескок точно равен 0, если z
принимает только значения d и —d и если In Л и In В
являются целыми значениями, кратными d. В любом другом
случае перескок будет отличен от 0. Однако, если |?B)| и
стандартное отклонение az величины z достаточно малы, то
перескоком Zn границ In Л и \пВ можно пренебречь.
Для любой случайной величины и обозначим через Е*(и \S)
условное математическое ожидание и при условии, что
принимается гипотеза Яо, когда справедлива гипотеза Н1 (/ = 0, 1).
Аналогично, пусть Ei (u\S) будет условным
математическим ожиданием величины и, когда справедлива гипотеза
Ht (/ = 0, 1), а принимается Нх. В обозначениях этих
математических ожиданий символ S указывает на применяемый
последовательный критерий. Пусть Qt(S) означает
совокупность всех выборок, для которых критерий 5 приводит к
принятию Нь. Тогда имеем:
/П 1QO4
(ПЛ98)
Для доказательства оптимальности последовательного
критерия отношений вероятностей выведем сначала две
леммы.
Лемма П. 2. Для любой случайной величины и
справедливо неравенство
). (П. 200)
х) Et (n | S) означает математическое ожидание величины л,
когда справедлива Нг (б = 0^) и используется последовательный
критерий S.
246

Доказательство. Неравенство (П. 200) можно
записать в виде
1 <?(*«'), (П. 201)
где и' = и— Е(и). Лемма П. 2 будет доказана, если
показать, что (П. 201) выполняется для любой случайной
величины и* с нулевым средним значением. Разлагая еи' в ряд
Тейлора в окрестности я' = 0, получим
*"f = l+tf4-ltf'V(ef>f (П. 202)
где ?(#') лежит между 0 и #'. Следовательно,
?(*«')= 1+Y Е[и'2е* <«')]> 1, (П. 203)
и лемма П. 2 доказана.
Лемма П.З. Пусть S будет последовательным
критерием, для которого существует конечное целое число N,
обладающее тем свойством, что число п наблюдений
в критерии ^ N. Тогда1)
(<=о, 1). (П.204)
Доказательство мы опускаем, так как оно по существу
такое же, как и доказательство уравнения (П. 69) для
последовательного критерия отношений вероятностей.
На основании лемм П. 2 и П.З можно вывести
следующую теорему.
Теорема. Пусть S будет любым последовательным
критерием, для которого вероятность ошибки первого
рода равна а, вероятность ошибки второго рода равна C
и вероятность того, что процесс рано или поздно окон-
чится, равна 1. Тогда
^1^] (П. 205)
. (П.206)
*) Справедливость (П.204) можно установить и при более
общих условиях даже в тех случаях, когда вероятность того, что
п> N положительна для любого N. См. статью автора «Some
generalisations of the theory of cumulative sums», Ann. of Math.
Stat., 16 A945) и статью D. В lack we 11 «On an equation
of Walcb, Ann. of Math. Stat,, 17 A946).
247

Доказательство. Докажем сначала теорему для
случая, когда существует конечное число N, при котором п
не превосходит N. В соответствии с леммой П. 3 имеем
Из уравнений (П. 196) при помощи (П. 199) и леммы П. 2
получаем неравенства:
\ РОп
(П.209)
(П. 210)
(П.211)
=-?Г(|"^-|5)<|"-г^- <п-212>
Так как Е0(г)<0, то (П.205) следует из (П.207),
(П. 209) и (П. 210). Аналогично, так как Ег(г) > 0, то (П. 206)
следует из (П. 208), (П. 211) и (П. 212). Это доказывает
теорему для случая, когда существует такое конечное целое
число N, что n-^N.
Чтобы доказать теорему для любого последовательного
критерия S силы (а, C), обозначим через S^
последовательный критерий, который получается усечением 5 на N-m
наблюдении, если решение не достигнуто ранее Af-ro
наблюдения. Пусть (а^, C^) есть сила критерия 5^. Тогда имеем
(П.213)
1 (rL214)
248

Так как lim a =a и lim {}=(}, то из неравенств
ЛГ->оо N ->оо
(П. 213) и (П. 214) следуют неравенства (П. 205) и (П. 206).
Теорема полностью доказана.
Если в последовательном критерии отношений
вероятностей S' перескок накопленный суммой Zn границ In А и In В
равен нулю, то E0(n\S') точно равно правой части (П. 205),
a E1(n\S/) точно равно правой части (П. 206). Следовательно,
в этом случае S' является оптимальным критерием.
Если |?B)| и oz малы, то среднее значение перескока
через границы также мало, поэтому EQ(n\S') и E1(n\S/)
будут лишь слегка превышать выражения, стоящие в правых
частях неравенств (П. 205) и (П. 206) соответственно.
Следовательно, в таких случаях последовательный критерий
отношений вероятностей, не будучи оптимальным, очень
близок к оптимальному критерию*).
Если 6Х приближается к 0О, то отношение верхних границ
EQ(n\S') и El(n\S/)i как это следует из (П. 77) и (П. 78),
к правым частям (П. 205) и (П. 206) соответственно
стремится к 1. Таким образом, эффективность последовательного
критерия отношений вероятностей, если и не равна точно 1,
то стремится к 1 при вх -^ 6О2). Верхние границы выражений
?0(/i|S') и Ег(п\8')9 данные формулами (П. 77) и (П.78),
определяют нижние границы эффективности
последовательного критерия отношения вероятностей S'.
П. 8. Определение оптимальной весовой функции о>F)
в некоторых специальных случаях проверки
простых гипотез без ограничения
возможных конкурирующих значений параметров
П. 8.1. Класс случаев, когда оптимальная весовая
функция (о F) может быть определена простой
процедурой. Пусть (9lt ..., ел) = (е? 6*) будет простой
гипотезой Яо, подлежащей проверке. Обозначим
распределение х через f(xt 6lf ..., Bk). Предположим, что границей
!)и Автор предполагает, что последовательный критерий
отношений вероятностей являет.ся точно оптимальным критерием, даже
если перескок величиной Zn границ не равен 0. Однако доказать
это ему не удалось. (Впоследствии автору в совместной с Дж. Воль-
фовицом статье удалось это доказать. Перевод этой статьи помещен
в дополнениях к настоящей книге. Прим. ред.)
2) Определение эффективности последовательного критерия
см. в пункте 2.4.1.
249

отклонения является поверхность
в пространстве параметров. Обозначим ее через Sr. Положим
далее, что можно найти такую неотрицательную функцию ^@)
параметра 0, что поверхностный интеграл1)
fv(d)dS=\ (П. 215)
и последовательный критерий отношений вероятностей
Р\п_
(П. 216)
удовлетворяют следующим двум условиям (при любых
значениях А и В).
Г. Вероятность CF) совершить ошибку второго рода
(принять Яо, когда верно 6) является постоянной по всей
поверхности Sr.
2°. Для любой точки б области а>г значение {3@) не
превосходит постоянного значения C@) на поверхности Sr.
Покажем теперь, что v@) можно рассматривать как
оптимальную функцию в смысле, определенном в пункте 4.1.3,
и критерий отношений вероятностей, основанный на
отношении (П. 216), обеспечивает решение нашей задачи.
Фактически весовую функцию z/@) по поверхности Sr можно
рассматривать как предел весовой функции о>@), которая
принимает значение 0 для любого 0 из области а>г, расстояние
от которого до границы превосходит некоторое
положительное А, стремящееся в пределе к нулю. Как следует
из условий 1) и 2), для весовой функции г;@) максимум р@)
в а)г равен среднему взвешенному от C@), т. е. равен
Г C @) v @) dS. Рассмотрим теперь любую другую весовую
sr
функцию (о*@); обозначим вероятность ошибки 2-го рода
через C* @), если вместо v @) используется со* @). В пункте 4.1.3
было показано, что с достаточно хорошим приближением
для практических целей выполняется соотношение
^-. (П.217)
!) dS означает бесконечно малый элемент поверхности.
250

Следовательно, в области (оА максимум ft* F) ^ л ' а •
Тогда оптимальность весовой функции г/(9) вытекает из того,
что максимум v@) равен [S~b '
В некоторых важных статистических задачах легко можно
найти такую весовую функцию г>@), для которой
выполняются условия 1) и 2). Покажем, например, что такая
весовая функция v @) легко может быть найдена для случая
проверки средних значений нормально распределенных
случайных величин с известной дисперсией. После того как
весовая функция v(B) найдена, для практических целей можно
Y о о
положить А = и В = 1 __ ¦ , где а является
требуемой величиной вероятности ошибки первого рода и (J —
требуемой верхней границей для C@).
Хотя до сих пор мы предполагали, что X является
единственной случайной величиной, все результаты остаются,
очевидно, справедливыми и тогда, когда X является
случайным вектором, т. е. представляет собой совокупность из
/?(/?> 1) случайных величин Хх> .. ., Хр. Единственное
изменение в формулах заключается в том, что а-е наблюдение хл
должно быть заменено совокупностью (хы, ..., хра) из р
величин, где хы является а-м наблюдением Xt.
П. 8.2. Приложение к проверке средних значений
независимых нормально распределенных случайных
величин с известными дисперсиями. Пусть k случайных
величин Хи ..., Xk нормально распределены и имеют одну и
ту же известную дисперсию о2. Средние значения 61% ..., Qk
считаются неизвестными. Предположим, что требуется
проверить гипотезу о том, что @lt ..., 0А) = (б?, ..., 6^).
Допустим, что зона предпочтения браковки гипотезы задается
неравенством
где 8 является заданной положительной величиной. Тогда
границей Sr области о), является сфера с центром 6° =
= (б? б?) и радиусом 8а. Пусть v @) постоянна на Sr
и равна обратной величине площади Sr Покажем, что для
этой весовой функции выполняются условия 1) и 2)
предыдущего пункта. Для этой цели докажем сначала, что
отношение (П. 216) является монотонно возрастающей функцией
251

от (*i — 6j)a -f- ... + (xk — 6^)a. гДе xi является средним
арифметическим наблюдений Xt. Действительно, в нашем,
случае отношение (П. 216) сводится к
k п
= « > в ' dS, (П. 218)
J
sr
где с равно обратному значению площади поверхности
сферы Sr Пусть величина гх означает
и пусть р@) (О^р^тс) означает угол между векторами
(^_е?, ..., хк — в°к) и (e± — е? еЛ-е2). тогда
(П.218) можно записать в виде
fenr*Uos[*{B)]dS. (П. 219)
Вследствие симметричности сферы значение (П.219) не
изменится, если подставить f(^) вместо р@), где ^@)
(O^f '^^) означает угол между вектором б — 0° и
произвольно выбранным фиксированным вектором а. Отсюда
следует, что значение (П. 219) .зависит только от гх.
. . Теперь покажем, что (П.219) является строго
возрастающей функцией от гл. Для этой цели необходимо показать,
что
I(rx)= J^8coslr(8Irf5 (П. 220)
является строго возрастающей функцией от гх. Имеем
*-= f nb cos [T (б)] ^««ЧтЛ] dSt (П- 221)

Обозначим через s'r подобласть 5Г, в которой 0 << т @) ^
^2", а через 5J — подобласть, в которой к-< f (8) 4^ гс.
Вследствие симметричности сферы
J nb cos [7 (8)] епг*ь cos [T FI rf5 =
= fnb cos [it - T (9)] enr*x ces [*^(e)l dS =
= — J kS cos [T F)] е~пг*ьcos Il( m dS. (П. 222)
sr
Следовательно,
= »8 f cos [T F)] («
(П.223)
Правая часть (П. 223) является положительной. Таким
образом, доказано, что выражение (П. 210) или (П. 218)
является строго возрастающей функцией от гх.
Покажем теперь, что Р(8) постоянна на любой сфере
Sr(d) с центром 6° и радиусом d и что при возрастании d
она монотонно убывает. Пусть ylt .,., yk будет таким
ортогональным линейным преобразованием Хх— б?, ..., хъ— Ь\%
при котором ?Cv1) = Vr(e1 — 6?)a+ .„ +(вЛ_вХ)" и
^ 0 (/ = 2, ...,^). Так как j/?+ ... +j4 =
(a:i — б?J+ ... -+-(xk — 8^J, то видим, что
последовательность величин (П. 219), полученная для
последовательности целых чисел п= 1, 2, ..., имеет совместное
распределение, которое зависит только от У (б!— 6?)a-f-.. .+(^л—^J.
Поэтому C(8) является постоянной для любой сферы Sr(d).
Так как (П. 219) является строго монотонной функцией от гх%
то можно показать, что Р(б) является монотонно
убывающей функцией при возрастании d. Следовательно, условия
1) и 2) предыдущего пункта выполняются и можно
проверить гипотезу 8 = 6° при помощи последовательного
критерия отношений вероятностей, основанного на отношении
(П. 218).
253

Если k = 1, т. е. если мы проверяем среднее значение
единственной случайной величины X, то сферой S, является
нульмерная сфера, состоящая из двух точек б1 = оа и 82 =— 8а
и (П. 216) превращается в отношение р1п к рОп, которые
определяются формулами D.8) и D.9) пункта 4.1.4.
П.9. Определение оптимальных весовых
функций waF) и (дг(Ь) в некоторых
специальных случаях проверки сложных гипотез
П. 9.1. Класс случаев, для которых можно простым
способом определить оптимальные весовые функции <*>аF)
и wrF). Пусть f(x, 8lt ..., 0k) означает распределение х,
зависящее от k неизвестных параметров в1$ ..., 6k.
Предположим, что необходимо проверить сложную гипотезу Яш
о том, что параметрическая точка б лежит в подмножестве со
пространства параметров. Пусть сод означает зону предпочтения
принятия и шг — зону предпочтения браковки. Допустим, что
границей (ог является поверхность 5,.. Предположим, что
можно найти такие две весовые функции va(Q) и vr(B)9 что
s,
и что последовательный критерий отношений вероятностей,
основанный на отношении
?ul = j: til
РОП
J ^
удовлетворяет следующим условиям (для любых значений Л
и В): 1) а (8) постоянна в а>а, 2) {3(8) постоянна по Srt
3) для любой точки 8 внутри о)г значение C(8) не
превосходит постоянного значения CF) на Sr.
Покажем теперь, что va(ft) и г>г(8) можно рассматривать
как оптимальные весовые функции в смысле, определенном
в пункте 4.2.2. Пусть %(8) и а)г(8) будут любыми другими
весовыми функциями и а* (8) и р*(8) будут вероятностями
254

ошибок первого и второго рода в случае, когда
используются &аФ) и юДб). Как было показано ранее, равенства
1=^. (П. 225)
дают достаточно хорошее приближение; поэтому с тем же
приближением в юа максимум а* @)^> л_р и в со,
максимум р*@)^>—х^гтр"' ^о если используются ^а(9) и vr(b),
то из условий 1), 2) и 3) следует, что (с хорошим
приближением) максимум а@) в а> равен ."" Q и максимум 6@)
в о)г равен —\zz~b^' Следовательно, эти весовые функции
оптимальны в смысле, определенном в пункте 4.2.2.
В некоторых частных, но важных статистических задачах
легко могут быть найдены весовые функции va{b) и vr(b),
удовлетворяющие условиям 1), 2) и 3). В следующем пункте
увидим, что такие весовые функции легко могут быть
построены для случая проверки среднего значения нормального
распределения с неизвестной дисперсией. Как и ранее, мы можем
1 — 3 г* 3
положить для практических целей л = и В — ^_ ,
где а является требуемой верхней границей сс(О) в сод,
а р — требуемой верхней границей [3@) в ыг.
П. 9.2. Применение к проверке среднего значения
нормального распределения с неизвестной дисперсией
(последовательный /-критерий). Пусть X будет нормально
распределенной случайной величиной с неизвестным средним
значением 0 и неизвестной дисперсией а2. Предположим, что
мы хотим проверить гипотезу 0 = 0о. Кроме того, допустим,
что со определяется совокупностью всех точек @, о), для
Л Л
которых > 8, в то время как ыа состоит из всех
точек @О, а). Тогда граница Sr области сог состоит из всех
точек @, а), для которых ~~ ° =3, т. е. она содержит
точки @, а), для которых или 0 = 0о + 5о или 0 = 0О — &<з.
256

Для любого положительного значения с определим
весовые функции v^io) и vrc(a) следующим образом: г^(о) = у,
если 0 ^ о ^ с, и равна 0 для всех других значений а;
весовая функция vrc(o) равна -н-» если 0<Са<^ и б = 60±8at
и равна 0 в противном случае. Пусть
(п.226)
Тогда
с
__ ^" АА \xr%-b<ty -2^" ^J Г/"8
__0
POn
(П.228)
Рассмотрим предельный случай, когда с -> оо. Тогда
Роп
!
(П.229)
Последовательный критерий отношений вероятностей,
основанный на отношении (П. 229), будет давать решение
нашей задачи, если покажем, что он обладает следующими
256

тремя свойствами: 1) а(9, а) является постоянной в а> ,
2) р@, о) является функцией только от
монотонно бывает при возрастании
3)
Чтобы доказать эти три свойства, положим
2(
Так как совместное распределение последовательности
выражений
соответствующих последовательным
значениям я, зависит только от
то первые два
свойства будут доказаны, если мы покажем, что отношение
(П.229) является однозначной функцией от —~—- .Сначала
покажем, что числитель отношения (П.229) является однородной
функцией степени —(я — 1) от (aTj— 0о, х2 — 0О, ..., хп — 60).
Действительно, вводя преобразование a = 'ktt получаем
/°°i
^
.JL V (jrre0-
2
J.
Это доказывает, что числитель (П. 229) является
однородной функцией от хг — 0О, ..., хп — б0 степени — (я—1).
Точно так же можно показать, что знаменатель (П. 229)
является тоже однородной функцией степени —(я—1).
Таким образом, отношение (П. 229) является однородной
функцией нулевой степени относительно переменных хх—-60, ...
.... *п — К
17 Закг 1119, А. Вальд
257

Можно проверить, что (П. 229) является функцией только
двух выражений: 2 ^xi — ^оJ и 2 (xi — ^о)» т- е*
А/г
Роп
I. 230)
Пусть v = | К 2 {xt — б0J1. Так как (П. 230) является
однородной функцией нулевой степени относительно х1—0о, ...
..., хп — б0, то ее значение не изменится при подстановке
— вместо ха—б0. Следовательно,
Так как
(П.231)
то
Так как
а
Рйп
является однозначной функцией
то мы доказали, что -^- является однозначной функцией от
|__ Роп
Y — fi
—g-^- . Следовательно, свойства 1) и 2) доказаны.
Для доказательства свойства 3) последовательного
критерия отношений вероятностей, основанного на отношении
(П. 229), достаточно показать, что (П. 229) является строго
возрастающей функцией от
х-%
V
. Так как
л: —0О
является
то остается
построго возрастающей функцией от у °),
казать, что (П.229) является строго возрастающей функцией
——ч . Последнее утверждение будет доказано, если
258

покажем, что (П. 229) возрастает при увеличении \х — 0О[
и фиксированном v. При фиксированном значении v
знаменатель отношения (П, 229) постоянен. Таким образом,
надо показать, что числитель (П. 229) возрастает при
увеличении (а: — бо| и фиксированном v. А это следует из
того, что
является строго возрастающей функцией от | х — 801

ДОПОЛНЕНИЯ
АСИМПТОТИЧЕСКИЕ МИНИМАКСНЫЕ РЕШЕНИЯ ЗАДАЧ
ПОСЛЕДОВАТЕЛЬНЫХ ТОЧЕЧНЫХ ОЦЕНОК 1)
А. Валъд
1. Введение. Точные минимаксные решения задач
последовательных точечных оценок в общем виде получить
чрезвычайно трудно. Насколько известно автору, такие решения
получены лишь в двух частных случаях: 1) в задаче оценки
среднего значения нормального распределения с известной
дисперсией2) и 2) в задаче оценки среднего значения
прямоугольного распределения с известной шириной3). Решение
в первом случае совпадает с классическим
непоследовательным решением, во втором же случае оно является по существу
последовательным.
В этой заметке мы получим асимптотические минимаксные
решения для общего класса задач точечной оценки.
Рассматриваемая здесь задача точечной оценки может быть
сформулирована следующим образом. Пусть {Xt} (/=1,2, . ,.)есть
последовательность независимых и одинаково распределенных
случайных величин. Пусть F(u, 6) есть одинаковая для всех
них функция распределения, содержащая неизвестный пара-
*) Перевод статьи A. Wald, Asymptotic minimax solutions of
sequential point estimation problem, Proc. of the Second Berkeley
Symp. Math. Stat. and Prob. Univ. California Press A951), 1—11. (Прим.
ред.).
3) J. W о 1 f о w i t z, Minimax estimates of the mean of a normal
distribution with known variance, Ann. of Math. Stat. 21 A950), 218—230.
3) A. Wald, Statistical decision function, J. Wiley and Sons, N.Y.
1950.
260

метр 6, т. е. Вер [X < и) = F(u, б). Будем считать," что
F(ut б) имеет плотность распределения f(ut б). Процедура
последовательной точечной оценки Т определяется при
помощи двух последовательностей функций [<р(х1 хт)}
и {t(xx хт)} (/я=1,2, ...)» где <?(Х1, .... хп)
принимает лишь значения 1 или 0. Процедура оценки производится
следующим образом. Пусть хг есть наблюденное значение
величины xt. Продолжаем наблюдения все время, пока
y(xv ..., л:т)=0. Сразу же, как только будет cp(*i» •••» хт)—1*
прекращаем эксперимент и оцениваем неизвестный параметр
величиной t(xlt ..., хт). Будем считать, что цена
эксперимента пропорциональна числу наблюдений. Пусть с означает
цену единичного наблюдения и пусть потери, возникшие
в результате оценки действительной величины параметра б
величиной t, равны (t — бJ.
Пусть vF, T) означает среднее число наблюдений, когда
б есть действительное значение параметра и принята
оценочная процедура 7\ Далее, пусть р(б, Т) обозначает среднее
значение величины (б — tJt если б есть истинное значение
параметра и принята процедура Г. Это среднее значение дается
формулой
р(б, Т) =
m-l Rm
...f{xm.B)dxx...dxM9 A.1)
где Rm — область пространства всех выборочных точек
(xlt .,Mxffl), для которых срД^! ^ = 0, когда /<w,
и 9m(xv • • •» xm)= 1- Если б — истинное значение параметра,
принята процедура Т и цена единичного наблюдения равна с,
то риск равен
г (б, 7\ с) = р(О. 7*) + cvF, T). A.2)
Оценочная процедура То называется минимаксным реше*
нием при заданной величине с% если
sup г (б, Го, c)<sup г F, Г, с) для всех Т. A.3)
Символ sup обозначает верхнюю грань относительно б.
в
18 Зак. 1119. А. Вальд 261

Для каждого положительного с через Т® обозначим неко*
торую оценочную процедуру. Будем говорить, что Т°с есть
асимптотическое минимаксное решение, если
sup г (8, Го, с)
1{™с infsuprF, 7\ с) =1' A<4)
Символ inf обозначает нижнюю грань относительно Т.
т
Очевидно, если Т°с есть асимптотическое минимаксное
решение, то практически Т% может рассматриваться как
минимаксное решение, когда С очень мало.
Для любого условия Н символ Вер{#|0} будет
обозначать вероятность, что Н выполнено, если истинное значение
параметра равно 6. Точно так же для любой случайной
величины у символ Е(у\®) будет обозначать среднее значение
величины у, когда 6 есть истинное значение параметра. Пусть
A.5,
do = infdF). A.6)
е
Основной результат этой статьи заключается в том, что
при определенных условиях оценочные процедуры Т°с и Тхс
являются асимптотическими минимаксными решениями, где
7? и Т\ определяются следующим образом.
Оценочное правило Т°с. Возьмем Nc наблюдений
и оценим 0 при помощи оценки максимального
правдоподобия 0^ на основе первых Nc наблюдений, где Nc есть
наименьшее целое число <^- ./-—г- •
У caQ
Оценочное правило Т\. Остановим эксперимент
после я-го наблюдения, где п есть наименьшее целое число,
для которого
1_
nd(dn)
и оценим 0 при помоши 6Я. Здесь 0Л обозначает оценку
максимального правдоподобия параметра 0, полученную на
основе первых п наблюдений.
262

Хотя Тс и Tl оба являются асимптотическими
минимаксными решениями, Т\ для малых с представляется более
предпочтительным, так как
г F, Tl с)
lim — ?—-<1 A.8)
для всех б, для которых
как это будет показано позже.
2. Предположения регулярности. В дальнейшем для
любой случайной величины у символ а2 (у | 6) будет обозначать
дисперсию у, когда 0 является истинным значением параметра.
Символ п будет использован для обозначения числа
наблюдений, требуемых в оценочной процедуре, т. е. п является
наименьшим целым числом, для которого <?n(xlt ..., хп) = 1.
Вольфовиц1) показал, что при некоторых слабых условиях
регулярности для любой оценочной процедуры Т имеет место
неравенство
Гц [ db(b,TI2
L ? - BЛ)
где
b(9tT) = E[t(xl9 .... хп) — 6|0].
Так как мы должны будем использовать приведенное выше
неравенство, то постулируем следующее:
Предположение 2.1. Выполняются условия регу^
лярности, постулируемые Вольфовицем, при которых
справедливо B. 1).
В добавление к этому предположению сделаем следующие
предположения.
Предположение 2.2. Область изменения б является
открытым (конечным или бесконечным) интервалом на
действительной оси.
Предположение 2.3. d(b) есть непрерывная
функция б, причем существует значение б0, для которого
d (б0) = d0 = min d (б).
i) J. Wolfowitz, The efficiency of sequential estimates and
Wald's equation for sequential processes, Ann. of Math. Stat. 18 A947),
215-230.
18* 263

Предположение 2.4. Для любого положительного
целого N и для любого О полагаем Zyy (б) = У Л/" F^ — 0).
Имеет место соотношение
, * «1
lira Bep{ZAr(e)/d(e)<X|e}=-7^r / е 2 du
—оо
равномерно по \ и 0.
Предположение 2.5. E\z$ (б)|б] есть
ограниченная функция б и N для некоторого положительного 8.
Хорошо известно, что предположение 2.4 имеет место при
более общих условиях1). Изложенные выше предположения
можно, без сомнения, ослабить, но ради простоты автор не
пытался этого здесь делать.
3. Доказательство того, что Т°с является
асимптотическим минимаксным решением. Из A.2) и B.1) следует,
что
r{ [ дЬ(Ъ,Т)Ъ
г (в. г, <о>^(в, т)+[ ,(ог)*6(8) +*<е'7> (зл>
Беря минимум относительно v, получим из C.1)
2 Ус
db_
*-. C-2)
Рассмотрим фиксированный конечный замкнутый
интервал /оси б. Пусть /(У)есть длина /. Если -зд--< — е @<е)
для всех б из /, тогда
sup г F, Т, c)>suppF, r»sup?2@, Г)> ?^(/) . C.3)
8^/ 8^/ 8^/ *
Если -5й" > —б для некоторых б из интервала /, то из C.2)
следует, что
sup/-F, Т, C)>;^1?Z1>. C.4)
eg/
*) См., например, A W а 1 d, Tests of statistical hypotheses
concerning several parameters when the number of observations is large.
Trans. Amer. Math. Soc. 54 A943), 426—482.
264

Пусть
Очевидно,
= 6
4 l/~max d (в) * ^ ;
Так как правая часть C.6) больше правой части C.4),
то из C.3) и C.4) следует, что
!Щ&Л. C.7)
? 1/ max
Пусть 2 обозначает все пространство значений параметра.
Из C.7) тогда следует, что
sup/-F, 7\ c)>sup^jiZl^cI. C.8)
Пусть б0 будет значением 6, для которого dF0) =
= min d (9) = d0. Существование такой величины
постулируется предположением 2.3. Пусть /0 будет замкнутым
отрезком длины /0 и со средней точкой 60. Тогда из C.8) получим
sup г (9, Т. с)>2У1У-*<ЬЛ. C.9>
Так как по предположению 2.3 функция d(Q) является
непрерывной функцией 0, то существует такое 8 — обозначим
его 8/0 (зависящее от /0), что
C.10)
C.11)
о
Затем из C.9) получаем
2^}l^C)K C.12).

Так как правая часть C.12) не зависит от 7\ получаем
^. C.13)
Для фиксированного /0 имеем
lims(/0, c) = 0. C.14)
о
Следовательно, из C,13) вытекает
> infsupr(8, 7\ с)> 1. C.15)
2у с тв
Так как 8/о может быть выбран произвольно малым, если
достаточно малым выбрать /0, и так как 80 > 0, то имеем
inf sup г (О, Г, с)
lim inf-^—j^= > 1, (ЗЛ6)
Теперь покажем, что
supr(e, 7» с)
lim— =1. C.17)
Очевидно, что для оценочной процедуры Тс,
определенной в пункте U имеем
в, 7*. с) = NCE [{bN- бJ1 6] + cNl C.18)
Пусть {bN} (УУ=1, 2, ,..) есть любая
последовательность значений параметра. Из предположения 2.4 следует,
что распределение Zm (®n) Yd (Pn) пРи Af -> oo сходится
к нормальному распределению с нулевым средним значением
и единичной дисперсией! Следовательно, из теоремы Хелли-
Брэя х) и предположения 2.5 вытекает
lim E[z%(bN)\0N]d(GN)==l. C.19)
Отсюда следует, что
lim ЛУ: F^-6)* = ^ C.20)
!) )D. W i d 4 е г, The Laplace transform, Princeton University
Press, Princeton, 1946.
266-

равномерно по б. Следовательно, из C.18) получаем
lim Л^. 7* C) = 7
равномерно по б, т. е.
lim N, sup r (б, 7* c)==sup^+^ = |.. C.22)
с->0
Так как N =-т=г9 то C.17) сразу получается из C.22).
У ccIq
Из C.16) и C.17) вытекает
inf sup r (О, 7, с)
lim -1-1 г= = 1. C.23)
21/4-
Равенства C.17) и C.23) показывают, что Т® есть
асимптотическое минимаксное решение.
4. Предельное распределение оценки максимального
правдоподобия, когда число наблюдений определено
последовательным правилом. Чтобы изучить функцию риска,
связанную с оценочной процедурой TlCt необходимо получить
предельное распределение У~п (Ьп — б), когда п определено
последовательным правилом. Для любого положительного
числа с пусть {90(^1» •••» xm)} (w=li 2, ...) есть
последовательность функций, которые могут принимать только
значения 0 и 1. Пусть пс есть наименьшее положительное
целое число, для которого
9Л*1 *т) = ° Для гп<пс
Сделаем следующие предположения.
Предположение 4.1. Существует функция М(с, б)
от с а б а положительная функция г (с) от с, такие,
что
lim N(c, 6) = 00 D.1)
с ¦> о
равномерно по б,
\\тг(с)=0 D.2)
267

lim Вер{ЛГ —
D.3)
равномерно по 6.
Предположение 4.2. Существуют производные
Э1п/(лс|6) frln/(jc, 6)
Предположение 4.3. Для некоторого
положительного 8
ограниченная функция 6.
Предположение 4.4.
имеет положительную нижнюю границу и равномерно
непрерывна по 6.
Для любого положительного р положим
D.4)
где О' принадлежит замкнутому интервалу |б — р,
Пусть далее
D.4')
когда |0 — О'|^Р-
Предположение 4.5. E[h(x, 6, р)|6] есть
ограниченная функция б для некоторого положительного р и
Jim
равномерно по 6.
Для любого 0, любого положительного целого т и для
любого положительного S пусть Qe, m, ь обозначает событие,
состоящее в том, что
для всех
D.5)
268

Предположение 4.6. Для любого положительного 8
имеем
limBep{Qe,m, в I ©> = 1 D.6)
равномерно по б *).
Докажем следующую- теорему.
Теофема 4.1. Если выполнены предположения
4.1—4.6, то
lim Btp{Vnc(bn-e)Vd(b)<l}0}=-±=- /V * da D.7)
равномерно по X и 6.
Доказательство. Разложение Тейлора
У- в 6-6
дает
я- ....... я
16)
»-4)S аа« ' D<8)
где Ьс лежит между 0я<> и 6 и
J) Это предположение устанавливает, что оценка максималь-*
ного правдоподобия сильно сходится точно к истинной
параметрической точке 6 и эта сходимость равномерна по 6. Сильная
сходимость оценки максимального правдоподобия была доказана при
очень широких предположениях (см. например, J. D о о b,
Probability and statistics, Trans. Amer. Math. Soc. 36 A934), 759—775 и
A. Wald, Note on the consistency of the maximum likelihood
estimate, Ann. of Math. Stat. 20 A94У), 595—601). Равномерность этой
Сходимости по 0 может быть также доказана при некоторых
слабых дополнительных предположениях при помощи результатов
Чжуна (К. Chung, The strong law of large numbers, Proc. of the
2-nd Berkeley Symposium on Math. Stat and Prob., University of
California Press, Berkeley, 1951, 341—352), касающихся
равномерности усиленного закона больших чисел.
269

обозначает величину производной в точке б = б*. Так как
первый член правой части D.8) равен нулю, получаем
D'9)
Следовательно,
W=l ' i/ \т /n a\ l/ ^ /д\ /л 1 Q\
Пусть {ijj} (/=1, 2, ...) есть последовательность
положительных чисел таких, что lim7]/ = 0. Из предположения
D.6) следует, что существует такая последовательность
положительных целых чисел
{*,} (/=1,2,...).
ЧТО
lim kt = oo
p{,if4i|} D.11)
равномерно по б. Для любых положительных k^>kt
положим рЛ = Ч/. гДе ' есть наибольшее положительное целое
число, для которого k ^ ftj. Очевидно, что
lim рЛ = 0 D.12)
Л > оо
И
,pJ6} = l D.13)
равномерно по б. Из D.13) и предположения 4.1 следует, что
Нт Вер {| Ч-е | < Р[ЛГ_.„]|0} = 1 D-130
равномерно по б. Символ [а] обозначает наименьшее целое
число ^а. Так как Qc лежит между бл и б, то
|6;-6|<p[^e;v]|6} = l D.14)
равномерно по 9.
27»

Пусть л* определяется следующим образом:
я* = пс, когда N — sN <; пс <; N + еЛ/,
когда
когда
D.15)
Для любой последовательности {й^ случайных величин
символ
р lim (в||в)±=Х
будет означать, что
lim Вер{|«, —Х|>р}=0
/-> оо
для любого р > 0. Из предположения 4.1 немедленно
следует, что
p lim
1
6) __vi
и
P l*m \jj\
= 0 D.16)
= 0 D.17)
равномерно по 6. Очевидно, имеет место неравенство
[N+*N]
д>1п/(дг,|вв)
I N+eN |
когда | 0с — 0 | .< p[N_9N]- Из D.12) и предположения 4.1 имеем
равномерна по б. Из предположения 4.5 следует, что для
некоторого положительного р
[N+tN]
lim
Г [N
J
D.20)
271

равномерно по 8. Следовательно, из D.18) и D.14) имеем
[N+ еЛЧ _
"лГ 2и W 4 = 9 D-21)
равномерно по в. Так как
V ain/C*f|6)
то из предположения 4.1 легко получить, что
-iQ б},
р lim
V 2
D.22)
равномерно по 0. Мы сейчас покажем, что
d*\nf{xt\\
р lim
/-1
= -d(b) D.23)
равномерно по в. Очевидно, что
[N+jN] \Л
если |8^ — 6| <^Рму_еЛт Следовательно, в силу D.14)
равенство D.23) будет доказано, если покажем, что
[ \N+*N) "I
1 \Л - ' I
N <-i [N~tNl J
равномерно по 6. Но это следует из D.19) и
предположения 4.5. Таким образом, D.23) доказано.
272

Из D.10), D.16), D.17), D.21), D.22) й D.23) получаем
/'JVl-eJV
D.26)
где
lim E, | 0) =/? lim (С, | 8) = 0 D.27)
? >O
равномерно по G. Из предположения 4.3 и центральной
предельной теоремы следует, что
(
1
' 2 da D.28)
равномерно по v и G.
Так как в соответствии с предположением 4.4 d(b) имеет
положительную нижнюю границу, теорема 4.1 легко следует
из D.26), D.27), D.28) и предположения 4.1.
5. Доказательство того, что Тхс есть асимптотическое
минимаксное решение и что имеет место A.8).
Предположения 4.2—4.6 являются предположениями только
относительно /(#|6). Если эти предположения имеют место,
то нетрудно убедиться, что предположение 4.1 выполняется
для последовательных процедур Т\, где N {с, 6)=-.= .
V ей @)
Действительно, из ограниченности d(b) следует, что
\imnc — oo. E.1)
Отсюда и из предположения 4.6 следует, что для
любого 8 > О
lim Вер < пс
о о v
inf l-rJ=— l), sup(^=+l\||6} = l E.2)
27Э

равномерно по 0. Предположение 4.1 есть простое
следствие E.1), E.2) и предположения 4.4. Следовательно,
теорема 4.1 дает
=y=; J е '
—-ОО
du
равномерно по 9. Очевидно,
N(c, 9) г (9, Tl с) =
= N (с, 9) Е [@Пс — 0K1 0] + N (с, 0) сЕ (пс | 0). E.4)
Введем дополнительное
Предположение 5.1. N(c, 0) 2 ^[@^ —0J+8| 0]
есть ограниченная функция с и 0 для любых 8 > 0.
Так как
E.5)
равномерно по 0, то из E.3) и предположения 5.1 следует,
что
1
E.6)
равномерно по 0. Далее легко видеть, что
равномерно по 0. Следовательно,
lim N(c, 0)r@, 7j, c) = -7^- E.8)
равномерно по 0 или
E.9)
равномерно по 0. Отсюда и из C.21) вытекает
справедливость следующей теоремы.
Теорема 5.1. Если выполнены предположения 4.2—4.6
и 5.1 и если выполнены C,21) и C.23), то Т\ есть
асимптотическое минимаксное решение и выполнено A.8).
Пусть Т\ есть оценочная процедура, определенная
следующим образом.
274

Возьмем первые тс наблюдений, где
и dx есть верхняя грань d(ft) относительно 8. Возьмем
затем пс — тс дополнительных наблюдений, где
Оценим 8 с помощью Ьп .
Легко можно показать, что если выполнены
предположения 4.2—4.6 и если предположение 5.1 сохранится при
замене Т\ на Т\, то
равномерно по 8. Таким образом, из E.9) следует
г (9, Т% с)
ibt1
равномерно по б.
ДИФФЕРЕНЦИРОВАНИЕ ПОД ЗНАКОМ
МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ В ОСНОВНОМ
ТОЖДЕСТВЕ ПОСЛЕДОВАТЕЛЬНОГО АНАЛИЗА1)
Л. Вальд
1. Введение. Пусть {za} (a=l, 2, ...) есть
последовательность независимых и одинаково распределенных
случайных величин. Пусть а есть положительная, а Ь отрицательная
константы. Для каждого целого положительного числа m
обозначим через Zm сумму z1-\-z2Jr ... + zm. Через п
обозначим наименьшее целое число, для которого Zn
находится вне открытого интервала ф, а). Для любой
случайной величины и символом Е(и) обозначим математическое
х) Перевод статьи A. W а 1 d, Differention under the expectation
sign in the fundamental identity of sequential analysis, Ann. of Math.
Stat., 17, № 4 A946), 493—497. (Прим. ред.).
275

ожидание и. Основную роль в последовательном анализе
играет следующее тождество, выведенное Вальдом 1),
E\ezn\ (О""] = 1. A.1)
где
E(e*)t A.2)
a z распределена по закону каждой из величин zlt z2, ...
Тождество A.1) имеет место при всех t комплексной
плоскости, для которых ср(^) существует и |ср(/)|>Л.
Цель настоящей статьи заключается в отыскании условий,
при которых можем дифференцировать A.1) по / под знаком
математического ожидания. Найти эти условия чрезвычайно
интересно, так как большое число результатов в
последовательном анализе может быть легко получено
дифференцированием A.1) под знаком математического ожидания. Например,
формула для Е{п) может быть сразу получена
дифференцированием A Л) при / = 0. Производная от eznf<f(t)~n при t — 0
равна
$ A.3)
где ср'(/) — производная <р@* Следовательно, если
дифференцирование A.1) под знаком математического ожидания законно,
то получаем основную формулу
E(Zn) = E(z)E(n). A.4)
При Е{г)Ф§ эта формула была использована Вальдом2)
при выводе нижней и верхней границ для Е (п). Если Е (г) = 0,
то эта формула бесполезна. В пункте 3 будет показано, что
?(")==-^if, когда Е(г) = 0.
Этот результат, как увидим в пункте 3, получается
дифференцированием тождества A.1) при / = 0.
2. Необходимые условия для дифференцирования A.1)
под знаком математического ожидания. В дальнейшем
параметр t в A.1) будем считать действительным, если даже
это явно не оговаривается. Для любой случайной величины а
!) A. Wald, On cumulative sums of random variables, Ann.
of Math. Stat., 15 A944), 285, 287.
2) A. W a i d, Sequential tests of statistical hypotheses, Ann-
of Math. Stat., 16 A946), Ш.
276

и любых условий R символом E(u\R) будем обозначать
условное математическое ожидание величины и, если
выполнены условия R. В этом разделе докажем следующую
теорему.
Теорема 2.1. Если ср(/) существует для всех
действительных t, то тождество A.1) можно
дифференцировать по t под знаком математического ожидания
любое число раз, если только t принадлежит области^
где ср(/)>1.
Доказательство. Сначала найдем верхнюю границу
для E{etzn\n = m)> где т — любое целое число. Рассмотрим
случай t > 0. Тогда
E(etzn\n = m)^E(etzn\zn^at n = m) (/>0). B.1)
Очевидно,
E(etzn\Zn>a, n=m, е'2п-* = 9еа()=еа1(е*'\е*>±). B.2)
Пусть /(/) обозначает верхнюю грань выражения
B.3)
относительно р из интервала (?-(*-*) 1'1, 1).
Существование ср(/) обеспечивает конечность l(t). Из B.1) и B.2) следует
Е (etzn | п = т) < eatl (t) (t > 0), B.4)
откуда вытекает
?(**»)< Л @ (/>0). B.5)
Если t < 0, то посредством аналогичных рассуждений можно
показать, что
Е (etzn | п = т) < Л @ (/ < 0) B.6)
(t<0). B.7)
Для доказательства теоремы 2.1 достаточно доказать
справедливость следующих утверждений1).
Утверждение 2.1. Все производные по t функции
eznl<?(t)~n существуют в области
1) См., например, EJ. McShane, Integration, Princeton
University Press, <1944). 216, 217 и 276. -
}9 Зак. 1119. А. Вальд 277

Утверждение 2.2. Для любого целого
положительного числа г и для любого конечного интервала /, в
котором ср(?)^1, можно найти функцию D(Zn, n) такую,
что
D{Zn,n)>\-^r[ezn^(trn]\ B.8)
для всех t из I и
E[D(Zn, л)]<оо. B.9)
Утверждение 2.1, очевидно, справедливо, если существуют
все производные от ср(/). Существование этих производных
следует из существования ср(^) для всех t.
Так как -тр? eznf у (j)~n равняется сумме конечного числа
членов вида Zj/ira?Z/*'cp(?)~'1, то утверждение 2.2 будет
доказано, если будет доказано существование для любых целых
величин гх и г2 такой функции Driri(Zn, ri), что
Drir2(Zn, n)>\zrn^ezn^(tyn\ B.10)
для любых t из / и
E\Dr^(Zn> n)]<oo. B.11)
- Так как ср (t) ^> 1 в /, то
| Zrk nr*ezn(9 {tyn | < | ft | nr>e\ zn I \ B.12)
где ?0 — верхняя граница для \t\ в /. Пусть tx — некоторая
величина > t0. Тогда для некоторой подходящим образом
выбранной константы С имеем
B.13)
Следовательно, из B.12) и B.13) следует
| Z'jtPeVT (tyn | < Cnr'e\ z« I'' < Cnr> (eV + е-гл') B.14)
для всех t из /. Положим
ОГЛ (Zn> я) = СиГз (вV» + е-2»''). B.15)
Тогда имеем
= С f j7mmr» [? (/«'¦ |» = /и) + Е («Г V. | л = т)\ B.16)
/Я = 1
где рт обозначает вероятность того, что п = т>

Таким образом, из B.4) и B.6) получаем
Е lDrir9 (Zn% n)\ < С [е**4 (tt) + е-**4 (— tx)] [2 Р***] =
= С \еа4 (tj + е-Щ (— tj] E (п'>).
Поскольку все моменты п конечных), утверждение 2.2
доказано. Этим заканчивается доказательство теоремы 2.1.
3. Математическое ожидание п при Е(г) = 0. В этом
пункте будет показано, что
при Е (г) = 0, C.1)
если тождество A.1) можно дважды дифференцировать под
знаком математического ожидания при ? = 0. Вторая
производная etzn(f(t)~n no t равна
где ср'(?) обозначает первую, а <р"(?) — вторую
производные ср (*). Так как ср @) == 1, у' @) = E(z) = 0n у" @) = Е (г2),
то, полагая /==0 в выражении C.2), получаем
4 — /гср" @) = Zl — Е (г2). C.3)
Следовательно, если A.1) можно дважды
дифференцировать при ? = 0 под знаком математического ожидания, то
из C.1) следует
E\z\ — nE (/)] = 0. C.4)
Приближенная величина Е(п) может быть получена из C.1),
если пренебречь перескоком Zn границ. В этом случае Zn
может равняться только а или Ь. Таким образом,
Е (Zl) « a2P (Zn > а) + Ь2Р (Zn < b). C.5)
где знак яз обозначает приближенное равенство.
Было показано (см. работу Вальда, цитированную в
сноске1) на стр. 276, уравнение 28), что, пренебрегая
перескоком Zn границ, можно получить приближенную формулу
!) См. статью С. Stein, A note on cumulative sums, Ann.
of Math. Stat., 17, № 4 A946).
19* 279-

где h — отличный от нуля корень уравнения ср (/) = 1. Эта
формула выведена там при условии, что Е(г)Ф0. Если E(z)
приближается к нулю, то /г->0 и правая часть C.6) стре-
— Ь
мится к
a — b
Полагая в C.5)
1 "ZITJ полУчаем
(^) ^ = -«*. C.7)
Следовательно1),
Границы для Е(п) могут быть получены из границ
для E(Z2n). Пусть г есть неотрицательная действительная
величина. Легко убедиться, что
sup Е[(а — г+ *)"!*> г] C.9)
sup
(ЗЛО)
Поскольку
C.11)
то пределы для f(Z2?) могут быть получены заменой
условных математических ожиданий в правой части C.11) на их
границы, данные в C.9) и C.10).
х) Эта приближенная формула была получена также В. А. Вал-
лисом независимо от автора. Его работа включена в статистические
исследования Колумбийского университета Techniques of statistical
analysis, гл. 17, § 7.2, Me. Grow Hill, New York A946).
280

НЕКОТОРЫЕ УТОЧНЕНИЯ ГРАНИЦ
ДЛЯ СРЕДНЕГО ЧИСЛА НАБЛЮДЕНИЙ
В ПОСЛЕДОВАТЕЛЬНОМ КРИТЕРИИ
ОТНОШЕНИЙ ВЕРОЯТНОСТЕЙ *)
А. Вальд
Краткое содержание. Верхняя и нижняя границы
среднего числа наблюдений п% требуемых в последовательном
критерии отношений вероятностей, были найдены в одной
из работ А.Вальда2). Однако полученные там границы
слишком грубы и имеют небольшую практическую ценность
в случае, когда среднее значение каждого слагаемого z
в накопленной сумме, определяемой на каждой стадии
последовательного испытания, близко к нулю. Полученные
в настоящей статье верхняя и нижняя границы для среднего
значения п близки друг к другу, когда среднее значение z
мало отличается от нуля. Эти границы выражаются через
границы для среднего значения некоторых функций от
величины накопленной суммы Zn в момент прекращения
последовательных испытаний.
В П. 7 дан общий метод вычисления границ для
среднего значения любой функции от Zn.
!• Введение. Пусть х представляет собой случайную
величину с плотностью распределения вероятностей f(xt 0),
зависящей от неизвестного параметра 9. Пусть Но
обозначает гипотезу 6 = б0, а Нг — гипотезу 6 = 6lt где 80 и §t —
данные величины. Последовательный критерий отношений
вероятностей для проверки Но против Ht формулируется
следующим образом3). Пусть
1) Перевод статьи A. Wald, Some improvements in setting
for the expected number of observations required by a sequential
probability ratio test, Ann. of Math. Stat., 17, Mk 4 A946), 466—474.
(Прим. ред.).
*) A. Wald, Sequential tests of statistical hypothesis, Ann. of
Math. Stat., 16 A945).
3) A. Wald, Sequential tests of statistical hypothesis, Ann. of
Math. Stat., 16 A945).
281

где xt обозначает i-ь наблюдение значение х. Выбираются
два постоянных числа а и Ь, где а > О и Ь < 0. На
каждой стадии эксперимента после яг-го испытания, где т —
любое целое положительное число, подсчитывается
накопленная сумма
Zm = zt+ ... + гя. A.2)
Эксперимент продолжается все время, пока Ъ < Zm < a.
Как только Zm окажется вне этого отрезка, эксперимент
прекращается. Если Zm^ai то принимается гипотеза Н1%
если же Zm^by то принимается гипотеза Ио.
Пусть п означает наименьшее значение т, при котором Zm
не лежит между b и а, т. е. п — число наблюдений в
последовательном критерии. Среднее значение п есть функция
истинного значения параметра 6; обозначим его через Еь(п).
Верхняя и нижняя границы для Еь{п) были получены
А. Вальдом1). Эти границы, однако, имеют небольшую
практическую ценность, когда среднее значение
близко к нулю, так как эти границы стремятся
соответственно к +оо и —оо по мере приближения z к нулю.
Можно показать, что среднее значение г отрицательно,
когда 6 = 80, и положительно, когда 6 = Ьх *). Таким
образом, если среднее значение z есть непрерывная функция 0,
то существует величина 0', лежащая между 0О и 0Х, такая,
что среднее значение z равно нулю, когда 0 = 0'. Поэтому
границы для Еь(п), данные в статье А. Вальда1), не имеют
практической ценности, когда 0 близко к 0Г.
Цель настоящей работы — получить верхнюю и нижнюю
границы для Еь(п), которые были бы, вообще говоря, ближе
друг к другу, когда 0 близко к 0'. Таким образом, можно
получить узкие границы для Еь(п) во всей области
изменения 0, если полученные в этой работе границы использовать,
когда 0 принадлежит малому интервалу, содержащему 07, а
границы, полученные в статье А. Вальда1), использовать,
когда 0 лежит вне этого интервала.
2. Обозначения. Будем использовать в этой работе
следующие обозначения. Для любой случайной величины а
!) См. A. W а 1 d, Sequential tests of statistical hypothesis, Ann.
of Math. Stat., 16 A945), 156.
282

символом Еь(и) будем обозначать среднее значение и,
когда б есть истинное значение параметра. Условное
среднее значение величины и при условии, что выполняются
некоторые условия R% будет обозначаться Еь {и \ R). Символ
P(R\d) обозначает вероятность того, что условия R
выполнены, когда 6 есть истинное значение параметра.
Функция распределения z будет обозначаться F (г, б),
где б—^истинное значение параметра. Производящая
функция моментов z при истинном значении параметра б
будет обозначаться через ср(/, 6), т. е»
с»
?('. в)= / eudF(z,b), B.1)
3. Ограничения, накладываемые на множество
функций распределения. В этом пункте сформируем два
ограничения, налагаемые на F (z, б), которые будут использоваться
при доказательстве различных лемм и теорем. Поскольку
нас интересует величина 6, близкая к б7, примем за область
изменения 6 конечный замкнутый интервал /, содержащий
внутри себя точку б7. В дальнейшем всегда будет
предполагаться, что любые утверждения относительно б относятся
к области /, даже если это явно не оговаривается.
Условие 1. Производящая функция моментов ср(t, б)
существует в любой точке t комплексной плоскости и
для любой величины 6 и является непрерывной функцией б.
Условие 2. Существует такое положительное 8,
что Р(г*>1 + 46) и P(ez<l — 8|б) имеют
относительно б положительные нижние грани.
4. Доказательство совместной непрерывности у(? 6)
по t и 6 и непрерывности моментов г по О, В этом
пункте докажем следующую теорему1).
Теорема 4.1. Из условия 1 следует, что ср(?, б)
совместно непрерывна по t и б и что все моменты z
являются непрерывными функциями б.
Доказательство. Сначала мы покажем, что ср(t, б) —
ограниченная функция t и б в области |^|^^0» гДе А) — любая
положительная величина. Очевидно, что
— tot б)] D.1)
!) Оригинальное доказательство автора несколько длинно.
Настоящее доказательство предложено Т. Е. Харрисом.

для любых /, |f|<!/o' Ограниченность ср(/0, б) и ср( — /0, 9)
еледует из условия 1. Таким образом, ср(?, б) является
ограниченной функцией в любой ограниченной области /.
Пусть {tm, 6m} (#*= 1, 2 ,...) — последовательность пар
чисел, сходящаяся к паре (/', б'). Имеем
Второе выражение в скобках сходится к нулю из-за
непрерывности по б. Таким образом, первая часть теоремы 4.1
будет доказана, если будет показано, что
т. -v оо \ *^/
Из условия 1 следует, что для любого данного б ср (/, б)
является аналитической функцией, не имеющей особенностей
в любой конечной области изменения t. Поэтому ср(*т, бт)
можно разложить в ряд Тейлора около точки t = t'% т. е.
D.4)
Пусть г — некоторое положительное число. Из
ограниченности cp(tf, б) в любой конечной области изменения t
следует существование такой константы М, что |ср(?, б)| < Ж для
всех б и для всех t из области \t — */|^/'. Из
интегрального представления Коши любой аналитической функции
следует, что
1
k\ dt
Из D.4) и D.5) получаем
М
Равенство D.3) немедленно следует из D.6). Этим закан*
чивается доказательство первой части теоремы 4.1.
Пусть в комплексной плоскости t С есть окружность
ограниченного радиуса с центром в начале координат. Из
интегральной формулы Коши получаем
284

Функция ср(/, б) непрерывна по t и 9, поэтому интеграл
в левой части формулы D.7) является непрерывной
функцией б. Это доказывает вторую часть теоремы 4.1.
б. Некоторые леммы. В этом пункте докажем несколько
лемм, которые будем использовать при выводе основных
результатов в п. п. 6 и 8.
Лемма 5.1. Из условий 1 и 2 вытекает, что для
любого заданного 6 уравнение по t
Ф(/, б) = 1 E.1)
имеет точно два действительных корня, один из
которых равен нулю. Второй действительный корень
отличен от нуля, если ?Q (z) Ф 0. Если же Еь (г) = 0, то
оба действительных корня равны нулю, т. е. нуль
является корнем E. Г) кратности два.
Эта лемма по существу совпадает с леммой 2 более
ранней статьи автора1)» и ее доказательство поэтому будет
опущено.
Пусть А (б) обозначает отличный от нуля корень E.1),
если Еь (z) Ф 0. Если же Еь (z) = 0, то положим А (9) = 0.
В дальнейшем будем считать t действительной величиной,
если не оговорено противное.
Лемма 5.2. Из условий 1 и 2 следует, что А (б)
является непрерывной функцией б.
Доказательство. Из условия 2 следует, что
lim cp(*, б)= +оо E2)
равномерно по 6, По определению
? [* (в), 61 = 1
тождественно по б, поэтому А (б) является ограниченной
функцией б.
Пусть {бт} — последовательность значений параметра,
сходящаяся к б*. Из теоремы 4.1 следует, что
т)-ср(Лб*)] = 0 E3)
!) A. W а 1 d, On cumulative sums of random variables, Ann. of
Math. Stat., 15 A944). Условие IV леммы 2 в этой статье не
оговаривается, так как его выполнение обеспечено условием 1. Условие IV
могло бы быть опущено и в цитированной статье, так как оно
следует из условия III.
285

равномерно по / из любого конечного интервала. Так как А (9)
ограничена, то из E.3) следует
lim {<p [h (в„). 9J —<plA Fm), 6*} = 0. E#4)
Учитывая далее, что ср [h(Qm), дт] = 1, из E.4) можно
получить, что
Ит<р[А(вт), 9*] = 1.
от->оо
Из условия 1 следует, что для любой предельной точки h
ограниченной последовательности {А(9Л)} (w = 1, 2,...) имеем
<р(А, 6*)=1. E.5)
Если h (9*) = 0, тогда уравнение ср(/, 0*)= 1 имеет только
один корень ? = 0. Следовательно, все предельные точки
[h (9m)} должны быть равны нулю, т. е.
lim h Fm) = 0, если h F*)=0. E 6ч
т>оо \^#и/
Предположим теперь, что h (9*) ф 0. Так как вторая
производная ср(^> 9) по t положительна, то ясно, что ср(/, 9*)< 1,
если t принадлежит открытому интервалу @, h (9))% и ср (t, 9) > 1,
если t находится вне замкнутого интервала [0, АF)].
Следовательно, ср(^, 9)< 1 означает, что |й(9)|>|/|и А@) и t
имеют одинаковый знак. Поэтому имеем
<Р('о.в*)<1- E.7)
Из условия 1 следует, что
?('о.в|В)<1 E-8)
для достаточно больших т. Следовательно, h(Qm) и t0
имеют один и тот же знак и
|/KUI>l'o|. E.9)
Неравенство E.9) означает, что нуль не может быть
предельной точкой последовательности {h (9m)}. Так как ср (/, 9*)=1
имеет только корни / = 0и t = h(Q*)> то из E.5) вытекает,
что последовательность (А@т)} не имеет предельной точки,
отличной от h (9*). Таким образом,
lim h (9m) = h (9*), E.10)
и лемма 5.2 доказана.
Лемма 5.3. Из условия 1 следует, что для любого
заданного t ?0(^i^') есть ограниченная функция 9.
286

Доказательство. Имеем
Ee(*l*i)<Ee(**' + *-I0 = ?(f. e) + ?(— '• е>- E.11)
Из условия 1 следует, что ср(?, б) и <р(—/, 6) —
ограниченные функции б. Таким образом, лемма 5.3 доказана*
Лемма 5.4. Пусть 6' есть такое значение б, что
Ев'(г) = 0, но Еь(г)ф0 для всех б Ф б' из некоторого
открытого интервала, содержащего б'. Из условий 1 и 2
следует, что
Ы-^ш-)^'^- EЛ2)
Доказательство. Имеем
^11г2 + 1^)Ргз^(9)г> E.13)
где 0 ^ # <^ 1, Следовательно,
В силу ?е (ел <9) *) = 1, получаем из E,14)
E.15)
Будем рассматривать только такие значения б, для
которых hF) =/= 0. Для этих значений 6 также Еь(г)ф0.
Поделив E.15) на Н(Ь)ЕВB), получим
] = 0. E.16)
Пусть ^0 есть верхняя граница |А(б)| относительно 6.
Можно так выбрать константу С, что
\^euh{B)z^<ce\^\. E.17)
Из этого соотношения, а также из леммы 5.3 следует,
что Eb(z3euh^z) есть ограниченная функция 6.
Из непрерывности /г (б) следует
Ит /г(б) = О. E.18)
Лемма 5.4 вытекает из E.16), E.18), ограниченности
функции Еь{гъеиН^г) и того факта, что Eb(z2) является
непрерывной функцией б и Eq> (z2) > 0. .
287-

Лемма 5.5. Из условий 1 и 2 следует, что для
любого заданного t функция Eb{e\tzn\) существует и
является ограниченной функцией 6.
Доказательство. Достаточно доказать, что EH(etZ")
является ограниченной функцией 6 при любом tt так как
е\'2п\^е2п + е-ап. E.19)
Ясно, что etzn лежит между еьиг*' и еа'+г«*> Поэтому
лемма 5.5 будет доказана, если покажем, что Еь(егп*)
ограниченная функция 6.
Из условия 2 следует, что существует такое целое
положительное число k и такое положительное число gt что
E.20)
для всех 6. Для любого положительного целого числа т и
любых действительных чисел \ < У^ имеем
Р[{т-\)к<п\Ц >g i
kt Х1<дгл<Х9|6]
—\, 2, ...
—[1—
E.21)
. E.22)
Следовательно,
Я [(т — 1) jfe
Х2 | 6]
> g
Умножая E.23) на Р \{т — 1) k < п < w& | б] и суммируя
по /и, получаем
Л[1Р{\<г<Ч1Цк> E.24)
о
Из E.24) легко вывести, что
является ограниченной функцией \lt X2 и 6. Пусть А —
верхняя граница отношения E.25). Тогда
= АуУ9 в).
E.26)
288 .

Согласно условию 1 ср(Л б) есть ограниченная функция 0.
Следовательно, Еь(е л') также ограничена, и лемма E.5)
доказана.
6. Предельное значение Е^(п\ когда 6 стремится к 6',
для которого Eq>(z) — 0. В этом пункте докажем
следующую теорему.
Теорема 6.1. Пусть б' есть такое значение б, для
которого Е& (z) = 0, но для значений б =? 6' из некоторого
открытого интервала, содержащего 6', Еь (г) Ф О, Если
условия I и 2 выполнены, то
Ш]°- FЛ)
Доказательство. Рассмотрим ряд Тейлора
где 0<Д<;1. В работе, упомянутой в сноске1) на стр.285,
было показано, что
?,(*»«*-)= 1. F.3)
Таким образом, усредняя обе части F.2), получаем
F.4)
Будем рассматривать только такие б, для которых
ь(г)ФО. Для этих значений 6 также Н(Ь)Ф0. Таким
образом, мы можем поделить обе части F.4) на h{b)Eb(z). При
этом получаем
Ец (Zn) , А F) Г /72\ , h (в) /з \н (9) zА1 _ 0
В заметке, приведенной в сноске2) на стр. 281, было
показано, что
Следовательно,
[D) ^№A(^«)j = O. F.7)
289

. Пусть tQ есть верхняя грань |й@)|. Тогда, выбрав
соответствующим образом число С, имеем
Ai. F.8)
Из этого соотношения, а также из леммы 5.5, следует,
что E§{z\eXhi<)Zn) является ограниченной функцией 6. Так
как lim h@) = 0 и Eb(Z2^) имеет положительную нижнюю
границу, то теорема 6.1 вытекает из F.7), леммы 5.4 и
теоремы 4.1. Если lim EbZ2n = Es'Z2n, то теорема 6.1 дает *)
6-» 8'
Еь. (Z2)
Пределы для Е%> (п) могут быть получены из пределов
для ?8(Z*). В следующем пункте будет дан общий метод
вычисления пределов для Eb[ty(Zn)]t где ф(я) —
произвольная функция Zn.
7, Определение нижней и верхней границ для
среднего значения любой функции от Zn. Пусть ty(Zn) есть
некоторая функция от Zn. Пределы для ?е[фBл)] могут быть
определены следующим образом. Сначала определим границы
для EB[ty(Zn)\Zn^a]. Пусть г — некоторое положительное
число. Очевидно, для любого г имеем
щп_г = а — г и гй>а] =
= ЕьЩ(а — г + г)\г^г]. GЛ)
Из G.1) получаем границы
inf Eb[^a-
0<г<а-Ь
< sup ЕлЩа — г + г)\г^г]. G.2)
0<r<a-b
1) Справедливость F.9) была показана автором в статье
«Differentiation under the expected sign in the fundamental identity of
sequential analysis» (Ann. of Math. Stat. 17 A946)) совершенно
другим методом. (Перевод этой статьи помещен в дополнениях к
настоящей книге. Прим. ред.)
290;

Границы для ?0 [ф (Zn) | Zn < b] могут быть получены
простым путем. Пусть опять г — некоторое положительное
число. Для любого г имеем
E^(Zn)\Zn^b и Z(,_1 = ft + r]=^?,[«|»(ft + r + «)|2<—г]-
G.3)
Следовательно, получаются границы
inf
< sup ?,[ф(* + г + г)|2< —г]. G.4)
О <г<а-Ь
Так как
а) ?в [ф (Zn) \Zn>
+ Р (Z,, < b) Еь [ф (Zrt) | Z, < b]. G.5)
то верхняя и нижняя границы могут быть получены заменой
условных средних значений в правой части G.5) на их
нижние и верхние границы, данные в G.2) и G.4).
8. Границы для Еь (л), когда h (в) близко к нулю, но не
равно ему. Пусть б7 есть величина б, для которой h F0 = 0.
В этом пункте выведем границы для Е$(п), которые, вообще
говоря, близки друг к другу, когда б мало отличается от б'.
Из уравнения F.7) получаем
^^)] (8.1)
где 0^Х<^1. Таким образом, границы для Еь(п) могут быть
получены вычислением пределов для E$(Z2n) и Ee(Z^XA@)Z^).
Границы для Eb(Z2n) могут быть получены методом,
описанным в п. 7.
Если б близко к б', то любые грубые границы для
EB(ZzneXh{B)Zn) могут быть использованы, поскольку, как это
было показано в п. 6, EAz\^h(< )Zn) ограничена и lim /*(б) = 0.
Границы для Eb(zleKh{B)Zn) могут быть получены с
помощью следующего рассуждения. Положим для простоты,
что h (б) > 0. Тогда
Z\ < ZbneXh (9) zn < Z\eh(8)zn (A @) > 0). (8.2)
Таким образом, чтобы определить границы для Eb{z\e (* «),
необходимо определить нижнюю границу для Еь (Z^) и верхнюю
291.

границу для Eb(zne {Ь) *). Эти границы могут быть
вычислены методом, данным в п. 7.
Если /*@)<О, то
zl^ZleXh^zn>Zy^zni (8.3)
откуда посредством простых рассуждений легко получить
искомые границы для EH(zleXh{)Zn).
Обратим внимание на то, что границы для Еь(п), как было
показано в этом пункте, близки друг к другу лишь тогда,
когда /г@) близко к нулю.
При значениях б, при которых h (б) значительно
отличается от нуля, могут использоваться границы для Еь(п),
полученные в работе, приведенной в сноске2) на стр. 281.
ОПТИМАЛЬНЫЙ ХАРАКТЕР ПОСЛЕДОВАТЕЛЬНОГО
КРИТЕРИЯ ОТНОШЕНИЙ ВЕРОЯТНОСТЕЙ *)
А. Вальд и Дж. Вольфовиц
f. Краткое содержание. Пусть So есть какой-либо
последовательный критерий отношений вероятностей для выбора
между двумя простыми, альтернативами Но и Ни a S1 —
другой критерий для этой же самой цели.
Введем обозначения (/, у = 0, 1): аД5у)—вероятность
в критерии Sj отвергнуть верную гипотезу Hlt Е{(п) —
среднее число наблюдений, необходимых для принятия решения
в критерии 5у, если гипотеза Н1 истинна (предполагается,
что Е)(п) существует).
В этой статье будет доказано, что если
A = 0, 1),
то
??(«)<?} (я) (/ = 0, 1).
Это значит, что из всех критериев одной и той же
мощности последовательный критерий отношений вероятностей
*) Перевод статьи A. Wald, J. Wolfowitz, Optimum cha*
racter of the sequential probability ratio test, Ann. of Math. Stat.,
19, № 3 A948), 326—339. (Прим. ред.)
292.

требует в среднем наименьшее число наблюдений. Этот
результат предвиделся ранее1).
2. Введение. Пусть pt(x) (/ = 0, 1) — две различные
функции плотности вероятности или (в дискретном случае)
две вероятностные функции (в этой статье индекс / всегда
будет принимать значения 0 или 1). Пусть X есть случайная
величина, распределение вероятностей которой есть ро(х)
или рх(х), но какое именно — неизвестно. Необходимо
выбрать одну из гипотез Но или Нх (Н1 обозначает гипотезу,
что pi(x) есть распределение вероятностей X) на основе п
независимых наблюдений хх, ..., хп величины X, где п есть
конечная случайная величина, определенная для почти каждой
бесконечной последовательности
т. е. п конечна с вероятностью единица при ро(х) и рх(х).
Определение п (со) одновременно с правилом выбора Но
или Нх и составляет последовательный анализ.
Последовательный критерий отношений вероятностей
определяется при помощи двух положительных чисел А* > 1
В* < 1 следующим образом. Положим для краткости
з
Л/= Д/>/(**)•
Тогда п — у, если
— >Л* или <?*
Poj
и
В*<Ш<А*, k<j.
Pok
Если Ш2- > Л*, то принимается гипотеза Ни если же
Роп
Pin
РОП
^ В*, то принимается гипотеза Но.
Роп
В этой статье ограничимся рассмотрением таких
последовательных критериев, для которых Е^п) существует, где
Et (п) — математическое ожидание числа п, когда верна Нг
(т. е. когда pt{x) есть распределение вероятностей л:).
1) См. работы A. W а 1 d, Sequential tests of statistical
hypotheses, Ann. of Math. Stat. 16 A945), 117—186 и A. W a I d, Sequential
analysis, J. Wiley and Sons, New York, 1947.
293

Стейном*) было доказано, что все последовательные критерии
отношений вероятностей относятся к этому классу. Целью
настоящей работы является доказательство результата,
сформулированного в первом пункте. В процессе доказательства
сделаем предположение, что априорная вероятность того,
что верна гипотеза Н1у равна gt (go + ?"i=== * J будем в
дальнейшем записывать g = (g0, gx)).
Многие статистики считают, что в большинстве
практически важных задач не существует никакого априорного
распределения вероятностей; если же оно существует, то оно
часто неизвестно, и статистические выводы все равно
приходится делать без него. Мы разделяем эту точку зрения.
Введение в этой работе априорного распределения есть чисто
технический прием, который не имеет отношения к
методологии статистики, и читатель убедится, что это так. Также
будем полагать, что g0 Ф О, 1. Пусть Wo, Wlt с — заданные
положительные числа. Положим
R = go 0*Vo + сЕ0 (п)) + * 1 О^А + сЕг (л))
и назовем R средним риском, связанным с критерием 5
и заданным g (очевидно, R есть функция 5 и g). Будем
говорить, что принимается Hit если принимается решение, что
Pi(x) есть распределение вероятностей X. Мы скажем, что
#0 отвергается, если принимается Hv и наоборот. Заметим,
что Wt можно рассматривать как величину потерь,
понесенных статистиком, отвергнувшим гипотезу Н{, когда она
истинна, с— как стоимость единичного наблюдения, a R—
как средние потери, связанные с заданным априорным
распределением и критерием 5. Формально это просто
некоторые величины, с которыми будем оперировать в процессе
доказательства.
3. Роль отношения вероятностей. Пусть g", № = (№0, U^)
и с фиксированы. Пусть 5 есть заданный последовательный
критерий с риском R(S) и «функцией объема выборки»
я(о>, S). Пусть ty(xl9 .... хп) есть «решающая» функция.
Эта функция принимает лишь значения 0 и 1 и используется
следующим образом: если xv ..., хп есть выборочная точка,
то гипотеза с индексом ty(xl9 ..., хп) отвергается.
Определим следующую решающую функцию <f(xu ..., хп): ср ===== О,
1) Ch. Stein, A note on cumulative sums, Ann. of Math. Stat.
17 A946), 498—499.
294

когда X = *glPln > 1, и ср = 1, когда X < 1. Когда
ср можно по желанию брать равным 0 или 1.
Необходимо помнить, что всякая решающая функция есть
однозначная функция от (агх хп). При этом заметим, что:
а) Интересующие нас свойства критерия не зависят от
изменения критерия на множестве Т точек а> вероятности
нуль при обеих гипотезах Но и Hv т. е. изменение
определения на Т решающей функции (или п) не изменяет Oq, av
Е0(п) и Е1(п). В частности, это относится к среднему
риску R.
б) Множество точек, для которых рОп==р1п = О и X
неопреде лена, имеет вероятность нуль при обеих гипотезах Но
и Нх.
Во всех последовательных критериях, которые мы будем
в дальнейшем рассматривать, условимся полагать n=j
и ф = 0 всякий раз, когда pOJ=py = 0 и п Ф 1, ..., J— 1.
В силу вышенаписанного это произвольное условие не может
изменить R(S).
Пусть
I —
ln goPOn +
Имеем
где Е обозначает математическое ожидание совместного
распределения Ht и (хи ..., хп), т. е. Е есть оператор ^о^о +
-\-giEv Если событие (фE) Ф ср и Х=?1} имеет
положительную вероятность при Но или при Hv то для д = п(а), S)
будем иметь ?7,^ < EL^n.
Следовательно, если решающая функция ф, связанная с
критерием 5, будет заменена решающей функцией ср, то R
уменьшится. Поскольку нашей целью является сделать R возможно
меньше, в дальнейшем будем рассматривать только критерии,
для которых ср является решающей функцией, если не
оговорено противное.
Функция ср пока еще не определена при X = 1. Удобное
для наших целей определение будет дано в следующем
разделе. R остается одним и тем же для всех
определений.
295

Таким образом, ср является функцией лишь X или, что
при фиксированном W то же самое, лишь гп = -^-. Опре-
РОп
делим р
г>=% СУ=1. 2—>.
Сейчас будет доказана
Лемма 1. Пусть заданы gt W а с. Существует
последовательный критерий S*, для которого средний риск
минимален. Функция объема выборки п (со, 5*) для этого
критерия может быть определена при помощи
соответствующим образом выбранного подмножества К
неотрицательных чисел. Именно для каждого со рассмотрим
связанную с ним последовательность
rv г2, ...
и обозначим через j наименьшее целое число, для
которого /у ? К. Тогда n=j. Функция п может быть не
определена на множестве точек со вероятности нуль при Но
и Нх.
Пусть a = (ait a2, ..., ad) — произвольная точка
некоторого rf-мерного евклидова пространства (d — конечно),
обладающая лишь тем свойством, что pOd(a) и Pid(a) отличны
от нуля. Пусть Ь = у^г и / (а) = cd + min (LOd, Lld). Пусть,
далее, D есть любой последовательный критерий, для
которого л (со, D)>rf при любой со, первые d координат которой
такие же, что и у а, и для которого E[n\at D] < оо; здесь
Е[п\а, D] — условное математическое ожидание величины п,
соответствующей критерию D, при условии, что первые d
координат со такие же, как и у а. Для краткости, обозначим
через О множество точек о>, для которых выполняется
вышеприведенное условие, т. е. d первых координат которых
такие же, как и у а. Наконец, пусть E(Ln\a, D) есть
условное математическое ожидание величины Ln, соответствующей
критерию D, при условии, что со принадлежит множеству О.
Мы знаем, что m'm(LOd, Lid) зависит только от zd(a)^=d.
Запишем
v(a) = sup[/(a) — E(Ln\a% D)\.
D
Пусть ао = (аО1, ..., aok) есть произвольная точка, для
К0Т°Р0Й Ри (а) = **(**)
Pod (о) Ро* (До) '
296

Пусть D есть последовательный критерий, в котором
#(а), Do) > & для любой со, первые k координат которой
такие же, что и у а0, причем Е(п\а0, Do)< сю. Пусть
v (а0) = sup [/ (а0) — Е (Ln | а0, Do)].
А>
Докажем, что v (a) = v (a0). Таким образом, мы можем
писать
Предположим, что v (a) > v (#0). Пусть ?)х есть такой
критерий типа Д что
Определим теперь другой последовательный критерий D10
типа Do следующим образом. Пусть
a = alt ,.., ad, yl9 ...,yt
есть любая последовательность, для которой п (a, D1) =
Тогда для последовательности
положим п (a0, D10) = k -f- Л Решающая функция ф0,
соответствующая D10, может быть определена следующим образом:
Так как rd(a) = rk(a0), то
а это противоречит определению v(a0). Подобное же
противоречие получается, если v(«)<v(^0). Следовательно, v(a) =
= v(a0), что и требовалось доказать.
Определим К таким образом, чтобы оно содержало все
числа Ь, для которых существуют точки а, обладающие
свойством rd(a) = b, тФ)-^О. Сейчас докажем, что
критерий 5*, определенный в соответствии с леммой, обладает
наименьшей величиной /?(S*). Напомним, что средний риск
есть математическое ожидание величины Ln. Пусть «S есть
некоторый другой критерий. Пусть а* = (а*, .. ., а/) —
произвольная последовательность, для которой или
20 Зак. 1119. А. Вальд 297

n (a*, S*) = d* или п (a*, S) = d*, но п (а\ S'?) Ф п (а*, 5). Мы
исключаем тривиальный случай, когда вероятность появления
этого события при обеих гипотезах Но и Нх равна нулю.
Пусть rd*(a*) = b*. Последовательность а* может
принадлежать к одному из трех типов:
1) Т (**) < °- Следовательно, Ь* ? К, п(а*> S) > d*. С точки
зрения уменьшения среднего риска выгодно прекратить
проверку, так как
E(Ln\a\S)>l(a*y,
2) т(?*) = 0. Следовательно, b*?K, п(а*, S)>d*. Если
l(a*) — E(Ln \a*9 S) = 0, т. е. верхняя грань действительно
достигается при критерии 5, то все равно, прекратить ли
проверку с #*, или продолжать ее в соответствии с S.
Если, однако, 1{а*) — E(Ln \ а*, 5) < 0, то ясно, что
невыгодно продолжать проверку, согласно критерию 5.
Случай 1(а*) — E(Ln\a*, S) > 0 невозможен, так как ^(**)==0;
3) Т (**) > 0- Следовательно, Ь* ? К, п (a*, S) = d\
Очевидно, с точки зрения уменьшения среднего риска, не следует
обрывать процесс последовательного критерия, и необходимо
продолжить его по крайней мере на одно наблюдение. После
одного дополнительного наблюдения попадаем либо в
случай 1, либо 2, когда выгодно прекратить проверку, либо
опять в случай 3, когда выгодно проделать еще одно
наблюдение.
Таким образом, R(S*) минимально, что и требовалось
доказать.
4. Основная лемма. Рассмотрим дополнение множества К
на положительной полуоси и вычеркнем из него все точки V%
для которых не существует точек а в rf-мерном евклидовом
пространстве, обладающих свойством rd(a) = b\ Точки 1
никогда не должны рассматриваться, как точки типа V\
т. е. точки 1 никогда не должны вычеркиваться.
Полученное множество обозначим /С.
Доказательство теоремы, которой посвящена настоящая
работа, будет основываться на следующей лемме.
Лемма 2. Пусть заданы W, g, с, а множество К
определено выше. Тогда существуют два положительных
числа А и В, ?< TF/°^° <A такие, что
a) если Ь?К> то или Ь^ А или b^В,
b) если Ь?К, то В < b < A.
298

Прежде чем приступить к доказательству, сделаем два
замечания.
1) Мы сейчас можем дополнить определение ср для
критериев типа 5*. Читатель помнит, что ср определяется
неоднозначно для Х = 1, т. е. когда гп = °^° . Лемма 2
показывает, что ср(Х) нужно определить только для X = ¦ ¦ 0^° ^ /С,
поэтому X есть А или В. Определим ср ( °^° J как 0 или 1,
смотря по тому, равняется ли °^° А или В. Это просто
удобное определение, которое устраняет неоднозначность.
Когда А = В = °^° ? /С, ситуация тривиальна и можем
положить, например, ср = О.
2) Если 1 ? /С, то в силу последней леммы средний риск
будет минимальным (для заданных Wt g и с, конечно), если
не производить ни одного наблюдения. Полагаем ср = О
или 1, соответственно при 1^>А или 1*СВ.
Доказательство леммы. Пусть h > .г/°^° есть
некоторая точка из К. Докажем, что любая точка h*\
—^- *Ch' <h, для которой существует точка а' в не-
^1
котором ^-мерном евклидовом пространстве, такая, что
rd,(af) = h'% также принадлежит /С. Подобным же образом'
можно доказать, что если h0 < w есть некоторая точка
™ig\
из К, то любая точка /г0, h0 < h0 ^ 1VP^° , для которой
существует точка а0 в некотором ^-мерном евклидовом
пространстве, такая, что га„ (а^ = h'Q9 также принадлежит К.
Этим лемма и будет доказана.
Итак, пусть h и hf выбраны, как указано выше. Пусть S*
есть последовательный критерий, основанный на /С, с
решающей функцией ср. Пусть а есть точка в d-мерном
пространстве, для которой rd(a) = h. Так как h?K,
то 7 (h) > 0.
Сейчас введем несколько отличный от 5*
последовательный критерий S с решающей функцией, которая может
отличаться от ср следующим образом. Возьмем а\ определенное
20* 299

выше; запишем
а = (al9 a2 ad\
Пусть
а = ^, ..,, ad, yx yt
есть некоторая последовательность, для которой п (а, 5*) =
— d-{-t< Для последовательности
а'= 4, ..., ^„ yv .... yt
положим п(а', S) = d' -\-t. Решающую функцию ф,
связанную с S, определим равенством
ф (*') = ? (а).
Очевидно,
^(/г|а, 5*) — ^ = ^.(/г|а/, S) — d' (/ = 0, 1) D.1)
Et (ср | а, 5*) = Ei (ф | а', 5) (/ = 0,1). D.2)
Кроме того, имеем
— E(Ln\a, 5*) =
D.3)
Так ^ак 7 (/г) > 0 и
ctf — cEt (п | а, 5*) — WXEX (ср | а, 5*) < 0, D.4)
то мы должны иметь
Wxl + cd — сЕ0 (п | а, 5*) — Wo [1 - Ео (ср | а, 5*)] > 0. D.5)
Из h' < h следует, что
go + gib' ^ go + gih go + gih' ^ go + gih* ^'0)
Соотношения D.1), D.2), D.4), D.5) и D.6) показывают
что величина правой части D.3) увеличивается, если там
заменить ср, /г, a, S* и d на ф, h\ a' n S соответственно.
Это и доказывает лемму.
Если существуют значения, которые г^ не может
принимать, то пара чисел В, Л может оказаться не единственной.
300

Для удобства определим Л и В единственным образом так»
как указано ниже. В дальнейшем будем придерживаться
этого определения.
Для этого сначала определим f (А) для всех
положительных А, причем это определение должно согласовываться
с предыдущим определением, по которому 7 (А) была
определена только для тех значений А, которые может
приниПусть А есть произвольное положительное число
есть произвольный последовательный критерий,
обладающий следующими свойствами.
Существует множество Q(A) положительных
чисел, для которых n=j, тогда и только тогда,
когда у-й член последовательности
мать Гу.
и D(h)
hrv hr2,
D.7)
есть первый элемент последовательности,
входящий в Q(h);
?l(A|D(A))<cx> (/ = 0. 1). D.8)
Для А >- °go положим
\-W?^\D(h))-cEMD(h))} D.9)
T(A)==supT(A|D(A)). D.10)
D(h)
Для h<^. e^° сохраним прежнее определение. Таким обра*
m?i
зом, у(/г) определена для всех положительных А. Это
определение совпадает с прежним определением в случае, когда
оно применимо. Заметим, что операция взятия верхней грани
в D.10) производится лишь по критериям, зависящим только
от отношения вероятностей, как это следует из D.7); но
выводы леммы 1 показывают, что это ограничение не
уменьшает верхней грани. (Может показаться, что для d=
7 (А) определена неоднозначно, однако, как мы скоро
дим, это не так.)
Величина f (А) зависит, конечно, от g и gx. Чтобы
подчеркнуть это, будем писать f (A, ^0, gj. Легко убедиться,
что

Вообще для любых положительных величин huh' имеем
T(h, g0, gi) = i(h', g0, gt), где gQ и ^ — некоторые
функции ^0' gv h и h'- Таким образом, если h имеет значение,
которое не может принимать отношение вероятностей, а
hr — любое допустимое значение, мы можем интерпретировать
величину *\ (/г, g0, gx) как величину -у. соответствующую h!
и некоторым, подходящим образом подобранным, априорным
вероятностям g0 и gv
Теперь определим А как нижнюю грань всех точек
h^> °^° , для которых ч(Ь)^.О> а В— как верхнюю грань
1 117
всех точек h < wogo , для которых f (ti) < 0. Если -f (Л) <0
для всех /г, то это определение дает А = В =
Выводы леммы 2 показывают, что f (/г) есть монотонно
возрастающая функция в интервале [В, °^°) и монотонно
убывающая функция в интервале f °^, Л).
Теперь определим последовательный критерий S*(h) для
всех положительных /г. Решающей функцией S*(ti) будет <р,
a n — j тогда (и только тогда), когда у-й член
последовательности
является первым элементом
Мы видим, что
для всбл: h. Между прочим, этим доказано, что f однозначно
определена при h = °^° .
Докажем следующую лемму.
Лемма 3. Функция ^{h) обладает следующими
свойствами:
a) она непрерывна для всех /г,
b) т(Л) = Т0В) = О.
c) 1 (/г) < 0 для Л > А или < Б.
Доказательства требуют только свойства а) и с), так как
свойство Ь) является тривиальным следствием утверждения а)
и определения А и В\
302

Пусть h — любая точка, неравная Tvy0^0 , й пусть ,г—лЮ-
бая точка в окрестности h. В окрестности h оба ?0 (я | S* (г))
и El(n\S*(z)) ограничены. Пусть Л — h! и h"— две
произвольные точки из достаточно малой окрестности А, которая
будет определена ниже. Будем рассуждать так же, как при
доказательстве леммы 2, полагая, что hf соответствует h
леммы 2, h" соответствует Л' леммы 2 и S*(h')
соответствует S* леммы 2. Поскольку —~ и —g_^ ¦
непрерывные функции z, а Ео (п | S* (z)) и E1(n\S*(z))—
ограниченные функции z, то для достаточно малой окрестности h
Меняя ролями hr и ti'\ получаем, что в этой же окрестности
Т(/О>т(Ю-Д
и, следовательно,
|Т (А')—Г (Л") К *¦
Так как А произвольно, то отсюда вытекает
непрерывность f (/г) везде, за исключением, быть может, h = т°^° ,
Чтобы рассмотреть точку h= m •> будем рассуждать
следующим образом. Используя вышеприведенное
доказательство и определения D.9), D.10), можно доказать, что f (h)
непрерывна справа в точке h =• wogo-. Используя в точке
определение T(A|D(A)) при /г<-^-, т. е.
Dл2)
а также D.10) и D.11), можно доказать, что f(h) —
непрерывна слева от h = °^° . Это доказывает утверждение а)..
\&1
Докажем с). Предположим, что для /г0 > А имеет место
го) = О. Так как
{- WxEt Op | 5* (Ао)) - cCt (п 15* (Ао))} < 0,
то будем иметь
-с?0(я|S*(%))} >0.
303

Тогда при помощи рассуждений, подобных тем, которые
были использованы при доказательстве леммы 2, можно
показать, что т (А) > 0 для ¦ 0^° < A < Ао. Это, однако, не-
возможно, так как противоречит определению А.
Подобным же образом можно доказать, что если А < Вч
то т(А)<0. Это доказывает утверждение с). Лзмма доказана.
б. Поведение Л и ft Лемма 4. Пусть заданы g и с.
Тогда А а В — непрерывные функции Wo и W\.
Доказательство. Достаточно доказать
непрерывность Л. Непрерывность В доказывается аналогично.
Предположим, что А > В, Пусть hx и А2 выбраны так,
что
a) В < At < А < А2.
b) h2 — Aj < Д. где Д — некоторое произвольное
положительное число. Будем вместо f (h) временно писать f (A, Wo, W,),
чтобы подчеркнуть ее зависимость от Wo и Wt. Тогда
t(h2,W0,Wi)<0.
Из D.9) следует, что ^(h\D{h)) непрерывна по №0, Wx
равномерно относительно D(h). Следовательно, f (/г, Wo, Wl) =
= supT(^, D(h)) также непрерывна по Wo и Wv т. е. для
D(h)
достаточно малых LW0 и
Т(А2> l^o + Д^о. W,
Таким образом,
что и доказывает непрерывность, так как А было
произвольным.
Если ^±=А = В, то возьмем А, < -Jpf?- < А
А2 — Aj < А; путем аналогичных рассуждений можно
показать, что
Т(А1§
304

Таким образом,
Лемма доказана.
Лемма 5. Пусть g, с и Wt фиксированы. А зависит
от Wo строго монотонно. Когда Wo стремится к О, А
также стремится к 0; когда Wo стремится к -+-оо, А
также стремится к -f-oo.
Доказательство. Поскольку А^ *^° , то Л-юо,
когда Wo -> оо. Если Wo < с, то взятие хотя бы одного
наблюдения никак не уменьшит средний риск, какова бы ни
была величина h. Следовательно, при Wo < с имеем 7(h)^Q
для всех Л, так что А = В. Поскольку В ^ ш°^~» то 5->0
при Wo-+0. Таким образом, Л->0 при Wo-+0. Из D.9)
видно, что т (h\D(h)) не убывает с ростом WQ (все
остальное фиксировано). Поэтому функция
T(*) = supT(ft|D(ft))
D{h)
также не убывает при возрастании Wo и фиксированных
Л > W/Q^° и Wle Для достаточно малого положительного А
и для любого h такого, что Л<Л<Л-{-Д» имеем
Следовательно, для таких /г f (^, Wo, Wx) строго возрастает
с ростом Wo. Таким образом, А (строго) монотонно
возрастает с ростом Wo.
Теперь определим функцию WQ(Wl4 8) двух
положительных аргументов Wit Ь так, что
A(WO(WV 8), ^) = 8.
Из леммы 5 следует, что такая функция существует и
однозначна.
6. Свойства функции WO(WV S). Докажем лемму.
Лемма 6. U^oO^i' 8) непрерывна по Wv
Доказательство. Пусть
Mm W1M=Wи
АГ>оо
и предположим, что последовательность {W0(WiMi 8)} не
сходится. Предположим, что W'Q и W^—две различные предельные
335

точки этой последовательности. Из непрерывности А (лемма 4)
следует, что
Это, однако, противоречит лемме 5. Единственная
возможность, которая должна быть рассмотрена, такова:
\imWo(Ww, 8) = со.
Если это имеет место, то из Л ^ ¦ :у/°^° будет следовать А -+ со
что противоречит тому факту, что
Лемма 7. Для фиксированного 8 имеем
lim Wo (Wx) = О, lim Wo (WJ = со.
W0 У^
Доказательство. Если при малых Wt функ-
ограничена снизу положительным числом, то
в силу А^ *° ^ '*' можем сделать А произвольно
большим, выбрав Wx достаточно малым, а это противоречит тому,
что А = 8. Для доказательства второй части леммы
допустим, что WO(WX) ограничена сверху при Wx—>oo. Тогда
Д(<^ тГ/°^° ) будет стремиться к нулю при Wx-+oo. Пусть h
фиксировано таким образом, что В < h < 8. Рассмотрим
множество точек to, для которых существует целое число п* (со)
такое, что
hrn* < В,
В < hrj < 8, ] < п\
Условное математическое ожидание величины п* по этому
множеству при гипотезе Яо можно сделать как угодно
большим, если взять В достаточно малым. Таким образом, при
достаточно большом Wx и при фиксированном произвольном
h < 8 оптимальная процедура с точки зрения минимума
среднего риска состоит в том, что сразу же без дополнительных
наблюдений отвергается Яо. Это, однако, противоречит тому,
что h < 8; лемма доказана.
Лемма 8. Для фиксированного 8>0 имеют место
lim B(WO(WV 8), Wr1) = 8,
lim 3(WO(WV 8), W1) = 0*
300

Доказательство. По лемме 7
Hm Wo(yi) = 0.
Если при фиксированном с оба Wo и W] достаточно малы,
то, независимо от величины /г, т (/г) < 0. Отсюда Л = В, что
и доказывает первую половину леммы.
Пусть теперь {WlN} есть такая последовательность, для
которой HmWiAf=oo. Пусть 8>1. Для краткости будем,
писать B(W1N) вместо
В (У о (У м-*). Win)-
Предположим, что для достаточно большого N B(W1M)
ограничена снизу положительным числом. Тогда для достаточно
большого N вероятность отвергнуть Hl9 когда она верна,
ограничена снизу положительным числом. Более того,
поскольку ?<; ogo <М, то для достаточно большого N от-
ношение ¦ ,м ° ограничено снизу и сверху положительными
константами. Таким образом, для достаточно большого N
средний риск критерия, определенного при помощи B(WiN)i
8 больше, чем иё^1Ы> где и — положительная константа,
не зависящая от N. Более того, по определению B(W1N) этот
риск минимален.
Пусть s такое произвольное положительное число, что
е 1 TP70iV ° + 1 1 < тг для всех достаточно больших N. Пусть
Vls V2, причем 0 < Vj < 1 < 1^2» такие константы, что
определенный при их помощи последовательный критерий
отношений вероятностей имеет сс0 и а1$ меньшие е. Величины ЕОп
и Е1п конечны и определены этим критерием. Для этого
критерия средний риск меньше, чем
Tu) + cgoEOn
для достаточно больших W1Mt Это противоречит тому факту,'
что минимальный риск > ugxW1N; лемма доказана.
7. Доказательство теоремы. Пусть заданный последо-"
вательный критерий отношений вероятностей определен при,
помощи B*t Л*, В* < 1 < А*. Пусть аД50) есть соответствую-
307

щая 50 вероятность брако&ки Ht, когда они верна. Пусть с
фиксировано. По лемме 4 В есть непрерывная функция WQ
и W{. Пусть в лемме 8 Ь = А*. Тогда существует такая
пара Wo> ~Wt (W0 = W0(Wlt Л*)), что
B(W0, WX) = B\
Таким образом, средний риск
соответствующий последовательному критерию So, минимален.
Пусть теперь 5Х есть другой критерий для выбора между HQ
и Hv причем
<xt (So) (/=1,2) и Е) (п) существует.
Тогда
" 2giWfli(So) + cE\(n)]<2ft[ГЛ(Sd + cE- (n)l
Так как a^S^^a^SQ), то
2 */??(*)< 2 */*/(*)¦
Здесь g0, gx были выбраны произвольно (при очевидных,
конечно, ограничениях). Таким образом,
??(*)<?} (л).
Это и есть доказываемый результат.
ОСНОВНЫЕ ИДЕИ ОБЩЕЙ ТЕОРИИ
СТАТИСТИЧЕСКИХ РЕШЕНИЙ 1)
А. Валъд
\. Введение. Математическая статистика чрезвычайно
сильно развилась за последние 30 лет. Математическая
статистика развивалась главным образом двумя школами:
школой Р. А. Фишера и школой Неймана и Пирсона. Вопросы,
!) Перевод статьи A. W а 1 d, Basic ideas of a general theory
of statistical decision rules, т. I, Proceedings of the International
congress of Mathematicians, 1950. (Прим. ред.).
308

разрабатываемые этими школами, касались в основном
различных критериев наилучшего использования наблюдений для
проверки статистических гипотез и оценок параметров
распределений. В этой связи нам хотелось бы упомянуть об
основных понятиях эффективности и достаточности,
введенных Фишером, и о понятии мощности критериев, введенном
Нейманом и Пирсоном. Нет необходимости подробно
останавливаться на важности этих понятий, так как это хорошо
известно статистикам.
Около 10 лет назад статистические теории, за
исключением небольшого числа отдельных результатов, были
недостаточны в двух важных пунктах: 1) эксперимент состоял
из одной стадии, т. е. число наблюдений фиксировалось до
эксперимента, 2) рассматривались лишь два типа задач
статистических решений, известные в литературе под именем
проверки гипотез и оценки точек и интервалов. В течение
нескольких последующих лет развилась общая теория
статистических решений х), свободная от этих недостатков. В этой
теории рассматриваются эксперименты, состоящие из многих
стадий, и изучаются общие статистические проблемы, в
которых статистик должен принять одно из многих решений.
Мне хочется описать принципы этой общей теории и
некоторые ее результаты.
Любая задача статистического решения формулируется
относительно некоторой последовательности Х = {Xt)
(/=1, 2, .. ¦) случайных величин. Для произвольной
последовательности действительных чисел x={xt} (/=1, 2, . . .)
через F (х) обозначим вероятность того, что Хь < х{ для
всех целых положительных значений /. Функция F (х)
называется функцией распределения вероятностей X. Типичная
черта любой задачи статистического решения заключается
в том, что F неизвестна. Известно лишь, что F
принадлежит некоторому классу Q функций распределения. Класс 2
должен рассматриваться как данное задачи. Другим данным
этой задачи является пространство Д называемое
пространством решений, элементы которого d представляют
собой возможные решения, которые может сделать статистик
в этой задаче.
В этой работе для простоты будем полагать, что 1) каждая
функция F класса 2 абсолютно непрерывна, т. е. существует
1)См., например, A. Wald, Statistical decision function, J. Wiley
& Sons, New York, 1950.
309

плотность вероятности, 2) пространство D содержит
конечное число элементов dlt . .., dk, 3) эксперимент
производится последовательно. На первой стадии эксперимента
наблюдается величина Xv После того как была наблюдена
величина Xlt статистик решает, закончить ли эксперимент
и принять некоторое решение d или наблюдать величину Х2.
В последнем случае после наблюдения величин Хх и Х2
статистик снова решает, закончить ли эксперимент, приняв
решение d. или наблюдать величину Х3, и т. д.
В общей теории, изложенной в цитированной выше
работе (см. сноску на стр. 309), условия, которым должны
удовлетворять пространства 2и Д значительно более
слабые. Приведенные выше условия вводятся здесь лишь для
простоты изложения.
Решающее правило 8, т. е. правило выполнения
эксперимента и принятия окончательного решения, определим при
помощи последовательности действительных измеримых по
Борелю функций bim(x1 хт) (/ = 0, 1, ..., к\ т = 0,
1, 2, ...), где хг, х2> ..., хт — действительные переменные,
а функции Ь1т удовлетворяют условиям
**»><>. 2 8^=1 (/ = 0. 1. .... к; т = 0, 1, 2, ...).
A.1)
Решающее правило определим следующим образом.
Пусть xt обозначают наблюденные значения величин Xt. На
каждой стадии эксперимента (после т наблюдений, где т —
любое целое число) рассматриваем функции 8От (хг хт),
Sim (*1 *т)> • • • ' 8*т (*1 Хт) и затеМ ПРОИЗВОДИМ
вспомогательный случайный эксперимент с исходами 0, 1,
2, ..., &,• причем вероятность исхода / равна bim. Если
исходом явится / > 0, прекращаем эксперименты и
принимаем решение dt. Если исходом явится 0, делаем
дополнительное наблюдение (наблюдаем величину Хт+1) и повторяем
такую же процедуру, используя на этот раз функции 8Ojm41,
Кт + 1> •••• 8*,т+1» и Т- Д-
Описанное решающее правило может быть названо
рандомизированным правилом, так как на каждой стадии
эксперимента используется случайный механизм для решения
вопроса о прекращении испытаний и принятии решения или
о проведении дополнительных наблюдений.
Специальный случай, когда функции Ь1т принимают только
значения 0 и 1, особенно интересен, так как в этом случае
310

на каждой стадии эксперимента решение принимается
исключительно на основе наблюденных величин и не связано ни
с каким случайным механизмом.
Мы назовем правило решения 8={8/т}
нерандомизированным, если функции 8/т принимают лишь значения 0 и 1.
Вопрос о достаточности одних нерандомизированных правил
для целей статистических решений важен и интересен. Мы
возвратимся к этому вопросу позже.
2. Функции потерь, стоимости и риска. Основная
проблема теории статистических решений заключается в
выборе решающего правила 8. Чтобы судить о сравнительной
ценности различных решающих правил, необходимо
установить стоимость эксперимента, а также сравнительную
характеристику различных решений, которые могут быть приняты,
если функция F из Q является истинным распределением.
В качестве такой характеристики можно выбрать
неотрицательную функцию W(F, d), называемую функцией потерь,
которая характеризует «убыток», понесенный статистиком,
принявшим решение dt если F является истинным
распределением X. В большинстве задач статистических решений
каждый элемент d из D можно интерпретировать как
решение принять гипотезу о том, что неизвестное
распределение F является элементом некоторого данного подкласса (о^
в 2. В таких случаях полагаем W(F, d/) = 0, если F?(oit
и > 0, если F (? o>j. Стоимость эксперимента может быть
представлена последовательностью [Ст(х19 ..., хт)} (т=.
= 1, 2, ...) неотрицательных функций, где Cm(xv ..., хт)
есть стоимость эксперимента, если он состоял из т
наблюдений, ахг были наблюденными значениями^ (/=1 т).
Функции потерь и стоимости эксперимента должны
рассматриваться как данные задачи статистического решения.
Функция стоимости Ст (xit ..., хт) предполагается, конечно,
измеримой по Борелю.
Пусть р(т, dt\b, xx хт) обозначает условную
вероятность того, что после т наблюдений будет принято
решение dt. если 8 принятое решающее правило, а ^~
наблюденные значения Xj (j=l, .... т). Очевидно
р(т, dt\b, xt хт) =
= 80(A)l(*l) .^ Vm-l(*L *«-l) */*,(*!. •¦•• **)• С2'1)
Для любого целого положительного числа т через
/ C*i» х%> • • •» хт\ F) обозначим совместную плотность
ЗП

распределения вероятностей величин Xv ,.., Хт> если F
является истинной функцией распределения вероятностей X,
Среднее значение потерь, т. е. среднее значение величины
W{F, d), зависит только от распределения F и принятого
решающего правила 8. Оно дается выражением
k
S
X/(*i. .... xm\F)dxx... dxmt B.2)
где Rm обозначает пространство всех /я-мерных векторов
(х х )
Средняя стоимость эксперимента зависит только от
истинного распределения F и принятого решающего правила о.
Она дается формулой
со k
%Ст(х19 ..., хт)р(т, dt\b, xx хт)Х
Xf(xv .... xm\F)dx1 ... dxm. B.3)
Пусть
г (г, 8) = r1(r, 8)-j-r2(r, о). B.4)
Величина r^, 8) называется риском при условии, что
Т7—истинное распределение, а 8 — принятое решающее
правило. Для любого фиксированного решающего правила 8°
риск является функцией лишь F. Будем также называть
r(Ft 8°) функцией риска при заданном правиле решения 8°.
Интересно сравнить различные правила решений,
основываясь только на связанных с ними функциях риска. Мы
скажем, что решающее правило 81 равномерно лучше
решающего правила 82, если г (F, 81) ^ г (F, 82) для всех F и
r(F, 81)<r(/7, 82) хотя бы для одного элемента F из 2.
Решающее правило 8 называется допустимым, если не
существует равномерно лучших решающих правил. Два
решающие правила 81 и 82 назовем эквивалентными, если они
имеют одинаковые функции риска, т. е. r(Ft 81) = г(/7, 82)
для всех F из 2, Для любого е > 0 назовем решающие
правила 81 и Ь2 г-эквивалентными, если | г (F, 81) — г (F, 82) | ^ s
для всех F из Q.
312

3. Устранение рандомизации при конечных 2.
Дворецким, Вольфовицем и автором *) было доказано, что при
конечном 2 для каждого решающего правила В существует
эквивалентное решающее нерандомизированное правило 8*.
Таким образом, в этих случаях можно избавиться от
рандомизации и достаточно рассматривать только
нерандомизированные решающие правила. Подобный результат для несколько
более специального класса рандомизированных решающих
правил был получен независимо Блэквеллом 2).
Доказательство основано на обобщении теоремы
Ляпунова 3) о пространстве векторных мер. Непрерывность
распределения Хх (вытекающая из нашего допущения об
абсолютной непрерывности F) существенна для
сформулированных выше результатов. В случае разрывных распределений
могут существовать рандомизированные решающие правила
с функциями риска, имеющими некоторые предписанные
свойства, которые нельзя получить при помощи какого-либо
нерандомизированного решающего правила.
Конечность пространства Q является очень стеснительным
предположением, которое редко выполнено в задачах
статистических решении. Однако при более общих условиях,
которые обычно выполнены в задачах статистических
решений, возникающих в приложениях, было показано х), что для
любого решающего правила 8 и для любого е > 0
существует 8-эквивалентное нерандомизированное решающее
правило Ь.
Интересный результат о возможности устранения
рандомизации, в несколько иной постановке задачи, был
недавно найден Ходжесом и Леманом4). Они доказали, что
в случае, когда задача статистического решения есть задача
оценки точки, D — евклидово пространство и функция потерь
W (F, d) есть выпуклая функция d при любом F, для любого
рандомизированного решающего правила 8 (с ограниченной
функцией риска) существует нерандомизированное решающее
1) A. Dvoretzky, A. Wald and J. Wo If о w Hz,
Elimination of randomization in certain statistical desision procedures and
zero-sum two person games, Ann. of Math. Stat., 22 A951).
a) D. В 1 а с k w e 11, On a theorem of Liapunoff, Ann. of Math.
Stat., vol. 22 A951).
3) A. Liapunoff, Sur les fonctions-vecters completement
additives, Bull. acad. Sci. URSS, ser. math. 4 A940).
*) J. L. Hodges and E. L. Lehman, Problem in minimax
point estimation, Ann. of Math. Stat., 21 A950).
21 Зак. 1119. А. Вальд 313

правило 8* такое, что r(F, 8*)^>(/\ 8) для всех F из Q.
Заметим, что ни конечность 2, ни непрерывность его
элементов F не необходимы для получения этого результата.
4. Определение сходимости в пространстве решающих
правил и некоторые теоремы непрерывности.
Естественное определение сходимости в пространстве решающих
правил, казалось бы, должно быть таким: lim В^ == 8°, если
\\тр(т, dt\b\ xu ..., хт) =
=р(т. d,|8°, xi9 .... хт)
для всех т, всех />0 и всех xlt ..., хт. Это
определение сходимости, однако, слишком сильно для наших
целей. Вместо него примем следующее определение; мы
скажем, что
Нт8'==8°, D.1)
если
lim 8?о = Ь% (/ = 0, 1 k) D.2)
и
р (т, dt | 8*% xlt ..., хт) dxx ... dxm =
= fp(m9 d^Jo, xi9 ..., xjdx, . .. dxm D.3)
(/ = 0, 1 ft; 111=1. 2, ...)
для каждого измеримого множества Sm в пространстве всех
/я-мерных векторов (xlt ..., #m).
Было показано х), что при таком определении сходимости
справедлива следующая теорема.
Теорема 4.1. Пространство всех решающих
правил компактно, т. в. всякая последовательность {v\
(у=1, 2, ...) решающих правил имеет предел.
*) См., например, теорему 3.1 из работы A. W а 1 d, Statistical
decision function, N. Y., 1950. Теорема 3.1 в действительности более
сильная и доказывается сложнее, так как D не предполагается
конечным.
914

Эта теорема есть простое следствие известных теорем
о слабой компактности множества функции *).
Прежде чем перейти к теоремам о непрерывности,
сформулируем два условия, налагаемые на функции потерь и
стоимости.
Условие I. W(F9 dt) есть ограниченная функция F
для 1= 1, 2, .... k.
Условие II. Функция стоимости имеет следующие
свойства: 1) Ст(хх л:т)>0, 2) Ст+г(х1% ..., xm+1)>
^>Ст(х1, ..., хт), 3) Cm(xt, ..., хт) есть ограниченная
функция переменных хи .... хт для каждого
фиксированного т, 4) Нт Ст (х1У ..., хт) = оо равномерно по всем
т>оо
Хи . . ., Хт.
Следующая теорема о непрерывности была доказана
ранее 2).
Теорема 4.2. Пусть {bf} G = 0, 1, 2, ,..) есть
такая последовательность решающих правил, что
lim Sy = 8°, и
/>оо
&00&01 (Xl) §02 (ATI, Х2) ... Ь(М(ХХ XN) = 0
t/ = 0, 1, 2, ...)
для всех xv .... xN при некотором целом
положительном N. Тогда, если условия I и II выполнены, имеем
lim r (F, bJ) = 8° для всех F.
У>оо
Теорема 4.3. Если lim 8^ = 8° и если условия I и II
/>оо
выполнены, то lim inf r(/^, bJ^)^r(F, 8°) для всел; F.
5. Байесовские и минимаксные решения в задачах
статистических решений. В этом пункте рассмотрим
байесовские и минимаксные решения и некоторые их свойства.
Эти решения представляют не только самостоятельный
интерес, но играют также важную роль в построении
различных классов решающих правил в следующих разделях статьи.
Начнем с некоторых определений.
*) См., например, теорему 17 в (стр. 33), помещенную в работе
D. V. W i d d е г, The Laplace transform, Princeton, Princeton
university Press, 1946.
5) A. W a 1 d, Statistical decision function, N. Y., 1950.
21* 315

Под априорным распределением вероятностей ? на Q
будем понимать неотрицательную и счетно-аддитивную
функцию множеств fj, заданную на соответствующем образом
выбранном борелевском поле подмножеств Q, причем ?B) = 1.
Борелевское поле выбирается таким образом, чтобы r(F, 8)
была измеримой функцией F для каждого фиксированного о.
Для любого априорного распределения вероятностей ?
положим
f{F, b)dt E.1)
Говорят, что решающее правило 8° является байесовским
решением относительно априорного распределения ?, если
г*(?, 8°) = minr*(?, 8). E.2)
Говорят, что решающее правило 8° есть байесовское
решение в строгом смысле, если существует такое
априорное распределение I, что 8° есть байесовское решение
относительно ?.
Говорят, что правило 8° есть байесовское решение
относительно последовательности {^} (/=1, 2, ...) априорных
распределений, если
lim [г* (Е,, 80) _ inf г* ft, 8I = 0, E.3)
s
где символ inf обозначает нижнюю грань относительно 8.
б
Мы скажем, что решающее правило 8° есть байесовское
решение в широком смысле, если существует
последовательность {?/} априорных распределений, так что 8° есть
байесовское решение относительно {^}.
Решающее правило 8° называется минимаксным
решением, если
supr(F. 80)<supr(/\ 8) E.4)
F F
для всех 8, где символ sup означает верхнюю грань отно-
F
сительно F.
Априорное распределение ?0 называется наименее благо*
приятным, если удовлетворяется соотношение
inf г*(?0, 8) > inf /•*& 8) E.5)
а ь
для всех S.
316

Причина того, что априорное распределение ?0,
удовлетворяющее этому соотношению, называется наименее
благоприятным, такова: если априорное распределение Е
действительно существует и известно статистику, то
байесовское решение 8, соответствующее ?, представляет собой
удовлетворительное решение задачи статистического
решения, так как 8 минимализирует средний риск (усредненный
в соответствии с априорным распределением ?). Минимум
среднего риска, который может быть получен, будет, вообще
говоря, различным при различных априорных распределениях,
и априорное распределение ? может рассматриваться тем
менее благоприятным с точки зрения статистика, чем больше
средний риск, связанный с распределением ?. Таким
образом, априорное распределение, удовлетворяющее E.5),
будет наименее благоприятным с точки зрения статистика.
Приведем некоторые результаты, полученные для
байесовских и минимаксных решений1).
Теорема 5.1. Если выполнены условия I и II, то для
любого априорного распределения % существует
решающее правило 8, являющееся байесовским решением
относительно ?.
Теорема 5.2, Если выполнены условия I и II, то
существует минимаксное решение.
Эти теоремы существования могут легко быть получены
из теорем п. 4. При помощи этих теорем можем также
доказать более сильный результат о том, что существует
допустимое байесовское и допустимое минимаксное решение.
Теорема 5.3. Если выполнены условия I и II, то
минимаксное решение всегда является байесовским в
широком смысле.
Теорема 5.4. Пусть 8° есть минимаксное решение
и ?0 — наименее благоприятное априорное
распределение; тогда, если условия I и II выполнены, то 8° есть
байесовское решение относительно ?0, а множество о>
функций из 2, для которых r(/\ b°) = snpr(F, 8°), имеет
вероятностную меру 1 относительно ?0.
Из последней части теоремы 5.4 вытекает, что функция
риска минимаксного решения имеет постоянную величину
на множестве со из 2, вероятностная мера которого
относительно каждого наименее благоприятного априорного
!) Более детальное рассмотрение и доказательство см. в § 3.5
работы A. W а 1 d, Statistical decision function, N. Y., 1950.
317

распределения ? равна 1. Во многих задачах статистических
решений функция риска минимаксного решения постоянна на
всем пространстве 2.
Несколько дополнительных результатов могут быть
установлены, если выполняется следующее добавочное условие.
Условие III. Пространство 2 является
компактным, а функция потерь W(F, d) непрерывна по F в
смысле следующего определения сходимости в 2: скажем,
что Y\mFi = FQ, если для любого положительного т
имеет место соотношение
lim ff(xl9 ..., xm\Fi)dx1 ... dxm =
1 ••• dx
равномерно для всех измеримых подмножеств Sm в про-
странстве всех т-мерных векторов (xv ..., хт).
Теорема 5.5. Если выполнены условия I, II и III, то
существует наименее благоприятное априорное
распределение.
Доказательство этой теоремы основано на том факте,
что множество всех вероятностных мер на компактном
пространстве 2 компактно в смысле следующего определения
сходимости: lim ?,• = ?(), если lim ^ (ш) = ?0 С00) Для любого
открытого подмножества со пространства 2, граница
которого имеет относительно ?0 вероятностную меру нуль. Этот
результат был доказан авторомх). Близкий к этому
результат был получен Крыловым и Боголюбовым2). Их
определение сходимости в пространстве вероятностных мер несколько
отличается от используемого здесь.
Теорема 5.6. Если выполнены условия I, II, и III,
то минимаксное решение всегда является байесовским
решением в строгом смысле.
Эта теорема является прямым следствием теорем 5.4
и 5.5.
1) См. теорему 2.15, стр. 50, из работы A. W а 1 d, Statistical
decision function, N. Y., 1950.
2) N. К г i 1 of f and N. В о go 1 i о u b of f, La theorie gene-
rale de la mesure dans son application a Petude systemes dinami-
ques de la mecanique non-lineaire, Ann. of Math., 38 A937).
318

6. Полные классы решающих правил. Класс С
решающих правил 8 называется полным, если для любого не
принадлежащего С правила 3 в С найдется равномерно лучшее
правило 8*. Мы будем говорить, что класс С решающих
правил является существенно полным, если для любого не
принадлежащего С правила 8 в С найдется такое правило
8*, что г(/\ 8*) ^г(/\ 8) для всех F из 2.
Очевидно, что если С — полный или, по меньшей мере,
существенно полный класс решающих правил, то мы можем не
рассматривать правил, не принадлежащих С, и задача выбора
решающего правила сводится к задаче выбора определенного
элемента из С. Таким образом, построение полных или
существенно полных классов решающих правил имеет важное
значение для любой задачи статистического решения.
Первый результат, касающийся полных классов
решающих правил, получен Леманом*), который построил такой
класс для одного специального случая. Вскоре после
появления работы Лемана был получен ряд весьма общих
результатов. Чтобы сформулировать некоторые из этих
результатов, обозначим через А множество всех решающих правил 8
с ограниченными функциями риска. Будем говорить, что
класс С решающих правил является полным или существенно
полным относительно А, если соответствующие условия
выполнены для каждого 8 из А. Автором2) был доказан
следующий результат.
Теорема 6.1. Если выполнены условия I и И, то
класс байесовских решений в широком смысле является
полным относительно А.
Теорема 6.2. Если выполнены условия I и II, тогда
замыкание класса всех байесовских решений в строгом
смысле является существенно полным относительно Д.
Теорема 6.3. Если выполнены условия I, II и III,
то класс всех байесовских решений в строгом смысле
является полным относительно А.
Во избежание неясностей заметим, что понятие
байесовского решения и априорного распределения используется
здесь просто как математический инструмент для выражения
некоторых результатов, касающихся полных классов
решающих правил; действительное существование рассматриваемых
здесь априорных распределений совершенно необязательно.
1) Е. L. Lehman, On families of admissible tests, Ann. of
Math. Stat., 18 A947).
2) A. W a 1 d, Statistical decision function, N. Y., 1950.
319

7. Применение к теории игр Неймана. Теория
статистических решений в том виде, в котором она была
изложена здесь, тесно свазана с неймановской теорией игр
двух игроков с нулевой суммой1). Нормальная форма игры
двух игроков с нулевой суммой была дана Нейманом в
следующем виде. Имеется два игрока и задана ограниченная
действительная функция К (и, v) двух переменных а и v,
где а может быть любой точкой пространства U, a v —
любой точкой пространства V. Игрок / выбирает точку и
из U, а игрок 2 выбирает точку v из V, причем точки
выбираются независимо. Игрок / при этом выигрывает сумму
К (и, v), а игрок 2— сумму —К (и, v).
Любая задача статистического решения может
рассматриваться как игра двух игроков с нулевой суммой. Игрок /
представляет собой некоторую внешнюю силу, например
природу, которая выбирает элемент F из Q и делает его
истинным распределением X, а игрок 2, являющийся
статистиком, выбирает решающее правило 8. Выигрыш дается
функцией риска r(F, 8), которая зависит от выбора природы F
и выбора статистика 8. Теория игр с двумя игроками и
нулевой суммой была развита Нейманом для конечных
пространств U и V. В задачах статистических решений, однако,
число стратегий природы (число элементов 2) и число
стратегий статистика (число решающих правил) обычно
бесконечны. Многие результаты теории статистических решений
могут быть получены обобщением неймановской теории на
случай бесконечных пространств стратегий. В частности,
автором2) было показано, что если выполнены условия I
и II, то задача статистического решения, рассматриваемая
как игра двух игроков с нулевой суммой, является строго
определенной в смысле неймановской теории, т. е.
supinfr*(S, 8) = infsupr*($, 8). GЛ)
5 S 5 5
Это соотношение играет фундаментальную роль в теории
игр с двумя игроками и нулевой суммой. В теории
статистических решений это соотношение является основным при
1) J. von Neumann and О. Morgenstein, Theory of
games and economic behaviour, Princeton, Princeton University Press,
1944.
2) A. Wald, Statistical decision function. N. Y., 1950.
320

установлении результатов, касающихся полных классов
решающих правил, но особого самостоятельного интереса не
представляет.
8. Некоторые специальные случаи. Мне хочется кратко
остановиться на применении общей теории к некоторым
специальным случаям.
Предположим, что 2 состоит из двух элементов: Fx
и F2. Пусть случайные величины Xv Х2, . . . независимы
и их совместному распределению Ft соответствует плотность
распределения каждой из них ft(t) A=1, 2). Пространство
решений D содержит два элемента: dx и d2, где dt означает
решение принять гипотезу о том, что Ft является истинным
распределением (/= 1, 2). Пусть функция потерь W(Fiy B;.) =
= Л1у>0, если / Ф у, и =0, если t = j. Стоимость
эксперимента установим пропорциональной числу наблюдений,
т. е. Cm(xv ..., хт) — ст, где с — стоимость единичного
наблюдения.
Априорное распределение дается парой неотрицательных
чисел E1э ?2), ГД$ $1 + ?2==:^- Величина %t определяет
априорную вероятность того, что Ft — истинное распределение.
Вольфовицем и автором было показано1), что любое
байесовское решение должно быть решающим правилом следующего
типа. Пусть Xj — наблюденное значение величины Xj пусть
(8л)
Выберем две константы а и Ъ (Ь < а) и на каждой
стадии эксперимента (после т-го наблюдения, где m — любое
целое число) подсчитываем накопленную сумму Zm = гг-\- ...
... +2т. Как только нарушится соотношение Ъ < Zm<a,
прекращаем эксперимент2). Если при этом Zm^b, то
принимаем решение dx (принимаем гипотезу о том, что
истинным распределением является Ft), если же будет Zm °^> а,
принимаем решение d2 (т. е. гипотезу о том, что истинным
распределением является F2). Решающее правило этого типа
называется последовательным критерием отношений
вероятностей.
1) A. Wald and J. Wolfowitz, Optimum character of the
sequential probability ratio test, Ann. of Math. Stat., 19 A948).
(Перевод этой статьи помещен в дополнениях к настоящей книге.
Прим. ред.)
2) Если Zm — а или Ь, то статистик может использовать
любой случайный механизм, чтобы решить, прекратить ли
эксперимент или сделать дополнительное наблюдение.
321

Применяя теоремы о полных классах к этому случаю,
можно получить следующий результат. Класс всех
последовательных критериев отношений вероятностей,
соответствующий всем возможным значениям постоянных а и Ь, является
полным классом. Это означает, что если 5 — произвольное
решающее правило, не являющееся последовательным
критерием отношений вероятностей, то существует такая пара
чисел а и Ь, что последовательный критерий отношений
вероятностей с константами а и b равномерно лучше Ъ х).
Вследствие полноты класса всех последовательных
критериев отношений вероятностей задача выбора решающего
правила сводится к задаче выбора значений констант а и Ь.
Метод определения констант а и Ьу при которых
последовательный критерий отношений вероятностей является
минимаксным или байесовским решением относительно данного
априорного распределения, рассматривался Арроу, Блэку-
эллом и Гиршиком2).
Свойства последовательных критериев отношений
вероятностей изучены довольно широко. Недавно возникший
последовательный анализ3) основывается на
последовательном критерии отношений вероятностей. Интересно заметить,
что стохастический процесс, возникающий в
последовательном критерии отношений вероятностей, тождественен с
процессом одномерных случайных блуждений, играющем
важную роль в молекулярной физике.
Теперь рассмотрим случай, когда Q содержит конечное
число элементов большее двух. Достаточно рассмотреть
случай, когда 2 содержит 3 элемента Fv F2 и Fs, так как
обобщение на случай любого числа элементов > 3
трудностей не представляет. Как и выше, случайные величины
Xv Х2у . . . независимы, причем плотность распределения
каждой из них равна ft{t\ если Ft является истинным
распределением (/=1, 2, 3). Пространство решений содержит
!) Этот результат следует также из оптимальности
последовательного критерия отношений вероятностей, доказанной в работе,
упомянутой в сноске 1) на стр. 321.
2) К. J. Arrow, D. В 1 а с k w е 11 and M. A. G i r s h i к, Bayea
and minimax solution of sequential decision problems, Econometrica,
17 A949).
3) См., например, работы A. W a I d, Sequential analysis, New
York, J. Wiley u. Sons, 1947 (перевод этой работы и составляет
основное содержание данной книги. Прим. ред.) и Statistical
research Group, Columbia university, Sequential analysis oi statistical
data and applications, New York, Columbia University Press, 1945»
322

также три элемента dlt d2, d3, где di означает решение
принять гипотезу о том, что истинным распределением является Ft.
Пусть W(Fit d/) = WiJ = 0, если l = j\ и > 0, если 1Ф}>
Стоимость эксперимента опять установим пропорциональной
числу наблюдений, положив стоимость единичного
наблюдения равной с. Любое
априорное распределение ? = (J1,?2, ?3)
может быть представлено
точкой с координатами S1, Е2 и ;3.
Множеаво всех априорных
распределений при этом
заполняет треугольную область Т
с вершинами V,, V2 и V3, где
Vt представляет априорное
распределение с 1-й компонентой Е/э
равной 1 (рис. 17).
Чтобы построить полный
класс решающих правил для
этой задачи, необходимо
определить байесовское * решение,
еоответствующее любому
данному априорному распределению 50 ===== (So. So. So). Пусть xt
обозначает наблюденное значение величины Xt. После m
наблюдений можем построить апостериорное распределение
*« = (&• &• ?m)> имеющее вид
Рис. 17.
(8.2)
На любой стадии эксперимента апостериорное распределение
представляется точкой треугольной области Г.
Вольфовицем и автором было показано х), что в области Т
можно выбрать три таких замкнутых и выпуклых множества
Slt S2 и S3 (не зависящих от априорного распределения ?0),
что байесовское решение, соответствующее ?0, будет
представлять собой следующее решающее правило. На каждой
стадии эксперимента (после m наблюдений, где т = 0, 1,
2, . . .) определяется точка \т в области Г. Новые
наблюдения производятся до тех пор, пока \т не попадает в одно
1) A. W а 1 d and J. W о 1 f о w i t z, Bayes solution of sequential
decision problem, Ann. of Math. Stat. 21 A950).
323,

из множеств Su S2 и 53. Если \т попадает внутрь области S?,
эксперимент прекращается и принимается решение di(t=:
= 1,2, 3). Если im попадает на границу области St, вопрос
о прекращении эксперимента и принятии окончательного
решения или о продолжении дальнейших наблюдений решается
при помощи независимого случайного механизма.
Выпуклые множества Slt S2 и S3 зависят только от
констант Wi;- и с. Пока не существует метода для точного
построения множеств Sv S2 и 53 по заданным величинам Wlf
и с*). Развитие метода для точного построения множеств
Sl9 S2 и S3 имело бы чрезвычайно большую ценность, так
как оно, вероятно, указало бы пути преодоления подобных
трудностей в большом числе других задач последовательных
статистических решений.
Более общие результаты о байесовских решениях при
допущении также нелинейных функций стоимости были
получены Арроу, Блэкуэллом и Гиршиком 2).
В качестве последнего примера рассмотрим следующую
задачу статистического решения. Известно, что Xi9 Х2, ...
независимые и одинаково распределенные величины.
Распределение каждой из них прямоугольное. Средняя точка б
распределения является единственным неизвестным параметром,
т. е. плотность распределения каждой из величин Хи Х2% .. ¦
имеет вид
f 1. когда |* — б|<1
/(*. 8) = < 2 (8.3)
(О в остальных случаях.
Для любой действительной величины б* обозначим через de*
решение принять б* в качестве оценки для б. Пространство
решений состоит из элементов d§-> соответствующих всем
действительным числам б*. Пусть функция потерь равна
(Q — е*Jэ где Q — истинная величина средней точки
распределения, а принято решение d§*. Стоимость эксперимента
установим пропорциональной числу сделанных наблюдений.
Стоимость единичного наблюдения обозначим через с.
Ранее было показано 3), что минимаксное решение этой
задачи дается следующим решающим правилом. Проводится
t) Граничные точки множеств Si, S2 и S3, лежащие на
сторонах треугольника Т и касательные в этих точках, были определены
в работе, упомянутой в сноске *) на стр. 323.
2) В работе, цитированной в сноске 2) на стр. 322.
в) A. Wald, Statistical decision function, N.-Y., 1950.
324

по меньшей мере одно наблюдение. На каждой стадии
эксперимента (после т наблюдений, где т — любое целое
положительное число) подсчитывается величина
1т = 1 + min (xv ..., xj — max (xv .... xm). (8.4)
i
Эксперимент продолжается до тех пор, пока /т>B4сK.
Как только окажется, что Zm^B4cK, эксперимент
прекращается, и для 0 принимается оценка
1 хт)
Кро)
Функция риска, связанная с минимаксным решением, постоянна
на всем пространстве 2, Допустимость этого минимаксного
решения была доказана С. Блифом,
9, Заключительные замечания, В то время как общая
теория получила значительное развитие в рассмотренных
здесь направлениях и привела ко многим общим результатам,
точные решения были разработаны для сравнительно
небольшого числа специальных случаев. Математические трудности,
с которыми приходится сталкиваться при получении точных
решений, особенно в последовательном анализе, очень велики.
Однако есть надежда, что в будущих исследованиях эти
трудности будут преодолены и будут получены точные
решения для большого числа различных проблем.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Анализ последовательный 13, 15
— статистический 13
Величина случайная 20, 21
— — дискретная 27
нормально
распределенная 27
Вероятность ошибки второго
рода 35
первого рода 35
Влияние группировки на
оперативную характеристику 138
среднее число
наблюдений 138
Выбор количества
наблюдений 39
— критической области 34
Выборка 31
— неэффективная 43
— типа 0 66
— типа 1 66
— эффективная 44
Гипотеза конкурирующая 34
— нулевая 34
— простая 30, 99
— сложная 30, 100
— статистическая 29
Граница верхняя для А 67
а 68
р 68
— нижняя для В 67
— оперативной характеристики
верхняя 203
нижняя 203
Группировка наблюдений 136
326
Диаметр множества 199
Дисперсия 28
Значение среднее 28
Зона безразличия 187
— предпочтения 186
Интервал доверительный 196
Класс решающих правил
полный 319
существенно полный 319
Коэффициент доверительный 196
доверительной области 196
Кривая нормальная 27
Кривая оперативной
характеристики 131
критерия 150, 161
— среднего числа наблюдений
критерия 134
Критерии последовательные
несравнимые 58
равносильные 58
Критерий допустимый 57
— отношения вероятностей
последовательный 15, 61, 62, 321
— последовательный 42
более сильный 58
слабый 58
для гипотезы /?i>p2 146
оптимальный 59
— равномерно наилучший 57
— усеченный 140
Математическое ожидание 28
Метод классический 143

Метод проведения контроля
графический 128
табличный 127
— точный
непоследовательный 144
Методика проверки
статистических гипотез 31, 32
Момент относительно
среднего 28
с 28
Мощность критерия 45
— критической области 36
Наблюдения статистически
независимые 31
Область безразличия 50
— критическая 32
— наиболее мощнан 36
— отклонения 50
— параметрической точки
доверительная 196
— принятия 50
Объем выборки 31
Ожидание математическое 28
Определение оперативной
характеристики L(p) 130
— постоянных А и В 71
Отклонение среднее квадрати-
ческое 28
Отклонение стандартное 28
Отношение правдоподобия 106
Ошибка второго рода 35
— первого рода 35
Параметры распределения 29
Плотность вероятности 26
Правила оценочные
эквивалентные 312
е-эквивалентные 312
Правило
нерандомизированное 311
— оценочное Т% 262
Т\ 262
— рандомизированное 310
— решающее 310
допустимое 312
Предположения регулярности
Проверка гипотез
последовательная 42
— простой гипотезы 99
Проверка простой гипотезы при
односторонних
конкурирующих гипотезах 102
— сложных гипотез 109
— среднего значения
нормального распределения с
известной дисперсией 108
— неизвестной
дисперсией 116
Пространство решений 309
Распределение вероятностей 27
выборки совместное 32
— случайной величины 27
Решение минимаксное 261, 316
Риск 184, 312
— допускаемый, связанный с
принятием неверных решений
124, 146, 156, 164
— средний 294
Совокупность генеральная 23
бесконечная 25
Среднее значение 28, 283
условное 283
числа наблюдений 47
— по множеству 28
— число наблюдений 79
последовательного
критерия отношения
вероятностей 79
Тождество фундаментальное 205
Точка параметрическая 19&
^-критерий последовательный
116, 255
Уровень критической области 36
Усечение процедуры
последовательного анализа 89
Формулы для критерия проверки
алгебраические 125
Функции весовые 184
ошибки 184
Функция весовая 113
— интервала 195
— моментов производящая 283
— объема выборки 294
— плотности вероятности 25, 26
нормальная 26
327

Функция потерь 311
— распределения 283
вероятностей 309
интегральная 22
— решающая 294
— риска 311
выборочного плана 185
— среднего числа наблюдений
47, 79
— стоимости эксперимента 311
Характеристика оперативная 45
идеальная 54
критерия 150, 161, 169
L(p) 130
Характеристика оперативная
последовательного критерия
отношения вероятностей 75
способа выборочной
проверки 182
Число браковочное 127
— наблюдений выборочного
плана среднее 183
— — критерия среднее 134, 152,
162, 171
— приемочное 127
Эффективность
последовательного критерия 57