Text
                    A WILEY PUBLICATION
IN MATHEMATICAL STATISTICS
THE ANALYSIS
OF VARIANCE
HENRY SCHEFFE
Professor of Statistics
University of California, Berkeley
NEW YORK • JOHN WILEY & SONS, INC.
LONDON ¦ CHAPMAN & HALL, LIMITED


Г. ШЕФФЕ ДИСПЕРСИОННЫЙ АНАЛИЗ Перевод с английского Б. А. СЕВАСТЬЯНОВА и В. П. ЧИСТЯКОВА ИЗДАНИЕ ВТОРОЕ МОСКВА сНАУКА» ГЛАВНАЯ РЕДАКЦИЯ ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ 1980
22.172 Ш53 УДК 519.2 Ш е ф ф е Г. Дисперсионный анализ. — М.: Наука. Главная редакция физико-математической литерату- литературы, 1980. Книга содержит изложение теории и практики дис- дисперсионного анализа, снабженное большим числом подробно рассмотренных примеров и задач для само- самостоятельного решения. На русском языке нет ни од- одного столь подробного и систематического изложения аисперсионного анализа — одного из наиболее рас- распространенных методов обработки статистических данных в различных прикладных областях. Кннга будет полезна как математикам, так и спе- специалистам-прикладникам (медикам, биологам и т. д.). Г. Шеффе ДИСПЕРСИОННЫЙ АНАЛИЗ М., 1980 г., 512 стр. с илл. Редактор М. М. Горячая Технический редактор В. Н. Кондакова Корректоры О. М. Кривенко, Е. Я. Строева ИБ № 11701 Сдано в набор 31.07.79. Подписано к печати 17.01.80. Бумага 60Х90'/1в, тнп. № 1. Литературная гарнитура. Высокая печать. Условн- печ. л. 32. Уч.-изд. л. 31,09. Тираж 11 000 экз. Заказ № 301. Цена книги 2 р. 50 к. Издательство «Наука» Главная редакция физико-математической литературы 117071, Москва. В-71, Ленинский проспект, 15 Ордена Трудового Красного Знамени Ленинградская типография № 2 имени Евгении Соколовой «Союзполиграфпрома» при Государственном комитете СССР по делам изда- издательств, полиграфии и книжной торговли. 198052, Ленинград, Л-52, Измайловский пр., 29 ш Ида5 «¦»¦ 17О2Обооо°
ОГЛАВЛЕНИЕ Предисловие 9 ЧАСТЬ ПЕРВАЯ ДИСПЕРСИОННЫЙ АНАЛИЗ МОДЕЛЕЙ С ПОСТОЯННЫМИ ФАКТОРАМИ В СЛУЧАЕ НЕЗАВИСИМЫХ НАБЛЮДЕНИЙ С РАВНЫМИ ДИСПЕРСИЯМИ Глава 1. Точечные оценки 13 § 1.1. Введение 13 § 1.2. Математические модели 14 § 1.3. Оценки метода наименьших квадратов и нормальные урав- уравнения 18 § 1.4. Функции, допускающие оценку 23 § 1.5. Редукция случая известных коэффициентов корреляции на- наблюдений и известных дисперсионных отношений 31 § 1.6. Каноническая форма основных предположений Q. Средний квадрат ошибок .33 Задачи 36 Глава 2 Общее построение доверительных эллипсоиодов и критериев в предположении нормальности 37 § 2.1. Основные предположения Q н распределение точечных оце- оценок 37 § 2.2. Обозначения для некоторых табличных распределений . . 39 § 2.3. Доверительные эллипсоиды н доверительные интервалы для функций, допускающих оценку 41 § 2.4. Критерий для проверки гипотезы Н, построенный по дове- доверительному эллипсоиду 43 § 2.5. Критерий, построенный по отношению правдоподобия. Ста- Статистика SSF 45 § 2.6. Каноническая форма Q и Н. Распределение 9" 51 § 2.7. Эквивалентность двух критериев 54 § 2.8. Диаграммы и таблицы мощности ^-критерия ...... 56
6 ОГЛАВЛЕНИЕ § 2.9. Геометрическая интерпретация Эг. Ортогональные соотно- соотношения 57 § 2.10. Оптимальные свойства F-критерия 61 Задачи 67 Глава 3. Однофакторный анализ. Множественное сравнение 72 § 3.1. Однофакторный анализ 72 § 3.2. Иллюстрация теории функций, допускающих оценку ... 77 § 3.3. Пример вычисления мощности 80 § 3.4. Сравнения. S-метод оценки всех сравнений 84 § 3.5. S-метод множественного сравнения. Общий случай .... 86 § 3.6. Г-метод множественного сравнения 92 § 3.7. Сравнение S- и Г-методов. Другие методы множественного сравнения 96 § 3.8. Сравнение дисперсий 104 Задачи 109 Глава 4. Полный двух-, трех- и многофакторный анализ. Разбиение сум- суммы квадратов 112 § 4.1. Двухфакторный анализ. Взаимодействие 112 § 4.2. Двухфакторный анализ с одним наблюдением в ячейке . • 122 § 4.3. Двухфакториый анализ с равными числами наблюдений в ячейках 130 § 4.4. Двухфакториый анализ с неравными числами наблюдений в ячейках 137 § 4.5. Трехфакториый анализ 145 § 4.6. Формальный дисперсионный анализ. Разбиение общей суммы квадратов 150 § 4.7. Более общее разбиение суммы квадратов 153 § 4.8. Взаимодействия в двухфакторном анализе с одним наблю- наблюдением в ячейке 156 Задачи 165 Глава 5. Некоторые неполные классификации: латинские квадраты, не- неполные блоки и планы с группировкой 175 § 5.1. Латинские квадраты 175 § 5.2. Неполные блоки 190 § 5.3. Планы с группировкой 210 Задачи 221 Глава 6. Ковариационный анализ 226 § 6.1. Введение 226 § 6.2, Построение формул ковариационного анализа по соответ- соответствующим формулам дисперсионного анализа 234
ОГЛАВЛЕНИЕ 7 § 6.3. Пример с одним независимым переменным 243 § 6.4. Пример с двумя независимыми переменными 246 § 6.5. Линейная регрессия с контролируемыми переменными, изме- измеренными с ошибкой 249 Задачи 252 ЧАСТЬ ВТОРАЯ ДИСПЕРСИОННЫЙ АНАЛИЗ В ПРИМЕНЕНИИ К ДРУГИМ МОДЕЛЯМ Глава 7. Модели со случайными факторами 256 § 7.1. Введение 256 § 7.2. Однофакторный анализ 256 § 7.3. Размещение наблюдений 272 § 7.4. Полная классификация по двум признакам 275 § 7.5. Полный трех- и многофакторный анализ 283 § 7.6. Группированный план 286 Задачи 298 Глава 8. Смешанные модели 300 § 8.1. Смешанные модели в двухфакторном анализе 300 § 8.2. Смешанные модели в многофакторном анализе 313 Задачи 330 Глава 9. Рандомизированные модели 332 § 9.1. Случайные блоки. Оценки 332 § 9.2. Латинские квадраты. Оценки 347 § 9.3. Перестановочные критерии 355 Задачи 374 Глава 10. Влияние нарушения основных предположений 376 § 10.1. Введение 376 § 10.2. Некоторые элементарные подсчеты влияния нарушения предположений 379 § 10.3. Дальнейшее исследование влияния ненормальности .... 391 § 10.4. Дальнейшее исследование влияния неравенства дисперсий 397 § 10.5. Дальнейшее исследование влияния статистической зависи- зависимости 405 § 10.6. Выводы .407 § 10.7. Преобразования наблюдений 412 Задачи 416 Приложение I. Векторная алгебра 418 Задачи 432 Приложение II. Матричная алгебра . . , 434 Задачи 449
8 ОГЛАВЛЕНИЕ Приложение ill. Эллипсоиды и их опорные плоскости 454 Задачи 459 Приложение IV. Нецентральные %2, F и t 460 Задачи 463 Приложение V. Многомерное нормальное распределение 465 Задачи 468 Приложение VI. Теорема Кокраиа 469 Задачи 474 Таблицы и диаграммы 475 Библиография > 505
ПРЕДИСЛОВИЕ В этой книге я сделал попытку изложить с единой точки зрения основы теории дисперсионного анализа. Это привело к необходимости рассмотрения нескольких математических мо- моделей. Теорию, изложенную в части I (модели с постоянными факторами и с независимыми наблюдениями, имеющими рав- равные дисперсии), я считаю уже установившейся; но полагаю, что теория, излагаемая в части II (некоторые другие модели), бу- будет обобщаться и пересматриваться. Такая оценка в какой-то мере указывает на те разделы теории, которые требуют даль- дальнейшего развития. К сожалению, я очень мало могу предложить читателю по теории несбалансированных моделей со случай- случайными факторами и по теории смешанных моделей. Отметим, что при планировании биологических экспериментов (особенно в генетике), в которых встречаются ситуации, отличные от имеющихся в физике, обычно не удается избежать случаев, описываемых этими моделями. Этот пробел теории я не смог устранить. Читатель, прослушавший курс анализа и пользующийся хотя бы время от времени математическими понятиями, имеет необходимую математическую подготовку для понимания книги. Фактически здесь употребляется очень мало вычислений, но встречая их впервые, вряд ли можно достаточно легко разо- разобраться в используемых математических понятиях. Больший* ство выводов в книге носит алгебраический характер. Для об- облегчения построения теории в главах 1, 2 и 6 широко исполь- используются векторные и матричные методы. Необходимые сведения по векторной и матричной алгебре приводятся в приложениях I и II. Это делает книгу более доступной для читателя с той ми- минимальной подготовкой, о которой говорилось выше. Если чита- читатель еще не освоился с матричными обозначениями, то сначала он должен будет переписывать все формулы более длинно, не используя матричной записи. Тогда он вскоре сможет не только легко читать и писать формулы в матричной форме, но и ду- думать в матричных формулировках.
10 ПРЕДИСЛОВИЕ Мое решение использовать матричные обозначения оправ- оправдывается еще следующим обстоятельством. Хорошо известно, что использование геометрических представлений является наи- наиболее наглядным способом изложения дисперсионного анализа с единой точки зрения. Этот способ заключается в том, что вектор наблюдений разлагается на векторы, принадлежащие некоторым специальным пространствам, которые соответствуют различным источникам дисперсии наблюдений и каждому из которых может быть дана разумная интерпретация. Чтобы по- понять геометрию таких разложений и дать геометрическую интерпретацию статистик, используемых для определения зна- значимых компонент векторов, связанных с различными источни- источниками, необходимо ввести понятие ортогональности векторов и пространств. Наиболее простым способом определения этих понятий и обращения с ними является, по моему мнению, ис- использование матричной формы записи. Необходимая читателю статистическая подготовка равно- равносильна программе хорошего годового курса, в котором основ- основной упор делается на понятия элементарной теории вероятно- вероятностей, доверительные интервалы и мощности (или оперативные характеристики) критериев, включая использование t-, %2- и ^-распределений. Эта книга содержит 117 задач, расположенных в конце глав и приложений; 38 задач требуют численных расчетов с «реаль- «реальными» данными. Разнообразные приложения, рассматриваемые в этих 38 задачах, должны дать некоторые представления о ши- широте применений дисперсионного анализа, если даже задачи были подобраны только как подходящие примеры, иллюстри- иллюстрирующие описанные в тексте методы, и не предназначались спе- специально для ознакомления с практическими приложениями. В этом разделе статистики навыки в проведении численных расчетов важнее, чем в других разделах. Отметим, что некото- некоторые практики, использующие дисперсионный анализ, считают технику вычислений главной частью, а выбор математической модели, которому я уделяю много внимания, рассматривают как извращение. Я понимаю, что многие из них без опреде- определения модели развили надежный интуитивный подход к пра- правильному анализу в заданных ситуациях, но нахожу, что под- подход, определяемый выбором модели, достаточно прост; метод выбора модели и последующее проведение анализа, диктуемого этой моделью, кажется мие более простым для изучения н бо- более подходящим в книге по теории дисперсионного анализа. Книга является учебным пособием по полугодовому курсу для студентов-старшекурсников и аспирантов, а также предна- предназначена для самостоятельного изучения. В Беркли на этот курс отводится той часа лекций и два часа лабораторных занятий
ПРЕДИСЛОВИЕ И в неделю. Этот курс охватывает весь материал книги, исключая главы 5, 8 и 9, входящие в курс планирования эксперимента (наш курс является его основой). В основном книга рассчитана на студентов, знакомых с матричной алгеброй по крайней мере по элементарному курсу или приложениям I и II. В сокращен- сокращенном курсе гл. 6 и часть гл. 7 также могут быть опущены. Эта книга написана отчасти как учебное пособие по курсу дисперсионного анализа, поэтому здесь опущены некоторые вопросы, которые можно найти в других курсах статистики: об- обобщение на многомерный случай развитой здесь теории; после- последовательные методы дисперсионного анализа и непараметриче- непараметрическая теория. Исключением являются перестановочные крите- критерии, основанные на /^-статистиках и рассматриваемые в планах латинского квадрата и неполных блоков. По тем же причинам только слегка затронуто планирование экспериментов, а тео- теория смешивания, дробные повторения и другие более сложные планы совсем не затронуты. Методы теории решений здесь не затронуты главным образом по другим соображениям. Мне кажется, что эти методы, за исключением, по-видимому, одной задачи (эксперименты, позволяющие выбирать наилучшие мно- множества «совокупностей условий», см. § 3.7), не дают ничего существенно нового и важного для дисперсионного анализа. Теория решений применяется наиболее широко, по-видимому, там, где типичным является наличие более обширного множе- множества возможных решений для рассматриваемого множества данных*). Я очень надеюсь, что эта книга пригодна для самостоятель- самостоятельного изучения и что она сможет дать путь, по которому могут следовать все, кому необходимы статистические методы (дис- (дисперсионный анализ не входит во многие программы университе- университетов и колледжей, предназначенные для подготовки научных и инженерных профессий). Для читателя, желающего самостоя- самостоятельно изучить дисперсионный анализ, особенно полезно сде- сделанное выше замечание о важности числовых упражнений, и я настаиваю на решении большинства из этих 38 задач, содержащих числовые данные. Если читатель не имеет воз- возможности воспользоваться машиной, то он должен вычислять различные суммы квадратов непосредственно по определению, а не по специальным формулам, которые приведены в книге и предназначены для вычислений на машине, так как при использовании последних возможна большая потеря верных *) Однако новая работа Кифера и Вольфовича (Kjefer & Wolfowitz, 1958) открывает возможность того, что теоретико-игровой подход к задаче оптимального экспериментального плана может дать новые полезные реше- решения, допускающие численные расчеты.
12 ПРЕДИСЛОВИЕ знаков. Что касается остальных задач, то читатель не должен быть обескуражен, если он не сможет решить их все; онн имеют различную степень трудности и легкими могут быть только для профессиональных математиков. Если доказательства носят гео- геометрический характер или допускают геометрическую интер- интерпретацию, то полезно делать чертеж, подобный рис. 2.9.1, кото- который подскажет n-мерные геометрические соотношения. Я также надеюсь, что многочисленные сноски не будут рас- сматриваться как регулярные помехи, так как их можно ис- использовать вполне эффективно, учитывая, что они делятся в основном на две группы: в одних даются ссылки на литера- литературу и приводятся указания об истории предмета, в других — уточнения теории. Читатель либо прочитает их все, либо легко выберет те, которые его интересуют. Несколько сносок имеет другой характер; их специальное назначение указано в тексте. Приистон, Нью-Джерси _ ,„ , . Ноябрь, 1958 Генри Шеффе
ЧАСТЬ ПЕРВАЯ ДИСПЕРСИОННЫЙ АНАЛИЗ МОДЕЛЕЙ С ПОСТОЯННЫМИ ФАКТОРАМИ В СЛУЧАЕ НЕЗАВИСИМЫХ НАБЛЮДЕНИЙ С РАВНЫМИ ДИСПЕРСИЯМИ Глава 1 ТОЧЕЧНЫЕ ОЦЕНКИ § 1.1. Введение Вначале мы предложим следующее, не очень точное, опре- определение изучаемого предмета: дисперсионный анализ*) — это статистический метод анализа результатов наблюдений, зави- зависящих от различных одновременно действующих факторов, вы- выбор наиболее важных факторов и оценка их влияния. Измере- Измерения или наблюдения могут проводиться как в эксперименталь- экспериментальных науках (например, в генетике), так и в неэкспериментальных науках (например, в астрономии). Теория анализа результатов измерений подсказывает, как планировать проведение опыта или наблюдения, т. е. приводит к планированию эксперимента. Исторически современный метод дисперсионного анализа раз- развивался главным образом в связи с приложениями к задачам сельского хозяйства. Рассмотрим довольно простой сельскохозяйственный экспе- эксперимент, к которому применим дисперсионный анализ. На каж- каждом из трех участков выращивается четыре сорта томатов г. ре- резервуарах, содержащих химический раствор. Используется два химических раствора (мы будем называть их «смесями») с раз- различным составом минеральных удобрений. Для каждой смеси на каждом участке имеется общий резервуар, из которого *) Дисперсионный анализ, в том смысле как он обычно понимается и повседневно используется, был развит в значительной мере Р. А. Фишером (Fischer, 1918, 1925, 1935), который ввел в статистику сами термины диспер- дисперсия и дисперсионный анализ. Последний термин оказался, по-видимому, наи- наиболее подходящим для моделей со случайными факторами (гл. 7) и, воз- возможно, это может подсказать, каким путем Фншер подошел к изучаемому предмету. О некоторых исторических сведениях см. Шеффе (Scheffe, 1956b). (Даты, стоящие после фамилий, являются ссылкой на авторский указатель л библиографию в конце этой книги).
14 ГЛ. I. ТОЧЕЧНЫЕ ОЦЕНКИ жидкость выкачивается во все резервуары с такой же смесью, соединенные «параллельно»; при последовательном соединении, когда выход одного резервуара является входом другого, мы не смогли бы различить влияние сорта томатов и влияние (если оно есть) порядка соединения резервуаров. Резервуары распо- располагают на открытом воздухе в одинаковых условиях так, чтобы от растений в одном резервуаре не падала заметная тень иа растения в других резервуарах и т. д. На каждом из трех участ- участков химические удобрения, входящие в смеси, возобновляются одинаковым образом. Каждый сорт томатов выращивается в от- отдельном резервуаре с одинаковым количеством растений в каждом. Урожаем каждого резервуара считается вес спелых томатов (ниже мы будем говорить о полученном урожае и об «истин- «истинном», или среднем, урожае). Урожай может зависеть от сорта томатов, состава смеси и от участка. В частности, возможна зависимость от взаимодействия этих факторов. Более подробно это полезное понятие дисперсионного анализа будет развито позднее (§ 4.1). Наша теория дает ответы на такие, например, вопросы: за- зависит ли урожай, усредненный по двум смесям и трем участ- участкам, от сорта томатов? Доказывают ли урожаи различное влияние сортов на различных участках? Как количественно оценить эти различия с заданным уровнем доверия? И так далее. Содержание глав 1 и 2 может немного разочаровать чита- читателя, надеющегося найти полезные для практических приме- применений результаты; заметим для такого читателя, что, начиная с главы 3, будут излагаться результаты, полезность которых более очевидна. Общая теория, развитая в главах 1 и 2, слу- служит не только основой для получения таких результатов; она может также помочь применить дисперсионный анализ в тех случаях, которые не укладываются в специальные схемы, ра- разобранные в остальных главах этой книги. § 1.2. Математические модели Предположим, что мы имеем п наблюдений или измерений. В математических моделях этой книги наблюдения рассматри- рассматриваются как п случайных величин *) у\, у2, ..., уп, которые яв- являются линейными комбинациями с р неизвестными постоян- *) В этой книге мы будем обычно использовать одинаковые обозначе- обозначения для случайных величин и для их наблюденных значений (исключения встпрчаютгя r && 2 10 и Q Я\
§ 1.2. МАТЕМАТИЧЕСКИЕ МОДЕЛИ 15 иыми Рь Рг. • • •. Рр плюс ошибки еи е2, • • •, еп\ + . • • + JCp.-pp + e< *) A.2.1) (i= 1,2,..., n), где {Xji} — известные постоянные коэффициенты*). Величины {Р/} являются более или менее идеализированным отражением некоторых сторон наблюдаемого явления, пред- представляющих интерес для исследователя. Целью дисперсионного анализа является получение выводов относительно {е,-} и не- некоторых {Р/}, выводов, остающихся справедливыми независимо от значений других {р;-}, «исключить», которые было бы более желательно чем «оценивать». Наименьшие предположения о случайных величинах {е<} состоят в том, что их математические ожидания равны нулю, М(е,)=0 (i= 1,2 п). A.2.2) Кроме того, будем обычно предполагать, что М (е,е/) = а2б,7, A.2.3) где а2—неизвестная постоянная, 6,,- равно 0 или 1 при соот- соответственно i ф j и i = /. Эти условия эквивалентны тому, что случайные величины некоррелированы (т. е. их коэффициенты корреляции равны 0) и имеют одинаковые дисперсии, рав- равные а2. Мы можем теперь немного уточнить определение, приведен- приведенное в § 1.1: дисперсионный анализ — это система статистиче- статистических методов обработки наблюдений, допускающих представ- представление A.2.1), где коэфффициенты {*/,} являются целыми чис- числами, равными обычно 0 и 1. Для того чтобы внести ясность в это определение **), нужно не только указать возможные чис- числовые значения {*/.-}, а нужно понять, какое место они зани- занимают в описании задач, встречающихся в исследованиях. Эти величины {х/i} имеют смысл «переменных-счетчиков», или «пе- «переменных-указателей», которые указывают присутствие или от- отсутствие влияний различных факторов {р;} в условиях прово- проводящихся наблюдений; Хц обычно***) равно 0 или 1. Если {ж,-,} *) Может показаться более естественным переставить индексы у х в A.2.1), но примененное обозначение является общепринятым. Такой порядок кажется более подходящим в тех случаях, когда хц является значением, принимаемым «независимым» переменным х,- в i'-m наблюдении; см. § 6.1. Фигурными скобками обозначается множество величин, указанных в скобках: так {я,;} обозначает множество, которое состоит из пр величин Xji е / = 1. 2 р; / = 1, 2, ..., п. **) Это определение и определение в § 6.1 возникли в результате по- полезных обсуждений с проф. У. Краскал и д-ром М. Маллер. ***) Пример, в котором хц = —1, см. у Шеффе (Scheffe, 1952), а з хц = 2 см. у Кемпторна (Kempthorne, 1952, § 6.8).
16 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ не являются «переменными-указателями», а пробегают непре- непрерывные множества значений, как, например, время t, темпера- температура Т, t2, е~', tT (такие переменные называются независи- независимыми, и тогда говорят, что {yi} являются наблюдениями зави- зависимой переменной у; см. § 6.1), то мы получим регрессионный анализ. В случае, когда среди {*/,} есть переменные двух видов, мы получаем ковариационный анализ. Более естественное опре- определение этих трех видов анализа, каждый из которых подчи- подчиняется общей теории гл. I и 2, будет приведено в гл. 6 после того, как читатель привыкнет формулировать различные задачи в терминах факторов, изменяющихся в наблюдениях или в се- сериях испытаний. Мы пока не уточняли природу неизвестных параметров {[},-}. Они могут быть или неизвестными постоянными, или случай- случайными величинами, закон распределения которых может зави- зависеть от других неизвестных параметров. Модель, в которой все {Р/} являются неизвестными постоянными, назовем моделью с постоянными факторами*). Часто бывает так, что один из параметров {Р/} действует постоянно. Тогда в математической модели перед соответствующим параметром Р/ ставится коэф- коэффициент 1, так что для этих / величина хц = 1 при любом /. Мы можем назвать такое Р/ аддитивной постоянной (в при- приложениях это обычно в некотором смысле «генеральное сред- среднее»). Модель, в которой все параметры {р;} случайны, за исклю- исключением, может быть, одного, являющегося аддитивной постоян- постоянной, называется моделью со случайными факторами. Проме- Промежуточный случай, когда по крайней мере один параметр Р; случаен и по крайней мере один не случаен, но не является аддитивной постоянной, называется смешанной моделью. Примеры. Теперь поясним примерами введенные понятия; мы не бу- будем использовать типичные примеры дисперсиоииого анализа, так как их удобнее ввести позднее после дополнительных пояснений. 1. Рассмотрим задачу подбора полинома 3-й степени у = ао + aix + + пгхг + пзх3 по множеству наблюдений (xi, yi) (i = 1, 2, ..., п), предпо- предполагая, что yi — случайная величина, Xi ¦—постоянная, а математическое ожи- ожидание yi является ординатой кубической параболы в точке х = хг. В этом случае р = 4, р; = а/_» (/ = 1, .... п). Отметим, что регрессия ао + aix+ а%хг + а>х' нелинейна по «независимой» переменкой х и линейна по неизвестным параметрам. 2. Другая задача заключается в подборе тригонометрического полинома по периодическим даииым с известным периодом, который преобразованием *) Следуя Эйзенхарту (Eisenhart, 1947), модель с постоянными фак- факторами называют также моделью-1, а модель со случайными факторами — моделью II.
§ 1.2. МАТЕМАТИЧЕСКИЕ МОДЕЛИ 17 шкалы времени можно свести к 2я: / (. + 6, sin t. ¦+¦ a2C0S2'(- + b2s\n2tt + a3cos3t{ ¦+¦ fr3sin3f(. Здесь наблюдения yi производятся в моменты времени U и {fS,} — это семь коэффициентов а и Ь. Приведенные примеры показывают, что наша модель вклю- включает большое число различных случаев. Изложение общей тео- теории в главах 1, 2 и 6 облегчается*) использованием векторной и матричной алгебры. Автор надеется, что он дал достаточный материал по векторной и матричной алгебре в приложениях 1 и II. Введем векторы (векторы и матрицы будут печататься жирным шрифтом): <ПХ1) И матрицу: ¦хп v(P Хл)_ где верхний индекс (г X s) -матрицы указывает, что матрица имеет г строк и s столбцов. Когда отсутствие индексов не за- затрудняет чтение, мы их опускаем. Множество уравнений A.2.1) можно записать как у = Х'$ + е, A.2.4) где X' обозначена матрица, транспонированная, с X. Случайная матрица Определение. Пусть заданы совместный закон распре- распределения случайных величин {и,/} с конечными математическими ожиданиями и матрица (Оц Ои ... Vis 021 О 22 определим математическое ожидание матрицы V матрицей (М(о„) М(о„) ... М(о„)\ МШ M(t,22) ••• м(°»«) . A.2.5) М Ш М Ш -.. М (vrs) ) *) См. предисловие.
18 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ Это определение позволяет записать условия A.2.2) и A.2.3) в более сжатой матричной форме М(в)=0, М(ее')=а21, A.2.6) где 0 — нулевая (пХ 1) -матрица, а / — единичная (пУ.п)- матрица. Лемма. Если А^хо и B(sxo— постоянные матрицы, ycx) — случайная матрица, то A.2.7) ) ) Доказательство. В доказательстве используются обыч- обычные свойства линейности оператора М, т. е. М(ах-\- Ьу) = = аЬЛ (х)-\- рМ (у), где а и b — константы, а х и у случайны. Ковариационная матрица Пусть задан совместный закон распределения случайных величин v\, ..., vn, имеющих конечную дисперсию. Рассмотрим вектор v = (оь V2, ¦ •., vn)'. Ковариационной матрицей вектора» назовем матрицу Tv = (cov(vitv,)), A.2.8) (i, /)-й элемент которой является ковариацией о, и v,-. Поло- Положим Hi = М(о(). Тогда cov(u,-, у,) = М [(и, —• |j,<) (и/— (j,/)]. Ис- Используя A.2.5), можно A.2.8) записать в виде Г„ = М[(*-|1) (»-ц)'], A.2.9) где fi = M (v). Мы будем часто использовать следующее простое свойство: если линейное. преобразование с матрицей А переводит п слу- случайных величин V\, ..., vn в случайные величины W\, ..., wm, т. е. то(тх1) = АС"Хп).г;(пх1)) то ковариационная матрица векто- вектора w задается формулой '. A.2.10) Доказательство. Гш = М ([да — М («>)] [w — М (to)]') = = М (A [v - М (v)] [v-M (v)]' A')=AM ([v-M (о)] [v-M (v)]') A' = = ATVA'. § 1.3. Оценки метода наименьших квадратов и нормальные уравнения В этой книге символом Q мы будем обозначать совокуп- совокупность основных предположений. Предположения, введенные в § 1.2, можно записать так: fi: tf<«x1) = x'B(pxl) + e<nxl). M(^ = 0. M(ee') = a2I.
§ 1.3. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ ]С или еще короче Q: М(у) = Х% Гу = с21. Пусть через b\, 62, ..., Ьр обозначены величины, которые мы хотим рассматривать как оценки параметров Рь р2, ¦ • -, РР. Па- Параметры Рь (Зг, ..., рр являются неизвестными постоянными величинами, тогда как b\, b2, ..., Ьр мы будем изменять так, чтобы подобрать «наилучшие» в некотором смысле оценки. Для каждого b=(bi, ..., bp)' образуем следующее выражение: t(yitn^ A.3.1 п которое можно рассматривать как ? ё2р где через е(. обозна чена оценка ошибки е, в наблюдении ьц (см. A.2.1)), если { оценивается посредством Ь. Величину A.3.1) можно рассмат ривать как меру близости модели с параметрами р и ее оценк! с величинами Ь; чем меньше 9', тем лучше подобраны Ь. В мат ричных обозначениях мы можем записать 9? = (у — Х'Ь)'У Х(у — Х'Ь) или, если длину вектора v обозначить \\v\\, как 9>(ц,Ь)=\\у-Х'ЬГ- A-3.2; Определение. Множество функций*) от у (т. е. мно жество статистик) ^ = ^ (у), р2 = р2 (у), .... рр = рр (у), таких что величины &/= Р/ (/= 1, ••¦, р) минимизируют 9*{у, Ь), на зывается множеством лшк-оценок (оценок метода наименьшие квадратов**)) параметров {Р/}. Нормальные уравнения Мы увидим, что лшк-оценка всегда существует, но не обя зательно единственна. Будет показано, что любая лкк-оценкг *) Для математически подготовленного читателя заметим, что здесь i в дальнейшем имеются в виду измеримые функции. Если{РЛ — единственна: оценка, то она может быть только линейной функцией от {yi); если един ственности нет, то существует бесчисленное множество линейных функций Удобно рассматривать только линейные оценки (например, для вычислеии: их ковариационной матрицы). **) Метод наименьших квадратов был использован независимо Гауссо! (Gauss, 1S09) и Лежандром (Legendre, 1S06) для решения астрономически: задач.
20 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ удовлетворяет уравнениям (недостаточно подготовленный чи- читатель должен прочитать сноску *) Из этих уравнений находим (.1 Отсюда п р п ZZii^^vd/i (v=i или в матричной форме ХХ'Ь = Ху. Полагая S = XX', находим нормальные уравнения Sb = Xy. A.3.4) Символ Р будем использовать для обозначения любого реше- решения нормальных уравнений, сохраняя р исключительно для лшк-оценки. Однако мы покажем, что каждое решение нор- нормальных уравнений является лшк-оценкой и что любая мнк- оценка удовлетворяет нормальным уравнениям, поэтому не бу- будет ошибки, если р заменить на р. На практике при решении системы нормальных уравнений можно не различать & и р. Решив систему уравнений—¦—— = 0 (v= 1, ..., р) относи- тельно Ъ, можно решение Р обозначить через р. Мы надеемся, что после этих объяснений не будет никаких недоразумений. Геометрическая интерпретация Покажем, что лшк-оценки существуют и совпадают с реше- решениями нормальных уравнений. С этой целью мы используем результаты векторной алгебры, приведенные в приложении I. В «-мерном пространстве Vn введем вектор математических ожиданий Т1 = М{у); так что при условиях Q Х% A.3.5) *) Символом д9"(у, b) /dbv обозначена частная производная от 9* (у,Ъ) по 6V. Ее можно рассматривать как обычную произзодную по 6V> если остальные {6/} считать постоянными. В книге будут использоваться только частные производные по некоторой переменной 0 от функцин &, которая яв- является суммой квадратов выражений, линейных относительно 9 (т. е. выра- выражений вида А + В0, где А и В не зависят от 9). Эта частная производная равняется удвоенной сумме произведений выражений А + BQ (но не их кпялпятопП ня кп*мЬ(Ьип ирнт ппи fl т р В.
§ 1.3. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 21 ил (см. применение матричного умножения в (II. 7) приложе- приложения И) n = Pili + foh + ¦¦¦ + ft&. где вектор |/гах1> является /-м столбцом матрицы X'. Обозначим через г ранг X н через V, г-мерное векторное пространство, порожденное (см. приложение I) векторами ?i, •••> \р- Тогда вектор 2<гах1) принадлежит V, в том и только в том случае, когда существуют коэффициенты Ь\, ..., Ьр такие, что г = bill + ... bplp. В частности, tj e Vr при Q. Пусть г = Х'Ь, где Ь считается переменной. Из теоремы 2 (приложение I) следует, что 9>{y,b)=\\y — z\\2 имеет мини- минимум, который достигается тогда и только тогда, когда г яв- является проекцией вектора у на Vr. Обозначим эту проекцию через ij. Так как вектор r| € Vr, он может быть записан в виде линейной комбинации |ь •••, 1р. т.е. существуют Ь\, ..., Ьр та- такие, что 4 = *i6i+ ••• +Ьр\р\ A.3.6) здесь г| определяется однозначно, а {6/} могут однозначно н не определяться. Коэффициенты {&/} в A.3.6) зависят только от у, так как г\ — функция только вектора у и не зависит от неизве- неизвестных параметров. Следовательно, {6/} является лшк-оценкой. Существование лшк-оценки доказано. Кроме того, любые \Ьи...,Ьр), зависящие только от у, могут быть жкк-оценкой В том и только в том случае, когда Х'Ь = г\. Следующие утверждения выполняются или не выполняются одновременно (символом JL обозначается ортогональность): Х'6 = Л, y — X'blVr, у-Х'Ь LI, (/=1,2 р), A.3.7) Ц(у-Х'Ь) = 0 0=1,2 р), Х(у~Х'Ь) = 0, ХХ'Ь^Ху. A.3.8) Здесь A.3.7) следует из леммы 8 (приложение I); A.3.8) уста- устанавливает, что Ъ удовлетворяет нормальным уравнениям. Итак, мы доказали, что жик-оценка рь ..., % всегда существует, что любая лик-оценка удовлетворяет нормальным уравнениям н что любое решение ft, .... рр нормальных уравнений, завися- зависящее только от у, является жик-оценкой. Таким образом, больше не имеет смысла использовать обозначения Р и р. Достаточно оставить р, так как множество решений нормальных уравнений в множество лшк-оценок совпадают.
22 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ Наглядное представление о доказательстве дает рис. 1.3.1. Обозначение. Символом 9"в обозначим минимальное значение 9? (у, Ь): Л), A-3.9) где р — любая лшк-оценка или любое решение нормальных уравнений. Назовем 9"а суммой квадратов ошибок. Рис. 1.3.1. В § 1.6 будет показано, что 9"а является оценкой дисперсии ошибки. Сумма квадратов ошибок определяется однозначно, хотя оценка р может быть не единственной. Приведем полезное выражение для 9"а: ^=E#!-?p/v, Олю) где {pt рр}—любая лшк-оценка, a rv — правая часть v-ro нормального уравнения A.3.3). Для доказательства преобра- преобразуем Э'й- 9>Q = {y- ГРУ {у - ГР) = у'у - р' (Ху) + Р' (ХХ'$ - Ху). Здесь мы использовали тот факт, что матрица t/Xfi равна своей транспонированной, так как состоит из одного элемента. Из последнего равенства получаем A.3.10), так как р удовле- удовлетворяет уравнениям ХХ'$ — Ху. Случай единственности р Случай, когда (рХ я) -матрица X имеет ранг р, часто назы- называют случаем максимального ранга или случаем полного ранга, так как обычно р < п. Если ранг X = р, то A.3.4) имеет един- единственное решение (во всех других случаях решение не един- единственно). В теореме 7 (приложение II) мы доказали, что
§ 1.4. ФУНКЦИИ, ДОПУСКАЮЩИЕ ОЦЕНКУ 23 ранг s = рангу X и, следовательно, в этом случае матрица S не вырождена. Тогда существует S~l и единственное решение на- находится по формуле fr = S~lXy. A.3.11) Применяя A.2.10) для ковариационной матрицы р, получим Так как S симметрична, то симметрична и S-\ поэтому Гд= o2S~lXX'S~l; окончательно находим re = a2S~'. A.3.12) Замечания. Случай, когда ранг Х — р иногда встре- встречается на практике. (Этот случай типичен для теории регрес- регрессии, а не для дисперсионного анализа.) Для решения нормаль- нормальных уравнений не обязательно знать матрицу S~l. Однако вычисление сначала S~\ а затем по A.3.11) р может оказаться полезным, так как почти всегда требуется найти ковариацион- ковариационную матрицу Г^. Неединственность ишк-оценок {р/} в случае, когда ранг X < р, связана с неединственностью значений пара- параметров {Р/}; этот случай будет рассмотрен позднее в конце § 1.4. Так как правые части системы нормальных уравнений входят в формулу A.3.10), а в A.3.12) входят коэффициенты левых частей (если S понимать как матрицу этих коэффициен- коэффициентов), то, конечно, существенно, что нормальные уравнения имеют точно вид A.3.3), где v-e уравнение получено делением на —2 уравнения д9Чд^ — 0 и переносом известных членов, полученных после дифференцирования в правую часть § 1.4. Функции, допускающие оценку Теорема Гаусса — Маркова Обычно понятие функций, допускающих оценку*), вводится посредством следующих двух определений. Определение. Параметрической функцией называется линейная функция от неизвестных параметров {Рь ..., %} с известными коэффициентами {с\,...,ср}: $=?cPi- 0-4.1) Положим с(рх1> = (сь.. ..Ср)', тогда if = с'р. *) Это понятие введено Бозе (Bose, 1944).
24 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ Определение. Параметрическая функция if называется функцией, допускающей оценку, если существует линейная не- несмещенная оценка, иными словами, если существует постоян- постоянный вектор а(пх1) такой, что равенство М(а'у) = ф A.4.2) выполняется тождественно по р (т. е. при любых значениях не- неизвестных параметров {р,}). Теорема 1. Функция if = с'0 допускает оценку тогда и только тогда, когда с' является линейной комбинацией строк матрицы X', т. е. когда существует вектор а(лх1) такой, что с' = а'Х'. Доказательство. Функция ф = с'р допускает оценку тогда и только тогда, когда существует вектор а(пх1) такой, что выполняется равенство A.4.2). Но М (а'у) = а'М (у) = a'X'fi, и условие a'X'fi = с'$ выполняется тождественно по р в том и только в том случае, когда а'Х' = с'. Заметим, что в нематричных обозначениях множество всех функций, допускающих оценку, можно записать как р где x\t = Мг/* = У Хц${ и {аи ..., ап) — произвольный набор из п известных постоянных. Для доказательства основной теоремы этого параграфа мы воспользуемся следующей леммой*). Лемма. Если функция if = c'p допускает оценку и прост- пространство Vr порождается столбцами X', то существует един- единственная линейная несмещенная оценка if вида а*'у, где а* е е Vr. Если а'у — произвольная линейная несмещенная оценка if, то а* является проекцией а на Vr Доказательство. Функция ф допускает оценку. Следо- Следовательно, существует такой вектор а<лХ1), что M(fl'y) = if. Пусть а = а* -\-Ь, где о* е Vr, b _L Vr. Тогда ,f = M (а'у) = М (а*'у) + М (Ь'у) = М (а*'у), ибо М (Ь'у) = b'X'fi и Ь'Х' = 0 вследствие ортогональности b и столбцов X'. Итак, а*'у — линейная несмещенная оценка if са'е Уг. Пусть а'у —любая линейная несмещенная оценка ф. Тогда тождественно по р О = М (а*'у) - М (а'у) = (о* - а) 'Х'р, откуда о* — а = 0. Таким образом, a* — a-LV, и еУг, значит, а* — а = 0. Единственность а*'у доказана. В первой половине *) Этот метод доказательства теоремы Гаусса — Маркова предложил мне проф. Гаучи.
§ 1.4. ФУНКЦИИ, ДОПУСКАЮЩИЕ ОПЕНКУ 25 доказательства было показано также, что для любой несмещен- несмещенной оценки а'у вектор а* является проекцией а на Vr. Теорема 2. (Теорема Гаусса — Маркова). В пред- предположениях Q: М (у) = Х% Г, = аЧ каждая функция if = с'р, допускающая оценку, имеет линей- линейную несмещенную оценку if с наименьшей дисперсией, и эта оценка является единственной в классе линейных несмещенных оценок. Оценка if может быть получена из формулы г|э = ? с/Р/ заменой {Р/} на любую мнк-оценку (Рь...,Рр). Доказательство. Пусть а*'у — линейная несмещенная оценка ф с а'е V, (существование такой оценки было установ- установлено леммой), а а'у—произвольная линейная несмещенная оценка ф. Тогда согласно лемме а*' является проекцией а на Vr И Ц о ||2 = ||а* ||2 + || а — а* II2. По формуле A.2.10) с /и = ! находим D (а'у) = а'Гуа = а21| а ||2 = а || а* ||2 + а21| а - а* ||2 = а21| а-а* II2. Отсюда D (а'у) ^ D (а*'у) и равенство достигается только при а = а*. Таким образом, а*'у является единственной линейной несмещенной оценкой г|э с наименьшей дисперсией. Осталось доказать, что а*'у = с'р. Имеем а*'(у — f|)=0, где f| = Х'$ Является проекцией у на Vr, так как а* е V, и у — fj _L Vr. Из тождественных по 0 равенств с'р = М (а*у) = а*Х§ следует е' = а*'Х'. Окончательно находим а*'у = а*'ц = а*'Х'§ = с'р. Определение. Линейную несмещенную оценку с наи- наименьшей дисперсией if произвольной функции if, допускающей оценку, будем называть мнк-оценкой if. Существование и струк- структура этой оценки установлены теоремой 2. Мы сознательно использовали раньше термин «/шк-оценка» Только для жнк-оценок {р,} параметров {р,}. Можно было на- авать сумму X с&, лшк-оценкой произвольной линейной функ- р Ции У С/Р/, если {Р/} являются ж«к-оценкой параметров {р,}. р Отсюда следовало бы, что .имк-оценка функции X с/р/ является /=i р единственной тогда и только тогда, когда 2j cfii Допускает
26 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ оценку. Однако мы будем интересоваться мнк-оценками только функций, допускающих оценку, и параметров {р,}. Следствие 1. Если {$i,.. .,tyq}—функции, допускающие Ц оценку, то любая линейная комбинация ф = X hi^i тоже до- (=1 пускает оценку и ее мнк-оценка -ф равна ? h^t, где фг — мнк- оценка tyt. Доказательство. Функция "ф допускает оценку, так как Q X h$i есть ее линейная несмещенная оценка. Допустим, что i р ¦фл:= Z cu$l- Тогда -ф = X f? hidj^j. Применяя теорему 2 к ijpt- и -ф, найдем их жмк-оценки ф, = X ci;P/ и if = X ( 2 Л?с//^ Р/, где {Р/} — любая ж«к-оценка параметров {р;}. Таким образом, Дополнительные ограничения на параметры и оценки Если ранг X < р, то жнк-оценка не единственна. В этом случае лг«к-оценкой может быть любой набор {Ь\ Ьр) ста- статистик, удовлетворяющих уравнению Mi + ••• +ьРгР = ч, A.4.3) где |/ — /-й столбец X' и fj — проекция у на пространство Vr, порожденное {|/}. Такая неопределенность влияния парамет- параметров {Pi,...,pp} связана с уравнением Р.1.+ ... +Ыр = Ц A-4.4) в том смысле, что различным наборам значений {р,} соответ- соответствует одно и то же т), а следовательно, и вектор наблюдений у = т) + е. Отметим также, что если функция c'fl допускает оценку, то она принимает одинаковые значения для различных Р, являющихся решениями уравнения A.4.4). Действительно, согласно теореме 1 существует постоянный вектор а такой, что с' = а'Х'. Отсюда c'fl = а\ зависит только от т). Для преодоления отмеченной выше неопределенности пред- предлагается два пути. A) Рассмотрим «редуцированную» задачу только с г пара- параметрами {р,}. Мы придем к такой задаче, если выберем г ли- линейно независимых векторов из множества (|i, ..., \р) в каче- качестве базиса Vr так же, как это было сделано в доказательстве
§ 1.4. ФУНКЦИИ, ДОПУСКАЮЩИЕ ОЦЕНКУ 27 леммы 2 приложения I, а затем выберем г соответствующих {вЛ. В результате вместо X' мы получим (пХ г) -матрицу коэф- коэффициентов, и задача сведется к случаю максимального ранга, так как ранг новой матрицы равен новому числу парамет- параметров Ш- B). Наложим подходящие дополнительные ограничения на р параметров {ру} и на их оценки. Например, мы достигнем таких же результатов, как в A), если условимся не учитывать р — г параметров {Р/}, для этого положим р,- = E/ = 0. В дис- дисперсионном анализе принято в таких случаях налагать новые ограничения, что приводит к желаемой единственности. Будем считать, что {Р/} подчиняются / (t^ р — г) новым требованиям If'р = 0, где Н'—известная постоянная (t X p) -матрица. Обычно в ограничениях, применяемых на практике, {р/} единственны в том смысле, что для каждого возможного мно- множества {Р/} первоначальной задачи существует и единственно множество {Ру}, удовлетворяющее условиям Х'Р = Х'Р и Я'Р = О. A.4.5) Первое из этих условий показывает, что {jjy} и {Р/} дают оди- одинаковое значение т) =-Х'р. Второе условие A.4.5) позволяет определить {Р/} по {Р/} однозначно. Ниже мы докажем, что эти {Р/} допускают оценку в старой задаче, так что любая параметрическая функция с'р в новой задаче допускает оценку в старой задаче. Мы покажем также, что .инк-оценка {Р,-}, удовлетворяющая дополнительным условиям ff'p = 0, един- единственна, т. е. что при дополнительных условиях решение нор- нормальных уравнений единственно. В остальных параграфах этой Книги, когда нам потребуется вводить дополнительные ограни- ограничения для единственности параметров и их оценок, мы будем опускать значок (~) над {Р/}, но пока он будет сохранен. (Читатель, желающий принять все это без доказательств, мо- может сразу перейти к следующему параграфу). Рассмотрим тривиальную функцию с'р, допускающую оцен- оценку, все коэффициенты которой равны 0. Запишем ее как 0'р. Ясно, что произвольная функция, допускающая оценку, за ис- исключением 0'р, может принимать любое значение k, если вы- выбрать соответствующим образом р (например, Р/ = fe6v//cv при каком-нибудь v, для которого суф0). Обозначим / строк мат- матрицы Н' через Af, ..., hi. Очевидно, никакая функция h\f>, за Исключением 0'р, не может допускать оценку, так как мы доба- добавили ограничения /f'P = O или все Л;Р = О. Действительно, если функция Л<р допускает оценку, то по замечанию, сделанному
28 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ после A.4,4), ft/P = ft/P, а, с другой стороны, эта функция может принимать любое значение к. Таким образом, не существует линейной комбинации {ft/Р}, допускающей оценку, за исклю- исключением О'р (вполне возможно, что О'р может быть линейной ком^ бинацией {Л*Р} с коэффициентами, не всеми равными нулю, так как мы допустили, что {А,} могут быть линейно зависимыми). С помощью теоремы 1 можно установить следующее: ие суще- существует линейной комбинации строк #', за исключением *) 0', ко- которая могла бы быть линейной комбинацией строк X'. С другой стороны, если решение р в A.4.5) единственно, то ранг состав- составной ((« + ОХ Р) -матрицы <?' = (?) A-4.6) должен быть равен р. Покажем это. Чтобы использовать раз- разбиение матриц (см. конец приложения II), перепишем A.4.5) в виде О'р = ц*, где — вектор си-)-/ координатами, или в виде Pi?. + Kg2 + •.. + Рр?р = Ч*. A.4.8) где g{ является ?-м столбцом С Согласно лемме 3 (приложе- (приложение I) коэффициенты {{}/} в A.4.8) единственны тогда и только тогда, когда {gt} линейно независимы, т. е. ранг С = р. То, что эти два необходимых условия, наложенных на матрицу И', являются также достаточными для наших целей, вытекает из следствия 2 следующей теоремы. Теорема устанавливает чисто алгебраический результат. В статистической интерпретации ус- условие б) этой теоремы эквивалентно условию б'): не существует линейной комбинации строк #'р (т. е. не существует линейной комбинации параметрических функций, которые мы в силу дополнительных условий приравниваем к нулю), являющейся функцией, допускающей оценку, за исключением О'р. Теорема 3. Допустим, что X' является (пХр)-матрицей, И' — (t X р)-матрицей, ранг Xf = r(p> r, t^p — r) и Vr— пространство, порожденное столбцами X'. Тогда система урав* нений Х'Ь = г, Н'Ь = 0 A.4.9) имеет единственное решение ЫрХ^ при любом г("х1)е У, в том и только в том случае, когда выполняются следующие два условия: *) Мы пишем 0', так как здесь 0 понимается как нулевой вектор; однако Палее коппектно было бы обозначить 0 1™лр1№Ю It V П-MaTDHUv.
§ 1.4. ФУНКЦИИ. ДОПУСКАЮЩИЕ ОЦЕНКУ 29 а) ранг составной матрицы равен р; б) никакая линейная комбинация строк Н' не представ- представляется в виде линейной комбинации строк X' (за исключе- исключением О'). Доказательство. Большую часть доказательства зани- занимает установление необходимости и достаточности условия б) для существования решения Ь при любом г е Vr. Если реше- решение Ь существует, то с помощью рассуждений, приведенных выше в связи с A.4.8), доказывается необходимость и доста- достаточность а) для единственности решения. Запишем A.4.9) в виде G'b = z*, где г* — вектор с n~Xt координатами: или же в виде где gj является /-м столбцом С. Тогда условие z* е W (W — пространство размерности n-{-t, порожденное векторами {gj}) является необходимым и достаточным условием существования решения Ь. По теореме 3 приложения I г* е W тогда и только тогда, когда и'г* = 0 при каждом и J_ W. Записав и в виде (<п X 1) \ , г ч (txi) )' нах°Дим и'z* = (v'w') ( 0 J = v'z. Мы видим, что ( равенство и'г* = 0 выполняется в том и только в том случае, когда v'z = 0, а и J_ W тогда и только тогда, когда и ортого- ортогонален столбцам С, порождающим W. Последнее условие можно записать в виде u'G' = 0, т. е. откуда v'X' + w'H' = Q'. A.4.10) Теперь мы получили, что необходимым и достаточным условием •существования решения Ь при каждом геК, является спра- справедливость равенства v'z = 0 для любых »<"х1> и аЛ'х1>, удовле- удовлетворяющих A.4.10). Предположим сначала, что условие б) выполняется, аник удовлетворяют A.4.10). Тогда векторы w'X' = — w'X', являю- являющиеся линейной комбинацией строк X' и линейной комбина- комбинацией строк Н', должны быть по условию б) равны 0. Из равен-
30 ГЛ. 1. ТОЧЕЧНЫЕ ОЦЕНКИ ства v'X' == 0 вытекает, что v ортогонально столбцам X', сле- следовательно, v -L Vr; поэтому v -L г при любом г е Vi, т. е. v'z = 0, и, таким образом, решение b существует при любом г е Vr- Предположим противное: пусть б) не выполняется. Тогда существует линейная комбинация строк Н' (обозначим ее —w'H') и линейная комбинация строк X' (обозначим ее v'X') такие, что v'X' = w'H' = Я/, где i/p*1» ф q Положим теперь г = Х'к, так что г е V,. Тогда v'z = v'X'h = к'к ф 0, a v a w удовлетворяют A.4.10). Таким образом, при любом геУ, существует решение Ь. Положив в теореме 3 Ь = р и г = .Х'р, получим Следствие 2. Условия а) « б) теоремы 3 являются необ- необходимым и достаточным условием существования решения р системы A.4.5) /гр« любом р. Напомним, что любые {Ь\,...,ЬР}, удовлетворяющие A.4.3) и являющиеся функциями только у*), образуют множество лшк-оценок. Полагая z = f| в теореме 3, получим Следствие 3. Если условия а) и б) теоремы 3 выпол- выполняются, то существует единственная мнк-оценка {р\, ...,рр} (г. е. существует единственное решение нормальных уравне- уравнений), для которой #'р = 0. Мы подчиняем жнк-оценку таким же условиям, как и пара- параметры. В итоге мы получим результат, заключающийся в том, что любая линейная комбинация параметров {р/} {р/} (подчи- (подчиняющихся дополнительным условиям) допускает оценку. Теорема 4. Если условия а) и б) теоремы 3 выполняются (так что {р,} являются функциями от {р/}, однозначно опре- определенными условиями A.4.5)), то $/} являются функциями, допускающими оценку. Доказательство. Выразим {р;} через параметры {Р/}. Для каждого р в A.4.5) существует единственное решение р, так что G'P= Г Q J. Умножая это равенство на G слева, получим GG'P = (X, Я) Из теоремы 7 приложения II следует, что ранг (рУСр)-матрицы GG' = r(G) = p**); таким образом, GG' имеет обратную мат- матрицу и p^GG'J-'XX'p, или $ = (XX'+ НН')-1ХХ% Линей- *) Зависимость {6/} только от у и их линейность следуют из единствен- единственности решения системы линейиых уравиеиий ХХ'Ь = Ху, Н'Ь = 0. **) Ранг матрицы А мы будем обозначать г(А).
§ 1.5. СЛУЧАЙ ИЗВЕСТНЫХ КОЭФФИЦИЕНТОВ КОРРЕЛЯЦИИ 31 ные функции Р имеют несмещенную оценку {XX'+ НН')-*Ху, так как М (у) = Я'Р- § 1.5. Редукция случая известных коэффициентов корреляции наблюдений и известных дисперсионных отношений Рассмотрим теперь случай, когда ковариационная матрица Ту наблюдений {«/,}, не равная а2/, известна с точностью до скалярного множителя, т. е. Ти = QB, где 0 —неизвестная по- положительная постоянная, а В(пхп) — известная постоянная мат- матрица; В обязана быть симметричной и положительно опреде- определенной; кроме того, мы будем предполагать, что В не вырож- вырождена (см. приложение V). Эти условия равносильны тому, что известны коэффициенты корреляции каждой пары наблюдений и отношения их дисперсий. Теперь наши основные предположения таковы: Q: М(у)=Х% Г.^еВ, \В\Ф0, г(Х')=г. A.5.1) Этот случай может быть сведен к разобранному (когда Tv = а2/) с помощью леммы 11' и следующих за ней замечаний в приложении II, которые устанавливают существование такой невырожденной матрицы Р<"Х"), чт0 р'ВР = /. Пусть у = Р'у. Тогда М (у) = Р'М (у) = Р'Х'Ь = Х% ^де X' = Р'Х'; поэтому г{Х') = г{Х') = г и *• Тд = РТуР = QP'BP = аЧ, уде а2 = в. Перепишем A.5.1) так: Q: М(у)=Х% Гу = о21, г{Х')=г. Случай с такими предположениями был уже рассмотрен. В приложениях вычисление преобразованных «наблюдений» {§{} довольно утомительно, поэтому предпочитают обычно иметь дело с действительными наблюдениями {#,•}. Л1«к-оценка параметров {Р/} может быть найдена как вектор, минимизи- минимизирующий следующую квадратичную форму, содержащую {«/,} и {Р/}: У (У, Р) = (У ~ Х'Р) 'В (У - Х'Р) • A -5.2) Чтобы показать это, мы отметим, что по преобразованным «на- «наблюдениям» оценка {{$/} находится уже рассмотренным спосо- способом, с помощью минимизации выражения ^ (у, Р) = (у - х'Р)' Су - х'Р). A -5.3)
32 ГЛ. I. ТОЧЕЧНЫЕ ОЦЕНКИ Подставим у— Х'$ = Р' (у— Х'$) в A.5.3). Используя равен- равенство РР' = В~\ получим, что 9" {у,р) равняется 9*(у,р), опре- определенной формулой A.5.2). Оценка параметров {р;} в условиях A.5.1) содержит неиз- неизвестный параметр 9. В § 1.6 будет показано, что несмещенной оценкой о2 является 9> (у, р)/(п— г), где р— любая мнк-оценка. Отсюда следует, что несмещенной оценкой параметра 9 яв- является 9*{у, Р)/(п — г), где 9*(у, Р) получена из A.5.2) путем замены Р на р. Квадратичную форму A.5.2), которая минимизируется лгн/е-оценкой, можно назвать «взвешенной суммой квадратов». Рассмотрим частный случай, когда наблюдения независимы; В — диагональная матрица, wjx — /-й диагональный элемент матрицы В и {wt} — величины, обратные дисперсиям наблюде- наблюдений {#i}. В этом случае A.5.2) принимает следующий вид: Случай Гу = а2! получается из рассмотренного, когда все веса {wi} равны. На практике мы можем иногда до некоторой степени сомне- сомневаться в правильности весов. Некоторое удобство метода наи- наименьших квадратов заключается в том, что, применяя непра- неправильные веса, мы тем не менее получаем несмещенную оценку; однако наши вычисления дисперсий *) оценок будут некоррект- некорректными в связи с неправильностью весов. В общем случае исполь- использование какой-нибудь положительно определенной матрицы В (даже неравной 9~'Г(,) в A.5.2) приводит к несмещенной оценке функций, допускающих оценку, если лш/с-оценка {Р;} вычис- вычисляется минимизацией A.5.2). Здесь мы это докажем только в том случае, когда ранг X' = р. Пусть определены так же, как и выше, матрица Р (для заданной В), у и X'. Нормальные уравнения с преобразован- преобразованными у и X' имеют вид ХХ'$ = Ху. Их решение (обозначим его р*) задается формулой Это решение совпадает с решением, полученным минимиза- минимизацией A.5.2). Из равенства Р*=(ХХ')~' Х'Р'у следует М(Р*) = 1 Подставляя в это выражение Р'Х' = X', получим М(Р*)= р. *) Границы смещения оцениваемой ковариационной матрицы установле- установлены в некоторых случаях Ватсоном (Watson, 1955).
§ 1.6. КАНОНИЧЕСКАЯ ФОРМА ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ 33 § 1.6. Каноническая форма основных предположений Q. Средний квадрат ошибок Введем выборочное пространство Vn наблюдений у*"*1) с ор- онормированным базисом {рьрг. •• • >Рл}, где р, = {6п,6,-2,... ..,6<я} (эт0 базис 31 примера, следующего за теоремой 1 при- л южения I); таким образом, у=Х«/,Р;. Введем также орто- нормированный базис {си,...,аг) для пространства Vr, порож- порожденного столбцами X', и затем дополним его до ортонормиро- ванного базиса {аь ... ,аг, ctr+i,- . • ,ап} пространства Vn. Это всегда возможно (леммы 6 и 7 приложения I). Запишем п 0= ?*,(*„ A.6.1) i = l где {zi} — координаты у в новом базисе. Умножая A.6.1) на а,-, получим z{ = a'fl. Эта связь между координатами {г,} и {«/<} может быть записана в виде г = Ру, где Р("х") — ортогональная матрица, г'-я строка которой рав- равняется щ. Пусть ?, = M(zi), так что^= М (а^) = а^. Отсюда ^< = 0 для i > г, так как r\ e Vr и щ -L Vr для i > г. Кроме того, мы находим ковариационную матрицу преобразованных -«наблюдений» {zi) Гг = РТуР' = о2РР' = а2!. Таким образом, теперь показано, что подходящим ортого- шальным преобразованием (не зависящим от неизвестных па- ¦аметров) мы можем всегда привести Q-предположения к ка- Шнической форме z = (zu. ..,zn)', MB«)=?; (t=l,...,r), ¦lBi)=0 (i = r+ 1 n), Г2 = оЧ, где tu ..., lr и о2 — не- неизвестные параметры, a {zi} получены из наблюдений некото- ИЫм известным преобразованием. Мы до сих пор не использовали каноническую форму в ана- лиае данных; поэтому у нас не было необходимости вычислять штрицу преобразования Р в явном виде (хотя можно было бы вычислить ее строки {о^} по способу Шмидта; лемма 6, прило- приложение I). Однако каноническая форма очень полезна для вы- выводов в теории распределений. Примером может служить сле- следующий раздел этого параграфа. Несмещенная оценка о2 Введенная в конце § 1.3 сумма квадратов ошибок ^^^) A.6.2) 2 Г. Ше**е
34 ГЛ. I. ТОЧЕЧНЫЕ ОЦЕНКИ где {Р/} — любая лш/с-оценка, может быть записана как 9"а = — IIУ — ЧII2» гДе Ч является проекцией у на Vr. Поскольку п г y=T*ziai ит|=2]2;«ь где {си ап} — базис, введенный I ii t-I [п У, 1+ ИЛИ ?Q= ? 4 A.6.3) t—r+1 Отметим, что М (zf) = D (г,) = а2 при i~>r, так как МB;) = 0. По формуле A.6.3) находим М(9'а) = (п — г)о2. Положив s2 = ^, A.6.4) мы получаем М (s2) = а2. Следовательно, s2 является несмещен- несмещенной оценкой а2. Величину s2 мы будем называть средним квад- квадратом ошибок (и обозначать в дальнейшем SSe); будем также говорить, что он имеет п — г степеней свободы. Обычно числом степеней свободы квадратичной формы от наблюдений назы- называется ее ранг (т. е. ранг симметричной матрицы квадратичной формы). Из A.6.3) следует, что ранг 9"а равен п — г. Вычисление несмещенной оценки о2 является важным прак- практическим дополнением теоремы Гаусса — Маркова, так как в приложениях желательно иметь характеристику точности не- несмещенной точечной оценки. Если \|з = с'р является функцией, допускающей оценку, то по теореме 2 существует единственная линейная комбинация наблюдений ф = а*'у, которая является наилучшей оценкой \|х Дисперсия оценки \f) равняется а2 = = а*'а*а2; ее можно оценить выражением a^ = a*'a*s2. Оче- Очевидно, это несмещенная оценка. Было также показано, что 6^ имеет другие оптимальные свойства *). В случае, когда наблю- наблюдения имеют неравные дисперсии {а,}, но s2 вычисляется таким же способом, как в случае равных {о«}, математическое ожи- ожидание среднего квадрата ошибок s2 находится по правилу, при- приведенному в начале § 10.4. Пространство оценок и пространство ошибок п Рассмотрим множество всех линейных форм ? aiyj = a'y от наблюдений. Предполагается, что коэффициенты {а,} — из* ¦) Сюй (Hsu, 1938b).
§ 1.6. КАНОНИЧЕСКАЯ ФОРМА ОСНОВНЫХ ПРЕДПОЛОЖЕНИИ 35 вестные постоянные (т. е. не зависят от неизвестных парамет- параметров); можно назвать а вектором коэффициентов линейной формы а'у. Между множеством линейных форм а'у и множе- множеством векторов коэффициентов естественно устанавливается взаимно однозначное соответствие. Сложению линейных форм или умножению линейной формы на число соответствуют ана- аналогичные операции над векторами коэффициентов. Принято го- говорить о пространстве линейных форм, порожденном заданным множеством линейных форм; независимости линейных форм; ортогональности форм и пространств и т. д. Эти термины можно определить, используя свойства соответствия векторов коэффициентов и форм. Канонические переменные {z\ zn), являющиеся линей- линейными формами наблюдений {«/;}, могут быть использованы для определения двух интересных ортогональных пространств ли- линейных форм, а именно пространства, порожденного {z\,...,zr}, называемого пространством оценок, и пространства, порожден- порожденного {zr+i, .... zn}, называемого пространством ошибок*). Ра- Равенства г{ = а'(у показывают, что формы {zi,...,zn} образуют ортонормированный базис в я-мерном пространстве форм (так как их векторы коэффициентов образуют ортонормированный базис в Vn)- Следовательно, определенные выше пространства ортогональны. Определение пространства ошибок введено по тем сообра- соображениям, что сумма квадратов ошибок Уа зависит только от {Zr+u .*.., г„}. Легко показать, что линейная форма а'у принад- принадлежит пространству ошибок в том и только в том случае, когда ее математическое ожидание равно нулю тождественно по па- параметрам. Из соотношения z = Ру находим у = Р'г, так как Р'Р = /. Отсюда следует, что а'у = b'z, где Ъ = Ра и г М (а'у) = Ь% = 2 b&i = 0 в том и только в том случае, когда г=1 6, ss Ьч = ... = Ьг = 0, т. е. для этого необходимо и доста- п точно, чтобы а'у = ? Ь(г{. Определение пространства оценок г=г+1 введено по следующим соображениям. Если ф — любая допус- допускающая оценку функция и ф—ее инк-оценка, то линейная форма ф является линейной комбинацией только {z\,...,z,}, т. е. if принадлежит пространству оценок. Покажем это. Отме- Отметим, что столбцы Р'{а\,... ,ап) образуют ортонормированный базис в Vr, который был использован при получении канони- канонической формы. Если ф допускает оценку, то по теореме Гаус- *) Эти определения ввел Бозе (Bose, 1944). о*
36 ЗАДАЧИ са — Маркова ее мнк-оценка if имеет вид а*'у, где а* е Vr, т. е. a* -L а,, если / > г. Отсюда ф = а*'у = c'z, где с' = а*'Р' яв- является вектором, /-й элемент которого равен с-, = а*'а,-, так что г с/ = 0, если / > г. Таким образом, ф = ? C/Zf. Несмотря на то, что линейные формы {z\,..., zn} зависят от выбора базиса {<%!,...,<%„}, пространство оценок и простран- пространство наблюдений от выбора базиса не зависят, так как первое является пространством всех ф) а второе — пространством всех а'у, для которых М (а'у) = 0. ЗАДАЧИ 1.1. Методом наименьших квадратов подбираются полиномы первой и второй степени по я точкам (xi, yi), i= 1, ..., п. Пусть а> и Q обозначают предположения *) со: </< = а+Рлгг + ег М(е?) = 0, М (е,*,,) = 0*6„„ Q: y, = a+fixi + yx2t + ei, M(e,) = 0, M (e,e,.,) = 026ir. Дифференцированием получить нормальные уравнения для оценок аир при условиях со и для оценок а, Р и у при условиях Q. Решить первую систему нормальных-уравнении в явном виде, а для второй решение записать с по- помощью определителей. Решения задач 1.1, 1.2, 1.3 будут использованы в гл. 2. 1.2. В задаче 1.1 найти дисперсию и ковариацию оценок а и р в предпо- предположениях со. Показать, что если в со а + $xt заменить на б + Р(*< — х), то при со получим б = у и covF, p) = 0. 1.8. В задаче 1.1 при Q найти D(y) с помощью определителей. * 1.4. Доказать следующую лемму, если y=(yi, ..., Уп)\ M(y)=i\, Q( ф M(Q( Q( M(Q() Д дущу у, y(y, , Уп)\ (y)\, у —1\, a Q(y)— квадратячная ф°Рма. то M(Q(y))— Q(r\) + M(Q(e)). Отметим, что Q(n) может быть вычислена заменой в Q(y) наблюдений {yi} их математическими ожиданиями и что M(Q(e)) является значением M(Q(y)), когда ц = 0. 1.5. Доказать следующий результат, имеющий большое значение в тео- теории планирования эксперимента. При Q М (у) = J] P/iy и Ту = о21. Если iv™8 Iv'T' lv"> где iv ~ проекция |v на пространство, порожденное другими {|у}, и если 1^ Ф 0, то Pv допускает оценку, а дисперсия ее лшк-оценки Pv равняется ||^| о2. Указание. Положить v = 1 и выбрать вектор а, канонической формы § 1.6 в направлении |^. *) Для дальнейшего использования в гл. 2 здесь удобнее обозначать основные предположении со и Q, а не Qt и Q%.
Глава 2 ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ И КРИТЕРИЕВ В ПРЕДПОЛОЖЕНИИ НОРМАЛЬНОСТИ § 2.1. Основные предположения Q и распределение точечных оценок В этой главе, так же как и в гл. 1, развивается общая тео- теория. Мы не ограничиваемся случаем, когда элементы X' при- принимают только целые значения. Хотя этот случай является Одним из главных в нашей книге, мы все же рассматриваем не только его, так как в гл. 1 и 2 это не усложняет изложение. Дополним основные предположения ЪА{у) = Х'§ и Гу = о2/, сделанные раньше. Мы будем предполагать, что совместный закон распределения наблюдений {у) является нормальным*). Это дополнительное предположение позволяет установить: 1) доверительные интервалы для значений, допускающих хренку функций параметров, точечные оценки которых были пЬлучены в гл. 1, а также совместные доверительные множе- множества для нескольких допускающих оценку функций; 2) критерии для проверки гипотез о значениях параметров и мощность этих критериев. Влияние нарушений основных предположений на статисти- статистические выводы, полученные на основании этих предположений, будет рассматриваться в гл. 10. Основные предположения Можно записать так: Q: у<"хо распределен Л^Х'р**1», аЧ), г(Х<а^) = г. В приложении V доказаны некоторые используемые в этой главе свойства многомерного нормального распределения. ") Это предположение и равенство Гу = аЧ приводят к независимости случайных величии {yi). Более общее предположение о Ту, сделанное в § 1.5, здесь, очевидно, тоже может быть сделано. Это более общее предположение можно свести к обычному Tg = a2t, применяя преобразование § 1.5.
38 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ Пусть фь i|>2, •••> Ф?— произвольное множество q функций, допускающих оценку, причем ,,, ¦ <21Л) где {cij}—известные постоянные коэффициенты, а ¦$,, ¦фд, ... ..., $q — лм/с-оценки этих функций. По теореме Гаусса — Мар- Маркова (§ 1.4) они однозначно определяются линейными функ- функциями наблюдений п Фг — S &цУ\ ('= 1. • • •> <?)• B.1.2) Можно указать два различных способа вычисления коэффи- коэффициентов {atj}. 1) Пусть {Р/}—любое решение нормальных уравнений. Оценки {Р/} являются линейными функциями наблюдений; эти р линейные функции нужно подставить в формулу ^ = 2 СпР/.' /-I 2) Любая допускающая оценку функция является линейной комбинацией математических ожиданий наблюдений {г/,}: ¦ф, = b'it\, где 6; — постоянный вектор и ц = М(у). В доказатель- доказательстве теоремы Гаусса — Маркова (§ 1.4) была получена фор- формула $i = a'iy, где а, — проекция ft, на пространство Vr, порож- порожденное столбцами X' (а,- легко вычисляются, если известен орто- ортогональный базис в V/, используя метод Шмидта (лемма 6 при- приложения I), по столбцам X' можно найти ортогональный базис Vr). Равенства B.1.1) и B.1.2) можно записать в матричной форме ф = Ср, B.1.3) $ = Ау, B.1.4) где ф(«х1) = (ф, ф,), ^(»х1)=в(ф1> ..., ф,), с^хр) = (су) и Л = (а,;). Ковариационная матрица оценок {ф,} находится по формуле Г. = а2ЛА'; несмещенной оценкой а2 является средний g>Q квадрат ошибок s2 = _—, рассмотренный в § 1.6. Совместное распределение оценок {ф,} и суммы квадратов ошибок ^Q устанавливается следующей теоремой. Теорема. Если выполнены п-предположения, то случай- случайная величина ¦§ нормально распределена с параметрами (if, Г^) и не зависит от Ра/о2, распределенной по закону ^2 с п, — г ст. св.
§ 2.2. НЕКОТОРЫЕ ТАБЛИЧНЫЕ РАСПРЕДЕЛЕНИЯ 39 Доказательство. Случайная величина ф распределена нормально, так как (см. приложение V) нормально распреде- распределена величина у, и $ связана с у линейными соотношениями B.1.4). Кроме того, из теоремы Гаусса — Маркова мы знаем, что М(ф) = Ч>. Используем теперь каноническую форму § 1.6. Если {z\,...,zn} — канонические переменные, то 2 = Ру, где Р'Р ~ I. Следовательно, величина z нормально распределена с параметрами (?,а2/), где ?,- = 0 при i~> г. В конце § 1.6 было показано, что if является функцией только от {z\,...,zr}, a ifa — функцией только от {zr+u ...,zn}- Из независимости этих двух наборов случайных величин следует независимость ty и 9"а- Наконец, 5?я/а2 = ? fe/°J> a W°} ПРИ i> r незави- r+l симы и нормально распределены с параметрами @, 1). Отсюда Ра/о2 распределена по закону %2 с п — г ст. св. § 2.2. Обозначения для некоторых табличных распределений В этом параграфе мы введем обозначения для процентных пределов F-распределения, которое в дальнейшем будет часто встречаться, а также для процентных пределов некоторых дру- других распределений, встречающихся менее часто. Будем отсы- отсылать читателя к таблицам нужных ему процентных пределов, а также к, существующим таблицам соответствующих функций распределения. Верхним а-пределом A00 а-процентным верх- верхним пределом) случайной величины, или ее распределения, мы будем называть число, обладающее тем свойством, что случай- случайная величина принимает значения, большие этого числа, с ве- вероятностью, равной а, т. е. za является верхним а-пределом случайной величины г, если P{z > za} = а. Функцией распре- распределения случайной величины назовем функцию действительного переменного к, равную при каждом значении х вероятности того, что случайная величина принимает значения, не превос- превосходящие х, т. е. функция распределения случайной величины г равна P{z ^ х). Обозначим Xv случайную величину, распределенную по за- закону %2 с v ст. св., и х2,. v — ее верхний а-предел, так что Р {%v -^ Xa- v} = а- ^Ы будем обозначать FVt,V2 случайную вели- величину, имеющую ^-распределение с vj и V2 степенями свободы, и ^о; v,, v,— ее верхний а-предел; ^v — случайную величину, имеющую ^-распределение с v степенями свободы, и ^a;v — ее верхний a-предел. В приложении IV определены нецентральные величины %'^ 6, F'Vi Vj. 6, t'^ e. «Центральные» случайные вели-
40 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ чины являются частным случаем нецентральных, когда пара- параметр нецентральности 6 = 0. Для а = 0,05; 0,01; 0,025; 0,05; 0,10 значения Fa;v,,v, за- задаются F-таблицей в конце этой книги. Если необходима интер- интерполяция по vi или V2, то лучше использовать линейную интер- интерполяцию не по vi и V2, а по их обратным величинам. Таблица устроена так, чтобы облегчить линейную интерполяцию по 120/v, и 120/v2. Для обычных F-критериев нужны только верхние а-пределы (для малых значений а), но для некоторых двусторонних дове- доверительных интервалов (например, в гл. 8) нужны также ниж- нижние а-пределы. Нижний а-предел величины /ч,, v, обозначим ^i-a. vi. v,- Тогда из определения FVuVj следует (заметьте, что числа степеней свободы переставлены), что Г l-a; vi, Vi == \г а; v2, vj Значения Хд- v и '<« v можно получить из таблицы Fa-, Vl> V2 с по- мощью соотношений %\. v = vFa. V|_„_, ta/2.v = (Fa., vJ. (Заметьте, что верхний а-предел F-распределения соответствует «двусто- «двустороннему» а-пределу t.) Функцию распределения %\ можно найти в «Биометриче- «Биометрических таблицах для статистиков» (Biometrika Tables for Statisti- Statisticians, таблица 7) под редакцией Е. С. Пирсона и Хартли (Е. S. Pearson & Hartley, 1954); дополнение функции распре- распределения до единицы называется «вероятностным интегралом». Вероятностный интеграл FVl, v, можно получить из «Таблиц неполной В-функции» К. Пирсона (К. Pearson, 1934). ДЬЬ где V2 + Vi/7!) ' а 1хАр<Я) — обозначение К. Пирсона для неполной В-функции, которую он табулировал*). Функция распределения tv табули- табулирована в «Биометрических таблицах для статистиков» (таб- (таблица 9) и называется «вероятностным интегралом». Некоторые таблицы и диаграммы для нецентральных рас- распределений описываются в § 2.8. В конце следующей главы нам потребуется случайная вели- величина <7fejV и ее верхний а-предел qa,k,v Дадим определение закона распределения qu,v- Пусть случайные величины х\, ... *) Она является обычно определяемой неполной В-функцией, разделен- разделенной на В (р, q) = /i (p, q).
§ 2.3. СЛУЧАЙ ФУНКЦИИ, ДОПУСКАЮЩИХ ОЦЕНКУ 41 ..., Xk независимы и нормально распределены с параметрами (Цх,Ох)- Обозначим через R размах {xi}, т. е. R = maxx{ —i Пусть s\ является независимой средней квадратичной оценкой <jr8 с v степенями свободы. Таким образом, vs?/a? = Xv и не зависит от R. Случайную величину R/sx будем обозначать через qklv и назовем стьюдентизированным размахом. Значения его верхнего a-предела для а = 0,01; 0,05 и 0,10 приведены в конце этой книги в «Таблице стьюдентизированного размаха». § 2.3. Доверительные эллипсоиды и доверительные интервалы для функций, допускающих оценку Доверительные множества являются обобщением аналогич- аналогичного понятия доверительных интервалов. Допустим, что {#1. У2,---, Уп) — наблюдения, законы распределения которых полностью определяются неизвестными значениями параметров {8|,...,9m}, и что {\|)ь ... ,^q} — точно определяемые этими па- |«метрами функции (которые представляют особенный интерес в некоторых приложениях). Обозначим три точки с координа- координатами {у\,...,уп}, {6i,...,9m}, {i|>i \|з7} соответственно через f{ в, ф, так что точка ф в ^-мерном ^-пространстве опреде- определяется значением 0. Предположим, что для каждого возмож- возможного у из выборочного пространства в «/-мерном ^-пространстве определена область*) R(y). Тогда если область R(y) покры- »ает истинную точку q> с вероятностью, большей некоторой за- заранее заданной постоянной 1—а и не зависящей от неизвест- неизвестных истинных значений параметров 0, то область R(y) назы- называют доверительным множеством для if с доверительным коэф- коэффициентом 1—а. Частотный смысл этого определения такой: i. большом ряде различных последовательных применений до- доверительных множеств с доверительным коэффициентом 1 —а Число случаев, когда доверительное множество покрывает ис- истинное значение ф, подлежащее оценке, пропорционально 1 — а (причем в различных случаях могут меняться не только значе- значения у, но и т, п, 9 распределения и ip-функции). Доверитель- Доверительный интервал является частным случаем, когда q= 1, и тогда R(y)—множество в одномерном ^-пространстве. Через if], if>2. ..., tyq обозначим q допускающих оценку функ- функций. В этом параграфе мы получим доверительное множество Для точки (i(>i,i(>2,• • • ,tyq) ^-мерного ^-пространства в форме *) Точечное множество.
42 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ эллипсоида*) (приложение III). Наиболее важным приложе- приложением доверительных эллипсоидов является, по-видимому, 5-ме- тод множественного сравнения (§ 3.4; § 3.5). Можно допустить, что фь • • •, ф? линейно независимы; тогда если ф<<?х1> = С(«хр)р(''х1), то строки матрицы С линейно неза- независимы. В противном случае можно найти т (m < q) линейно независимых г|з(-, так что остальные будут их линейными ком- комбинациями. Перенумеруем {г|з,-} так, чтобы {tym+\ ^} были линейными комбинациями (с известными коэффициентами) от линейно независимых функций {ijji,..., г|зт}. Тогда каждая точка (фь ..., t|Jm) однозначно определяет точку {tpi,...,^}, так что по доверительному множеству первой точки сразу строится до- доверительное множество для второй. Используем теперь формулы B.1.1) и B.1.4) § 2.1. Ранг С = q, так как {г|э,} линейно независимы. По теореме § 2.1 слу- случайная величина if имеет распределение N(§,o2B), где В = о2Г^ = АА', B.3.1) и независима от &п = <РЦ?п_г. Ниже мы покажем, что матрица В невырождена. Отсюда будет следовать (приложение V), что (ф-ф/В-'^-ч,) B.3.2) является o2%2q и независима от величины ——, имеющей распределение %2п_г. B.3.3) Таким образом, мы докажем, что случайная величина «-'<*-«'в-'(*-*) B3.4) о является Fq,n-r с q и п — г ст. св.; здесь s2 = 9>al(n — г), т. е. s2 — средний квадрат ошибок. Для доказательства невырожденности В вычислим матема- математическое ожидание от равенства ij> = Ay; тождественно по р имеем \|) = АХ'§ = Ср. Таким образом, С = АХ' и q = r(C) = = г (АХ') ^ r(A<-qxn)) s^ q, отсюда г (А) = q. Применяя теорему 7 (приложение II) к B.3.1), получим г(В)=г(А), и следова- следовательно, B(qxi'> — невырожденная матрица. Искомое доверительное множество можно получить из B.3.4). В условиях Q вероятность неравенства Fq,n-r < Fa>q>n-r, т. е. (¦ —ТГВ-Ч* —4>)<?sVa:«.»-r. B.3.5) *) Понятие доверительных эллипсоидов было введено Хотеллингом (Но- ttlling, 1929, 1931). Общая теория доверительных интервалов была обоснова- обоснована Нейманом (Neyman, 1937).
§ 2.4. КРИТЕРИИ ДЛЯ ПРОВЕРКИ ГИПОТЕЗЫ Н 43 равна 1—а. Неравенство B.3.5) определяет в g-мерном ^-про- ^-пространстве эллипсоид (см. приложение III) с центром в (фь... . ...ф?)- Вероятность того, что этот случайный эллипсоид по- покроет истинную точку параметров, равна 1 — а и не зависит от значений неизвестных параметров рь ..., рр, а2. Можно получить доверительный интервал для одной допус- допускающей оценку функции ф = с'р (сфО), если повторить про- проведенные выше вычисления с q = 1. В результате получим одномерный эллипсоид, т. е. интервал Ь-ЧФ —4>)8<^a:l,»w, B.3.6) где ф = а'у является лш/с-оценкой ф и Ь = а'а. Оценку D (ф) = = а'ав* находим по формуле d^ = a'as2. Неравенство B.3.6) запишем в виде ф — ta а. <ф<ф-Иа &. B.3.7) —; п-r ф —; п-r Ч> Вероятность того, что этот случайный интервал покроет неиз- неизвестное ф, равна 1 — а. Интервал B.3.7) можно еще получить, исходя из того факта, что 7" ¦ имеет распределение tn-r. B.3.8) Односторонние доверительные интервалы можно сразу полу- получить, используя B.3.8) и соотношения P{tn-r ^ ta- n-r} = 1—a ИЛИ P{tn-r ^ —ta; n-r) = 1 — a. Следует предостеречь читателя от многократного использо- использования «^-интервалов» B.3.7), вычисленных по одним и тем же данным (каждый, например, с 95% доверительным коэффи- коэффициентом), и особенно от частого использования B.3.7) для тех ф, которые были по этим данным подобраны, поскольку по- последние могут дать оценке ф значение, большее по сравнению с ст., и тогда читатель не будет знать, какое «доверие» можно приписать множеству своих заключений. Более корректный ме- метод для таких случаев будет изложен в §§ 3.4 и 3.5. § 2.4. Критерий для проверки гипотезы Н, построенный по доверительному эллипсоиду В Я-предположениях § 2.1 при помощи доверительного эл- эллипсоида B.3.5) строится критерий проверки гипотезы *) Н: ф! = ф2 = ... = ф, = О, *) Критерий для более общих гипотез ipj = ф,-0 (t = 1, ..., q), где i|),0 — заданные постоянные, можно построить с помощью доверительного эллип- эллипсоида B.3.5), который может покрывать или не покрывать точку (г|)ю, ... •••. t|),o). В дисперсионном, анализе задачи параметризованы так, что наибо- наиболее интересны гипотезы, когда все г|),о = 0.
44 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ где {tyt} — множество q линейно независимых, допускающих оценку функций; а именно гипотеза Я отвергается в том и только в том случае, когда доверительный эллипсоид не на- накроет точку (г|зь ..., г|з<7) = @,..., 0), т. е. мы отбрасываем ги- гипотезу Я тогда и только тогда, когда q,n-r. B.4.1) Если гипотеза Я верна, то вероятность отвергнуть ее равна а и не зависит от значений любых параметров, которые не опре- определяются точно гипотезой Я («неопределенные» параметры, на- например, а2). Таким образом, уровень значимости этого крите- критерия равен а. Только что полученный критерий зависит от допус- допускающих оценку функций {tfi,..., t|39}, используемых в опреде- определении Я. Нам нужно рассмотреть влияние на критерий различ- различных множеств, допускающих оценку функций, используемых для определения одной и той же гипотезы Я. Пусть № р ..., ф*Л — множество q* линейно независимых функций, допускающих оценку. Обозначим через Я* гипотезы Гипотезы Я и Я* являются одной и той же гипотезой в том смысле, что Я верна тогда и только тогда, когда верна Я*. В A.2.3) можно записать ф<"хп = Ср<Рх1>ф*<«*х1> = С»р. Тогда гипотезы Я и Я* совпадают, если множество р, для которых Ср = 0, совпадает с множеством р, для которых С*р = 0. По- Покажем, что Я и Я* совпадают в том и только в том случае, когда существует невырожденная матрица D<"x<" такая, что С* = DC (и тогда q* = q). Предположим сначала, что существует невырожденная матрица D(-qxt)) такая, что С* = DC. Тогда каждое из следую- следующих утверждений верно в том и только в том случае, когда верно одно из них (и, следовательно, Я и Я* совпадают): Я* верна; $* = 0; С*р = 0; ЯСр = 0; Ср = 0; $ = 0; Я верна. Предположим теперь, что Я и Я* совпадают. Через W обо- обозначим множество векторов {р}, удовлетворяющих равносиль- равносильным соотношениям Ср = 0 или С*р = 0, а через Vp обозначим р-мерное пространство всех векторов р. Записав Ср = 0 в виде р'С = 0', мы увидим, что W является множеством векторов в Vp, ортогональных столбцам С. Таким образом, если прост- пространство V порождено столбцами С, то W является ортогональ- ортогональным дополнением (см. конец приложения I) V в Vp, a V — ор- ортогональное дополнение W. Аналогично, если пространство V* порождено столбцами С*', то V* есть ортогональное дополне- дополнение W в VP. Отсюда следует, что V и V* совпадают, т. е. столбцы С и С*' порождают одно и то же пространство. Из
§ 2.5. ОТНОШЕНИЕ ПРАВДОПОДОБИЯ. СТАТИСТИКА 45 линейной независимости q допускающих оценку функций сле- следует линейная независимость q столбцов С, следовательно, они являются базисом V. Также устанавливаем, что q* столбцов С*' образуют базис пространства V* — V. Отсюда q* = q. Столбцы С должны быть линейной комбинацией столбцов С', так как последние образуют базис V. Эти соотношения можно записать в матричной форме С*'= CD' (здесь D/ = D'«'X<») или С* = = DC. Из равенства г (С*) = г (С) = q следует, что r(D) — q и, таким образом, матрица D невырождена. Если одна и та же гипотеза Я определяется равенством ф = 0 или if* = 0, где 1|з = Ср и ijj* = С*р, то С* = DC и мат- матрица D невырождена. Построим для проверки гипотезы Я кри- критерий с функциями if* по аналогии с B.4.1). Мы отвергаем гипотезу Я тогда и только тогда, когда > qs2Fa-,. n-r. B.4.2) Покажем, что критерии, основанные на B.4.1) и B.4.2), сов- совпадают. Было показано, что ф* = С*р = DC$ = D$, где р — любая лш/с-оценка. Отсюда находим В* = сГ2Гф, = сГ2Я1уГ = DBD' и ф*'В—У = $'D' (DBD)'1 Дф = ^'В~Ч- Это доказывает равносильность неравенств B.4.1) и B.4.2), а следовательно, совпадение критериев. Функция мощности этого критерия определяется теорией распределений, которая будет развита в § 2.6 (вместе с резуль- результатами § 2.7); разбор таблицы и диаграммы мощности дается В § 2.8, а оптимальные свойства в § 2.10. § 2.5. Критерий, построенный по отношению правдоподобия. Статистика У Принцип отношения правдоподобия *) может быть исполь- использован для получения большинства обычно применяемых стати- статистических критериев. В общем случае проверки гипотезы Н Я Основных предположениях Q удобно ввести обозначение со = Я Л Q, имеющее смысл множества предположений, полученного до- добавлением условий гипотезы Я к предположениям Q. Если ^^ *) Этот принцип был сформулирован Нейманом и Пирсоном (Neuman & ***rson, 1928). Критерии отношения правдоподобия, построенные в § 2.5 и в «ионической форме в § 2.6, были получены Колодзейчиком (Kolodzeijczyk, ЯкБ) для случая, когда г{Х) = р.
46 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ через у обозначены наблюдения или выборка, а через р(у)—• плотность распределения у, то статистику отношения правдопо- правдоподобия, служащую для проверки гипотезы Н, определяют фор- формулой*) тпахр(у) а,— *¦> тахр(у) ' Q Заметим, что 0^А,^1, так как каждое значение р(у), воз- возможное на (о, является возможным и на Q. Интуитивно ясно**), что чаще всего вектор у попадает в ту окрестность значений наблюдений, в которой p(y)dy достигает максимума при истин- истинных значениях параметров. Тогда, чем меньше максимум в (о по сравнению с максимумом в Q, тем больше мы должны со- сомневаться в истинности гипотезы Н. Критерий отношения прав- правдоподобия отвергает гипотезу Н, если К < Ко, где Ко выби- выбирается так, чтобы получить желаемый уровень значимости. Приведем две эквивалентные формы Q- и ©-предположений. В каждой форме у является «-мерным вектором, а ш = ЯЛ Q. Первая форма (мы использовали ее в § 2.4): Q: у имеет распределение N(X'$,o4), r(X<pXn)) = r, Н: i|)i = -фа = • • • = Ф? = О, где {$i} — заданные линейно независимые функции, допускаю- допускающие оценку. Вторая форма (она более полезна в геометриче- геометрических рассуждениях): Q: у имеет распределение N(i\, a2/), i\ e Vr, где Vr — заданное r-мерное подпространство Vn, Н: i\ e Vr-q — подпространство Vn, где Vr-q — заданное (г — <7)"меРное подпространство Vn- Пространство VT из второй формы порождается столбцами матрицы X' из первой формы, a Vr~q является подпростран- подпространством, к которому вектор i\ принадлежит по условиям tyi = = ф2 = ••• = г|з, = 0. *) Математически более искушенный читатель захочет написать X = snp p0 (у)/ sup pe (у), где 9 — «точка» в п, а ра (у) заменяет определен- е^ш esQ ную выше функцию р(у). **) Эта мысль не может быть логически обоснована в общем случае. Математики построили патологические примеры, в которых мощности крите- критерия отношения правдоподобия меньше, чем мощность «критерия», не учиты- учитывающего опытные данные и принимающего или отбрасывающего гипотезы согласно таблице случайных чисел так, что вероятность отвергнуть гипотезу равняется 1; см. Леман (Lehmann, 1959). Тем не менее иа практике, когда существует «стандартный» критерий, отношение правдоподобия очень часто позволяет найти этот критерий или близкий к нему.
S 2.5. ОТНОШЕНИЕ ПРАВДОПОДОБИЯ. СТАТИСТИКА 47 Для доказательства эквивалентности этих форм (читатель, желающий принять эту эквивалентность без доказательства, может пропустить этот и следующий абзацы) обозначим пред* положения со в этих формах через ©i и оJ, а гипотезы Я через Я, и #2. Очевидно, что предположения Q в двух формах совпа- совпадают, поэтому нам нужно доказать эквивалентность ом = = Я] П Q и (о2 = #2 П Q. Переходя в A.2.4) к математическим ожиданиям получим ф = Ат|. Из рассуждений, проведенных перед B.1.3), вытекает, что если а\ является i-й строкой А, то di^Vr, а из рассуждений, следующих за B.3.4), вытекает, что ранг А = q. Согласно Н\ ф = Ат^ = 0 или т) -L Va, где Уд — 9-мерное подпространство Vr, порожденное {сь... ,ад}. Мно- Множество всех векторов в Vr, ортогональных к Va, образует (г — q) -мерное подпространство (обозначим его V*_q) прост- пространства Vr; назовем это подпространство ортогональным до- дополнением Va в Vr (см. конец приложения I). Таким образом, из ©1 вытекает, что i\ e V*_q или что со2 следует из ©i и V =V* у r-0 " r-q- Докажем, что ф1 следует из со2. Пусть V\ — ортогональное дополнение Vr_q в V/, выберем векторы {а*, ..., с*}, порождаю- порождающие V*A. Через А" обозначим (q X и)-матрицу со строками, равными а\', ..., a*q'. Тогда из со2 следует, что х\ J. V*A или Ч ортогонален любому с* или A*fj^O- Определим теперь ,}Г = С*Р с С* = А*Х', так что ф* = А*г|. Тогда координаты {ф*} вектора ф* допускают оценку и несмещенная оценка г|э* равна А*у. Осталось показать, что {\|>!} являются линейно независимыми функциями параметров {Р^. (Для этого недостаточно, чтобы r(A*) = q; необходимо еще, чтобы prC* = g.) Предположим, что 21 сл|з* = О тождественно по Р или сУ = 0. Тогда из тождества с'А*А'р = 0 следует с'А*Х' = 0 или и'Х' = 0, где и = А*'с, т. е. и = сха\+ ... +cqtCq. B.5.1) С одной стороны, равенство и'Х' = 0 показывает, что и пер- перпендикулярен к столбцам X', т. е. и 1 Vr, с другой стороны, из B.5.1) вытекает, что иёУг, так как и'еУг. Следовательно, в = 0. Тогда, учитывая линейную независимость {а*\, из B.5.1) получаем с,- = 0 при любом /. Итак, №Х линейно независимы. Мы показали теперь, что ©i следует из юг с линейно независи- независимыми функциями ^ = ф*, /=1, 2, ..., q. При вычислении в предположениях Q статистики отношения правдоподобия для проверки гипотезы Я нам потребуется
48 ГЛ. 2 ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ плотность совместного распределения наблюдений р(у) = =¦ Р\(У\)Р2(Уг) ••• Рп(Уп), где р — \zjio ) елр Это произведение можно записать так: Н--?"»I L 0г J- 1 J, B.5.2) где У (у, р) = II # — Я'р II2 является суммой квадратов, которая минимизировалась в теории иш/с-оценок (§ 1.3). Мы будем искать максимум р(у) при Q и со. Для упрощения записи поло- положим Q = Qi, со = иг. Vr = V<d> Vr-9 = V<2). Нам нужно найти максимум B.5.2) в предположениях Q,- (i = 1,2) или максимум B.5.3) для 0<а2<оо и t^e V(iy Для этого можно сначала найти максимум по переменной r\ e y(J) при фиксированном а2, а за- затем искать максимальное значение полученного выражения по а. При фиксированном а2 B.5.3) максимально, когда мини- минимальна величина \у — т)|2, а эта величина по теореме 2 прило- приложения I минимальна, если г\ является проекцией у на FA). Итак, максимум B.5.3) при фиксированном а2 равен Bжт2) 2ехр^—ij J, B.5.4) где 9>Qi= \\y-r\Qi\\2 и т|й,- — проекция у на V(,> Приравнивая к нулю производную по а2 от логарифма B.5.4), т. е. производ- производную от {|(^) B.5.5) получим — ^г + ^- = 0. или B.5.6) При таком значении а2 B.5.5) достигает максимума, так как вторая производная от B.5.5) по а2, равная 2-'а-4п — о-69>щ,
§ 2.5. ОТНОШЕНИЕ ПРАВДОПОДОБИЯ. СТАТИСТИКА 49 отрицательна при с2 = B'uiln. Подставляя B.5.6) в B.5.4), по- получим /2n9>ai\-nn ( 1 \ max р (у) = {—^) ехр {- j n), откуда л = [—^) , или * = (-?Ч • B-5.7) Нам больше не потребуются временные Й,-обозначения, по- поэтому мы их здесь оставим и введем постоянные обозначения. Обозначим проекции у на W и У,-, через tiq и 11ш, а лшк-оценкм в fl и со — через рй и рш соответственно. В дальнейшем мы бу- будем обходиться без нижнего индекса Q в r\Q и рй, записывая для этих часто встречающихся величин просто т| и р. В фор- формуле B.5.7) статистики отношения правдоподобия I величины Уо и ^ш, являющиеся минимумом 9*(у, р) соответственно при Q и при со, задаются формулами На практике удобно использовать две лш/с-оценки, а именно: Р=(р\, ..., рр) — любая мнк-оценка в Q; pa) = (Pi.(i), ..., PP,J — любая лн/с-оценка в со. Используя эти оценки, можно найти 9*$ и ^ по формулам ) и 9>е> = 9'{у, ри). Установим зависимость между проекциями fj, ^ и жн/с-оцен- ками. Если {|ь ..., 1Р}—столбцы X', то любой вектор в Vr иожет быть выражен в виде линейной комбинации ? bfct. За лш/с-оценки {Р/} и {Р/, и} можно тогда взять любое множе- множество коэффициентов {6;} соответственно в выражениях = r\ и jl bl?>i = r\et; практически они будут линейными формами наблюдений {</,} с независящими от неизвестных па- параметров коэффициентами. По лемме 3 приложения I мнк- Оценка (в Q или в со) единственна тогда и только тогда, когда Г=р.
50 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ На практике статистика *) B.5.8) используется вместо Я. Критерий с этой статистикой совпадает с ^-критерием. Действительно, где ЗГ(к) является однозначной функцией от Я, всюду убы- убывающей на отрезке 0 ^ Я ^ 1. Если мы определим то Я < Яо в том и только в том случае, когда &~ > ЗГ0. Следо- Следовательно, Я-критерий отвергает Я тогда и только тогда, когда g" > ЗГ0, где постоянная &~0 выбирается так, чтобы получить требуемый уровень значимости. В § 2.6 будет доказано, что статистика &~ имеет F-pacnpe- деление при со и нецентральное F-распределение при Q. Статистике 9" можно дать наглядное объяснение. Как было отмечено раньше (§ 1.3), У (у, р) можно рассматривать как меру точности подбора оценок Pi, .... рр по наблюдениям У\, ¦••, Уп'- чем меньше SP, тем лучше выбор оценок. Таким образом, && оценивает наилучший выбор, который может быть сделай в предположениях со = Н П Q, и может рассматриваться как мера согласованности Н с опытными данными, тогда как ^q показывает нам, насколько мала может быть эта мера, если оставить только основные предположения Q. Таким обра- образом, Я~2/я = ^J^a показывает, насколько хуже выбор по дан- данным в предположениях со по сравнению с Q. Мы отвергаем Н, если PJ&a «велико». Это равносильно отбрасыванию Н при «больших» значениях &". Геометрическая интерпретация ста- статистики #" будет дана в § 2.9. Критерий для проверки гипотезы Н в предположениях Q, построенный в этом параграфе при помощи статистики #", на- называют обычно F-критерием, так как #" имеет F-распределение при со. Распределение ^" при Q, которое определяет мощность *) Я использую символ F для центральной случайной величины, имею- имеющей F-распределение; символ 9~ — для статистики B.5.8) в модели с посто- постоянными факторами; символ 8 — для отношения средних квадратов во всякой другой модели и для F-преобразования Г2-статистики Хотеллинга. Символ F был введен в честь Р. А. Фишера Снедекором (Snedecor, 1934); Фишер (Fisher, 1925) использовал величину z = —In F, распределение которой ближе к нормальному, чем F-распределение, но которая по иным соображениям несколько менее удобна в большинстве приложений.
§ 2.6. КАНОНИЧЕСКАЯ ФОРМА Q И Н 51 критерия, будет получено в следующем параграфе; вычисление мощности рассматривается в § 2.8. В § 2.7 мы установим, что ^-критерий эквивалентен критерию, полученному ранее при помощи доверительного эллипсоида. § 2.6. Каноническая форма йиЯ. Распределение <Р Для трех векторных пространств Vr-q cz Vr cr Vn, опреде- определенных в предположениях со и ?2, мы введем ортонормирован- ный базис, как это было описано в § 2.5. Выберем сначала г—q базисных векторов {а*} для Vr-q и занумеруем их {щ+\, а?+2, • • •, Or}; затем дополним этот базис до ортонормиро- ванного базиса {cti,..., aq, a^+i, ¦ ¦ ¦ ,аг} в Vr; еще раз дополним до ортонормированного базиса {сеь . ¦. ,ar, ar+i , an} в Vn- Это всегда возможно по лемме 6 и 7 приложения I. Мы получили ja1( a2, ..., a [ a.+I, a, ,7+2, базис Vf^n ar+i, «r+2. ! I Пусть 2i, ..., 2„— координаты у в базисе {ai, •• •, а„}, так что г, = сцу, 2(пХ1) = Ру, где Р — ортогональная матрица, i-я Строка которой равна а\, как в § 1.6. Если t,i = M(zi), то g(nxi)= M(z) = РМ (у) = Рг\, так что ^г ^ a/r|. По Q ?,- = О при i > г, так как 0^ = 0 при i > г (последнее следует из Ц&Уг). В предположениях ю аналогично устанавливаем, что &=0 при i = q. Согласно Q г имеет распределение N(%, a4). Итак, мы получили следующую каноническую форму: {zi} — независимые случайные величины, Q: zt имеет распределение N(^{, а2) при t=l, 2, ..., гг, Векторы г| и ii^ являются проекциями у=^г;аг соответ- ственно на Vr и Vr_?. Следовательно, Л = 2 2ta<» Пш= Z 2,аг и 5*0 = 11 у —Ч IP = 1 D 2гаг|2= ? г?, B.6.1)
52 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ Отсюда получаем, что S>a-9>a=?zl B.6.2) Распределение при Q Множества случайных величин {zr+u . ¦., zn) и {z\,...,zq} независимы. Отсюда с помощью формул B.6.1) и B.6.2) уста- устанавливаем независимость Ра и Фа — Э'а. Из формулы B.6.1) с учетом равенств М (г*) = 0 (i > г) следует, что 9"а/а2 имеет распределение х%-г Нетрудно проверить справедливость фор- формулы (9"а — 9"o)la2 = Y, B,/аJ, где г,/а независимы и имеют рас- распределение N(Z,i/a, 1). Отсюда и из определения нецентраль- нецентрального х2 в приложении IV следует, что {9"ш — 9"аIа2 имеет рас- распределение %' б, где .'Л B.6.3) Окончательно из определения нецентрального F в приложе- приложении IV получаем, что величина должна иметь распределение E'q,n-r\b- В частности, при ю пара- параметр 6 = 0 и, следовательно $", имеет распределение Fq_ n_r. Итак, F — критерий для проверки гипотезы Н с заданным уров- уровнем значимости а — отвергает гипотезу в том и только в том случае, если &"> Fa-q,n-r. Мощность критерия равна вероят- вероятности отбросить гипотезу Н, т. е. Р{ЗГ > Fa-,, п_,}, или P{F'q,n-r;6> Faiq,n-r}, B.6.4) где б определено B.6.3). Таким образом, мощность критерия зависит от параметров только через величину б, которая яв- является функцией от параметров канонической формы ?i, ..., ?;, точно определяемых по w и не зависит от «неопределенных» параметров ?,+ь ..., ?г (которые не заданы в ©); однако мощ- мощность зависит от неизвестного параметра а2. Если Q и ю запи- записаны в первой из двух форм § 2.5, то б выражается через до- допускающие оценки функции, которые точно определяются по ю, и через а2; это сделано в следующем разделе.
§ 2.6. КАНОНИЧЕСКАЯ ФОРМА Q И Н 53 Вычисление параметра нецентральности б Нужно выразить параметр нецентральности б через пара- параметры первоначальной задачи вместо канонических параметров ?ь .... 1д. Пусть pij является (ij)-u элементом Р, тогда равен- п ство z = Ру можно записать в виде zL— ? piiyi A=1, ..., п); вычисляя математическое ожидание от этого равенства, полу- П q чим ?,- = X РцЧ1- Подставим эти формулы в Р'щ — 9>u=Y_izi, а262= 21 ?2 и найдем нужные нам выражения 1 ?* - ?а = t (t Рчу) . °W = t ( t Отсюда легко выводим следующее правило. Правило 1. В предположениях Q значение параметра нецентрального ^-распределения статистики &" можно вычис- вычислить так: в сумме квадратов числителя #" (т. е. в Р'ш — 9"о) каждое наблюдение г/, заменить на его математическое ожида- ожидание при Q; в результате получим а2б2. Математическое ожидание средних квадратов Суммы квадратов *) (SS) в числителе и знаменателе #" можно соответственно назвать SS проверяемой гипотезы Н и SS ошибок. Обозначим их SSh и SSe- Отношение каждой SS к ее числу степеней свободы будем называть средним квадра- квадратом (и обозначать SS); отсюда SSH = SSH/q, SSe = SSel(n—r). Последний SS мы раньше записывали в виде s2==P'fi/(w — г). Обычно в дисперсионном анализе проверяется несколько стандартных гипотез. Принято составлять таблицу, записывая в столбцы для каждой гипотезы_55н ее число степеней свободы и соответствующее значение SSh- Практически полезно добав- добавлять к таблице столбец M(SSh), особенно когда в используе- используемой модели факторы непостоянны. Таблица также всегда содержит SSe, ve = п — г и SSe. Из § 1.6 известно, что *) «Сумма квадратов» является переводом выражения «sum of squars», отсюда понятно введение автором сокращенного обозначения SS; для «сред- «среднего квадрата» («mean square») автором вводится обозначение MS, заменен- замененное в настоящем издании на SS. (Прим. перев.)
54 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ MESe) = a2. Используя каноническую форму, напишем форму- формулу для M(SSh) М (SSH) = M (? zyq) = Г1 t (a2 + ф = a2 + <Г W. Для вычисления а2б2 можно использовать правило 1. В этих вычислениях, так же как в вычислениях М (SSe) в § 1.6, не используется предположение о нормальности распределения наблюдения. Они справедливы в предположениях Правило 2. При Q' M(SSh)_ равно а2 плюс член, который можно вычислить, заменяя в SSh каждое наблюдение yi его математическим ожиданием при Q'. Правило 2 можно распространить, сравнивая его с прави- правилом в начале § 10.4, на случай, когда наблюдения {г/,} имеют различные {а2}. § 2.7. Эквивалентность двух критериев Мы получили два критерия в предположениях Q: у имеет распределение N(X'$,o2I), prX' = r для проверки гипотезы Я: г|н = г|J= ... = гр„ = 0, где {г()|} является q линейно независимыми функциями, допус- допускающими оценку. Критерий § 2.4, построенный при помощи доверительного эллипсоида, отвергает Н с уровнем значимости а тогда и только тогда, когда 4>'B-!ip > <7S2Fe; q,n-r, где (ф(} — лш/с-оценка {iff}, B = o~2T^, s2 является SSe. Крите- Критерий отношения правдоподобий (^-критерий), полученный в § 2.5, отвергает Н с уровнем значимости а тогда и только тогда, когда SSHISSe> Fa;q>n-r- Это можно записать как <?"т — 9>а > > qs2Fa; q> n-r. Таким образом, достаточно доказать равенство 4'В-Чр = ^-^а- B.7.1) Отсюда будет следовать, что критерии совпадают. В § 2.4 было показано, что ^'В~Ч имеет одни и те же зна- значения независимо от того, какое множество q линейно незави- независимых функций, допускающих оценку, было использовано в за- записи Н. Для доказательства B.7.1) выберем для записи Н
§ 2.7. ЭКВИВАЛЕНТНОСТЬ ДВУХ КРИТЕРИЕВ 55 ваожество Wt}, где г|>; = ?;(?; — математическое ожидание ка- канонической переменной zi). Отметим еще, что при п перемен- вые {?!>••-»Sr} могут принимать любые значения. Действи- Действительно, t,i является j-й координатой ц в каноническом базисе г («1 а„}, где {ai,...,ar} порождают Vr; отсюда tl=Z el/, при любых значениях {?ь ..., ?,-}. Отсюда легко следует, что W} являются линейно независимыми функциями, допускаю- допускающими оценку. Функции {?i,...,??} являются линейными функ- функциями {р/}, так как g(nx'> =. Рц = РХ'$, где Р — матрица кано- канонического преобразования. Эти функции {?ь ..., ?,} линейно независимы; в противном случае существовали бы числа {d,.-,Cq}, не все равные нулю, такие, что Хсг?г==0 тожде- тождественно по {Р/}, а это означало бы, что не все значения допус- допустимы для функций {?i,. ..,??}¦ Эти функции допускают оценку, так как линейная форма Zi является несмещенной оценкой ?,¦ (даже ее лшк-оценкой). Последнее следует из конца § 1.6, где было показано, что любая лш/с-оценка функции, допускающей оценку, должна быть линейной комбинацией z\, ..., zr; отсюда г 4<=2с!/г/- Таким образом, ^\ может быть несмещенной г оценкой \i при Q тогда и только тогда, когда ?,- = ? ег/?, тождественно по {t^,...,%,}, т. е. в том и только в том случае, когда сц = б,-/ или ф;—г,-. Теперь мы получили ?= t *i так как В* = а~2Г^ и Г^ = а2/, или ,j/B-4=?^-2=Z4 B-7-2) Из B.7.2) и B.6.2) следует B.7.1). Эквивалентность, которую мы установили, дает интересное выражение параметра б распределения статистики Sr. Выразим SSH в виде ip'B-'ip. В этом выражении для вычисления а2б2 по правилу 1 (§ 2.6) нужно заменить yt на М(г/;). Учитывая, что №»--.,ф?}—линейные функции от {г/,}, а М — линейный опе- оператор, мы получим тот же результат, если вектор ф заменим ftro математическим ожиданием -ф. Таким образом, а262 = i|)'B-!i|). B.7.3)
56 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ Правая часть этого равенства зависит от параметров только через допускающие оценку функции {ifi,... , ф?}, зна- значения которых определяются гипотезой Н. Иными словами, можно сказать, что мощность критерия зависит от параметров, определенных гипотезой Я и от а2*). § 2.8. Диаграммы и таблицы мощности F-критерия В B.6.4) мощность была определена как вероятность р от- отвергнуть проверяемую гипотезу и задавалась формулой e = ^{ni,v2;6>i7a;v,,vj, B.8.1) где символы F'Vl, Vi; в и Fa; v,, v2 были определены в приложе- приложении IV и § 2.2, \i = qvL\2 = n — r являются числами степеней свободы сумм квадратов числителя и знаменателя статистики ^",б — параметр нецентрального ^-распределения (его можно вычислить по правилу 1 § 2.6), a—-уровень значимости. Для ве- величины р в B.8.1) при каждом значении а нужна таблица с тремя входами (vi,V2,б). Такая таблица была вычислена Тэнгом **) (Tang, 1938); только в его таблице вместо пара- параметра б использовалась величина Ф, определяемая формулой Диаграммы, более удобные для применений, чем эта таблица, были построены при помощи таблицы Пирсона и Хартли (Pearson & Hartley, 1951). Диаграммы приводятся в конце этой книги; они так же, как таблицы Тэнга, составлены только для двух значений а = 0,01 и а = 0,05. Таблица для Ф как функции от (а, р, Vi,V2) была вычислена Лемером (Lehmer, 1944) при а = 0,01; 0,05 и Р = 0,7; 0,8. Бо- Более обширная таблица, в которую войдет таблица Лемера, бу- будет опубликована Национальным бюро стандартов в Вашинг- Вашингтоне. Кроме входных значений Лемера в ней имеются еще а = 0,01; 0,02; 0,05; 0,10; 0,20; р = 0,10; 0,50; 0,90; 0,95; 0,99, за исключением (а,Р) = @,10; 0,10); @,20; 0,10); v, = 1AI0, 12, 15, 20, 24, 30, 40, 60, 120, оо; v2 = 2B) 12, 20, 24, 30, 40, 60, оо. Диаграммы Фокса (Fox, 1956), воспроизведенные в этой книге, были построены частично по таблицам Лемера. Эти диаграммы в (vi,V2)-плоскости при фиксированных а и р дают линию Ф, т. е. линию, на которой Ф имеет некоторое *) Большим теоретическим успехом является двуступенчатый критерий Стейиа (Stein, 1945), мощность которого не зависит от неизвестного значе- значения а2. **) В действительности Тэнг табулировал Ям вероятность ошибки II ро- рода, где Яп = 1 — р. Кроме того, его обозначения Ф, /i, /2 соответствуют нашим Ф, vi, vj.
§ 2.9. ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 57 постоянное значение. Эти линии являются почти прямыми в ре- результате подходящего выбора масштаба (совместного мас- масштаба) для vi и v2. Имеется восемь отдельных диаграмм для а = 0,01; 0,05 и р = 0,5; 0,7; 0,8; 0,9. Диаграммы Пирсона — Хартли и диаграммы Фокса отчасти дополняют друг друга: в первых (так же как и в таблицах Тэнга) vi = 1, 2, ..., 8; в последних vi = 3, 4, ..., оо; каждая диаграмма легче всего читается в определенной области. Две номограммы, включенные в диаграммы Фокса, предна- предназначены для упрощения интерполяции значений р, отличаю- отличающихся от 0,5; 0,7; 0,8; 0,9. Используются они следующим спосо- способом: для заданной пары значений (Р, Ф) соответствующая этой пире точка отмечается на (vi,v2) плоскости номограммы с за- заданным а на двух сетках; прямая, соединяющая две получен- полученные точки, является аппроксимирующей линией Ф для задан- заданной пары (Р, Ф). Численный пример использования диаграмм будет дан в § 3.3. Нецентральная величина х2 может рассматриваться как спе- специальный случай нецентральной F, когда V2 = °о. Значения па- параметра б2 (обозначенного к) табулированы Фиксом (Fix, 1949) для о=0,01; 0,05; р = 0,1 @,1H,9; v=l AJ0BL0EN0A0I00. Нецентральное t было в широких пределах табулировано Рез- Резниковым и Либерманом (Resnikoff и Lieberman, 1957)*). В приложении IV рассматривается аппроксимация нецент- нецентральных х2- и /'-распределений при помощи центральных рас- распределений. § 2.9. Геометрическая интерпретация #". Ортогональные соотношения Статистика #* была получена в B.5.8) как отношение (с точностью до постоянного множителя (п — r)/q) SSh = = ^и — &q и SSe = 9"a. Эти величины изображены **) на рис. 2.9.1, который показывает, что х\ является проекцией век- вектора наблюдений у на Vr (Vr— пространство векторов ц = = М(у), заданных Q), a Tjm — проекцией у на Vr-q (Vr-q — под- подпространство Vr, которому г\ принадлежит по дополнительным ограничениям, входящим в ©). Суммы квадратов 9"а и 9"ш, как было показано в § 2.5, равны квадратам длин векторов у — ц и у — Ци, || И *) Онн использовали преобразование параметра нецентральное™, кото- которое кажется нам неудобным. **) Эта геометрическая интерпретация была введена Бартлеттом (Bart- lett, 1934).
58 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ Величина SSh является разностью квадратов длин. Из геомет- геометрической картины видно, что эту величину можно определить по формуле сс„ и ~ ~ иг B 4 П JO// 1| Т] T|q) || . \?.j. I ) Это же можно установить и алгебраическим путем: ?ш = (у - ч J' (у ~ ч J = [(у - ч) + (ч — чЛ' [(у - ч)+(ч-ч Л= + (У - ч)' (Ч - Ч.) + (Ч - Ч»)' (У - "Л)- Два последних члена равны нулю, так как т| е Vr, Цо> е V^; следовательно, т] — т|ш е Уг, тогда как у — г\ А. V,. Таким обра- образом, мы нашли, что 9"в> = Ра + II г\ — г\а ||2 или B.9.1). Рис. 2.9.1. Геометрическое изображение подсказывает следующее на- наглядное объяснение F-критерия. Мы отвергаем гипотезу Я, за- заключающуюся в том, что ц е Vr-q, если значение || ц — г\а ||2 велико по сравнению с \\у — ц ||2, иными словами, если «наи- «наилучшая» оценка ц при Я, а именно г\ш, сильно отличается от наилучшей оценки при Q, а именно ца; насколько хорошо на- наблюдения у соответствуют основным предположениям Q, изме- измеряется «масштабом» || у— ц II2. Кроме того, рис. 2.9.1 дает следующие тождества: IIУ 1Р = II4»,II2 + IIУ - Чи IP, B.9.2) II Ч IP = II Ч„ IP+114-4» IP, которые могут быть также получены алгебраическим путем, как это было сделано выше. В каждом из них можно написать Х'р вместо г\ и Х'рш вместо г\а, где р и рш являются лш/с-оцен- ками при Q и (л соответственно.
§ 2.9. ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ 59 Отметим, что тождества и ортогональные соотношения этого параграфа остаются справедливыми без предположения о нор- нормальности распределения у (т. е. Q можно заменить на Q' в конце § 2.6). Тождества B.9.2) полезны во многих приложениях. Рас- Рассматриваемые суммы квадратов имеют обычно естественные названия. Так, мы уже ввели SSe и SSH- Сумма квадратов || у ||2 называется полным SS и обозначается SSik^h, суммы квадратов || г\ II2 и || т|ш ||2 называются суммами квадратов, по- порожденными регрессией при Quo соответственно. Обозначим их SSq и SSb>; 9"u и &«> называются остаточными SS при Q и © соответственно. В этих обозначениях тождества принимают сле- следующий вид: SSполи == SSq -(- SSe, = SS(a + 9'B), B.9.3) = SSn -j- SSh- Метод, который мы использовали*), можно распространить на образование различных тождеств для сумм квадратов и раз- различных ортогональных соотношений линейных форм, которые применяются в приложениях. (Примеры будут приведены в §§ 4.2, 4.3, 4.5, 4.6, 4.8, 5.1.) Рассмотрим ряд «группирован- «группированных» гипотез. Пусть Q' — основные предположения (штрих означает, что мы опустили предположение нормальности рас- распределения у; если добавить опять предположение нормаль- нормальности, то заключения останутся все же справедливыми): Q': tieVr, Гу = аЧ, где через ц обозначено математическое ожидание вектора на- наблюдения у(пх1\ через Гу — его ковариационная матрица, а че- через Vr — заданное г-мерное подпространство n-мерного прост- пространства векторов у. Рассмотрим гипотезы Яь Я2, ..., #&, заключающиеся в qlt Ч2, ¦. ¦, (fh ограничениях соответственно; гипотеза Hk задается тем, что приравнивается нулю некоторое множество qk, допус- допускающих оценку функций (k = 1,2,..., h). Допустим, что все 9i + ^2+ - • • + Qh функций, допускающих оценку, линейно не- независимы. Рядом «группированных» гипотез является Q', й1 = й'ПЯ1, оJ = п' П Нх П Н2, ... .... со, = Й'ПЯ,ПЯ2П ... ПЯ*. Пусть через 1ЛЙ) обозначено (r — qi — #2—••• — qk) -мерное пространство, к которому ц принадлежит по предположениям *) Этот метод был использован Манном (Mann, 1949, теорема 4,2).
60 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ ©а; таким образом, Vr => УA) 3Vbd...d У(А). B.9.4) Обозначим проекцию у на V(k) через т)шА. Мы можем считать, что эти проекции на подпространства B.9.4) построены после- последовательно: т| — проекция у на Vr, цщ—проекция т| на Vil\ ¦fjmi—проекция Tjm, на V<2) и т. д. Это дает разложение век- вектора у на сумму к -{- 2 взаимно ортогональных векторов: У = @ - Л) + (Л - Ч»,) + • • • + (ч»А_, - Л«А) + (Ч»л), B.9.5) откуда |ч-Ч«11+...+1п-А_1-Ч»А| + 1ч«»А[. B.9.6) Для получения канонической формы введем ортонормиро- ванный базис в Vw. Затем дополним его последовательно до ортонормированных базисов в Vih~l\ V(ll~2\ ..., V(l\ Vr, Vn- Обозначим через zu ..., zn координаты у в полученном ба- базисе Vn- Легко видеть, так же как в § 1.6 и § 2.6, что {г,-} являются ортогональными линейными формами наблюдений, что они распадаются на h-\-2 различных множеств с л n — r, qu qit ..., qh, г - Е Чк- B.9.7) числами переменных {zi} соответственно в каждом множестве и что суммы квадратов в правых частях B.9.6) являются сум- суммами квадратов {zi} в соответствующих множествах. Здесь так же, как и в случае пространства оценок и пространства ошибок (§ 1.6), частный вид линейных форм zt в каждом из h + 2 множеств зависит от выбора ортонормированного базиса, но h -\- 2 взаимно ортогональных пространств линейных форм на- наблюдений, порожденных этими h + 2 множествами, зависят только от Q', ©|, ..., ©л и не зависят от выбора базиса. Отсюда теперь следует, что если мы добавим предположе- предположение о нормальности распределения у, так что вместо Q' по- получим Q: у имеет распределение N(i\,а2!), цбУ,, то А'+ 2 суммы квадратов в правой части B.9.6) окажутся не- независимыми и будут иметь при Q нецентральные распределе- распределения х2 с числами степеней свободы, заданными B.9.7). Пара- Параметры 8k нецентральных распределений можно вычислять обыч- обычной подстановкой; так, параметр б* для |t|m —Цш f нахо- находится по формуле
§ 2.10. ОПТИМАЛЬНЫЕ СВОЙСТВА F-КРИТЕРИЯ 61 Ортогональное разложение B.9.5) определяет, кроме того, тождества, аналогичные B.9.2). Одно из них, например для последовательных проекций ца , ца , имеет вид § 2.10. Оптимальные свойства F-критерия Этот параграф не представляется возможным написать на таком же математическом уровне, как остальные части книги; Пропуск этого параграфа не помешает пониманию других час- частей книги. Читателю, математически менее подготовленному, предлагается пропустить его, или же удовлетворить свое любо- любопытство, не добиваясь полного понимания. Запишем наши предположения в канонической форме: Q: {zi} — независимые случайные величины, 2; распределено N(t,i,о2) при i= 1, 2, .... п, ?г+, = ?,+2= ... = ?„ = 0; B.10.1) И: Хл = U = • • • = Б, = 0. В терминах канонической формы дадим краткий обзор не- некоторых положений общей теории*) проверки гипотез. Рас- Рассмотрим в (г+1)-мерном пространстве «параметрическую точку», соответствующую вектору 0 = (? ?г,а)'; будем ис- использовать одно и то же обозначение 0 для вектора и для точки. Плотность pe(z) совместного распределения величин (?ь...,zn} полностью определяется значением 0. Мы можем, не опасаясь путаницы, использовать символы Q и © для обо- обозначения множества точек 0, соответствующих основным пред- Воложениям Q и ©, где © = Н П Q. Иными словами, символом Q обозначим (г-|-1)-мерное евклидово полупространство Q= {в|_оо<Ь<+оо, i= 1, ..., г; <х>0}, называемое пространством параметров; тогда со — подмноже- подмножество размерности г -J- 1 — q пространства параметров ©= {е|?1 = ...?, = 0; —оо<&<+оо, *=<Н-1, ..., г;а>0}. Кроме пространства параметров нам нужно также рассмот- рассмотреть n-мерное выборочное пространство Vn векторов наблюде- наблюдений z = (z\, ..., zn). Выбор критерия для проверки Н эквива- эквивалентен выбору борелевского множества W в Vn\ критерий состоит в том, что Н отвергается тогда и только тогда, когда точка наблюдений г попала в W. Множество W называется критическим множеством критерия. Мощность критерия, или *) Теория Неймана — Пирсона (Neyman, & Pearson, 1933).
62 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ мощность W определяется вероятностью отвергнуть Н, когда истинная параметрическая точка равна 0; таким образом, мощ- мощность является функцией от 0 и IF, , W) = где интеграл вычисляется по я-мерной мере Лебега. В этом выражении 6efi. Напомним некоторые определения. 1. Объемом критического множества W будем называть (математически менее подготовленный читатель, дошедший до этого места, может заменить «sup» на «max») sup|3@, IF). вещ 2. Мы будем говорить, что W имеет объем а и подобно про- пространству выборок*) относительно со, если Р@, W)—a для любого 0 е со. 3. Мы будем говорить, что W является несмещенным кри- критическим множеством объема а, если оно имеет объем а и Р@, W)^a при любом 8eQ — со (через Q — со обозначено множество всех точек Q, не вошедших в со; это множество соот- соответствует допустимым гипотезам, альтернативным по отноше- отношению к Я). 4. Мы будем говорить, что W есть равномерно наиболее мощное (РНМ) критическое множество заданного класса <в, если W е9* и если для любого f ef и любой точки 0 е ей — со справедливо неравенство Р@, W)^ P@, W). Во многих практически интересных случаях для гипотез, зависящих от единственного параметра (например, 0 — 0О или 0 ^ 0ь или 0i < 0 < 02), существует **) РНМ критическое мно- множество, а для гипотез, зависящих от двух или большего числа параметров (например, для гипотез, рассмотренных выше с q^2), не существует. Тогда возможны два пути: A) вы- выбрать класс ^ критических множеств меньше класса всех не- несмещенных множеств в надежде на то, что после сужения одно из множеств в W будет РНМ; B) не требовать наибольшей мощности в каждой точке Q — со (как в определении РНМ множества), а выбирать множество с оптимальными свой- свойствами в другом смысле, например с наибольшей средней мощ- *) Этот термин, употребленный в книге Г. Крамера, Математические методы статистики, «Мир», Москва, 1975, оправдывается тем, что множество W = Vn удовлетворяет поставленному условию с а = 1. Термин автора — «similar region». (Прим. перевод.) **) Леман и Шеффе (Lehman & Sheffe, 1955), или Леман (Lehmann. 1
§ 2.10. ОПТИМАЛЬНЫЕ СВОЙСТВА F-КРИТЕРИЯ 63 ностью по некоторым классам конкурирующих гипотез. Укажем без доказательства результаты, полученные при помощи этих двух подходов *). Рассмотрим заданный уровень значимости а @<а<1). Обозначим через Wo критическое множество F-критерия для проверки гипотезы Н = {*|^->Fa „.„_,}. B.10.2) Известно, что мощность 0@, W) этого критерия зависит от 0 ? ?? I ja. Другими словами, в про- пространстве параметров р@, Wo) постоянна на поверхности, за- q данной уравнением J^ t,2l = o26'2, где б'—некоторая неотрица- неотрицательная константа. Обозначим эту поверхность В (г+1)-мерном пространстве параметров поверхность @5- является цилиндром, основанием которого в (q -f- 1)-мерном пространстве ?ь ..., Z,q, а служит часть кругового конуса (часть определяется условием сг>0). Некоторым статистикам это свойство функции мощности кажется очень привлекательным. Из него следует, что критическое множество подобно простран- пространству выборок, так как при со параметр 0 принадлежит ци- цилиндру ®о- Теорема 1**). Среди всех критических множеств W объема а, для которых мощность зависит от 0 только через Z й) 1о. 1-1 / неизвестный параметр 6 = ( Д, It J /о, множество Wo является РИМ. Определим в пространстве параметров (q — 1)-мерные сферы &, а', б') = t *) Наиболее содержательные оптимальные свойства F-критерия для проверки гипотезы Н в предположениях Q были сформулированы Леманом (Lehmann, 1959b). *) Сюй (Hsu, 1941). **\
64 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ где постоянные о' > 0, б' ^ 0, a t,q+\, ..., & произвольны. Ци- Цилиндр @в', определенный выше, можно получить объединением таких сфер по — оо < ??+, < оо, ..., оо < ?, < + оо, а' > 0. Вве- Введем среднюю мощность для сферы © = ©(?? + ь ..., ??, <т'» б'). Пусть задано критическое множество W. Средняя мощность множества W для сферы @ равна интегралу от мощности Р@, W) по @, интеграл вычисляется по равномерной мере на 91, выбранной так, что мера всей @ равна единице. Теорема 2*). В классе всех множеств объема а, подоб- подобных пространству выборок и используемых для проверки Н, средняя мощность для каждой сферы S(^+i &, а', б') достигает максимума на множестве Wo. Из этой теоремы следует теорема 1. Пусть W — критическое множество объема а, мощность ко- которого зависит от 0 только через неизвестный параметр 6. При любом 6 = 6' каждое из двух множеств W и Wo имеет постоян- постоянную мощность (обозначим соответственно с и с0) на Щ и, сле- следовательно, на каждой сфере ® в Щ. Но с и с0 являются также средними мощностями на каждой @ в @а; таким образом, из теоремы 2 следует, что с ^ с0. Последнее неравенство доказы- доказывает теорему 1. Теорему 2 можно объяснить наглядно: /^критерий является наилучшим, когда представляют интерес критерии «равномер- «равномерные» по отношению ко всем конкурирующим гипотезам; это отражается в равномерном взвешивании по сферам. Такое объ- объяснение годится не во всех случаях. В § 3.7 будет приведен пример, когда такое взвешивание не является подходящим и другие критерии предпочтительнее F-критерия. Читатель не должен забывать это замечание при оценке практической важности этих теорем. Заметим, наконец, что средняя мощность, полученная осреднением по равномерной мере на сфере в пространстве параметров канонической формы, может показаться менее естественным признаком выбора кри- критического множества, если мы вспомним, что в пространстве непреобразованных параметров этому осреднению соответ- соответствует неравномерная мера на некотором эллипсоиде. Инвариантность Для иллюстрации понятия инвариантности рассмотрим за- задачу различения двух нормальных популяций. Допустим, что они имеют одни и те же дисперсии и математические ожида- ожидания. Интуитивно ясно, что желателен критерий, не зависящий от масштаба измерений (масштабами длины, например, могут *) Вальд (Wald, 1942a).
§ 2.10. ОПТИМАЛЬНЫЕ СВОЙСТВА /^-КРИТЕРИЯ 65 быть дюймы или сантиметры) и не зависящий, в этом случае, от начала отсчета. Иными словами, если </<; является /'-м изме- измерением в 1-й популяции (/= 1, 2; /= 1, ..., /,), то желателен критерий, инвариантный относительно преобразований у\, = суц (с > 0) и у'ц = Уц-\- Ь. Эта задача сравнения двух средних (она будет рассмотрена в § 3.1) является специальным случаем за- задач, для которых был построен F-критерий. Желательность в этой задаче также инвариантности относительно некоторых ортогональных преобразований, как это требуется теоремой 3, уже не так очевидна. Дадим теперь точное определение инвариантности статисти- статистического критерия. Пусть случайный вектор Z(nxI) принимает значения z(nxl) в выборочном пространстве Z (п-мерное евкли- евклидово пространство). Теперь мы будем считать, что Q является семейством распределений Р вектора Z (это более сильное предположение, чем обычное, по которому Q является множе- множеством в пространстве параметров), и допустим, что никакие два распределения Р в Q не совпадают. Аналогично со рас- рассматривается как подсемейство распределений. Пусть g—про- g—произвольное взаимно однозначное измеримое по Борелю отобра- отображение 5Z в %. Случайный вектор Z' = gZ имеет распределе- распределение Р'; обозначим Р' = gP, где g зависит от g. Вообще говоря, gP может не принадлежать Q. Рассмотрим преобразования g, для которых множество преобразованных распределений {fP|PeQ} является таким же, как первоначальное множе- множество Q, что можно записать как gQ = Й. Через @ обозначим группу таких преобразований. Определения*): 1. Мы скажем, что задача (т. е. Q, со) инвариантна относи- относительно группы @, если для каждого ge® 1) g(co) = co, 2) g(Q — co)= Q —со. 2. Критическое множество W назовем инвариантным относи- относительно @, если для каждого ge® 3) 4) g{2,-W)=& — W. Из первого определения вытекает, что в инвариантной за- задаче для всякого g^® случайная величина Z, распределение которой принадлежит со (или Q — со), преобразуется в вели- величину gZ, распределение которой тоже входит в со (или Q —со); *) Так как ® является группой, то можно показать, что из условия 1) следует 2), а из 3) следует 4), 3 Г. Шеффе
66 ГЛ. 2. OBIItF-E ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ из второго определения следует такое утверждение: если кри- критическое множество W инвариантно, а случайная величина Z попала в W (или 3? — W), то преобразованная величина gZ тоже попала в W (или Z — W). Вернемся теперь к задаче B.10.1). Задача, очевидно, инва- инвариантна относительно следующих четырех групп преобразо- преобразований: 1) z/i = czi (i= I п; с>0), 2) zi^zt + bi (i=q), 3) ортогональных преобразований {zr+\,...,zn}, 4) ортогональных преобразований {z\,...,zq}. Пусть @* — наименьшая группа, порожденная этими че- четырьмя группами. Теорема 3*). В классе критических множеств W объема а, инвариантных относительно ©*, множество Wo, определенное B.10.2), является РНМ. Сила критерия Рассмотрим максимум по всем критическим мощностям объема а при фиксированной конкурирующей гипотезе 0 Р«(в)= sup р(в, W). V? объема а Функция Ра(в) называется накрывающей функцией мощно- мощности**). Пусть задана некоторая конкурирующая гипотеза 0. Способность критического множества W объема а отвергать 0 оценивается по близости мощности p(G, W) к Ра@), т. е. чем меньше pa(G)—р (О, В7), тем лучше критерий отвергает 0. Про- Продолжим дальше в этом направлении. Если мы хотим найти единственное число, оценивающее способность критерия отвер- отвергать любую конкурирующую гипотезу, то можно рассмотреть величину sup [Р„(в)-Р(Г, в)]. B.10.3) вей-ш Определение. Критерий, который минимизирует B.10.3), называется наиболее сильным критерием объема а. Теорема 4. Wo является наиболее сильным критерием объема а. *) Теоремы 3 и 4 взяты из неопубликованной работы Ханта и Стейна. Доказательства были даны Лемаирм (Lehmann, 1959a). **) Это понятие и понятие наиболее сильного критерия было введено Вальдом (Wald, 1942b).
ЗАДАЧИ О/ ЗАДАЧИ 2.1. В задаче 1.1 найти выражения величин !Уа, Уа и ?a— !Уа в фор- форме, удобной для вычисления. 2.2. В задаче 1.1 дополнительно предположить, что совместное распреде- распределение величин {ei} является нормальным. Найтн дзумя способами критерий (при Я) для проверки гипотезы у = О- (Указание. В одном способе решения использовать результат задачи 1.3, а в другом — результат задачи 2.1.) 2.3. Результаты измерений, проведенных для градуирования прибора, из- измеряющего влажность некоторого материала электрическим методом, были упорядочены по значениям х и записаны в следующую таблицу *): X У 6,0 39 6,3 58 6,5 49 6,8 53 70 80 71 86 7 5 115 7 5 124 76 104 78 131 80 147 8,2 160 8,4 156 8,4 172 8,9 180 х является влажностью в процентах, определенной, аналитическим методом достаточно точно, чтобы считать, что ошибка отсутствует; у — показания при- прибора. а) Нанести данные на график. Методом наименьших квадратов подо- подобрать прямую линию. Дает ли внимательный осмотр графика уверенность в том, что прямая точно соответствует данным? б) Используя результат задачи 2.2, выбрать прямую нлн параболу. Яв- Является ли параболический выбор значнмо лучше? п. в) Предполагая, что М (у.) = б + р (х, — х), * = / —-, cov((/;, уЛ = 1 = сг2бг/, {<?,} распределены нормально, найтн точное доверительное множество для Xn+i, если Xn+t является истинным значением х, соответствующего но- новому независимому наблюдению yn+i. Аппроксимировать это множество нн- п тервалом, когда (*п+1 —Щ2/Зх> гДе ^ж= ? (х{ — хJ. (Указание. Пока- Показать, что Уп+1 — б — Р (хп+\ — х) где s2 — средний квадрат ошибок; используя Р {^_о ^ Fa. , п_2} = 1 — а, решить полученное квадратное неравенство. Если f(х) = Ахг\-Вх-\-С и Л>0, то f(x)<0, тогда и только тогда, когда f(x) имеет два действительных корня и значение х заключено между значениями этих корней). 2.4. Построить одно- и двухсторонний интервалы для ст, используя тот факт, что ^q/ct2 распределено по закону х2- 2.5. а) Пусть для утверждений Si н S2 (например, для утверждений о параметрах, которые покрываются доверительными множествами) вероят- вероятность того, что S; истинно, больше нли равна 1—т. Доказать неравенство: вероятность события, заключающегося в том, что Si и Sz одновременно истинны, больше или равна 1 — ai — a%. *) Пример 17.1, стр. 79 книги: Statistical Exercises, часть II, Analysis of Variance and Associated Techniques, N. L. Johnson Departemenl of Statistics. University College, London, 1957.
68 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ б) Пусть событие Bi заключается в том, что Si истинно. Уточнить нера- неравенство, полученное в (а), для независимых событий 8Ч и Si- 2.6. Пусть \pi, ..., ф, — независимые функции, допускающие оценку. Рас- Рассматривается задача построения доверительного множества для параметри- параметрической точки (i))i, ..., if,, а). Применяя часть (а) задачи 2,5 к утверждениям о (i|)i ф,) и ст, полученным из B.3.4) и B.3.3), найти доверительное множество для параметрической точки (tyi tye, о") в форме эллиптиче- эллиптического цилиндра с осями ^t =\f)i, ..., it>g = tyq. Применяя часть (б) задачи 2.5 к утверждениям, полученным из B.3.2) и B.3.3), найти доверительное множество в форме усеченного*) эллиптиче- эллиптического конуса с теми же осями. Сделать рисунок для случая q = 2. 2.7. Проверить алгебраически и геометрически, что 9> —9>n = ((l — kyX(y — X'flA = (t\ — t\\('(y—t, ) О) LJ \* "СО/ \* Си/ \ ' '(i)/\ ^^ iiVf' 2.8. Пусть (Pi, ..., рр} — лн/с-оценка в основных предположениях о Q: М(!/)=ЛГ'р= ? Р;1Г Г =ст2/, /=1 где %i является /-м столбцом X' и пусть гипотеза Н заключается в том, что М@)—? Р/1/' или Pm+| = ••• =Рр = 0- Показать, что {Pi, ..., рш} яв- является л«к-оценкой для (Pi pm} в предположениях ш = И П Q тогда и п только тогда, когда §;_1_ ^ рД; при ?= 1 т. (Указание. Разделяя Л7 на (л X т)-матрицу Х'^ и л Х(Р — т)-матрицу Х\2), а вектор р — на pmXI и Р2р~т) Х \ показать, что {Pi pm} является ж«/с-очеикой в ш тогда и только тогда, когда ХA>ХB)р2 = 0). 2.9. Пусть Q является симметричной матрицей некоторой квадратичной формы наблюдений, которая может быть SS в числителе и знаменателе ста- статистики ST, полученной из общей теории § 2.5. Доказать, что Q2 = Q и что любое характеристическое число этой матрицы равно 0 или 1. (Указание. Из канонической формы § 2.6 следует существование преоб- преобразования г = Ру такого, что y'Qy = J] z\. Какая (п Хт) -матрица соот- t=\ ветствует этой последней квадратичной форме? Чему равны ее характеристи- характеристические числа? См. также задачу II. 6.) 2.10. Эта задача связана с выбором прямой линии в предположениях за- задачи 2.3в. а) Найти доверительные интервалы для р и б и доверительный эллипс для параметрической точки (б, Р). б) Найти доверительный интервал ординаты уа = 6 + Р(хо — х) в задан- заданной точке х — Хо. в) Найти доверительный интервал абсциссы Хо при данном уо. (Указание. Показать, что у„ — 0 — (дгр — it) P а далее поступать так же, как в задаче 2.36). *) Усеченным эллиптическим конусом называется часть конуса, заклю- заключенная между двумя плоскостями, перпендикулярными к оси конуса.
ЗАДАЧИ 69 2.11. Предположим, что две прямые выбраны по двум множествам дан- данных. Каждое из этих множеств удовлетворяет предположениям задачи 2.36 с одинаковыми а2, но, возможно, с разными а и |3. а) Найти доверительный интервал для разности этих р. б) Используя результаты § 2.5, построить критерий проверки гипотезы совпадения этих линий. 2.12. Чтобы получить доверительное множество для истинной линии в предположениях задачи 2.3в, можно сначала найти доверительный эллипс для (б, |3) (задача 2.10а). Нужное нам множество состоит из линии, у кото- которых параметрическая точка (б, (}) принадлежит эллипсу. Это дает окрест- окрестность выбранной линии, ограниченную двумя ветвями гиперболы. Границы можно вычислить, рассматривая огибающую однопараметрического семейства линий, параметры (б, Р) которого принадлежат границе эллипса. После изу- чеиня § 3.6 эту задачу можно решить приложением S-метода множественного сравнения к семейству {S+fi(x — x)}, и тогда задача сведется к аналогич- аналогичной задаче в двумерном пространстве {е,8 + егР) допускающих оценку функ- функции. Одним из двух предложенных способов показать, что доверительная окрестность истинной линии состоит из всех точек (х, у), удовлетворяющих неравенству [у - б - р (х - *)]' < 2Fa. 2, „_2[„-• + S-l(x- xf\ s2. Другую границу можно получить, если рассматривать результат задачи 2.106 для всех значений ха. Сравнить форму и расположение этих границ; объяс- объяснить их смысл. 2.13. Пусть для каждого х из некоторого интервала существует случай- случайная величина у, распределение которой зависит от х, так что Щу) есть функция х; обозначим ее g(x); тогда g(x) называется функцией регрессии, или просто регрессией у на х. Рассмотрим гипотезу Н, состоящую в том, что регрессия линейна. Гипотезу Н можно проверять только в пределах основных предположений, что истинная регрессия является квадратичной, кубичной или некоторой функцией с г параметрами (г < п), включая двупараметрическне семейства линейных функций, когда для каждого х имеется ровно одно зна- значение у (проведено одно наблюдение). Если это не так, то на регрессию в основных предположениях не надо накладывать никаких ограничений. В по- последнем случае, применяя метод § 2.5, построить критерий для проверки Н. Использовать обозначения: т — число наблюдений {уп yiny}, проведен- / иых в Xi (I = 1, ...,/), где п, > 1 для некоторого i, ^ п{=п. Предполо- i = \ жения йий заключаются в следующем: &'¦ {yi/} независимы и уц распределено N(r\i, a2), Н: fr\i) удовлетворяют равенствам i\i = а + $х, при некоторых посто- постоянных аир. 2.14. В спектроскопическом методе определения процента х естественной резины в вулканизированной используется величина у, равная 1 + lg г, где т — отношение интенсивностей при двух выбранных дличах волн. Для по- построения градуировочного графика проведены испытания с вулканизирован- вулканизированной резиной при известном х. Данные приведены в таблипе *): *) Таблица 4, стр. 22 работы: М. Тгуоп, Е. Horowitz, J. Mandel, Determination in GR-Sonatural rubber vulcanizates dy infrared spectroscopy, J- Research National Bureau of Standards, том 55, 1955.
70 ГЛ. 2. ОБЩЕЕ ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ЭЛЛИПСОИДОВ X У 0 0.727 0,721 0,742 0,746 20 0,884 0,880 0,885 0,890 40 1,073 1,050 1,045 1,033 60 1,194 1,184 1,205 1,180 80 1.350 1,291 1,291 1,323 100 1,442 1,369 1,458 1,459 а) Нанести эти 24 точки на график. В каждом значении х отложить среднее четырех соответствующвх у. Методом наименьших квадратов подо- подобрать прямую и начертить ее. Кажется ли большим отклонением средних точек от прямой по сравнению с отклонениями первоначальных точек от средних? б) Используя критерий, построенный в задаче 2.13, проверить, точно ли соответствует линейная регрессия нашей задаче. в) Пренебрегая результатом б), подобрать методом наименьших квадра- квадратов параболу и отметить ее ординаты в шести значениях х. Заметно ли на глаз, что парабола дает улучшение по сравнению с прямой? г) Применяя критерий, аналогичный б), проверить, точно ли соответ- соответствует задаче параболическая регрессия. д) При помощи ^-критерия проверить, значимо ли коэффициент при х1 в в) отличается от нуля. е) Можно ли, принимая во внимание все предыдущие результаты, ис- использовать для градуировочного графика прямую или параболу? (Если при- приходится часто подбирать полиномы по равноотстоящим асбциссам, то полезно научиться использовать ортогональные полиномы. См., например, гл. 16 книги Андерсона и Банкрофта (Anderson & Bancroft, 1952).) 2.15. Пусть через х обозначена точка в одномерном или многомерном пространстве и «истинное значение» величины у в х равно r\ = g(x) (функ- (функция g(x). вообще говоря, неизвестна). Выбрано множество точек {xi х„) ¦ (план эксперимента) и получены наблюдения yt величин т|/ = g(xt) в х = xi (i = 1, ..., п). Пусть g(x) является оценкой g(x), полученной каким-нибудь методом (например, подбором полинома методом наименьших квадратов). Тогда математическое ожидание квадрата ошибки M[g(x)—g(x)]2 зависит от х, {хЦ н от метода, которым была получена оценка- Показать, что это математическое ожидание можно разложить в сумму: D(g(x)) плюс состав- составляющая, которую можно рассматривать как результат смещения, вызванного несовпадением аппроксимирующей функции с g(x). При рассмотрении плани- планирования предсказания g(x) последнюю составляющую часто не учитывают, хотя она имеет большое значение. 2.16. Обозначим составляющую смещения [М (g(x)— g(x)]i в_задаче 2.15 через В(х). Показать, что среди всех функций типа ?(*) = J\ fLfi. (*)> где - ¦ ¦ . /=1 {hi(х)} — заданные функции от х, {Р/} — линейные функции от {yt}, функция g(x), построенная при помощи {Р/}, минимизирующих J] I ? п в свою очередь минимизирует ^ В J] I ? РЛ/С*;) ~ У{ I , 2.17. Предположим, что получено К множеств наблюдений для оценки одних и тех же параметров {pi, рР). Предполагается, что множества наблюдёнвй независимы, имеют равные дисперсии, k-t множество состоит из пк наблюдений (k = 1, ..., К). Обозначим через #<*) л*-мерный вектор, ко- координатами которого являются наблюдения в k-ы, множестве. Предположим,
ЗАДАЧИ 71 ЧТО где X\k) ~ (nk X р)-матрица. Доказать, что любая лнк-оценка р, полу- чеииая по полному множеству измерений (^п^Л, удовлетворяет равенству = ^ ^(fc)Pfc- где Р* является .инк-оценкой, построенной для ?-го множества наблюдений, а Указание. Использовать разбиение матриц. Матрицу X' и вектор у, соот- соответствующие полному множеству наблюдений, записать через матрицы и векторы, соответствующие К множествам.
Глава 3 ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ § 3.1. Однофакторный анализ Простейшим случаем дисперсионного анализа является од- однофакторный анализ. В этой главе мы дадим его определение и будем использовать этот случай для иллюстрации некоторых положений общей теории оценок и критериев, изложенной в гл. 1 и 2. Кроме того, будут введены также некоторые новые понятия и методы, относящиеся к задачам множественного сравнения (построение некоторых видов совместных довери- доверительных интервалов и соответствующих им критериев). Сна- Сначала эти понятия и методы вводятся в связи с классификацией по одному признаку, а затем будут перенесены на общий слу- случай. После этого мы сможем рассматривать эти методы как дополнение общего F-критерия гл. 2 в следующем смысле. Мы видели, что нулевая гипотеза Н (см. гл. 2) равносильна утверждению, что все параметрические функции некоторого класса имеют нулевые значения. Каждый раз, когда по F-кри- терию Н отвергается, мы можем одним из методов множе- множественного сравнения решить, какая параметрическая функция рассматриваемого класса отличается от нуля и как велико это отличие. Мы увидим также, что 1) F-критерий можно рассматривать как предварительный метод решения вопроса о целесообразности продолжения обра- обработки наблюдений другими более сложными методами, или 2) F-критерий можно применить к исследованию оценки функции из рассматриваемого класса, которая в некотором смысле сильно отличается от нуля, и решить, значимо ли отли- отличается от нуля эта оценка. Термин однофакторный анализ (или классификация по од- одному признаку) относится к сравнению средних нескольких (одномерных) популяций. Обозначим их средние через Pi, р2, ... ..., Р/. Допустим, что популяции нормально распределены
$ 3.1. ОДНОФАКТОРНЫП АНАЛИЗ 73 с равными дисперсиями а2. Пусть мы имеем независимые вы- выборки объемов /(, /2, .... // из соответствующих популяций. Обозначим выборку из »-й популяции через (уп,ул, ..., Уи.). Тогда наши основные предположения (влияние нарушения этих предположений рассматривается в гл. 10) равносильны сле- следующим: \ У и —Pi<-г ен (/ = 1, ...,/;/= 1, ..., и)> \ {вц} независимы и распределены М @, а2). Используя общую теорию § 2.5 для проверки гипотезы мы построим F-критерий в предположениях Q. Обозначение вектора наблюдений у = {у\,у2, ¦ ¦¦ ,Уп)', используемое в обшей теории гл. 1 и 2, нужно заменить обозначением с двойными индексами координат, а именно у = (ун,У\2, ¦ ¦ ¦, У и ,Уги ... ... ,y,i ,... ,yi\,.. .,yiij). Из равенств М {уц) = Р/ заключаем, что (п X /)-матрица А" теперь имеет следующий вид: каждая из первых h строк равна р[, каждая из следующих /2 строк равна р^, ..., каждая из последних // строк равна (>', где (*] = = F(.,, 6{2, ..., 6iy) является i-й строкой единичной матрицы. Таким образом, ранг г (число линейно независимых строк) мат- матрицы X' равен / (числу столбцов X', обозначенному в общей теории гл. 1 через р). Отсюда следует, что любая параметри- параметрическая функция допускает оценку (различные параметризации, для которых это неверно, рассматриваются в § 3.2). Сумма квадратов 9"{у,Р), которую мы должны минимизи- минимизировать при Q и ю = Q П И, вычисляется по формуле 9 (У. Р)= SZ (Ун -№• C.1.1) Нормальные уравнения в предположениях Q можно получить, приравнивая к нулю производные -™- = — 2 V (yvl — pv) при v л-i v= 1, ...,/. Уравнения дают лшк-оценки pv = J] ,^v//^v ^ даль- /-* ' нейшем мы будем часто использовать следующее удобное обо- обозначение. Так лнк-оценки |5V можно записать в виде pv = J/v. (V= 1 /). Замена индекса звездочкой показывает, что вычислено ариф- арифметическое среднее величин, в которых заменяется индекс, по всем возможным значениям этого индекса.
74 ГЛ. 3. ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ В предположениях <о формулу C.1.1) можно записать как где через р обозначено общее (неизвестное) значение величин Pi, P2. • • •. Рь В этом случае имеется только одно нормальное У !1 уравнение -gg-= — 2 ^] ^] (#//— Р) = 0. Из этого уравнения находим (крышка над р указывает, что это оценка неизвест- неизвестного р) i U i ЕЕ УИ Е hv'i* t\ !1 /1 Е Обозначим правую часть через *) у. Тогда Pv,» = 0 (v= 1,...,/), где pv, и = Р является л*мк-оценкой pv при ю. Для вычисления SS удобно использовать ^-обозначения гл. 2. Снова будем через г\ обозначать М(у), а через р^ — .имк-оценки г\ при Q и ю, равные проекциям у на пространства Vr и Vr-q, которым г\ принадлежит соответственно при условиях Q и (о* Координаты векторов т], т| и ца можно теперь занумеро- занумеровать двойными индексами по аналогии с координатами у. Тогда «(f,/)-координата» (координата с индексом Ц) вектора х\ рав- равна ¦%, следовательно, т\ц = М ({/,/) и тк/=р( при Q. C.1.2) Из C.1.2) можно получить (/,/)-координату х\, заменив {Рь Р/} на их лшк-оценки при Q; эта замена дает х\ц = уи. Произведя аналогичную замену при <о, найдем, что (/,/^-ко- (/,/^-координата вектора т|ш равна i\i<l-a = y. Суммы квадратов в чис- числителе и знаменателе статистики ST мы получаем из общих тождеств § 2.9 SSh = 11 л ~г\а ||2, SSe = II у ~у\ ||2, которые преобразуются в ssH=Е Е (л,7 - %.,. J2=Е Е (уч- - уJ = Е Л (yt - у)\ EE(^/wEE *) Мы не пишем (/*. (как можно было бы сделать в случае равных Л), так как такая запись истолковывается как среднее арифметическое или не- взвешенное среднее, а не взвешенное среднее у.
§ 3.1. ОДНОФАКТОРНЫЙ АНАЛИЗ 75 Эти формулы подсказывают простое наглядное объяснение: SSh представляет собой взвешенную меру разброса выбороч- выборочного среднего в / популяциях, a SSe является составной мерой разброса наблюдений в пределах каждой из / выборок. По этим соображениям SSh можно назвать SS между группами, a SSe можно назвать SS внутри групп. Для численного вычисления этих SS используются формулы, которые также следуют из общих тождеств § 2.9, однако они отличаются от приведенных выше. Тождество SSh = II ц ||2—|| г|и ||2 (третье в B.9.2)) в на- нашем случае имеет вид SSH = X X fj^ — ? X Л? /, ц>> или SSH=ZJly%-ni/2. C.1.3) Общее тождество ff'a = 9*a -f SSh, или || у — т\и || = SSe + SSh запишется в виде Z(yu-yJ = SSe + SSH. C.1.4) Сумму квадратов в левой части можно назвать полным SS от- относительно общего среднего. Обозначать эту сумму будем через SSn (в отличие от SSnoJiH = J_, zl у2Л. В этих обозначениях C.1.4) можно записать так: обп == ООвн. гр ~г ""«. гр- C.1.5) Окончательно общее тождество ^и = || у ||2—|| т1ш ||2 принимает вид / h Zu-ny*. C.1.6) Гипотезу Н можно задать, приравнивая к нулю /—1 раз- различных линейно независимых функций; например, Я: ря—Р! = 0, p3-Pi = 0, .... р, —р, = 0. Отсюда число ст. св. SSH равно q = /— 1. Мы уже видели, что г = 1, так что число ст. св. SSe равно п — г = п — /. Таким образом, статистикой 9" является отношение SSn/SSe, где — SSH — _ SSS По F-критерию гипотеза Н (§ 2.5) отвергается с заданным Уровнем значимости а тогда и только тогда, когда 9" > >• Fa- /_i, „_/. При Q статистика 9~ имеет нецентральное F-pac- пределение, а именно 9" является величиной F'i~i, n-i, в. где па- параметр нецентральности б определяется по правилу 1 (§ 2.6)..
76 ГЛ. 3. ОДНОФАКТОРПЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ 1 1-\ Если мы положим р= М(у), так п, то а262= (=1 Некоторые из этих результатов собраны в таблицу 3.1.1. Таблица 3.1.1. Однофакторный анализ Источник дисперсии Между группами Внутри групп «Полная» сумма квадратов SS SSH~ 2 ]i{yt*—$f i i i ssn=Z Z (уц-yf i 1 Сте- Степень сво- свободы /-1 n- 1 It- I SS ssH 1 — 1 sse n — 1 — M (SS) i a2 — Вычисления. Обычно неполная сумма 2#?у не требуется для F-критерия (нужна только полная); однако в случае, когда мы хотим рассматривать st I,-l полезно добавить к таблице столбец для неполных сумм. Ве- Величина s2t является оценкой дисперсии в t-й популяции; мы должны будем ее использовать, если не будем предполагать равенство дисперсий. (В связи с этим см. также §§ 3.8 и 10.6.) Величина S5n вычисляется по формуле C.1.6), SSh по C.1.3) и SS = SSbh.tp по C.1.5) путем переноса SSH в левую часть равенства. Одновременно с таблицей дисперсионного анализа, подобной таблице 3.1.1, следует настойчиво рекомендовать за- заготовить таблицу для / выборочных средних {«/,} объемов вы- выборок {/,} и, может быть, для р выборочных дисперсий \ьЧщ Методы вычислений, предложенные в этой книге, облегчаются применением вычислительных машин. Весьма часто требуется сохранять большое число верных знаков до конца вычислений из-за возможной потери их при вычислении 5S вычитанием из другого 5S. Понятно, что в промежуточных вычислениях лучше
§ 3.2. ФУНКЦИИ, ДОПУСКАЮЩИЕ ОЦЕНКУ 77 иметь больше знаков, так как если после вычитания их оста- останется слишком мало, то придется повторить полностью все вы- вычисления. С другой стороны, окончательный результат должен содержать разумное число знаков, обычно такое, чтобы еди- единица последнего сохраненного знака имела порядок пяти оце- оценок стандартного отклонения результата. Статистик, работаю- работающий с химиками или инженерами, может дискредитировать себя необдуманным предложением доверительного интервала такого вида 7,32179 + 0,05248 вместо 7,32 ±0,05 или использованием углового коэффициента прямой с семью знаками, когда сама прямая была подобрана по данным с тремя знаками. При вы- вычислении величин SS на логарифмической линейке или вруч- вручную, чтобы избежать необходимости сохранения большого числа знаков, можно использовать формулы, подобные форму- формулам в таблице 3.1.1, вместо формул вида C.1.3). При вычисле- вычислениях с машинами, или без них (особенно если у чисел совпа- совпадают знаки старших разрядов), полезно преобразовать данные вычитанием подходящей постоянной; например, если данные заключены в пределах от 151,2 до 158,7, то удобно вычесть 150; результат, вычисленный по преобразованным данным, оче- очевидно, будет такой же, как по исходным. § 3.2. Иллюстрация теории функций, допускающих оценку Параметризация, которую мы выбрали для однофакторного анализа, является наиболее подходящей в этом случае; однако приведенная ниже форма Q и Н кажется более подходящей в других случаях дисперсионного анализа; в то же время эта форма нам дает простую и интересную интерпретацию теории функций, допускающих оценку, изложенной в § 1.4: Q. f &/ = и+ «<• + <?// (/=1, ...,/,/=1 /,), I {?<•/} независимы и распределены jV @, а2); Я: cti = а> = . . . = <х/. Ясно, что, не нарушая общности, можно предположить*), что 2^а( = 0. Действительно, мы можем записать Л«/ = М (*/,/) = И + а; = (ц + а*) + (а. — а*). принять за новые ц, аи величины Д = ц + а,:, ш = а, — а» и тогда ?а(==0. Мы видим также, что для всякого множе- ства величин {г\ц}, допускающих представление вида 11,7 = = Ц + а«, новые параметры Д и {а,} в отличие от исходных ц *) Иногда удобнее предположить, что V /,а,- = 0.
78 ГЛ. 3. ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ и {а;} удовлетворяют единственному дополнительному условию X а* = 0. Усредняя равенство ji + а,- = т\ц по », получим il = T]*i, а< = Л(/ — Л*/. C.2.2) т. е. Д. и {а,} определяются однозначно по {Ц{,}. (Величины {i\ii}, являющиеся математическими ожиданиями наблюдений, имеют прямой вероятностный смысл, тогда как отдельно ц и {а,} не имеют смысла.) Теперь из общей теории раздела § 1.4, озаглавленного «Дополнительные ограничения на параметры и оценки», следует, что параметрическая функция Ха<> исполь- i зуемая в дополнительном условии, не допускает оценки; кроме того, получаем, что л*нк-оценки, удовлетворяющие условию X Щ — 0, определяются нормальными уравнениями однозначно, хотя решение нормальных уравнений не единственно. Из общей теории также следует, что любая параметрическая функция от новых параметров р, и {а,} допускает оценку. Теперь мы про- проверим справедливость этих утверждений непосредственно на рассматриваемом специальном случае (некоторые читатели мо- могут пропустить конец этого параграфа). По условиям C.2.1) число параметров р = / +1. Вектор параметров 0 можно записать в виде (ц, аь ..., а/). Тогда [п\A + 1)]-матрицу коэффициентов X' можно получить из («X/)- матрицы коэффициентов, определенной в § 3.1, добавле- добавлением к ней слева столбца из «1»; («X 1)-матрица имеет ранг /,' а столбец из «1» является суммой столбцов («Х/)-матрн- цы. Следовательно, ранг [яХ(/ + 1)]-матрицы тоже равен /, т. е. г = I. Это значение г можно получить из более интуитив- интуитивных соображений, если вспомнить, что г является размер- размерностью пространства Vr, в которое при Q входит tj, и, таким образом, рассматривать г как число «независимых» параметров в задаче. Вычисляя г как общее число параметров, уменьшен- уменьшенное на число линейно независимых дополнительных условий, получим г = (число параметров ц) + (число параметров {а,}) — — (число линейно независимых дополнительных условий) = = 1 + /— 1 =/. Этот метод вычисления г мы обычно будем применять в ос- остальных задачах дисперсионного анализа. Посмотрим, какие функции допускают оценку в предполо- предположениях Q без дополнительного условия. В обозначениях общей теории (§ 1.4) произвольная функция, допускающая оценку, имеет вид Ха*М (у{), где {а«}—любое множество п известных
§ 3.2. ФУНКЦИИ, ДОПУСКАЮЩИЕ ОЦЕНКУ 79 постоянных. В обозначениях этого параграфа функция, допус- допускающая оценку, имеет вид Z Z а«/М (уи) = Z Z ац О* + а,) = Z с< (ц + а,), где (с, = Za:/) — произвольное множество/ постоянных. Та- Таким образом, функции, допускающие оценку, являются множе- множеством функций г)? вида г]) = с,а, -f с2а2 + ... -f cpl + ( Z ct ) ц. Отсюда следует, что параметрическая функция Za<> исполь- < зуемая в дополнительных условиях, не имеет оценки (так как коэффициент при ^г, а именно 0, не равен сумме коэффициентов при {а<}). Параметрическая функция ZAa(- которая иногда используется в дополнительных условиях, тоже не допускает оценку. Линейная функция параметров {а,} допускает оценку тогда и только тогда, когда она имеет вид*) Z ciai c Z ct — 0. В частности, параметрическая функция с параметрами а; — ои (( = 2,...,/), которая была использована для определения ги- гипотезы Я, допускает оценку. Приравнивая к нулю частные производные от i h Z Z (Уц — И. — а,J по ц и по {а,}, мы получаем /+ 1 нормальных уравнений, соот- соответствующих предположениям C.2.1): «*i + Z/<u< = ZW C.2.3) А + а* = У|. (' = 1 Л- C.2.4) Эти уравнения зависимы. Если мы умножим C.2.4) на /, и сло- сложим по (, то получим C.2.3). Таким образом, уравнению C.2.3) удовлетворяет любое решение C.2.4). Но в C.2.4) можно (i выбрать произвольно (однако мы потребуем, чтобы (i было линейной функцией от {#;}), и тогда a.i = yi* — ц; таким путем мы получаем общее решение нормальных уравнений. Если мы накладываем дополнительное условие Z«< = 0 на решение нор- i *) Такую параметрическую функцию будем называть сравнением, (в ори- оригинале «contrast». — Прим. перев.) {ш}; см. § 3.4-
80 ГЛ. 3. ОДНОФАКТОРНЫИ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ мальных уравнений, то решение становится единственным. Дей- Действительно, суммируя C.2.4) по /, получаем C.2.5) Величины ji и {а/}, однозначно определяемые формулами C.2.5), являются решениями*) и удовлетворяют условию Y, а, = 0. Наконец, отметим, что любая параметрическая функ- ция от Д и {а,}, которую мы обозначим i Z C.2.6) допускает оценку. Действительно, используя C.2.2), находим ¦ -сд + ЦсДч,,-!!,,); ясно, что с^., + Z ct (tju — у.,) яв- является несмещенной оценкой г|э. Заменяя ji и {а,} в C.2.6) их лнк-оценками C.2.5), получим ишк-оцеику ф. § 3.3. Пример вычисления мощности Вычисление мощности статистического критерия является главным техническим приемом, предложенным статистической теорией для определения нужного числа наблюдений. Мы пока- покажем, как вычисляется мощность в однофакторном анализе; при другом плане эксперимента вычисления аналогичны. Некото- Некоторые практические советы по вычислению мощности даны в конце этой книги. Предположим, что восемь различных сплавов стали были получены путем изменения состава или способа производ- производства **). В опыте с подобной экспериментальной сталью ожи- ожидается, что прочность на растяжение будет порядка 150 000 фун- •) Отметим, что если бы мы использовали дополнительное условие , то |х было бы взвешенным средним ij от {#(.} вместо иевзвешеииого ( среднего в C.2.5). **) Этот пример был мие сообщен Г. Даниэлем. Сделанные здесь предпо- предположения о иезавнснмостн, равенстве дисперсий и о нормальности распределе- распределения являются разумными. Последние, может быть, не выполняются для проч- прочности на растяжение бетона, плотность распределения которой быстрее при- приближается к нулю при увеличении аргумента, так как изредка образец раз- разрывается при очень низких давлениях из-за формы гравия в бетоне. Можно сказать, что влияние величины зерен в бетоне существеннее, чем в стали. Даниэль заметил, что, если требуемое на сплав число J образцов значитель- значительно, то возможно выгоднее взять примерно такое же общее число // наблюде- наблюдений в факториальном плане сравнения добавочных факторов.
§ 3.3. ПРИМЕР ВЫЧИСЛЕНИЯ МОЩНОСТИ 81 тов/кв. дюйм и что при некотором способе приготовления об- образцов для испытания прочности на разрыв (испытание с уничтожением образца) стандартное отклонение дублирую- дублирующих образцов одного и того же сорта стали будет около 3000 фунтов/кв. дюйм. Кроме того, предположим, что нулевая гипотеза отсутствия различия прочности на разрыв этих спла- сплавов проверяется с 5%-м уровнем значимости и что считается экономически достаточно важным отбрасывать нулевую гипо- гипотезу с большой вероятностью, например 0,9 или больше, если в действительности два сплава отличаются на 10000 фун- фунтов/кв. дюйм. Требуется выяснить, сколько образцов нужно приготовить и проверить для каждого сплава. Интуитивно ясно, что если ни один из восьми сплавов ничем ие выделяется (противоположным будет случай, когда мы про- проверяем семь экспериментальных сплавов против одного конт- контрольного, см. задачу 3.2), то выбирают равные числа / образцов для каждого. Числителем /-'-критерия будет SSH = jYJ(yi, — у,У\ где у I/ — мера прочности на разрыв /-го образца i-го сплава (i = 1, ...,/. Позднее мы положим / = 8). По правилу 1 (§ 2.6) параметр нецентральности удовлетворяет равенству ff262 = /2j(P;—Р»J> гДе Р«"—«истинная» прочность на разрыв i-ro сплава. Так как мощность критерия не убывает по б, то мы найдем, каков минимум 8, при котором две вели- величины из {р,} отличаются на Д или больше (в нашем примере Д =» 10000 фунтов/кв. дюйм). Если для минимального 8 мы получим мощность р = 0,9, то для любых других {Р/}, подчи- подчиняющихся нашему условию, мощность будет не меньше 0,9. До- Допустимый минимум а262 достигается, если две величины из {E/} отличаются на Д, а остальные / — 2 равны среднему этих двух; это ясно из геометрических соображений (можно рассмотреть момент инерции множества / равных масс, помешенных в точки {Р/} на р-оси, относительно прямой, проходящей через центр тяжести этих масс; массы располагаются так, что хотя бы две массы находятся друг от друга на расстоянии, ие меньшем Д) или может быть доказано аналитически. Тогда 'В;— р„1 = -^Д для двух экстремальных р< и =0 для других; таким образом, *• \ *• / \ v / По определению Ф в § 2.8 с q=l — 1, находим ф = /"а, нли \ / / \О/
82 ГЛ. 3. ОДНОФЛКТОРНЫЙ ЛНЛЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ Полагая / = 8, Д= 10000 фунтов/ кв. дюйм, о = 3000 фун- тов/кв. дюйм, получим Ф = |-У1/2. C.3.2) Теперь мы можем обратиться к диаграммам Пирсона —Хартли с vi = 7 и а — 0,05. Для первого приближения У на кривой v2 = оо мы находим при р = 0,9 значение Ф = 1,50. Подстав- Подставляя это в C.3.2) и разрешая относительно У, находим У = 3,24. Первое приближение У, полученное по кривой V2 = оо, будет всегда слишком плохим, так как для всякого конечного / мы должны будем выбирать кривую правее, чем vs = еж, а на этой более правой кривой при р — 0,9 значение Ф больше найден- найденного и, следовательно, по формуле C.3.2) должно быть больше и У. Если мы положим / = 4, то число ст. св. ошибки будет \»2 = /(/—1) = 24; тогда согласно C.3.2) Ф=у. Интерполи- Интерполируя на глаз между кривыми v2 = 20 и V2 = 30, мы найдем, что при v2 = 24 и Ф=-з' мощность р = 0,87. Аналогично при У = 5 мы найдем, что V2 = 32, Ф = 1,86, откуда р — 0,95. Наи- Наименьшим У, при котором Р ^ 0,9, является У = 5; однако мы можем вновь рассмотреть р = 0,87, чтобы уже окончательно решить, не достаточно ли оно близко к 0,90, и тогда использо- использовать в этом случае У = 4. Всякий раз, когда приходится под- подгонять р к номинальному значению, лучше, если соседние зна- значения р не сильно отличаются @,87 и 0,95 в разобранном выше примере). Предположим теперь, что значение о=3000фунтов/кв. дюйм было ошибочно, а действительное на 50% больше, т. е. а = = 4500 фунтов/кв. дюйм. Если мы подставим Л/о =10/4,5, / = 8иУ = 4в C.3.1), то найдем, что ф = 1,11. Интерполируя между кривыми для этого Ф и V2 = 24, получим р = 0,47. Та- Таким образом, если нулевая гипотеза неверна, мы будем ее при- принимать чаще, чем отбрасывать! Этот пример показывает, что нежелательна такая чувствительность мощности к значению а, которое по Q-предположениям неизвестно. Чтобы обойти эту трудность в некоторых случаях, подобных рассматриваемому примеру, может быть лучше задавать А или другую меру раз- разброса {р,} (например, Г? (Р; — Р„J11?^ в виде кратностей о. Если мы решим, что важно обнаружить разности порядка 2с-, то можно потребовать большую мощность для А/о = 2. В дру- других задачах важно обнаружить разности порядка о или -^ а. Используя изложенный выше метод, читатель может проверить,
§ 3.3. ПРИМЕР ВЫЧИСЛЕНИЯ МОЩНОСТИ 83 что при мощности 0,9 и Д ^ 2о первое приближение У = 9,0 и что для У = 10 мощность р = 0,90. При конкурирующих гипотезах, использованных в предше- предшествующих вычислениях мощности, возможен другой критерий, который по интуитивным соображениям конца § 3.7 является более мощным. Гипотеза Н по этому критерию отвергается, если минимум и максимум выборочных средних {г/,*} отли- отличаются больше, чем на У~1/2<7и. 7 vs, где qa-/,v является верхним а-пределом стьюдентизированного размаха, определенного в § 2.2, s2 равен SSe, a v — его число ст. св. Таблиц и диаграмм мощности этого критерия не существует. Однако если мы используем У, вычисленное по Р-критерию, для получения заданной мощности, то мы превысим эту мощность, пользуясь критерием стьюдентизированного размаха при рас- рассматриваемых конкурирующих гипотезах. В планировании эксперимента иногда целесообразно иметь небольшую таблицу мощности с двумя входами для мало отли- отличающихся объемов выборок и конкурирующих гипотез (в рас- рассмотренном случае конкурирующая гипотеза определяется Д/о). Может оказаться необходимым снизить значение мощ- мощности или увеличить отличие конкурирующей гипотезы от основной, если заданная мощность не получается, для того чтобы определить осуществимый объем выборки. Желательно провести вычисление мощности планируемого эксперимента перед экспериментом, так как может оказаться, что число на- наблюдений будет слишком мало, чтобы дать даже 50% шансов (Р < 0,5) определения практически важных различий, или, как другая крайность — окажется слишком много наблюдений. Другим — или лучше дополнительным путем вычисления рбъемов выборок является во многих случаях определение та- такого объема, который обеспечивает достаточную узость довери- доверительных интервалов для интересующих нас величин, вычислен- вычисленных в предположении, что неизвестное значение о2 равно SSe- Этими интервалами являются обычно интервалы 5- или Г-ме- тодов (§§ 3.5 — 3.7). Сначала, может быть, нужно провести предварительные наблюдения*) для получения соответствую- *) Точная теория двухступенчатых критериев, мощность которых не за- зависит от а, построена Стейном (Stein, 1945). Эта теория была распространена Хили (Healy, 1956) на методы множественного сравнения. Некоторые прак- практики не решались применять теорию Стейна, поскольку в ней для оценки а используется только информация первой ступени (вторая ступень может «указывать» сильно отличающиеся значения). Вычисленные вероятности оши- ошибок являлись, конечно, правильными, но безусловные вероятности ошибок по практическому опыту статистика и всех его заказчиков могли менее удовле- удовлетворять заказчиков, чем некоторые условные вероятности (полученные из частного опыта заказчика). Эта задача, нуждающаяся в уточнении формули- формулировки, была поставлена пеаедо мной профессором Ходжесом.
84 ГЛ. 3. ОДНОФЛКТОРПШП Л11ЛЛИЗ МНОЖЕСТВЕННОЕ СРАВНЕНИЕ щей оценки а, если только мы не будем точно определять неко- некоторые величины, а именно средние длины доверительных интер- интервалов, через кратности о. Эти величины аналогичны рассмот- рассмотренному выше Д. § 3.4. Сравнения. S-метод оценки всех сравнений Если в однофакторном анализе по /-"-критерию гипотеза ра- равенства средних отвергается, то результирующее заключение, что средние рь р2, ¦••. Р/ не все равны между собой, обычно не удовлетворяет экспериментатора. Тогда рассматриваются методы получения дополнительных выводов о средних. В общем случае, описанном в § 2.4, для произвольных Q и Н может возникнуть в результате применения F-критерия аналогичная задача. Дальнейшие выводы относительно средних можно про- просто получить при помощи методов множественного сравнения, рассмотренных в §§ 3.5—3.7. Эти методы мы будем называть S-методом и Т-методом. В однофакторном анализе методы множественного сравне- сравнения позволяют нам делать заключения, аналогичные следую- следующему. Предположим, что / = 7, и мы перенумеровываем истин- истинные средние в соответствии с выборочными так, что Pi^ ^Рг^ ••• ^Р7- Мы можем делать, например, такие утверж« дения: р7 большем, чем р4 (а, следовательно, больше, чем рз, fh, Pi, если объ- объемы выборок {Л} равны). Недостаточно ясно, что р7 больше, чем р6 или f3s; если это так, то разности не превосходят р7— Ре ^ 2,1, р7 — Ps ^ 3,2. Сред- Средние Pi и р2 меньше, чем р4 (и, следовательно, меньше, чем Ps, Ре, Рт, если {/(} равны). После анализа этих данных отмечается, что образцы 1, 2, 3, 4 содержат алюминий, а образцы 5, 6, 7 содержат медь. Для дополнительной проверки сделанного утверждения естественно рассмотреть разность средних ¦ - J <Р5 + Ре + Рт) ~ J (Р. + Р2 + Рз + Р«). Эта разность удовлетворяет неравенству 8,4 <; -ф <; 9,5. Неравенства полезны для любых других сравнений (см. ниже), так как указывают путь обработки данных. Общий доверительный коэффициент равен 90% для множества всех утверждений о сравнениях (для всех утверждений, которые мы сделали, и для всех возможных утверждений, которые мы еще не сделали). Сравнения Определение. Сравнением параметров Рь ..., Р/ яв- является линейная функция zl c$t с известными постоянными коэффициентами, удовлетворяющими условию ?сг = 0. г1
§ 3.4. СРАВНЕНИЯ. S-МЕТОД ОЦЕНКИ ВСЕХ СРАВНЕНИЙ 85 Например, является сравнением разность любых двух сред- средних Р> — Рь или среднее некоторого подмножества {р,} минус среднее другого подмножества. (Другими полезными приме- примерами сравнений являются линейные функции, называемые взаи- взаимодействиями, см. гл. 4.) Гипотеза Я из § 3.1 эквивалентна утверждению, что любые сравнения {ру} равны нулю. В случае классификации по одному признаку сравнение имеет несмещенную оценку Дисперсия ф равна -4-Е^ы—'ЕШ- i i а ее оценка задается формулой В следующем параграфе мы докажем, что для сравнений спра- справедливо следующее вероятностное утверждение*). Теорема. Вероятность того, что величины**) всех срав- сравнений одновременно удовлетворяют неравенствам ^-Sa^^^ + Sd^, C.4.1) где постоянная 5 определяется формулой равна 1 — а. При классификации по одному признаку в 5-методе для сравнений используются интервалы C.4.1). Существует связь этих интервалов с F-критерием (§ 3.1) для проверки гипотезы Н о равенстве всех {р,}. Мы говорим, что оценка сравнения ф зна- значимо отличается от нуля, если интервал C.4.1) не содержит значения г|з = 0, и незначимо, если содержит. В § 3.5 мы дока- *) Тьюки первый ввел метод совместной оценки сразу всех сравнений; ссылки на Тьюки, Д. Б. Данкане и Шеффе см. в работе Шеффе (Scheffe, 1953, стр. 88, сноска). Методы, называемые здесь Т- н S-методами, были вве- введены соответственно Тьюки и мной. **) Мы используем один и тот же символ ij) для сравнения, ивляющегося линейной функцией от {E;}, и для его истинного значения, которое является значением функции от неизвестных истинных {fit}.
8б ГЛ. 3. ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ жем, что по F-критериго гипотеза Н отвергается в том и только в том случае, когда существует некоторая ф, значимо отличаю- отличающаяся от нуля. Иными словами, тогда и только тогда по F-кри- терию с заданным уровнем значимости а определяют, что истинные сравнения не все равны нулю, когда при помощи упо- упомянутых выше методов найдутся оценки сравнений, значимо отличающиеся от нуля. Однако может случиться, что ни одно из соответствующих этим оценкам сравнений не представляет практического интереса. (Примером сравнения, которое обычно не представляет практического интереса, является сравнение, соответствующее максимальному оцениваемому нормирован- нормированному сравнению, описанному в конце § 3.5.) Отметим здесь, что если все /,• одинаковы и если рассмат- рассматриваются только сравнения вида |Зг — IV. то Т-метод (§ 3.6) предпочтительнее, так как он дает для этих сравнений более узкие интервалы, чем C.4.1). § 3.5. S-метод множественного сравнения. Общий случай Вернемся теперь к общим понятиям § 1.4. Определение. Множество L допускающих оценку функ- функций {г))} называется q-мерным пространством функций, допус- допускающих оценку, если существует q линейно независимых допус- допускающих оценку функций {ipi, ..., г|)„} таких, что каждая г|з из L имеет вид г|)= 2-г Лгг|^, где hu ..., \ц — известные постоянные коэффициенты; иными словами, L является множеством всех линейных комбинаций г|)ь ..., ^q. Пример. Обозначим / средних (как и в § 3.1) через Pj, ..., Р;. Рас- Рассматривается классификация по одному признаку. Тогда множество всех сравнений {E,-} ивляется (/— 1)-мериым пространством функций, допускающих оценку; базис можно выбрать разными способами, например (Pv—'Pil. гДе v = 2, 3, ...,/, или {Pv—Р*1, или {Pv ~~ Pv-ib Докажем, например, что {Pv — Pil является базисом. Отметим, во-первых, что в этом случае все па- параметрические функции ff5f} допускают оценку f для ? с^1 оценка равна Ч I 2 ci^i*)' во-вторых, что /—1 функций {pv — Pi} линейно независимы. Дей- / ствительио, если ? av (f5v — pi) = 0 тождественно no {f5f}> то, подставляя V-2 в это тождество Рг = 6цг («'=• Л. получим, что ац = 0 (ц = 2, ..., /). Предположим далее, что ij) = ? сА является сравнением, так что V ct = 0. / / Отсюда ф= J] <>i (Р,- "~ Pi) — 2 ct (Рг — Pi)> a это значит, что ф принадле- i-1 i-2
5 3.5. S МЕТОД МНОЖЕСТВЕННОГО СРАВНЕНИЯ 87 жит пространству L, порожденному базисом. Обратно, если ty e L, то / / / V=2 <"=¦! v=2 при / > 1. Отсюда ? с{=0 и, следовательно, -ф является сравнением. S-метод (общий случай)*) Результаты этого раздела § 3.5 получены в общих предпо- предположениях Q: у имеет распределение N(Х'$,о2/), г(Х')—г, принятых в § 2.1. Рассмотрим <7'мерное пространство L функ- функций, допускающих оценку, порожденное q линейно независи- независимыми допускающими оценку функциями {г^ь....^,,}. Пусть для п всякой г|зе! функция ф=?а*#» является ее жн/с-оценкой, так что ?>(ф) равна п Дисперсия ф имеет несмещенную оценку п а2 2 V где s2—средний квадрат ошибок SSe с п — г ст. св. Следую- Следующая теорема является основой S-метода. Теорема. Вероятность того, что одновременно для всех L ф йф, C.5.1) где постоянная S определяется по формуле равна 1 — а. *) Простейшим нетривиальным (q > 1) примером специального случая 5-метода является доверительное множество для линии регрессии, построен- Вое Уоркингом и Хотеллингом (Working & Hotelling, 1929),
88 ГЛ. 3. ОДИОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ Доказательство*). В § 2.3 для точки {фь ..., фо} был получен доверительный эллипсоид (ф - яр) В' (ф - ф)< qs2Fa-, я, „_„ где ф = {tj)i, ..., ф„}, ф является вектором жнк-оценок (фь ... . ..,ф„}, а В = o~2r,j. Удобно теперь сохранить символы (фь...,ф4) Для обозначения истинной точки параметров, а че- через (х\,...,хч) обозначить произвольную точку ^мерного про* странства значений (фь ...,ф„). Тогда указанный выше дове- доверительный эллипсоид означает, что вероятность того, что (фь-.-.ф?) находится внутри эллипсоида (х- ф)'В-' (х- ф)< qs2Fa-,,,„-г, C.5.2) равна 1 —а. Но (фь-.-.ф?) лежит внутри C.5.2) тогда и только тогда, когда она лежит между любой парой параллельных пло- плоскостей, касающихся эллипсоида. Если ft = (hi,... ,hq)' — про- произвольный ненулевой вектор, то, как было показано в A11.11) приложения III, точка (фь-.-.ф?) находится между двумя опорными плоскостями эллипсоида C.5.2), ортогональными ft, тогда и только тогда, когда |А'(Ф-Ф) К (*?-'*)'А. C.5.3) где Е == (qs2F a; я ,n-r)-lB-> = (S2s2)-iB-i. Следовательно, вероятность того, что при всех ft | Л'ф — Л'ф | < Ss (ft'Bft) Ч C.5.4) равна 1 —а. Отметим, далее, что ф е Z, тогда и только тогда, когда ф имеет вид ? Л**1>1 = *'i|-. Тогда по следствию 1 § 1.4 жнк-оцеика ч ф вычисляется по формуле ф = ? Лгф( = Л'ф, дисперсия ф в силу A.2.10) равнаа^А'ВА, а а^, — s2h'Bh. Таким образом, приведенные *) Простое доказательство, использующее проектирование сферы на различные прямые линии, вместо использования опорных плоскостей эллип- эллипсоида, приводится в работе Шеффе (Scheffe, 1953). Это доказательство, от- отличающееся от приведенного здесь, может быть распространено на метод множественного сравнения, который мы введем в гл. 8. Этот метод находится в такой же связи с Г2-критерием Хотеллинга, как S-метод с F-критерием. Важно отметить, что доверительный эллипсоид, построенный по F, имеет определенное положение и форму, так что определенным преобразованием оя может быть переведен в сферу, тогда как эллипсоид, построенный по Т\ имеет случайную форму и расположение, и следовательно, соответствующее преобразование будет случайным.
$ 3.5. S МЕТОД МНОЖЕСТВЕННОГО СРАВНЕНИЯ 89 утверждения, включая C.5.4), показывают, что вероятность не- неравенства для всех ipeL равна 1—а. Последнее равносильно C.5.1). Пример. В начале этого параграфа мы показали, что в случае класси- классификации по одному признаку множество всех сравнений / средних {E,-} яв- является (/— 1)-мерным пространством функций, допускающих оценку. Теоре- Теорема в § 3.4 о S-методе оценки всех сравнений немедленно следует из только что доказанной теоремы. Теперь предположим, что мы хотим применить S-метод к более широкому классу L всех линейных функций от {р<}, уже не обяза- обязательно являющихся сравнениями. Очевидно, этот класс L является /-мерным пространством функций, допускающих оценку. Тогда доказанная теорема применима с q = l,i= } с{$г ф = \ c;j/;,, a1- = s2/l -j- )без каких-либо t t 1 ' ограничений на {с;}. Связь S-метода с ^-критерием Рассмотрим в общей формулировке § 2.4 F-критерий для проверки гипотезы Н в предположениях &2 с уровнем значимо- значимости а. Гипотеза Н утверждает, что ф! = ф2 = ... = $ч, где jftii • • • i Ф?} являются заданным множеством линейно незави- независимых функций, допускающих оценку. Это множество порож- порождает ^-мерное пространство L функций, допускающих оценку; гипотеза Н эквивалентна следующей: Н: ф = 0 для всех 1|э е L. Из доказанного выше следует, что по ^-критерию гипотеза Н отвергается тогда и только тогда, когда по крайней мере для одной ф е L ее жнк-оценка ф значимо отличается от нуля в смысле следующего определения. Определение. Для данного пространства L функций, до- допускающих оценку, и доверительного коэффициента 1 — а лнк-оценка ф допускающей оценку функции if> e L значимо отличается от нуля по S-критерию, если интервал C.5.1) не на- накрывает ф = 0, т. е. если I ф | > Sa^. Любой паре параллельных опорных плоскостей соответ- соответствует ортогональный вектор h (не единственный). Применяя к паре плоскостей рассуждения, приведшие к C.5.3), и заменяя (фь...,ф„) на @,...,0), мы получим, что начало координат находится между плоскостями тогда и только тогда, когда или Ifc'+Ktfc'B-'fc)*. C.5.5)
90 ГЛ. 3. ОДПОФЛКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ Мы видим, что начало координат лежит внутри доверительного эллипсоида и, следовательно, по F-критерию И будет прини- приниматься тогда и только тогда, когда C.5.5) выполняется для всех ft, так как тогда начало координат должно находиться между всеми парами опорных параллельных плоскостей. Но тогда C.5.3) накрывает значение /Tip = 0 для всех ft, а это эквивалентно тому, что C.5.1) накрывает значение \|з = 0 для всех \|э e L. Из этой связи S-метода с F-критерием вытекает, по-види- по-видимому, его главное применение: всякий раз, когда гипотеза Н отвергается по F-критерию, мы можем исследовать различные допускающие оценку функции в L, чтобы выяснить, какие из них ответственны за отбрасывание Н. Конечно, S-метод дает много больше, чем то, что говорилось; часто его можно рас- рассматривать как главный статистический аппарат, а F-крите- рий — как предварительный прием, с помощью которого ре- решается, стоит ли продолжать исследования другими методами. Эта связь, показывающая, что S-метод имеет в некотором смысле такую же чувствительность, как F-критерий, может помочь победить недоверие к S-методу тем, кто привык приме- применять F-критерий и придерживается в случае отбрасывания ги- гипотезы сомнительной практики *) вычисления многих довери- доверительных интервалов по одним и тем же данным, используя всюду верхний а/2-предел /-распределения. Они не доверяют длине S-интервалов, хотя не выражают недовольства по поводу нечувствительности F-критерия. Автор предлагает применять S-метод с а= 10% вместо построения индивидуальных интер- интервальных оценок по данным с использованием верхнего 2,5% (двусторонний 5%) предела /-распределения. Гарантирован- Гарантированный 90% доверительный коэффициент предпочтительнее номи- номинального 95%, если, как обычно, неизвестно, насколько далеко истинное значение от 95%). Связь S-метода с F-критерием может быть выражена дру- другим путем, который, кроме того, дает возможность понять при- природу F-критерия. Обозначим через V множество, полученное из L вычеркиванием г|э, тождественно равных нулю для всех {Р/}. Теперь яр значимо отличается от нуля тогда и только тогда, когда | 4 I > %. C.5.6) Отсюда следует, что для любой ф е= U и любой tp = &ф (по* стоянная k Ф 0) оценка tf значимо отличается от нуля в том и только в том случае, когда значимо отличается ф, так как *) Некоторые численные результаты о выводах такой практики см. « Шеффе (Scheffe, 1953, таблицы 5 и 6).
$ 3.5. S-МЕТОД МНОЖЕСТВЕННОГО СРАВНЕНИЯ 91 $ = &¦»!>, до = kd$, и следовательно, C.5.6) выполняется для ф тогда и только тогда, когда оно выполняется для яр. Чтобы установить, для каких функций tpeL оценки яр значимо отли- отличаются от нуля, мы можем ограничиться подмножеством L" множества L, определяемым следующим способом: L" состоит из всех г|з е L, для которых дисперсия их лшк-оцеики равна Со2, где С — положительная постоянная, которую мы можем произ- произвольно выбрать, а затем фиксировать. Мы можем ограничиться L", так как каждой \feL' соответствует функция ¦$ = Щ е L"; если D(\$) = Ao2, то мы выберем k — (C/AJ. Функцию ф<=?", соответствующую любой tp e V, мы можем назвать соответ- соответствующей нормированной функцией, допускающей оценку. Рас- Рассмотрим яр e L*, для которой чр максимальна; обозначим это ф через ¦фтах. Так как для всякой функции if ei оценка <r| = Cs2, то из C.5.6) следует, что найдется гр е L", для которой ф зна- значимо отличается от нуля тогда и только тогда, когда от нуля значимо отличается ifmax- Теперь мы имеем следующую цепочку включений, каждое утверждение которой верно, если верно сле- следующее за ним: I) по ^-критерию гипотеза Н отвергается; II) для некоторой \|з е L, я|> значимо отличается от нуля; III) для некоторой ipeL" я|> значимо отличается от нуля; IV) фтах значимо отличается от нуля. Мы можем теперь объяснить F-критерий, рассматривая только фтах. которая является оценкой максимальной для полу- полученных наблюдений нормированной функции, допускающей оценку. По этой оценке гипотеза Н отвергается тогда и только тогда, когда фтах значимо отличается от нуля по S-критерию. Только что приведенные рассуждения показывают, что по F-критерию гипотеза Н отвергается, если фтах значимо отли- отличается от нуля по S-критерию, т. е. если Это эквивалентно неравенству Ч-Lx > SW или С?^- > CFa, щ, п.г. Последняя форма показывает, что если мы будем нормировать с С= 1, то SS числителя F-критерия действительио может сов- совпадать с ^ax. На самом деле мы всегда имеем совпадение. Это легко доказать, используя каноническую форму § 2.6. В ка- канонической форме гипотеза Н заключается в том, что ?i = = ?2= •.. = ?4 = Q. Отсюда пространство L функций, допус-
АНАЛИЗ. МНилчыл ВЕННОЕ СРАВНЕНИЕ кающих оценку, для которых по Н выполняется равенство ¦ф = 0 при любой г|з е L, является множеством всех г|з вида я ty=Ltbt?,t, где {ЬЛ постоянные. Для такого ib оценка (-1 Ч а $=Y,biZ, и D (гЬ) == а2 У. Ь]. Нормирование с D(ib) = a2 при- водит к условию S 6? = 1. C.5.7) а При фиксированных {z\, ..., zq) максимум г|)= J] Ь&г при ус- ловии C.5.7) равен 'фтах==( S z'l . Это легко показать геомет- геометрически. Будем рассматривать ф как проекцию вектора (zi, ....z,)' иа переменный вектор единичной длины (Ь\,. ..,&,)'. Отметим, что проекция максимальна, когда направление по- последнего вектора совпадает с первым, т. е. когда b, = Xzi, где значение положительной постоянной по C.5.7) определяется ( « У4' формулой Я,=( ?z2l . Таким образом, мы получили Последнее выражение является SS стоящим в числителе F-кри- терия. Приложение такой интерпретации этого числителя будет дано в § 4.4. § 3.6. 7-метод множественного сравнения Мы видим, что в S-методе используют F-распределения; в Г-методе используется стьюдентизированный размах qk, v. определенный в конце § 2.2. Если наложены некоторые ограни- ограничения, то Г-метод можно применять для получения совместных доверительных утверждений о сравнениях множества парамет- параметров {8i,...,8ft} в терминах несмещенных оценок {0,, ...,§*} и оценки ошибки s2. Одно из ограничений может состоять в том, что {§<} имеют равные дисперсии; так, если мы хотим приме- применить метод в случае классификации по одному признаку (§ 3.1), когда {9,} являются средними {р,}, то объемы выборок {/;} должны быть равными. Сначала мы установим метод в спе- специальном случае, когда случайные величины {9,} независимы и рассматриваемые сравнения являются -jk(k— 1) разностями
§ 3.6. Г-МЕТОД МНОЖЕСТВЕННОГО СРАВНЕНИЯ 93 {9г — 9,}, f, i'=l, ..., k. Принимаются следующие предполо* жеиия о статистиках {9<} и а2: {9J независимы и Qt имеет распределение N(et, a2a2) (t = l, ..., k), где а — известная по- положительная постоянная; s2 является независи- /3 5 \) мой квадратичной оценкой а2 с v ст. св., т. е. и не зависит от {9(.}. 7-метод опирается на следующую теорему. Теорема 1. Пусть 7 = aqa-,k,\, где qa.k,\ является верх- верхним а-пределом стьюдентизированного размаха qk, v, опреде- определенного в конце § 2.2. Тогда в предположениях Q вероятность того, что все -^-k(k—1) разностей {9,— 9i} одновременно удовлетворяют неравенствам 9, - 9,- — 7s < 9,- - 9Г < 9, — ft,- + 7s, C.6.2) равна 1 — а. Доказательство. Пусть н,= 9г —9,-. Согласно Q {«,-} независимы, имеют распределение Л/@, а2а2) и не зависят от случайной величины (va2s2)/a2a2, являющейся ¦?. Кроме того, по определению § 2.2, размах {ы,}, поделенный на as, имеет распределение qk, v, так что вероятность неравенства max и{ — min u{ —' —' ^<7а: *. v» или max щ — min ш ^ 7s, равна 1—а. Последнее неравенство эквивалентно следующему: | \ц — не |^7s для всех i, i', или —7s ^(9г —9t') —(9г — 9r)^ 7s, которое сов- совпадает с C.6.2). Распространение 7-метода на множество всех сра внений k Теорема 2. Пусть ¦h = ? cfit, T — aqak,v (Qa;k,v onpe- делено в § 2.2). Тогда в предположениях C.6.1) вероятность того, что значения всех сравнений г|)= ? с fii(^, с ; = (Л одно- одновременно удовлетворяют неравенствам V V роема 1 — а.
94 ГЛ. 3. ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ Заметим, что если сравнение ¦ф равно разности 0* — 0г (i ф1'),т0 jYj\c{\= l и C.6.3) совпадает с C.6.2). Отсюда если C.6.3) верно для всех сравнений *|>, то это влечет выпол- выполнение неравенств C.6.2) для всех разностей BJ — 9^. Следова- Следовательно, доказательство теоремы 2 будет полным, если мы пока- покажем, что из справедливости C.6.2) для всех разностей в{ — Об- Обследует справедливость C.6.3) для всех сравнений г|). Но это является немедленным следствием следующей леммы, в кото- которой {и,} нужно заменить на {9;— 9г} и h на Ts. Лемма. Если \ ut — Mr | ^ h для всех i, i' = 1, ..., k, то k для всех {С{}, удовлетворяющих условию ? c, = 0. Доказательство. Если все с, = 0, то, очевидно, C.6.4) выполняется. Предположим, что не все с* = 0. Пусть Р — мно- множество индексов i, для которых с< > 0, а N — множество индек- индексов, для которых с, < 0. Тогда k о= Е ct= ? ct + Е с,. Пусть g= E d\ тогда и ? (— ct') = g. Кроме того, igp г' <= n Если мы умножим и разделим правую часть равенства к Yj ctut= Y,ctUi— Yj (—с?) и г на g, то получим ctUi E (—с4')— Е сг Е (— ci>)uA = t'sJV leP i'elV J E [сг (— с,') ut — сг (— с г) Щ']\ = =g~l \ E E ct (— сг/) (Hi —«,')). Так как с( и —с,- положительны, то абсолютная величина членов в последней сумме равна ct(— сс)\и{ — щ>\- Таким обра- образом, абсолютная величина каждого члена не превосходит
§ 3.6. t-МЁТОД МНОЖЕСТВЕННОГО СРАВНЕНИЯ 95 Cl{— c'i)h. Отсюда Лс,щ <g~lh ? с, ? l-c,>) = gh. Но ^Л является правой частью C.6.4). Обобщение для {в,-}, имеющих одинаковые дисперсии и одинаковые ковариации В этом случае ф{) не обязательно независимы. Основные предположения запишем в виде {9,} нормально распределены и не зависят от s2; VS2 2 —5- имеет распределение %?; C.6.5) D (8() = его2 для всех i; cov(8j, в^О^&о2 для всех i, i' с 1ф?; а и 6 — известные постоянные, удовлетворяющие неравенствам.*) —a2^(fe—1N^0. Теорема 3. В предположениях C.6.5) вероятность того, что все сравнения ¦ф = ? с(8; одновременно удовлетворяют к C.6.3) < 4J> - X сг8г равка 1 — а (^а; *, v было определено в § 2.2). Доказательство. Прибавим к случайным величинам {ё<} новую случайную величину х, распределенную N @, а2х) и не зависящую от {8*}. Дисперсию а\ определим так, чтобы величины Qi = Qi-\-x были независимы. Это возможно, так как {8(} распределены нормально, а cov (§,, Si') = М [(§, -Bt + x) ф,' - 9,. + jc)] = = cov (в., §,,) + D (jc) = 6а2 + о2х. *) Условие Ь ^ 0 требуется в доказательстве. Неравенство Ь ^—a2/(fe—1) может быть доказано из того факта, что ковариационная матрица {9i} должна быть неотрицательно определенной. В приложениях b обычно 0 илн —a?/(k — 1).
96 ГЛ. 3. ОДНОФАКЛОРНЫИ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ Если положить о2х= —6а2, то cov(G;, 0г) = О и величины {б,} независимы. Тогда DF,) — D(ft,) + D(x) = (а2 - b)a2. Если мы применим теорему 2 к независимым величинам {0*}, то получим теорему 3. § 3.7. Сравнение S- и Т-методов. Другие методы множественного сравнения Так как 7-метод применяется только в случае, когда прост- пространство L допускающих оценку функций, введенное в § 3.5, яв- является классом сравнений параметров {Э(} и когда выпол- выполняются некоторые другие условия (равенство дисперсий оценок 0,- и т. д.), то мы ограничимся сравнением 5- и 7-методов только в этом случае. Если имеется k параметров {0,}, как в § 3.6, то размерность L, обозначенная через q в § 3.5, равна q = k—1. 5-метод дает совместные доверительные интервалы для всех возможных сравнений, тогда как 7"-метод сначала предназна- предназначался только для получения доверительных интервалов для разностей {Э,- — 9,'} (теорема 1 § 2.6). Поэтому мы можем пола- полагать, что Г-метод дает для этих разностей более узкие интер- интервалы. Это положение обычно не сохраняется, когда мы приме- применяем 7-метод к более сложным сравнениям. Для иллюстрации относительной эффективности этих двух методов рассмотрим отношение R квадратов *) длин интерва- интервалов, полученных S- и 7-методами соответственно. В теореме 2 § 3.6 выберем случай k = 6, v = oo, a = 0,05; в S-методе мы тогда положим q = k — 1. Предположим, что мы рассматриваем сравнения, являющиеся разностями между средними от {0,}. Через [rti,rt2] будем обозначать сравнение, равное разности между средним от п\ параметров {Э,}и средним от Пг парамет- параметров {0,}; такой тип сравнения является обычно наиболее важ- важным. Пример: является [2, 4] сравнением; 1(е2 является [3, 1] сравнением. *) Рассматривать квадраты длин предпочтительнее, чем длины ;ак ках квадраты длин интервалов, или их математические ожидания (по крайней мере при больших л), обратно пропорциональны п.
§ 3.7. S- И Г-МЕТОДОВ. ДРУГИЕ МЕТОДЫ 97 В рассматриваемом случае относительная эффективность этих двух методов показана в таблице 3.7.1. Например, значе- значение R = 0,68 для [2, 2] имеет тот смысл, что для получения одной и той же точности сравнений типа [2, 2] по 5-методу требуется только около 68% наблюдений, требующихся при использовании Г-метода. В таблице 3.7.1 приведены сравнения для линейных, квадратичных и кубичных эффектов. Если счи- считать, что {0«} соответствуют равноотстоящим значениям неза- независимого переменного, то коэффициентами при {0,} будут соот^ ветствующие значения ортогональных полиномов*). Позднее (§ 4.1) мы введем другой важный класс сравнений, называемый взаимодействиями; для этого класса 5-метод тоже обычно оказывается лучше. Таблица показывает, что Г-метод предпочтительнее, когда нас интересуют только сравнения типа 0; — 0j', а 5-метод дает более узкие интервалы для более сложных сравнений. Таблица 3.7.1 *). Относительная эффективность S- и Г-методов, равная ^-отношению квадратов длин интервалов k = 6, v = оо, а = 0,05 Тип сравнения [1,1] [1,2 [1,3] 1,4 1,5 2,2 1 R 0,73 0,98 п Н 0,91 0,85 0,82 0,68 Тип сравнения [2,3] [2,4] [3,3] Линейные Квадратные Кубичные R 0,57 o;5i 0,45 0,59 0,57 0,48 *) Заимствовано: A method for judging all contrasts in the analysis of variance H. Scheffe, Blometrlka, т. 40 A953), стр. 93. Отметим то немногое, что известно об оперативной характе- характеристике Г-метода. Г-метод соответствует критерию, построен- построенному по стьюдентизированному размаху {0,}, так же как 5-ме- 5-метод соответствует ^-критерию. По каждому методу находится по крайней мере одно сравнение, значимо отличающееся от нуля, тогда и только тогда, когда соответствующим критерием отвергается гипотеза равенства нулю всех сравнений. Мощ- Мощность соответствующего критерия хорошо известна для 5-ме- тода, но неизвестна для Г-метода. Кроме того, для 5-метода известны формулы вероятностей ошибок двух родов, аналогич- аналогичных до некоторой степени двум родам ошибок в теории про- проверки гипотез; ошибка первого рода связана с утверждением, ¦) Фншер и Иэйтс (Fisher & Yates, 1943, таблица XXIII). 4 Г. Шеффе
98 ГЛ. 3. ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ что нулевые сравнения значимо отличаются от нуля, а ошибка второго рода — с противоположным утверждением для нену- ненулевых сравнений*). Г-метод более ограничен в приложениях, так как он применим только в случае равных дисперсий оценок {0,}. Преимущество 5-метода заключается еще в том, что он нечувствителен к нарушению предположений о нормальности и равенстве дисперсий (§ 10.6). Другие методы множественного сравнения В этом разделе мы кратко рассмотрим несколько других методов множественного сравнения**). Один нз них основан на увеличенном стьюдентизированном размахе, а другой — на стьюдентизированном максимуме модулей. Сейчас мы их опре- определим. Предположим, что {хи...,хп} независимы и нормально распределены с параметрами @, <т*), a vs2ja2x является %% и не зависит от {xi}, как в конце § 2.2. Максимум модулей {*/} равен М = max| xt\. i Стьюдентизированный максимум модулей определяется фор» мулой mk, v = M/sx. Его верхний а-предел обозначим через пга- к, v Эту величину при а = 0,05 табулировали Пиллай и Рамачандран A954). Уве- Увеличенным размахом R' величин {х,} называется большее из двух чисел М й R, где R является размахом {xi}. Увеличенный стьюдентизированный размах равен Обозначим его верхний а-предел через q'a. k v- ^Ta величина *) См. работу Шеффе (Scheffe, 1953), в которой, помимо таблицы 3.7.1, содержится еще сравнение этих двух методов. **) Я не включил методы множественного сравнения Д. Б. Данкана, так как я не был способен понять их обоснование. Даикан был одним из самых ранних исследователей в этой области. Его правила различении любой пары средних (какие средние различны, а если различны, то в каком направлении) не имеют быстрого возрастания нечувствительности с ростом q или k, что может разочаровать использующих S- и Т-методы, нечувствительность кото- которых приводит к увеличению длины интервалов дли сравнений. Читатель, за- заинтересовавшийся этими методами, отсылаетси к объяснительной работе Данкана (Duncan, 1955) н к последующим работам Крамера (Kramer, 1956) и Данкаиа (Duncan, 1957). Работа Даикана (Duncan, 1952), в которой об- обосновываются его методы, содержит ошибки (например, F в основном рас- распределении B) не может быть центральным F, как это принято автором).
5 3.7. S- И Г-МЕТОДОВ. ДРУГИЕ МЕТОДЫ 99 не табулирована, но для k>2 и а ^ 0,05 было показано*), что она практически мало отличается от соответствующего верхнего а-предела <7a;*.v стьюдентизированного размаха (§ 2.2). Мы будем пользоваться тем, что увеличенный размах выборки х\, ..., хп является обычным размахом множества из п + 1 случайных величин Хо, хъ ..., хп, где «случайная вели- величина» jco полагается тождественно равной нулю. В предположениях C.6.1) могут потребоваться совместные оценки для всех линейных функций \ty= L cfii\ < которые не обязательно являются сравнениями, как обычно предполага- предполагалось выше. Тогда теорема 2 (§ 3.6), которая обосновывала Г-метод, остается справедливой**), если qa;k,v заменить на k Ctv и тЕ'с'' на ^Ч" где ^* 0ПРеДеляется как наибольшая из двух величин: суммы положительных {с,} и суммы отрица- отрицательных {с,}, взятой с обратным знаком. Для доказательства используем следующий прием. Определим §0 — 9о = 0 и запи- запишем ф формально в виде сравнения параметров {80,61,...,6*}, к к. т. е. ф = Yj с fit, гДе со = — И ci • Положим т = Bt — Qi. Мы ви- г=о (-1 дим, что множество {но, Мь..., и*, a2s2} имеет такое же рас- распределение, как определенное выше множество (х0, д:,, ..., xk, sty с ох = аа. Отсюда следует, что вероятность неравенства max щ — min щ^Т'э, C.7.1) (=0 k (-0 * где T' = aq'a. k v, равна 1 — а. Продолжая дальнейшие рассуж- рассуждения так же, как в доказательстве теоремы 1 (§ 3.6), мы най- найдем, что C.7.1) эквивалентно неравенствам | щ — Ыс|^7'/5при i, Г = 0, 1, ..., k. Теорему 2 теперь легко получить, если ис- использовать лемму к теореме 2 (с заменой {щ ий) на {ио,..., Нй}) и равенство = E ^ - Е ct + \ Eci+ E с,I Входящие в это равенство множества Р и N были определены в доказательстве леммы. Легко видеть, что это равенство яв- •) Тьюки (Tukey, 1953, гл. 14). *•) Этот результат и его метод доказательства, заключающийся в том, что лииейиая функция от k переменных рассматривается как сравнение k Переменных и нуля, были предложены Тьюки (Tukey, 1953, гл. 10). А*
100 ГЛ. 3. ОДНОФАКТОРНЫИ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ ляется удвоенной функцией g^, определенной выше. Прежнее доказательство теоремы 3 для зависимых {0i §*} может быть использовано, чтобы установить следующее утверждение: если предположения C.6.5) выполнены, то множество линей- линейных функций \$ = Yj cfli \ удовлетворяет теореме 3 с заменой ft в неравенстве C.6.3) Т = aqa. kv на Г = aq'a. ft v и у ? | с{ | на gr Так как при k > 2 и а ^ 0,05 величина q'a. k< v практически равна qa,k,\, то в этом случае мы используем qa-,k,x вместо q'a: k, v в аналогах теорем 2 и 3; таким образом, с величиной qa;b,v мы получим доверительные интервалы и для линейных функций, не являющихся сравнениями. В некоторых случаях мы можем быть более заинтересован- заинтересованными в получении совместных интервальных оценок для истин- истинных средних {01,...,б*}, чем для сравнений или других линей- линейных функций; такой случай может быть, если, например, {0;} являются истинными ординатами в регрессионной задаче и мы не хотим делать какие-либо предположения о форме регрессии, или если {0;} являются средними ячеек в дисперсионном ана- анализе и мы, главным образом, заинтересованы непосредственно в этих средних. Пусть оценки {0<} удовлетворяют предположе- предположениям C.6.1). Положим и = §(—0;. Дальше, рассуждая так же, как в доказательстве теоремы 1 (§ 3.6), можно установить сле- следующее утверждение: вероятность того, что одновременно все {0(} удовлетворяют неравенствам 0\ — ama; k, v s < 9( < 6( + ата; ft, vS, где ma; к, v — верхний ос-предел стьюдентизированного макси- максимума модулей, равна 1 — а. Использование описанного здесь метода для этих специальных целей дает более узкие интер- интервалы для параметров {0,}, чем интервалы, полученные обобще- обобщением Г-метода или S-методом с q = k. Если эксперимент был специально предназначен для иссле- исследования некоторых допускающих оценку функций {фь ф2,... ....фг}, то принцип задачи 2.5 может быть применен к полу- получению совместных утверждений относительно {я^} следующим образом *): прежде чем обрабатывать данные, нужно кроме *) Чем больше зависимость оценок {ifi tyi}, тем меньший эффект дает этот метод. Принципиально существует эффективный метод, как, напри- например, обсуждаемый в связи с C.7.2), но необходимые постоянные, определяю- определяющие длины интервалов, обычно очень трудно вычисляются. Точно так же принципиально существует более эффективный метод, чем составленный из t- и S-методов (см. следующий абзац).
§ 3.7. S- И Г-МЕТОДОВ. ДРУГИЕ МЕТОДЫ 101 функций {%} рассмотреть множество соответствующих {а;}, сумма которых имеет порядок величины а, принимаемой за допустимую вероятность ошибки; для каждой г|)« строится дове- доверительный интервал при помощи /-распределения с вероят- вероятностью попадания вне интервала, равной а<; таким образом будет получен симметричный доверительный интервал вида B.3.7) с заменой ф, ф, а на грг, г|)„ а<. Тогда вероятность того, что все интервалы одновременно накроют истинные значения, и не меньше, чем 1 — ? а{. 5-метод хорошо приспособлен к обработке данных, которые противоречат ожидавшемуся результату эксперимента. В этом случае требуется сделать выводы относительно допускающих оценку функций, которые были определены по виду данных после эксперимента и которые противопоставляются сравни- сравнительно небольшому множеству определенных до эксперимента специальных функций, для изучения которых проводился дан- данный эксперимент. Метод, позволяющий считать выводы о но- новых функциях обоснованными по S-методу и обеспечивающий в то же время узость интервалов для специальных функций, состоит в размещении заранее выбранной вероятности ошибки а по компонентам вектора {ai,...,a*}, соответствующим ошиб- ошибкам /-интервалов для специальных функций, и (обычно наи- большей) компоненте ао для 5-метода, так что ^ а? = а. Ве- 1=0 роятность того, что все интервалы (t- и 5-интервалы) одновре- одновременно являются накрывающими, не меньше, чем 1—а. По этим методам требуется правильно использовать не- несколько совместных интервалов, построенных по /, для кото- которого в общих /-таблицах обычно не приводятся нужные верх- верхние a-пределы. Очень хорошее приближение*) для верхнего а-предела /v дает формула где через za обозначен верхний a-предел нормального распре- распределения с параметрами @,1). Формула пригодна для любого а, представляющего практический интерес. До некоторой степени другой тип задачи множественного сравнения возникает в экспериментах, целью которых является, например, выбор наилучшего способа из множества способов обработки. Простейшим случаем является случай, в котором мы можем получить N независимых наблюдений множества {9,} истинных средних, причем предполагается, что дисперсии *) См. Пейзер (Peiser, 1943).
102 ГЛ. 3. ОДНОФАКТОРНЫИ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ известны и равны. Мы хотим найти наибольшее 0,-. Это трудно сделать, если наибольшее 0,- мало отличается от следующего по величине, но тогда не будет большого вреда, если это сле- следующее будет ошибочно принято за наибольшее. Задачу можно сформулировать статистически: мы хотим, чтобы вероятность правильного выбора наибольшего 0,- была не меньше опреде- определенной величины Р, если наибольшее отличается от следую- следующего по величине не меньше определенной величины б. Суще- Существуют таблицы*), в которых даны значения N, требуемые для заданных Я и б. Такой вид решения задачи может быть поле- полезен в сельскохозяйственных испытаниях или в других случаях, когда трудно осуществить последовательные эксперименты. Если наблюдения можно получать последовательно, то дей- действительно удовлетворительным методом является прекращение получения наблюдений для данного 0,-, как только станет до- достаточно очевидным, что это 0,- не наибольшее из {0,} и про- продолжение измерений для остальных 9,-. Такой метод был пред- предложен**), но все еще не разработан детально. Если дисперсия измерений неизвестна, то последовательные методы тоже по- полезны. Однако методы, развиваемые до сих пор, не заслужи- заслуживают упоминания, так как по ним измерения всех {0*} продол- жаются до тех пор, пока не будет получено решение. Интерес сующийся читатель отсылается к работе Бекхофера (Bechhofer, 1958), которая содержит ссылки на предыдущие работы о за- задачах такого типа. Более общий подход к методам множественного сравнения Овладение техникой конца этого параграфа (если этот раз- раздел захочет понять читатель, математически менее подготов- подготовленный, то он должен будет сначала прочитать сноску***), не является необходимым для понимания остальных частей этой книги. Методы множественного сравнения, которые мы рас- рассмотрели, могут быть включены, за исключением методов вы- выбора наибольшего среднего, в следующую более общую схему. Предположим, что выполняются О-предположения § 2.1. Пусть 2Л является множеством функций, допускающих оценку, кото- которые представляют интерес в нашей задаче и к которым мы хо- хотим применить метод множественного сравнения. Множество ЗЙ *) Бекхофер (Bechhofer, 1954). **) Стейн (Stein, 1948). ***) Пересечением двух или более множеств назвается множество, точки которого принадлежат всем рассматриваемым множествам. Множество на- называется выпуклым, если отрезок прямой, соединяющий любые две точки множества, целиком принадлежит множеству.
§ 3.7. S- И Г-МЕТОДОВ. ДРУГИЕ МЕТОДЫ ЮЗ может быть конечным, как, например, множество -^ k(k—1) разностей в первой формулировке Г-метода (теорема 1, § 3.6), или бесконечным, как пространство L в 5-методе (§ 3.5). Мно- Множество ЗЯ порождает некоторое пространство допускающих оценку функций; обозначим это пространство через Ь{Ш), а его размерность — через q; пусть {фь • • • > Ф?}— базис LCJl). Пред- Предположим теперь, что мы имеем метод множественного сравне- сравнения, по которому для каждого т|з е 2Я определяется интервал C.7.2) где hy — постоянная, зависящая от коэффициентов {с,} в f , 1 - Ь - ¦ . г()= 2j c^i, но не от неизвестных {tyi}; 'Ф= 2j сЛ. гДе "ф и -ф; являются .инк-оценками соответственно if и я|з,-; s2 — средний квадрат ошибок. Пусть также вероятность того, что неравенства C.7.2) верны одновременно для всех г|з е Ш, равна 1 — а. Неравенство C.7.2), которое может быть записано в виде q Е Ct{$i — $ геометрически имеет тот смысл, что точка (фь...,^) нахо- находится в полосе ^-мерного пространства, заключенной между двумя плоскостями, перпендикулярными к вектору с = (с\,... ...,cq)', а точка (фь..., ф?) расположена на одинаковом рас- расстоянии от этих плоскостей. Пересечение этих полос для if е ЗЯ определяет некоторое выпуклое множество ^Р и C.2.7) выпол- выполняется для всех т|з е Ш тогда и только тогда, когда точка (ifi,..., я|з?) входит в <ё>. Итак, можно подойти к задаче мно- множественного сравнения, отправляясь от выпуклого доверитель- доверительного множества Ч? вместо множества ЗЯ функций, допускающих оценку. Из всякого выпуклого доверительного множества ^ можно тогда построить одновременные доверительные интер- интервалы для бесконечного множества всех допускающих оценку функций в пространстве LBJl). Это можно сделать в известном смысле аналогично нашему построению 5-метода, которое мы начали с утверждения, состоящего в том, что точка (ifi,... ,т|з<,) входит в & тогда и только тогда, когда она лежит между лю- любой парой параллельных опорных плоскостей множества <&. Этот подход может быть использован для определения и изу- изучения оптимальных свойств методов множественного сравнения. В 5-методе 'ё' является доверительным эллипсоидом из § 2.3; в Г-методе, где q = k—1, ^ — многогранник. Его -^k(k— 1) пар параллельных граней удовлетворяют уравне-
[04 ГЛ. 3. ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ ниям, полученным из |Д/— A/|=7"s (/=1 -^k(k— l) заменой Д/ и Д/ на их выражения через {\f;} и {гр*} соответ- соответственно. Здесь {Д*} являются уk(k — 1) разностями, а {Д,}— их лшк-оценками. Предположим, что мы за базис {ipi,..., \р<,} выбираем функции {Si,...,^} канонической формы гипотезы Я, которая заключается в том, что ip = 0 для всех ip e L (Ш1). Обо- Обозначим через. ^(фь--•,%;¦$) выпуклый многогранник Г-ме- тода. Тогда соответствующим выпуклым множеством W 5-ме- тода, связанным с гипотезой Я, будет сфера <&s(V?u--->Vpq', s). Для <gT (ifr, ..., 1р„; s) и «?s (фь..., гр,; s) точка (fi yq) яв- является центром симметрии, a s — скалярным коэффициентом. В § 2.10 мы отметили, что ^-критерий для проверки гипо- гипотезы Н является оптимальным, если при любых фиксированных а и с > 0 имеются основания одинаково часто отвергать Н не- независимо от того, в какую часть сферы ^(О,. ..,0,с) попала истинная точка параметров (ifi,...,^)- В тех случаях, когда главный интерес представляют yfe(fe— 1) разностей, причем никакой из них не отдается предпочтения, это может служить основанием того, чтобы гипотеза Н при любых а и с > 0 от- отбрасывалась одинаково часто, если истинная точка параметров (ifi,... ,^q) расположена где угодно на многограннике Фт@,. ¦• ,0, с). Интуитивно ясно, что в этом случае критерий стьюдентизированиого размаха для проверки Я, соединенной с Г-методом, лучше, чем /'-критерий, соединенный с 5-методом, так как в соответствующих методах множественного сравнения 7-метод дает для разностей более узкие интервалы, чем 5-метод. § 8.8. Сравнение дисперсий Q-предположеиия дисперсионного анализа, рассматривае- рассматриваемые в этой книге, всегда включают предположение о равенстве дисперсий виутри «ячейки», однако по причинам, которые вы- выяснятся в гл. 10, отсюда не следует, что до применения диспер- дисперсионного анализа должна быть проведена предварительная проверка этого предположения. Иногда тем не менее имеет прямой смысл сравнить дисперсии нескольких популяций. Эти популяции могут быть «ячейками» в однофакторном или мно- многофакторном анализе. Стандартный критерий *) однородности дисперсий чрезвычайно чувствителен к нарушению нормаль- *) Критерий Бартлетта (Bartlett, I937) является видоизменением кри- критерия отношения наибольшего правдоподобия, предложенного Нейманом и Пирсоном (Neuman & Pearson, 1931); вместе с таблицами он описан Пирсо- Пирсоном и Хартли (Pearson & Hartley, 1954, стр. 57).
§ 3.8. СРАВНЕНИЕ ДИСПЕРСИИ Ю5 ности (гл. 10). Мы рассмотрим приближенный критерий, осно- основанный на анализе дисперсии логарифмов выборочных диспер- дисперсий*). Тогда задача сводится к сравнению средних, а диспер- дисперсионный анализ, как отмечено в гл. 10, довольно нечувствителен к форме распределений выборочных средних. Предположим, что через s2 обозначена выборочная диспер- дисперсия случайной выборки объема п из популяции с дисперсией а2; таким образом, если {х\,Х2,... ,х„} является выборкой, то ° n-\ Тогда M (s2) = а2, из леммы в конце § 7.6 можно получить, что C.8.1) где 72 — мера эксцесса (эта мера рассматривается в абзацах 2, 3, 4 § 10.1), равная Y2 = a-V4-3; C.8.2) щ является четвертым центральным моментом популяции **) и, следовательно, для нормальной популяции 72 = 0. Пусть ***) у = In s2. Обычные приближенные формулы для среднего и дисперсии функции от случайной величины (читатель, незнакомый с ними, должен прочитать сноску****)) дают MQ/)~lno2, Dr/~T|T + -?-. Рассмотрим следующий случай. Пусть из каждой популя- популяции, дисперсии которых мы хотим сравнивать, производится выборка наблюдений объема два или больше. Пусть, кроме того, популяции распадаются на / множеств, для которых у нас есть основания предположить, что популяции из одного и того же множества имеют равные дисперсии. Итак, если имеется /; *) Я использую разговор с д-ром Боксом и проф. Тьюки. **) Мы допускаем, что популяция бесконечна, а щ конечен. ***) Удобство этого преобразования для приложения диепереиониого анализа к сравнению дисперсий была указана Бартлеттом и Кендаллом (Bartlett & P. Q. Kendall, 1946); однако оии предлагали применять его только в случае, когда наблюдения распределены нормально. ****)Если r/ = f(z), то \iy~f(\iz) и 4~[Г(цг)гег]2, гдецг = М(г), с2 = D (г) и т. д. Эти формулы получены путем аппроксимации у линейной функцией г в окрестности г = |хг.
106 ГЛ. 3. ОДНОФАКТОРНЫИ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ популяций в t-м множестве и s</ является выборочной диспер- дисперсией /-й популяции из t-ro множества, то при Q-предположе- ниях мы заключаем, что Мы хотим проверить гипотезу Я: af = a22= ... =о». Пусть y{[ — lns2t[. Тогда при Q М(г/г/)~т1,, где ti^ = Ino^ и nii l nif Здесь щ является объемом выборки, по которой вычислялась s2.,, а y2 и — мера эксцесса C.8.2) для соответствующей попу- популяции. Добавим теперь к Q предположение, что мера эксцесса Y2, if имеет одно и то же значение уг для всех популяций. Гипотеза Я эквивалентна равенствам r|i = т^г = • • • = Т- Мы разберем случай, когда не каждое из / множеств состоит из единственной популяции, т. е. когда не все /,• = 1. Число ст. св. знаменателя критерия, аппроксимирующего /^-критерий, равно X Wi — 1); случай, когда все /,• = 1, или J] (/г — 1) очень i i мала, рассматривается ниже. Если все объемы выборок {п(/} одинаковы, то (в пределах точности принятого выше прибли- приближения) все {yij) имеют одинаковые дисперсии, и, таким обра- образом, имеем случай § 3.1, за исключением того, что {уц} не рас- распределены нормально*). Статистика критерия равна Ем»*.-*)8 где При Н эта статистика (приближенно) имеет /^-распределение с / — 1 и уе степенями свободы. Если объемы выборок {п*/} не все одинаковы, то число степеней свободы s\t равно *) Однако можно ожидать, что их распределение ближе к нормальному, чем распределение {s^}.
§ 3.8. СРАВНЕНИЕ ДИСПЕРСИЙ 107 Тогда D(yij) приблизительно обратно пропорциональна v*/, так как D Ы ~ -*- + -*- = -i- [2 + —^-1, C.8.3) V V +1 V L 1 + V/ J V</ V,y +1 V,, L а величина в квадратных скобках не сильно изменяется с из- изменением v;/. Если эту величину обозначить через 0, то Тогда можно применять дисперсионный анализ, основанный на взвешенной сумме квадратов*) (§ 1.5) с весами {v,/}, свя- связанными с {г/гу}. Минимум взвешенной SS Е2 при Q равен ? "У11 где fj,- = — и Vi = 2lv*/> тогда как при и = Н П & минимум где Если мы вычислим SS числителя как Э'ш— 9"а, то найдем, что F-статистика для проверки Н равна а ее степенями свободы являются /—1 я\е = Z,(Ji~ О- ДЛЯ i численного вычисления C.8.4) запишем в виде Ve *) Критерий и его мощность можно также легко получить путем пере- перехода к величинам \uit = ^^цУц} и приложением к ним теории равных дис- дисперсий.
108 ГЛ. 3. ОДНОФАКТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ Для вычисления мощности этого F-критерия заметим, что ста- статистика C.8.4) при Q имеет приближенно нецентральное F-pac- пределение с /—1, ve ст. св. и параметром нецентральности i i Дисперсия оценки fjj величины i\t = In a2{ равна 0/v,-, а оцен- оценкой 9 является 55 знаменателя, т. е. 1 ' Величина ve0/9 приближенно распределена у%е. S-метод мно- множественного сравнения может быть применен к {т|,}; но из по- полученных таким образом выводов о {ai} представляют интерес только те, которые получаются из сравнений {т|«}, являющихся разностями, а это приводит к утверждениям вида A^;T)f — Т)у ^; ?5, (О.б.О) полученные неравенства эквивалентны eA^aya2j^.eB. Г-метод является, конечно, более эффективным для утверждений вида C.8.5), когда он применим; однако им можно пользоваться только в случае, когда все {vj равны. Приведенный выше метод для проверки Н неприменим, если все Л-= 1, и не чувствителен, если очень мала /^(J, — 1), яв- i ляющаяся числом ст. св. знаменателя /^-статистики. В этом случае мы предложим *) разбить достаточное количество выбо- выборок на две (или больше) меньшие выборки с тем, чтобы изло- изложенный метод можно было применять с разумным числом ст. св. Это разбиение возможно только для выборок объема четыре или больше; разбиение должно быть сделано с помощью таблицы случайных чисел. Так, например, мы можем проверить равенство десяти дисперсий, каждая из которых оценивалась по выборке объема пять, если разобьем каждую выборку на выборку объема два **) и выборку объема три, а затем приме- применим полученные раньше методы с /=10, /i =/г = ... =/ю> nij = 2 или 3, пп + rti2 = 5. *) Если Y2 в C.8.3) известно, то несмещенные оценки {уц} параметров {т|//} будут иметь известные дисперсии, и тогда для проверки равенства {т)/,} можно построить критерий хг. Заманчиво попытаться оценить уг по каждой выборке, которые обычно малы, выбрать оценку и заменить этой оценкой уг, входящее в х -критерий. Хлопоты, связанные с этим, заключаются в трудно- трудности выбора оценки уг по малым выборкам. **) Некоторое эмпирическое основание, которое было получено Боксом (Box, 1953, стр. 323) при помощи экспериментальной выборки из равномер- равномерного распределения, показывает, что, предложенный критерий ведет себя удо- удовлетворительно с rtii порядка 2.
ЗАДАЧИ 109 ЗАДАЧИ 3.1. В таблице А приведены веса (в фунтах) поросят, родившихся в вось- восьми опоросах. Таблица А*) 1 2,0 2,8 3,3 3,2 4,4 3,6 1,9 3,3 2,8 1,1 2 3,5 2,8 3,2 3,5 2,3 2,4 2,0 1,6 3 3,3 3,6 2,6 3,1 3,2 3,3 2,9 3,4 3,2 3,2 4 3,2 3,3 3,2 2,9 3,3 2,5 2,6 2,8 5 2,6 2,6 2,9 2,0 2,0 2,1 6 3,1 2,9 3,1 2,5 7 2,6 2,2 2,2 2,5 1.2 1,2 8 2,5 2,4 3,0 1,5 *) Заимствовано нз Statistical Methods, Snedecor, Iowa State College Press Amer., 5-е издание A956), стр. 269, таблица 10.16.1. а) Построить таблицу дисперсионного анализа. Проверить с уровнем значимости 0,10 гипотезу отсутствия различия между средними весами в восьми приплодах. б) Предположить, что опоросы 1, 3, 4 получены от одной свиноматки, а другие пять от другой. Значимо лн различие между средними весами в этих двух группах? в) Значимо ли различие между средними весами больших опоросов (№№ 1, 2, 3, 4) н меньших (№ 5, 6, 7, 8)? Указание. При выборе метода (^-критерий или S-метод) для решения вопросов б) и в) предположить, что эксперимент планировался для исследо- исследования различия производителей, и вопрос в) возник в результате осмотра полученных данных. См. обсуждение в § 3.7. 3.2. При сравнении нескольких экспериментальных образцов с контроль- контрольными может оказаться, что предпочтительнее изготовить контрольных образ- образцов больше, чем экспериментальных, так как они входят в каждую исследуе- исследуемую разность. Это подтверждается следующей моделью. Пусть каждый экс- экспериментальный образец изготовлен t раз, а контрольный — с раз. Пусть уц является j-u наблюдением t-ro экспериментального образца (t = 1, .... т; / = 1, ..., t). Предположим, что уц = xi + вц, где ец — независимые случай- случайные величины с нулевым средним и дисперсиями, равными аг. Тогда лкк-оценкой разности 9i=n — т0 является 8/= {//. —{/о* (? = 1 т). Доказать, что при фиксированном общем числе наблюдений, т.е. с-f-tn-t = = const, DF/) минимальна, если сЦ = л[т. 3.3. Результаты опыта по сравнению вкусовых качеств четырех сортов продуктов приведены в таблице Б. Опыт проводится следующим образом. Из четырех сортов было образовано 12 упорядоченных пар (I, /). По каждой паре для пробы было дано 12 пар сортов продуктов. Требовалось сделать одну из семи оценок: я предпочитаю I по сравнению с / сильно (оценка 3), умеренно (оценка 2), слабо (оценка 1), нет различия (оценка 0), я предпо- предпочитаю / по сравнению с I слабо (оценка —1) и т. д. В таблице Б некоторые упорядоченные пары получили очень высокие или очень низкие оценки. По-
НО ГЛ. 3. ОДНОФАК.ТОРНЫЙ АНАЛИЗ. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ Пара B, A. C, A, D, B. C, B, D, C, D, «'. 1) 2) 1) 3) 1) 4) t Q 2 4) о о Та блица Количество оценок -3 -2 -1 0 6 2 3 1 2 5 3 4 4 4 2 2 1 1 3 1 3 3 1 2 1 3 2 2 1 1 Б*) , равных 1 2 3 3 2 4 1 1 2 4 1 4 1 2 5 5 2 1 1 1 5 4 1 4 4 2 4 4 1 7 1 3 1 Суммарная оценка 19 -22 10 2 27 -13 — 17 22 14 -2 27 -8 *) Заимствовано нз An analysis of variance for paired comparisons Scheffe, J, Amer. Stat. Assos., т. 47 A952), стр. 391. является опасность, что неоднородность дисперсий является результатом того, что оценки, появляющиеся на одном из концов шкалы, играют домини- доминирующую роль в образовании суммарной оценки. Используя метод § 3.8 для сравнения выборочных дисперсий оценок для четырех пар, имеющих наибольшую по абсолютной величине суммарную оценку, с выборочными дисперсиями оставшихся восьми пар (здесь имеется только две группы выборочных дисперсий); можно воспользоваться односто- односторонним критерием). 3.4. Результат *) этой задачи применяется к интерпретации двух методов множественного сравнения. Для т функций, зависящих от выбранных зара- заранее параметров, вычисляются доверительные интервалы двумя способами: 1) с общим доверительным коэффициентом 1 —а; 2) с индивидуальными доверительными коэффициентами 1 — т~1а. На- Например, при вычислении интервалов для т= -=-k(k—\) разностей {9i, ... ..., 9*} первым способом можно использовать Г-метод с общим коэффициен- коэффициентом 1—а, а во втором способе — т интервалов, построенных при помощи /-распределения с индивидуальными коэффициентами 1 —т~1а. Рассматри- Рассматривается последовательность N независимых экспериментов с пц утверждения- утверждениями в t-м эксперименте, полученными первым и вторым способами. Рассма- Рассматриваются также два способа оценки: Si = N~l X (число экспериментов с одним или более ошибочными утверждениями) и 5г = N~l X (общее число ошибочных утверждений); таким образом, большие значения оценки соот- соответствуют худшему результату и, следовательно, S2 строже, чем Si, так как Sz ^ Si, если обе они были получены одним и тем же методом. Показать, что для первого способа оценка Si сходится по вероятности к а; аналогич- аналогичное утверждение установить для второго способа и Sz. Указание. Для второго способа вычислить M(S2)=a, D(Si)< Ы-*а и применить результат задачи IV. За). *) Этот результат мне сообщил проф. Тьюки.
ЗАДАЧИ И) 3.6. Для k, v, а, так же как в таблице 3.7.1, сравнить квадраты длин совместных доверительных интервалов, полученных для 15 разностей {8г} способами A) и B) задачи 3.4. 3.6. Рассмотреть следующие два метода множественного сравнения с об- общим доверительным коэффициентом > 0,90: I) S-метод с а = 0,10; i) построение доверительных интервалов при помощи S- н Г-методов (каждый с а = 0,05) и использование более короткого нз этих двух ин- интервалов. Составить таблицу, аналогичную 3.7.1, дли относительной эффективности этих двух методов. Обозначить через R отношение квадрата длины интерва- интервала, полученного по методу A), к квадрату длины интервала, полученному по методу B), н проверить, что для первой строки 1/R = 0,88, для второй R = 0,85, для всех остальных R = 0,83,
Глава 4 ПОЛНЫЙ ДВУХ-, ТРЕХ-И МНОГОФАКТОРНЫИ АНАЛИЗ. РАЗБИЕНИЕ СУММЫ КВАДРАТОВ § 4.1. Двухфакторный анализ. Взаимодействие В этой главе мы применяем общую теорию гл. 1 и 2 к про- простейшим планам эксперимента для исследования эффектов двух или более факторов. Эти простейшие планы мы будем называть полным анализом. Важнейшее понятие взаимодей- взаимодействия*), которое упоминалось раньше, в этой главе рассматри- рассматривается несколько подробнее. В конце главы будет рассмотрена общая задача разбиения суммы квадратов. Хотя эта задача могла быть разобрана в гл. 1 и 2, нам кажется, что с педаго- педагогической точки зрения ее выгоднее рассмотреть после интерес- интересных примеров, которые нельзя было привести раньше этой главы. Предположим, что два фактора А и В изменяются в экспе- эксперименте или в рассматриваемой совокупности условий, напри- например в эксперименте типа, описанного в § 1.1, где различные растения (Л) были посажены на различных участках (В) с оди- одинаковым химическим составом смесей, или, например в астро- астрономических исследованиях нескольких видов звезд (Л), наблю- наблюдаемых в разное время (В). Если в первом примере рассмат- рассматривается / растений и / местностей, то эти / и / называют соответственно / уровнями фактора Ли/ уровнями фактора В. Уровни могут описывать качественную классификацию, как, на- например, виды растений, или же количественную, как, например, отдаленность звезды. В таких двухфакторных экспериментах (или неэксперимен- неэкспериментальных исследованиях) наблюдения могут быть расположены по этим двум факторам в виде таблицы с двумя входами (двухфакторной таблицы), I строк которой соответствуют уров- уровням фактора А, а / столбцов — уровням В. В «(/,/)-ячейку», *) Понятием взаимодействия в многофакторном эксперименте, а также другим основным понятиям ортогонального планирования и выявлению зна- значения рандомизации мы обязаны Р. А. Фишеру (Fisher, 1925, 1935).
5 4.1. ДВУХФАКТОРНЫЙ АНАЛИЗ. ВЗАИМОДЕЙСТВИЕ ИЗ расположенную на пересечении i-й строки и /-го столбца, запи- записываются наблюдения, полученные при одновременном иссле- исследовании факторов А я В соответственно в /-м и /-м уровнях. Если в каждой ячейке есть по крайней мере одно наблюдение, то возможен полный анализ. Некоторые случаи применения неполного анализа будут рассмотрены в следующей главе. Если мы допустим, что наблюдения в (г,/)-ячейке являются случай- случайной выборкой из популяции, соответствующей этой ячейке, то можно говорить о среднем и дисперсии этой популяции как об «истинном» среднем ячейки и «истинной» дисперсии ячейки. Все понятия этого параграфа будут определены в терминах «истинных» средних ячейки, которые также называют «истин- «истинными» результатами в рассматриваемой совокупности условий. Мы будем обозначать «истинное» средиее (г,/)-ячейки через у\ц\ если нет дополнительных предположений относительно {г\ц}, то .имк-оценкой, как будет показано позднее, является среднее наблюдение в (г,/)-Ячейке. Это среднее называют наблюденным средним ячейки или наблюденным результатом. Для краткости мы будем опускать слово «истинный», но везде в этом пара- параграфе будут иметься в виду «истинные» значения. Предположим, что веса {w/} выбраны в соответствии с уров- уровнями фактора В. Например, если в / местностях Калифорнии / сортов хлопка проверяется в эксперименте, на основании ко- которого для всей Калифорнии будет отобран единственный сорт, то естественно взвесить / местностей с весами {w/}, пропор- пропорциональными площадям хлопка в областях, типичными пред- представителями которых являются эти / местностей. Средним i-го уровня А называют взвешенное среднее от средних ячейки {т],-,} ч'-й строки, причем веса {wj} зависят от столбцов и не зависят от строк; таким образом, это среднее является средним резуль- результатом г'-го уровня А, осредненным по уровням В. Предпола- Предполагается, что веса {w,} неотрицательны и не все равны нулю, поэтому, не нарушая общности, можно допустить, что zlwj= 1; таким образом, {w/} рассматриваются как произвольные, но фиксированные числа. Теперь среднее i-ro уровня А запишется в виде это средиее называют также средним i-й строки. Аналогично если {vi) является произвольным множеством чисел со всеми »(>0и ?v{ = 1, то среднее j-го уровня В, или среднее j-eo i столбца, определяется формулой
114 ГЛ. 4. ПОЛНЫЙ 2-. S- И МНОГОФАКТОРНЫИ АНАЛИЗ Генеральным средним будем называть взвешенное среднее средних столбца {?/} с весами {wj}, или взвешенное среднее средних строки {At} с весами {vi}. Обозначая генеральное сред- среднее через (х, получим ц = Е w,Bj = Е М« = Е Е w W4</. Главный эффект i-го уровня А определяется как превышение среднего i-ro уровня над генеральным средним ai = Ai — ц. Отметим, что {a,i} удовлетворяют условию =0. D.1.1) Аналогично главный эффект /-го уровня В определяется как Р, = В, — ц, откуда Е^Р/ = О. D.1.2) Главные эффекты а,- и ру называют также эффектом i-й строки и эффектом j-го столбца. Мы придаем особое значение тому, что главные эффекты одного фактора являются средними по уровням других факторов и, таким образом, обычно зависят от того, каковы уровни других факторов, присутствующих в экс- эксперименте (когда используется модель с фиксированными фак- факторами, рассматриваемая в первой части книги). Если мы будем определять главный эффект i-ro уровня А специально по отношению к /-му уровню В, то естественно определить его как превышение т),у над средним /-го столбца, т. е. %/-?/• D.1.3) Главный эффект i-ro уровня А, определенный выше, является фактически взвешенным средним от D.1.3) по столбцам: at =¦ At — ц*= Е wi (Л»/ — В/)- Превышение D.1.3) над своим средним называется взаимодействием i-го уровня А с j-м уров- уровнем В Y.7 = Л,/ — В; — Л, + И- D.1.4) Мы могли бы прийти к тому же результату D.1.4), если бы начали с главного эффекта fro уровня В специально по отно- отношению к i-му уровню А; взаимодействие симметрично, поэтому мы можем назвать ylt взаимодействием i-ro уровня А и /-го уровня В. Отметим, что // взаимодействий удовлетворяют
§4.1. ДВУХФАКТОРНЫЙ АНАЛИЗ. ВЗАИМОДЕЙСТВИЕ 115 условиям Л t>M/=o при всех '>' Z-, иУ/Yt/ = 0 при всех i. i Подставляя В/ = ц + Р/ и Л,- = ц + а^ в D.1.4), получим т1« = Ц + а* + Р/ + Т</. D.1.6) Заметим, что если множество постоянных {ц, а„ Р/,y»/} удовле- удовлетворяет D.1.6), то этого еще недостаточно, чтобы они были ге- генеральным средним, главными эффектами и взаимодействиями. Однако условие D.1.6), дополнительные условия D.1.1), D.1.2) и D.1.5) уже однозначно определяют по {л,,} генеральное сред- среднее, главные эффекты и взаимодействия. Для доказательства предположим, что г\ц = р'+ a'i-{• Р/ + у'а- Вычисляя ц, Ait В/ и уц по их определениям через {п.,-/} и допуская, что перво- первоначальные величины удовлетворяют дополнительным условиям, мы получим (х = ja', а,- = а$, Ру = Р; и уи = у'ц. Теорема 1. Если при некоторой системе весов {vi} и {wt} все взаимодействия {у*/} равны нулю, то все они равны нулю при любой другой системе весов. В этом случае каждое срав- сравнение главных эффектов {ai} или {рЛ имеет значение, не зави- зависящее от системы весов {vi} и {wj}\ такое же утверждение верно для сравнений средних {At} и {В,} уровней А и В соот- соответственно. Доказательство. При некоторой частной системе ве- весов {vty и {ttfy определенные выше величины Ait Bu jx, a;, P/, / обозначим через Л?, В/, jx°, a?, P/, у?/- Предположим, что все ?; = 0. Тогда из D.1.6) D.1.7) Пусть теперь {vi} и {а>/}—любая другая система весов, так Wo Vi ^ О, X vi= U Wis^O, У, Wj= 1.Тогда, подставляя D.1.7) 18 А{ = 2j Wjr\ij, получим >l< = |iO + a°+I>/'Pf D.1.8) ¦ аналогично В, = j Подставляя эти три выражения в D.1.7) и D.1.4), мы най- ¦W*, что уц = 0. Это доказывает первую часть теоремы.
П6 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ Запишем теперь D.1.8) в виде At = a°. + D, где посте D зависит от системы весов и не зависит от L Пусть i|) = является произвольным сравнением {Л,}, так что ? Тогда гр = ? сг (а? + D) = Z с«а? и, следовательно, не з от {у,} и {ш,}. Если 1|з = ?сга; является сравнением {а*}, определению, а; = At — ц, где ц зависит от вес i|j = X С; (Л,- — ц) = 2 С;Лг. Независимость от весов поел г i выражения уже была доказана. Аналогично мы можем j вить независимость от весов сравнений {В,} и {Р/}. В оставшейся части книги, за исключением § 4.4, яы использовать равные веса {vi} и {о»/} для определенш рального среднего, главных эффектов и взаимодействий, образом, Ц = Л«*. ai = r\i* — Л*». Р/ = л*/ — Л**. Y«; = Щ — П<* — Л •/ + Л**; а* = 0; Р* ^ 0; Y'* == 0 ПРИ всех '"'» ( Y»/ = 0 при рсех /. Мы говорим о случае отсутствия взаимодействий, ее. уц = 0. Из доказанной выше теоремы следует, что при другой системе весов мы тоже получим случай отсутстви! модействий. Из этой же теоремы следует, что значени сравнений главных эффектов {а*} и {J3/} не изменять даже вычислять {а,} и {Р/} с различными весами. ( отсутствия взаимодействий называют также случаем ас ности эффектов. Формально его можно определить как существования постоянных {а<}, \bj) таких, что х\ц ¦ -\-bj-\- с при всех (/,/); тогда так же, как в доказат* приведенной выше теоремы, отсюда легко следует, ч V/ = °- Интерпретация дисперсионного анализа является оче! стой, когда мы решаем (на основании статистичеси других соображений), что взаимодействия отсутствуют. нашими заключениями о главных эффектах (и, возможн! неральном среднем) обычно достаточно суммировать ве< лиз. Так, например, если мы сравниваем первую разновр растений со второй (в примере с растениями и учас и заключаем, что сравнение (главный эффект первой ра; ности) — (главный эффект второй разновидности) положи то из этого вытекает, что первая разновидность лучше R ппнпм и тпм жр (чинрлр лпа nrfir ирртнпгтрй' нп
§ 4.1. ДВУХФАКТОРНЫЙ АНАЛИЗ. ВЗАИМОДЕЙСТВИЕ Ц7 заключение может быть таким: среднее по J местностям первой разновидности лучше среднего второй. Однако может слу- случиться, что в некоторой местности вторая разновидность будет лучше первой. Пусть некоторая интерпретация дисперсионного анализа была дана в предположении аддитивности. Если это предположение было принято только потому, что гипотеза от- отсутствия взимодействий не была отвергнута некоторым F-кри- терием, то нужно посмотреть, имеет ли этот критерий разумную мощность отбрасывания гипотезы, если на самом деле взаимо- взаимодействия достаточно велики, чтобы сделать неправильной интерполяцию, основанную на этой гипотезе. Иногда случается, что гипотеза отсутствия взаимодействий отбрасывается статистическим критерием, а гипотеза нулевых главных эффектов обоих факторов принимается. В этом случае правильный вывод заключается в том, что не доказано отсут- отсутствие эффектов. Если есть ненулевые взаимодействия, то должны быть ненулевые разности средних ячейки. Заключение состоит в том, что разности есть, но когда эффекты уровней одного фактора усредняются по уровням другого, то доказы- доказывается отсутствие разности для этих усредненных эффектов. Легко проверить, что свойство аддитивности эффектов со- сохраняется при линейных преобразованиях наблюдений и их средних {i)ij}, но при нелинейных преобразованиях это свой- свойство обычно нарушается. Представляет интерес решение сле- следующей задачи: существует ли, если есть взимодействие, под- подходящее преобразование шкалы измерений такое, что в новой шкале эффекты складываются. Эта практическая задача крайне сложна*), так как нам неизвестны взаимодействия, и мы рас- располагаем только оценками, которые имеют ошибку. В конце этого параграфа рассматривается более теоретическая задача преобразования в случае, когда взаимодействия известны. Все это представляет некоторый математический интерес и может обогатить наши представления о взаимодействиях. Однако чи- читатель, возможно, захочет пропустить эту часть, так как прак- практически она мало полезна. Пропуск конца этого параграфа не будет препятствием к пониманию остальных частей этой книги. Исключение известных взаимодействий преобразованием шкалы измерений Мы будем рассматривать строго возрастающие преобразо^ вания z = f(y), т. е. преобразования, удовлетворяющие при *) Наименьшая трудность заключается в том, что если мы допустим 'Нормальную распределенность первоначальных наблюдений с равными дис- дисперсиями, то обычно такое же утверждение не будет верным для преобразо- преобразованных наблюдений.
118 ГЛ. 4. ПОЛНЫЙ 2-. 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ любых у'> у" условию f(y')>f(y"). Такое ограничение свя- связано с тем, что мы хотим сохранить порядок по величине сред- средних ячейки {tj,-,} и наблюдений. Очень легко рассмотреть слу- случай, когда факторы количественны. Случай количественных факторов В этом случае уровням А соответствуют значения и = и\, ... ..., М/ непрерывной переменной и (например, температура, давление, вес удобрений и т. д.), а уровням В— значения v = V], ..., vj (читатель, конечно, не спутает эти vi, ..., vj с весами {vj), рассмотренными выше) непрерывной перемен- переменной v. Пусть существует функция регрессии ц (и, v) такая, что щ = г\(Щ,vi). Функция r\(u,v) может быть названа аддитив- аддитивной, если существуют функции g(u) и h(v) такие, что r\(u,v) = = ?(") + h(v). В этом случае, когда такие функции суще- существуют, множество {i\tj} будет иметь нулевые взаимодействия прн любом выборе {щ} и {vj}. В следующей теореме через r\u, r\v и r\Uv обозначены соответ- д д д2 ственно частные производные -^, -^ и д dv . Теорема 2*). Для заданной функции r\(u,v) существуют функции f(Tj), g(u), h(v) такие, что f[r\(u,v)) = g(u) + h(v), D.1.11) a f'(r\)> 0, тогда и только тогда, когда ¦^ = .D). D.1.12) т. е. r]uv/(r\ur\v) зависит от и и v только через r\(u,v). В таком случае функции f(r\), g(u), h(v) могут быть определены сле- следующим способом: f(r\) задается формулой l + ea, D.1.13) где С\ и сч. — положительные постоянные С\ > 0, с2 > 0; r\uf'(r\) зависит только от и (обозначим эту функцию через ф(м)) и D.1.14) •) Доказательство этой теоремы может быть сделано строгим, если по- потребовать, чтобы r\{u, v), {{ц), g(u) были дважды дифференцируемы в под- ходищей области, a oi(t|) была интегрируемой. Условие /'(т))>0 может быть ослаблено; можно допустить, что в конечном числе точек /'(ti) = 0. В наиболее строгой формулировке этой теоремы тождество D.1.12) должно быть освобождено от дроби, чтобы не исключать случая возможных нулевых значений знаменателя.
5 4.1. ДВУХФАКТОРНЫЙ АНАЛИЗ. ВЗАИМОДЕЙСТВИЕ Ц9 /(л)— S(u) зависит только от v и, следовательно, h(v) = f(r\)-g(u). D.1.15) Доказательство. Предположим сначала, что f(i\), g(u), h(v) существуют, так что D.1.11) удовлетворяется. Вы- числяя производную -г- от D.1.11), получим Пл)л* = ?'(«)• Дифференцируя последнее равенство по v, находим т. е. получим D.1.12) с w{X])==~tw- <4Л-16) Предположим теперь, что D.1.12) удовлетворяется. Мы бу- будем определять функцию /(rj), удовлетворяющую D.1.16), и по- покажем, что полученная функция f[r\(u, v)] имеет вид D.1.11) с функциями f, g, h описанного в теореме вида. Интегрирование D.1.16) дает Г [5] D.1.17) Производная f'(r\) будет положительной, если мы выберем С\ > 0. Интегрирование D.1.17) дает D.1.13). Чтобы показать, что л«Г (л) зависит только от и, вычислим производную -р. .Получаем ? = %„Г (л) + Лат] J" (л) = Чи,?' (Л) - г\ицош (Л) Г (Л)=О 'для всех v. Теперь определим g(u) по формуле D.1.14). Вы- Вычисляя производную функции f(i]) — g(u) по и, находим -§ц U(n) - § (и)] = Г 01) ^ - Ф (и) = 0 для всех и. Отсюда следует, что f(t]) — g(r\) зависит только от v. И, наконец, определим h(v) формулой D.1.15). Пример. Пусть t)(tt,v)=uv. Тогда х\и = о, x\v = и, \\uv = 1 и Чии/ОМ») = 1/(ио) = 1/Л- Таким образом, ti(«, о) удовлетворяет D.1.12) и существует преобразование к аддитивной функции. Оно определяется D.1.13) с oi(t))= 1/ti, т.е. f (л) = ci \ ехР I — \ tl~1 rftl| rfrl + сг = ci In t) + c2. Если преобразуем /[t](u, v)], то получим ci !n u + Ci In о + с%. Искомая .аддитивная функция найдена с g(u) = а !п и + Сз и А (о) = ci In f + Сг — cj; эти функции можно было вычислить по D.1.14) и D.1.15),
120 ГЛ. 4. ПОЛНЫЙ 2-, 8- И МНОГОФАКТОРНЫЙ АНАЛИЗ Случай качественных факторов В двухфакторном анализе мы скажем, что две строки состоятельно упорядочены, если все / разностей {а, — bj) по- положительны, или все равны нулю, или все отрицательны. Ана- Аналогично определяется состоятельная упорядоченность двух столбцов. Легко видеть, что состоятельная упорядоченность любой пары строк и любой пары столбцов является необходи- необходимым условием устранимости взаимодействий в (/X /) -таблице двухфакторного анализа при помощи преобразования. Действи- Действительно, если взаимодействия устранены, то любые пары строк и любые пары столбцов в преобразованной таблице являются состоятельно упорядоченными, так как любые пары разностей фиксированной пары строк или столбцов равны между собой; следовательно, первоначальная таблица тоже должна быть состоятельно упорядоченной, так как строго возрастающее пре- преобразование не изменяет это свойство. Состоятельную упорядоченность легко проверить по следую- следующему правилу. Сначала нужно переставить столбцы так, чтобы первая строка стала неубывающей, а затем переставить строки так, чтобы первый столбец стал неубывающим. Тогда в пере- переставленной таблице состоятельная упорядоченность эквива- эквивалентна следующему условию: все строки и все столбцы должны быть неубывающими, а если в некоторой строке (или столбце) два элемента равны, то два столбца (или две строки), содер- содержащие эти элементы, тоже должны быть равны. Например, пусть дана таблица 2 6 5 3 8 7 0 4 1. Сначала мы переставляем столбцы так, чтобы первая строка стала неубывающей 2 5 6 3 7 8 0 1 4. Если другие строки не являются неубывающими, то условие уже нарушено. Теперь мы переставим строки так, чтобы первый
§ 4,1. ДВУХФАКТОРНЫЙ АНАЛИЗ. ВЗАИМОДЕЙСТВИЕ 121 столбец стал возрастающим: О 1 4 2 5 6 D.1.18) 3 7 8. Условие выполняется, так как теперь все строки и столбцы строго возрастают. Однако состоятельная упорядоченность не является доста- достаточным условием для устранимости взаимодействий преобра- преобразованием. Это показывает следующий пример*). Предположим, что для рассмотренной выше таблицы существует строго воз- возрастающая функция f(r\), устраняющая в этой таблице взаи- взаимодействия. Если мы покажем, что это предположение приво- приводит к противоречию, то рассмотренная таблица будет нужным нам примером. Для каждой подтаблицы а Ь с d D-L19) должно выполняться равенство f(a)-\-f(d)= f(b) + f(c). При* меняя это к подтаблицам 0 4 0 1 26 И 37 таблицы D.1.18), получим Так как f(r\) строго возрастает, TofD)>fC) и /()>Д); следовательно, f@) + fF) > f@) + fG), или fF)>fG), но fG)>fF). Противоречие получено. В случае, когда один фактор количественный, а другие ка- качественные, геометрическое условие существования преобразо- преобразования, устраняющего взаимодействия, вытекает из результата задачи 4.13, но другие условия, за исключением необходимого условия, аналогичного приведенному выше для состоятельной упорядоченности, вывести из результата этой задачи довольно трудно. Можно показать**), что условие состоятельной упорядочен* ности является достаточным в случае / = / = 2. *) Этот пример построил проф. Краскал. ••) Мы приведем это доказательство для случая, когда все четыре эле- элемента различны. Из условия следует, что наименьший элемент находится в одном углу, а наибольший — в противоположном. Перестановкой строк и столбцов матрицу можно привести к такому виду, чтобы положение а в D.1.19) занимал наименьший элемент, а 6— наибольший, так что а < Ь < d и а < с < d. Положим f(r\) = т) при т) = а, Ь, с и f(d) = Ъ + с — а. Нетруд- Нетрудно проверить, что f(r\) строго возрастает.
122 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ § 4.2. Двухфакторный анализ с одним наблюдением в ячейке Рассмотрим двухфакторный анализ, определенный в § 4.1, в случае, когда в каждой ячейке имеется ровно одно наблюде- наблюдение. Этот случай часто встречается на практике. Для того чтобы в модели с постоянными факторами *) получить кор- корректные критерии и доверительные интервалы для главных эффектов, нужно обычно предположить, что взаимодействия отсутствуют. (В § 4.8 приводится критерий для проверки гипо- гипотезы отсутствия взаимодействий и рассматривается влияние взаимодействий на выводы.) Отсюда вытекает, что истинные средние ячейки имеют вид г^- = \i -f a» + E/, где а, = р\» = 0. Если мы добавим к этому еще предположения о нормальности, независимости, равенстве дисперсий ячеек и обозначим через у,/ наблюдение в (i,/)-ячейке, то получим {Уц = М- + а,- + Р/ + еф {е{!} независимы и распределены N @, а2). Наиболее интересными гипотезами являются НА: все а, = 0 и Нв: все Р/= 0. Гипотеза На утверждает, что все средние {ц + а,} различных уровней А равны, т. е. что все уровни А имеют один и тот же эффект; аналогично для гипотезы В. Здесь и во всей книге, если не оговорено противное, под рядом индексов i, j и т. д. мы будем понимать множества »'=1, ..., /; /=1, ..., / и т. д. При нарушении предположения о нормальности, а также при нарушении (в случае одинаковых чисел наблюдений в ячейках) предположения о равенстве дисперсий, справедли- справедливость статистических выводов, основанных на приведенной выше модели, практически не нарушится (гл. 10). Однако не суще- существует такой удобной теории, учитывающей нарушение пред- предположения о независимости. Исключение составляют экспери- эксперименты, в которых рандомизация является составной частью экс- эксперимента, как указано в конце этого параграфа. Матрица X общего предположения М {у) — ^'Р выписана внутри таблицы 4.2.1: слева эта матрица ограничена вектором у и сверху вектором р'. Можно непосредственно показать, что матрица имеет ранг / + /+ 1. Действительно, если вычеркнуть первые два столбца, то оставшиеся / + / — 1 будут линейно независимыми, тогда как первый является суммой / последних, а второй суммой / последних минус сумма /—1 столбцов, *) Но не в модели со случайными факторами.
§ 4.2. ДВУХФАКТОРНЫЙ АНАЛИЗ С ОДНИМ НАБЛЮДЕНИЕМ Таблица 4.2.1. Матрица X' Уп Ун 1/22 Коэффициент в М при а, аг . . . а/ 1 0. . .0 1 0. . .О 1 О . . .0 0 1 . . .0 0 1 . . .0 0 1 . . .0 0 0. . . 1 0 0. . . 1 0 0. . .1 о о, . Р/ 1 0 0 1 0 0. 1. 0. 0. 1. . .0 . .0 . . 1 . .0 . .0 1 . 0 0 0. 1. 0. . .0 . .0 . . 1 123 предшествующих / последним. То, что величина / + /—1 яв- является размерностью пространства, в которое по Q входит ц, вытекает также из следующего замечания: вектор ц, опреде- определяемый l-f/-f/ параметрами {ц, at, |3,}, подчиняется двум ли- линейно независимым дополнительным условиям ?с^ = 0 и Минимизируемым SS в предположениях Q является Приравнивая к иулю и используя о, = р» =¦ 0, найдем Из уравнений
124 ГЛ. 4. ПОЛНЫЙ 2-. 3- И МНОГОФАКТОРНЫИ АНАЛИЗ получим ц + ш = </<¦, откуда сц = уы— у**, аналогично — У*1 — У**- Отсюда 55 ошибок, т. е. равно SSe = ? ? (г/н - у,. - у,, - уJ». D.2.1 Позднее (§ 4.3) эта сумма будет рассматриваться как «55 взаимодействия»; она также называется «остаточным 55». Число степеней свободы 55е равно ve = п — г = // — (/ + + /—1), или ve = (l— 1)(/-1). В предположениях со = Q П НА мы должны минимизировать так как а,- = 0 по гипотезе Нл. Приравнивая к нулю частные производные, мы найдем, что Да, и Р;,ш, со, т. е. жнк-оценки в предположениях со имеют такие же значения, как в предполо- предположениях Q, тогда как, конечно, щ, ш = 0. Отметим здесь, что в случае неодинаковых чисел наблюдений в ячейках (§ 4.4) лнк-оценки ц и Р/ в предположениях со не будут иметь такие же значения, как в Q. Если мы в числителе ?Г возьмем 55 в виде SSh = II л — г\,а ||2 и положим SSh = 55л, то SSA = E S (Ци — Л//. J2 = EZ(A + ^ + p/Ao,^.a,P/.JZ Здесь мы использовали равенство tj^ = М (#*/)= \i-\- at -f p,-, а через fj;/ и fj/,/, ш обозначили лн/с-оценки т],/ при Q и ю соот- соответственно. Отсюда 5S4 = / Е (у(. - yj* = J%yl- Uyl D.2.2) Так как / — 1 линейно независимых функций по гипотезе На равны нулю (см. § 3.2), то число ст. св. 55л равно /—1. Сле- Следовательно, по F-критерию для проверки гипотезы На с уров- уровнем значимости а гипотеза На отбрасывается, если где
§ 4.2. ДВУХФАКТОРНЫИ АНАЛИЗ С ОДНИМ НАБЛЮДЕНИЕМ 125 SSa задано D.2.2), a 55е задано D.2.1). Аналогично можно найти, что по F-критерию для проверки Нв гипотеза Нв отбра- отбрасывается, если где 55„ = J - l SSB = / ? (у„ - у,,у = / Z у% - Uyl D.2.3) Сумма квадратов ошибок вычисляется вычитанием по формуле 55е = 5Sn - SSA - SSB, D.2.4) где 5Sn = S S (yit - у„? = 2 Z ^ - 7/^. Тождество D.2.4) может быть получено из ортогональных соот- соотношений, которые будут установлены ниже, или непосред- непосредственно из общего тождества SSe = II У II2— II г\ ||2, которое дает Z ЕЕ Суммы произведений с разными индексами в последней сумме равны нулю вследствие дополнительных условий а* = C, = 0. Отсюда - Uyl)-J I а]~ что совпадает с D.2.4). Величины 55л и SSfl называют соот- соответственно 55 главных эффектов А и В, или 55 строк и столбцов. Соберем результаты в таблицу 4.2.2. Последний столбец вычисляется по обычному правилу 2 § 2.6; например, пусть числителем 55 статистики для проверки гипотезы НА является •^Л— (/-1) ' По правилу 2 мы должны заменить {г/./}, входящие в это вы- выражение, на M(yij) при Q и прибавить к результату а2. Но
126 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫИ АНАЛИЗ Таблица 4.2.2. Двухфакторный анализ с одним наблюдением в ячейке Источник дисперсии Строка Столбец Остаток «Полная» сумма квадра- квадратов SS sSa-iZo/u-v-J SSe=ZZ(yU- i ! - Уi, - У,1 + У„J Степень свободы /—1 /-1 = G-i) (/-i) SS ssA A-Х) ssB G-1) ='(/-l)(/-0 M (SS) c2 + la% a2 — так как a* является линейной функцией от {ус/}, то такая за- замена эквивалентна замене ац на М (а*) при Q. Отсюда Символы ал и <ув являются только принятым сокращенным обозначением следующих функций параметров: &% = ¦ а не обозначениями дисперсий некоторых случайных величин. Отметим, что гипотезы НА и Нв можно определить как НА:а2А = 0 и Яв:а| = О (таблица 4.2.2). Вычисления Прежде чем вычислять таблицу, подобную таблице 4.2.2, составляют прямоугольную таблицу наблюдений, содержащую средние строки {уы}, средние столбца {y*i} и генеральное сред- среднее г/,». Эта таблица должна быть частью общей сводки дан-
§ 4.2. ДВУХФАКТОРНЫЙ АНАЛИЗ С ОДНИМ НАБЛЮДЕНИЕМ 127 ных*).Если применяется вычислительная машина, то в таб- таблицу можно включить также суммы квадратов строки у\, и суммы квадратов столбца 2~1 у2/у которые можно полу- получить одновременно с суммами строки и столбца, необходимыми при вычислении средних строки и столбца; для контроля пол- полное SS, т. е. 2~1 2l uj». можно получить путем суммирования двумя способами; аналогично можно проверить ytif. Для со- составления таблицы, подобной таблице 4.2.2, SSa вычисляется по последнему выражению в D.2.2), SSb — по последнему в D.2.3) и SSe — по формуле D.2.4). Для более тщательного осмотра данных целесообразно составить (/ X /)-таблицу, в (t,/) -клетке которой находится уи = уц — yi*r- «/*/;+¦ г/#*.'Если *:/ относительно велики, то это может указывать на то, что -предположения были каким-то образом нарушены, например, отсутствием аддитивности или неравенством дисперсий, или большой ошибкой в наблюдениях. Сравнения главных эффектов Пусть 'ф = Л cial является любой линейной функцией от {а,}. Множество L всех таких о|) совпадает с множеством всех сра- сравнений истинных средних строки {A{ = \i + ait=r]i,}, так как '? etui— Yi Ci4i*> где c't — Ci — c^ и, следовательно, ?сг = О; ii i обратно, если ][]сг = О, то У с\х\1*= 2 c'lut. ./Инк-оценкой ф I i i является ty—2~l cfit- Оценки {fij не являются независимыми, тогда как средние строки {yi,} независимы. Следовательно, используя формулу ij) = 2 с\уи, легко вычислить, что i У с/о2 S-меТоД (§ 3.5) применим к множеству L сравнений средних строки с q = /—1 и п — г = \е. Может быть использован •) Часто таблица содержит вместо средних неподелениые суммы. В этом случае вычисления тоже проводятся с этими суммами вместо средних. Я предпочитаю средние; они стали уже привычными в обработке данных. Так как вычислительные машины имеют обычно автоматическое деление, даже когда нет автоматического умножения, то среднее легко получить, когда уже вычислена неподеленная сумма. Таким образом, нет необходимо- необходимости записывать этн неподеленные суммы.
128 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ также Г-метод (§ 3.6). Рассмотрение относительных преиму- преимуществ этих двух методов проводится так же, как в § 3.7. Кроме того, 5-метод можно применить с? = /к множеству всех ли- линейных функций средних строки; к этому множеству можно применить распространение S-метода, основанное на увеличен- увеличенном размахе (§ 3.7). Средние столбца изучаются аналогично. Ортогональные соотношения Рассмотрим пространства, порожденные следующими че- четырьмя множествами линейных форм наблюдений: Пространство Порождающие формы Размерность &а й1 й/ /~1 ^Р Pi Р./ '-1 Две линейные функции в различных пространствах являются ортогональными и, следовательно, по предположению нормаль- нормальности в Q, они независимы. Ортогональные соотношения дока- доказываются «методом группированных со» (§ 2.9) так же, как в более сложном примере, с которым мы встретимся в § 4.5. Удобно определить прямую сумму двух линейных пространств 3?\ и 3?г как множество всех элементов 1\ +1%, l\ e &\ и Ijeg'j. Обозначим прямую сумму через S?i®S?i. Тогда пространством оценок, определенных в общей теории § 1.6, яв- является в этом случае ^яФ^рФ^ а пространством оши- ошибок—i?,.. План случайных блоков Предположим, что нужно сравнить / «совокупностей усло- условий» на некоторых экспериментальных объектах, например, / лекарств на некоторых животных, или / разновидностей рас- растений на некоторых участках земли. Часто можно сделать более точное сравнение, если сгруппировать экспериментальные объекты в блоки по / объектов так, чтобы объекты внутри блока были похожи друг на друга больше, чем на объекты других блоков; таким образом, каждый блок может состоять из / уча- участков, или из / животных одного помета. Если имеется / бло- блоков, то можно применять полный двухфакторный анализ. Фак- Факторами являются «совокупности условии» с / уровнями и блоки с / уровнями. Такую классификацию по двум признакам назы-
§ 4.2. ДВУХФАКТОРНЫЙ АНАЛИЗ С ОДНИМ НАБЛЮДЕНИЕМ 129 вают планом случайных блоков*), если внутри каждого блока/ «совокупностей условий» распределяются случайно по / экспе- экспериментальным объектам, причем каждый из /! способов рас- распределения «совокупностей условий» по экспериментальным объектам должен иметь одну и ту же вероятность, выбранную для данного эксперимента, и если распределения в различных блоках независимы. Для получения такого распределения удобно использовать таблицу случайных перестановок, напри- например, такую, как в книге Кокрана и Кокса (Cochran & Сох, 1957, гл. 15). Рассматриваемая нами двухфакторная модель нормальной теории совсем не отражает уточнений, полученных в результате хорошего разбиения на блоки. В самом деле, эта модель не подходит к тем экспериментам со случайными блоками, в ко- которых причиной «ошибок» являются в основном различия между экспериментальными объектами, а не ошибки измере- измерений; мы найдем в гл. 9, что эти ошибки коррелированы и что их дисперсии могут быть разными в различных блоках; пред- предположения нормальности заслуживают меньшей критики, чем предположения о независимости и о равенстве дисперсий. Од- Однако мы увидим, когда будем рассматривать в гл. 9 более реальную модель для случайных блоков, что выводы о сравне- сравнениях совокупностей условий, построенные по недостаточно реа- реалистической модели нормальной теории, можно все же рас- рассматривать как хорошее приближение, если позаботиться об описанной выше рандомизации размещения совокупностей ус- условий по экспериментальным объектам. Рандомизация В любом эксперименте, где совокупности условий разме- размещаются по экспериментальным объектам, нужно такое разме- размещение раидомизировать. Рандомизацию можно получить при помощи бросания монеты, вытягивания карты, таблицы случай- случайных чисел или случайных перестановок и т. д. Обычно на ран- рандомизацию налагаются некоторые условия, поставленные мо- моделью. Например, в модели случайных блоков каждая сово- *) Этот план и некоторые неполные трехфакторные планы, рассмотрен- рассмотренные в гл. 5, логически не должны входить в часть I этой книги; однако у моего расположения существуют педагогические преимущества^ A) оценки и таблицы дисперсионного анализа, за исключением столбца M(SS), строятся по общей теории с нереалистической моделью части I (позднее распределения должны будут рассматриваться заново в соответствии с более реалистиче- реалистической моделью, для которой пока еще нет общей теории); B) желательно, чтобы эти основные планы и все указания о рандомизации встретились воз- возможно раньше; ие нужно, например, откладывать случайные блоки до гл. 9. 5 Г. Шеффв
130 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФЛКТОРНЫЙ АНАЛИЗ купность условий должна появиться точно один раз в каждом блоке экспериментальных объектов. Интуитивное оправдание рандомизации заключается в том, что в эксперименте, кроме контролируемых факторов, таких как А и В в двухфакторном анализе, могут быть еще неконтроли- неконтролируемые факторы, причиной которых являются различные сред- средние экспериментальных объектов при различных совокупностях условий; желательно, насколько это возможно, предупредить их систематическое влияние на эффекты контролируемых фак- факторов. Рассмотрим, например, сельскохозяйственную модель со случайными блоками. Если блоки состоят из / участков, то они могут быть расположены по линии восток — запад, так что их плодородность увеличивается с востока на запад в каждом блоке. Если в каждом блоке разновидности растений появ- появляются в таком же порядке, то их урожай будет увеличиваться в направлении увеличения плодородности, хотя действительного различия этих разновидностей нет. При размещении совокуп- совокупностей условий по экспериментальным объектам из групп жи- животных, населения и т. д. рандомизация предохраняет выводы от систематического смещения, вызываемого непредвиденными смещениями, например, такими, как неконтролируемые фак- факторы, возможное влияние которых не удается полностью устранить. Логическое обоснование рандомизации состоит в том, что на основе рандомизированной модели можно получать пра- правильные статистические выводы. Вероятностная основа этой модели обеспечена не формальными рассуждениями, а дей- действительным процессом рандомизации, являющимся частью эксперимента. Оказывается, если рандомизированные модели являются наиболее подходящими в данном случае, то статисти- статистические выводы, полученные на основе соответствующей модели нормальной теории, будут хорошим приближением к более реалистическим рандомизированным моделям. Однако чтобы извлечь пользу из удачного сходства этих двух моделей, нужно рандомизацию включать в эксперимент. § 4.3. Двухфакторный анализ с равными числами наблюдений в ячейках Обозначим число наблюдений в (/,/)-ячейке через Ki/. Сна- Сначала относительно {Кц} мы предположим только, что они не все равны 0 (кроме случая, когда общее число наблюдений п является нулем); в полном анализе все Kij положительны, однако некоторые результаты, которые мы получим здесь и в $ 4.4, в дальнейшем потребуются для неполного анализа. В некоторых вопросах анализ с неравными {Kij} будет значи-
§ 4.3. 2-ФАКТОРНЫЙ АНАЛИЗ С РАВНЫМИ ЧИСЛАМИ НАБЛ. 131 тельно сложнее, чем с равными; мы сначала найдем решение для равных {Kij}, а к общему случаю вернемся в следующем параграфе. Если через уцъ. обозначить k-e наблюдение в (/,/)-ячейке, а через D — множество пар {(/,/)}, которые соответствуют не- непустым ячейкам, то наши предположения запишутся в виде !Ут = Л ц {eilk} независимы и распределены N @, а2), k=\, .... К„; (U)e=D. Основная гипотеза касается главных эффектов и взаимодей- взаимодействий; мы ее сформулируем ниже. При Q мы должны минимизировать D.3.1) Только {x\ij} непустых ячеек (в которых есть наблюдения) со- составляют р параметров {|3/} общей теории гл. 1 и 2. Их иш/с-оценками являются г\ц = Уц* при (г, /)<=D. D.3.2) Рассматривая в этом частном случае вид матрицы X', легко показать, что ее ранг г равен р. Это можно также получить из того, что нормальные уравнения имеют единственное решение D.3.2). Сумма квадратов ошибок, являющаяся минимумом D.3.1), равна *|/ 5Se= I Z(yllk-yil.)\ D.3.3) а ее число ст. св. равно п — р, где п — число наблюдений, ар — число непустых ячеек. Так как в рассматриваемой параметризации г = р, то все линейные функции от р параметров (щ}, соответствующих непустым ячейкам, допускают оценку. Если рассматривается полный анализ, то в предположениях Q по теореме Гаусса — Маркова (§ 1.4) жн/с-оценки всех главных эффектов и взаимо- взаимодействий, которые определяются как некоторые линейные функ- функции от {т];/}, можно получить, заменяя цц линейными комбина- комбинациями D.3.2). Используя D.19), получаем оценки генерального среднего, главных эффектов и взаимодействий А —П... а, = т)е — г|„„, р, = fj,/— fj.,, У И — П<7 - "П*- - ЧЧ + Л«- D.3.4)
132 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ Обозначения звездочками указывают на невзвешенное среднее наблюденных средних ячейки {г\ц}. Однако если имеется даже одна пустая ячейка, то генеральное среднее, главные эффекты и взаимодействия в предположениях Q не допускают оценку, так как в их определения входят х\ц от пустой ячейки, для которой нет наблюдений. Обычно проверяются следующие гипотезы: НА: все а, = О, Яв: все р/ = 0, НАВ: все Y*/ = 0. Для упрощения критерия и ортогональных соотношений мы до- допустим в оставшейся части этого параграфа, что все числа {Кц} равны К> 1. УЙмк-оценки D.3.4) можно теперь записать в виде bl = У и* — У{» — У*!' + У"" a SS в D.3.1) как I I Подставим теперь в & УUk — V- — <*t — Р/ — Y// — (Ут - Ц — а, — Р/ — + (ц - ц) + (fti - о,) + (Р/ - Р/) + (bl ~ Ун)- Если при возведении в квадрат и суммировании по i, /, k co^ хранить скобки, то, учитывая дополнительные условия ? 0.1 = О, Е Р/ — 0, ? уЦ = 0 при всех /, У, уi/ = 0 при всех I и аналогичные условия на {&,}, {ру} и {уц}, нетрудно прове- проверить, что попарные произведения различных скобок дадут нуль и, следовательно, + IKZ Ф, ~ Р/J + К I ^ (Y/, - Y*,J. D.3.5) Из этого выражения следует, что при исключении параметров, которые равны нулю, по гипотезам НА, Нв и НАВ соответственно мы получим по этим гипотезам такие же жм/с-оценки, как
§ 4.3. 2-ФАКТОРНЫЙ АНАЛИЗ С РАВНЫМИ ЧИСЛАМИ НАБЛ. 133 в предположениях Q. Например, при На формула D.3.5) запи- запишется в виде 9 = SSe + UK (A - [аJ + *КТ,Щ + + IKZ (Р/ - Р/J + К ? ? (?„ - Yi/J. D.3.6) Это выражение минимизируется, очевидно, значениями ц = ji, Р/ = Р/ и у;/ = Y'/. а ег0 минимум при НА равен S4i = SS,+ /*?<& D.3.7) Аналогично можно показать, что при любой гипотезе На, по которой накладываются ограничения только на {а,} и не на- накладываются никакие ограничения на {ц, Р/, у<у} (т- е- по На устанавливается, что {а,} удовлетворяют заданным линейным ограничениям), лшк-оценки {ц, Р/, у</} останутся такими же, как при Q. Однако обычно для нахождения минимума JK ]С (^ — оцJ i лри изменении {а<} при условиях На нужно использовать ме- метод множителей Лагранжа; тогда этот минимум плюс минимум SSe дадут минимум 9* при На. Для проверки гипотезы На сумма квадратов числителя &" определяется как 9'аА — 9*а (§ 2.5), и по формуле D.3.7) нахо- находим, что Аналогично получаем SS числителя для проверки Нв и Нав*. bZ$ ABZZyh I i I SS знаменателя равно, очевидно, в каждом случае SSe- Чис- Числом степеней свободы SSA является /—1, так как это есть число линейно независимых условий гипотезы НА, допускаю- допускающих оценку; аналогично число ст. св. SSb равно /— 1. Числом ст. св. SSAB является (/—1) (/—1). Действительно, число допускающих оценку ограничений в гипотезе НАв (все yij = 0) равно /У; запишем {у*/} в (/X/)-таблицу; если в таб- таблице, полученной отбрасыванием последнего столбца и послед- последней строки, все у*/ = 0, то уц = 0 и во всей таблице, так как суммы строк и столбцов должны равняться нулю. Эти рассуж- рассуждения дают возможность предположить, что число линейно не^ зависимых ограничений гипотезы НАв равно (/—1)(/—1). Приведем более строгое доказательство. Для этого рассмотрим
134 ГЛ. 4. ПОЛНЫЙ 2-. 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ Таблица 4.3.1. Двухфакторный анализ с К наблюдениями в ячейке Источник дисперсии Главные эф- эффекты А Главные эф- эффекты В Взаимодей- Взаимодействия АВ Ошибки «Полная» сум- сумма квадратов SS ssA«//c2>,.,-*...J 1 SSB = IK Z (у, и — у „Л2 I ssAB = к Z Z (#»<. — - У/„ - Уф + г/.,,J sse •=°YiYiYi(ytik~ Уц*J i I k ssn = Z Z Z tow - ».«)* г i ft Степень свободы /-1 / — 1 (/—1)(/—1) // (К - 1) UK-I ES — M (ES) o2+JKoA a2 + lKoB a2 + Ko2AB a1 — размерность подпространства Vr-q, которому по гипотезе принадлежит т). Это подпространство имеет такую же размер- размерность, как Vr (другое г) предположений Q в § 4.2, если предпо- предположить, что взаимодействия равны нулю. Размерность этого подпространства должна равняться / + /—1. Следовательно, г — <7 = / + /— 1, а так как г = //, то д = (/— 1) (/— 1). Математические ожидания SSA, SSB, SSab можно вычислить по правилу 2 § 2.6; для записи полученных формул удобно ввести следующие обозначения: D.3.7а) = (/ - I) (/ - I) S I I] Y?/- Полученные результаты приведены в таблице 4.3.1. Не указан- указанный в таблице столбец средних квадратов вычисляется деле- делением SS на соответствующее число ст. св. Если гипотеза НА или Нв отвергнута, то можно применить S-метод к определению сравнения, которое ответственно за отбрасывание гипотезы. 7-метод может быть применен к глав- главным эффектам так же, как и в любом анализе с одинаковыми числами наблюдений в ячейках. Если гипотеза НАВ отброшена, то обычно больше не исследуют взаимодействия статистически. Однако, после применения F-критерия в моделях с постоян- постоянными факторами, можно было бы провести эти исследования
§4.3. 2-ФАКТОРНЫЙ АНАЛИЗ С РАВНЫМИ ЧИСЛАМИ ПАБЛ |35 при помощи 5-метода, чтобы найти взимодействия или линей- линейные комбинации взимодействий, которые значимо отличаются от нуля по 5-критерию. Число q (§ 3.5) 5-метода, применяе- применяемого ко всему пространству взаимодействий, порожденному {уц}, является числом ст. св. SSab, т. е. q = (I—1)(У—1). Г-метод неприменим, так как {-у,-/} имеют неравные ковариа- ции. Любой из этих методов может применяться к сравнениям средних ячейки (тогда для 5-метода q = IJ—1). 5-метод мо- может быть также применен к множеству всех линейных функций средних строки (q = I) или к множеству всех линейных функ- функций средних ячейки (q = IJ); к этим множествам может быть также применено расширение Г-метода, основанное на увели- увеличенном размахе (§ 3.7). Методы множественного сравнения, основанные на максимуме модулей § 3.7, могут применяться к получению совместных доверительных утверждений о всех средних ячейки. Хотя критерии для главных эффектов являются правиль- правильными независимо от истинных значений взаимодействий, наша интерпретация результатов анализа в случае принятия НАв будет отличаться от интерпретации в противоположном слу- случае; напомним, что это уже рассматривалось в § 4.1 Вычисление Данные должны быть записаны в (/Х-0-таблице с К на- наблюдениями средних r\ij в (t,/)-ячейке. Полученные в резуль- результате наблюдений средние ячейки {(/;/*} также отмечаются в этих ячейках или в отдельной (/X J) -таблице. Суммы квадратов главных эффектов вычисляются обычным путем по формулам ssA =jkZ yi, - с, ssB = ж S уф - с, i ! где С = ПКу2***. Полезно вычислить 55 «средних ячейки отно- относительно общего среднего» SS«a4eeK3. = К 2j 2 У УН* — С. Тогда SS взаимодействия может быть получено вычитанием ^>^АВ == '-''^«ячеею ^^А &&ВШ D.0.о) Эта формула аналогична формуле остаточного SS в двухфак- торном анализе с одним наблюдением в ячейке. Полное 5S от- относительно общего среднего вычисляется по обычной формуле SSn = Yj Ш X ybk — С. Тогда SS ошибки может быть получено i i k вычитанием SSe — SSn — SS«a4eeKi.
136 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРМЫЙ АНАЛИЗ Ортогональные соотношения Теперь ортогональные соотношения можно получить «мето- «методом группированных ш» (§ 2.9). Цепочка гипотез приведена в первом столбце таблицы 4.3.2. Координата (/, /, k) вектора г|ю, являющегося проекцией у на подпространство, которому Таблица 4.3.2. Группированные © Гипотезы to О. ©i =Q(]H Ag G>2 ^ tOl Л " д (Оз s:= ®2 Л ^ о АН и ¦ АН и на,- - а/ - ЬР/ Ь Р/ + Y</ ЬР/ Y/ а/ Р/ г = (/</¦ = (/;** = (/*/* Разность — </*** принадлежит i] = M(y) при <», обозначена через r\i,/,k,a и за- записана во втором столбце таблицы 4.3.2. Разности для последо- последовательных со записаны в последний столбец. Из общей теории § 2.9 следует, что пять векторов первого столбца таблицы 4.3.3 входят в пять взаимно ортогональных пространств, раз- размерность которых записана во второй столбец. Из общей тео- теории также следует, что пять множеств линейных форм наблю- наблюдений третьего столбца порождают пять ортогональных прост- пространств линейных форм, размерность которых записана во вто- второй столбец. Эти соотношения не зависят от предположений нормальности. В предположении нормальности пять SS в по- последнем столбце являются независимыми и имеют ^-распреде- ^-распределения с числами ст. св., приведенными во втором столбце, и па- параметром нецентральности, вычисляемым по правилу 1 § 2.6. т Вектор V T|tO- — Т|(ОЧ а б л ица 4.3.3. Пять ортогональных пространств Степень свободы A -/)(/-1) /-1 1 Компонента v^k УЦк — УН* sse SSAB ssA ssB НКУ*** Из общего тождества I v II2 = II у - ц II2 + II л - л»., II2 + Пп-1 - л*, II2 + D.3.9)
§ 4.4. 2-ФАКТОРНЫИ АНАЛИЗ С НЕРАВНЫМИ ЧИСЛАМИ НАБЛ. 137 следует, что SSao]IH = SSe + SSAB + SSA + SSB + IJKyL. D.3.10) Другие тождества могут быть получены путем использования любых т (т < 5) последовательных членов в правой части D.3.9); например, использованное выше тождество D.3.8) легко получить, если заметить, что сумма четырех последних членов равна || i\ ||2, а ццн = уц*. § 4.4. Двухфакторный анализ с неравными числами наблюдений в ячейках Теперь мы продолжим рассмотрение случая неравных чисел наблюдений (который мы начали разбирать в § 4.3) с того места, где было предположено, что все Ktj = К. Мы найдем, что в случае неодинаковых Kit критерии для проверки гипотез о главных эффектах и соответствующее множественное срав- сравнение, основанное на 5-методе, остаются относительно про- простыми. Однако критерий для взаимодействий становится более сложным; для того чтобы применить его, требуется решить т линейных уравнений с т неизвестными, где т является неко- некоторым числом, не превосходящим наименьшее из чисел / и /. Отметим, что более простой приближенный метод анализа описан в § 10.6. В этом параграфе мы опустим наше обычное соглашение (сделанное в § 4.1), по которому генеральное среднее, главные эффекты и взаимодействия определяются только с использова- использованием равных весов {у,} и {w,}. Статистические выводы остаются справедливыми, если их сформулировать для произвольной си^ стемы весов так же, как для системы с равными весами. С точки зрения удобства вычислений существует небольшое преимуще- преимущество в выборе системы, отличной от системы равных весов. Мы принимаем такие же Q-предположеиия, как в начале § 4.3. Там же мы определили 9"а (обозначали SSe) формулой «и ЕЫ2- D-4.1) = Z (Ule Эта сумма квадратов имеет п—р ст. св., где п является числом наблюдений, а р — числом непустых ячеек. Критерий для взаимодействий Гипотезу НАв отсутствия взаимодействий, или гипотезу адди- аддитивности, можно записать в виде Лав- М (#,*)= |* + а* + р/.
138 ГЛ. 4. ПОЛНЫЙ 2-. 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ Как было отмечено в теореме 1 § 4.1, вопрос об истинности НАВ или ее ошибочности не зависит от весов {vt} и {wi}, используе- используемых в определении генерального среднего [х и главных эффек- эффектов {сы} и {Р/}. В этом параграфе мы будем сохранять символ ы для со = Q П Нав. При со влияние выбора весов {у,} и {ш/} проявляется только в дополнительных условиях Z vtat = Q и ? о;Р/ = 0 (см. § 4.1). i i Мы можем сначала найти нормальные уравнения в предполо- предположениях со, а затем выбрать подходящие дополнительные ус- условия. При со мы должны минимизировать*) Z Z Z (Уuk - ц - а,- - р/J. i f Л Приравнивая к нулю производные -т-, -*—, -гг- от этого выражения, получим rtjlco = Z Giut, ш + Z Я/Р/.со = Z Z Z Уць D.4.2) i i ilk Giiin + Gib, „ + Z /CiP,-. a, = gt (i = 1 /). D.4.3) //,-A« + Z Kti&t. со + Я,-?,, со = Л/ (/= 1, ...,/)• D.4.4) В этих формулах индекс со указывает, что соответствующие оценки являются жмк-оценками при со; через {gi} и {hi} обо- обозначены соответственно суммы наблюдений строки и столбца Si = Z Z У*/*, й/ = Z Z &/*, D.4.5) I к Ik а через G,- и Я/ — суммы чисел наблюдений в ячейках Ог=ЕКц, Н;=Т.Кц. D.4.6) *) Расположение непустых ячеек в таблице двухфакторного анализа должно удовлетворять некоторым условиям, чтобы при этих условиях н при (о параметры |л, {ш}, {р,} допускали оценку. Простая формулировка этих ус- условий мне неизвестна. Необходимые н достаточные условия можно, напри- например, сформулировать в таком виде: пусть (i, /) -ячейке ставится в соответ- соответствие строка матрицы в таблице 4.2.1, следующая за (/,/; рассматривается р-строчная матрица, строки которой соответствуют непустым ячейкам; ранг этой матрицы должен быть равен I-\-1—1. Относящийся к этому вопросу критерий приводится в работе Бозе (Bose, 1949a, 58—59).
§ 4.4. 2-ФАКТОРНЫй АНАЛИЗ С НЕРАВНЫМИ ЧИСЛАМИ НАБЛ. 139 Оценки не будут единственными, пока не будут выбраны до- дополнительные условия; тем не менее различные S5, содержа- содержащие оценки, будут единственными. Из D.4.4) находим Р/.»= - К + #/""' (А,- - Z Kt'i&t'. и). D.4.7) Подставив это выражение в D.4.3), получим систему уравнений Z atrut'. «о = 9t (i= 1,...,/), D.4.8) где Заметим, что исключение {Р;,ш} приводит также к исключению р,. Если мы из нормальных уравнений вместо (Р/, ш} исключим {ш, а}, то найдем Ьц'Ьг. о> = <Ж/ (/= 1, ...,/), D.4.10) где Из общей теории наименьших квадратов следует, что Р7^ может быть выражено в виде ^»=Z Z Z ybk — Z Z Z уцФа— ilk ilk -E&ai.e-2*/P/.«- D-4.12) i i Действительно, если мы равенство A.3.10), содержащее ^Q, лмк-оценки и правые части нормальных уравнений при Q, пере- перепишем для 9"a, жмк-оценок {Ди, ш, м, Р/,и} и правых частей нор- нормальных уравнений D.4.2—4.4.4) при со, то получим D.4.12). Из D.4.12) подстановкой D.4.7) можно исключить {|3/,ш}, и тогда получим ilk
140 ГЛ. 4. ПОЛНЫЙ 2-. 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ если исключить {щ, «>}, то &® запишется в виде 'P>--Z|-; D-4Л4) Ilk I I в обоих случаях Д,м исчезает. Для окончательного упрощения вычисления Р*ш мы можем выбрать дополнительные условия ? v&i. ш = 0 и ? ^/Р/. <г = 0 в форме й,A = 0и Р/,ш = 0, что соответствует весам {vt = 8ц} и {до/ = 6//}. Следовательно, для вычисления {?а мы должны только решить /—1 линейное уравнение с /—1 неизвестными где {««»} и {Р',} определены формулами D.4.9), D.4.6) и D.4.5); решение нужно подставить в D.4.13) с а/, м = 0. Мы можем также решить / — 1 линейное уравнение с / — 1 неизвестными {р/,4: ',m = ^/ A=1 /-1), где коэффициенты определены формулой D.4.11); затем полу- полученное решение нужно подставить в D.4.14) с Р/, ш = 0. Если IФ J, то мы решаем систему с наименьшим числом неиз- неизвестных. SS числителя статистики У для проверки Нав равно д'а—9*а, где 9*0 задается формулой D.4.1). Число ст. св. числителя мо- может быть вычислено следующим способом. В общей теории гл. 2 интересующее нас число ст. св. обозначено через q\ при со век- вектор средних т) входит в (г — <7)-мерное подпространство г-мер- ного пространства, которому т) принадлежит при Q. В рассмат- рассматриваемом случае координаты вектора х\ являются при со пара- параметрами двухфакторного анализа с предположением аддитив- аддитивности (§ 4.2), так что по со вектор х\ принадлежит пространству размерности / + / — 1. Следовательно, г — q =. I -\- ] ~- 1, или q = p — /'—/+1> так как г = р. Отсюда получаем статистику p-I-J+l 9>a которая при Нав имеет ^-распределение с р — / — /+1 и п — р ст. св.
§ 4.4. 2 ФАКТОРНЫЙ АНАЛИЗ С НЕРАВНЫМИ ЧИСЛАМИ НАБЛ. 141 Выводы о главных эффектах в предположении аддитивности Критерии и оценки главных эффектов зависят от того, вклю- включаем мы или нет гипотезы НАв в основные предположения. Если мы включаем Нав, то основные предположения становятся предположениями а, определенными выше. Предположим, что мы хотим проверить НА: все а,- = О в предположениях ©. Эта гипотеза заключается в том, что все сравнения {а<} являются нулями, и, как было замечено в § 4.1, при Нав эти сравнения не зависят от системы весов {о,} и {ш;}. Гипотеза coi = © П НА совпадает с предположениями Q в случае однофакторного ана- анализа с / классами и Н} наблюдениями в /-м классе. Следова- Следовательно, 9?ш\ является SS ошибки для однофакторного анализа, т. е. *.i = Z Z Z (Ут - HTlh,y = Z Z Z y]!k - Z HJ% D.4.15a) так как HJ^hj является средним всех наблюдений в/-м классе. Чтобы получить числа ст. св. статистики &~ для проверки НА при (о, мы можем привести следующие соображения. Уже было отмечено, что при © вектор i\ принадлежит пространству раз- размерности / -f /—1; теперь эта размерность соответствует рангу г общей теории, в которой Q соответствует рассматривае- рассматриваемому (о, так что п — г общей теории становится здесь п — / — — /-f-1- Гипотеза На устанавливает /—1 линейно независи- независимых, допускающих оценки ограничений. Отсюда следует, что числами ст. св. являются /—1 ип — / — /+1. Следовательно, статистика n-l-J + \ Ую1 - 9>а имеет при a»i F-распределение с этими числами ст. св. Вели- Величина Ре, вычисляется, как было описано выше. Если НА отброшена, то мы можем продолжить исследова- исследование, используя S-метод для сравнений {а;}. Если if>=Z является сравнением (Zc« = 0)> то его жкк-оценка Z сД-, о может быть записана как решение D.4.15) в виде /-1 $= 5] Ciai<a>. Оценка стандартного отклонения д^, необходи-
142 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ мая для S-метода, вычисляется довольно утомительно. Нужно найти обратную (/—1) (/ — 1)-матрицу к матрице (aw) си- системы D.4.15). Обозначим обратную матрицу через (а"'). /-1/-1 Тогда можно показать, что а,;, = s, У. У. а с,с,„ где ф (=i «'=1 др s«= _ , _", . t ¦ Постоянной, необходимой для S-метода, яв- является S = (/ — 1)га; /— 1, п — / — 7+1. Критерий и оценка главных эффектов {Р/} строятся анало- аналогично. Критерии для главных эффектов в предположениях Q Обычно предпочитают проверять и оценивать главные эф- эффекты без предположения аддитивности. Кроме того, вычисле- вычисления становятся тогда более простыми. В этом случае определе- определение главных эффектов зависит от системы весов {и,} и {w/}. Рассматриваемая задача проверки и оценки главных эффектов с произвольной системой весов решается так же легко, как и с обычной системой {о, = 1//} и {до,- = 1//}. Как было отме- отмечено в примере § 4.1, в некоторых приложениях предпочтитель- предпочтительнее использовать системы с неравными весами. В начале § 4.3 мы отметили, что в рассматриваемом теперь случае необходимо предположить отсутствие пустых ячеек, иначе главные эффекты не будут допускать оценку при Q. Следовательно, р = IJ. Предположим, что выбранные системы весов {и,} и {до,} удовлетворяют условиям ]? v{ = X w\ — 1 • Определим сред- среднее t-ro уровня А и /-го уровня В формулами Е D.4.16) Тогда главные эффекты запишутся в виде а,- = At — fx, P,- = B/ — [1, где (* = ЕЕ vtwfr\u. Теперь сравнения {«,¦} имеют такие же значения, как соответст- соответствующие сравнения At. Действительно, если -ф == J] c{a{ f ? ci=0\i то i|3=EcH«- Из D.4.17) видно, что лшк-оценкой At является А{ = Е wfyti = Е ЩУП*- D.4.17)
5 4.4. 2 ФАКТОРНЫЙ АНАЛИЗ С НЕРАВНЫМИ ЧИСЛАМИ НАБЛ. ИЗ Следовательно, лшк-оценка ф равна Ф= X сИ;! аналогично все повторяется для сравнений {Р/}. ¦ Вычислим теперь SSa, являющееся SS числителя ^-крите- рия для гипотезы НА- Для этого используем объяснение /•'-кри- /•'-критерия, данное в § 3.5, т. е. что SSa = фтах> где фтах является максимальной оценкой нормированных срав- сравнений главных эффектов {а,} фактора А и определяется сле- следующим способом: пусть L — пространство всех сравнений {а;}, a L" — множество всех нормированных сравнений, т. е. множе- множество всех сравнений ifet, для которых D(ip)=Ca2, а С= 1; тогда фтах является максимумом ф по ф е L". Если ф = ? aAi = YjJ] с№Уи*' то D (ф) = 2 2 ( S~j v2> i i i i I ' i таким образом, ф принадлежит L", если i I Задача заключается в отыскании максимума Y, ctAi в усло- условиях D.4.18); в этой задаче переменными являются {с,}, а {А/} остаются фиксированными. Удобно определить числа {Wt} формулой \ Тогда задача сводится к нахождению максимума X с\А\ i в условиях Это можно сделать, используя множители Лагранжа *) Ki, k2 д и приравнивая к нулю -^— от OCl *) См. С. М. Никольский, Курс математического анализа, т. 1, «Наука», Москва, 1975, гл. 7, § 7.22. (Прим. перев.)
144 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ где {kt} считаются постоянными при вычислении -з—. В ре- „ с. w(jii + ял зультате получим Лг + ^ + 2Л2-^ = 0, сг = B5П • Условие 2с« = 0 Дает Х^Д^+^О = 0. илиЛ! = —Л, где i 2 « Теперь мы получили _ с(-=-1^^2=^. D.4.21) Подставляя это выражение в другое условие D.4.20), мы най- найдем 1 4X1 ' D.4.22) 1Ег(г) i Окончательно, с помощью D.4.21) и D.4.22), получаем Таким образом, SS числителя статистики равно где {Wi) определены D.4.19), а {Л,} — формулой D.4.17). Если рассматривается случай равных весов, то в D.4.19) и D.4.17) Wj = 1//. Статистика SSA(SSe F-критерия для гипотезы НА при Q имеет / — 1 и п — IJ ст. св. Если гипотеза НА отбрасывается по ^-критерию, то S-мето- дом совсем просто провести дополнительные исследования, так как согласно сказанному выше для ¦ф = ]? см (^ ct = 0Л имеем i it где s2 = SSe- Г-метод здесь неприложим, так как {Л,} имеют неравные дисперсии. Критерий для Нв и 5-метод для сравнений {Р,} строятся аналогично.
§ 4.5. ТРЕХФАКТОРНЫЙ АНАЛИЗ 145 Случай пропорциональных частот Нормальные уравнения D.4.2—4.4.4) для оценок {р,ш, а,-, Ш) Р/, ш} при «в = й П НАВ легко решаются в частном случае про- пропорциональных частот, который определяется тем, что числа наблюдений в ячейках любых двух строк (или столбцов) про- пропорциональны. Легко показать, что числа {/С//} в двухфактор- ной таблице обладают свойством пропорциональности тогда и только тогда, когда они связаны с суммами чисел наблюде- наблюдений в ячейках {Gi\, {#,} и общим числом наблюдений п фор- формулой В этом случае Это выражение обратится в нуль при всех i, если мы наложим дополнительное условие ? ^/Р/, ш = 0 с весами {да, = #//«}. Аналогично Y *« А.. = обращается в нуль, если выбрать веса {vi = QJn}. Тогда нор- нормальные уравнения D.4.2—4.4.4) сводятся к &i, (л = GT gt — ?<о> р/. а, = Щ hj — ?ш. Можно показать, что в этом случае три пространства размер- размерностей /—1, /—1, 1, порожденные тремя множествами линей- линейных форм {а«,и}, {Р/,4. {?<4 наблюдений {ytjk}, являются взаимно ортогональными, как в случае равных чисел наблю- наблюдений в ячейках (который является специальным случаем про- пропорциональных частот). § 4.5. Трехфакторный анализ В этом параграфе мы распространим понятие главных эф- эффектов и взаимодействий на трехфакторный анализ. Предпо- Предположим, что на наблюдение действуют три фактора А, В, С, как, например, разновидность растений, участок и химический состав
146 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФЛКТОРНЫЙ АНАЛИЗ смеси (в примере § 1.1). Будем обозначать число уровней факторов соответственно через /, /, К. Через т|<;* обозначим математическое ожидание в (/,/,&)-«комбинации уровней», или в (i,j, k) -«ячейке», т. е. когда рассматриваются г-й уровень фактора А, /-й уровень В и /г-й уровень С. Мы сможем распрост- распространить наши понятия, если рассмотрим двухфакторную таблицу для каждого уровня С; тогда взаимодействием г-го уровня А и /-го уровня В при определенном /г-м уровне С будет величина — T)<*ft — Ччк + Ц^к. D.5.1) Среднее этих величин по различным уровням С мы будем на- называть взаимодействием г-го уровня А с /-м уровнем В и обо- обозначать afP = ц;/% — т)?« — т1.у, + т|.«. D.5.2) Новая символика становится более удобной по мере того, как увеличивается число факторов. Верхними индексами отме- отмечаются во взаимодействиях или в главных эффектах рассмат- рассматриваемые факторы, а нижними —соответственно уровни этих факторов. Результат получится такой же, как в D.5.2), если наши первоначальные понятия применить к двухфакторной таблице, полученной усреднением по уровням С. По такой таб- таблице главные эффекты определятся тогда формулами Если аналогично определить главный эффект af по двухфак- двухфакторной таблице, полученной усреднением по уровням В, то ре- результат будет такой же; аналогично для а^. Соответствующим определением главного эффекта /г-го уровня С является аС — ~ ц Генеральное среднее, определенное по любой из трех двухфак- торных усредненных таблиц, равно Другие двухфакторные взаимодействия определяются, конечно, аналогично: Мы можем также определить среднее г-го уровня А как r]i** = fx + af и т. д. Все эти понятия можно считать анало- аналогичными понятиям двухфакторного анализа. Рассмотрим теперь, насколько (А X В) -взаимодействия D.5.1), определенные для ft-го уровня С, отличаются друг от друга при различных уровнях С. Эти различия значении (А X В)-взаимодействий могут быть выражены через разности:
§ 4.5. ТРЕХФАКТОРНЫЙ АНАЛИЗ 147 значение D.5.1) минус среднее значение D.5.2). Зависимости от уровня С не будет в том и только в том случае, когда все эти разности равны нулю. Разность афС = Л//4 - Л,у* - iVfe - Л./* + Л/** + Л.,* + Л**й - Л*** D.5.3) называется трехфакторным взаимодействием (или взаимодей- взаимодействием второго порядка) между i-м уровнем А, /-м уровнем В и k-м уровнем С. Это выражение симметрично по всем трем факторам, т. е. если мы будем рассматривать аналогичные раз- разности с (Л X С)-взаимодействиями для различных уровней В, или разности с (В X С)-взаимодействиями для различных уров- уровней Л, то получится результат, совпадающий с D.5.3). Из этих определений следует, что и что условия а? = а? = а? = О, „АВ — „АВ __ „ВС __ „ВС _ „АС ._ „АС __ П t* *У /* *& ?* *fe ' „ABC __ „ЛЙС ._ „ABC — О выполняются при всех значениях индексов i, j, k. Говорят, что "для этих трех факторов выполняется свойство аддитивности, если существуют постоянные a, {ft,}, {с/}, {dk} такие, что Щк = = а + b, -j- С/ + dk при всех t, /, k; легко показать, что для этого необходимо и достаточно, чтобы все двухфакторные и все трехфакторные взаимодействия были равны нулю. Обобщая § 4.1, можно легко распространить полученные определения на определения взвешенных главных эффектов, взаимодействий и генерального среднего с весами {«/}, {vj}, {Wk}. Мы также упомянем здесь, что в «2р»-экспериментах (т. е. в экспериментах с р факторами, каждый из которых имеет два уровня) можно дать другое удобное определение главных эффектов и взаимодействий. Мы будем рассматривать случай, когда в каждой ячейке имеется М (М^1) наблюдений (иногда будем говорить, что имеется М повторений). Обозначим /п-е наблюдение в (i,j,k)-& ячейке через уцш- Будем предполагать, что (l/ilkm — ЛцЧт + вЦШ' ilkm) независимы и имеют распределение N @, а2). ЛГнк-оценки {т]//*т}, полученные минимизированием ZZZZ i I k m равны D.5.4)
148 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНО1ОФАКТОРНЫЙ АНАЛИЗ Отсюда и из теоремы Гаусса — Маркова следует, что А Д ai = #;**• — У*—, = Ут* ~ У и- - Уы* - ~ У* и т. д. для других главных эффектов и взаимодействий. Мнкт оценки при наших обычных гипотезах могут быть получены по схеме, использованной в D.3.5), в которой удобно выде- выделены минимизируемые величины; например, если гипотезы ка- касаются только (SX С)-взаимодействий {а^с}, то лшк-оценки всех остальных взаимодействий, ц и главных эффектов в пред- предположениях этих гипотез останутся такими же, как при Q. Это замечание неверно в случае неравных чисел {Мцк} наблюдений в ячейке. В случае неравных чисел оценка D.5.4) остается npnQ верной, но формулы D.5.5), записанные для {уцк*}, нужно за- заменить на такие же формулы для {т^/*}, так как эти оценки являются равномерно взвешенными средними средних ячейки t]ijk, а не средними, взвешенными в соответствии с {Мцк}, что можно было бы предположить по обозначениям в D.5.5). Ортогональные соотношения В случае равных чисел наблюдений в ячейках мы получим ортогональные соотношения, приведенные в таблице 4.5.1 (эти соотношения, как всегда, не зависят от предположения нор- Таблица 4.5.1. Девять ортогональных пространств линейных форм Пространство A sc SAB Q> ВС 2AC x ABC Порождающие элементы » д 1 > af, «f. «f.B. ABC «11 • * AC «11 > «111 ' A .... a; .... a^ .... a^ .... &ff ABC .... aJK AAC ..., aIK AABC .... aUK и ~~ Milk*} Размерность 1 /-1 /C— 1 (У 1) (Л 1) (/ — 1) (ЛГ — 1) (/ — i)</_ 1)<ЛГ— i) UK (M - 1)
§ 4.5. ТРЕХФАКТОРНЫЙ АНАЛИЗ 149 мальности). Пространство линейных форм наблюдений {уцкт} размерности 1JK.M разложено на девять взаимно ортогональ- ортогональных пространств. Если М = 1, то пространство &е пусто. В этом случае некоторые взаимодействия обычно предполагаются рав- равными нулю для того, чтобы немного увеличить число ст. св. ошибки; это, конечно, не затрагивает ортогональности линейных форм в таблицах. Таблица дисперсионного анализа Такой таблицей является таблица 4.5.2. Для упрощения столбца М (SS) мы ввели обозначения - (/ -1) (/ -1) (к - ir'z ? Z DВ*СJ i I к Таблица 4.5.2. Трехфакторный анализ с М наблюдениями в ячейке Источник дисперсии Главные эффекты А Главные эффекты В Главные эффекты С Взаимодей- Взаимодействия АВ Взаимодей- Взаимодействия АС Взаимодей- Взаимодействия АС Взаимодей- Взаимодействия ABC Ошибки «Полная» сумма Квадратов SS SS^JKM^^tf t ssb = ikmYF.?J i ssr = им У (ft*J к SSAB = KM У У (af/BJ t i ssBC — im У^ ? (afkCJ i k SSAC = Ш У У (аДсJ i к ssABC = м ? ? ? (afRcJ i 1 к SSe~ V* V* V* V* 2 = 2j 2j 2j 2j W/fem "" У ilk*) i i к т ????(%*/»-y....J i i к т Степень свободы /-1 /- 1 /С — 1 (/ _i)(/_ i) (J-\)(K~\) (/— \)(K — 1) U-\)(J-l)(K-\) ик ш -1) I]KM - 1 M(BS) a2 + /Л'а2! a2 + IKMo2B a2 + UM<s% a2 + KMe2^ a2 + IMo%c a2 + Ш^с a2 + Ma2ABC a8
150 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ и аналогично определили ст|, о2с, о2вс, а2АС. Таблицы 4.5.1 и 4.5.2 были составлены похожими методами. При Q восемь SS (исключая полное SS) таблицы 4.5.2 независимы и распреде- распределены как о2%'2, где %'2— нецентральный %2 с указанными в таб- таблице числами ст. св. Параметры нецентральности могут быть получены вычеркиванием «крышек» нз выражений во втором столбце, разделенных на а2, и извлечением корня, за исключе- исключением SSe, для которого 6 = 0. В рассматриваемой модели с постоянными факторами все средние квадратов сравниваются с SSe- При М = 1 к Q необ- необходимо добавить предположение о равенстве нулю некоторых взаимодействий. Если (А X В X С) -взаимодействия предпола- предполагаются равными нулю, то в приведенной выше таблице SSabc становится SSe', если мы также предположим, что (ВХС)- взаимодействия равны нулю, то SSbc + SSabc становятся SSe, и т. д., как будет объяснено в § 4.6. Если SSa значимо, то это может быть установлено посредством применения S-метода к сравнениям главных эффектов Л и т. д. Вычисления Суммы квадратов главных эффектов вычисляются, как обычно, непосредственно. Суммы квадратов двухфакторных взаимодействий проще всего вычисляются прн помощи трех вспомогательных двухфакторных таблиц; так, для вычисления SSab мы составляем таблицу из {#*/»*} и затем используем тождество ssAB = (/ш ? ? у\и - пкмуЦ - ssA - ssB. Сумма квадратов трехфакторных взаимодействий вычисляется как разность между SS для «средних ячейки относительно об- общего среднего» и суммой всех SS, расположенных в таблице 4.5.2 выше SSabc. Наконец, SS ошибки получается, как обычно, вычитанием SS для «средних ячейки относительно общего среднего» из полного SS относительно общего среднего. § 4.6. Формальный дисперсионный анализ. Разбиение общей суммы квадратов Результаты § 4.5 без затруднений переносятся на общий случай р-факторного анализа. В полном р-факторном анализе имеется генеральное среднее, С1Р главных эффектов, С2Р двух-
§ 4Д ФОРМАЛЬНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ 151 факторных взаимодействий, ..., одно р-факторное взаимодей- взаимодействие*) (через Ср обозначен биномиальный коэффициент p\[q\{p — <?)!]"'). Если каждая ячейка содержит одно наблю- наблюдение, то полное 5S может быть разложено на 2р составляю- составляющих SS, связанных с соответствующими эффектами; SS р-фак- торного взаимодействия является обычно SS ошибки; если в каждой ячейке М наблюдений, то будет 2р + 1 составляю- составляющих S5, включая настоящее SS ошибки внутри ячеек. В обыч- обычные предположения включается нормальность, независимость и равенство всех дисперсий ошибок а2; в этом случае SS, де- деленные на а2, независимы и имеют нецентральные х2"Распре- деления. Мы проиллюстрируем процесс разложения полного SS на трехфакторном анализе при М > 1, который уже был рассмот- рассмотрен в § 4.5. К трем факторам Л, В и С мы добавим фиктивный «фактор» D, соответствующий m-кратному повторению наблю- наблюдений в ячейке трехфакторной таблицы (фактически истинные значения главных эффектов D и все взаимодействия, включаю- включающие D, предполагаются равными нулю). Разложим ПКМ-мер- иое пространство ? линейных форм наблюдений {yi/km} в пря- прямую сумму 24 взаимно ортогональных пространств, указанных в таблице 4.6.1. Каждому из этих 16 пространств соответствует сумма квадратов, т. е. сумма по i, j, k, m квадратов линейных форм из второго столбца таблицы, а SSno.™ = SSp + SSA + • • • .+ SSbcd + SSabcd- Если сделаны такие же Q-предноложения, как в § 4.5 для трехфакторного анализа с М наблюдениями в ячейке, то 5S ошибки равно SSe = SSq -f- SSAD + SSbd ~Ь SScd ~Ь SSaed ~Ь SSacd ~Ь + 5SSCD + SSABCD. При добавлении к Q предположения, состоящего в том, что все трехфакторные взаимодействия {^Д0} равны нулю, мы можем «включить» SSabc в SSe; если также допустим, что все {atk} ~ НУЛИ> то можно «включить» SSac в SSe и т. д. *) Успешным выбором разностей, как, например, было сделано при по- получении D,5.3), мы можем показать, что <7-Факт0Рн°е взаимодействие яв- ляетси суммой 2' членов: первый член равен истинному среднему ячейки *R / и т. д., в котором несоответствующие g-факторам индексы (если они есть) заменены звездочками, следующие С' членов со знаком минус получаются из первого члена заменой одного из q индексов звездочкой; следующие С2 членов со знаком плюс получаются заменой двух из индексов звездочками; следующие Cq членов со знаком минус и т. д.
152 гл. 4. полный 2-, з- и многофлкторныи анализ Таблица 4.6.1. Шестнадцать ортогональных пространств линейных форм Простран- Пространство 2А & в 1° 2' АВ 2АС 9? AD *вс 2' BD ЖCD 2ABC *ABD ХACD * BCD ХABCD У**** У{*** — У*!** — У**к* — У***т — У11** — уыь* — УН**т — У*1к* — У*1*т — У**кт ~ УЦк* — + У1*** УЦ*т~ + yt*** У1*кт ~ + У1*** У*!кт- + У*!** УЦкт — — У*\кп Порождающие элементы У**** У**** У**** У**** У1*** — yi*** — У1** — У*!** — У*!** ~ - У**к* ~ уи** — + У*!** У11** — + У*!** У1*к* — + У**к* У*1к* - У*1** + У**** y**k* + у**** У***т т У**** У**к* т У**** У***т ¦+¦ У**** - У***т+ У**** </i*k* — У*/к* + т y**k* У**** Уг**ш У*/*т Ч~ "Ь У***т — У**** У1**т — y**km + т У***т — У**** У*1*т — У**кт + + У**к* + У***т — У**** УИк* — i + УЦ** У1/*т — У1*кт — + У1*к* + У*/к* + + Vi**m + У*/*т + У**кт ~ yi*** — — y*j** — У**к* У***т т У**** Размерность 1 - J- К М (/— 1) (/- 1) (/- 1) (/— 1) (/— 1) (К-1) (/-1) A - (I — 1) (/ - (/ — 1) (ТС (/ - О (К A-Х) (/—1) 1 -1 -1 — 1 — 1 (/- (К (М (К (М (М -1) -1) -1) -1) -1) -1) -1) -1) -1) -1) (К- (М- (М- (М- 1)(Л1 1) 1) -1) -1) — 1) Объединение S5 взаимодействий с 55 ошибок Общей, но сомнительной практикой является объединение с 55 ошибок всех 55, оказавшихся незначимыми с некоторым выбранным уровнем *) значимости. Такое объединение спра- справедливо, как отмечалось выше, если известно, что соответствую- соответствующие взаимодействия отсутствуют, но в этом случае не имеет смысла проверять их присутствие. Статистик соблазняется это сделать для того, чтобы получить больше «степеней свободы *) Некоторые статистики используют прием объединения SS некоторых взаимодействий с SS ошябок тогда я только тогда, когда статистика ST для проверкя взаимодействий яезиачнма с 5%-иым уровяем и 9~ < 2, например, Беннет и Франклин (Bennet & Franklin, 1954); см также Пол (Paull, 1950), где аналогичное правило формулируется для другой модели.
§ 4.7. БОЛЕЕ ОБЩЕЕ РАЗБИЕНИЕ СУММЫ КВАДРАТОВ 153 для ошибки» в надежде сузить доверительные интервалы и уве- увеличить чувствительность критерия, основанного на статистике, знаменателем которой является объединенное 55 ошибок. С другой стороны, если ошибочно предполагалось, что рассмат- рассматриваемые взаимодействия равны нулю, то ненулевые взаимо- взаимодействия приведут к увеличению математического ожидания объединенного среднего квадратов, и тогда получится противо- противоположный результат, т. е. увеличение доверительных интерва- интервалов и уменьшение чувствительности критерия. Об оперативных характеристиках этих правил известно не очень много*) и, по- видимому, лучше всего стараться избегать такие включения, планируя эксперимент так, чтобы подобранное по плану число «степеней свободы ошибки» в 55 ошибки было достаточным. Эту-задачу не нужно смешивать с задачей выбора подходя- подходящего 55 знаменателя для F-критерия в моделях, отличных от модели с постоянными факторами. Позднее мы увидим, что, на- например, подходящим 55 знаменателя для проверки главных эффектов может не быть 55 ошибок, а будет некоторое 55 взаимодействия. Объединение может также рассматриваться в других моделях, но там оно может приводить в некоторых случаях к уменьшению (а в других к увеличению) среднего квадрата знаменателя. Это происходит потому, что_ М E5) объединенного 55 знаменателя может быть ^МE5) «пра- «правильного» 55 знаменателя, что отличается от рассмотренного выше случая, где «правильным» 55 знаменателя всегда яв- является 55 ошибок, которое, конечно, имеет наименьшее М E5) из всех 55. § 4.7. Более общее разбиение суммы квадратов Мы рассмотрели различные способы разбиения суммы квад- квадратов на другие суммы квадратов; составляющие суммы квад- квадратов были независимыми и имели нецентральные ^-распре- ^-распределения. Все эти способы могут рассматриваться как специаль- специальные случаи более общего метода, получаемого повторными при- приложениями приведенной ниже теоремы 1 **). Рассмотрим обычные основные гипотезы Q: усх1' ИМеет распределение N(X'pPXl\ a2/("Xn>). *) Эта задача изучалась Бекхофером (Bechhofer, 1951). Результаты для других моделей получили Бозивич, Баикрофт и Хартли (Bozivich, Bancroft & Hartley, 1956); влияния объединения в ситуациях, изученных этими авторами, очень сильно отличаются от указанных выше. **) Понятия этого параграфа могут быть найдены в работе Бозе Шоке. 1949а).
154 ГЛ. 4. ПОЛНЫЙ 2-, 3- Й МНОГОФАКТОРНЫЙ АНАЛИЗ Рассмотрим также t линейно независимых линейных функций {gt} от наблюдений {у\,...,уп} П gt= I)«»/«// (* = 1> •••> О- Эти функции порождают /-мерное пространство 3? линейных функций. В матричных обозначениях можно записать g(t Xl)== J±<t X п)у(п X 1)^ где строки матрицы А являются транспонированными векто- векторами коэффициентов линейных функций {gi). Определение. Суммой квадратов SSy, связанной с про- пространством 3? линейных функций, называется квадратичная форма g'B~lg, где матрица В<'х1> задается соотношением Гг = = о2В, в котором Fg является ковариационной матрицей {gi}. Для того чтобы обосновать это определение, сделаем сле- следующие замечания: 1) Так как g\, ..., gt предполагаются линейно независи- независимыми, то ранг А == t. Из равенств Fg = АТУА' = а2АА' сле- следует, что В = А'А. Применяя теорему 7 приложения II, мы по- получаем, что ранг В = t, т. е. В невырождена и, следовательно, существует В~1. 2) Если hi, ..., ht являются другим базисом 3?, то суще- существует невырожденная матрица С('х'> такая, что h = Cg. Тогда Г„ = СТеС и Гй ' = C'rj1C~I. Следовательно, Это показывает, что SS& не зависит от выбора базиса в прост- пространстве 3?. SS, связанное с 3, может быть также выражено в виде квадратичной формы наблюдений {у\,...,уп} где матрица Q = А'(АА')~1А. Для того чтобы получить рас- распределение SSy, примем за базис 9? линейные формы {z\,... ...,zi) с covB/,Zj) = bijO2, как было сделано в выводе канони- канонической формы (§ 2.6). Так как SSy ие зависит от базиса, то можно использовать его выражение в выбранном базисе, в ко- котором оно принимает наиболее простой вид f=l
§ 4.7. БОЛЕЕ ОБЩЕЕ РАЗБИЕНИЕ СУММЫ КВАДРАТОВ 155 Отсюда следует, что 55у/о2 имеет нецентральное %2-распреде- ление с t ст. св. Если б является параметром нецентральности, то а2б2 вычисляется, как обычно, подстановкой М (gi) вместо gi в определении SSy. Теорема 1. Рассматривается t-мерное пространство 3? ли- линейных функций от {уи .... уп}. Рассматривается также m ли- п нейных функций f{ = 21 ЬцУ/ (i = l,...,m,m < /), принад- лежащих 3?. Если {f,} ортогональны I ^2lbikbjk = clbil\ и не нули (с^фО; i=l, ..., пг), то в предположениях Q 11 1 SS*- являются независимыми случайными величинами. После деле- деления на а2 все они имеют нецентральные ^-распределения соот- соответственно с 1, 1, ..., 1 и t — m ст. св. Доказательство. Пусть zl = cf1/s/(., /=1 m. Применим такой же прием, как при определении канонической формы в § 2.6. К {2i,...,zm} присоединим t — пг линейных фуНКЦИЙ {zm+u...,Zt} Так, ЧТОбЫ При ЭТОМ {Zi,...,Zm,Zm+i, ... ...,zt} порождали 3? и были ортогональными [соу(г*2/) = = а2б,/]. Тогда наши заключения немедленно следуют из формул О С1 — \ <ч2 __ «2 "^ ^^— *^2 О ^^ (л ~~-"~ / ^/> " " iC j у • • ¦ у —^— —_ J3 j О 1 С' Cfft 1 * m+l Геометрическая интерпретация Чтобы получить геометрическую интерпретацию SS&, уста- установим следующую теорему. Теорема 2. Пусть Vt является t-мерным пространством векторов коэффициентов линейных функций, принадлежащих t-мерному пространству 3? линейных функций от {уи...,уп}. Тогда SSy является квадратом длины проекции вектора на- наблюдений у на пространство Vt. Доказательство. Выберем ортонормированные век- векторы {а^хч, ..., а(геХ1>}, порождающие Vt. Определим 2(. — а'(у; таким образом, линейные формы {zi,...,z<} порож- порождают 3?. Квадрат длины проекции у на Vt может быть вычис- вычислен как сумма квадратов проекций у на базисные векторы
156 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫИ АНАЛИЗ {ai, ..., at), т. е. t t Геометрическая интерпретация теоремы о разбиении должна быть теперь довольно очевидной. Приложения Различные примеры, в которых полезно последовательное выделение «одиночных ст. св.» из 55 для средних по совокуп- совокупностям условий, читатель может найти в следующих работах: 1) Фишер и Иэйтс (Fisher & Yates, 1943, таблица XXIII). Выбор ортогональных полиномов, когда средние являются функциями от равноотстоящих значений независимого перемен- переменного § 6.1; более подробное изложение см. в книге Андерсона и Банкрофта (Anderson & Bancroft, 1952, гл. 16). 2) Лорэн (Lorain, 1952). Пусть известно, что кривая регрес- регрессии до некоторой точки совпадает с прямой, а затем подчи- подчиняется другому закону; рассматривается задача оценки пере- переломной точки по наблюдениям в равноотстоящих значениях не- независимого переменного. 3) Кокран и Кокс (Cochran & Сох, 1957, §§ 3.42—3.43). Раз- Различные подразбиения 55 совокупностей условий для различных целей. В следующем параграфе мы рассмотрим другой пример, в котором разобьем обычные 55 ошибок и остаточное 55 в слу- случае двухфакторного анализа с одним наблюдением в ячейке. § 4.8. Взаимодействия в двухфакторном анализе с одним наблюдением в ячейке На практике мы часто заинтересованы в предположении аддитивности для двухфакторного анализа с одним наблюде- наблюдением в ячейке (мы сделали его в § 4.2). Пусть уц является наблюдением в (Ц) -ячейке. Рассмотрим первоначальные основ- основные предположения Г г/1/= ^ + «1Н-Р/Ч-Y*/ 2: s {etj} независимы и hi + е„, Q: ^ {etj} независимы и имеют распределение N @, а2), ПРИ всех '» /• Мы хотим проверить гипотезу И: все Vf/ =
§ 4.8. ВЗАИМОДЕЙСТВИЯ В ДВУХФАКТОРНОМ АНАЛИЗЕ 157 В предположениях Q обычный F-критерий для взаимодействий здесь не может быть применен, так как 55 ошибок не имеет степеней свободы. Тогда естественно попытаться получить кри- критерий для проверки И в предположениях Q', включающих не- некоторые ограничения на {у,/}. Мы дадим обоснование крите- критерия *) для гипотезы Н в предположении, что {7,7} имеют вид yt)asGafih D.8.1) где G постоянная. Ограничения D.8.1) легко можно сделать более естествен- естественными. Предположим, что взаимодействие yit является функцией главных эффектов а> и Р/. Если этой функции служит многочлен второй степени Y,/ = А + Вщ + СР/ + Da? + Ga,p, + Яр?, D.8.2) то он обязан иметь вид D.8.1). Это является следствием соот- соотношения а» = Р* = V'* = V*/ — 0- Из D.8.2) находим yu = A + Bat + Da* + HB = O, где е ? откуда B^ + Da^ — A — HQ, СР,+ Яр? = — А — Dq>. Подста- Подставляя эти выражения в D.8.2), получаем ytl = —А — Я0 — ?>ф + Gatp/. D.8.3) Но yiw = _ А — Я9 — ?><р = 0. Следовательно, D.8.3) сводится к D.8.1). Предположения Q' запишем в виде !Уи = ц + о, + р/ + Ga(p/ + ej/, {е,/} независимы и имеют распределение Л^@, а2), Теперь попытаемся получить критерий для проверки гипо- гипотезы Н эвристическим путем. В предположениях Q' построение лн/с-оценок параметров ц, {at), {P/}, G не может быть простым, так как {М(у>/)} больше не являются линейными функциями параметров, как это всегда предполагалось в этой книге. Пред- Предположим временно, что {at} и {р;} нам известны. При этом •) Критерий получен Тьюкн (Tukey, 1949а), но обоснование принадлежит Мне. Приведенная ниже теорема и доказательство тоже получены Тьюкц,
158 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ фиктивном предположении легко получить лш/с-оценку 0 пара- параметра G. Нужно минимизировать 9> = I S (Уи - ц - а,- - р/ - G<zfp/J. Из условия -Ц- = - 2 2 2 а'^ ^f/ - ^ - а, - Р/ - Ga,p;) = О находим, что так как ZE^^ES^SS Рассмотрим теперь «55 взаимодействия» ? X у?/» где y*/ — X<z2 Таким образом, X S Yf/ = G2 X<z2 SP/. или ? X Так как в этом «55 взаимодействия» нам известны {а<} и {р/}, заменим их лмк-оценками {ш, Р;} в предположениях Q; по- получим 55„ = Мы можем, как обычно, использовать 55о для проверки Н, отбрасывая Н при «больших» 55о. Но как найти распределе- распределение 55о? Это можно сделать в предположениях со = Н П Q. Как мы сейчас докажем, 55о при со имеет ^-распределение, хотя 55о не является суммой квадратов линейных форм наблю- наблюдений, а равно отношению многочлена шестой степени к мно- многочлену четвертой степени. Теорема. Пусть через со обозначены гипотезы {Уц = И + at + р/ + ец, (вц) независимы и имеют распределение N @, а2),
§ 4.8. ВЗАИМОДЕЙСТВИЯ В ДВУХФАКТОРНОМ АНАЛИЗЕ 159 Положим [ZZ ее L i I i i (уи - у,. - У., + yj\ D.8.4) где К = Ун — #». Р/ = У.1 — У**- Тогда в предположениях со величины SSg/o2 и 5SOCt/o2 неза- независимы и имеют ^-распределения с одной и IJ — / — / ст. св. соответственно. Доказательство. Пусть уц — уц — f/г» + г/»/+ г/**. Лег- Легко проверить, что SSa может быть записано в виде SSe= Рассмотрим (/—1)Х(^—1)-мерное линейное пространство 9?, порожденное линейными формами {уц}. Суммой квадратов, связанной с 3?, является 55^, = SSBH = X 2y^- В разделе «Ортогональные соотношения» (§ 4.2) рассматриваемое здесь 3? обозначено через 3?е- Построение ортогональных соотношений зависит только от ковариационной матрицы наблюдений и не зависит от их математических ожиданий. Рассмотрим в 3? еще линейную форму / = EZa(byY</= ?!?<*,•&/#</> D-8.5) где постоянные коэффициенты {at, Ь,} удовлетворяют условиям i i ' следует, что 1 „2 коэффициенты {at, Ь,} удовлетворяют условиям , Еа->0 и 1>;>0. Из теоремы 1 § 4.7 ¦¦ s^z* L I i независимы и имеют ^-распределения с одной и// — / — /ст. св. соответственно. При со имеем M(ytj)=O; следовательно, оба ^-распределения являются центральными. Напомним, что три множества линейных форм {6с,}, {Р/} и {уц} порождают три взаимно ортогональных пространства
160 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ и, таким образом, эти три множества случайных величин яв- являются независимыми. Следовательно, условное распределение {yi/} при заданных {6ц} и {Р;} совпадает с безусловным. Рас- Рассмотрим фиксированные {а,} и {р;}. В D.8.5) положим а, = = а,-, 6/=Р;. Так как 2«(>0и2Р/>0 с вероятностью единица*), то в предположениях со совместное условное рас- распределение SSo/o2 и SSoct/o2 при заданных {а,} и {C;} совпа- совпадает с распределением определенных выше двух независимых случайных величин, имеющих х2-распределения с одной и // — — / — / ст. св. соответственно. А так как это условное распре- распределение не зависит от фиксированных значений {а,} и {J3j}, то безусловное распределение совпадает с условным. Таким обра- образом, теорема доказана. Обобщение этой теоремы дано в задаче 4.19. Приложение теоремы к проверке взаимодействий В случае двухфакториого анализа с одним наблюдением в ячейке можно применить доказанную теорему к разбиению обычной суммы квадратов ошибок на две составляющие SSa и SSoct- Критерий для взаимодействий, вытекающий из этой теоремы, заключается в сравнении SSa с 55ОСг. Это делается при помощи статпсики. (IJ-I- J) SSQ D.8.6) которая в предположениях со имеет центральное F-распределе- ние с одной и // — / — / ст. св. Исследовать распределение статистики критерия в предположениях Q или Q', по-видимому, трудно. К сожалению, в этих предположениях нам еще неизве- неизвестно МE5О). Однако можно ожидать, что критерий хорошо работает в случае конкурирующей гипотезы вида D.8.1). В двухфакторном анализе с одним наблюдением в ячейке различные критерии для взаимодействий обычно применяются в том случае, когда один или оба фактора являются количе- количественными (см. § 6.1) и уровни соответствуют равноотстоящим значениям контролируемой переменной. Предположим, что фактор А качественный, а В — количественный. Тогда 55 взаи- взаимодействия последовательным исключением одиночных «орто- «ортогональных степеней свободы» может быть разложено на взаи- взаимодействия А с линейным эффектом В, с квадратичным эффек- *) Случайные величины {а2 ay, P2 $/} имеют совместную плотность распределения вероятностей и, следовательно, имеют вероятность того, что все оии равны нулю.
§ 4.8. ВЗАИМОДЕЙСТВИЯ В ДВУХФЛКТОРНОМ АНАЛИЗЕ 161 том В и т. д. так же, как в теореме 1 § 4.7; см., например, Дэвис (Davies, 1956, §§ 8.3, 8.4). Если фактор А тоже является количественным, то за одиночные «ортогональные степени сво- свободы», исключаемые из взаимодействия, мы можем взять (ли- (линейное Л)Х(линейное В), (линейное Л)Х(квадратичное В), (квадратичное Л)Х(линейное В) и т. д.; см. задачи 4.17 и 4.18. Тогда 55, оставшееся после исключения указанным путем трех степеней свободы, является 55 ошибок, которое обычно упо- употребляется. Описанный выше критерий, основанный на выделении сте- степеней свободы из 55 взаимодействия в случае двухфакторного анализа, может быть обобщен *) на другие случаи (см. задачи 4.19 и 5.9). Влияние взаимодействий на выводы Положение осложняется, когда приведенный выше критерий отвергает гипотезу Н или когда по каким-нибудь другим сооб- соображениям мы решаем, что взаимодействиями {уц} нельзя пре- пренебречь**). Во-первых, существует обычная трудность, связан- связанная с практическим объяснением любых заключений, которые могут быть сделаны относительно главных эффектов в случае с ненулевыми взаимодействиями. Во-вторых, имеется трудность в получении любых заключений относительно главных эффек- эффектов, так как в предположениях Q (или Q') нет несмещенной оценки о2, как в случае, когда некоторые ячейки содержат бо- более одного наблюдения. Теперь мы рассмотрим влияние {уц} на статистические выводы, которые должны быть справедли- справедливыми, если Н истинна. Оценка сравнений главных эффектов, являющиеся мнк-оцен- ками при со, остаются, как легко видеть, несмещенными и при Q. (Для этого нужно только одно предположение, а именно М(е,7)=0 при всех t, /.) Действительно, если, например, срав- сравнение ¦ф = 5]с;а(, Где ?^ = 0, допускает оценку ¦$ —5]с(#<*> то в предположениях Q M0ij) = i|3 и о? = о2Хс?//. При оценке а2 последнего равенства посредством 55дв, являющимся част- частным от деления D.8.4) на (/—1)(/—1), в среднем получится завышенная оценка ошибки ф, так как *) Тьюки (Tukey, 1955). **) Тьюки (Tukey, 1949a) предложил в случае, когда по критерию Я от- отвергается, рассмотреть преобразование данных, которое уменьшает величину D.8.6) настолько, Что она становится незначимой. Он предложил возможный способ выбора такого преобразования, связанный с рассмотрением вклада каждой строки в SSq. Мне кажется, что этот прием очень трудно обосновать. R Г. ШеААе
162 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ где Это позволяет предположить, что интервалы, используемые для оценки сравнений при <а, являются «слишком широкими» при Q (из-за неизвестного фактора), и если ¦ф отличается от нуля, то вероятность того, что ф не отличается значимо от нуля, будет больше вероятности того же события, вычисленной в предполо- предположениях ш. Теперь в предположениях Q мы будем исследовать мощ- мощность обычного критерия для проверки НА (Нл: все а< = 0), по которому НА отвергается, если SS — *? Г a- v^; vAg, Л:>АВ где $$а является частным от деления SSa (обычное SS эффек- эффектов строки) на \а и В предположениях Q величины SSa/o2 и SSab/o2 независимы и имеют нецентральные х2-распределения с \А и \ав ст. св. соот- соответственно; параметры нецентральности этих распределений определяются формулами Таким образом, статистика критерия SSa/SSab является слу- случайной величиной F" v ,e { , которая определяется как отношение двух независимых случайных величин ^а%а.6а/Чв^ав ьАВ (нецентральная случайная величина %'v6 определена в приложении IV). Закон распределения*) случай- случайной величины F" e . называют двойным нецентраль- нецентральным F-распределением. Мощность критерия равна . vab-> «л. «лв > f«; v^, vAB]. D.8.7) Мы можем аппроксимировать D.87) центральным F-pac- пределением, так что эта аппроксимация может быть выра- выражена в числах по «Таблицам неполной В-функции» К. Пирсона, как было объяснено в § 2.2. Аппроксимируем сначала *) Выражение для плотности вероятностен В-преобразования величины F1' было дано Мадоу (Мадоху, 1948) в форме бесконечного ряда; его интегри- интегрирование дает функцию распределения И" в виде бесконечного двойного ряда по неполным ^-функциям.
§ 4.8. ВЗАИМОДЕЙСТВИЯ В ДВУХФАКТОРНОМ АНАЛИЗЕ 163 Х^в с величиной с%\ с с и v, вычисленными по формулам (IV. 5) приложения IV. Подставим эти величины в числитель и знаменатель выражения F" — VaB% г vA, vAB; 6А, 6АВ — После некоторых упрощений получим аппроксимирующее вы- выражение где Нашей аппроксимацией D.8.7), полученной при помощи цент- центрального F-распределения, является D.8.10) где V4 и vab заданы формулами D.8.9). Числовыми расчетами по формуле D.8.10) можно показать, что мощность является быстро убывающей функцией от а.в. Даже простое рассмотрение D.8.10) приводит к такому же заключению, так как правая часть неравенства возрастает по аАв> °Днак0 этого недостаточно для окончательного вывода, так как v« в левой части тоже зависит от а2АВ. Прямое дока- доказательство этой зависимости, основанное на D.8.8), а не на аппроксимации, дается в конце этого параграфа в приложении. В частности, когда Нд истинна, вероятность отвергнуть ее, т. е. вероятность ошибки I рода, является убывающей функцией аАв. Таким образом, фактическая вероятность отвергнуть Нд, когда аАВ > 0, всегда меньше, чем номинальная вероятность а, верная при ^ = 0. Так как обоснованность применения S-ме- тода множественного сравнения зависит только от вероятности ошибки I рода соответствующего критерия для проверки гипо- гипотезы, то отсюда вытекает следующее утверждение: если S-метод используется для главных эффектов {а,} с общим коэффициен- коэффициентом доверия 1 — а, верным при сг^в = О, то действительная вероятность всех утверждений при оАВ > 0 будет больше в*
164 ГЛ. 4. ПОЛНЫЙ 2-, 3 И МНОГОФАКТОРНЫЙ АНАЛИЗ 1 от -а; эта вероятность является возрастающей функцией а\в. Аналогичные результаты, конечно, справедливы для заклю- заключений о главных эффектах столбца. Приложение, доказывающее*), что мощность критерия для проверки Нл является строго убывающей функцией от оАВ Если мы подставим D.8.8) в D.8.7) и применим (IV. 1) при- приложения IV, то найдем, что мощность может быть записана в виде /VAB \ ¦B Л) > Fa,- D.8.11) где {хи ...,xVA,yu... ,У\АВ) независимы и имеют распределение N@,1). Теперь мы считаем, что сг2 и 6л заданы. Так как аАВ — G2bABlvAB' To достаточно показать, что D.8.11) строго убывает по |блв|- Мы можем переписать D.8.11) в виде f (S^b) - Р {(Hi + S^bJ < г), D.8.12) где случайная величина [ ' "АВ ЫЧ. не зависит от у\. Обозначим через 6i и бг любые два значе- значения блв, для которых |6i|<|62l. Мы будем доказывать, что для /(блв), определенной D.8.12), выполняется неравенство /F,)>/(б2). Теперь где р(г) —плотность распределения величины г, а через g&(z') обозначена (при любом положительном числе г') условная ве- вероятность того, что (t/i + 6J<z' при условии z = z'. Однако эта условная вероятность должна быть такой же, как безуслов- безусловная, так как у\ и z независимы. Таким образом, g&(z') является *) Это доказательство мне сообщил проф. Краскал.
ЗАДАЧИ 165 вероятностью того, что случайная величина у\ попадает в ин- интервал длины 2 -yV с центром в —б; а так как г/i имеет рас- распределение N@, 1), то эта вероятность является строго убы- убывающей*) функцией от |б|. Следовательно, g6l (z') — g62 (z')> 0 при всех г7 >¦ 0. Таким образом, оо f F.) - / F2) = 5 [ft, (г) - g&1 (г)] р (z) rfz > 0. ЗАДАЧИ 4.1. Рассматривается двухфакторный анализ с двумя уровнями фактора Ли/ уровнями фактора В; в каждой ячейке имеется одно наблюдение. По- Показать, что F-критерий для гипотезы На эквивалентен /-критерию, основан- основанному на / разностях dt = уц — уц, и что в этом случае ^-предположения могут быть значительно ослаблены, так что мы можем принять следующую форму Й-предположений: где / пар (е^, е2/) независимы и каждая пара распределена нормально с М (*„) = М (е2/) = 0, D (еи) - а\, D (е2/) = о| Cov (e1/; в2/) = ра,а2. 4.2. Следующие данные **) показывают влияние двух снотворных средств на 10 пациентов: щ является увеличением продолжительности сна 1-го па- пациента, когда использовалось средство A, a vi — когда использовалось сред- средство В. Дисперсии популяций о„ и а^ не предполагаются равными. Пациент 123456789 10 +0,7 -1,6 -0,2 -1,2 -1,0 +3,4 +3,7 +0,8 0,0 +2,0 + 1,9 +0,8 +1,1 +0,1 -0,1 +4,4 +5,5 +1,6 +4,6 +3,4 а) Проверить с уровнем значимости 0,01 гипотезу, заключающуюся в том, что математические ожидания увеличения продолжительности сна при ис- использовании этих лекарств одинаковы. Указание. Рассмотреть разности yi = vi — щ. б) Установить точно предположения Q и Н на основе анализа в а). в) Обеспечивают ли данные убедительное доказательство того, что ис- использование средства Л приводит к увеличению сна по сравнению с неис- неиспользованием средства. г) Допустим, что мы уверены в том, что дисперсия о\ разности d = v — и не превосходит 1,25; требуется с 90%-ной уверенностью обнару- обнаруживать разность в 1 час между увеличениями продолжительности сна, вы- вызванными использованием этих двух средств. Сколько для этого пациентов *) Доказтельство того, что /(б), определенная D.8.12), строго убывает по |6|, остается справедливым для любых независимых случайных величин yi и z, если у\ имеет плотность, симметричную относительно yi = 0 и строго убывающую при yt > 0, а также если Р{г > 0} > 0. **) Заимствовано из The probable error of the mean, Student, Biometrika, т. 6 A908), стр. 20. В литературе первый пример ^-критерия Стьюдента был построен по этим данным.
166 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ мы должны использовать в эксперименте. (Уровень значимости принять рав- равным 0,01.) 4.3. Для того чтобы исследовать, в каких количествах поглощаются жа- жареными пончиками восемь различных сортов масла, в течение 6 дней на каждом нз этих сортов приготавливалось в день по одной партии из 24 пон- чнков. Результаты, полученные в граммах поглощенного масла, приведены в таблице А. Таблица А*). Номер сорта, масла День 1 2 3 4 5 6 i 164 177 168 156 172 196 2 172 197 167 161 180 190 3 177 184 187 169 179 197 4 178 196 177 181 184 191 F) 163 177 144 165 166 178 6 163 193 176 172 176 178 7 150 179 146 141 169 183 8 164 169 155 149 170 167 *) Заимствовано из Statistical Theory in Research R. L. Anderson, T. A. Bancroft, McGraw-Hill, New York A952), стр. 238, пример 18.3. а) Составить таблицу дисперсионного анализа, включая столбец для M(SS). б) Проверить с уровнем значимости 0,05 гипотезу отсутствия различия между истинными средними количествами поглощенного масла при использо- использовании восьми различных сортов. в) Установить предположения Й н Н. г) Устанавливается ли по S-методу (если приведенная выше гипотеза отвергнута), что любые Два сорта масла поглощаются в значимо различных количествах? Если нет, то найти какое-нибудь сравнение, которое значимо отличаетси от нуля. д) Можно ли при помощи Г-метода найти два сорта масла, которые по- поглощаются в значимо различных количествах? 4.4. а) В предыдущей задаче предположить, что восемь средних распа- распадаются на три группы: например, тM = т)т = т)8 = r\; r\t = т)г = щ = г\+12; т)з = тL = г\ + 22. Какова должна быть вероятность отвергнуть гипотезу отсутствия различия среди этих восьми средних, если ог принять равным среднему квадрату ошибки. б) Так как сорта масла 5, 7 и 8 кажутся экономически наиболее выгод- выгодными, то дальнейшие эксперименты мы планируем только с ними. Пусть было установлено, что значение аг, использованное в а), приемлемо. Сколько нужно провести экспериментов с каждым из этих трех сортов масла, чтобы с уровнем 0,05 проверить гипотезу Н: as = ос7 = осе и обнаружить любую разность, не меньшую 10 единиц между любыми двумя сортами масла с ве- вероятностью не менее 0,8. 4.5. В эксперименте со случайными блоками сравнивается восемь сортов овса. Каждый сорт выращивается иа пяти 16-футовых участках. В таблице Б приведены урожаи в граммах иа один участок. а) Провести анализ так же, как в случае двухфакторного анализа в предположении нормальности. Проверить с уровнем 0,10 разности между ма- математическими ожиданиями урожаев этих восьми сортов. б) Используя Г-метод, решить, какие пары сортов различаются. Вычис- Вычисления сохранить для использования в гл. 9.
ЗАДАЧИ Таблица Б*). Блок 167 Сорт 1 2 3 4 5 6 7 8 1 296 202 437 303 469 345 324 488 II 357 390 334 319 405 342 339 274 ill 340 431 426 310 442 358 357 401 IV 331 340 320 260 487 300 352 338 V 348 320 296 242 394 308 220 320 *) Заимствовано из Statistical Theory in Research R. L. An- Anderson, T. A. Bancroft, McGraw-Hill, New York A952), стр. 245, пример 18.11. 4.6. Для исследования спроса на газ по девяти неделям были собраны данные о расходе газа за 24 часа каждого дня, от понедельника до субботы. Количества израсходованного газа в условных единицах приведены в таб- таблице В. Таблица В*) Номер недели День Понедельник . Вторник . . . Среда .... Четверг . . . Пятница . . . Суббота . . . 1 5 3 8 8 4 3 2 1 6 4 10 —1 д 3 —4 -10 -14 —5 7 3 4 5 —2 —3 -1 -5 -8 5 -13 —7 3 4 5 -6 б -8 -2 0 2 з 0 7 о 4 5 4 —7 —3 8 -4 2 -11 1 —3 8 9 -10 2 — 12 — 12 —6 — 1 *) Заимствовано из Analysis of Variance, В. A. Griffith, A. E. R. Westman, В. Н Lloyd, industrial Quality Control, т. 4 A948), № 6, таблица IV, стр. 120. а) Спрос на газ в значительной степени зависит от дня недели. Показы- Показывают ли данные значимое изменение расхода газа от одного дня недели к Другому? (Проверить с уровнем 0,05). б) Расход газа может также изменяться от недели к неделе с измене- изменением качества угля и т. д. Проверить это. (Критерий может быть неверным из-за последовательной зависимости между строками внутри столбцов, см. § 10.5.) в) Сколько мы можем проверить (с уровнем 0,05) совместных гипотез, заключающихся в том, что нет изменений ни от дня к дню, ни от недели к неделе? Содержат ли выводы, полученные при помощи этого критерия, выводы, полученные в а) и б)? г) Пусть yt/ является наблюдением i-ro дня /-й недели в условных единицах. Допустим, что М (уA) = цс + 6г. Инженер газовой компании же- желает с вероятностью 0,85 обнаруживать любую систему вида (ць цг ... ,.., Цб) = @, 4, 8, 12, 8, 4) или ее перестановку. Достаточно ли число недель
168 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ в описанном выше эксперименте, чтобы удовлетворить эти требования, если считать, что а2 равно SSe? 4.7. Партии мяса от пяти различных поставщиков погружены в ротаци- ротационную наполняющую машину для упаковки в банки. Машина имеет шесть наполняющих цилиндров. Наудачу от каждой партии и от каждого цилиндра было взято по три наполненных банки. Веса наполненных банок в условных единицах приведены в таблице Г. Таблица Г*). Поставщик Цилиндр 1 2 3 4 5 6 1 1,1,2 -1,3,-1 1,1,1 -2,3,0 0,1,1 2 4,3,5 —2,1,0 2,0,1 —2,0,1 2,1,5 0,0,3 3 6,3,7 3,1,5 2,4,3 3,3,4 0,1,2 3,3,4 4 3,1,3 2,0,1 1,3,3 0,0,2 1,0,-1 3,0,2 1,3,3 1,0,1 3,3,3 0,1,1 -2,3,1 3,1,2 *) Заимствовано из Analysis of Variance, В. A. Griffith, A. E. R. Westman, В. Н. Lloyd, Industrial Qualify Control, т. 4 (IS48), № 6, таблица IV, стр. 21. а) Проверить с уровнем значимости 0,05 гипотезу, заключающуюся в том, что математическое ожидание веса наполненной банки ие меняется 1) от поставщика к поставщику и 2) от цилиндра к цилиндру. б) Проверить с уровнем 0,05 гипотезу отсутствия взаимодействий. Ре- Результаты сохранить для дальнейшего использовании в задаче 4.11 в). в) Используя Г-метод, иайти с уровнем доверия 0,95, от каких поставщи- поставщиков отличаетси значимо поставщик 3. 4.8. В эксперименте гибридные крысы-самки вскармливаются четырьмя типами крыс. Таблица Д дает веса гибридных крыс-самок. (Эти веса яв- Таблица Д*) Генотип помета А F Генотип кормящей крысы А 61,5 68,2 64,0 65,0 59,7 60,3 51,7 49,3 48,0 Р 55,0 42,0 60,2 50,8 64,7 61,7 64,0 62,0 52,5 61,8 49,5 52,7 56,5 59,0 47,2 53,0 1 42,0 54,0 61,0 48,2 39,6 51,3 40,5 Генотип помета / / Генотип кормящей крысы А 37,0 36,3 68,0 59,0 57,4 54,0 F 56,3 69,8 67,0 59,5 52,8 56,0 39,6 46,0 61,3 55,3 55,7 45,2 57,0 61,4 50,0 43,8 54,5 44,8 51,5 53,0 42,0 54,0 *) Заимствовано из приложения к The Inheritance of Maternal Influences on the Growth of the Rat. D. W. Bailey, Ph. D. thesis, Univ. California A953) Table B. Я благодарен профессору Е. Dempster, указаашему мне этот пример.
ЗАДАЧИ «69 ляются средними по помету, полученными в граммах на 28-й день вскармли- вскармливания. Дисперсия внутри помета, очевидно, пренебрежимо мала по сравнению с дисперсией между пометами.) Факторами в этой задаче являются генотип кормящей крысы и генотип помета. а) Вычислить статистику У для проверки взаимодействий. (Дальнейшие вычисления должны проводиться без предположения аддитивности.) б) Для каждого фактора вычислить статистику У для проверки главных эффектов. в) Пусть через л|э обозначено сравнение, равное разности истинных глав- главных эффектов двух типов кормящих крыс, для которых разности оценок главных эффектов являются наибольшими. При помощи S-метода найти до- доверительный интервал для л|э с а = 0,10. Сохранить вычисления для дальней- дальнейшего использования в гл. 10. 4.9. На консервном заводе в 33-эксперименте (^-эксперимент проводится для изучения р-факторов, каждый из которых имеет q уровней) изучается влияние на вес готовой вишни (через 24 часа после консервирования) сле- следующих факторов; 1) «наполнение» банки, т.е. вес сырой вишни без сиропа; 2) мера концентрации сахара в сиропе; 3) «состояние» продукта, классифи- классифицируемое буквами L, M, D, т. е. соответственно светлый, средний, темный. В таблице Е значения весов и меры концентрации сахара приведены в услов- условных единицах. Наполне- Наполнение 0 1 2 L 55 200 233 Та б 0 лица Е. Состояние М 95 232 285 D 169 223 291 L 55 183 236 Концентрация 23 Состояние М 69 215 259 D 163 207 278 L 49 148 233 33 Состояние М 88 200 223 D 153 245 259 Проанализировать данные, используя S5 трехфакторного взаимодействия как SS ошибок. 4.10. Эксперимент по исследованию влияний некоторых факторов на изо- изолирующее покрытие стальных проводов был запланирован с полной классифи- классификацией по следующим факторам: четыре различных типа покрытия (уровни фактора Л); два уровня температуры (В) и два уровня давления (С), при которых приготавливалось покрытие; четыре различные стальные панели (D), которые были использованы в эксперименте. В таблице Ж приведены ре- результаты испытаний Франклина (ASTM Л-344-52) в амперах на квадратный дюйм (при давлении 500 фунтов/кв. дюйм), так что меньшее измерение со- соответствует лучшей изоляции. а) Составить таблицу дисперсионного анализа с SS u_SS для всех главных эффектов и взаимодействий. (Полезно рассмотреть SS трех- и двух- факторных взаимодействий раздельно, даже если заранее решено объединить соответствующие SS с SS ошибок: относительная величина SS может под сказать интересные указания к дальнейшему.) б) Используя объединение SS трех- и четырехфакторных взаимодействий с SS ошибок, решить, какие главные эффекты и двухфакторные взаимодей- взаимодействия являются важными.
170 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ Таблица Ж Уровень Уровень Уровень Уровень D Уровень Уровень Уровень Уровень О А в С 1 2 3 4 А В С 1 2 3 4 1 ! 1 0,25 0,36 0,36 0,25 1 ! 0,44 0,65 0,42 0,47 2 0,16 0,002 0,06 0,10 2 0,24 0,08 0,49 0,14 i 1 0,30 0,18 0,44 0,34 3 ! 0,22 0,14 0,17 0,36 > 2 0,27 0,03 0,13 0,04 2 2 0,18 0,36 0,25 0,19 ! 0,41 0,28 0,33 0,21 1 0,43 0,62 0,47 0,52 2 0,10 0,04 0,03 0,01 2 0,27 0,03 0,28 0,07 2 i • 0,13 0,06 0,19 0,20 4 е 1 0,26 0,51 0,21 0,32 2 0,06 0,03 0,04 0,01 2 0,21 0,03 0,25 0,38 в) Четыре уровня фактора А в действительности составляют B X 2) -фак- -факторный эксперимент (два вида материала покрытия и две толщины слоя покрытия): уровни 1 и 2 фактора А являются одним материалом, а 3 и 4 другим; уровни 1 и 3 соответствуют тонкому слою, а уровни 2 и 4 — более толстому. Разбить SS фактора А на три «ортогональные ст. св.», соответ- соответствующие главному эффекту материала, главному эффекту толщины и вза- взаимодействию. Какие выводы вы сделаете из этого? (В рассматрваемый экс- эксперимент было бы разумно включить пятый уровень А, соответствующий панелям без покрытия; мы не включили его, так как такое включение при- привело бы к ЛВС-взаимодействию, которое усложнило бы объяснение этого иллюстративного примера.) г) Рассматривая в только что исследованном B X 2)-эксперименте че- четыре средних (усреднение по уровням В, С, D), мы видим, что эффектом толщины слоя, очевидно, можно пренебречь по сравнению с материалом уровней 3 и 4, но ие с уровнями 1 н 2. Чтобы проверить это, нужно рассмо- рассмотреть оценку сравнения, являющегося разностью средних для уровней 1 и 2, и оценку его стандартного отклонения. Указание. Читатель может проверить, правильно ли он проводит доволь- довольно сложные вычисления в а), по следующим частным результатам: средними квадратов для А, АВ, ABC, ABCD являются соответственно 0,1077; 0,0166; 0,0130; 0,0120. 4.11. По даииым задачи 4.7 вычислить F X 5)-таблицу сумм ячейки; так, суммой A; 2)-ячейки является 4 + 3 + 5 = 12. а) Считая полученную таблицу двухфакториой таблицей с одним наблю- наблюдением в ячейке, применить критерий § 4.8 для взаимодействий. б) То же самое повторить с кубами сумм в а). в) Объяснить, почему ожидается меньшее или большее значение F-cra- тнстики в а) и б). 4.12. Если в r-факторном анализе с одинаковыми числами наблюдений в ячейке один фактор имеет только два уровня или если имеется ровно два
ЗАДАЧИ 171 наблюдения в ячейке, то некоторые SS могут быть вычислены другим путем с использованием разностей; примерами являются вопросы а) и б) этой за- задачи. в) В случае двухфакторного анализа предположим (обозначения такие, как в § 4.3), что 1 = 2. Доказать формулы / б) Пусть теперь К — 2, а / произвольно. Доказать формулу 4.13. Предположим, что в полном анализе с равными числами наблюде- наблюдений в ячейках фактор А имеет / уровней; полученные в результате наблю- наблюдений средние этих уровней обозначим через {уи ..., yi} (так, например, в § 4.3 yi = Hi**)- Предположим также, что некоторым способом, не зависящим от результатов эксперимента, эти / средних разделены на два множества из /i и /г средних, так что /i + h = Л Обозначим {yi} в первом множестве через (Z| z^), а во втором — через {а>|, ..., а>/2}- Показать, что сумма квадратов которая с точностью до постоянного множителя (JK. в § 4.3) ивляется SS главных эффектов Л, может быть разбита на суммы квадратов для каждого множества относительно среднего этого множества плюс SS между средними этих множеств, т. е. t B<- -2.J + t (•* - °>f +'" V2 К - «О2- . Доказать, что в обычных предположениях нормальности эти три SS неза- независимы. 4.14. Получить результат, аналогичный результату задачи 4.13 в случае трех множеств средних. Указание. Обобщение можно получить из формулы задачи 4.13, если в этой формуле последнее SS записать в виде Л (zt — д„J + /2 (wt — i/J2. 4.15. Применяя двухфакториый анализ с одним наблюдением в ячейке, проверить результат задачи 2.8 в случае гипотезы нулевых эффектов строки. 4.16. В таблице 3 приведены в миллилитрах объемы хлебных булок, вы- выпеченных из 100-граммовых порций теста, которые были приготовлены из 17 различных сортов пшеничной муки и которые содержат х миллиграммов бромистого калия при х = 0, 1, 2, 3, 4. а) Провести двухфакторный анализ. б) Разбить SS столбцов на отдельные ст. св. для линейных квадратич- квадратичных, кубичных сравнений эффектов и сравнений эффектов четвертой степени при помощи таблицы XXIII Фишера и Иэйтса (Fisher & Yates, 1943). Прове- Проверить каждый эффект с уровнем значимости 0,05.
172 ГЛ. 4. ПОЛНЫЙ 2-, 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ Таблица 3*) Сорт муки 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 0 950 890 830 770 860 835 795 800 750 885 895 685 615 885 985 710 785 Объем булки прг 1 1075 980 850 815 1040 960 900 860 940 1000 935 835 665 910 1075 750 845 2 1055 955 820 765 1065 985 905 870 1000 1015 965 870 650 890 1070 740 865 X 3 975 865 770 725 975 915 880 850 960 960 950 875 680 835 1015 725 825 4 880 825 735 700 945 845 785 850 960 895 920 880 660 785 1005 720 820 *) Заимствовано из A comparalson of hard red spring and hard red win- winter wheats, R. K. Larmour, Cereal Chemistry, т. 18A941), таблица II, стр. 783. в) Подобрать полином по х к средним столбца*). Степень полинома будет зависеть от выбора в б). После вычисления уравнения этого полинома нанесите его и средние столбца на один н тот же лист разграфленной бу- бумаги. , Указание. При вычислении уравнений полиномиальной регрессии по точ- точкам с равноотстоящими абсциссами полезно использовать явные формулы первых семи ортогональных полиномов, приведенные перед таблицей 47 Пир- Пирсона н Хартли (Pearson & Hartley, 1954); эта таблица 47 включает табли- таблицу XXIII Фишера и Иэйтса. 4.17. Приводимые ниже результаты в двухфакторном анализе с одним качественным и одним количественным факторами (см. § 6.1) дают полезное разбиение SS взаимодействий; о приложениях см. Дэвис (Davies, 1956, § 8.3). Предположим, что {(/(/} являются // переменными в двухфакторном анализе. Пусть для множества / переменных {«,} определено множество {Lr{u{, ... ^ arjUЛ из R ортогональных линейных функций (R^I); пред- предположим также, что ац = 1, так что Li является суммой {«,}. Если R орто- ортогональных функций {Lr} образованы для каждой из / строк {(/;/}, то мы мо- моi \ составить (/ X Я)-таблицу. Показать, жем нз величин {} р i Lir = V ч^Уц \ *) Более подробный анализ может быть сделан при помощи линейных, квадратных, кубичных сравнений и сравнений четвертой степени, вычислен- вычисленных отдельно для каждого сорта, и при помощи использования взаимодей- взаимодействия «четвертая степень — сорт» как среднего квадрата ошибок; см., напри- например, Дэвис (Davies, 1956, § 8.3); см. также задачу 4.17.
ЗАДАЧИ 173 что {Ltr) являются ортогональными функциями от {(/,,}. Для того чтобы раз- разложить SS взаимодействия иа суммы квадратов, каждая из которых с точ- точностью до целого постоянного множителя имеет вид Sr = ^ (L;r — Ltr) i при г > I, мы должны доказать, что при г> I линейная форма Lir — L*r принадлежит «пространству взаимодействий» 2?, порожденному линейными формами {(/г/ — у.г — у*/ + </¦*}• Доказать это. Указание. Достаточно показать, что Цг — L«,r ортогонально к {(/,-.} и {(-•,/}. Почему? 4.18. Эта задача является продолжением задачи 4.17. Если оба фактора количественные, то следующие результаты полезны при разбиении SS вза- взаимодействия; например, см. Дэвис (Davies, 1956, § 8.4). Пусть через {Afs} обозначено множество s ортогональных функций от / переменных {о,-}: где Ьи = 1. Образуя эти ортогональные функции для каждой из R строк приведенной выше (/ X R) -таблицы величин {Цг}, мы получим (S X R) -таб- -таблицу величин {Afsr}. Показать, что получится такая же таблица, если мы сначала к столбцам (/ X I) -таблицы величин {(/(/} применим функции {Ms}, а затем к строкам полученной таблицы — функции {L,}. Доказать, что {Msr} являютси ортогональными функциями от {(/,7}. Доказать, что при s > 1 11 г > 1 функции Ms, принадлежат введенному выше «пространству взаимодей- взаимодействий» St. 4.19. Обозначим предположения, состоящие в том, что {/"*'> имеет рас- распределение N (-ХщР, о21), через «в; л^^ (где Ри — любая жкк-оценка 0 в пред- предположениях ©) обозначим через tj<»> а || у — tj<a II2 — через 9"ф. Пусть z("xl' = = fDoi>) является произвольной*) функцией от ч,в (функция / должна быть выбрана до рассмотрения результатов наблюдения вектора у). Пусть ? — та- такая же линейная функция от г, как Чи от у, т. е. если ри = Д(/, %, = = лфАу = By, то ? = Вг. Предположим, что ранг Хи = ги, так что 2 распределена Xv c va,= п ~ гф ст- св- Определим Доказать**), что SSf и SP® — 9"f, поделенные на а2, в предположениях м независимы и имеют ^-распределения с 1 и vB-l и. св. соответственно. Отметим, что функцию \\z — ? II~2SSf при а можно рассматривать как квад- квадрат коэффициента регрессии (гл. 6) остатка у — %, на г. Указание. При а> у — Чи не зависит от ци. Рассмотреть условное распре- распределение SSj и ^><а — SSf при условии %>; при этом условии г будет постоян- постоянной, а г' (у — ¦%) = г' A — В) у — линейной формой от у; затем продолжить рассуждения так же, как в доказательстве теоремы § 4.7. 4.20. Получить теорему § 4.8, используя результат задачи 4.19. Указание. При помощи обозначений с двумя индексами определить Формуламя 2,у = Т1^, где т^/ = ? + а, + Ру. *) Предполагается только, что эта функция измерима по Борелю и что определенная ниже при помощи этой функции величина II z — Z, \\ отлична от нуля с вероятностью единица.^' ••) Случай, когда г = /(Л<в) определяется формулами г( = а (ПИ| { — бJ, где а и b—константы, был установлен Тьюки (Tukey, 1955).
174 ГЛ. 4. ПОЛНЫЙ 2-. 3- И МНОГОФАКТОРНЫЙ АНАЛИЗ 4.21. Рассмотрим геометрическую интерпретацию существования взаимо- взаимодействий между качественным фактором н количественным; предположим, что фактор А качественный и имеет / уровней, а В — количественный и его У уровням соответствуют значения {о/} непрерывной переменной v. Пусть через г)((о) обозначено истинное среднее, или регрессия «-го уровня А, так что в обозначениях, введенных в конце § 4.1, г\ц = \\t\vj). Рассмотреть гра- графики / функций {r)i(o)} и показать, что (А X В)-взаимодействия отсутствуют тогда и только тогда, когда эти графики отличаются только параллельным сдвигом в направлении, перпендикулярном к о-оси. 4.22. Пусть т) = t\(u,v)—регрессия, веденная в § 4.1 для того случая, когда обе переменные являются количественными. Рассматривается случай квадра- квадратичной функции ц(«, у), так что г\ = As, + Atu + А& + Лн«2 + A22t>2 + Awuv, где все А являются постоянными. а) Доказать, что преобразование, приводящее к аддитивности по и и и в смысле § 4.1, существует тогда и только тогда, когда или А а = 0, или Ti = В(и — с) (v — D) + К, или т) = (Я« + Fv + ОJ+Я, где ?2+ Z72 Ф 0 а точки («, v) принадлежат одной из полуплоскостей Ей + Fv + С ^ 0 или б) Доказать, что всегда существует ортогональное преобразование от и, v к «', у' такое, что т| является аддитивной по «' и v'. 4.23. В таблице И приводятся данные еще одного эксперимента в форме полной классификации по четырем признакам. Наблюдается влажность (в граммах) выборок из некоторого пищевого продукта. Уровнями фактора А являются три сорта соли, уровни В соответствуют количествам солей, уров- уровнями С являются количества кислоты н уровнями D — две различные при- примеси. Таблица И Уровень А 1 2 3 Уровень В 1 2 3 1 2 3 1 2 3 Уровень С 1 уровень 1 8 17 22 7 26 34 10 24 39 D 2 5 11 16 3 17 32 5 14 33 2 уровень 1 8 13 20 10 24 34 9 24 36 D 2 4 10 15 5 19 29 4 16 34 Вопросы а) и б) являются такими же, как в задаче 4.10. в) Уровни фактора В соответствуют трем равноотстоящим количествам соли. Разбить SSb на две «ортогональные ст. св.» для линейных и квадратич- квадратичных эффектов. Какие выводы?
Глава 5 НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ: ЛАТИНСКИЕ КВАДРАТЫ, НЕПОЛНЫЕ БЛОКИ И ПЛАНЫ С ГРУППИРОВКОЙ § 5.1. Латинские квадраты Предположим, что в эксперименте исследуется р факторов, причем ^-фактор имеет 1„ уровней (q=\,...,p), так что имеется N = l\h ... /Р ячеек или возможных совокупностей условий. Напомним, что планирование эксперимента мы назы- называли полным р-факторным анализом, если в каждой ячейке имелось по крайней мере одно наблюдение. Часто это бывает невыполнимо, и тогда мы должны упростить схему экспери- эксперимента, допустив, что в некоторых ячейках не будет наблюде- наблюдений; такое планирование мы назовем неполным р-факторным анализом. Во всех планах эксперимента, представляющих инте- интерес, подмножество ячеек, в которых проводятся наблюдения, выбирается по некоторой схеме. Нашим первым примером бу- будет латинский квадрат с р = 3. Схема латинского квадрата является неполным трехфактор- ным анализом, в котором все три фактора имеют одно и то же число m уровней, а наблюдения проводятся только в т2 из т3 возможных совокупностей условий, которые выбираются по опи- описанной ниже схеме. Преимущество этого метода по сравнению с полным трехфакторным анализом заключается, конечно, в том, что наблюдений требуется в m раз меньше; его главное неудобство, как мы позднее увидим, заключается в том, что анализ существенно опирается на предположение аддитивности и может быть ошибочным, если в действительности взаимодей- взаимодействия присутствуют. Более очевидным ограничением является то, что все факторы должны иметь одно и то же число уровней. Схема латинского квадрата *) возникла на основе сельско- сельскохозяйственного эксперимента. Предположим, что нужно срав- *) Это определение дано Фишером (Fisher, 1926); оно включает рандо- рандомизацию, описанную в этом параграфе позднее.
176 "Л. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ нить пять сортов пшеницы. Для этого в эксперименте, прово- проводимом по схеме латинского квадрата, прямоугольное поле делят на 25 одинаковых прямоугольных участков, расположенных в пять строк и пять столбцов. Каждый сорт должен выращи- выращиваться на пяти участках так, чтобы он один раз встречался в каждой строке и один раз в каждом столбце. Если сорта занумерованы числами 1, 2, 3, 4, 5, то они могут расположиться так: 4 3 5 2 1 3 14 5 2 15 2 3 4. E.1.1) 5 2 14 3 2 4 3 15 Такое квадратное расположение чисел (или других символов), когда каждое число появляется один раз в каждой строке и один раз в каждом столбце, называется латинским квадра- квадратом. В моделях, которые обычно используются, предполагают, что «истинное» среднее участка равно сумме эффекта строки, столбца и среднего урожая сорта (т. е. равно эффекту разно- разновидности плюс генеральное среднее). Этот случай возможен, если среднее участка является суммой среднего урожая сорта и эффекта плодородия, причем A) эффект плодородия может быть линейной функцией ах-\- by -j- с от декартовых координат (х, у) плоскости поля; или B) имеется «колебание плодородия» параллельно строкам, т. е. эффект плодородия, осредненный по участку, будет функцией только строки; или C) то же самое предположение для столбцов; или *) D) эффект плодородия будет суммой A), B) и C). Однако этот сельскохозяйственный пример по соображениям, аналогичным тем, которые упомина- упоминались в связи со случайными блоками (§ 4.2), не является обыч- обычной моделью с предположением нормальности, по которой ошибки независимы, а их дисперсии равны. Тем не менее, если латинский квадрат выбран наудачу некоторым способом (кото- (который мы сейчас опишем), если число сортов больше четырех**) *) Эффект типа A) можно рассматривать как сумму B) и C) в спе- специальном случае, когда B) и C) являются линейными функциями от но- номера строки и номера столбца соответственно. **) В теории рандомизации (§ 9.3) статистика &~ имеет дискретное рас- распределение, порожденное действительной рандомизацией в эксперименте. Для (т X т)-квадратов число значений (не обязательно различных), принимае- принимаемых статистикой &", равно Nm = (т — \)\Sm, где Sm является числом «стан- «стандартных квадратов» (это понятие определено ниже) в множестве, нз кото- которого мы случайно выбираем один. Если мы выбираем из всех существующих стандартных квадратов (в этом случае Sm равно своему максимальному зна-
S 5.1. ЛАТИНСКИЕ КВАДРАТЫ ]77 и если сорта не взаимодействуют по строкам и столбцам, то мы можем ожидать, что статистические выводы, полученные на основе обычной модели с предположением нормальности, будут хорошим приближением к верным заключениям, полученным на основе более реалистической рандомизированной модели (гл. 9). Существование латинских квадратов любых порядков сле- следует из примера 12 3 4 5 2 3 4 5 1 3 4 5 12, E.1.2) 4 5 12 3 5 12 3 4 который может быть обобщен на квадраты любого порядка. Если столбцы латинского квадрата переставлены, то, очевидно, результат тоже будет латинским квадратом; аналогично для строк, а также для любых перестановок чисел. Для рассмотре- рассмотрения способа случайного выбора латинского квадрата удобно ввести следующее определение: совокупность латинских квад- квадратов, получаемую из единственного квадрата перестановкой строк, столбцов и чисел, назовем множеством трансформаций. Канонической формой любого (тХ-латинского квадрата называется стандартный квадрат, который получается переста- перестановкой столбцов, приводящей к первой строке вида A, 2,... ,/п), и последующей перестановкой строк, приводящей к первому столбцу вида A,2,...,га); при этом первая строка уже не будет переставляться. По этому определению E.1.2) является стандартным квадратом; стандартный квадрат, соответствую- соответствующий E.1.1), имеет вид 12 3 4 5 2 5 13 4 3 4 2 5 1. 4 3 5 12 5 14 2 3 Из стандартного (mX m) -квадрата мы можем получить га!(т—1)! квадратов, сделав ml перестановок столбцов и (га—1)! перестановок строк, оставляющих первую строку чению), то Sj = 1, S3 == 1, S4 = 4, S5 = 56, Se = 9408. Общая формула для Sm неизвестна.) Таким образом, &" при m = 4 принимает 24 значения. При гипотезе отсутствия различия между сортами эти значения нужно брать с равными вероятностями. Получившееся дискретное распределение плохо црцближается на концах а-пределами непрерывного ^"-распределения.
178 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ на месте. Можно доказать, что все эти т\(т—1)! квадратов различны и что, таким образом, число различных квадратов с одной и той же канонической формой, т. е. стандартным квадратом, равно т\(т—1)!. Отсюда следует, что число раз- различных квадратов в множестве трансформаций равно т\(т—1)!, умноженному на число стандартных квадратов в этом мно- множестве. Чтобы случайно выбрать латинский квадрат из множества трансформаций, мы можем взять любой квадрат из этого мно- множества, а затем рандомизировать столбцы, строки и числа. (Подходящим способом перестановки множества числовых объектов, в нашем случае — строк-столбцов или «чисел», яв- является использование таблиц случайных перестановок Кокрана и Кокса (Cochran & Сох, 1957, гл. 15). Мы получаем, таким образом, что любые два различных квадрата из этого множе- множества могут быть выбраны с одинаковыми вероятностями. Чтобы каждый из всех (иХи) латинских квадратов мог быть вы- выбран с одинаковыми вероятностями, мы должны случайно вы- выбрать множество трансформаций с вероятностями, пропорцио- пропорциональными числу стандартных квадратов в этих множествах. Такой же результат может быть получен выбором квадратов с равными вероятностями из всех стандартных (т. X т) -квад- -квадратов и последующей рандомизацией столбцов, строк и чисел (или только столбцов и строк, исключая первую строку). За более подробными указаниями*) и таблицами читатель отсы- отсылается к введению к таблицам XV и XVI Фишера и Иэйтса (Fisher & Yates, 1943). Мы можем рассмотреть применение схемы латинского квад- квадрата в любом трехфакторном эксперименте, когда каждый фактор имеет т уровней. При т3 исследуемых «совокупностей условий» проводится т2 наблюдений так, чтобы каждый уро- *) В сельскохозяйственных приложениях, где строки и столбцы плана являются фактическими строками и столбцами участка, статистики должны отличать квадраты, выбранные ими для эксперимента случайно, от система- систематических квадратов. Систематический (т Xт) -квадрат является одним из 2т!-квадратов типа E.1.2) или его зеркальным отображением, или отличает- отличается от одного из них только перестановкой чисел. Систематический план, оче- очевидно, приведет к смещению результатов, если имеются некоторые свойства плодородия участка (например, колебание по одной из диагоналей). Анало- Аналогичный вопрос возникает в плане случайных блоков, если «совокупности усло- условий» появляются в каждом блоке в одном и том же порядке. Статистик, который отбрасывает систематический план, а затем случайно выбирает но- новый, может надеяться, что его выводы будут правильными (сокращение мно- множества планов, из которого планы выбирались с равными вероятностями, кажется незначительным, поэтому выводы о «совокупностях условий, осно- основанные на вычислении вероятностей при наибольшем множестве планов, не должны сильно отличаться от выводов, полученных с наименьшим множе- множеством планов).
§ 5.1. ЛАТИНСКИЕ КВАДРАТЫ 179 вень любого фактора появлялся точно один раз с каждым уров- уровнем любого другого фактора. Так, если строки в E.1.1) яв- являются уровнями фактора А, столбцы уровнями В, а числа уровнями С (например, уровнем С, наблюдаемым со вторым уровнем А и четвертым уровнем В, является пять), то точно такую же схему эксперимента описывает латинский квадрат 5 4 2 13 2 5 13 4 13 4 5 2, 3 2 5 4 1 4 13 2 5 в котором строки являются уровнями Л, столбцы — уровнями С, а числа— уровнями В, или квадрат 3 5 2 14 2 4 15 3 4 3 5 2 1, 5 13 4 2 12 4 3 5 в котором строки, столбцы и числа являются уровнями 5, С и А соответственно*). В дисперсионном анализе латинского квадрата с обычным предположением нормальности мы будем рассматривать ве- вероятностные соотношения при условии, что для эксперимента был выбран частный латинский квадрат. Если латинский квад- квадрат выбирается случайно (как должно быть по соображениям, которые будут выяснены позднее), то вычисленные вероятности и математические ожидания будут условными в предположе- предположении, что был выбран частный латинский квадрат. Мы придаем особое значение симметрии в наших обозначе- обозначениях. Наблюдения будем обозначать через {г/,/*}, где уцк яв- является наблюдением в исследуемой «совокупности условий» с 1-м уровнем фактора А, /-м уровнем В, k-м уровнем С. Тройка (i,j,k) принимает только т2 значений, заданных част- частным латинским квадратом, который был выбран для экспе- эксперимента. Мы обозначим это множество ш2 значений (i, /, k) *) Эта единая трехмерная схема была описана выше тремя различными латинскими квадратами, являющимися двумерными таблицами. Единая трех- трехмерная картина такой схемы получится, если мы в кубической решетке из ms точек, представляющих полную трехмерную классификацию, отметим т2 «совокупностей условий», используемых в плане.
180 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ через D. Тогда основные предположения запишутся в виде У ilk = V + at + af+aC + eijk, (I, j, k) e D, m2 случайных величин {е,-^} независимы и имеют распределение JV @, о2), Обозначения {af\ главных эффектов и т. д. остаются такими же, как в полном трехфакторном анализе (§ 4.5). Дополнитель- Дополнительные условия а(д = 0ит. д., как обычно, не нарушают общности. Q-предположения включают аддитивность, или отсутствие взаимодействий, между тремя факторами. Гипотеза нулевых главных эффектов фактора А будет обозначаться через На: все af = 0; аналогично Нв: все с^ = 0 и Нс: все а? = 0. В предположениях Q минимизируем Приравняем к нулю д&1д\\. После деления на —2 получим Когда мы суммируем по (i,j,k)^D, то мы суммируем по всем наблюдениям, так что для каждого i главный эффект af скла- дывается т раз, и, следовательно, аналогично для {с^} и {a^J. Отсюда |i = yt^, где у^ является средним арифметическим m2 наблюдений {уцк}- Из д9'/да^=^0 находим Е (Ут ~ Ц - a^ - a? - ас) = 0, E.1.3) где Dk является множеством т пар (i,j), для которых (i,j,k)^ efl, а 4 фиксировано. По определению латинского квадрата в тройках (i,j,k), составляющих D, каждое ( и каждое / встре- встречается точно один раз с каждым k, а соответствующие Dk состоят из т пар (/,/), где i и / принимают каждое значение из множества {!,...,т} только один раз. Следовательно, т Е a?=Ea? = 0, ? af = ?aS = 0, E.1.4)
§ 5.1. ЛАТИНСКИЕ КВАДРАТЫ 181 й тогда E.1.3) сводится к у^к является средним наблюдений, в которых С имеет уро- уровень k. Таким образом, и аналогично а? = у. — у af = ы . — w . Если мы вычислим SS ошибок по общей формуле SSe = = II У II2 — II Ц ||2, то получим SSe= ? tfm~ Z (iikD ' / i После возведения в квадрат, суммирования и использования дополнительных условий это равенство может быть записано в виде SSe = SSn — SSa — SSb — SSc, где В предположениях Q имеется 1 + 3/n параметров, подчиненных трем дополнительным условиям, так что г = Ът — 2, и следо- следовательно, числом ст. св. для SSe является п — г = т3 — З/п + 2. Пусть со = Q П Нс. В предположениях со лш/с-оценки могут быть получены посредством минимизации или из выражения для &, аналогичного D.3.5). Любым из этих методов мы можем найти, что при со лш/с-оценки для ц, [af}t {a?} будут такими же, как в предположениях Q (хотя, ко- конечно, а?ш = 0), и что минимумом E.1.6) является 9><л = 9>а + SSc, где SSc = mYt(aiJ вычисляется по E.1.5). Число ст. св. SSC
182 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ равно m—1. Таким образом, статистика ?F для проверки Нс равна SScISSe, где SSC = - ssc ттт; — \' В предположениях «в статистика 0" распределена Fm-\, m'-зт+г- Гипотезы НА и Нв проверяются аналогично. Таблицей дис- дисперсионного анализа является таблица 5.1.1. Таблица 5.1.1. Дисперсионный анализ (т'Х.т) латинского квадрата Источник дисперсии А В С Остаток «Полная» сумма квадратов Сумма квадратов i SSs = m?(^-t/_J SSc = mX(y,,k-y.J к sse = 2j (Уцк ~ Уы~ A, 1, k)e=D — y*i, — y,,k + 2#»««J SSn= > (У;,ь — У„) n z_i Vilk я т/ (i, /, i)eD Степень свободы m — 1 m- 1 m — 1 «2-l M {SS) a2 + mcTg a2 + ma2, a2 — Математические ожидания средних квадратов, приведенные в таблице, вычисляются при Q обычным способом и выра- выражаются через Z(«02 m— 1 a2 =¦ m— 1 a2 =¦ 1 Пространство размерности m2 линейных форм наблюдений {г/i/fc} может быть разложено на пять взаимно ортогональных пространств, а именно пространство г/,»* и четыре пространства линейных форм, квадраты которых приведены в первых четьь рех строках второго столбца таблицы 5.1.1; размерностями этих пространств являются соответственно 1, m — 1, m—1, m—1 и m2 — 3m + 2. Это может быть показано применением «метода группированных со» (§ 2.9) к цепочке гипотез Q, coj = Q Л Не, ©г = coi П Нв, (Вз = «2 Л Нд. Отсюда следует, что в предполо- предположениях Q пять SS, т. е. т2у2 , и первые четыре SS в таблице независимы. Параметры нецентральное™ их нецентральных
§ 5.1. ЛАТИНСКИЕ КВАДРАТЫ 183 ^-распределений могут быть найдены обычным способом по правилу 1 (§ 2.6). Численные вычисления для латинского квадрата аналогичны вычислениям для двухфакторного анализа с одним наблюде- наблюдением в ячейке (§ 4.2), но, кроме вычисления средних строки !#<»*}, средних столбца {у*,*}, нужно еще вычислить т средних y**k} для m уровней третьего фактора и SSc по формуле E.1.5). Множественное сравнение, основанное на S- или Г-ме- тодах, может быть легко перенесено на рассматриваемый случай. Влияние взаимодействий В полном р-факторном анализе с равными числами наблю- наблюдений в ячейках оценка любого сравнения главных эффектов, вычисленная в предположении отсутствия взаимодействия, ос- остается несмещенной при нарушении этого предположения (хотя оценка дисперсии сравнения обычно при нарушении этого пред- предположения не остается несмещенной). Пример такого случая мы приводили в плане двухфакторного анализа с одним наблю- наблюдением в ячейке (§ 4.8). Легко видеть, что это сохранится и в общем плане. Рассмотрим сравнение*) главных эффектов фактора; оценка такого сравнения является линейной функ- функцией средних {г/<}, где через y~t обозначено среднее всех наблю- наблюдений с г-м уровнем фактора. Так как наблюдения, вошедшие в pi, были просуммированы по индексам всех других факторов, то взаимодействия входят в М(г/0 только в виде сумм, которые в силу дополнительных ограничений равны нулю. Это хорошее свойство не сохраняется в случае неполного анализа и, в част-, ности, в схеме латинского квадрата. Предположим, что мы об- обобщим приведенные выше Q-предположения, вводя взаимодей- взаимодействия, так что Уф = V- + «f + а? + «? + а#» + а™ + а% + а™ + е11к, E.1.7) где главные эффекты {af\, {ct^}, {а?} и взаимодействия {а-ff}, {af*C}> {a?k}> {af/*c} Удовлетворяют обычным дополнительным ограничениям аА= ... =а = а= ... =aea==ae0 при всех i, }, k. Теперь мы будем рассматривать т3 величин {#</*}> из которых только т2 наблюдаются в действительном эксперименте; уцк является наблюдением, которое может быть *) Это утверждение верно для любой линейной функции, сумма коэффи- коэффициентов которой не обязательно равна нулю. Аналогичный результат верен для оценки взаимодействия, полученной в предположении, что все взаимо- взаимодействия высших порядков равны нулю.
184 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ получено, если для исследуемой «совокупности условий» i, /, k будет проведено измерение. Предполагается, что т3 случай- случайных величин являются независимыми и имеющими распреде- распределение N@, о2) или по крайней мере предполагается независи- независимость и одинаковая распределенность с нулевым средним и дис- дисперсией а2. Чтобы вычислить ytlfk (среднее т наблюдений в экспери- эксперименте с k-м уровнем С), мы просуммируем E.1.7) по (i,j)^Dk, где множество Dk было определено в связи с равенством E.1.3), и разделим на т\ далее, принимая во внимание E.1.4) и ра- равенства т т мы получим, что ^ = l* + a*+V* + eeft, E.1.9) где Z + a^). E.1.10) Отсюда следует, что yk зависит от (АХВ)- и (ЛХ) взаимодействий и от выбранного латинского квадрата, но не зависит от (ЛХС1)- и (SX С)-взаимодействий. Так как М (у„*) = \i + ak + Y*. E.1.11) то мы видим, что ytltk есть смещенная оценка истинного сред- среднего ц + a?; если i|)= X ?*а* является сравнением {а^}> то -ф== — И СкУ**к. является смещенной оценкой 1|з, так как И E.1.12) Таким образом, главные эффекты С переплетаются с (Х) и (А У. В X С) -взаимодействиями. (Разумеется, аналогичное свойство для главных эффектов 5 или С получается переста- перестановкой букв А, В, С в этом утверждении.) В приведенном выше сельскохозяйственном эксперименте главные эффекты разновидностей могут переплетаться со взаимодействиями «строка X столбец», но не со взаимодействиями «разновид- «разновидность X строка» или «разновидность X столбец». Всякое смещение ф будет, конечно, влиять на доверитель- доверительные интервалы для ф с центром в ф. Полное определение эф- эффекта смещения, вызванного взаимодействиями, при помощи F-критерия для гипотезы Нс должно быть более сложным
§ 5.1. ЛАТИНСКИЕ КВАДРАТЫ 185 в случае «условной» модели, задающей фактически используе- используемый латинский квадрат. Некоторые сведения о влиянии взаимо- взаимодействий на критерий могут_быть получены посредством рас- рассмотрения их влияния на SS. Так как SSC зависит только от {у**ь}> т0 SSc не может зависеть от каких-либо взаимодействий, кроме (А УС В)- и (Л X б X С)-взаимодействий, поскольку они входят в E.1.9) и E.1.10) через {ук}. Из E.1.9) мы также на- находим, что ; + Y*-Yj+a E.1.13) так как m т(т— I) Z (е„* — etj2 совпадает с SSc в случае равенства нулю ц и всех а, т. е. когда eijk = yijk, а M(SSc)=a2. Мы видим, что если Нс истинна, то М (SSc) будет превышать а2 на величину т которая может быть большой. С другой стороны, если Не оши- ошибочна,и {аРЛ являются большими, то они все же могут в сумме с {у* — Y*} составлять нуль; тогда в E.1.13) М (SSC) сводится к а2. Таким образом, влияние (АХ, В)- и (А X #Х С) -взаимо- -взаимодействий на SSC является сложным, зависит от выбранного ла- латинского квадрата, а также от значений этих взаимодействий; это влияние может привести к увеличению SSc, когда Нс верна, и к уменьшению, когда Не ошибочна. Влияние взаимодействий на SSe является еще более слож- сложным. Легко показать, что SSe не зависит от генерального сред- среднего или от главных эффектов и что всегда М (SSe) ^ а2 (это следует из задачи 1.4); однако в случае ненулевых взаимодей- взаимодействий точное выражение для М (SSe) мало пригодно для объ- объяснений влияния взаимодействий. Чтобы получить некоторое представление о влиянии (А X В)-взаимодействий на SSe, мы рассмотрим простой случай, когда имеются только эти взаи' модействия, т. е. когда Легко вычислить, что Уцк - yitt — у „к + 2//„, = = (off — Yft) + (еци — ein — е„и — e^k -f 2е,„)
186 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ где v* задано формулой E.1.10) со всеми a?Bi% = 0, и следова* тельно, в этом специальном случае М (SSe) = (т2 -Зт + 2) М (SSJ = 2Г' При помощи этого выражения мы можем установить возмож- возможность равенства М (SSe) = а2 даже в тех случаях, когда (А X Я) -взаимодействия велики; таким образом, наличие взаи- взаимодействий не обязательно приводит к неравенству М(SSe) > > о2 (возможно взаимное уничтожение членов). Из рассмотренной выше зависимости M{SSC) и M(SSe) от (А X В) -взаимодействий мы можем заключить, что в некоторых случаях, когда эти взаимодействия велики, F-статистика для проверки Нс при неудачном выборе латинского квадрата может получать значимые величины, когда Не истинна, и незначимые, когда Не ошибочна. Теперь предположим, что латинский квадрат был выбран случайно из множества трансформаций, как было описано выше (множество трансформаций может быть выбрано из семейства множеств трансформаций любым возможным способом, напри- например, с вероятностями, пропорциональными числу стандартных квадратов в множестве трансформаций). Тогда E.1.11) можно рассматривать, как условное математическое ожидание #*.* при условии, что был выбран квадрат, определяемый D. В § 9.2 будет показано, что в предположении «рандомизированной мо- модели», основанной на случайном выборе латинского квадрата, безусловное математическое ожидание t/»*ft равно ц + а?. От- Отсюда следует, что безусловные у**),, и оценка ф, определенная перед E.1.12), являются несмещенными оценками. Природа несмещенности у^к и ф является несколько утон- утонченной и нуждается в пояснении. Во всех наших предыдущих примерах несмещенной оценки ф эта оценка была несмещенной при любой выбранной частной схеме эксперимента, тогда как в рассматриваемом случае оценка, полученная с фактически используемым латинским квадратом, имеет известное смещение в том смысле, что оно зависит известным способом от неизве- неизвестных взаимодействий. В случае, когда латинский квадрат вы- выбирается случайно, мы можем записать E.1.9) в виде y*tk = V + a% + gk + ek, E.1.15) где случайная величина gk принимает значения {ук}, зависящие от полученного квадрата, а е* является случайной величиной
§ 5.1. ЛАТИНСКИЕ КВАДРАТЫ Jg7 с нулевым средним и дисперсией о2!т, представляющей резуль- результат «технических ошибок» {вцк}- В § 9.2 будет показано, что М(gk)= 0 и что gk и ек независимы. Таким образом, из E.1.15) мы видим, что в случае рандомизированного выбора латинского квадрата yk является смещением при использовании фиксиро- фиксированного квадрата и может рассматриваться как одна из состав- составляющих случайной ошибки; другой составляющей является е*. Роль у* аналогична роли эффекта «ошибок объектов» (это понятие развито в § 9.1), возникающих в результате различия экспериментальных объектов, когда объекты выбираются слу- случайно. Если (А X В) -взаимодействия известны, то должно быть известно значение у* величины gk при используемом квадрате, и тогда оценка y^k величины \i + a? может быть соответ- соответственно поправлена. Однако трудно представить себе случай, когда средние {ц + а?} неизвестны, а (А "X В) -взаимодействия известны. Если (А X В) -взаимодействия неизвестны, то мы мо- можем только указать, как они входят в оценки, но это так же бесполезно, как если бы мы в аналогичной ситуации, где экс- экспериментальные единицы выбираются случайно, сказали, что ошибки экспериментальных объектов входят в результат и как они входят, но мы не знаем этих ошибок объектов. Во всяком случае мы попытаемся устранить эффект, который должен быть эффектом смещения, если квадрат или экспериментальные объекты не будут выбраны случайно, путем проведения дей- действительной рандомизации до получения данных; статистиче- статистические выводы мы получим на основе результатов эксперимента, в который была включена рандомизация. Это не является одним из тех случаев, в которых статистик не представляет подходящую информацию своему клиенту, а дает ему веро- вероятность или ожидаемую долю правильной информации для большого ряда экспериментов всех клиентов, но ошибочной для подкласса, к которому должен принадлежать случай клиента. Рассмотренное выше плохое поведение «условных» М (SS) заключается в том, что M(SSc) велико, когда Нс верна, и мало, когда Не ошибочна, или что M(SSc) не увеличивается, когда (A XS)-взаимодействия отличны от (Х_Если мы используем рандомизацию, то такое поведение M(SSc) должно рассматри- рассматриваться как необычное с точки зрения теории распределения SS в предположении рандомизации. (Этот оптимизм был бы более обоснованным, если кроме MES) в предположении рандоми- рандомизации мы бы знали больше о дисперсии SS.) «Безусловные» M(SS) получены в § 9.2. Точные критерии рассматриваются в § 9.3.
188 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Ортогональные латинские квадраты Ортогональные латинские квадраты мы упомянем здесь главным образом для того, чтобы познакомить читателя с тер- терминологией, которая может ему встретиться. Два латинских квадрата порядка т называются ортогональными, если при на- наложении одного на другой каждая из пг2 пар чисел k, k' (й, k' = 1,2,..., пг) встречается только один раз. Множество латинских квадратов называется ортогональным, если ортого- ортогональна любая пара квадратов из этого множества. Например, тремя ортогональными квадратами порядка 4 являются 1234 1234 1234 2143 3412 4321 3 4 12' 4 3 2 Г 2143" 4321 2143 3412 Если существует h ортогональных латинских квадратов по- порядка пг, то их можно использовать для «ортогонального» объ- объединения /г + 2 факторов, каждый из которых имеет пг уровней в эксперименте с пг2 наблюдениями; для этого нужно два фак- фактора приписать соответственно строкам и столбцам, а остав- оставшиеся h факторов числам в h квадратах. Эта схема должна обладать свойством, заключающимся в том, что каждый уро- уровень каждого фактора появляется точно один раз с каждым уровнем любого другого фактора. Такой эксперимент с предпо- предположением аддитивности и обычными предположениями нор- нормальности удобен для анализа. Общее SS относительно общего среднего с пг2 — 1 ст. св. можно разложить в сумму h + 2 сумм квадратов главных эффектов (каждая с пг — 1 ст. св.) и оста- остаточное SS с {пг2—1) — (h + 2) (пг—1) ст. св. Отсюда следует, что число h ортогональных латинских квадратов порядка пг должно быть меньше пг. В таблицах Фишера и Иэйтса (Fisher & Yates, 1943) приведены множества из пг— 1 ортого- ортогональных латинских квадратов порядка пг при пг = 3, 4, 5, 7, 8, 9. Было доказано*), что не существует ортогональных ла- латинских квадратов порядка 6. Термин греко-латинские квадраты является другим назва- названием пары ортогональных латинских квадратов, возникшим в результате обычая заменять числа в одном квадрате грече- греческими буквами, а в другом латинскими; термин гипер-греко-ла- гипер-греко-латинские квадраты относится к множеству, состоящему более чем из двух ортогональных квадратов. Эти схемы в случае не- ненулевых взимодействий имеют, конечно, такое же неудобство, •) Тэрри (Tarry, 1900), Брук и Райзер (Bruck & Ryser, I949).
§ 5.1. ЛАТИНСКИЕ КВАДРАТЫ 189 как обычный латинский квадрат. Они кажутся не очень полез- полезными *) для описания схемы эксперимента только с т2 наблю- наблюдениями и более чем с тремя факторами, каждый из которых имеет m уровней. Однако они удобны в построении некоторых схем для большого числа факторов, каждый из которых имеет два уровня, а также в некоторых других схемах **). Латинские квадраты с частичными повторениями Это простое изменение схемы латинского квадрата было предложено для получения некоторой информации о взаимо- взаимодействиях, которые обычно предполагаются равными нулю. Из- Изменение состоит в проведении т2 + m наблюдений, из которых т2 получают по обычной схеме латинского квадрата, а допол- дополнительные m наблюдений являются повторными измерениями некоторых исследуемых «совокупностей условий». Повторные измерения нарушают ортогональность схемы; так как они вклю- включаются в схему, так что делается одно повторение с каждым уровнем каждого фактора, то в результате оказывается, что вычисления не становятся существенно более сложными, чем в обычном случае. Примером является схема вида Г 2 3 4 5 2 5* 1 3 4 3 1 4* 5 2, 4 3 5 Т 1 5 4 2 13* где звездочками отмечены «совокупности условий», при кото- которых проводятся повторные наблюдения. В этой схеме строки, столбцы и числа можно переставлять. Такая перестановка, ко- конечно, невозможна в сельскохозяйственном эксперименте, где строки и столбцы являются действительными строками и столб- столбцами из одинаковых участков. Повторные m наблюдений дают оценку а2, которая является несмещенной, независимо от взаи- взаимодействий. Однако критерий, полученный для взаимодействий, не может быть тогда очень чувствительным, так как знамена- знаменатель /^-статистики для этого критерия будет иметь только *) Пример приложения, где несколько греко-латинских квадратов ис- используется для описания четырех факторов, приведен в книге Дэвиса (Davies, 1956 § 5.7.1). *•) Об использовании латинских квадратов чсм. таблицы Фишера и Изйтса (Fisher & Yates, 1943, введение к таблице XVI); в работе Манна (Mann, 1949, гл. 8) дается описание теоретико-числового подхода к их по- построению.
190 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ т ст. св. Мы видели выше, что по «условной» теории в случае обычного латинского квадрата М E5) может стать больше а2, если даже взаимодействия равны нулю. Эта возможность должна также существовать и в случае квадрата с частичными повторениями. Так как все измерения проводятся для таких же «совокупностей условий», как и в обычном латинском квадрате, то можно доказать, что при помощи дополнительных измерений нельзя устранить переплетение главных эффектов с двухфак- торными взаимодействиями. Как и в случае обычного квадрата, это переплетение не только смещает _оценки главных эффектов, но также приводит и к смещению 55, построенному по этим оценкам для проверки главных эффектов; смещение возможно в двух неудачных направлениях, рассмотренных ранее. Для бо- более подробного ознакомления с этим анализом читатель отсы- отсылается к работе Юдена и Хантера (Youden & Hunter, 1955). § 5.2. Неполные блоки В плане со случайными блоками (конец § 4.2) величина бло- блоков экспериментальных объектов должна быть равна числу рас- рассматриваемых «совокупностей условий». Иногда желательно, а в некоторых случаях необходимо иметь блок величины, мень- меньшей числа «совокупностей условий». Для иллюстрации приведем следующие примеры: 1) В обычной проверке ряда свойств резиновых каблуков естественный блок состоит из двух галош некоего человека. 2) В эксперименте по вкусовой проверке шоколадного пу- пудинга «блок» может состоять из различных марок, проверяемых одним и тем же человеком в одних и тех же условиях; здесь «ошибка» должна возрастать с величиной блока, так что пред- предпочтительнее иметь блоки величины, не превосходящей трех. 3) При сравнении различных марок автомобильных шин естественный блок состоит из четырех колес автомобиля. В обычных предположениях нормальности, которые мы бу- будем здесь использовать, нет ничего, что указывало бы, почему ошибка должна увеличиваться с увеличением величины блока; это будет лучше отражено в рандомизированной модели, ко- которая будет введена в § 9.1. В только что приведенных приме- примерах обычно желательно строить наши выводы относительно «совокупностей условий» не на частных блоках, используемых в эксперименте, а на понятии популяции блоков так, чтобы блоки, используемые в эксперименте, можно было рассматри- рассматривать как случайную выборку. Так как в этом случае влияние «совокупностей условий» должны быть постоянными и влияния блоков случайными, то такая схема должна быть названа сме- смешанной моделью; она будет рассматриваться в этом параграфе
§ 5.2. НЕПОЛНЫЕ БЛОКИ 191 позднее. Во всяком случае мы должны сначала рассмотреть мо- модель с постоянными факторами в предположении нормально- нормальности, так как обычно только в этой модели довольно просто по общей теории получить используемые оценки и SS; их распре- распределения могут быть снова рассмотрены в других моделях. Схема неполных блоков*) является схемой, в которой вели- величина блока меньше, чем общее число сравниваемых «совокуп- «совокупностей условий». Мы будем предполагать, что каждая «сово- «совокупность условий» повторяется одно и то же число раз, что все блоки имеют одну и ту же величину и что нет «совокупностей условий», дважды появляющихся в одном и том же блоке. Таким образом, если (см. сноску**), посвященную этим обо- обозначениям) / — число «совокупностей условий», / — число блоков, г — число повторений, k — величина блока, ТО МЫ ВИДИМ, ЧТО rI = kJ, E.2.1) так как обе части этого равенства равны общему числу наблю- наблюдений. Позднее будет показано, что анализ результатов яв- является значительно более простым в случае сбалансированной схемы неполных блоков. Эта схема определяется тем, что число блоков, в которых появляется данная пара «совокупностей ус- условий», является одинаковым для всех пар. Примером, в кото- котором сравниваются семь «совокупностей условий» в блоках ве- величины четыре, является следующий 3 1112 12 5 4 2 2 3 3 4 6 6 5 3 4 4 5' E>2-2) 7 7 7 6 7 5 6 где числа соответствуют «совокупностям условий», а столбцы блокам. Читатель может проверить ***), что каждая пара «сово- «совокупностей условий» встречается в двух различных блоках. *) Эта схема была предложена Иэйтсом (Yates, 1936). **) Обычно в таблице схемы неполных блоков употребляются обозначе- обозначения v или t вместо нашего /, 6 вместо / и ? вместо Ж. Я принял обозначения k, г и Я; в этом параграфе т не обозначает ранга X', как раньше. ***) Для лучшего уяснення строения этой схемы можно ее получить из . двухфакторного анализа (каждый фактор имеет 7 уровней), (г, /)-ячейка ко- которого соответствует i-й «совокупности условий» в j-u блоке, если только в этой ячейке было проведено наблюдение.
192 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИЙ Пусть %и> — число блоков, в которых «совокупность условий» встречается с «совокупностью условий» i'. E.2.3) Тогда для сбалансированных неполных блоков все Ktt' имеют одно и то же значение при i Ф /', которое мы будем обозначать через К, так что можно записать ( К, если i ф i') для сбалансированных hi' = 1 • •/ \ л E.2.4) (. г, если t — t) неполных блоков. В этом случае мы можем доказать равенство Действительно, заметим, что любая данная «совокупность усло- условий» появляется в г блоках, и рассмотрим число ячеек этих г блоков, в которых «совокупность условий» не появляется. С одной стороны, это число равно rk — k, т. е. общему числу ячеек в г блоках минус число ячеек, в которых «совокупность условий» появляется; с другой стороны, оно равно (/—\)%, т. е. числу других «совокупностей условий», умноженному на число раз, которое данная «совокупность условий» появлялась с каждой. Приравнивая rk — r и (/—1)К, получим E.2.5). Дополнительным условием, которому должна удовлетворять сбалансированная схема неполных блоков, является неравен- неравенство / ^ У. E.2.6) Из E.2.1) следует, что это условие равносильно неравенству r~^k. Доказательство *) E.2,6) может быть основано на не- невырожденности симметричной (/Х0"матРицы 8 г X X ... Х ( 1.Г.к:".Х • E.2.6а) XXX... г) Используя результат задачи II.4, вычислим определитель |В| по формуле '1 Таким образом, матрица В не вырождена. Через А обозначим теперь (/X J) -матрицу, элемент («,/) которой равен Кц, где Кц (равное 0 или 1) показывает, сколько раз i-я «совокупность *) Это доказательство лишь немного отличается от доказательства Бозе (Bose, 1949b); само неравенство E.2.6) было найдено Фншером (Fischer, 1940),
§ 5.2. НЕПОЛНЫЕ БЛОКИ 193 условий» появилась в /-м блоке. Положим В = АА', так что по E.2.3) и E.2.4) В имеет вид E.2.6а), и, следовательно, не вы- вырождена. По теореме 7 приложения II г(В)= г(А), так что Г(Д) = /. Но так как А является (/XV)-матрицей, то r(A)^J. Это доказывает E.2.6). Для существования сбалансированной схемы неполных бло- блоков с заданными /, J, r, k, К условия E.2.1), E.2.5), E.2.6) являются только необходимыми, но не достаточными. Обшир- Обширный перечень таких схем, достаточный для большинства прак- практических целей, приводится в работе Кокрана и Кокса (Cochran & Сох, 1957, гл. II); в этом перечне блоки изобра- изображаются строками, а не столбцами; если для заданного числа «совокупностей условий» и величины блоков нет сбалансирован- сбалансированной схемы неполных блоков с подходящим*) числом блоков, то полезно рассмотреть частично сбалансированную схему с двумя объединенными классами. Числом объединенных классов на- называется число различных {кц>} в E.2.3) с i ф i'. Частично сбалансированная схема (которую мы не будем здесь опреде- определять) сохраняет относительную простоту анализа. Такие схемы и соответствующий им анализ описываются в работе Боса, Клатуэрти и Шрикханде (Bose, Clatworthy & Shrikhande, 1954). После выбора схемы (сбалансированной или частично сбалансированной) нужно случайно назначить номера «сово- «совокупностей условий», номера блоков и расположение внутри блоков. В случае модели с постоянными факторами, включающей предположение нормальности, анализ схемы неполных блоков является немного более сложным по сравнению с анализом других схем, которые мы до сих пор рассматривали. Исключе- Исключение составляет двухфакторный анализ с неравными числами наблюдений в ячейках, частным случаем которого является схема неполных блоков. Оценка эффекта «совокупности уело- вий» не представляется теперь в виде разности наблюденного среднего «совокупности условий» и общего среднего, так как эффекты блоков не входят одинаковым способом во все наблю- наблюдаемые средние «совокупностей условий». Например, некоторая «совокупность условий» может встречаться только в блоках с наибольшим эффектом блока. Так же, как и выше, определим IJ чисел {Kif} так, что К.ц = 1, если i-я «совокупность условий» появилась в /-м блоке, и Кц = 0 в остальных случаях. Пусть {(/,-/} являются наблю- наблюдениями, a (i,j) входят в множество D, для которого Kii = 1. *) Очевидно, что для заданных /и k всегда существует сбалансирован- сбалансированная схема неполных блоков с /, равным биномиальному коэффициенту С;
194 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Тогда математическая модель определяется условиями Ун = И + а» + Р/ + ец при (i, j)e=D, rl случайных величин {вц} — неза- Q: висимы и каждая имеет распреде- распределение N (О, a2). E.2.7) Здесь {а*} являются эффектами «совокупностей условий», а {Р/}—эффектами блоков. Отсюда также видно, что кроме обычного предположения нормальности предполагается еще ра- равенство нулю взаимодействий. Сначала проведем анализ схемы неполных блоков, а затем применим его к сбалансированной схеме неполных блоков. Этот анализ является частным случаем проведенного нами в § 4.4 двухфакторного анализа с нулевыми взимодействиями и нерав- неравными числами наблюдений в ячейках; число наблюдений в (/,/)-ячейке мы обозначим через Кц. Принятые здесь Q-пред- положения совпадают с Q-предположениями § 4.4, и {««>} этого параграфа соответствуют первоначальным {уц\\- Величины gi и hi, определенные D.4.5), являются суммами наблюдений i-й «совокупности условий» и /-го блока соответственно; для крат- краткости мы будем называть gt суммой j-й «совокупности усло- условий», ah] — суммой j-го блока. Величины G,- и Я/, определен- определенные D.4.6), теперь сводятся к d = r и Я/ — k. Так как по E.2.3) F.2.8) то уравнения D.4.8) и D.4.9) для оценок {а*} эффектов «сово- «совокупностей условий» можно записать в виде EHir-*"VNi' = ^, E.2.9) v где $i — gi~ k~l X КцН). Эту величину St называют поправ- поправленной суммой /-Й «совокупности условий»; поправка состоит в вычитании из суммы t-й «совокупности условий» gt суммы средних блока hj/k для тех блоков, в которых появляется /-я «совокупность условий». Пусть Tt равно сумме сумм блоков, в которых появ- ._ о tn. ляется 1-я «совокупность условии», так что «поправка» равна —k~lTi и 91<=В1-Ь~% E.2.11)
§ 5.2. НЕПОЛНЫЕ БЛОКИ 195 Сумма квадратов ошибок, заданная формулой D.4.13), сво- сводится к Теперь мы можем записать SSe = S5n - SS$* - SSeS. E.2.12) где — «поправочный член общего среднего» и определяется фор- формулой л является общим числом наблюдений (п = rl = kJ), SS$* = E 9А E.2.14) называется 55 «совокупностей условий с исключением бло- блоков» и называется S5 «блоков без учета совокупностей условий». Основной гипотезой является На: все а,-= 0. Условия ЯдП^ этого параграфа совпадают с o>i из § 4.4, в котором мы нашли, что 5S числителя статистики ЗГ равно 9"а. ~ SSe, где ^И| задается формулой D.4.15а), так что ?«,= Z уЪ - к Е А/ и, следовательно, ^в1 = S5n - 55бл. E.2.15) Из E.2.14) и E.2.15) следует, что 5S числителя равно SSyui. В § 4.4 мы отметили, что числа ст. св. статистики критерия равны / — 1и« — / — / + 1 • В оставшейся части этого параграфа мы будем рассматри- рассматривать сбалансированную схему неполных блоков. Тогда уравне- уравнения E.2.9) для оценок эффектов «совокупностей условий» имеют очень простое решение. Запишем эти уравнения в виде (г — k~lln) щ — / Г1 7*
196 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Подставляя E.2.4), получим Теперь, учитывая дополнительное условие а\ = О или E.2.16) находим, что уравнения сводятся к где rk — r (k—\)l rk M7=I,- E-2'17) Последнее равенство следует из E.2.5). По соображениям, ко- которые будут приведены позднее, число Ж называют множите- множителем эффективности схемы; этот множитель не превосходит /, так как величина блока k меньше числа «совокупностей усло- условий» /. Таким образом, bi*~% E.2.18) и где &i определяется формулой E.2.11). Теперь мы установили формулы дисперсионного анализа, собранные в таблице 5.2.1. Другое выражение для SSyw будет Таблица 5.2.1. Дисперсионный анализ сбалансированных неполных блоков Источник дисперсии Блоки без учета «совокупностей условий» «Совокупности условий» с ис- исключением бло- блоков Ошибка «Полная» сумма квадратов SS = (^Г1(Х^-/С2) i Вычисляется вычитанием S й-» И, /)sD Степень свободы /-1 /— 1 «-/-/+1 п- 1 М (SS) а2 —
§ 5.2. НЕПОЛНЫЕ БЛОКИ 197 получено ниже. Приведенное в таблице математическое ожи- ожидание среднего квадрата «совокупностей условий» с исключен- исключенными блоками легко получить, если применить наше обычное правило к "ос = 1 и ввести обычное обозначение 2 _1 °А — 1-\ ¦ Для проверки гипотезы Нв (все р/ = 0), которая обычно представляет меньший интерес, чем НА, положим юг = Q Л Нв. Тогда по аналогии с D.4.15а) и, /)sd i Сумма квадратов числителя /'-статистики для проверки Нв, т. е. ^ш, — SSe, называемая SS «блоков с исключением сово- совокупностей условий», равна 2i+(r8)~lT,&t — r~lT,g>* E.2.19) i i В рассматриваемом случае легко применить S-метод мно- множественного сравнения. Для этого нужна формула дисперсии оценки сравнения if) = ? см, где X ct = 0. Здесь можно при- < i менить лемму 1 конца § 9.2. Действительно, {а,} имеют равные дисперсии и равные коэффициенты корреляции, так как «сово- «совокупности условий» входят в схему симметрично. По лемме где Сравнивая результат = м
198 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ гР- V г2 с о(ф) = — для схемы случайных блоков с такими же «совокупностями условий», с таким же числом повторений г и таким же а2, мы видим, почему <? называется множителем эффективности. Чтобы применить Г-метод множественного сравнения в об- обобщенной форме теоремы 3 (§ 3.6), мы должны найти общую дисперсию {а/} (обозначим ее а2,) и общую ковариацию (обо- (обозначим ее ро2,). Если мы применим формулу для дисперсии линейной комбинации к величине ? а,- = 0, то получим О = У. У\ Cov (а,-, &{') — hi + (/2 — /) peri* i Y и, следовательно, р = —._} . Если применим E.2.20) к ф = = ai — &2, то найдем и окончательно получаем Pfo)-8*'^0» Соу(щ,М = --ш (*^ О- E.2.21) Отсюда следует, что постоянная (а2 — Ь)Ч>, используемая в тео* реме 3 § 3.6, равна (г&)-1'>. Поправленные суммы «совокупностей условий» {^,} вычис- вычисляются вычитанием k~xTi из {gt}, где Tt является суммой сумм блоков, содержащих i-ю «совокупность условий». Если блоков, содержащих данную совокупность условий, больше, чем бло- блоков, ее не содержащих (т. е. если г > / — г или 2г > /), то проще вычислить Г(, равное сумме сумм блоков, не содержащих i-ю «совокупность условий». E.2.22) В этом случае суммы «совокупностей условий» {gt} могут быть поправлены другим путем. Можно использовать поправленные суммы {^;}, определяемые формулой $ % E.2.23) , то E.2.24) Так как сумма 7\- + Т{ равна общей сумме X h] = ? g{, то
* 5.2. НЕПОЛНЫЕ БЛОКИ 199 где c=J-J-=J-k-- E-2-25) Пусть Si—af- E-2.26) Эти величины можно рассматривать как оценки эффектов «со- «совокупностей условий» {а,}, удовлетворяющих другим допол- дополнительным условиям; эффекты связаны с {а,} уравнениями at = а; + {гк)-1М (С), где M(C) = /j.i. Мнк-оценки '&=J]ciai сравнений if = У. cfli = 2j С/й,- ( У) ct = 0^ можно i i л < V i ) также записать в виде ф= ? сгй(. Возводя E.2.24) в квадрат, затем суммируя по i и применяя соотношение ? ^г = 0, можно проверить, что выражение 2 ^], входящее в SSfw и в можно заменить на Х^? — №• В результате получим формулы fL = {r&T1 ( Е 3? - /С2), E.2.27) ( Е S = Г1 Е ft? + (r^f)-1 ( Е 9? - /С2) - г Z g?, E.2.28) где С определяется формулой E.2.25). Если имеются взаимодействия «блок X совокупность усло- условий», то главные эффекты «совокупностей условий» перепле- переплетаются с взаимодействиями при частном значении рандомиза- рандомизации, но когда мы рассматриваем безусловные математические ожидания по всем значениям рандомизации, то переплетение исчезает; это может быть показано рассуждениями, похожими на те, которые использовались в латинских квадратах (§ 5.1). Балансирование расположения «совокупностей условий» в блоках - В трех примерах, приведенных в начале этого параграфа, полезно принять во внимание расположение внутри блоков; так, например, третий из трех проверяемых шоколадных пудингов имеет невыгодное положение, или задние колеса автомобиля имеют другой износ по сравнению с передними, а правые по сравнению с левыми и т. д. Обычно предпочитают «балансиро- «балансировать» расположение и «исключать» влияние расположения по той причине, что «рандомизация» расположения увеличивает ошибку.
200 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Если мы рассматриваем расположение в блоке как третий фактор, то мы имеем случай неполного трехфакторного анализа соответственно с уровнями /, У и k. Если мы накладываем на сбалансированную схему неполных блоков ограничение, заклю- заключающееся в том, что каждая «совокупность условий» появ- появляется одинаково часто в каждом из к расположений (напри- (например, т раз), то это приводит к тому, что число блоков должно быть равно числу «совокупностей условий», умноженному на т, J = ml, E.2.29) что эквивалентно равенству r = km. Было доказано*), что для всякой сбалансированной схемы неполных блоков, удовлетво- удовлетворяющей E.2.29), существует перестановка, переводящая эту схему в другую сбалансированную схему неполных блоков с та- такими же /, /, г, k, X, которая имеет требуемое сбалансированное расположение. После выбора схемы проводится рандомизация нумерации уровней каждого из трех факторов. Путем перестановки «совокупностей условий» внутри блоков пример 5.2.2 может быть преобразован в следующую схему с требуемым свойством, в которой каждая «совокупность усло- условий» встречается одинаковое число раз в каждом расположении 3 4 5 6 7 12 5 6 7 12 3 4 6 7 12 3 4 5- E-2-30) 7 12 3 4 5 6 Эта схема может быть подходящей для сравнения семи сортов шин, если семь блоков состоят из четырех расположений шин в каждом из семи автомобилей. Примером другой двоякосбалан- сированной схемы, которая может быть полезной для сравнения десяти шоколадных пудингов 30 дегустаторами, каждой из ко- которых проверяет три пудинга, является следующая: 1112 223334 4 4 5 5 5 6 6 677788 8 999 101010 24 10 3 56147 20 5813927838949 10 56 10 1 6 7. 974 10 8596110 7286318 12923 10 3 446 5 7 5 E.2.31) Если будет использоваться 60 дегустаторов, то хорошая двояко- сбалансированная схема с 60 блоками величины три может быть получена повторением приведенной выше схемы с обрат- *) См. Хартли, Шрикханде и Тейлор (Hartley, Shrikhande & Taylor,
§ 5.2. НЕПОЛНЫЕ БЛОКИ 201 ными расположениями. Таблицы таких схем даны Шрикхан- де*) (Shrikhande, 1951). Если т = 1, как в примере E.2.30), то схема называется квадратом Юдена или неполным латин- латинским квадратом, так как (k X J) -прямоугольник, такой как в E.2.30), может быть дополнено до (УХ-О латинского квад- квадрата добавление подходящих строк. Этот анализ аналогичен анализу неполных блоков, за исклю- исключением вычисления SS ошибок. Чтобы получить новое SS оши- ошибок, нужно из SS ошибок, используемого в предыдущем ана- анализе, вычесть SS расположения с k— 1 ст. св.; новое SS оши- ошибок имеет п — / — У— k-\-2 ст. св.; SS расположения равно p-i где Рр является суммой наблюдений в р-ы положении, а 98 опре- определяется формулой E.2.13). Недостатки этого плана анало- аналогичны недостаткам, отмеченным в плане латинского квадрата. Использование информации между блоками Мы рассмотрим использование информации в случае сба- сбалансированных неполных блоков; однако полученные резуль- результаты можно легко распространить на только что рассмотренную схему сбалансированного расположения. Рассматриваемый ме- метод**) применим только в том случае, когда число блоков У больше числа «совокупностей условий» /. Может показаться, что попытка найти более эффективные оценки сравнений «сово- «совокупностей условий» должна быть напрасной; это действительно будет так, если мы сохраним используемую до сих пор модель с постоянными факторами, так как по теореме Гаусса — Мар- Маркова (§ 1.4) в предположениях этой модели оценки, получен- полученные ранее, оптимальны. В новой модели предполагается, что эффекты блоков {Р;} в E.2.7) являются случайными величи- величинами {bj}. Будет предполагаться, что они являются случайной выборкой объема У из бесконечной популяции, т. е. что {bj} не- независимы и одинаково распределены (мы будем также предпо- предполагать, что они нормально распределены, но это не будет влиять на задачу с весами, которая нам встретится ниже). Та- Такое предположение является подходящим, если блоки можно рассматривать как случайную выборку из большой конечной *) Он говорит о «сбалансированной строке» вместо сбалансированного расположения. Строки, конечно, не являются теми, которые мы использовали раньше и которые соответствовали / «совокупностям условий»; они соответ- соответствуют k расположениям в блоках. **) Метод предложен Иэйтсом (Yates, 1940).
202 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ популяции. Это предположение может быть принято в примере A) начала этого параграфа, если считать, что каблуки галош изнашиваются любым почтальоном (возможно, ни один из рас- рассматриваемых почтальонов не должен быть левшой); в примере B), если дегустаторами являются любые студенты мужского пола американского колледжа; и в примере C), если выби- выбираются автомобили одной и той же марки и модели*). Новая математическая модель обычно не реалистична в сельскохозяй- сельскохозяйственных приложениях, где {6/} случайны только потому, что они являются случайной перестановкой постоянных эффектов блоков из / блоков, фактически используемых в эксперименте; в этом случае рандомизированная модель, подобная модели плана случайных блоков в § 9.1, была бы более подходящей, но теория такой модели еще не развита. Мы будем также предпо- предполагать независимость эффектов блоков {bj} от ошибок (ец). Таким образом, нашей моделью является У и = И*' + а. + bj + etj при (г, /) е D, {е{/} взаимно независимы, имеют распределение N (О, of) и не зависят от {bj}, взаимно независимы и имеют распреде- распределение N (О, а%)> % = о. Здесь мы не можем допустить, что 6* = 0, так как {6,} неза- независимы. Дисперсию ошибки будем обозначать через ае, а не а, чтобы согласовать с обозначением, которое будет использовано в части II этой книги; в дальнейшем для сравнения Q' с вве- введенным ранее Q E.2.7) читатель может заменять а2 в Q на а\ш Оставшаяся часть этого параграфа изложена довольно кратко (при первом чтении этой книги читатель может ее про- пропустить). Сначала мы докажем, что оценки «между блоками» {а,}, полученные в приведенных выше предположениях Q, имеют такое же распределение при Q', как и при Q. Затем мы получим еще одно множество оценок «внутри блока», эти оценки будут получены при помощи сумм наблюдений блока таким же путем, как в модели с постоянными факторами (рас- (распределение сумм наблюдений блока, оказывается, удовлетво- удовлетворяет предположениям о распределении наблюдений, сделанным в общей теории гл. 1 и 2, если дисперсию ошибки а2 в гл. 1 и 2 заменить на k2a\ + k2af). После этого мы покажем, что два *) Этот анализ может быть распространен на случай, когда блоки раз- разделены иа множества подобных блоков; см. Кокраи и Кокс (Cochran & Сох, 1957, § 11.5).
§ 5.2. НЕПОЛНЫЕ БЛОКИ 203 множества {а*} и {аг} независимы, а это наводит на мысль использовать взвешенные средние этих двух множеств, чтобы попытаться получить более эффективные оценки и критерии; трудности возникают здесь из-за использования «весов», вычис- вычисленных по данным. Докажем, что определенные выше оценки {ai}, суммы квад- квадратов SSfcj, и SSe, а следовательно, и статистика критерия SSyacJSSe имеют при Q' такие же распределения, как при Q. Подставим в формулы, определяющие эти статистики, выра- выражения У И = И + <*г + В, + eih где В/ заменяет f5/ или 6/. Можно проверить, что В; не входят в эти формулы, и следовательно, предположения, сделанные о {В/}у не влияют на распределения. Более легкий и более со- софистический способ доказательства основан на следующем за- замечании. Совместное распределение этих статистик, полученное при Q, можно рассматривать как условное распределение в предположениях Q' при заданных {6,}; постоянные ц и {р;}, входящие в условия Q, связаны с фиксированными значениями {6/} формулами Р/ = bj — Ъ и ц = \л' + Ь. Так как условное распределение не зависит от значений \л и {f5;}, а следовательно, и от {Ь/}, то это распределение должно быть таким же, как безусловное. Теперь получим другое множество несмещенных оценок {&'{}. Подставляя выражение для {уц} из E.2.32) в суммы на- наблюдений блока fhj = Yj KijthД , найдем или hj = kv.' + ? Ktflt + f/, E.2.32a) где Так как последний член является суммой k ошибок ец, появ- появляющихся в сумме наблюдений блока, то мы видим, что {f,} независимы и имеют распределение N @, aj), где oj^kVe + kol E.2.326) Из E.2.32а) мы теперь видим, что / сумм наблюдений блока {Л/} удовлетворяют предположениям, сделанным о п наблюде- наблюдениях {yi} в общей теории гл. 1 и 2 для моделей с постоянными
204 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ факторами. Через {а{} обозначим оценки {а,}, которые полу- получатся по общей теории, если {/i;} считать наблюдениями. Чтобы получить эти оценки, мы должны минимизировать Приравнивая д9"/дц' и dP'/dai к нулю, получаем нормальные уравнения ? S Uv, Ur^Tt (i = 1, ..., I), E.2.33) где Т{ определяются формулой E.2.10), а кц> — формулой E.2.3). Подставляя E.2.4) и аналог E.2.16), мы получим последнее уравнение в виде krfr' + (г — X) а; = Г,-. Отсюда E.2.34) Если ф' является оценкой сравнения '«I'i = 2 с«а( f S с> = полученной из оценок а<, т. е. ф' = 2 с,-а<, то мы можем также записать ф' в виде Ф' = S где Если 2г > /, то легко вычислить аГ^-Т^Х, E.2.36) где f2 определяется E.2.22), и использовать ф'= 2 cfa • Если суммы наблюдений блока рассматриваются как наблюдения, то «55 ошибок» мы будем обозначать через 55f. Это 55/ легко вычисляется по формуле A.3.10), в которую нужно подставить правые части нормальных уравнений E.2.33); в результате по- получим S^AS^E Подставляя сюда E.2.34) и используя Z Г* = Z Z Knh, i t i E.2.5), найдем SI /(^-DfSM2 SS? - E h> - -hi + ,-i-k) -• E.2-37)
§ 5.2. НЕПОЛНЫЕ БЛОКИ 205 Если / > /, то по общей теории гл. 2 оценка а2, определяемая формулой 7^7- E-2-38) распределена как сфс}_,/(/ — /), не зависит от {с^}, и следова- следовательно, и от ф'. Теперь мы будем доказывать, что в предположениях Q' но- новая оценка ф'= Z^jO" не зависит от первоначальной*) i оценки $=Ylcia{, если даже значения {а} не удовлетворяют условию ?c; = 0. Сначала мы рассмотрим ковариацию между суммой наблюдений «совокупности условий» gi и суммой на- наблюдений блока hj\ Подставляя в эти суммы уц = ц'-f а, + Ь\ + ец, мы можем при вычислении ковариации допустить, что \i! = 0 и все а,- = 0, так как это на ковариацию не влияет. Тогда {уц}, {gi} и {hj} будут иметь нулевые средние и Cov (gh hi) = М (g,h,) = ? S /Су/Сг/М (sf,rifW). E-2.39) Теперь M (if^ifr/) = M [(br + etr) (b, + en)], а так как {6/, e(/} взаимно независимы, имеют нулевые средние и дисперсии о\ и а\, то М (й/й/О = Ьи'ав, М (ец'вп) = б ц'6ц'о2е, М F/'ег/) = М (е<у6/) = 0 и, следовательно, М (г/г/'«/г/) = б//- (с^ + б»'а«). Подстановка этого выражения в E.2.39) дает нам Cov (gihj) = К *) Оценка ф' называется оценкой между блоками, а ф — оценкой внутри блока.
206 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Сохраняя предположение М (уц)= 0, мы вычислим ковариацию между поправленной суммой наблюдений «совокупности усло- условий» %i и суммой наблюдений блока h,: Cov (9„ hj) = М (9„ hj) = M [(Si - k~l Z Kirhr) Л/] = Уже было отмечено, что {hj} независимы и имеют распреде- распределение N (О, а)), так что М (А/Ау) = б/уа? и Cov (9h h,) = Kukr'o) - k~x Z Кч*1го) = Kuk~lo2f - k~%,&f=O. Так как {9i, ht) имеют совместное нормальное распределение, то из последнего равенства следует, что {§i}, а значит, и {а,} не зависят от {ht}. Но ф является функцией только от {а,}, а ф' — только от {hj}; следовательно, \р и ip' независимы. Мы легко вычислили E.2.40) в предположениях Q и отметили, что {а,} имеют в предполо- предположениях п' такое же распределение, как при Q; следовательно, E.2.40) должно быть верно и при Q'. Чтобы вычислить D(ip'), мы должны найти Cov (а", а"). Предполагая снова, что \л' и {а,} равны нулю, находим (г - Kf Cov (aT, ft?) = М (Г,7>) = М (X Ki,h, Z Kei'hr) = = Zj Zj KijKi'foii'Vf = Z KijKt'jOf = la'Of. Величину Хц> можно записать в виде Хц'=-К + 6ц>(г — Я). Тогда d W) - d f х с,лп - z Z i ) II' = (г - *Г2 2 2 c{Ci'[l + в«- (г - X)] о) = -L—g-.
§ 5.2. НЕПОЛНЫЕ БЛОКИ 207 Положим (символы w и w' определяются разными авторами по-разному) ш = ——, w =——. E.2.41) Так как фиф' независимы, то линейной комбинацией ф и ф', имеющей математическое ожидание ф и минимальную диспер- дисперсию, является 5 о 42^ и ее дисперсия равна ? с?/(ш + до')- Определим оценку ф* фор- i мулой где т» и т»' являются оценками w и до', полученными заменой а2е и сг| в E.2.41) на некоторые оценки. Положим w = re?/SSe. Если / >/, то можно*) взять до' = (г — Я)/о^ где д^ опреде- определено E.2.38). Обычно за оценку w' принимается w' = ^~. E.2.44) Здесь несмещенная оценка о) дисперсии а) получается при по- помощи SS«?J = (/ —ir'SSe?J, определенного E.2.19). Эта оценка является обычно более точной, чем д? Ниже будет показано, что при й' М {SSfl) = а2е + («-/)(/- I) а2в. E.2.45) Таким образом, несмещенная оценка а2в равна Ь% = (J - 1) (л - /)"' (SSjg? - SSe), а из E.2.326) следует, что несмещенной оценкой aj является Sf = А (п - /)"' [ife (/ - 1) SSfl — (I — k) SSe]. E.2.46) Эта оценка используется в E.2.44). *) Преимущество такого выбора состоит в том, что мы получаем несме- несмещенную оценку ф* (так как ф, ф', й», й»' в этом случае независимы). Хотя совместное распределение этих величин является совсем простым, однако это, по-видимому, не приведет к точным критериям н интервальной оценке, осно- основанным на E.2.43). Конечно, точные методы, основанные на предположении й»' = 0, т. е. игнорирующие информацию между блоками, остаются при Й' шраведливыми так же, как и при й, но они уже не обладают больше опти- оптимальными свойствами, которые они имели при Q.
208 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Чтобы получить E.2.45) из E.2.19), мы будем предпола- предполагать, что ц' и все ос, = 0. Это предположение оправдывается тем, 4toM(SSF^) не зависит от ц' и {а,}. Положим SSfn = SSe- Тогда при Q SSb распределено как а2е, умноженное на нецент- нецентральный х2, параметр нецентральности которого мы будем обо- обозначать через Ьв- В предположениях Q математическое ожида- ожидание SSB равно М №-'¦ »*) =<т2(/— 1 + б|). E.2.47) Итак, 8В является параметром нецеитральности статистики F для проверки Нв (все р/ = 0) в предположениях Q и, следова- следовательно, по сделанному в конце § 2.7 замечанию о мощности этого критерия бв не может зависеть от ц и от {а;}. Но при Q' E.2.47) является условным, математическим ожиданием SSB при условии {Ь/}. Безусловное математическое ожидание можно вычислить как математическое ожидание правой части E.2.47), учитывая, что {Ь/} независимы и имеют распределение N(Q,a2B). Так как E.2.47) зависит только от а2е и от {р/ = 6, — &*}, то полученное математическое ожидание может зависеть только то а2е и <г|. Если мы теперь при вычислении допустим, что (я7 = 0 и at = 0, то {hi), {9i} и {gi} будут иметь нулевые сред- средние, и тогда математические ожидания их квадратов будут равны их дисперсиям. Используя это в E.2.19), получим M(SSB) = k-Ч D(^) + (rS)~4 D(9i)-r-1 D (g,). E.2.48) Итак, D (hj) = o)=k{kol + <$, D (gi) = r{o2B + o\), Последнее равенство следует из E.2.45). Подставляя эти вы- выражения в E.4.48), найдем М (SSB) = (п - /) al + (J - 1) а*. Поделив это равенство на /—1, получим E.2.45). Мы упомянем здесь, что возможен другой вывод оценки а|з*, который для рассматриваемого случая подходит несколько меньше. Этот вывод основан на том, что при известном w\w' E.2.42) должно быть лнк-оцеикой*) ф. Можно показать, что сумма квадратов, которую мы должны минимизировать в рас- *) Обычно если неполные блоки не являются сбалансированными, то два способа построения приводят к разным результатам, и тогда результаты, основанные на минимизации E.2.49), должны быть предпочтительнее; см. Спрот (Sprott, 1956).
§ 5.2. НЕПОЛНЫЕ БЛОКИ 209 сматриваемом случае, имеет вид S S S КцКп (А + М (у{1 - |i' - а<) («/i7 - |i' - аг), E.2.49) где w Для получения статистических выводов относительно {а,} удобно определить величины {aj} формулами: при 2г < / где а( задано формулой E.2.18), а а" формулой E.2.35); при 2л >/ где а задано формулой E.2.26), а а'/' формулой E.2.36). В обоих случаях где af определяется E.2.46), однако SS^i вычисляется по E.2.19) при 2л </ и по E.2.28) при 2л >/. Оценки {ф*} срав- сравнений {ф}, где ^ = 2 cia/ и ]Сс* = 0> могут быть вычислены по формуле if>*=]Cciu*. Эти оценки имеют одно и то же зна- { чение при обоих определениях {а}}. Статистические выводы о {а,} можно получить прибли- приближенно, если предположить, что оценки w и vbr весов w и w' равны неизвестным истинным значениям, определенным фор- формулой E.2.41), иными словами, если считать, что при всех {с,} с ]? с,-= 0 оценка ф* имеет распределение N (г)), ?с?Дау+ w')) с w и w', равными й» и w'. Это приводит к приближенному критерию для проверки На (все щ = 0), по которому На отвер- отвергается, если (й- + й.') ? (а; - сО2 >(/ -1) Fa: /-1... E.2.50) ? Правая часть E.2.50) может быть заменена на %\. {_1ш По этому критерию НА отвергается тогда и только тогда, когда существует некоторая оценка сравнения aj)*, которая значимо
210 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ отличается от нуля в соответствии с приближенным 5-методом множественного сравнения. По этому методу вероятность того, что одновременно все сравнения {$} удовлетворяют неравен- неравенствам где S2 равно правой части E.2.50) и о| = ? c?/(z?> + rt'), приближенно равна 1—а. Приближенный Г-метод может быть основан на утверждении: вероятность того, что все {г|з} одно- одновременно удовлетворяют неравенству равна приближенно 1 — ос. Так как эти приближенные методы не учитывают выбороч- выборочную ошибку w и wr, то истинная вероятность всех этих утверж- утверждений может быть несколько меньше 1 — а, а ошибка I рода будет несколько больше ос. Чтобы практически оценивать, стоит ли использовать ин- информацию между блоками, мы можем определить долю допол- дополнительной информации как некоторую величину, которая не превосходит отношение D (-ф) к дисперсии величины E.2.42), или отношение w' __ г - к <з\ _ I - k a\ и оценить последнее выражением ~= (k-l)lk(J- I)SS<?>~(I-k)SSe' E-2-5l) Мы можем отказаться от вычислений, необходимых для по- получения информации между блоками*), если отношение E.2.51) будет меньше некоторого уровня, например 10% (прак- (практически, если оно отрицательно). § 5.3. Планы с группировкой Рассмотрим сначала возможную связь факторов в неполном анализе, называемом группировкой, которая заставляет нас пересмотреть свои представления о главных эффектах и взаи- взаимодействиях. Говорят, что уровни фактора С группируются по уровням фактора А, или С группируется по А, если каждый *) Оперативная характеристика этого интуитивного правила неизвестна.
§ 5.3. ПЛАНЫ С ГРУППИРОВКОЙ 211 уровень С в наблюдениях появляется только с одним уров- уровнем А. Если А имеет / уровней, то это приводит к тому, что уровни С распадаются на / множеств таких, что i-е множество появляется только с t-м уровнем А. Приведем пример. Рассмот- Рассмотрим эксперимент, в котором изучается влияние некоторых факто- факторов на устойчивость против коррозии оловянных полосок, сверну- свернутых в рулон; термообработка этих полосок проводится различны- различными способами. Весь рулон можно обработать только одним спо- способом и нельзя выделить в нем части, чтобы обрабатывать их разными способами. Пусть имеется / режимов термообработки, которые будем называть / уровнями фактора А. Предположим, что /i рулонов обрабатываются при первом режиме, /2 при втором, ..., // обрабатываются при 1-м режиме. Мы будем называть ? h рулонов ]? /,- уровнями фактора С. Здесь С i i группируется по А. Хотя в этом примере было бы более реалис- реалистично рассматривать эффекты С как случайные (и действи- действительно, модели со случайными факторами или смешанные яв- являются обычно более реалистическими), но мы отложим такое рассмотрение до гл. 7 и 8, а здесь будем рассматривать только модели с постоянными факторами. Мы введем новые индексные обозначения, которые обычно используются в планах с группи- группировкой. Эти обозначения будут полезны при вычислениях мате- математического ожидания средних квадратов в других моделях (§8.2). Чтобы дополнительно охарактеризовать связь между двумя факторами, встречающимися в каждом множестве наблюдений, удобно назвать факторы пересекающимися, если ни один из них не группируется по другому; говорят, что они полностью пересекаются, если каждый уровень одного появляется с каж- каждым уровнем другого, т. е. если они рассматриваются в плане полного двухфакторного анализа, когда другие факторы игно- игнорируются; во всех других случаях говорят, что факторы час- частично пересекаются. В новых обозначениях используется два индекса (или больше, если больше факторов), указывающих номер уровня группирующегося фактора. Так, в приведенном выше примере Ji рулонов с i-u режимом термообработки нумеруются парами (г, 1), (г,2), ..., (/,/<•)• С этой нумерацией характер неполноты плана с группировкой показан в таблице 5.3.1, где крестами отмечены ячейки, в которых проводятся наблюдения. Истинное среднее ячейки с г-м уровнем А и (i, j) -уровнем С будет обо- обозначаться просто цц, а не tj,,o, />. Заметим, что замена в сред- средних r\ij одного индекса i приводит к смене уровней обоих фак- факторов, так что т),;- при различных i и одинаковых / «не имеют ничего общего»; так, в рассматриваемом примере при / = 1
ei2 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Таблица 5.3.1 Уровень С ij= 1 бет 1 А- V X 'А X _ . i i Ж I I -»— I I X X - - 2,2 X ! ! % i i щ X и I I ¦ г -I— I 1,1 1,2 . . X X X и 1 = 1, 2 мы имеем первый рулон, обработанный при первом режиме, и первый рулон, обработанный при втором режиме. Если, например, все первые рулоны получены с одного завода, все вторые с другого и т. д., то фактор С будет не группиро- группироваться по А, а пересекаться с А. Теперь мы рассмотрим возможность представления истин- истинного среднего ячейки ч\ц в виде суммы генерального среднего ц, эффекта а« t-го уровня А, эффекта у;/ (i, /)-го уровня С Щ — И + он + уц. E.3.1) Величины в правой части будут однозначно определяться по {r\ij}, если мы введем дополнительные условия (по / сумми- суммируется от 1 до /,) В этих равенствах веса {vt} и {тц} неотрицательны, vi не все равны нулю и при каждом i не все w,t равны нулю; таким об- образом, не нарушая общности, мы можем предположить, что Х^ = 1, Zjffi1;/—1 при каждом L i i Допустим, что {ц,,} могут быть выражены указанным способом. Тогда, умножая E.3.1) на поц и суммируя по /, получим " г = (х + а/- Умножая полученное равенство на vi и сум- JlHviWiir\il = n. Итак, ц, {а,}, {уо} одно- i i мируя по /, находим значно определяются формулами Ц — S S Щ = Z E.3.2)
§ 5.3. ПЛАНЫ С ГРУППИРОВКОЙ 213 С другой стороны, ясно что произвольное множество средних ячейки {r\ij} может быть выражено в виде E.3.1) через ц, {а(}, {yij}, определенные E.3.2). Таким образом, если рассматривать {а*} как «главные эффекты» А, а {у./} как «главные эффекты» С, то нет нужды вводить взаимодействия для выражения среднего ячейки в общем случае, как это было, когда фактор С пересе- пересекался с А. Конечно, определенные таким способом «главные эффекты» обычно не совпадают с главными эффектами, опре- определенными в обычной схеме полного анализа с iJl Л ячейками i таблицы 5.3.1 по средним ячейки {x\i l{. ;)}. В трехфакторном эксперименте возможны различные ком- комбинации группировки и пересечения. Примером эксперимента с тремя факторами С, В и Г, в котором Т группируется по В, а б по С, является эксперимент, поставленный для изучения изменений некоторого свойства ткани. Ящики с кусками ткани были куплены в / городах (фактор С), причем в t'-м городе Ji ящиков (фактор В). Затем из (/,/)-го ящика было взято Кц кусков ткани (фактор Т), т. е. из /-го ящика /-го города. Для проверки некоторой качественной характеристики было прове- проведено М,7*-измерений с (i,j,k)-u куском ткани, т. е. с k-м кус- куском из ((,/)-го ящика. Вводя подходящие обозначения, мы можем в этом примере наблюдения {уцкш} записать в виде Уцкт = \1 + У1 + Pi/ + lijk + ецш. E.3.3) Дополнительные условия для этой (нереалистической) модели с постоянными факторами будут рассмотрены ниже (см. ра- равенства E.3.13)); анализ тоже будет проведен ниже. Пример с тремя факторами Л, С и L, в котором С группи- группируется по A, a L пересекается с А и С, можно получить из рас- рассмотренного ранее примера, в котором А соответствует режи- режимам термообработки, а С рулонам. Предположим, что для про- проверки выбирают образцы из трех частей рулона (например, из внутренней, внешней и средней), прошедшего термообработку. Эти части являются уровнями фактора L. Пусть при каждом из / режимов было обработано / рулонов, а в каждом рулоне отмечено К{К = Ъ) частей. Если от каждой части каждого ру- рулона берется Q образцов и если уцнц является измерением*) 7-го образца из &-й части /-го рулона, обработанного при /-м ре- режиме, то в модели с постоянными факторами {упко\ мы можем записать в виде = г\цк + ei}kq. E.3.4) *) Измеряется время до деформации банки консервов из чернослива, дном которой является рассматриваемый образец; температура, при которой проводятся измерения, регулируется. Большая величина измерения соответ- соответствует большей устойчивости против коррозии.
214 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Тогда, не нарушая общности, {r\uk} можно записать так: «\т = И + «? + <*?, + <*? + < + а", E.3.5) где < = <? = of- = <#¦ = а# = а« = о" = 0 E.3.6) при всех i, /, k. Здесь а^ называется главным эффектом (/,/)- рулона, a otfk — его взаимодействием с &-й частью и т. д. Так же, как и выше, можно доказать, что нет нужды рассматривать (АХ, С)- и (А X Cy,L) -взаимодействия. Это автоматически вытекает из обозначений в E.3.5); действительно, (Л X С1)-взаи- С1)-взаимодействие должно иметь индекс i, (i,j) и, следовательно, его можно было бы включить в а?г Разложение, удовлетворяющее E.3.5) и E.3.6), определяется формулами аи = 1\ц.—Я~, а^Л^-Л*.. E.3.7) aik= Лм - Л, - г\к + Л«.. Чтобы объяснить последнюю формулу, мы допустим, что тре- требуется определить взаимодействие (/,/)-рулона с k-й частью при i-м режиме термообработки, причем предполагается, что не следует осреднять свойства (i,/)-рулона по i (т. е. по режи- режимам термообработки в данном примере) при фиксированном /; такое объяснение не имеет физического смысла. Пример с тремя факторами А, Р и С, в котором А и Р пере- пересекаются, а С группируется по А X Р, может быть также полу- получен из примера с режимами термообработки А и рулонами С, если считать, что третий фактор Р соответствует различным «растворам», употребляемым при термообработке рулонов. Пусть имеется N «растворов»; / рулонов исследуются с каждой из IN комбинацией «термообработка — раствор». Теперь INJ уровней фактора С должны быть занумерованы тройными ин- индексами; /-й рулон, группирующийся по (г, п) -комбинации «тер- «термообработка — раствор», должен быть занумерован inj. Тогда, если из одной части каждого рулона берется Q образцов, то мы можем положить где «.А - <*?„. - < = < = «Г - 0 E.3.9) при всех U п. Смысл членов в E.3.8) легко устанавливается по обозначениям.
§ 5.3. ПЛАНЫ С ГРУППИРОВКОЙ 215 Если теперь мы рассмотрим эксперимент, включающий все четыре фактора А, Р, С и L, то увидим, что А и Р пересекаются, С группируется по Л X Л aL пересекается с А, Р и С. В этом случае мы придем к < С & ^ W E.3.10) где «tf = «f = «L = < = <Р = <Р = < = »tf - С = <L = ^CL CL „APL APL APL n /C q 1 i\ при всех i, j, k, n. Для дальнейшей иллюстрации понятия группировки отме- отметим, что во всяком плане, в котором «фактор» D считается со- соответствующим «ошибке», он всегда группируется по ячейкам, соответствующим используемым «совокупностям условий». Это определение «фактора» D является более реалистическим, чем определение § 4.6, по которому этот фиктивный фактор пере- пересекается со всеми другими факторами. Теперь для некоторых из рассмотренных примеров мы по- построим различные 55, которые обычно рассматриваются. Прак- Практическое правило определения и вычисления 55, их ст. св. и математических ожиданий будет дано в § 8.2. Чтобы применить общую теорию оценок гл. 1, удобно ис- использовать простой символ ц с подходящими индексами для обозначения суммы эффектов (отличных от «эффекта ошиб- ошибки»), входящих в наблюдение, как, например, в E.3.5). Легко найти лш/с-оценки величин т). Каждая оценка является средним всех наблюдений, математическое ожидание которых равно т). Так как эффекты однозначно представляются в виде линейных функций величин т), то их лшк-оценки будут такими же линей- линейными функциями оценок fi- Это будет проиллюстрировано на двух примерах, которые мы сейчас подробно рассмотрим. Эксперимент с полной группировкой Вспомним приведенный выше пример с полной трехфактор- ной группировкой, в котором рассматриваются города, ящики и куски ткани. Этот пример задается равенством E.3.3). Пусть УЦкт = Л'7* + Bijkm, Где Л//* = И + V + Р« + ту*. E.3.12) Наложим дополнительные ограничения H 0 ?и(-Д7 = 0 при всех i, — О при всех i, j. E.3.13)
216 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Здесь {«/}, {vij}, {wijk} являются неотрицательными весами такими, что Ем*=1> ?oi/=l при всех i, Еи^*=1 при всех i, j. if ft Тогда *> E tWi/feii/* = Ц + E S ицтцмць. = (x + y«> SEE / * i/k Отсюда последовательным вычитанием равенств находим <,?«*ш5"'а''/'*Т|"'*> E>14) V, = S Е 0,,-^дЛ„* - S E S и,-»,-/1»»'/*1!»'/*, } К I } К При обычных Q-предположениях (E.3.12), E.3.13) и пред- предположения, состоящие в том, что {ецш} независимы и имеют распределение N@,a2)) мы должны минимизировать ^=S E S Е (Уиш-ЧнкJ- E.3.15) Очевидно, жмк-оценками являются цць = уцк», a 5S ошибок равно Легко видеть, что SSe имеет 2ЕЕ(^/*~') ст- св- i / * оценки ц, {7i}> {Pi/}> {тг/ft} могут быть получены заменой {щ} в E.3.14) на \r\ijk}. Большой интерес представляют суммы квадратов факторов С, В и Г, которые мы сейчас получим. Рассмотрим гипотезы Нс: все у; = О, Нв: все р<,- = О, Я?-: все хцк == 0. Пусть ©с = Яс П Q, ©е = Яе П Q, ©г = Яг П Q. Истинность или ошибочность этих гипотез зависит до некото- некоторой степени от системы весов. Рассмотрим теперь характер
§ 5.3. ПЛАНЫ С ГРУППИРОВКОЙ 217 этой зависимости. Нт, будучи истинной для некоторой системы весов, истинна для любой другой. Действительно, из первого уравнения E.3.14) мы видим, что если истинные средние кус- кусков ткани в ящике (/,/) равны, т. е. если т]г/1 =т1г/2= ... =r\i!n , то тгд==тг/2== ••• ~хцп = О'> обратное утверждение тоже верно независимо от системы весов. Гипотеза Нв может быть сформулирована в терминах взвешенных средних ящика Например, так: Вц = В,-2 = ... = Bini при любом /. Будут ли эти равенства выполнены или нет, зависит от весов {а;,-/*}, ис- используемых для определения взвешенных средних ящика, но не от весов {«,} или {ич}. Аналогично гипотеза Нс заключается в том, что некоторые взвешенные средние города С( = Zj 4-ijBij = Zj 2j VijWifk^ilk равны между собой. Истинность этой гипотезы зависит от весов {Vii) и {wtjk}, но не от {«,}. Не будем обсуждать, какая система весов является подходящей к реальному эксперименту, так как рассматриваемая модель обычно не реалистична. Чтобы минимизировать 9* при различных ©, удобно выбрать специальные веса. Пусть Y,Ylllk, SEE*/ь E.3.16) ft J ft i f k так что пц является числом наблюдений в ящике (/,/), ni в /-м городе, а п общим числом наблюдений. Выберем веса пропор- пропорционально числам наблюдений »,,,=^f, .„-U-. Щ-Ц-. E.3.17) Запишем E.3.16) в виде $-V) + (Vi ~ Vi) + SS I S i I к m + (h-hl) + (b!k-Tilk)T. E.3.18) Тогда 9 = SSe -\- n (A - \iY + I n, (y, - VJ + i -TGfeJ. E.3.19)
218 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Суммы попарных произведений равны нулю вследствие выбора весов E.3.17) в дополнительных условиях E.3.13); например, i I k m = LZ (P// - ft,) Z Milk {xm - xi!k)=o. i 1 k Теперь минимум 9* при соС) сое или аТ очевиден; например, Отсюда следует, что SS числителя ^-статистики для проверки Не в предположениях п, а именно SSc = 9>'a — SSe, равно СС У я »,2 «О Ofli I Аналогично SS числителя для проверки Нв и Нт равны r ZI5>A- E-3.22) Для получения обычных тождеств, относящихся к различным SS, отметим, что 9" в E.3.15) при замене всех параметров ц, {¦?<}> {Ро}> {f<7*} нулями становится равным полной сумме квад- квадратов. Если, например, такую замену нулями провести в E.3.19), то мы получим ООп == SSe ~\~ SSc ~\~ SSb ~\~ SSti где SSn = ZLZL У2фт ~ «Ц2, E.3.23) I I k m Для вычислений удобно ввести следующие взвешенные средние*) наблюдений: У а» = S I Уцкт/пи = 2 Mtlkyllkt/ntl, S пфц1пр E.3.24) IS S S i l к tn *) Над (/;,„ поставлена черта, так как без нее можно было бы ошибочно решить, что рассматривается среднее (/,•/&, по к; по тем же причинам ставится черта над (/,•„„* и j/»,,,.
§ 5.3. ПЛАНЫ С ГРУППИРОВКОЙ 219 Через эти средние можно выразить оценки {ц, yi, P^.t,//*}, если {r\ijk} в E.3.14) заменить на {(/;/&*}• Подставляя полученные выражения в E.3.20), E.3.21), E.3.22) и E.3.23), мы найдем формулы, приведенные в таблице 5.3.2. Числа ст. св. в первых трех строках этой таблицы могут быть получены путем рас- рассмотрения числа независимых ограничений, накладываемых со- соответственно гипотезами Не, Нв и Нт. Математические ожида- ожидания среднего квадрата не были включены в таблицу, так как их вычисление в предположениях нереалистической модели С постоянными факторами не имеет практического интереса, Таблица 5.3.2. Дисперсионный анализ эксперимента с полной трехфакторной группировкой Источник дисперсии С В (по С) Т (по В) Ошибка «Полная» сум- сумма квадратов SSC i ОО-Т1 ^^ У У i i ss { V я о2 1 k m j Lu /Lt У tit к m i V V и г,2 i 1 m- 1 k Степень свободы /— 1 » / Какие из трех ^-статистик для проверки Не, Нв и Нт в пред- предположениях этой модели будут подходящими для более реали- реалистической модели, мы рассмотрим позднее (§ 7.6). группировками факторов Эксперимент с двумя и с пересечением Далее рассмотрим трехфакторный эксперимент, введенный выше равенством E.3.4), в котором режимы термообработки рассматривались как / уровней фактора А, рулоны как // уров- уровней фактора С, части рулона как К уровней фактора L. В этом Эксперименте от каждой части каждого рулона было взято Q
220 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ образцов. Обычными Q-предположениями являются E.3.4), E.3.5), E.3.6) и предположение, состоящее в том, что {е*,*,} независимы и имеют распределение N@,a2). Снова мы имеем мнк-оцеши и SS ошибок sse = ZZZZ^QZZZ Мм/е-оценки различных эффектов вычисляются заменой в E.3.7) на {цик}. Равенство E.3.5) подсказывает рассмотрение гипотез На, Не, HL, Hal, HCl, где НА состоит в том, что все af = 0; Нс в том, что все а^ = 0 и т. д. Определим ам, сое, col, co^l, (ucl, как сод = На Л Q, сое = Яс П Q и т. д. Записывая — u — af — a9, — и т. дЛ2 в виде i — ц) + (af — af) — и т. д.]2, получим 9> = SSe+ IJKQ (ц - цJ + JKQ Z К - af IJQ Z (й? - «^ к + /Q Z Z (С - О2 + Q Z Z Z КД - «?ДJ. E.3.25) I К I j К Отсюда очевиден минимум & при каждом из сел, мс и т. д. Мы можем отсюда также получить, что суммы квадратов числителя для проверки На, Нс и т. д. в предположениях Q равны ZZ ZZZ I } к Полагая в тождестве E.3.25) ц, {af}, {af;} и т. д. равными нулю, мы получим тождество SSn = SSe + SSA + SSC + SSl + SSal + SSCL. Формулы этих сумм квадратов, удобные для вычислений, при- приведены в таблице 5.3.3. Число ст. св. SSe может быть вычис-
ЗАДАЧИ 221 лено как п — г, где n = [JKQ является общим числом наблю- наблюдений, a r = IJK числом {щ*)- Приведенные в таблице числа ст. св. для других SS равны числу независимых ограничений, наложенных соответствующими гипотезами. Таблица 5.3.3. Дисперсионный анализ трех факторного эксперимента с группировкой и пересечевнем Источник дисперсии Главные эффекты Взаимо- дейст- действия А С L AXL CXL Ошибка «Полная» сумма квадратов JKQ KQZ { k 1 1 к У ТУ Z_i Z-l L-i i I k i t SS ZyU-UKQ E.y»ft. - IJI<Q i — UQ У yltkt H i i ik q i k q ilk" ^ У у2 f k KQyit<tt Степень свободы /—1 /(/-1) K-l I (J-l){K- 1) UK(Q-l) ЗАДАЧИ 5.1. На Гавайях был проведен эксперимент по сравнению шести посевов различных бобовых по схеме латинского квадрата. В таблице А даиы уро- урожаи бобовых А, В, ..., F в 10-граммовых единицах (чистого веса) на 1/3000 акра через три месяца после посадки. а) Провести дисперсионный аналнз. б) Использовать Г-метод для сравнения пар трех бобовых с наиболь- наибольшими урожаями. 5.2. В течение пяти периодов, являющихся последовательными неделями, По схеме латинского квадрата наблюдалось действие некоторого возбудителя : на пять пар обезьян при пяти различных условиях. Данные приведены в таб- таблице Б. Числа являются суммарной характеристикой действия возбудителяа а буквами обозначены условия. Провести анализ данных.
222 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Таблица А*) В 220 А 74 D 118 Е 295 С 187 F 90 F 98 Е 238 С 279 В 222 D 90 А 124 D 149 В 153 F 118 А 54 ? 242 С 195 А 92 С 228 Е 272 D 104 F 96 В 109 Е 282 F 48 В 176 С 213 Л 66 D 79 С 169 D 188 А 65 F 163 В 122 Е 211 *) Заимствовано из Statistical Theory in Research, R. L. Anderson, T. A. Bancroft, McGraw-Hill, New York A952. стр. 247. Животные 1 2 3 4 5 Таблица Б*) Период 1 194 В 201 D 335 С 516 ? 184/1 2 369 D 142 В 301/1 590 С 421 Е 3 344 С 200 Л 439 ? 552 В 355 D 4 380/1 356 ? 338 В 677 D 284 С 5 693 ? 473 С 528 D 546/1 366 В *) Заимствовано из вопроса № 13 G. W. Snedecor, Biometrics, т. И A955), стр. 112. 5.3. Для сравнения некоторой характеристики различных моющих средств было заготовлено большое количество обеденных тарелок, загрязненных не- некоторым специальным способом. Моющие средства проверялись в. блоках величины трн; в каждом блоке имелось три резервуара с различными мою- моющими средствами и тремя судомойками, которые сменялись после отмывки Моющее средство А В С D Е 1 27 26 30 2 28 26 29 Таб л и ца Номер 3 30 29 26 4 31 34 33 5 29 32 24 В блока 6 30 34 25 7 30 34 31 S 21 31 23 9 26 33 24 ш 33 31 26
ЗАДАЧИ 223 каждой тарелки. Измерения в таблице В являются числами отмытых блюд до исчезновения пены в резервуаре. Использовать для оценок внутри блока Г-метод с коэффициентом доверия 0,90, чтобы решить, какие пары моющих средств значимо отличаются. 5.4. В эксперименте по сравнению семи термометров А, В , G изме- измерялась температура жидкости в ванне, в которую одновременно можно по- погрузить только трн термометра. Температура в вание медленно, но постоянно возрастала. Было использовано семь блоков величины три. Показания термо- термометров записывались в порядке, указанном в таблице Г, причем с каждого Таблица Г*) Порядок записи I II III Номер блока 1 Л 56 В 31 0 35 2 ?16 F40 Л 58 3 В 41 С 53 ?24 4 F46 G32 В 46 5 С 54 D43 F50 б G34 /168 С 60 7 D50 ?32 G38 *) Заимствовано из Statistical Methods for Chemists, W. J. Youden John Wiley, New York A951). таблица 54, стр. Ю2. термометра показания записывались только одни раз в первую очередь, один раз во вторую и один раз в третью. Промежутки времени между записями показаний сохранялись постоянными. Во всех измерениях температуры была немного выше 30 °С; результаты записывались в тысячных долях градуса. В таблице даны только два последних знака, так, /456 соответствует темпе- температура 30,056°, записанная с термометра А, и т. д. а) Провести анализ даииых по плану неполного латинского квадрата. б) Какие пары термометров ие различаются значимо по Г-методу с а = 0,10, можно ли по S-методу различить любые из этих разностей? в) Пусть термометры A, F, G сделаяы на одном заводе, а другие на другом. Используя Г-метод с а = 0,10, можно ответить на следующий во- вопрос: отличается лн значимо средняя температура трех термометров с одного завода от средней температуры термометров другого? (Этот вопрос не надо смешивать с вопросом об отличии друг от друга средних для двух заводов; в последнем случае надо иметь более обширные выборки нз продукции двух заводов и пользоваться понятием смешанной модели.) 5.5. Использовать формулу E.2.51), чтобы для даииых задачи 5.3 ре- решить, стоит ли проводить вычисления для использования информации между блоками. 5.6. В таблице Д даны в условных единицах значения характеристики четырех отпечатков, сделанных при помощи четырех головок пяти печатаю- печатающих устройств. Вычислить SS для печатающих устройств, для головок н для ошибок. Результаты сохранить для анализа в гл. 7. 5.7. Для исследования изменчивости типа тканн в трех городах была куплена ткань одного типа. Таблица Е дает в условных единицах прочность иа разрыв шестя кусков тканн (расположенных в одном столбце) из различ- различных чисел B, 3, 4) ящиков, купленных в трех городах. Вычислить средние квадратов для городов и кусков тканн внутри ящнка (ошибка). Результаты сохранить для использования в гл. 7. 5.8. Для обоснования контроля лабораторий по проверке прочности Кор- да, идущего на изготовление автомобильных покрышек, было предварительно
224 ГЛ. 5. НЕКОТОРЫЕ НЕПОЛНЫЕ КЛАССИФИКАЦИИ Таблица Д*) Печатающее устройство • 6 2 0 8 А Головка 2 3 13 1 3 10 9 0 8 6 4 7 4 7 9 5 10 9 7 12 f ! Головка 6 2 1 1 10 7 4 1 7 9 8 0 3 4 1 9 0 0 5 5 с Головк* 10 10 11 6 7 U 8 5 0 7 1 12 7 2 5 4 13 11 0 6 4 В Головка 14 5 10 8 3 !5 1 8 9 4 16 0 8 6 5 17 1 4 7 9 Е Головка 18 6 7 0 3 it4 3 0 2 2 20 3 7 4 0 *) Заимствовано из Fundaments of Analysis of Variance, часть HI, С. R. Hicks, Industrial Quality Control, т. 13 A956), № 4, таблица II, стр. 14. Таблица Е*) Город 1 1,59 1,80 1,72 1,69 1,71 1,83 ,72 1,40 2,02 ,75 ,95 ,61 2,44 2,11 2,41 2,48 2,36 2,36 2 2,27 2,70 2,36 2,36 2,16 2,04 2,46 2,21 2,50 2,37 2,24 2,25 1,36 1,43 1,48 1,55 1,53 1,39 3 ,59 .50 ,50 ,49 ,47 ,63 1,73 1,74 1,65 1,58 1,49 1,70 ,53 ,41 ,64 ,51 ,52 ,36 *) Эти данные были приготовлены при помощи таблицы нормальных случайных чи- чисел, а значения параметров былн оценены по реальным данным, которые сами по себе не годятся для нашей задачн. проведено исследование изменчивости прочности корда. В таблице Ж собра- собраны данные от двух заводов, использующих различные производственные про- процессы для получения корда с одними и теми же номинальными данными. Восемь катушек корда было выбрано случайно из продукции каждого за- завода. В каждой катушке через каждые 500 ярдов было произведено по два испытания на разрыв (на самых близких расстояниях, какие только возмож- возможны). Условные единицы, в которых данные приведены в таблице Ж, явля- являются отклонениями прочности от 21,5 фунта, измеренными в единицах, рав- равных 0,1 фунта. Составить таблицу дисперсионного анализа без столбца M(SS), который будет добавлен в гл. 8. 5.9. Построить критерий неаддитивности в плане латинского квадрата. Для этого применить результат задачи 4.19 с функцией г = f (tjm), где zijk = ci(fj;/* — С2J, Ci и сг — подходящие постоянные, a f\ijk = ? + ctf + f j f 5.10. Применить критерий, построенный в задаче 5.9, к данным зада- задачи 5.2.
ЗАДАЧИ Таблица Ж*) 225 Расстояние между соседними парами испытаний Катушка 1 2 3 Завод 1 4 5 6 7 8 Катушка 9 10 11 12 Завод II 13 14 15 16 0 ярдов 1 — 1 1 2 6 — 1 — 1 -9 0 10 9 0 5 -1 7 ~—*о 10 2 -5 10 -3 10 -8 — 10 -2 2 8 12 8 9 — 1 16 1 9 500 ярдов 1 —2 1 5 1 5 —8 5 5 —5 6 12 2 11 15 —2 10 2 —8 2 —5 5 -10 -8 —2 —9 6 15 6 16 19 11 10 15 1000 ярдов 1 —2 2 1 0 1 —2 7 5 2 15 2 15 12 12 12 9 2 3 2 -1 5 g 2 —2 3 13 12 0 5 10 12 15 16 1500 ярдов 1 2 -3 -4 10 -4 -6 1 -2 -2 1 -4 0 -3 -2 -2 10 -1 7 15 18 16 5 4 21 18 1 20 8 12 2 13 12 11 2000 ярдов 1 0 —4 2 1 5 -8 — 1 4 17 13 18 15 13 22 10 18 2 1 3 5 1 -5 — 1 2 1 14 10 8 11 9 11 10 20 2500 ярдов ! -12 4 7 5 3 —2 10 7 18 9 6 18 4 12 7 11 2 4 8 5 9 6 —4 5 — 1 11 11 8 15 6 21 5 15 *) Заимствовано из Establishing control of tire cord testing laboratories, F. Akutowicz, H. M. Truax. Industrial Quality Control, т. 13 A956), № 2, таблица i. стр. 4.
Глава 6 КОВАРИАЦИОННЫЙ АНАЛИЗ § 6.1. Введение Приложения общей теории, изложенной в гл. 1 и 2, можно разделить на три различные группы, связанные с тремя видами анализа: дисперсионным, ковариационным и регрессионным. Границы между этими тремя группами не являются очень точ- точными или общепринятыми. В настоящей монографии мы не будем пытаться делать их более точными. Некоторые из факторов (мы используем это слово в смысле гл. 4 и 5), изменяющихся в эксперименте или в ряде наблюде- наблюдений, могут быть качественными, например сорта зерна, а дру- другие— количественными, например температура. Один и тот же количественный фактор в математической модели можно рас- рассматривать или как качественный, или как количественный. Например, пусть температура является одним из факторов, из- изменяющихся в эксперименте, а эксперимент проводится только при пяти различных температурах. Если фактическое значение температуры входит в используемую формулу математического ожидания i-ro наблюдения (если, например, она содержит член Y,/, + У$, где ti — температура, при которой проводится 1-е на- наблюдение), то мы можем сказать, что этот фактор считается количественным. С другой стороны, фактическое значение тем- температуры может не входить в формулу, которая содержит только пять главных эффектов температуры и, возможно, взаи^ модействия, т. е. температура входит как качественный фактор. В этом случае*) количественный фактор рассматривается как качественный. *) Если а/ является главным эффектом /-го уровня температуры, то сум- сумма 2_, xjiaj Должна входить в формулу математического ожидания 1-го на- наблюдения, где Xji =1 в том случае, когда t-e наблюдение проводится при ;-м уровне температуры, и хц = О в остальных случаях. Конечно, коэффи-
* 6.1. ВВЕДЕНИЕ 227 Теперь мы можем сказать, что отличие трех видов анализа заключается в том, что в дисперсионном анализе все факторы исследуются качественно, в регрессионном анализе все факторы являются количественными и исследуются количественно, тогда как в ковариационном анализе одна часть рассматриваемых факторов исследуется качественно, а другая часть количе- количественно. В этой книге мы будем, конечно, как и раньше, допус- допускать, что в каждом случае неизвестные параметры входят в формулу математического ожидания наблюдения линейно. Примерами такого вида задач являются следующие: для дис- дисперсионного анализа — все случаи, рассмотренные в гл. 3, 4 и 5; для регрессионного анализа — примеры 1 и 2 в § 1.2; для ко- ковариационного анализа примеры будут даны ниже. Сделаем следующее замечание. Пусть в практических при- приложениях количественный фактор исследуется качественно, а его уровни соответствуют равным приращениям количествен- количественного фактора (например, если фактор является температурой, то его уровнями могут быть значения температуры 600, 650, 700, 750, 800° F). Если есть основания считать, что главные эффекты фактора значимо отличаются, то очень полезный тех- технический прием дальнейшего анализа этих эффектов состоит в использовании сравнений линейных эффектов, квадратичных эффектов и т. д. Значениями этих сравнений, за исключением сравнений известных постоянных факторов, являются коэффи- коэффициенты ортогонального полинома, подобранного методом наи- наименьших квадратов; полином может быть легко вычислен при помощи таблицы XXIII Фишера и Иэйтса (Fisher и Yates, 1943); выводы о рассматриваемых сравнениях (наряду со всеми дру- другими сравнениями) могут быть сделаны при помощи S-метода. Однако если полученное уравнение полиномиальной регрессии используется для предсказания, то важно рассмотреть относи- относительное значение следующих двух видов ошибок в выборе сте- степени полинома: выбор более высокой степени, чем необходимо, и. неподходящий выбор степени из слишком низких степеней. Первая ошибка менее вредна, а так как вероятность второй ошибки относительно велика, то неразумно проверять, какой коэффициент значимо отличается от нуля по S-критерию*). Различный полиномиальный выбор количественного фактора циенты {%/;} можно рассматривать как функции температуры *// —fi('<)l их отличие от коэффициентов в количественном случае (в приведенном выше примере они равны /; и ф состоит в том, что функции {*/.} используются только как переменные-счетчики или переменные-указатели (§ 1.2). *) Задачей с неоднозначным выбором степени полинома является, на- например, выбор кривой, для которой еще не получено удовлетворительное теоретическое решение; другие примеры включают выбор между различными видами функции, например полиномиальной и экспоненциальной. Я*
228 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ может быть сделан для различных уровней или исследуемых комбинаций других факторов; разности линейных, квадратич- квадратичных и т. д. сравнений, связанных с этими полиномами, можно анализировать как соответствующие «ортогональные ст. св.», выделенные из SS взаимодействия (§ 4.8 и задачи 4.17 и 4.18). Термин независимое переменное*) указывает на то, что в ковариационном и регрессионном анализе фактор исследуется количественно. По этой терминологии наблюдения {г/,}, све- сведенные в общей теории, являются тогда зависимыми пере- переменными. Простым примером ковариационного анализа с одной неза- независимой переменной является следующий**): для сравнения качества различных видов крахмала (крахмал из пшеницы, кар- картофельный крахмал и т. д.) был проведен эксперимент, в кото- котором измерялась прочность крахмальных пленок. Обычный одиофакторный анализ показал высокую значимость разностей прочности для различных видов крахмала. Однако большое различие прочности может объясниться, если принять в расчет толщину крахмальной пленки. Пусть в нашем примере уц яв- является /-м измерением прочности (зависимое переменное) г-го вида крахм'ала. Если это измерение было проведено для крах- крахмальной пленки толщины гц (независимое переменное) и если мы допустим, что «истинная» прочность линейно зависит от толщины, то уравнение нашей модели может быть записано в виде yt, = ц + <х( + yzi, + еИ (г=1, .... /, /=1 /,), F.1.1) где ц — аддитивная постоянная, а*— главный эффект г-го вида крахмала, у— коэффициент регрессии зависимости прочности от толщины и ец — ошибка. Конечно, использование в F.1.1) у вместо yi включает предположение, что линейная зависи- зависимость имеет один и тот же коэффициент для каждого вида крахмала. Для изучения общей теории следующего параграфа будет полезно иметь несколько больше примеров. Если в приведенном примере мы хотим рассматривать квадратичную регрессию от толщины вместо линейной, то наша модель должна быть изме- изменена так: ya=ll + a{ + y2{! + 6z)l + eil. F.1.2) Анализ этой модели является таким же, как анализ линейной регрессии с двумя независимыми переменными, которыми *) Автор отмечает, что для этой цели используются два термина: in- independent variable и concomitant variable. В книге используется последний. (Прим. перев.) **) Фрнман (Freeman, 1942).
§ 6.1. ВВЕДЕНИЕ 229 в этом случае являются толщина и квадрат толщины. Если в двухфакторном анализе с одним наблюдением в ячейке пере- переменного у, зависящего от независимого переменного z, мы до- допустим, что взаимодействия факторов строк и столбцов равны нулю, а регрессия линейна по г, то модель должна опреде- определяться уравнением уц = ц + а/ + р/ + уг„ + ец. F.1.3) Если имеются две независимые переменные z и w, взаимодей- взаимодействия равны нулю, а регрессия линейна, то yii = ц + а; + Р/ + yzu + 8wtj + ец. F.1.4) В этих равенствах (уц, гц) и («/,-,•, 2//, хюц) являются наблюде- наблюдениями в (t,/) -ячейке, ц является аддитивной постоянной, {а,}—главными эффектами строк, {р,}— столбцов, у и б — коэффициентами регрессии. Во всех приведенных выше примерах аддитивная постоян- постоянная ц не является генеральным средним. Если генеральное среднее определено как среднее математических ожиданий средних по наблюдениям в каждой ячейке и если мы допустим, как обычно, что главные эффекты удовлетворяют равенствам 2_,аг = 0 и 2^Р/ = 0, то генеральное среднее равно i i \i + yz для F.1.1) и \x + yz + 8z2 для F.1.2), где Для F.1.3) и F.1.4) оно равно |i-f Y2 и ц -f- V2*» + 5а>»* coot* ветственно. Если желательно сохранить символ ц для гене- генерального среднего, то вместо F.1.1) мы должны использовать Уч = ц + «< + V B</ ¦— г) + е</ и аналогичные равенства в других примерах. Ковариационный анализ был введен*) в более узком смысле (по сравнению с определенным выше), как план для совмест- совместного учета факторов, которые невозможно или нелегко контро- контролировать в эксперименте. Так, например, оценки урожаев раз- разновидностей зерна в сравнительном сельскохозяйственном опыте можно «привести» по числу всходов на участках или по уро- урожаям участков за предыдущие годы (если все участки пред- представляют собой одну и ту же «совокупность условий»). «Приве- «Приведенные» оценки, с точностью до выборочных ошибок, будут такими же, как оценки, которые должны были бы получиться, *) См. Р. А. Фишер (Fisher, 1932, § 49.1).
230 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ если бы все участки имели одинаковое число всходов или одина- одинаковые урожаи. Это обеспечивается регрессионной моделью. Ис- Используемые здесь методы статистических выводов делаются, ко- конечно, с учетом того, что ковариационная матрица «приведен- «приведенных» урожаев и оценок ошибок отличается от матрицы, исполь- используемой в соответствующем дисперсионном анализе без «приве- «приведения». . Для согласования обозначений с общей теорией гл. 1 и 2 мы будем считать, что символами {гц} и {шц} в приведенных выше моделях обозначены постоянные величины, а символами {ец} и {у,/} — случайные. Может оказаться, что в некоторых приложениях более реалистично рассматривать наблюдения независимых переменных как значения, принятые случайными величинами, а не как постоянные значения, выбранные экспе- экспериментатором *). Тогда, если мы изменим наши основные пред- предположения так, что по ним распределения, зависящие от зна- значений независимых переменных, будут условными при условии заданных значений независимых переменных, то построенная теория распределений тоже будет условной; условными будут уровни значимости, мощности и доверительные коэффициенты. Если эти условные основные предположения выполняются при всех возможных значениях наблюдений независимых перемен- переменных, то условные уровни значимости и условные доверительные коэффициенты будут одними и теми же постоянными при лю- любых совместных распределениях наблюдений независимых пе- переменных, а следовательно, безусловные уровни значимости и доверительные коэффициенты будут теми же постоянными. Такое простое утверждение нельзя сделать для мощности, ко- которая должна быть математическим ожиданием условной мощ- мощности, вычисленным по совместному распределению наблюде- наблюдений независимых переменных. При сделанных выше предположениях справедливость ста- статистических выводов может быть распространена на случай, где независимые переменные являются случайными величи- величинами; однако такие приложения ковариационного анализа тре- требуют осторожности по той причине, что выводы могут быть правильными ответами на неправильные вопросы. Примером этого может служить приведенный выше пример о крахмаль- крахмальных пленках, если мы будем считать, что прочность является решающим свойством в выборе крахмала, а производственный процесс таков, что толщина не может быть контролируема •) Случай, когда постоянные значения, выбранные и полученные в ре- результате наблюдений экспериментатором, отличаются из-за ошибок измере- измерений от «истинны* значений», входящих в уравнение модели, рассматривается В § 6.5,
5 6.1. ВВЕДЕНИЕ 231 и различна для различных видов крахмала. Если мы допустим, что проверяемые образцы являются случайной выборкой проч- прочности от каждого вида крахмала, то можно будет использовать обычный дисперсионный анализ без учета характера зависимо- зависимости прочности от толщины. Возможно, что в этом случае равен- равенство для {а,} в F.1.1) будет иметь в значительной степени чисто теоретический интерес. Развивая эти соображения дальше, мы отметим, что дан- данные, которые формально подчиняются ковариационному ана- анализу с h независимыми переменными, могут быть также фор- формально подчинены m-мерному дисперсионному анализу с m = h-\-\\ базисные элементы, необходимые для двух схем вычислений, будут такими же (т. е. элементами, обозначенными в § 6.2 через {mtv, о} и {mtv, M}). Итак, т-мерный дисперсион- дисперсионный анализ является обобщением одномерного дисперсионного анализа, изучаемого в этой книге, на случай, где наблюдения являются не независимыми одномерными случайными величи- величинами, а независимыми m-мерными случайными векторами. Наше предположение о равенстве дисперсий наблюдений должно быть заменено на предположение о равенстве ковариа- ковариационных матриц; векторы у(«х'> и рс*1» в Q-предположении М(у) = Х'р должны быть заменены соответственно на («Хи)- и (р X tri) -матрицы. Хотя мы не будем развивать в этой книге теорию m-мерного дисперсионного анализа, мы кратко обсудим отношение ее основных предположений к основным предполо- предположениям ковариационного анализа. Теория m-мерного диспер- дисперсионного анализа изложена в работах Андерсона (Anderson, 1958) и Pao (Rao, 1952), а двумерный случай —в работе Тьюки (Tukey, 1949b). Простейшим случаем является тот, в котором наблюдения получены парами {{уц,гц)} по плану с одним фактором. Чтобы можно было применять двумерный дисперсионный анализ, пары {(«/«•/»z*/)} при каждом i (i = I,...,I) должны быть случайной выборкой из двумерной популяции (популяции при различных » обычно различны); таким образом, модель, в которой значе- значения независимых переменных контролируются экспериментато- экспериментатором, здесь неуместна. Кроме того, нужно предположить, что ковариационные матрицы / двумерных популяций одинаковы. Для упрощения рассмотрения мы будем также предполагать, что двумерные популяции являются нормальными. Обозначим среднее г-й двумерной популяции через ((%,-, цг<)- По аналогии с одномерным анализом по данным только {уц} или только {zij} можно получить критерий для проверки гипотез Ну: цу\ = «* {i,,2 = ... = \iyi или Нг: цг1 = цг2 = ... = цг/. Для про- верки гипотезы Ну П Нг, т. е. Ну и Нг обе верны, требуется при- применить двумерный дисперсионный анализ.
232 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ Как отмечалось выше в более общем контексте, можно при помощи условно-вероятностного подхода получить математи- математически правильные статистические выводы из ковариационного анализа {*/*/}, рассматривающего {гц} как значения, принятые независимой переменной. Основные предположения для такого анализа запишем в виде Ун = Pi + угц + ец, F.1.5) где условное распределение {ец}, при заданных {г,;}, является распределением независимых случайных величин, имеющих распределение N@,а2). Основной гипотезой, проверяемой в ко- ковариационном анализе, является Я: р, = ра= ... =р,. Что соответствует этому в случае двумерного анализа? Если у и г имеют двумерное нормальное распределение со средними цу, [1г, дисперсиями ау, а'2г и ковариацией рауаг, то условное распределение у при заданном г является нормаль- нормальным со средним щ -\-у(г— цг) и дисперсией A — pfo2y, где у = роу/ог- Прямая у = цу + y(z— цг) является прямой регрес- регрессии у на г, а величина A —Р2)о2 может быть названа диспер- дисперсией у относительно прямой регрессии. Таким образом, в рас- рассматриваемом двумерном случае прямая регрессии у на г в t-й популяции задается уравнением у = \iyi Л-У {z — \izi), а диспер- дисперсия у относительно этой прямой равна A —Р2)°^- Таким обра- образом, оказывается, что {р,} в F.1.5) определяется соотношением Р,-= fiyj — yiizi, о2 — формулой а2 = A—р2) ау, а гипотеза Н заключается в том, что для / популяций прямые регрессии у на г по основным предположениям параллельны, а по гипотезе Н совпадают. Ковариационный анализ дает правильный критерий для Н, ио Н в одних приложениях может представлять интерес, а в других может не представлять никакого интереса. Пусть {ytj} являются оценками математической подготовки студентов старших курсов в / различных колледжах по резуль- татам одинаковых экзаменов, a {zif}—отметками по матема- математике тех же студентов на других экзаменах, например на вступительных. В этом случае может представлять интерес рас- рассмотрение гипотезы Н. Вследствие линейности регрессии, выте- вытекающей из основных предположений, в каждом колледже ожи- ожидаемая отметка студента может быть представлена в виде сум- суммы двух членов: первый член пропорционален его вступительной отметке, а второй член характеризует колледж. Предположение параллельности прямых регрессии имеет тот смысл, что угло- угловой коэффициент одинаков для всех школ (это предположение должно быть тщательно изучено, если мы имеем дело с дей-
§ 6.1. ВВЕДЕНИЕ 233 ствительностью, а не с гипотетическим примером). Гипотеза Н заключается в том, что члены, характеризующие школы, оди- одинаковы, т. е. что различная подготовка студентов в различных школах может быть полностью отнесена к их различных спо- способностям, оцененным их отметкам на вступительных экзаме- экзаменах, и что после учета этого влияние школ будет одинаково. С другой стороны, если {</,/} являются отметками студентов по математике, а {г*/} отметками тех же студентов по английскому языку, то трудно увидеть какой-либо смысл в проверке Н. Иногда говорят, что ковариационный анализ верен только в том случае, когда «совокупности условий» не влияют на зна- значения независимых переменных. В общем двумерном случае, описанном выше, различными «совокупностями условий» яв- являются / уровней, соответствующие / популяциям. Отсутствие влияния «совокупности условий» на значения независимых пе- переменных может описываться тем, что при любом i распределе- распределения {г,/} одинаковы, или, в других случаях, что цг\ = цг2 = ... ... = Цг/- При этом дополнительном предположении гипоте- гипотеза Н, проверяемая методами ковариационного анализа, сво- сводится тогда к идентичности / двумерных распределений. Фор- Формальное утверждение, что ковариационный анализ может быть использован только в этом случае, сильно ограничивает воз- возможности его применения. Однако слово «влияние» в вероят- вероятностных контекстах не всегда имеет ясный смысл. Если мы вспомним два примера, рассмотренных выше, и допустим, что распределения отметок {г,,} не одинаковы в разных колледжах (так что по введенной выше интерпретации «совокупности ус- условий» влияют на значения г), то в первом примере колледжи должны «влиять» на оценки, полученные поступающими, и это противоречит обычному смыслу этого слова*), тогда как во втором примере колледжи должны «влиять» на подготовку сту- студентов по английскому языку—в этом случае нет противоре- противоречия с обычным смыслом слова. Чтобы уменьшить эту смысло- смысловую путаницу, мы будем стараться не употреблять выражений, которые к ней приводят; с этой же целью напомним нашу точку зрения: общий двумерный случай, рассмотренный нами, яв- является частным случаем еще более общего случая, в котором независимые переменные случайны, а все распределения по основным предположениям являются условными при заданных значениях независимых переменных. Тогда ковариационный анализ может быть применен к получению критериев, которые *) Автор здесь не совсем прав: слово «влиять» в рассматриваемом при- примере часто можно понять и в обычном смысле; так, например, одни кол- колледжи пользуются большей известностью и в них идут более подготовленные, а это, конечно, приведет к более высоким оценкам на вступительных экзаме- экзаменах. (Прим. перев.)
234 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ имеют правильные уровни значимости, или интервальных оце- оценок с правильными доверительными коэффициентами. Однако решение об использовании этих критериев или оценок должно рассматриваться отдельно в каждом приложении. Всякий раз, когда факторы изучаются количественно, имеет- имеется опасность экстраполяции результатов за пределы данных. Когда экспериментатор контролирует значения независимых переменных, он должен выбирать их значения с учетом того, какие значения могут принимать независимые переменные в по- последующих применениях его результатов. Отметим, что модель, учитывающая случайные ошибки контролируемых переменных, изучается в § 6.5. Мы видим, что осторожность в приложениях и интерпрета- интерпретации ковариационного анализа является еще более необходимой, чем в дисперсионном анализе. Необходимость соблюдения осто- осторожности и два возможных вида ошибок были тщательно сфор- сформулированы М. Дж. Кендаллом *) (его термин «дисперсионный анализ» включает «ковариационный анализ>): «... мы должны особо подчеркивать, что дисперсионный анализ, подобно другим статистическим приемам, ие является мельницей, которая может авто- автоматически перемалывать данные без опасений или предусмотрительности со стороны оператора. Дисперсионный анализ является более деликатным ин- инструментом, который может быть использован, когда необходимы точные ре- результаты, однако ои требует умения так же, как и энтузиазма, чтобы при- применить его наилучшим образом. Читатель, который просматривает литературу по этому предмету, будет иногда находить сложные анализы, применяемые к данным, чтобы доказать некоторые факты, которые почти очевидны из тщательного рассмотрения данных до начала анализа, или он будет находить результаты, установленные без указания «значимости», без всякой попытки их критической оценки. Это не является поводом для постоянного напомина- напоминания о необходимости осторожности в использовании современных теоретиче- теоретических приемов, а говорит о том, что дисперсионный анализ приводит к инте- интересным выводам лишь в том случае, когда используемые данные, к которым применялся дисперсионный анализ, заслуживают этого применения». § 6.2. Построение формул ковариационного анализа по соответствующим формулам дисперсионного аиализа Предположим, что данные были собраны по некоторой стан- стандартной схеме, например по схеме одно-, двух- или многофак- многофакторного анализа, латинского квадрата, неполных блоков или по другой возможной схеме. В этой книге мы будем изучать отдельно эти случаи. Пусть для каждого наблюдения зависи- зависимого переменного у мы получаем также множество h независи- независимых переменных z\, ..., Zh. Предположим далее, что для ана- анализа данных мы должны будем допустить, что М («/<¦)> матема- *) The Advanced Theory of Statistics, M. G. Kendall, Charles Griffin, London A946), т. II, стр. 245.
§ 6.2. ПОСТРОЕНИЕ ФОРМУЛ КОВАРИАЦИОННОГО АНАЛИЗА 235 тическое ожидание наблюдения, равно сумме двух выражений, где первым является выражение, которое обычно рассматри- рассматривается в дисперсионном анализе, а вторым — линейная комби- комбинация значений независимых переменных с коэффициентами. Таким образом, первое должно быть равно 2j */»Р/. где являются элементами матрицы X', а {Р/}—эффектами, которые должны рассматриваться в дисперсионном анализе; вторым вы- h ражением должна быть ? z/tY/, где г/,- является значением не- независимого переменного zs, при котором наблюдалось перемен- переменное yi. Примеры таких моделей были приведены в § 6.1. При подходящем выборе матричных обозначений уравнение модели запишется в виде М (у) = X'fJ + Z'\. Мы, конечно, могли бы применить общую теорию гл. 1 и 2 к анализу данных. Здесь число р + h параметров соответствует числу р общей теории, а параметры {Pi, ..., рР; у\,..., ун) соответствуют параметрам общей теории {Pi,...,pp}. Однако цель этого параграфа*) за- заключается в том, чтобы дать другой метод. Назовем «соответ- «соответствующей задачей дисперсионного анализа» в рассматриваемой схеме случай обычного дисперсионного анализа, т. е. случай, к где члены ? г^у/ не включаются в М («/<)> или, более фор- формально, случай, где мы допускаем, что все у/ = 0. В этом пара- параграфе мы узнаем, как нужно изменить вычисления в соответ- соответствующей задаче дисперсионного анализа, чтобы получить ре- решение задачи ковариационного анализа. Для этого требуется, чтобы решение соответствующей задачи дисперсионного анализа было несложным. Если это так, то новый метод является обычно более простым, чем непосредственное применение общей теории гл. 1 и 2. В этой главе удобно обозначать основные предположения задачи ковариационного анализа через Q, а символ Q сохра- сохранить для основных предположений соответствующей задачи дисперсионного анализа. Предположим, что Q и Q заклю- заключаются в следующем: Q: */" х ° имеет распределение JV № х ° + Z'v(* x 1), а2/), Q: /*Х1> имеет распределение Ы(Х'${рХП, а2/). Компоненты {Рь...,рр} вектора р являются эффектами в соот- соответствующей задаче дисперсионного анализа; они могут быть •) Важнейший результат этого параграфа был получен Pao (Rao, 1946) другим путем.
236 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ главными эффектами, взаимодействиями, эффектами блоков или другими эффектами. Компоненты {у\,...,ун} в задаче ко- ковариационного анализа являются коэффициентами регрессии при h независимых переменных {z\,...,zh}, соответственно*). Мы будем обозначать у-й столбец Z' через S/ = B/1,2/2, ..., Zjn)'. Этот столбец состоит из значений, принимаемых у-й независи- независимой переменной г,-; гц является значением г;- в i-м наблюдении yi независимого переменного у. Читатель, желающий принять новый метод без доказатель- доказательства, может воспользоваться готовыми результатами, изложен- изложенными в разделе этого параграфа, озаглавленном «Вычисления»; для чтения этого раздела нужно знать, что через Qa и Qa обо- обозначены соответственно матрицы квадратичных форм 9*а и ^ч, от наблюдений {у\ у2,..., уп); 9"а и 9>а имеют свое обычное значение, которое они должны иметь при проверке гипотезы Яр относительно {р,} в соответствующей задаче дисперсионного анализа. Если мы обозначим у-й столбец X' через |/, так что I2t • • • > xin)', а М (у) через ц, то ц = Х'р -f- Z'\ можно записать в виде П = p-S, + •.. + Рр?р + Tigi + • • • + Ун1к. F.2.1) Пространство, порожденное {|i %р}, удобно обозначить че- через Vq вместо Vr, как было до этого, а пространство, порожден- порожденное {|ь .... %p,iu •••, ?fc}> через Vu. Если г является размер- размерностью Vq, то мы будем предполагать, что размерность V%, равна г -f- h; это эквивалентно такому предположению: если г = г(Х'), то г -f- h равно рангу составной матрицы (X'Z'), столбцами которой являются {|i ..., |p,5i, •••> %,ь)- Причиной *) Иногда требуется, чтобы независимое переменное входило в уравне- уравнение модели с различными коэффициентами регрессии; например, в задаче сравнения крахмала (§ 6.1) коэффициент регрессии прочности, зависящей от толщины пленки, может предполагаться различным для различных сортов крахмала (в этом случае может быть также разумно считать «постоянный член> ц + ai для каждого сорта равным нулю). Теорию данного параграфа можно применить и в этом случае, если определить некоторое число искус- искусственных независимых переменных (нх число ранно числу различных коэф- коэффициентов регрессии) так, чтобы г-я независимая переменная во всех наблю- наблюдениях была ранна нулю, за исключением наблюдений с г-м коэффициентом регрессии; однако в этом случае, возможно, проще вернуться к обшей теории гл. 2.
§ 6.2. ПОСТРОЕНИЕ ФОРМУЛ КОВАРИАЦИОННОГО АНАЛИЗА 237 этих предположений является то, что мы хотим, чтобы коэффи- коэффициенты регресии {у/} были однозначно определены при любом заданном ц в F.2.1), а также, чтобы они являлись параметри- параметрическими функциями, допускающими оценку. Докажем, что {у,} однозначно определяются по нашим предположениям. Выберем базис {ai,...,ccr} в Vq\ заменяя | в F.2.1) соответствующими линейными комбинациями а и собирая коэффициенты при а, получим ц = c,oi + ... + crar + YiS1 + • • • + Yfcb* F-2.2) Так как {аь ..., аг, ?ь ..., ?л} является базисом в Vq, to коор- координаты {у/} должны быть единственными. Мы будем предполагать, что наложено t дополнительных условий Я'р = 0, где Н' является (*Хр) -матрицей. По этим условиям и по Q параметры {Р/} определяются однозначно; это будет совсем очевидным в приложениях. Необходимые и доста- достаточные условия единственности {р,} даны в теореме 3 § 1.4. В рассматриваемом случае существует единственное решение рй, удовлетворяющее нормальным уравнениям и дополнитель- дополнительным условиям ХХ% = Ху, Я'рй = 0. F.2.3) Предположим, что решением является Ра = Ау; тогда, подстав- подставляя его в F.2.3) и замечая, что полученные равенства верны при любом у, найдем соотношения XX'А = X, НА = 0, F.2.4) которые будут полезны. Мы будем обозначать жмк-оценки р и \ в предположениях Q через Pg и Y'2! Yg единственна, так как {у/} допускают оценку. Позднее мы покажем, что Р^ может быть выбрана одно- однозначно, если наложить дополнительные условия Я'Р^- = 0. Итак, т\й = X'fia является проекцией у на Vq; мы можем записать г\а = Рау, где Ра = Х'А. Нам потребуются соотноше- соотношения Они верны для любых матриц преобразований проектирования. Первое очевидно, так как если мы проектируем ца на Vq, to снова получим ца, следовательно, Pq {Pay) = Pay при любом у. Второе может быть получено умножением F.2.4) слева на Л'
238 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ (получим А!XX'А = Р'ц) и последующим транспонированием *). Если мы запишем проекцию у иа Vs в виде i\Q = X'$s + Z'\^ = = Рйу, то найдем Ро(Рц0) = РЙУ. или *V>s = Pu, так как tjQ может быть получено проектированием сначала у на Vq, а затем проектированием результата иа Vq. Если мы определим Qa = I~Pu> Q* = l-Pfr F-2.5) то для любого у векторы Qay и Q^y будут проекциями у на ортогональные дополнения (см. конец приложения I) прост- пространств Vq и Vq соответственно. Используя F.2.5), мы найдем, что Вычислим сначала Yg- Умножая Qsy = y-X%-Z'v5 , F.2.6) слева на QQ, получим <1^'П> F.2.6а) так как QQX'Pg=0 (X'jig является линейной комбинацией н, следовательно, входит в Va). Вектор Q$y ортогонален а значит и {S^. Так как {ЭД являются строками Z, то ZQgy и из F.2.6а) находим нлн 2QaZ%^ZQ^. F.2.7) Покажем теперь, что (Л X Л)-матрица ZQqZ' не вырождена. Так как ZQaZ' =¦ (QqZ')'(QaZf), то по теореме 7 приложения II ZQqZ' = r(QaZ'), h столбцов {Qo?/} матрицы QQZ' должны быть линейно независимыми. Действительно, если мы подста- подставим Sj = Po5> + Qa?/ для каждого S/ в F.2.2), то увидим, что *) Профессор Роберт Вийсман указал мне, как симметричность PQ, мат- матрицы преобразования проектирования, может быть легко доказана непосред- непосредственно без использования F.2.4). При помощи выбора ортогонального ба- базиса, полученного распространением ортогонального базиса в Va на Vn, Pa может быть приведена к диагональной матрице D с г первыми диагональ- диагональными элементами, равными 1, а остальными 0. В любой другой системе координат PQ имеет вид T'DT, где Т ортогональна. Матрица T'DT симмет- симметрична, так как D симметрична.
§ 6.2. ПОСТРОЕНИЕ ФОРМУЛ КОВАРИАЦИОННОГО АНАЛИЗА 239 любой вектор из К§ является линейной комбинацией векторов {а,}, {Ра?/} из Vq и векторов {Qo?/}, ортогональных к Vq, так что векторы {Qs&i} должны порождать ортогональное допол- дополнение Va в Vq, которое по лемме 10 приложения I имеет раз- размерность (г -f- h)—г = h. Теперь мы можем разрешить F.2.7) относительно у^ ')-1 ZQQy. F.2.8) Матрица Qq находится при решении соответствующей задачи дисперсионного анализа как симметричная матрица квадратич- квадратичной формы 9"а, являющейся SS ошибок при Q 9>й = || у - ц ||« = || у - Рау ||» = || Qay ||» = Для вычисления Р^ заметим, что вектор Q^y ортогонален к {|/}, так как он ортогонален к V$ ; следовательно, XQay = 0. Подставляя в это равенство F.2.6), получим XX%^X(y-Z'\u). F.2.9) Так как система F.2.3) имеет единственное решение $$ — Ау, то мы видим, что F.2.9) имеет единственное решение, удовле- удовлетворяющее равенству #^=0. Это решение находится по формуле Pg = A(y—Z'Yg)'которую для дальнейшего исполь- использования перепишем в виде к = АУ-Т,Ъ,,ъА1г F.2.10) Нам нужно еще вычислить 9"$, являющееся SS ошибки в задаче ковариационного анализа. Если мы обозначим через Ну гипотезу, состоящую в том, что \ = 0, то Q = Ну Г) Q и, сле- следовательно, &Q — ^s равно S5 числителя статистики 3~ для проверки Ну в предположениях Q. Но из § 2.7 мы знаем, что S5 числителя может быть также вычислено по формуле Уа(»-т,)~Ча. F-2.il) где через 1\ обозначена ковариационная матрица вектора Yq> вычисленная в предположениях Й. Теперь из F.2.8) Гу = {ZQuZ'y{ ZQaTyQQZ' (ZQQZ'yl, где Гу = с?1. Так как Q2a = Qa, то ')-\ F.2.12)
240 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ Подставляя в F.2.11) и приравнивая к 9"а — 9>§, получаем искомый результат который с помощью F.2.7) можно записать в виде )- F-2.13) Наконец, предположим, что Яр является гипотезой относи- относительно {р,}, для проверки которой мы хотим вычислить F-кри- терий в предположениях Q, зная F-критерий в Q. Если Яр определяется q линейно независимыми параметрическими функ- функциями от {Р/}, которые допускают оценку при Q, то они допус- допускают оценку и при Q, так как оценка, являющаяся несмещен- несмещенной при Q, будет, конечно, несмещенной и при QcQ, Обозна- Обозначим через со и со предположения со = Яе П Q, со = Яр П U. Так как со = Ну Г) Q, где Ну является гипотезой \ = 0, то мы можем получить 9"& из ЯРа> заменяя ОиОиасоийв приве- приведенной выше теории вычисления 9"^ no 9*а. Из равенства 9>а = y'Q«,y, где Qa симметрична, следует, что ZQaZ' не вырож- вырождена. Доказательство проводится так же, как для ZQqZ'; нужно использовать базис (г — <7)"меРиого пространства Va в аналоге равенства F.2.2) для векторов (г + h — 9)*меРН0Г0 простран- пространства V&- Тогда, аналогично F.2.13) и F.2.7), получаем ?& = ^ - Ya (zQjj)> гДе Ya является решением ZQaZ'y& = ZQj). Вычисления Нам нужны значения у (h + 1) (h + 2) величин, которые мы будем обозначать через {tntv,а}, где каждое t и v может быть любой из h -f- 1 величин у, г\, ..., zh и m>.v, a = tnvt, а- Эти зна- значения определяются формулой mtv, a = t'QaV, где каждое t и v может быть любым из h + 1 векторов у, %и ... ..., t,h- Эти значения вычисляются из тождеств, используемых в соответствующей задаче дисперсионного анализа для вычис- вычисления &Q = y'Qay, т. е. из тождеств, которые дают 9"а как результат сложения и вычитания некоторых сумм квадратов значений зависимого переменного у. Таким образом, если 9*а зависит от SS вида ?Ck [Lk (у)]2, где Lk{y) является линейной
§ 6.2. ПОСТРОЕНИЕ ФОРМУЛ КОВАРИАЦИОННОГО АНАЛИЗА 241 формой значений у, то mtv таким же способом зависит от вы- выражения zlCkLk(t) Lk(v). Читателю, не понявшему такое опи- описание вычисления {mtv, а}, рекомендуется немедленно посмот- посмотреть, как оно применяется в § 6.4. Будем обозначать (Л X Л)-матрицу ZQaZ' через Ма, а (ЛХ1)*вектоР ZQay через шй; («,/)-элементом Ма является mZizj,Q, a (i, 1)-элемент та равен mZiy,Q. Теперь мы запишем h уравнений F.2.7) для h коэффициен- коэффициентов регрессии {yt ^) в новых обозначениях MQ\;} — ma и ре- решим их. Если А > 1, то следует посмотреть, нужно ли решать эти уравнения при помощи вычисления обратной матрицы Mq1 *). Если мы знаем, что позднее нам потребуется оценить все дисперсии и ковариации {fy &}, то мы должны вычислить Ма1» так как по F.2.12) оценка ковариационной матрицы Yq в предположениях й равна s2Mal, где s2 является 55 оши- ошибок в Q. Вычислив векторы mQ и Yq. Mbl можем найти их скалярное произведение тгшУг„у,, з + ••• +mzhy,Jh,S' вычитая его из SS ошибок в задаче дисперсионного анализа, по формуле F.2.13) получим 55 ошибок в задаче ковариацион- ковариационного анализа ^q=^-<Yq. F.2.14) Число ст. св. 9"§ равно п —г+Л. Обычно требуется получить ишк-оценки {Pi РР}. Для их вычисления заметим, что в задаче дисперсионного анализа каждое рг,a (t=l,...,p) является известной линейной фор- формой значений зависимого переменного у, например р,-, а = /<(*/)• F.2.15) Образуем такую же линейную форму для каждого независи- независимого переменного, а именно U{Zj) для / = 1, ..., h. Тогда, как следствие F.2.10), получим, что оценка р* в предположениях Q равна *) Если h <: 3, то вычисление обратной матрицы через алгебраические дополнения (теорема 4 приложения II) является совсем простым. Если Л>3, то можно использовать метод Гаусса — Дулиттла; см. Pao (Rao, 1952), стр. 30—31, или Двайер (Dwyer, 1951), стр. 191.
242 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ В формуле F.2.16) член — y,_ jj-/t (zy) естественно назвать по- поправкой к р(,о от регрессии по Z/. Следовательно, для каждого Р,, которое требуется оценить в предположениях Q, мы вычис- вычисляем значения F.2.15) его оценки и значения такой же линей- линейной формы от независимых переменных, а затем применяем F.2.16). Если Яр определяется q линейно независимыми линейными ограничениями на {Р/} и мы должны вычислить критерий для Яр в предположениях Q по известному критерию Яр в Q, то наши вычисления проводятся аналогично вычислениям 9"^ по &q. Мы начинаем с тождеств для вычисления 9>и> в задаче дисперсионного анализа, где 97W является суммой 5S числителя и SS знаменателя статистики &~ для проверки Яр в предположе- предположениях Q. Используя такие же тождества, мы вычисляем A/2) (Л + 1)(А + 2) величин {tntv, m}, где mtv, а определяется как t'Qav, если Su, = y'Qay. Пусть через Ма обозначена (ЛХА)- матрица, элемент i, j которой равен тг{г,. а, а через та обозна- обозначен (А X 1) -вектор с элементом i, 1, равным mZiy, «>¦ В дальней- дальнейшем обратная матрица Af не будет использоваться, поэтому мы просто решим систему Л уравнений с h неизвестными {Yi, a Yft, й}: = me, чтобы получить Л элементов вектора Ya- Эти элементы исполь- используются так же, как в F.2.14), для вычисления ^'й = ^'@— maYffi- Сумма квадратов числителя статистики &~ для проверки Яр в предположениях Q вычисляется как 9>& — 9"%, a SS знамена- знаменателя равно ^з; числами ст. св. являются q и п — г + Л. Доверительные множества или критерии для проверки ги- гипотез, включающие только коэффициенты регрессии {у/}, могут быть получены методом доверительных эллипсоидов (§§ 2.3 и 2.4). Для этой цели потребуются некоторые, или все, эле- элементы ковариационной матрицы оценок \у. ^}; легче всего они могут быть получены по формуле F.2.12), которая показывает, что ковариационная матрица равна а2МП1- Если вычислены оценки {Р/й}> то могут также потребоваться их дисперсии и ковариации. Для вычисления дисперсий и ковариаций вели- величин {Ру g} по формуле F.2.16) полезно отметить, что два мно- множества случайных величин {/,(#)} и {fy g}, входящих в фор- формулы, являются в предположениях й независимыми. Покажем это. Мнк -оценка y;- q является несмещенной при условиях Q,
§ 6.3. ПРИМЕР С ОДНИМ НЕЗАВИСИМЫМ ПЕРЕМЕННЫМ 243 и следовательно, является также несмещенной при Q, так как при Q ее математическое ожидание равно нулю. Таким образом, при Q эта линейная форма принадлежит пространству ошибок (конец § 1.6), а любая /,(*/)= piiQ при Q принадлежит прост- пространству оценок; отсюда следует, что два множества линейных форм ортогональны. Следовательно, они являются независи- независимыми как в Q, так и в Я (все эти утверждения сделаны в пред- предположении, что наблюдения независимы и нормально распре- распределены с равными дисперсиями). По-видимому, нет простого способа получения выводов, содержащих {ру} и {у,}; но эта задача возникает не так часто, как решенная нами. Если оиа возникнет, то можно, конечно, использовать общую теорию гл. 1 и 2. § 6.3. Пример с одним независимым переменным Мы рассмотрим случай однофакторного анализа с одним независимым переменным. Реальные задачи, в которых может быть использован этот анализ, описаны в связи с F.1.1). Основ- Основные предположения зададим в форме*) {etj} независимы и имеют распределение N@, а2). Соответствующий дисперсионный анализ в предположениях Q, по которым у = 0, был проведен в § 3.1. Было получено SS ошибок *-У1»)\ F-3.1) для вычисления которого использовалось тождество ^й=ЕЕу|/-Е/^. F.3.2) Чтобы применить теорию § 6.2, мы должны вычислить три величины туу, q, туг, а и тгг, а- Для определения tntv, a рассмотрим F.3.1), как сумму квадратов линейных форм *) Для полноты в этом примере н в примере следующего параграфа мы должны добавить условие на ранг матрицы (X', Z'), установленное после F.2.1). В этом примере оно приводит к тому, что по крайней мере при одном I не выполняются равенства z{{ = zi2= ... =z(/,. В примере с крах- крахмалом, если это условие нарушено, то эффект толщины может быть погло- поглощен (может переплетаться с) эффектом крахмала. На практике нарушение этого условия является довольно необычным. Но если это нарушение есть, то при исследовании решения уравнений для коэффициентов регрессии rt о} мы должны на него обратить внимание, так как тогда решение мо- может быть неединственным.
244 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ L(y) = уц — уы, и заменим [L{y)]2 на L(t)L(v), так что m,v, Q = ? ? (/„ - ',.) (о,/ - о,.). Для вычисления {т<о, о} используем таким же способом тож- тождество F.3.2) mfti о = ? ?',/»,/ - ? /,/,.о,; требующиеся нам величины вычисляем по формулам Шш Q = ? ? 0|/ - Z Л&' «гг. О = Z Z Al - Z /Л' Следующим шагом является решение уравнения MQ\^ = mQ. В рассматриваемом случае оно сводится к тгг QVn = тг!/ q. 2 откуда Vq =—2^-2-. Теперь SS ошибок в предположениях Q вычисляется как 9*Q — m'Q\^ или ^й = ^a ~ mzy, flYg = mvy a - тг-1 йт2г!Л 0. Число ст. св. равно n—1—l, где rc = Z^<- Мнк-оценкой р,- в Q является р,, Q = у,*. Поправка регрессии по z равна — Yq2(; таким образом, лш/с-оценкой р, в предполо- предположениях Q является P*.ff = ^.-^az*.- (б.з.З) Для проверки гипотезы tfY: 7 = 0 или для построения дове- доверительного интервала у нам потребуется D (у§). Общая тео- теория, по которой а^МБ1 является ковариационной матрицей Yg, для этой дисперсии дает формулу Критерий и доверительный интервал могут быть получены на основании того факта, что отношение (у^ — y~\/(m~ll2s\ где s2 = 9>~l(n — I— 1), имеет t—распределение с п — /—1 ст. св. в предположениях Q.
§ 6.3. ПРИМЕР С ОДНИМ НЕЗАВИСИМЫМ ПЕРЕМЕННЫМ 245 Пусть Яр заключается в следующем: Яр: Pi = Рг^= ••• = Р/- Обозначим Яр П Q через со. Вспомним, что в соответствующей задаче дисперсионного анализа <о2 Т, i I где г/=2 2 yijln. Это 55 может быть вычислено прибавле- прибавлением Ра к сумме ^ ni (Уи — УJ> являющейся 55 числителя для проверки Яр в предположениях Q. В любом случае 9"а вычис- вычисляется по формуле Проводя вычисления для со так же, как мы это делали для Q, получим ш = УУ, G) —г —1— ч ~ - *-*-» ш —j- —г V1 V1 Q) _1 2 fflzy, а — ?-1 ^ ^цУII flZtj, ir -~ ^yy, a zz, a yz, a' Теперь 55 числителя для проверки Яр в предположениях й вычисляется, как <?^—9*^, 55 знаменателя равно t?^, а чис- числами ст. св. являются /— 1 и п — /— 1. Если гипотеза Яр была отвергнута, то, применяя 5-метод, можно определить, из-за каких сравнений {р,} это произошло. Для применения 5-метода нам потребуется дисперсия оценки ¦ф^. = ХсР - сравнения ¦ф = 2сР (YjC = 0\ в предположе- И ( it, Q iii \i I ) ниях Q. Из F.3.3) вытекает, что /ф-=2с.У —Y~ 2 с z. ¦ По замечанию, сделанному в конце § 6.2, при Q случайная вели- величина y~ {} б F34 находим , у § , р у чина y~ не зависит от {yt*}; таким образом, используя F.3.4), D (%) = Г-метод неприменим, так как оценки {р, $}, определяемые F.3.3), в общем случае не будут иметь равные дисперсии (или равные ковариации), если даже равны {У,}.
246 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ § 6.4. Пример с двумя независимыми переменными Этот параграф можно читать вместе с § 6.2 или сразу после § 6.2; результаты § 6.3 переносятся здесь на случай с двумя не- независимыми переменными, поэтому этот параграф может пока- показаться частичным повторением, если уже прочитан § 6.3. Пусть в плане двухфакторного анализа с одним наблюде- наблюдением зависимого переменного у в ячейке заданы также значения двух независимых переменных z и до. Если мы допустим, что регрессия линейна по z и w и что взаимодействия между фак- факторами, соответствующими строкам и столбцам, отсутствуют, то наши основные предположения будут иметь вид*) ' Ун = И + аг + Р/ + yzii + &Щ + etl, независимы и имеют распределение Л^О, а2), где yth Zij, Wij являются соответственно значениями у, z, до, по- полученными в (t, j) -ячейке, г у и б— коэффициенты регрессии при z и до. Рассматриваемый анализ должен охватывать также случай квадратичной регрессии с единственным независимым переменным z, если мы положим и>ц = г2ц. Соответствующий дисперсионный анализ в предположениях Q, где 7 = 6 = 0, был проведен в § 4.2. Было найдено SS ошибок -уи-у^ + У^ F.4.1) которое можно вычислить по формуле *„=Е Е у\, - / Е у1 -1E у1, + uyl. F.4.2) Нам нужно вычислить шесть величин {tntv,a}, где каждое t и v может быть у, г или до. Для определения tntv, а мы рас- рассмотрим F.4.1) как сумму квадратов линейных форм L(y) = = Ун—#<¦ — У*1 + У** и заменим [L(y)\2 на L(t)L(v), так что "V в = Е Е (/и - /,. - К, + Q (vu - vu - v,t + vn). Для вычисления {tnto, а} мы применим такой же прием к тож- тождеству F.4.2) «„. в=Е Е tuvtl - j Е tttpt, -1Z Крч + utmvt. •) См. сноску в начале § 6.3 об условии, налагаемом на ранг, необходи- необходимом для полноты Q-предположений.
§ 6.4. ПРИМЕР С ДВУМЯ НЕЗАВИСИМЫМИ ПЕРЕМЕННЫМИ 247 Необходимые нам величины вычисляем по формулам yy.Q i i '' i '* / *' I j i тгУ, и=? ? гцУц —J ? ziJJi* —l ? z*\y*i + iJzttyt. и т. д. Следующим шагом является решение уравнения общей тео- теории Мц\$ = ти. В рассматриваемом примере Mu==(m**1°mZa'>0 )' ^=(*°)' Таким образом, мы должны решить систему m V- + tn 6^ = m шг, Q'U шш, Я Я wy, й Теперь SS ошибки в предположениях Q вычисляется как 9" — m^v^. или в рассматриваемом примере 9>^ = т —т \~ — т б~. F.4.4) Q у у, й гу, й' й wy, П й х ' Число ст. св. равно (/— 1)Х(/— 1) — 2. В предположениях Q лш/с-оценкой главного эффекта t'-й строки является а,-, о = у и — У»*- F.4.5) Для получения соответствующей оценки в предположениях Q мы «сделаем поправку на регрессию»; для этого образуем такие же линейные формы от г и до (а именно 2/„ —г„ и до** — до*»), умножим их соответственно на у- и 6М а затем, вычитая их из F.4.5), найдем <Ч S = Уь ~ У» - % {ги - г») ~ h (wi* ~ w»)- Таким же способом получаем К а = уч - у- ~ *в {'.I ~ z~) ~ к К - * J 1К л fiS F.4.6) Для проверки гипотез Ну: v = 0, Яв: 6 = 0,
248 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ или для получения доверительных интервалов параметров у и б, или для получения доверительного эллипсоида для (у, б) мы можем использовать метод §§ 2.3 и 2.4. Тогда нам потре- потребуются некоторые, или все, элементы My1, так как о2МБ1 является ковариационной матрицей (¦$-. бй)- Так как Мп яв- является B X 2)-матрицей, то матрица, ей обратная, легко вы- вычисляется с помощью алгебраических дополнений (теорема 4 приложения II). Получаем Ms1 =_„-:;_ M-i ' : ь F-4.7) где M = mzzQmwwU-mlwQ. Таким образом, D(ys) = M~lmww йа2, D(fiff) = МГхтгг йо\ F.4.8) Cov(yq, в0) = - M-lmtw Qa2. Например, чтобы найти доверительный интервал для у, мы ис- используем тот факт, что при Q отношение (у^. — Y)/Cs имеет /-распределения с (/—1)Х(^—1) — 2 ст. св., если 0^") = == С2а2 и s2 = 5d. /(// — / — /— 1). Значение С2, как видно из пер- первой формулы F.4.8), равно M-ltnww, a. Мы будем применять общую теорию § 6.2 к построению кри- критерия для гипотезы Яр об эффектах столбца Яр: pi = р2= ... =р; = 0 в предположениях Q; критерий для соответствующей гипотезы об эффектах строки, конечно, может быть получен аналогично. Обозначим Яр П Q через со. Вспомним, что в соответствующей задаче дисперсионного анализа 9"^ = J] X (уи — Уг*J> которое вычисляется прибавлением 9*q к сумме 1^{у„ —У„J> являю- являющейся 5S числителя статистики для проверки Яр в предполо- предположениях Q. Во всяком случае, для вычисления мы можем ис- использовать тождество Уa = YjlLУ2ц — JИ,#?*• Проведя при со i I i вычисления так же, как при Q, найдем шесть значений ъепн- чиныт(а т = X X'tnvii<~ '' S ^,",„. гДе каждое/ и v можно по- положить равным у, г или w. Далее, мы решим относительно Ya и ^ш Уравнение M(i)yu) = mi!i, которое совпадает с F.4.3),
§6 5. ЛИНЕЙНАЯ РЕГРЕССИЯ 249 если Q заменить на со. Тогда величина 9"й определяется по ана- аналогии с F.4.4) формулой 9>&^tnl)l)a!-mzy^ye)-mwy J>&. Те- Теперь 55 числителя для проверки Яр в Q вычисляется как 9"а — 9:'^, 55 знаменателя равно 9?$, а числами ст. св. яв- являются / — 1 и // — / — / — 1. Если гипотеза Яр была отвергнута, то, применяя 5-метод, можно определить, какое сравнение {р\} послужило причиной этому. Для применения 5 метода нам потребуется дисперсия оценки ij>= X Cjbt. а сравнения ф == ? С/Р/ ( Z с} = (Л в пред- предположениях Q. Из F.4.6) находим равенство фл = ? cjyiij — — Yu Z* ciz*i — % Z с/ш*/> которое может быть переписано в видеф^ = 1{у) — y~l{z) — 5~l (w), где t(y) является линейной формой Цу)= X с/#./> указывающей, как должна быть «ис- «исправлена по регрессии» оценка ф в предположениях Q. По за- замечанию в конце § 6.2 y~ и б~ независимы от {г/,,} при Q. Сле- Следовательно, D (%) = D [l(y)] + [l (г)]2 D( + [I (w)]* D [fiff] + 21 (г) I (w) Cov (ys, 5Д где D [/ (y)] = a2 X c^//, а последний член вычисляется по F.4.8). Г-метод неприменим, так как оценки |р; д}, определяе- определяемые F.4.8), обычно не имеют равных дисперсий (или равных ковариаций). § 6.5. Линейная регрессия с контролируемыми переменными, измеренными с ошибкой Содержание этого параграфа относится как к регрессион- регрессионному анализу, так и к ковариационному. Зависимое переменное мы будем обозначать через у. Предположим, что имеется h не- независимых переменных z\ г*. Раньше мы предполагали, что в t-м наблюдении (уиг\1,...,гы) переменных полученное значение yi отличается от «истинного» значения r\t на случай- случайную ошибку ее у, = гI + е, F.5.1) с М(ег) = 0; теперь мы аналогично допустим, что наблюденное значение Z/i отличается от «истинного» значения гц на случай'
250 ГЛ 6. КОВАРИАЦИОННЫЙ АНАЛИЗ ную ошибку fit: гц = гп + !„ F.5.2) см(Ы = о (/= 1. •••> ft; ' = ! «)• Основные предположения § 6.2 без предположения нор- нормальности могут быть записаны в виде независимы, () = 0, D{ei) = o\ F.5.3) i II /iP/ + ? В случае регрессионного анализа все хц = 0. В новой модели этого параграфа линейные соотношения между зависимыми и независимыми переменными будут соотношениями между истинными значениями, так что последняя строка в F.5.3) за- заменяется на Р h 4i = ? x,fi, + Е 2lty,. F.5.4) Мы будем предполагать, что (h -\- 1)Х (Л + 1)-ковариационная матрица ошибок (еь/н,...,^,)' F.5.5) в /-м наблюдении является одной и той же при всех г, обозна- обозначим ее / аоо aoi • • • аол \ I аюап •¦• а1А )• F-5.6) 4aft0aft1 ••• aftft У Мы уже предположили, что М (ei) = 0, М (/;<) = 0. Наконец, предположим, что п случайных векторов ошибок F.5.5) неза- независимы. Модель будет недостаточно полной, пока мы не укажем, как наблюдаются значения {гц} или как отбираются истинные значения {zjt} независимых переменных. В некоторых случаях может быть целесообразным рассматривать (zlt) как выборку из некоторого распределения, не зависящую от распределения ошибок. В такой модели получить статистические выводы обычно очень трудно. Если мы допустим, что полученные зна- значения {zji} являются постоянными, заранее отобранными экс- экспериментатором, то модель останется широко применимой к действительным экспериментам, а выводы можно будет полу- получать относительно просто. В этом последнем предположении переменные z\, ..., гн мы будем называть контролируемыми переменными, измеренными
§ 6.5. ЛИНЕЙНАЯ РЕГРЕССИЯ 251 с ошибкой*). (Если некоторое zf контролируется без ошибки, то его можно включить в рассматриваемую схему как частный случай с соответствующим оц, равным нулю.) Тогда {г/,} в F.5.2) будут заранее заданными постоянными, а случайными величинами являются ошибки {/,;} и истинные значения 2tt = zt, — fit, F.5.7) совместное распределение которых определяется предположе- предположениями, сделанными нами о совместном распределении {fji}, а также значениями постоянных {z/i}; это распределение будет полностью определено, если мы еще предположим, что {fji} нормально распределены. Относительная простота модели получена в результате ее сведения к предыдущим основным предположениям F.5.3) С другим а2 = D(yt). Если мы подставим F.5.7) в F.5.4), то Р h получим r\t= ? Xjfij + X (zn — fjt)yj. Отсюда и из F.5.1) где <^et-^y,flt. F.5.8) Так как е\ зависят только от /-го вектора ошибок F.5.5), то отсюда и из предположения независимости этих векторов сле- следует, что №} независимы. Кроме того, по F.5.8) М(е,)=0, а ft ft ft D «) = стоо ~ 2 ? Y/% + ? /§1 Y/Y/-V F.5.9) и не зависит от /. Таким образом, предположения F.5.3) вы- выполняются с {е,}, замененными на \е'^, а а2 на F.5.9). Отсюда следует**), что все выводы можно получать так же, как в рас- *) Основная идея этого параграфа принадлежит Берксону (Berkson, 1950), который развил ее в приложении к выбору прямых линий. Шеффе (Scheffe, 1958) распространил ее на случай, в котором два параметра изу- чаютси как случайные эффекты. Хотя по обозначениим модель этого пара- параграфа аналогична некоторым другим моделям (используемым, например, в экономике), включающим ошибки всех переменных и линейные соотношения между истинными значениями, но по предположениям о распределении она еильно отличается; обычно коэффициент корреляции ошибки }ц и истинного значения гц равен 0, а в этой модели он равен —1. **) Отсюда следует также, что ковариационная матрица F.5.6) неото- ждествима, если ошибки имеют совместное нормальное распределение; дей- действительно, при заданных {у/} любая ковариационная матрица, дающая одно н то же значение F.5.9), должна давать одно и то же распределение наблю- наблюдений (параметры распределения выборки неотождествимы, если одно и то Же распределение может быть получено при различных значениях параметров).
252 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ смотренной ранее модели, если полученные значения независи- независимых переменных считать истинными значениями, полученными без ошибки. Исключением является следующий случай. Если (неизвестная) дисперсия ошибки зависимого переменного у, обозначенная через а2 в первой модели и через ооо в рассмат- рассматриваемой, входит в выводы, полученные по первой модели, то она должна быть заменена на (неизвестную) постоянную F.5.9); в частности, F.5.9) оценивается точно так же, как а2 в первой теории. Теперь мы рассмотрим более подробно приложения этой мо- модели. Главное требование заключается в том, чтобы экспери- экспериментатор заранее (на практике, возможно, после некоторых предварительных наблюдений) выбирал, какие значения неза- независимых переменных будут использованы в эксперименте. Та- Такой выбор, возможно, является обычным в физических экспери- экспериментах, частым в биологии, но совсем нечастым в социальных науках (где данные обычно не появляются из эксперимента). Более точно, независимые переменные контролируются так, чтобы подогнать их наблюдения (показания приборов, номи- номинальные дозировки и т. д.) к заранее выбранным значениям. Предположения М(е,) = 0 и М (f//) = 0 включают несмещен- несмещенность ошибок, которая может быть нарушена, например, если ошибка была результатом смещения измерительного инструмен- инструмента такого, как сдвиг правильной калибровочной кривой. Наблю- Наблюдения независимых переменных так же, как и зависимых, долж- должны быть статистически независимыми при различных L Таким образом, если повторные наблюдения зависимого переменного должны проводиться при тех же значениях независимых пере- переменных, то для того, чтобы получить необходимую независи- независимость, нужно изменить (а не оставлять покоящимися) установ- установленные значения независимых переменных, а затем снова вер- вернуться к ним так же, как в предшествующем наблюдении. И, наконец, функциональная зависимость от независимых переменных должна быть строго линейной; схема, предложен- предложенная ниже F.1.2) для исследования, например, квадратичной регрессии от независимого переменного z/, теперь должна быть исключена, если г,- не контролируется без ошибки. В самом деле, возводя в квадрат F.5.7), мы должны получить член f2jt, который нарушает условие M(eJ) —0. ЗАДАЧИ 6.1. В таблице А приведены значения прочности у в граммах и толщи- толщина х в 10~4 дюйма, полученные при проверке семи сортов крахмальных пленок. а) Проверить различие сортов крахмала по математическим ожиданиям прочности без учета х-даииых,
ЗАДАЧИ 253 -I at Is. -~ t~T —.00 ¦*> mo o —• О О —« CO OJ^ 00^ CD_ CD_ t~" со" n." ю" со" ю" со" cd" ^ ^ _ ^ ^ —* of —" О C? tOtOOO ч со" со" о см* —" а> о" о" см" о» о" со" со" см" см" ¦*" со" I 8 COOOOOOOOOOOOOOOlfiSOlTfOcO я S —'CMCOOOOO^CM " " " " " " " со" t~" N." со" со" со" со" ю" ю" со" ю" ю" со" со" со" со" со" t~." t—" t~" со" со" —" см" см" —" о" о" о" оГ см" —" л р —г--*д> —~5 р^ —?м«я><° ^ ^ л n ^ ^ ^ ^ л ? t-" со" ю" со" со" со" со" 1> со" i> со" со" CD CM hT of h С> т^ ю Tf CN IO Ю1ЛС5СОСОСМ1>ООСМ1ЛСО 1Л1ЛСО1Л1Л1Л1Л1ЛСО1Л1Л1Л а с t-.^ oq о^ Юл со^ —^ о ю^ ¦>. СО* О С<Г of CO" of оТ 1Л* Of т}-" О О* —^ с4" СО*" —" tD 1Л" О 00 СГ 131 со со оо о — со а — со — — оо со г- а — t- <м —• оо со <М—-СОСОСМ—-СМСОСМСОСООДСОСОТРСОСМСОСОСМСЧ
264 ГЛ. 6. КОВАРИАЦИОННЫЙ АНАЛИЗ б) Предположив, что коэффициенты регрессии у по х одинаковы для всех сортов крахмала, проверить различие сортов с учетом различия, обус- обусловленного толщиной пленки. в) Пусть через уц и хц обозначено /-е измерение «-го сорта крахмала. Вписать в дополнительные столбцы таблицы значения {#.} для семи различ- различных сортов крахмала и значения {</<. — ${xi. — х)), где х является средним {*¦,-,}, а Р оценкой коэффициента регрессии у на х. 6.2. Данные в таблице Б получены из экспериментального свинарника, приспособленного для индивидуального вскармливания шести свиней в каж- каждом из пяти загонов. От каждого из пяти опоросов было отобрано шесть поросят (три самца и три самки) и распределено по загонам. Было исполь- использовано три состава корма. Обозначим их через А, В, С в порядке, соответ- соответствующем увеличению содержания (рл < Рв <. Рс) белка. В каждом загоне корм каждого состава выдавался одному самцу и одной самке. Поросята индивидуально взвешивались каждую неделю в течение 16 недель. Для каж- каждого поросенка была вычислена скорость прироста в фунтах на неделю как угловой коэффициент прямой, подобранной методом наименьших квадратов. В таблице эта скорость обозначена через у, а вес в начале недели — через х. Загон 1 2 3 4 5 Перемен- Переменная У X У X у X У X У X Т а б лиц а А Самец 9,52 38 8,21 35 9,32 41 10,56 48 10,42 43 Самка 9,94 48 9,48 32 9,32 35 10,90 46 8,82 32 Б ¦). Корм в Самец 8,51 39 9,95 38 8,43 46 8,86 40 9,20 40 Самка 10,00 48 9,24 32 9,34 41 9,68 46 9,67 37 Самец 9,11 48 8,50 37 8,90 42 9,51 42 8,76 40 С Самка 9,75 48 8,66 28 7,63 33 10,37 50 8,57 30 *) Заимствовано из Commonwealth Bureau of Plant Breeding and Genetics Technical Communication 15, Field Trial II: The Analysis of Covariance, John Wishart, Cambridge Univ. Press, Cambridge A950), таблица II, стр. 17. а) Провести ковариационный анализ с линейной регрессией у на х, счи- считая, что коэффициенты регрессии одинаковы для каждого поросенка и что возможно взаимодействие «корм X пол», но иет других взаимодействий. б) Какие пары из трех исследуемых составов кормов значимо разли- различаются по S-методу с а = 0,10? 6.3. В таблице В приведены за три года годовые урожаи у пшеницы в центнерах на акр на шести английских сельскохозяйственных станциях вме- вместе с высотой растений z (в дюймах) в период появления колосьев и чис- числом w растений из одного куста. а) Существует ли значимое (с уровнем 0,05) изменение урожая от года к году по трехлетнему периоду, которое не объясняется регрессией у иа г и о>? б) Проверить с уровнем 0,05 гипотезу, что отсутствует регрессия по числу растений из одного куста.
ЗАДАЧИ Таблица В*). Местность 255 Год 1933 1934 1935 Перемен- Переменная у Z w у Z w у Z w Seal Наупе 19,0 25,6 14,9 32,4 25,4 7,2 26,2 27,2 18,6 Rotham- sted 22,2 25,4 13,3 32,2 28,3 9,5 34,7 34,4 22,2 Newport 35,3 30,8 4,6 43,7 35,3 6,8 40,0 32,5 10,0 Boghall 32,8 33,0 14,7 35,7 32,4 9,7 29,6 27,5 17,6 Sprow- ston 25,3 28,5 12,8 28,3 25,9 9,2 20,6 23,7 14,4 Plumpton 35,8 28,0 7,5 35,2 24,2 7,5 47,2 32,9 7,9 *) Заимствовано из Statistical Methods, С W. Snedecor, Iowa State College Press, 5-e издание, 1956, таблица 14.5.1, стр. 427. в) В 1934 г. в Спраустоне наблюдался большой урожай пшеницы на корню; в период роста были получены значения z = 27 и w = 10. Получить точечную оценку среднего урожая, который можно было ожидать по этому урожаю на корню.
ЧАСТЬ ВТОРАЯ ДИСПЕРСИОННЫЙ АНАЛИЗ В ПРИМЕНЕНИИ К ДРУГИМ МОДЕЛЯМ Глава 7 МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ § 7.1. Введение Модели со случайными факторами в дисперсионном анализе называются также (по причинам, которые выяснятся ниже) мо- моделями со случайными компонентами. В § 1.2 мы уже дали общее определение моделей трех типов: с постоянными факторами, со случайными факторами и сме- смешанную модель. Для моделей, отличных от модели с постоян- постоянными факторами, не существует общей теории, сравнимой с тео- рией, которая развита в гл. 1 и 2. В настоящее время мы весьма мало знаем об оптимальных свойствах статистических методов, используемых при изучении этих моделей *). Модели со случайными факторами, так же как и модели с постоянными факторами, возникли из астрономических задач; задолго до того, как статистики придумали модели со случай' ными факторами, астрономы ввели их в свои расчеты, но в дальнейшем эти модели были статистиками усложнены**). § 7.2. Однофакторный анализ Рассмотрим следующий производственный эксперимент. Ста- Станок, управляемый одним рабочим, выпускает небольшими пар- партиями некоторые изделия; ежедневно на этом станке произво- производится большое число таких партий. На этом станке попере- попеременно работают / рабочих, причем дневная выработка каждого из них испытывает значительные колебания (нам будет удобно рассматривать эту выработку как непрерывную случайную ве- величину). Мы будем предполагать, что во время эксперимента *) Некоторые результаты опубликованы Грейбиллом (Graybill, 1954), Томпсоном (Thompson, 1955) и Хербахом (Herbach, 1957). **) Некоторые исторические справки см. у Шеффе (ScheHe, 1956b),
I 7.2. ОДНОФАКТОРНЫП АНАЛИЗ 257 можно пренебречь временным трендом станка. Предположим, что каждый рабочий работает на этом станке в течение / дней эксперимента. Пусть уц— выработка t-го рабочего на /-й день его работы на этом станке. Предположим, что уравнение модели имеет вид yi/ = rni + eih G.2.1) где mi—«истинное» среднее для г-го рабочего, а ец — «ошибка» на /-Й день t-го рабочего; ниже мы попытаемся мотивировать это предположение. Мы можем рассматривать т,- как идеали- идеализированную дневную среднюю выработку i-ro рабочего, который уже прошел период обучения и выработка которого относи- относительно устойчива. Колебание выработки i-ro рабочего около ее «истинного» среднего т* может быть измерено дисперсией о2;. Мы будем предполагать, что / рабочих, участвующих в экспе- эксперименте, представляют собой случайную выборку из большой совокупности рабочих, которую мы будем считать бесконечной. Большинство наших результатов основывается на этом основ- основном предположении, поэтому в приложениях всегда надо пред- представлять себе, какова та возможная популяция, случайной вы- выборкой из которой можно считать / рабочих, участвующих в эксперименте. Предположим, что каждый рабочий в популяции снабжен некоторым индексом *) и. Нам будет удобно обозначать через & распределение v в популяции, хотя оно не войдет в наши расчеты непосредственно. Пусть m(v) и а2(о) обозначают «ис- «истинные» среднее и дисперсию дневной выработки рабочего, обо- обозначенного в популяции индексом и. Пусть {v\,...,vi)—вы- {v\,...,vi)—выбранное случайно множество индексов / рабочих, участвующих в эксперименте; это множество представляет собой случайную выборку из &, а введенные выше параметры mi и a? i-ro рабочего представимы в виде mi = m(vi) и о^ = о2(о,). Пусть \а и о\ обозначают среднее и дисперсию «истинных» дневных вырабо- выработок рабочих в популяции, т. е, ц и о\ являются математиче- математическим ожиданием и дисперсией случайной величины m(v), вы- вычисленными относительно распределения 3* в популяции; тогда *) Не будет большой беды, если читатель будет представлять себе о действительным числом, а &> — распределением случайной величины, прини- принимающей значения {у}. Читатель, математически более подготовленный, может считать 8> распределением вероятностей на некотором абстрактном вероят- вероятностном пространстве точек {и}, a m(v) и a2(v) — случайными величинами. В § 7.4 мы столкнемся с понятием произведения двух вероятностных про- пространств, одного с распределением &ь на пространстве точек [v}, другого — С распределением Фи на пространстве точек {и}, и со случайной величиной т(и, v). Настоящее примечание применимо и к последующим параграфам. 9 Г. Шеффе
268 ГЛ. 7. МОДЕЛИ СИ СЛУЧАЙНЫМИ ФАКТОРАМИ {mi} независимы и одинаково распределены со средним ц и дисперсией а\. Сделаем теперь упрощающее предположение о том, что o2(v) одинакова для всех рабочих из популяции; обозначим ее общее значение а2. Заметим, что это предположение менее разумно, чем предыдущее. Вполне вероятно, что наряду с «ис- «истинными» средними меняются и дисперсии рабочих. Возможно, например, предполагать, что более хорошие рабочие, имеющие более высокие значения m(v), работают более ровно и имеют меньшие дисперсии; или предполагать, что стандартное откло- отклонение ст2(и) пропорционально среднему m(v). Тем не менее мы примем это предположение, поскольку в настоящее время не нолучено результатов для более сложных моделей*). В силу принятого предположения {е,/} в G.2.1) имеют нулевые сред- средние и одинаковые дисперсии о2; мы предположим, далее, что они независимы, одинаково распределены и независимы от {mi}. Мы определим эффект рабочего, имеющего в популяции ин- индекс v, разностью a(v)= m(y) — \i, так что эффект t-ro рабо- рабочего, участвующего в эксперименте равен a(vi), которое мы будем записывать в виде a = mi — ц. Таким образом, G.2.1) превращается в Уи = I+а, + е„, G.2.2) где {a,-}, {eij} независимы в совокупности и имеют нулевые средние, {а,} одинаково распределены с дисперсией о\, {е^} одинаково распределены с дисперсией а2е. Дисперсия наблюде- наблюдения уц равна а2 = а2А + а2е, поэтому уместно называть о2А и о2е компонентами дисперсии (т. е. компонентами дисперсии одного наблюдения). Заметим, что принятые нами допущения приводят к сле- следующему основному отличию как только что определенной, так и общих моделей со случайными факторами от моделей с по- постоянными факторами: I) все наблюдения имеют одинаковое математическое ожидание, II) наблюдения не являются стати- статистически независимыми. Статистическая зависимость в приве- приведенной выше модели со случайными факторами (а также в ее обобщении, когда мы допускаем неравные числа {/,}, где /; — число измерений в i-u классе) определяется через полезное в генетике понятие коэффициента внутриклассовой корреля- корреляции **). Определение. Коэффициент внутриклассовой корреля- корреляции р — это обычный коэффициент корреляции между любыми *) Предыдущее обобщение нашей модели предложил мне проф. Леман. ]•*) Это важное понятие было введено Р. А. Фишером (Fisher, 1925, гл. 7).
« 7.2. ОДНОФАКТОРНЫИ АНАЛИЗ 259 двумя наблюдениями уц и уц> (у' Ф у) в одном классе (т. е. при одинаковом i) [{Уа ~ Ю (уw ~ иI _. м [fti +ег/) (а< + 'и')] _ .... а2. а, следовательно, р = —5 j-. Ниже мы увидим, как строить до- верительный интервал для р в случае, когда к предыдущим предположениям добавляется предположение нормальности*). Если, как мы до сих пор предполагали, числа {/,•} равны, то классификация по одному признаку называется сбалансирован- сбалансированной. В более общем случае полная классификация по р при- признакам называется сбалансированной, если числа наблюдений в ячейках равны. Если некоторые факторы группируются, то классификация может быть названа сбалансированной в слу- случае, когда число уровней группированного фактора одинаково для каждой комбинации тех факторов, по -которым происходит группировка, а пересекающиеся факторы (если они суще- существуют) пересекаются полностью (§ 5.3); более того, число по- повторений (уровней «фактора ошибки») должно быть одинаково для каждой комбинации (других) факторов, участвующих в эксперименте. Для получения критериев и оценок сбаланси- сбалансированных моделей со случайными факторами и смешанных мо- моделей рассматриваются все средние квадраты для обычной таблицы дисперсионного анализа в модели с постоянными факторами, того же плана. .Однако в общем случае эти ква- квадраты используются иначе. Из столбца математических ожи- ожиданий средних квадратов этой таблицы видно, какие из сред- средних квадратов надо использовать при проверке тех или иных гипотез. Мы увидим далее, что-знаменатель /•'-статистики часто отли- отличен от знаменателя соответствующей модели с постоянными факторами. Точечные оценки получаются из столбца матема- математических ожиданий средних квадратов следующим образом. Если каждую неизвестную компоненту дисперсии а2х в матема- математических ожиданиях средних квадратов заменить символом д#, полученные выражения приравнять полученным средним квад- квадратам и разрешить относительно {сг^}, то мы получим множество несмещенных точечных оценок для {о^}. Эта процедура обычно1 применяется также и для несбалансированных моделей, однако в этом случае теряется описанное выше ее интуитивное о.босжи *) Вальд (Wald, 1940) решил эту задачу для случая неравных чисел наблюдений в классах, однако с помощью этого решения нелегко осуществ- осуществлять численные расчеты. ... ; 9*
260 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ вание. С точки зрения автора, в настоящее время неизвестны «наилучшие», даже в грубом интуитивном смысле, критерии и оценки для несбалансированных моделей со случайными факторами. Главная трудность здесь состоит в том, что сами распределения получаются очень сложными*). Кроме моделей с постоянными факторами мы ничего не можем предложить читателю в несбалансированном случае, за исключением неко- некоторых результатов § 7.6 относительно полностью группирован- группированных моделей. Однако если некоторая классификация сбаланси- сбалансирована, за исключением неравных чисел повторений, то можно использовать приближенные методы, похожие на методы, опи- описанные в § 7.5 для полных классификаций. А теперь мы про- проиллюстрируем эти общие замечания на случае однофакторного анализа. Критерий для одной гипотезы В предложенной модели однофакторного анализа обычно проверяется гипотеза НА: оА = 0. Эта гипотеза справедливы тогда и только тогда**), когда все рабочие в популяции имеют одно и то же «истинное» среднее, т. е. m(v)= [i для всех и. Средние квадраты в таблице диспер- дисперсионного анализа (таблица 3.1.1) для однофакторного анализа были определены с помощью формул для SS (вместо SSa мы писали раньше SSh) = ZZ(ytl-yt.y. В нашей модели мы имеем из G.2.2) г/,« = ц + а' + е« и г/«» = = |А + а* + ^*«, где величина а, в отличие от подобной же ве- величины а,- в модели с посгоянными факторами, вообще говоря, ?) При классификации по одному признаку, например, имеется три не- неизвестных параметра Ц, аА и с2е. В сбалансированном случае минимальное число вещественных достаточных статистик равно трем, в несбалансирован- несбалансированном случае оно больше. Сумма квадратов между группами / t wj (У^.~У«J, i где р, =—= , уже не будет распределена как кратное нецентраль- иого Х2> не зависящего от известных весов wi > 0. В этом случае ие суще- существует несмещенной квадратичной оценки аА с равномерно минимальной дисперсией и т. д. **) Здесь и в других очевидных местах мы будем считать само собой разумеющимся, что утверждение имеет место «с вероятностью единица».
§ 7.2. ОДНОФАКТОРНЫЙ АНАЛИЗ 26! не обращается в нуль. Таким образом, мы имеем lt-at-eJ\ G.2.3) ZL(ueitJ. G.2.4) Для того чтобы получить распределения, на основании ко- которых мы можем построить критерии и доверительные интер- интервалы, мы добавим теперь предположение нормальности, т. е. предположим {а;} и {е,,} нормальными. В гл. 10 мы увидим, что снятие предположения нормальности влияет в этой модели на критерии и доверительные интервалы гораздо более серьезно, чем в случае модели с постоянными факторами. Однако в рам- рамках теории математических ожиданий средних квадратов ре- результаты, которые мы получим, будут теми же самыми, как если бы мы не добавляли предположения нормальности, так как математическое ожидание любой квадратичной формы от наблюдений может зависеть только от средних, дисперсий и ковариаций случайных величин {at}, {?//}. Соберем вместе предположения, на которые мы будем опираться в дальнейшем: У и = М* + «г + ец, I + // случайных величин {at}, {вц} Q: \ независимы в совокупности, {аЛ распределены N@, ст^), {etj} распределены N @, а2е). Записывая g, = щ-\- е,*, мы получаем причем случайные величины {gt} независимы и распределены ЛГ(О, oj), где oJ = <? + /-Ve. Следовательно, Z (gf - g,J/oj является случайной величиной %2 с /—1 ст. св., отсюда SSA = /ojx?., = (/<? + о») х5_,. G.2.5) С другой стороны, из G.2.4) видно, что SSe распределено точно так же, как и в модели с постоянными факторами. Представим себе фиктивную модель с постоянными факторами, в которой {б*/} играют роль наблюдений, а все параметры, за исключе- исключением дисперсии ошибки о], равны нулю; тогда G.2.4) является SS ошибок и имеет распределение, как а\у^ с ve = /(/—1).
262 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Отсюда следует, что SSe = °Xe> G-2.6) M(SSe) = al. G.2.7) Теперь мы хотим доказать, что 55л и SSe статистически не- независимы. Рассмотрим {а, — а» + е,„— е»*} и {ец— е,*}. Из наших предположений сразу следует, что (а,-—а») и (er/ — ег„) независимы. Далее, мы опять воспользуемся фиктивной мо- моделью с постоянными факторами, в которой {е,,} являются на- наблюдениями; как мы знаем, в (//)-мерном пространстве линей- линейных форм от {ец} множество {eVj — et,,} принадлежит «прост- «пространству ошибок», а множество {е,« — ет) принадлежит «прост- «пространству оценок» нашей фиктивной модели, поэтому эти два множества ортогональны, или статистически независимы. От- Отсюда вытекает, что SSa и SSe, определяемые G.2.3) и G.2.4), статистически независимы. Из G.2.5) мы получаем G>28) Теперь мы можем составить таблицу дисперсионного ана- анализа. Она похожа на таблицу 3.1.1,, только столбец M(SS) иной; в него входят выражения G.2.8) и G.2.7) Это наводит на мысль, что в критерии по проверке гипотезы На надо исполь- использовать отношение g—|^. G.2.9) так как при гипетезе НА числитель и знаменатель имеют оди- одинаковые математические ожидания. Мы можем записать '/-1.V,. G.2.10) где Ft-\,ve—центральная F-величина с /—1 и \е ст. св. Кри- Критерий состоит в том, что НА отвергается с уровнем значимости а, если $ ^ F<?,T-i,4e. Мощность критерия есть функция от 8= —• а2'
§ 7.2. ОДНОФАКТОРНЫЙ АНАЛИЗ 263 мы обозначим эту мощность р@): ^}. G.2.11) Эта мощность выражается только через центральное /^-распре- /^-распределение. Критерий для более общей гипотезы Гипотеза аА = 0 довольно ограничительна и приводит, как мы увидим в § 7.3, к теории, являющейся в известной степени патологической. Рассмотрим теперь более общую гипотезу А* А ^^- 0 в' где 6о ^ 0 — заданная константа. Предыдущая гипотеза На включается сюда как частный случай при 6о = 0. Мы опять используем определенную G.2.9) ста- статистику g; мы будем отвергать Н'А, если 5 ^ с, где константа с опреде- определяется из условия, что при гипотезе Н'а вероятность события § ^ с долж- должна быть не больше а, причем она равна а, если о\ = ^(р2. Если поло- в G.2.10), то это ус- ° ', ЫА1 ловие превращается в условие рис- 7.2.1. Р{A + JQ0)Fi-ityt ^ с} = а, откуда с = A -f /8o)/='o;/-i,ve. Мощность этого критерия можно вычис* лить так же, как и в G.2.11); она равна ^} G.2.12) и выражается также только через центральное F. Изменяя в G.2.12) 8 от 0 до оо, мы видим, что мощность ведет себя так, как показано на рис. 7.2.1. Точечная оценка компонент дисперсии Применяя упомянутый выше общий метод, получим несме- несмещенные оценки для о\ и а\. Заменяя а2д и а\ в G.2.8) и G.2.7) на а2А и д2, приравниваем полученные выражения SSa и SSe, а затем разрешим полученные уравнения относительно а2Д и а\: «.2 ,-1 /ТГп ос \ /7 О 1 Ч\ G.2.14)
264 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Отметим следующий метод получения дисперсий этих оценок. Если 5S распределено как кратное /2, разделенное на число с? степеней свободы SS = —^-, так что c = M(SS), то D (SS) = = 2IM(SS)]« , Так как D (SS) = c2D (^/v) = 2c2/v. Таким обра- образом, из G.2.5 — 7.2.8) вытекает D(a2) = D(S5e)=^ G.2Л5) и D (SSA) = jA_ i ¦ Поскольку SSA и SSe статистически независимы, мы получаем из G.2.13) а отсюда D (аА) = 2 (/ - I) (о* + Г1<$ + 2v7' (rVef. G.2.16) Далее мы получаем Cov {дА, д2е) = Cov[r' E5Л - SS,), S5,] = - /"'D (SS,); последнее равенство также вытекает из статистической незави- независимости 55л и 55Й; отсюда следует Cov(& al)=-2rlv7[a4e. G.2.16a) Этот метод пригоден в предположении нормальности для всех сбалансированных планов моделей со случайными факторами; в этих случаях оценка компоненты дисперсии всегда будет представима как линейная комбинация независимых средних квадратов. Следующее замечание применимо также и к более общим ситуациям. Может случиться, например, в G.2.13), что оценка компоненты дисперсии с положительной вероятностью отрица- отрицательна. Так как оцениваемый параметр неотрицателен, то иногда эту оценку видоизменяют, полагая ее равной нулю, когда она отрицательна, например, используя вместо G.2.13) максимум из 0 и а2д. Мы предпочитаем не пользоваться такими видоизмененными оценками. Теория их распределений более сложна, в частности, уже несправедливы полученные нами в предположении нормальности простые формулы для диспер- дисперсий этих оценок, видоизмененные оценки являются смещенными. Мы напоминаем читателю, что математические ожидания средних квадратов, вычисленные нами для моделей со случай- случайными факторами, справедливы и без предположения нормаль-
$ 7.2. ОДНОФАКТОРНЫЙ АНАЛИЗ 265 иости. Однако вычисленные дисперсии и нулевые ковариации уже не годятся; в общем случае правильные формулы содержат некоторые четвертые моменты популяции*). Интервальная оценка Доверительный интервал для а2е можно получить так же, как в случае постоянных факторов, из G.2.6), учитывая два «хвоста» распределения %2 (или один «хвост» для односторон- одностороннего интервала). Для того чтобы получить доверительный интервал для отно- отношения 6 = о2А/в2е компонент дисперсий, положим коэффициент доверия равным 1 — аи выберем такие ai ^ О и а.% ^ 0, что ai + «2 = а. (Обычно мы будем брать at = аг = \ или же ai = a, a2 = 0.) Обозначим через F" верхний а2-предел и че- через F нижний ai-предел случайной величины Fi~iyV , так что Р {F/-,, Vfl < F'} = a,, P {Fi-i, Ve > F") = a2. Тогда мы имеем Р{Fr<F/-,,Ve<F"} = l -a. G.2.17) Записывая G.2.10) в виде F/_i,v ^= S/(l + /8), мы получаем из G.2.17) доверительный интервал L(?-l) G.2.18) с доверительным коэффициентом 1 — а. К этой формуле нужны некоторые разъяснения, поскольку один или оба конца интервала G.2.18) могут быть отрицатель- отрицательными, в то время как истинное значение 6, конечно, неотрица- неотрицательно. (Если ai = а, аг = 0, то мы используем только правое неравенство.) Оставаясь в рамках строгой математической теории, можно было бы видоизменить интервал G.2.18), заменяя его отрица- отрицательные концы нулями**). Легко проверить, что, так же как и G.2.18), этот видоизмененный интервал при 6 > 0 покрывает истинное значение 6 с вероятностью 1—а, но эта вероятность больше 1 — а, если 6 = 0. Однако хотя этот видоизмененный *) Дисперсии и ковариации в нескольких важных случаях, включаю- включающих несбалансированный однофакторный анализ, были получены Тьюки (Tukey, 1956, 1957а). См. также § 10.3. **) Левый конец интервала отрицателен тогда и только тогда, когда по предложенному выше критерию НА принимается с уровнем значимости аг. Правый конец интервала отрицателен тогда и только тогда, когда #" < F', или Fj_x v < F'l(\ -f /в): вероятность этого события, очевидно, убывает по 6 и достигает своего максимального значения a"i при 9 = 0.
266 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ интервал имеет длину, не большую длины G.2.18), а вероят- вероятность покрытия не менее вероятности G.2.18), мы рекомендуем использовать все-таки G.2.18) по следующим соображениям*). Хотя этому и нет каких-либо обоснований в формальной тео- теории, большинство из тех, кто пользуется доверительными ин- интервалами, более или менее сознательно считают, что длина двустороннего доверительного интервала представляет собой меру ошибки некоторой точечной оценки параметра. В самом деле, многие из обычно применяемых доверительных интерва- интервалов для некоторого параметра 6 имеют вид е- л&б<е<е-{-в&й, G.2.19) где 9—некоторая интуитивно подходящая точечная оценка Э, &6 — аналогичная оценка стандартного отклонения 9, а А и В— константы, которые находятся из таблиц и зависят от доверительного коэффициента и объема выборки. Интервал G.2.18) имеет как раз такой вид. Положим 9 = стусг;. При- Применяя приближенную формулу D [f (*,, х2)] ~ рр (*,) + 2fJ2 Cov (*,, х2) + fp (*2), где через ft обозначена ~- в точке (хь х2) = &\, h)> h = М {xt), к 8 = — = / (х\—х2)/х2 с ^1 = 55^ и X2~SSe, мы получаем это дает нам оценку Заметим, что аб ^ 0. Мы можем записать теперь интервал G.2.18) в виде G.2.19) с б$, определенным формулой G.2.20) и со следующими **) А и В: Таким образом, мы видим, что если интервал значительно укорочен за счет устранения его части, лежащей слева от на- начала координат, то мы можем прийти к вводящему в заблуж- заблуждение выражению точности оценки. Если интервал лежит пол- *) Автор пришел к этим соображениям после бесед с профессорами Чарльзом Крафтом и Дж. Л. Ходжесом-младшнм. **) При больших / и ve эти А и В стремятся соответственно к верхним <Хг и oti пределам распределения iV@, 1).
§ 7.2. ОДНОФАКТОРНЫЙ АНАЛИЗ 267 ностью слева от начала координат, то можно перенести его так, чтобы он охватил и нуль; в этом случае сохраняются те же возражения против сокращения его длины. Однако и здесь у некоторых опять может возникнуть интуитивное чувство, не имеющее математического обоснования, что интервальная оценка, например, (—5,—3) делает более очевидным, что ис- истинное значение неотрицательного параметра равно нулю, чем интервальная оценка (—2,0). На практике было бы хорошо вдобавок к интервалу выписывать значения а2д и о2е *). Теперь из G.2.18) легко получить доверительный интервал для коэффициента внутриклассовой корреляции р, поскольку р = A + б)-1. Таким образом, с вероятностью 1 — а (l+L-V^p^O+tf-1)-1, G.2.21) где L и # — соответственно левая и правая части G.2.18). По соображениям, аналогичным высказанным выше, мы предпочи- предпочитаем не видоизменять G.2.21), если он содержит отрицательные значения, хотя истинное р неотрицательно. Приближенные доверительные интервалы для компонент дисперсии Поскольку вид доверительного интервала, который мы сей- сейчас получим для а2д, имеет значение также и при оценке компо- компонент дисперсии в других случаях, мы примем более общие обо- обозначения. Рассмотрим задачу построения доверительного ин- интервала для параметра ф по двум независимо распределенным средним квадратам SS\ и SS2 с vi и \2 степенями свободы соответственно, так что при этом viSSi есть величина (ф ~Ь °2) Х^,» a V2SS2 есть величина o2%2v. В нашем случае q> — Jo2A SS\ = = 'SSA,~SSa = '5Se, vi = /— 1, va=/G—1), a2 = a]. Сначала мы решим **), хотя бы приближенно, задачу на- нахождения нижнего доверительного предела f(SS\,SS2) с коэф- *) Они вместе с (/., составляют в предположении нормальности множе- множество достаточных статистик. . • . **) Мой подход аналогичен подходу Балмера (Bulmer, 1957), причем мое I—а соответствует его а. Условия (II), (IV), (V), помещенные ниже, были наложены Броссом (Bross, 1950); однако он пользовался неприемлемым для меня методом построения фидуцнальных интервалов. Его функция g(8) имеет плохие свойства; как указал Тьюкн (Tukey, 1951), предложивший ли- линейное решение G.2.27), она имеет бесконечный разрыв и меняет знак. Решение G.2.31) было предложено Морнгутн (Moriguti, 1954), который ввел условие (I) и показал, что его решение дает вероятность с ошибкойО (v?)r Достаточно полное исследование ошибки из решений было проведено только Балмером (Bulmer, 1957).
268 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ фициентом доверия, равным 1 — а. Перечислим сначала свой- свойства, которым по некоторым интуитивным соображениям долж- должна удовлетворять функция /E5i,5S2), а затем выберем неко- некоторую простую функцию, обладающую этими свойствами. (I) Первым является свойство инвариантности, согласно ко- которому надо ограничиться функциями }(SS\,SS2), равными про- произведению SS2 на некоторую функцию от 3: /(SS,,SS2) = SS2g(S), G.2.22) где § = SS1/SS2. Предположим, что все наблюдения умножены на положительное с, например, измерения производились в дру- другом масштабе е_диниц._Гогда несмещенные точечные оценки о2 = 55г и ф = SS\— SS2 должны умножаться на с2. Мы на- налагаем условие, что доверительный предел f(SS\,SS2) в этом случае умножается на с2, т. е. f (c2SSu c2SS2) = c2f (SSlt SS2) тождественно тю с._В частности, если мы возьмем с2 = I/SS2, то получим f(SSi,SSi)=SS2f(i5,1), т. е. формулу G.2.22). (II) Следующее свойство связывает между собой поведение доверительного интервала с коэффициентом доверия 1 — а и /'-критерия с уровнем значимости а для гипотезы Н: ф = 0; критерий состоит в том, что Н отвергается, если % > Fa, где Fa = Fa-, vi, V2 — верхний а-предел F со степенями свободы vi и V2. С помощью доверительного интервала можно построить следующий критерий для Н с уровнем значимости а: Н отвер- отвергается тогда и только тогда, когда доверительный интервал не покрывает ф = 0. Мы требуем, чтобы эти два критерия были эквивалентны; это налагает следующее условие: g{%)> 0 тогда и только тогда, когда g > Fa. Используя замечание, следующее за формулой G.2.18), мы могли бы допустить отрицательные значения g(%) для некоторых g < Fa, однако ради упрощения наших условий мы будем предполагать, что g(gf)=O для 9<Fa. (III) Мы потребуем, чтобы при % ^ Fa функция g(%) воз- возрастала*) по йг. Это требование налагается потому, что точеч- точечная оценка ф = SSi — SS2, которую можно записать SS2(§— 1), тоже обладает этим свойством. Интуитивное обоснование следующих двух свойств менее очевидно. Эти свойства требуют, чтобы в определенных пре- предельных ситуациях доверительные интервалы совпадали с «ес- *) Я предполагаю, что функция строго возрастает.
§ 7.2. ОДНОФАКТОРНЫЙ АНАЛИЗ 269 тественными» доверительными интервалами, возникающими в этих предельных ситуациях из распределения величины \\SS\, равной (ф -f a2)Xv , или величины SSi. равной (ф -f- a2)Fvhx; в этом случае, обозначая F'a = Fa, Vl, <*>, получаем, что с ве- вероятностью 1 — а 55] ^ (ф -f а2) F'a, или (IV) В предельном случае v2 = оо мы_можем рассматри- рассматривать а2 как известную величину, равную 552- Тогда интервал G.2.23) превращается в 4-1). а / Мы налагаем условие, что предельное при V2 = со выражение g($j) равно ¦4--1. G.2.24) 'а (V) Наконец, предположим, что % велико; это указывает на то, что ф велико*) по сравнению с а2. Поэтому мы рассмотрим предельный случай ф->оо при фиксированном а2. При боль- больших g второй член в правой части G.2.23) пренебрежимо мал по сраанению с первым; поэтому мы должны потребовать, чтобы g(%) при больших % вела себя аналогично ?$/Fa в том смысле, что g(S) = (^г)[ 1 + h(S)], где h(g)-> 0 при Ъ->со. G.2.25) Для любого**) выбора g(%) вероятность того, что ф ^ ^SSzg($), зависит от значения 6' = -^- и от vi и V2-, легко подсчитать, что эта вероятность дается формулой G.2.26) о L о J где 00 |-ni*2) т 0 L 0 J *) Это следует, например, из доверительного интервала, аналогичного G.2.18). **) Предполагается, что g(9) строго возрастает при 9, большем некото- некоторого go и g(S) == 0 для 9 < 9о.
270 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ функция, обратная к u — g($) при % $г Fa, обозначается % =з ==ST1(W)> a fi(xi) обозначает плотность вероятности л;,-= = X^/vi(/=l, 2). Численное значение интеграла, стоящего в квадратных скобках в G.2.26), можно найти из таблиц функ- функции распределения /^ (§ 22), однако тогда придется следую- следующее интегрирование производить численными методами. Для любой g(%), удовлетворяющей нашим условиям, ве- вероятность G.2.26) точно равна 1 — а в трех предельных слу- случаях 6'= 0, 6'=оо, V2=°o. Простейшей функцией, удовле- удовлетворяющей этим условиям, является линейная функция ЫЗ)=^А ®>Fa). G.2.27) F Интегрируя численно G.2.26), мы получаем, что при g(%) = = gi(%), v2 = °о и 0 < 6'< оо значения вероятности G.2.26) больше 1 — а*), поэтому получающийся доверительный интер- интервал слишком широк. Мы можем попытаться взять в качестве второго приближения ao + fl-iS-' №>Fa), G.2.28) G-2.29) где at = c«(virv2). Из G.2.25) вытекает, что при всех vis V2. Из равенства g(Fa) = 0 условия (II) следует +a0) G.2.30) при всех vi, v2. Из предельного при v2 = оо вида G.2.24) функ- функции g(%) (условие (IV)) следует Подставляя сюда G.2.29), G.2.30) и F'a = Fa при v2= оо, мы находим, что a0(vi,oo)= —1 при всех vi. Таким образом, любая функция g(%), имеющая вид G.2.28) и обладающая сформу- сформулированными свойствами, должна иметь вид = у- + «о (v,. v2) - -^ № + «0 (V,, v2) причем co(vi, оо) = —1 при всех vi. Простейшее решение по- получается, если положить flo(vi,V2) = —1 при всех vi, v2. Оно *) Это же можно увидеть из таблицы 7.2.1 и неравенства, вытекающего из G.2.32).
§ 7.2. ОДНОФАКТОРНЫИ АНАЛИЗ 271 имеет вид |^(&0 <8>Fa). G.2.31) Мы можем проверить, что этот выбор g(%) удовлетворяет также условию (III), согласно которому эта функция воз- возрастает. Заметим, что эта функция g(%) дает более высокий по сравнению с линейной функцией g\ ($) нижний доверительный предел, так как (^)(^) ®>Ы G-2.32) Из F-таблиц следует, что при а =^0,10 и V2 > 2 имеет место неравенство Fa > Fa, поэтому g(%) > g\ (§) при g > Fa. Прежде чем переходить к численной оценке этой аппрокси- аппроксимации, заметим, что, вычисляя формально нижний доверитель- доверительный предел с малым коэффициентом доверия, мы сразу полу- получаем верхний доверительный предел с дополняющим до единицы большим коэффициентом доверия, так как P{q></(SSbSS2)} = 1-P{9^/(SS,,552)}. G.2.33) Используя верхний доверительный предел с коэффициентом доверия 1 — «1 и нижний доверительный предел с коэффициен- коэффициентом доверия 1 — аг, мы получаем доверительный интервал, ле- лежащий между этими доверительными пределами, с доверитель- доверительным коэффициентом 1 — а, где а = ai -f аг- Высокая точность аппроксимации G.2.31) видна из таб- таблицы 7.2.1, полученной с помощью численного интегрирования G.2.26). «Точный диапазон значений» в последнем столбце таблицы соответствует 6', меняющимся от 0 до оо. Точным зна- значениям доверительных интервалов для номинальных значений 1— а = 0,05 и 0,95 мы поставим в соответствие приближенные верхний и нижний 95-процентные доверительные пределы. Это приближение кажется вполне удовлетворительным. Из G.2.31), G.2.33) и Fi-a;Vx,Vl=l/Fa.v,,yl получаем сле- следующие подробные выражения, содержащие только верхние процентные пределы ^-распределения. Верхний доверительный предел SS2gu(ft) для ср с приближенным коэффициентом дове- доверия 1 — ai дается формулой
272 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Таблица 7.2.1*) Точность приближенных доверительных пределов для компоненты дисперсии Степень Vl 8 8 24 24 2 2 8 8 24 24 свободы 6 12 24 48 6 12 6 12 24 48 I—a Номинальное значение 0,05 0,95 Интервал точных значений 0,050-0,051 0,050-0.050 0,050-0,052 0,050-0,051 0,950-0,955 0,950-0,955 0,950—0,959 0,950—0,953 0,949-0,951 0,950—0,950 *) Заимствовано нз Approximate confidence limits for components of Variance, M. G. Bulmer, Blometrika, т. 44 A957), стр. 163. При $ > I/Fa,; V..V, И jM§)=0 При g < l/Fa,. Vj> V,. НИЖНИЙ доверительный предел SS2gz.E) с приближенным коэффициен- коэффициентом доверия 1 — о&2 задается формулой " — 1 — "': v 'v' ( Fa-'i У'- V' 1 ^ / р a2; при g ^ Fa2., Vl, V! и gL (S) = 0 при 5 < Fa!: Vl, „. Эти доверительные пределы могут сильно измениться для ненормальных распределений, особенно случайных ошибок, по которым вычисляется средний квадрат SSu причины этого ука- указаны в § 10.2. § 7.3. Размещение наблюдений В тех моделях, где один из факторов рассматривается как случайный, представляют интерес не значения индивидуальных влияний, а дисперсия той популяции, откуда поступает случай- случайный фактор; отсюда возникает вопрос, какого объема выборку надо брать из каждой такой популяции. Во многих случаях об- общее число измерений более или менее фиксировано (из-за их стоимости), поэтому возникает вопрос, как разместить измере- измерения среди различных популяций случайных факторов; мы вклю- включаем сюда и «популяцию ошибок». В этом параграфе мы рас-
§ 7.3. РАЗМЕЩЕНИЕ НАБЛЮДЕНИЙ 273 сматриваем следующую задачу модели с одним фактором: как влияет увеличение / или / на улучшение точности точечных оце- оценок компонент дисперсии и на мощность критерия? Задача об оптимальном размещении получила решение для точечных оце- оценок (задача для интервальных оценок и для критериев еще не решена). Из формулы G.2.15) видно, что так как ve —/(/— 1), то при увеличении / или / jD(o^) стремится к нулю; отсюда сле- следует, что ошибка при оценке а\ может быть сделана как угодно малой путем выбора достаточно большого / или /. Для а2А мы имеем другую картину. Из G.2.16) следует, что D(d°A) при увеличении / стремится к 2вА{1— 1). Следовательно, при оценке аА увеличение / дальше некоторого предела дает ничтожный эффект. Поэтому можно ожидать, что мощность критерия, связанного с аА, при больших / и фиксированном / имеет предел, меньший единицы. Так будет, например, если проверяемая гипотеза есть Я9; (т^^90<т;, Эо > 0; если же проверяется гипотеза Яо: сг^ = О, то мощность критерия при любой конкурирующей гипотезе стремится к единице, когда / стремится к бесконеч- бесконечности, а / фиксировано. Мощность критерия для Яе„ определяемую G.2.12), можно записать в виде РF) = , При больших / величина ve *%% стремится к единице по вероят- вероятности (задача IV.36); следовательно*), распределения левой части неравенства и (/—l)F/_i,v сходятся к %}_г Таким об- образом, правая часть неравенства имеет предел 909~'х^. 7_,, а мощность р(8) стремится к пределу который не равен единице, если Эо > 0. Этот предел равен мощ- мощности стандартного критерия %2 для гипотезы о2д^С, основан- основанного на выборке объема / из нормальной популяции с неизвест- неизвестной дисперсией аА, если C — QQo2e является известной констан- константой (в предельном случае бесконечного / можно рассматри- рассматривать а2 как известную). *) Крамер (Cramer, 1946, § 20.6).
274 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Оптимальное размещение для точечных оценок Предположим, что общее число измерений п фиксировано. Задача состоит в том, чтобы выбрать наилучшим образом I и I, для которых // = п. Возможным критерием выбора является минимизация D F^) или D (сг;). дЛя упрощения мы предпо- предположим, что п четное. Тогда / может изменяться, пробегая все делители п от 2 до п/2 (при / = 1 мы не сможем оценить а2А, а при 1 = п — ни а\, ни а2е); так, при п = 100 возможными значениями / будут 2, 4, 5, 10, 20, 25, 50. Из формулы G.2.15), записанной в виде видно, что при увеличении / от 2 до -у D (of) увеличивается не более чем вдвое. С другой стороны, из G.2.16) видно, что D (сг^) при изменении / может изменяться на много больше (например, в предельном случае o^ = 0 отношение ее значений при / = = п/2 и / — 2 равно п/4), поэтому мы будем минимизиро- минимизировать*) D(o\). Полагая у — n/I, запишем G.2.16) в виде G.3.D 2 где 6 = —^-. Для того чтобы минимизировать стоящую в скоб- скобке ках в G.3.1) функцию от /, обозначим ее V и будем сначала считать, что / меняется непрерывно в интервале 1 < / < п. Каждое из трех слагаемых, составляющих V, положительно и непрерывно, причем V стремится к бесконечности, когда / приближается к 1 или к п\ следовательно, V имеет по крайней мере один минимум в этом интервале. Полагая dV/dl = 0, мы получим Р (nW + 2л8 - п2 + 1) - 2/ (nW + л28 - п2 + п) + + (л4е2 + 2«3е) = о. G.3.2) Решение этого квадратного относительно / уравнения может быть записано в простом виде **) . я28 . «2в + 2« '1~ пв-n+l ' '2~ пв + п+ 1 • *) Эта задача была решена Хэммерсли (Hammersley, 1949). **) Как легко проверить, подставляя выражения Л и /г, уравнение (/ — /i) (/ — /2) = 0 эквивалентно G.3.2).
§ 7.4. ПОЛНАЯ КЛАССИФИКАЦИЯ ПО ДВУМ ПРИЗНАКАМ 275 При 0 < 8 < 1 — nrl /i < 0, при 8 > 1 — пг1 1\>п, а при ¦0=1 — п~1 1\ бесконечно. В каждом из этих случаев корень /] не лежит в интервале 1 < / < п и поэтому должен быть отверг- отвергнут. Следовательно, функция V имеет в этом интервале един- единственный минимум, который должен достигаться в точке /г*). Наша задача решена, если /2 является возможным значе- значением /, т. е. делителем п, лежащим между 2 и у (включи- (включительно). Если это не так, то предположим сначала, что /г ле- лежит в интервале 2 < / < я/2. Тогда необходимо вычислить D F^) при двух /, являющихся делителями п\ один из них — наибольший делитель п среди чисел, меньших /г, а другой — Наименьший среди чисел, больших /2. Из этих двух значений / то, которое дает меньшее значение D (йд), является решением. Если /г ^ 2, то надо взять / = 2. Это происходит, когда в^2п-'(п — 2)-1. Это означает, что при 6, близких к нулю, лучше всего взять только две группы A=2). С другой сто- стороны, если /2 ^ п/2, то мы должны взять / = п/2. Это произой- произойдет, когда 8 ^ 1 — Зп~1. Таким образом, при 8^1 лучше всего выбрать план эксперимента, по которому в каждой группе имеется только два наблюдения (/ = 2). К сожалению, как это часто бывает в задачах на определе- определение оптимального плана, решение зависит от значения неизвест- неизвестного параметра, в нашем случае 8. Поэтому в формулах, опре- определяющих оптимальное /, мы вынуждены подставлять вместо 8 какую-нибудь оценку, основанную на предварительной инфор- информации или на догадке. § 7.4. Полная классификация по двум признакам Если в эксперимент с рабочими на фабрике, описанный в § 7.2, ввести несколько различных станков, то мы получим Пример классификации по двум признакам. Нам будет удоб- удобно**) принять рабочих за фактор В, а станки за фактор А. Во многих случаях, например, когда все станки одной марки, есте- естественно рассматривать фактор как постоянный. Настоящая трактовка фактора А как случайного подходит к тому случаю, когда все станки одной марки и модели и когда выполнено сле- следующее существенное условие: станки, участвующие в экспери- *) Заметим, что для больших п мы имеем асимптотически /г "» яв/(в+1)= рп. **) По следующей причине: рассматривая в § 8.1 соответствующую сме- смешанную модель, мы встретимся с понятием «вектора истинных средних», который мы предпочитаем записывать, как и другие векторы в этой книги в виде вектора-столбца, а не вектора-строки.
276 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ менте, можно рассматривать как случайную выборку из неко- некоторой популяции, причем мы хотим получить статистические выводы не об отдельных станках в эксперименте, а о всей этой популяции. Идеализируя популяцию станков, мы будем считать ее бесконечной. Это предположение приемлемо, если, например, станки для эксперимента случайно выбираются из относительно большого числа таких же станков на фабрике. Предположим, что в эксперименте имеется / станков, / ра- рабочих, причем каждый рабочий работает на каждом станке К дней. Мы будем включать сюда также случай /(= 1, когда в каждой ячейке имеется одно наблюдение; в этом случае ин- индекс k может быть опущен. Обозначим yijk выработку j'-ro ра- рабочего за его &-й день работы на i-м станке. Мы приходим к разложению тц + ецн, G.4.1) где шц — «истинная» средняя выработка /-го рабочего на i-м станке, вци — «ошибка», а совместное распределение {т,/} и {вцк} частично выводится из свойств рассматриваемой мате- математической модели, которая представляется автору естествен- естественной и поэтому приемлемой, а частично получается из некото- некоторых упрощающих предположений. Мы будем предполагать, что так же, как и в § 7.2, рабочие из популяции рабочих отмечаются индексом v, причем через &v будем обозначать распределение популяции. Пусть индексом и отмечаются станки в своей популяции, а через 3>и обозначается соответствующее распределение. Мы будем предполагать и и v статистически независимыми, т. е. будем рассматривать ком- комбинацию случайно выбранного станка с независимо и случайно выбранным рабочим. Обозначим m(u,v) «истинную» среднюю выработку рабочего v на станке и. Подобно тому, как мы это сделали в § 7.2, мы введем упрощающее предположение о том, что дисперсия а2 (и, v) дневной выработки комбинации (и, v) относительно «истинной» средней m(u,v) равна постоянной а2, не зависящей от (и, v). Генеральное среднее от tn(u,v) в двумерной популяции лю- людей и станков равно ц = m(», *); замена и звездочкой означает здесь переход к среднему по станкам в популяции станков, т. е. вычисление математического ожидания по распределению 3>и; аналогично замена v звездочкой означает переход к среднему в популяции рабочих, т. е. по распределению 9>v. Среднее «ис- «истинной» выработки на станке и по популяции рабочих есть m(ui); величину разности между ним и генеральным средним а (и) =/и(ы, *) —т(», *) G.4.2)
§ 7.4 ПОЛНАЯ КЛАССИФИКАЦИЯ ПО ДВУМ ПРИЗНАКАМ 277 мы определим как главный эффект станка и в популяции. Ана- Аналогично определяется главный эффект рабочего v b(v)= m(*,v) — m(*,*). G.4.3) Взаимодействие в популяции станка и и рабочего v опреде- определяется как с (и, v) — т{и, v)—т(и, *) — т(*, v) + т(*, *). G.4.4) Эта величина имеет смысл совместного эффекта в популяции, что вполне аналогично соответствующему понятию из § 4.1, применяемому к конечным совокупностям станков и рабочих. Разложение т {и, v) = ц + а {и) + Ь (i>) + с {и, v) G.4.5) определяется членами, стоящими справа; теперь нам надо ис- исследовать их совместное распределение. Из G.4.2), G.4.3) и G.4.4) мы находим среднее значение а(*) = 0, 6(*) = 0, с(и, *)=0 для всех и, с(«, v) = 0 для всех у; здесь замена и или v точкой имеет тот же смысл, что и выше. Эти соотношения аналогичны соотношению а* = 0 и другим для конечных совокупностей (§ 4.1). Случайные эффекты имеют, таким образом, нулевые средние. Теперь мы докажем, что они некоррелированы (т. е. любая пара из этой тройки имеет нулевой коэффициент корреляции). В самом деле, а (и) и b (v) статистически независимы, по- поскольку независимы и и v. Равенство нулю ковариации с(и, v) с а (и) и с b (v) может показаться немного странным, так как функции с(и,v) и а(и) обе зависят от случайной величины и, а с(и, v) и b (v) — от v. Для того чтобы убедиться в равенстве ковариации с(и, v) с а{и) нулю, заметим, что она равна мате- математическому ожиданию а(й)с(и, v), которое можно получить, вычисляя математическое ожидание f{u), где f(u)—условное математическое ожидание а(и)с(и, v) при данном и. Но при этом условии и можно рассматривать как постоянную f(u)= M(a(u)c(u,v)\u)= a(u)M(c(u,v)\u)= a(u)c(u,*). Таким образом, f{u)= 0 при всех и, откуда М(/(«)) = 0. Ана- Аогично можно доказать, что b(v) и c(u,v) некоррелированы. Для дальнейшего нам понадобятся следующие компоненты Дисперсии а\, а\. о»в: o^ = D(a(«)), al = D(b(v)), a\B = D (с (и, v)).
278 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Пусть в эксперименте участвуют / станков с индексами (u\,...,ui) и / рабочих с индексами (v\,...,vj). Мы предпо- предположим, что {«<¦}—случайная выборка объема / из ^u, а {у;} — независимая от нее случайная выборка объема / из !PV. «Ис- «Истинное» среднее тц в G.4.1) равно тогда m(/= m(Ui,Vj); по- поскольку выше мы предположили, что «дисперсия ошибки» от- относительно m(Ui,Vj) равна одной и той же величине а\ для всех щ и Vj, то {eijk} в G.4.1) имеют нулевые средние и общую дисперсию а2е. Мы добавим еще упрощающее предположение, что {eijk} независимы, одинаково распределены и независимы от {тц}: В силу G.4.5) {тц} имеют разложение*) тц = ц + щ + Ь; + сц, где at = a{u{), b, = b(Vj), Сц = c{Ui,v,). G.4.6) Так как двумерные распределения (ы;, vs) и (и, и) одинаковы, то {а,} одинаково распределены; то же самое можно сказать о {&/} и {сг;}, причем D(at) = o», DF;.) = cr|, D (C|/) = <fiM и Сц некоррелированы с at и 6/. Из G.4.6) видно также, что поскольку / + / величин {«;} и {у/} независимы в совокупности, то независимы в совокупности / + / главных эффекта {о,}, {6;}, и с,-/ статистически не зависит от at, при i' ф i, от 6;-, при ]' ф)ъ от cir при /' ^ /, ']' Ф ']. Теперь мы покажем, что все элементы множества / + /-(-// эффектов {а,}, {6/}, {с,;} некоррелированы. Для этого нам нужно только доказать, что некоррелированы Сц и cvv, если i' = t и /' =т^= / или /' =^= / и /' = /. Рассмотрим первый случай. Ковариация Сц и сц, есть математическое ожидание с (ир v\c(uv v,,Y Вычислим сначала условное математическое ожидание при данном иг, в этом случае «,¦ можно считать кон- константой, а тогда c{ut,Vj) и с (uv юЛ независимы, так как V/ и Vy, будучи независимыми, независимы и при нашем условии. Обозначая результат g(ut), получим g(«.) = м (с(ut, v,) | u?) M (с («., 0/,) |«,). Так как двумерные распределения (ии Vj) и (ы, и) совпадают и М(с(ы, и) |ы)= с (и, *)= 0 при всех и, то М(с(«;, у,-) |ы)= О *) При распределении эффектов {а(}, {&,}, {с;/}, полученных ниже, мы приходим к модели, являющейся специальным случаем модели, введенной Тьюки (Tukey, 1949b).
§ 7.4. ПОЛНАЯ КЛАССИФИКАЦИЯ ПО ДВУМ ПРИЗНАКАМ 279 при всех ««, откуда g(ut) — 0 при всех и* и Аналогичным образом можно показать, 4toCov(c(/, ct,\ = 0при i' ф L Если мы добавим предположение нормальности, т. е. будем считать эффекты {а;}, {&/}, {с,;}, {е;;&} совместно нормаль- нормальными, то из некоррелированности отсюда вытекает сразу их независимость в совокупности*. Независимость взаимодействия с(и,v) станка и и рабочего v от станка или от рабочего расхо- расходится с нашим интуитивным представлением о взаимодействии. Это наводит на мысль, что в этом случае предположение нор- нормальности не совсем корректно. Однако мы его примем для того, чтобы вывести интервальные оценки и критерии. Как обычно, вычисление математических ожиданий средних квад- квадратов и несмещенность полученных из них точечных оценок остаются справедливыми и без предположения нормальности.. Наши предположения можно теперь записать в виде (Уци = М- + a-i + bj + с{, + eljk, {at}, {bj}, {cu} и {eUk} независимы, нор- G 4 7> мальны, имеют нулевые средние и дис- дисперсии о2А, а|, а\в, о2е соответственно. Четыре SS с индексами А, В, АВ и е (мы будем говорить, что эти SS вычислены для главного эффекта А, главного эф- эффекта В, взаимодействия и ошибок) определяются в терминах наблюдений {yijk} так же, как в таблице 4.3.1, и вычисляются, конечно, с помощью тех же самых тождеств, которые имеются в § 4.3. Если в каждой ячейке имеется только одно наблюдение (К = 1), то мы не используем SSe (которое будет равно 0 с О степенями свободы). Подставляя G.4.7) в определения SS, мы получим SSA = JK Z (а, - а, + си - с„ + е,-„ - О2. SSB = IKZ (b, -Ь. + с,, - с„ + ем - О2, SSAB = К ZZ {си — си - с./ + cm + etl, - е1ы - etj, + О2> i I i 1 k Заметим, что в SS.\ не входят главные эффекты В, зато входят взаимодействия; то же самое можно сказать о главных эффек- эффектах А и SSb\ в SSe входят только ошибки.
280 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Покажем, что в условиях Q эти четыре SS статистически независимы; для этого докажем, что следующие девять мно- множеств случайных величин статистически независимы: (I) {пг-а*}, (II) {&/-&.}. (III) {с.-с}, (IV) {с,; —с,,}, (V) {си — clt — с„- + с»,}, (VI) {elm-e*J, (VII) {г,,.-г.,.}, (VIII) {0,7,—0...—0,/. + 0...}, (IX) {С,7* —0,7.}. Поскольку совокупность случайных величин во всех множествах нормально распределена, достаточно доказать попарную неза- независимость этих множеств. Множества (I) н (II) независимы, так как {а* — а*} являются функциями только от {а<}, {bt — &«}—только от {&,}, а {а,} и {&/} независимы в силу Q-предположений. По аналогичным соображениям (I) незави- независимо от всех последующих множеств, (II) независимо от всех последующих множеств, и каждое из множеств (III), (IV), (V) независимо от (VI), (VII), (VIII), (IX). Для доказательства попарной независимости множеств (III), (IV), (V) рассмотрим фиктивную модель с двумя постоянными факторами и с одним наблюдением в каждой ячейке. Пусть в этой модели {с,у} иг- играют роль наблюдений*) с дисперсией ошибки аАВ, причем все параметры модели, кроме адв, равны нулю. Тогда (III), (IV), (V) являются линейными формами от векторов, лежащих соответственно в трех из четырех взаимно ортогональных прост- пространств из § 4.2; поэтому эти три множества статистически неза- независимы. Сравнивая {ецк} с фиктивной моделью с двумя по- постоянными факторами н с К наблюдениями в каждой ячейке, мы получаем аналогичным образом статистическую независи- независимость четырех множеств (VI), (VII), (VIII) и (IX). Подоб- Подобными же рассуждениями можно показать, что наши четыре величины S5 статистически не зависят от общего среднего «/„» = ц-f а,+ 6,-f с,. + 0,»,. Положим gt = а, + с,-, + 0.-**; {gt} независимы и имеют распределение N@, oV), где oi = = Од + Г1оав + J~lK~lo2e, поэтому SSA = JK Z (gi~ gf распре- распределено как х2 с /—1 ст. св., умноженное на ^Ko2g. Следова- Следовательно, SSA = M(^SA)%2,_V где М (SSA) = JKol = o\ + КоАВ + ЩоА. *) Фактически {сц} не наблюдаются, однако оии имеют то же самое рас- распределение, что н наблюдения в нашей фиктивной модели.
§ 7.4. ПОЛНАЯ КЛАССИФИКАЦИЯ ПО ДВУМ ПРИЗНАКАМ 281 Таким же образом можно найти распределение SSb. Что ка- касается SSab, to оно равно умноженному на К выражению A*.-ft./ + AJ2. G.4.8) где hij = Ctj + е,/„; величины {hij} независимы и имеют рас- распределение N@, в2н) с o2h = aAB + K~lo2e. Но G.4.8) распреде- распределено как остаточное SS в фиктивной модели с двумя постоян- постоянными факторами, в которой {/г,/} — наблюдения, а все пара- параметры, кроме в\, равны нулю. Наконец, распределение SSe одинаково с распределением SS ошибок в фиктивной модели с двумя постоянными факторами с наблюдениями {е,-^} и т. д. Таким путем мы найдем, что каждое из четырех SS распреде- распределено как величина %2, умноженная на соответствующее M(SS); числа степеней свободы и M(SS) указаны в таблице 7.4.1. Таблица 7.4.1. Математические ожидания средних квадратов в модели со случайными факторами в случае двухфакториого анализа SS ssA ssB SSAB SSe Степень I - J - {1-Х) II (К свободы -1 -1 (/-1) -1) M (SS) 2 , VJ1 1 ТГ-Я Ge ~r Лет43 + JI\OA 2 2 2 2 2 С помощью этих распределений мы можем строить критерий для проверки обычных гипотез. Если в классификации по одному признаку критерий для проверки гипотезы Нд: сг^ = О совпадал с таким же крите- критерием в случае модели с постоянными факторами, то здесь кар- картина будет иная. При гипотезе НА SSa равно (сг| -f- /Ccr^s) X/_i> *SSAB равно Ka\B)%\ АВ' где vAB = (/—])(/— 1), по- *гому SSa/SSb распределено как /v_i, Vab. Заметим, что в то время как в модели с постоянными факторами при гипотезе НА отношение SSAISSe имеет F-распределение, а отношение $Sa/SSab— нет (если а2АВ ф 0), здесь при гипотезе НА отно- отношение SSa/SSab имеет F-распределение, а отношение SSA/SSe — нет (если а'2АВ Ф 0). Таким образом, НА отвергается с уровнем
282 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ значимости а, если SSa/SSab > Fa-i-i,VAB. Мощность этого кри- критерия определяется, как и в § 7.2, из соотношения SSA 2 SSAB °e справедливого при Q. Мощность всех критериев этого пара- параграфа зависит только от центрального /-"-распределения. Мы можем так же, как и в § 4.2, использовать G.4.9), чтобы полу- получить критерий для более общих гипотез 0 ^ 60, где В = оу(о1 + Ко2АВ), цли доверительный интервал для 6. Прибли- Приближенный доверительный интервал для о2А можно получить мето- методом, который указан в конце § 7.2. Аналогичные выводы можно сделать относительно а2в. Если К> 1, то мы можем делать некоторые выводы о °ав' используя отношение SSab/SSb, распределение которого при Q равно умноженной на (а2е -\- КаАВ)/а2е центральной /•'-величине С VAB И П (К— 1) СТ. СВ. Точечные оценки для компонент дисперсии оА, а|, оАВ и а2е легко получаются из таблицы 7.4.1 методом § 7.2. Например, мы имеем &A=rlK-\ssA-ssAB), — G.4.10) ss) (Если К — 1, то мы можем оценить только а2е -f аАВ, а не а2е и а2АВ отдельно.) Методом, развитым в § 7.2, легко также получить формулы для дисперсий этих оценок. Из этих формул можно увидеть, что D(а^) стремится к нулю тогда и только тогда, когда / стремится к бесконечности, a D (дАВ\ стремится к нулю, когда / и / стремятся к бесконечности, и не стремится к нулю при / и / конечных и бесконечном К. Такое поведение точечных оценок подсказывает нам, что мощность некоторых критериев стремится к пределу, меньшему единицы, когда число измерений определенным образом стремится к бесконечности; этот факт можно исследовать так же, как в § 7.2. Например, это справедливо для мощности критерия, проверяющего гипо- гипотезу е<90, где 9 = о2А/(о1 + оАВ) и е„>0, если /С= 1, / фик- фиксировано и / стремится к бесконечности. Анализируя данные по теории этого параграфа, мы можем построить таблицу дисперсионного анализа, аналогичную таб- таблице 4.3.1, заменив столбец М (SS) на соответствующий стол- столбец из таблицы 7.4.1.
§ 7.5. ПОЛНЫЙ ТРЕХ- И МНОГОФАКТОРНЫЙ АНАЛИЗ 283 § 7.5. Полный трех- и многофакторный анализ Мы будем пользоваться обозначениями § 4.5 для факторов, уровней, 55 и 55. Пример трехфакторного анализа можно получить, добавляя в примере § 7.4 со стайками и рабочими фактор С, относящийся к партиям сырья. Обозначая уцш тп-г наблюдение в ячейке*) i, j, k, мы предположим, что уцкт = *= тцк + ецкт, где ошибки {ецит\ независимы, одинаково рас- распределены с нулевыми средними и дисперсией а\ и независимы от «истинных» средних в ячейке {т,-/*}. Если уровни каждого из трех факторов являются случайной выборкой из популяции, при- причем эти три выборки независимы, то, поступая так же, как в § 7.4, мы можем, не теряя общности, записать Щ-k = H + a? + af + a? + aff + af + а$с, G.5.1) где обозначенные буквами а случайные эффекты некоррелиро- ваны и имеют нулевые средние, причем {af\ одинаково распре- распределены с дисперсией од; то же самое можно сказать про \af) и ав про {affif} и а24ВС. Если добавить предположе- предположение нормальности (при этом остаются уместными замечания § 7.4), то вся совокупность предположений выглядит так: yi/km = tnllk-\-ellkm, где тт удовлетворяет G.5.1) а К), {«?}, {<#}.{<}, {af}, {af*?}, {eijkm) независимы, нормальны, имеют нулевые средние и дисперсии а2А, о\, ..., а2АВС, а2 соответственно. Действуя так же, как в § 7.4, мы можем показать, что вог семь 55 (семь, если М = 1), определенные в § 4.5, независимы и каждое из них распределено, как х2, умноженное на соответ- соответствующее М E5); М E5) и числа степеней свободы дань^ в таблице 7.5.1. С помощью таблицы 7.5.1 можно обобщит?, правила, позволяющие написать математические ожидания средних квадратов без каких-либо вычислений, на случай сба-: лансированной модели со многими случайными факторами. Эти правила помещены в § 8.2. В этом случае 55 также независимы и распределены, как %2, умноженный на МE5). В трехфакториом анализе мы впервые сталкиваемся с труд1 ностью**), встречающейся в миогофакторном анализе моделей *) Мы можем опускать индекс т. если число М наблюдений в ячейке' равно единице. **) Эта же трудность возникает и в двухфакторном анализе, если прове- проверять гипотезу ц = 0.
Таблица 7:5.1. Математические ожидании средних квадратов в модели со случайными факторами в случае трехфакторного анализа ssA ssB ssc SEAB SSBC SSAC SSABC sse Степень свободы / — 1 / —1 K-l (I — 1) (/— 1) (/_l) (K-l) (I -1) (/C-l) (/-1) (/-1) (K-l) UK (M- 1) 2 2 ffg + MoABC - el + Ma2ABC el + MoABC H ff| + MoABC H h /СМа2лв M + h /Mff|c h /Ma|c + (SS) H + //Mac 2 о га S п о о s О э > 2 s
§ 7.5. ПОЛНЫЙ ТРЕХ- И МНОГОФАКТОРПЫП АНАЛИЗ 285 со случайными факторами; эта трудность состоит в том, что даже в предположении нормальности не пригодны точные F-критерии для проверки некоторых обычных гипотез. Нетрудно проверять взаимодействие трех факторов (т. е. проверять гипо- гипотезу о2АВС = 0) или взаимодействие двух факторов; так, взаимо- взаимодействие (А X В X С) проверяется с. помощью отношения SSabc/SSs, взаимодействие (А\ В)— с помощью SSab/SSabc и т. д. Однако, как мы сейчас увидим, положение меняется, когда мы проверяем главные эффекты. Приближенный F-критерий Предположим, что нам надо проверить НА: Од = 0 (Н в и Нс рассматриваются, конечно, аналогичным образом). Если мы можем предположить о2АВ = 0, то точный F-критерий для Нд можно основывать на статистике SSa/SSac В этом случае SSab можно объединить с SSabc, так как они имеют одинаковые МE5). Если же мы можем предположить адс = 0, то мы мо- можем проверять НА с помощью SSa/SSab и объединять SSac с SSabc- Если бы мы могли предположить равенство нулю дру- других компонент дисперсии, то читатель без труда бы получил точные критерии (если они существуют) для проверки стан- стандартных гипотез, а также правило объединения в таблице, по- полученной из таблицы 7.5.1 вычеркиванием компонент диспер- дисперсии, которые предположены равными нулю. Однако если мы не можем предположить аАВ = 0 или одс = 0, то из этой таблицы нельзя найти точный критерий для НА. Приближенный F-критерий *) обычно строится следующим образом. Запишем г = о2е-\-Мо2АВС-{-КМодв +JMoAC, так что М(SSA = т + JKMo2A. С помощью таблицы 7.5.1 т можно пред- представить в виде следующей линейной комбинации: Т = М (SSab) + M (SSac)— M (SSabc) ; ее несмещенной оценкой будет t = SSab + SSac — SSabc- Обо- Обозначим средние квадраты, стоящие справа, соответственно Ть Т2, тз, так что т = ti +12 — т3. Величины т, (/=1,2,3) *) Нижеследующее легко получается из приближения распределения ли- йейной комбинации случайных величин %2; этим приближением пользовался Сэттертвайт (Satterthwaite, 1946), ссылаясь на X. Ф. Смита. Бокс (Box, 1954a, стр. 294) показал численными расчетами, что это приближение должно быть хорошим, когда коэффициенты линейной комбинации положительны. Здесь Кш используем дальнейшее приближение, основанное на оценках этих коэф- коэффициентов.
286 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ независимы и распределены как тд2 h., где т< = М(т<), av,— число ст. св. xi. Далее мы попытаемся приблизить т случайной величиной xy^/v, где v определяется из условия, что т и xx2v/v имеют одинаковые дисперсии (они уже имеют одинаковые средние). Мы приходим к условию = 2 V —-, или i v = —з . Так определяется v, но, к сожалению, оно выра- жено через неизвестные параметры. Мы оцениваем v с no- noмощью v = —з . Приближенный F-критерий для проверки V, НА получается с помощью отношения SSa/x, если мы будем счи- считать его распределенным как JKMo2A + x v X/ i JKMo2A + x х 7=7 ^Г= ; f'-'- причем константу v будем заменять ее оценкой v. Отсюда мы можем получить также приближение для мощности, выражен- выраженное через центральное F-распределеиие. Это, очевидно, общий метод. Его всегда можно применять, когда мы хотим проверять гипотезу Нх: о2х = 0 и когда SSX = са2х + т, ив таблице не существует равного т матема- математического ожидания среднего квадрата. Тогда мы рассматри- рассматриваем линейную комбинацию средних квадратов с математиче- математическим ожиданием т, приближаем ее величиной xy^/v и т. д. § 7.6. Группированный план В качестве примера рандомизированной модели со случай- случайными факторами для группированного плана мы рассмотрим эксперимент с тремя факторами, в котором Т группируется по В, а В — по С. Читатель может обратиться к иллюстрации этой модели в § 5.3, относящейся к изменчивости некоторого данного показателя качества кусков ткани; в этой модели С относится к городам, В — к ящикам, Т—к кускам ткани. Мы будем пользоваться теми же обозначениями для различных объемов выборок, а именно: С подразделяется на / уровней; на уровне i фактора С фактор В имеет /,• уровней; на уровне i, / фактора В (т. е. на уровне / фактора В, лежащем на уровне I
§ 7.6. ГРУППИРОВАННЫЙ ПЛАН 287 фактора С) фактор Т имеет Кц уровней; на уровне i, j, k фак- фактора Т (т. е. на k-м уровне Т, лежащем на /-м уровне В, кото- который в свою очередь лежит на i-м уровне С) сделано Мцк изме- измерений. (Несколько ниже мы будем полагать Kit = К, Mijk = М.) Если yijkm означает /п-е из M,/ft наблюдений, то мы положим yijkm = mijk + ецш, G.6.1) где «ошибки» {eijkm} независимы и одинаково распределены с нулевыми средними и дисперсией а2е и независимы от «истин- «истинных» средних {triijk}. Уместность ограничений, накладываемых на распределение {mijk}, можно мотивировать следующим об- образом. Предположим, что существует популяция уровней С, снаб- снабженных индексом и, из которой для эксперимента выбирается / уровней С. Все популяции будут идеализированно рассматри- рассматриваться как бесконечные популяции. Назовем t?u распределен нием популяции индекса и. Представим теперь себе, что для каждого и существует популяция уровней В, снабженных па- парой индексов (и, v); пусть ?PV\U есть распределение популя- популяции индекса v при данном и. Далее мы предположим, что для каждой пары (и, v) существует популяция уровней Т, снабженных тройкой индексов (и, v, до); через &>w\u,v обозна- обозначим распределение популяции индекса до при данных (u,v). Пусть m(u,v,w) есть «истинное» среднее элемента с индек- индексом (и, у, до), соответствующего последовательному случайно- случайному выбору сначала и по распределению ??и, затем v по рас- распределению !?о\и, затем w по распределению Лми,о. Обозначим m(u, v, *) (условное) среднее m(u,v,w) при фиксированных (u,v), вычисленное относительно 9>w\u,v\ через пг(и,*,*) обо- обозначим (условное) среднее m(u, v, *) при данном и, вычислен- вычисленное относительно tPv\u\ через т(*,*,*) обозначим среднее т(и, *, *), вычисленное относительно $Ри- Определим t (и, v, w) = m(u, v, до) — т (и, v, *), b (и, v) = m(u, v, *) — т(и, *, *), с(и) — т(и, *, *)_т(*( *; *), ц_т(#) +> „). тогда m{u,v,w) = \i + c(u) + b(u,v)-\-t(u,v,w). G.6.2) Три случайные величины с(и), b(u,v) и t(u,v,w) имеют нулевые средние, так как, по определению, с(*) = 0, Ь(и, *) = 0 при всех м, ((и, v, *) = 0 при всех и, v; здесь замена w на звездочку в t(u, v, до) указывает на вычисле- вычисление (условного) среднего относительно !?w\u,v и т. д. Следова-
288 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ тельно, безусловные математические ожидания 6(*, *) и /(*, *, *) также должны равняться нулю. Дисперсии с (и), b(u,v) и t(u,v,w) обозначим соответственно а2с, а2в и о2т. Эти три слу- случайные величины некоррелированы. Докажем это для b (и, v) и t(u,v,w). Ковариация b(u,v) и t(u,v,w) равна математическо- математическому ожиданию их произведения. Если мы вычислим сначала условное математическое ожидание при данном (и, v), то полу- получим в силу G.6.3) M(b(u,v)t(u,v,w)\u,v)= b(u,v)M(t(u, v, w)\u, v) = 0; отсюда следует равенство нулю безусловного математического ожидания. Для других пар доказательство проводится ана- аналогично. С помощью формулы G.6.2) разность между m(u,v,w) и ц разлагается на части, которые могут быть рассматриваемы как соответствующие эффекты факторов С, В, Т; таким образом, в примере с городами, ящиками и кусками ткани с (и) является эффектом города и, b(u,v)—эффект ящика (и, v) из города и, t(u, v, w) — эффект куска ткани (и, v, w) из ящика (u,v). По- Поскольку средний эффект ящика из города и, а именно b(и*), равен нулю, мерой этого эффекта будем считать условную дис- дисперсию b(u,v) при данном и; мы будем обозначать ее D(b\u). Однако в настоящей модели мы интересуемся преимущественно не отдельным городом, а популяцией городов. Поэтому есте- естественно использовать среднее (т. е. математическое ожидание относительно !?и) от D(b\u) по городам. Обычно оно не совпа- совпадает с D(b(u,v))=a2B; однако в нашей модели это совпадение имеет место; в самом деле, в общем соотношении (см. за- задачу 7.5) последний член обращается в нуль, так как МF|«)= Ь(и, *) — = 0 при всех и. Так же обосновывается мера а| эффекта кус- кусков ткани в ящиках. Пусть (ui,...,u/)—индексы / уровней С, выбранных для эксперимента; предполагается, что они представляют собой слу- случайную выборку из !?и- Пусть Uu[, v{), . . ., (tii, Uy.)}—индексы/,- уровней В, выбранных в t-м уровне С эксперимента; преполага- ется, что они представляют собой случайную выборку из $PV\U (t = l, ..., /). Наконец, пусть {(и,-, у,-, гох) (и,, vh wKlj)}— индексы Kij уровней Т, выбранных в /-м уровне В и i-м уровне С эксперимента; предполагается, что они представляют собой слу-
§ 7.6. ГРУППИРОВАННЫЙ ПЛАН 289 чайную выборку из 9>m\ui,v,- Тогда {тцк} в G.6 1) имеет раз- разложение Ц + Ci + Ьц + trlk, G.6.4) где a = с(щ), bij = 6 (мг, y,), ^,-ft = f(Ш, Vj, wk) ¦ G.6.5) Поскольку гцк распределено как t(u, v, w), его среднее равно нулю, а дисперсия а\,\ аналогично bij н с» имеют нулевые сред- средние и дисперсии а| и а2с соответственно. Величины {a}, {bij}, {гцк} все попарно некоррелированы. Это можно проверить рас- рассуждениями, уже знакомыми читателю. Предположение нормальности в этом случае представляется менее неприятным, чем в случае полной классификации, так как здесь вообще не появляются взаимодействия, в связи с ко- которыми могли бы возникнуть противоречия с интуицией. Итак, все наши предпосылки имеют вид ~ Ц + ct + Ьц + tilk + eijkm 1, ..., /; /==1, ..., /,-, A = l, ..., . Кц, in—I, ..., Mijk), где {с*}, {Ьц}, {ti/k}, {} независимы и нормально распределены с нулевыми средними и дисперсиями о?, а\, а|, а2е соответственно. Далее, мы будем рассматривать случай, когда все Kq = К, все Mijk = М. G.6.6) Общий случай *) рассматривается еще в приложении к дан- данному параграфу, где выводятся математические ожидания сред- средних квадратов. Ограничения G.6.6) разумны в примере с горо- городами, ящиками и кусками ткани, ибо нет причин делать раз- различные числа измерений в разных кусках ткани или брать различные числа кусков ткани из ящиков; но желание из боль- больших городов иметь большие объемы выборок ящиков нельзя считать необоснованным. *) В общем случае 55, отличные от 55е, не распределены как кратное х2 и ие являются статистически независимыми; лишь S5e ие зависит от осталь- остальных SS. При ограничениях G.6.6) S5, отличные от 5S_. зависят от {/..,.. 10 Г. ШеФФв
290 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Найденные в § 5.3 55 можно записать так: 55Г=^ЕЕЕ 55e = EEEI здесь символы уцкп, #;/**> #;*** имеют обычное значение, а у»»»* равно среднему всех наблюдений или взвешенному сред* нему от полученных в результате наблюдений средних на уров* нях С 0 _УУУУ У**** L>L>L>L, п у ; ' t i к m *-? I где п = КМ^}1. Если мы подставим в G.6.7) Уцш = И + с{ + Ьи + tm + eUkm, то получим 55В =Р?^ (ft/y - 6„ + tlh - ^.. + е,/м - eiwy, G.6.8) 55Г = М Е S I (<№ - tih здесь черта над буквой обозначает, что индекс i заменяется звездочкой тогда, когда берется взвешенное среднее по i с ве- весами {Ji}, например остальные звездочки на местах индексов имеют обычный смысл. Для доказательства статистической независимости этих че- четырех 55 достаточно в силу G.6.8) показать, что следующие
§ 7.6. ГРУППИРОВАННЫЙ ПЛАН 291 десять множеств нормальных случайных величин независимы: A){с,-с.}, (II) {Ь{, -В,,}, (III) {btl-btt}, (IV) {*,..-С}. (V) {/,„-/,.,.}, (VD {tm~tih}, (VII) {*,...-*..„}. (VIII) {в,,..-*,...},' Четыре совокупности множеств: (I) {(I)}, (II) {(II), (III)}, (III) {(IV), (V), (VI)}, (IV) {(VII), (VIII), (IX), (X)} незави- независимы в силу самих Q-предположений. Для доказательства независимости четырех множеств из (IV) рассмотрим распределение фиктивной модели с постоян- постоянными факторами, в которой наблюдения, обозначенные нами {y'ilkm} для отличия от настоящих наблюдений {yijkm}, имеют разложение, определенное в § 5.3. Используя ограничения, обо- обозначаемые в § 5.3 через о», применительно к цепочке гипотез Н'г Н'Т[}Н'В, Н'Т[}Н'В(]Н'С, где Н'т, Н'в, Н'с обозначают соот- соответственно Нт, Нв, Нс из § 5.3 для нашей фиктивной модели, мы получаем статистическую независимость следующих четы- четырех множеств линейных форм наблюдений: {#,»** ~ #,«»*}' \Уцп ~ У{***}> \Уцк* ~ Уц**}> {Уцш ~ Уцк>}- G.6.9) Ошибки {eijkm} распределены так же, как {y'ljkm} фиктивной модели с постоянными факторами и с равными нулю парамет- параметрами H, Ы. {Р</}. {г ни). G.6.10) Четыре множества (IV) модели со случайными факторами рас- распределены так же, как четыре множества G.6.9) фиктивной модели со случайными факторами, поэтому они статистически независимы. Далее, как можно видеть из G.6.8), SSe распре- распределена так же, как S5 ошибок в нашей фиктивной модели, т. е. как в2е%\е с ve — К(М — 1) ? Jr Для доказательства статистической независимости множеств (III) рассмотрим специальный случай фиктивной модели с по- постоянными факторами, когда М=1. Тогда #,/ft» = ^/feI и не- независимость трех множеств (III) вытекает из независимости первых трех множеств G.6.9), так как {&/*} распределены так же, как {y'ilkl} с нулевыми параметрами G.6.10). Доказательство для совокупности множеств (II) получается аналогично, если рассмотреть фиктивную модель с постоян- постоянными факторами и ft — М =?= 1.
292 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Положим тогда {hijk} независимы и имеют распределение N@, efy с стл = стг + М~1а2е, {gij} независимы и имеют распределение N@, о2} с ^l ' 1^, G.6.11) {/,} независимы и нормально распределены с нулевыми сред- средними и Отсюда следует, что #г/= ? (А//л — Аг/.J равно ст^_Р a 5Sr = =М??#„ равно Afa2ft^r или (а2е + Ма\) у^, где vr = = (К— 1)ЕЛ- Аналогично SSB равно (ст2е + Afof. + /(Мст|) $ , где vB= E (/,— 1). Однако в общем случае SSC не будет распределено как 2 JJl(fl-lJ> G.6.13) кратное %2, так как где fj имеют установленное выше распределение G.6.12) и f, = =Z /.fi/E/r Однако, если сх2с=0, то SSc^^+Afa^+^MaDx2,,, а если все /,=«/,, то SSC = (а2 + Ма\ + КМа% + //(Мст2с) х2_,. Последнее равенство выводится так же, как предшествующие. Чтобы вывести первое, рассмотрим фиктивную модель одно- факторного анализа с «наблюдениями» {у'и}, разбитыми на / классов, причем в t-м классе имеется /( наблюдений. Если а2с — 0, то {f,} распределены как наблюденные средние {z/^} в этой модели с постоянными факторами, если дисперсия оши- ошибок равна о2 из G.6.11), а истинные средние равны нулю. Кри- Критерий для проверки гипотезы о равенстве истинных средних в этой фиктивной модели определяется отношением, в числи- числителе которого стоит SS, равное Y,J{(y'^—y'^2 и распределенное, как cr^.j. Поэтому при о2с — 0 SS = KM ]? J{ (/4 — f,J распреде-
§ 7.8. ГРУППИРОВАННЫЙ ПЛАН 293 лено, как KMa2g%2_{ — (а2е + Ма2, + КМа2в) %2_{. При условиях Q среднее и дисперсия SSC равны *) М (SSC) = (/ - 1) (а2 + Ма\ + КМ<%) + КМ (Л, - A?AS) ст2с, G.6.14) D (S5C) = 2 (КМJ [(Л2 - 2А;1А3 + Л Л2) ст4с + + 2 (Л, - ^-U2) ст2сст2 + (/ - 1) a4g], G.6.15) где ?Г G.6.16) и стг определяется G.6.11). Формулы G.6.14) и G.6.15) выте- вытекают из леммы в приложении к этому параграфу. Таблица дис- дисперсионного анализа для нашего случая получается из таб- таблицы 5.3.2, если положить в ней и дополнить ее столбцом М (SSC) = а\ + Ма\ + КМа% + Аа2с, М (SSB) = а\ + Ма\ + КМа|, G.6.17) М (SST) = а] + Afo», М E5е) = <^, где Л = KM(I— I) (^i — ЛГ'А), и Аи А2 определяются G.6.16), так что А = JKM, если все /<• = /. Первая формула G.6.17) следует из G.6.14), а остальные — из полученных выше распределений /2. F-критерии для гипотез Нс : в*, = О, НВ: а2в — 0, Нт\о\=0 строятся с помощью подходящих отношений средних квадра- квадратов; например, при гипотезе Нв M(SSB)= M(SST) (как это следует из G.6.17)), поэтому для проверки Нв используем SSb/SSt- Мы получаем таким образом точные ^-критерии, мощ- мощность которых легко выражается через центральное F-pacnpe- деление; исключением является критерий для Нс в случае не- неравных {/,}. Предыдущее утверждение вытекает из того, что в условиях О четыре SS независимы и каждое из них распре- распределено как величина х2, умноженная на соответствующее МE5), за исключением SSc в случае неравных {/,}; в этом *) Распределение SSc при Q совпадает с распределением линейной ком- комбинации независимых х2"величин. Это утверждение справедливо для любой квадратичной формы от случайных величин, имеющих совместное нормальное распределение с нулевыми средними (см. задачу V. 2).
294 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ случае распределение %2 имеет место только в условиях Нс Л Q. Мощность критерия для Нс в случае неравных {/;} может быть приближена с помощью центрального F-распределения, если аппроксимировать SSC величиной, кратной х2> подбирая ее так, чтобы совпадали два первых момента; такой величиной будет M(SSe)%yv с v = 2[M(SSc)jyD(SSc), где М (SSC) н D(SSC) берутся из G.6.14) и G.6.15). Решая, как обычно, уравнения для оценок, аналогичные G.6.17), мы можем получить несмещенные оценки для компо- компонент дисперсии а2с, ст|, а\ и а\, В примере с городами, ящи- ящиками и кусками ткани может представить также интерес оценка суммы которая является мерой изменчивости качества ткани данного сорта*). Все эти оценки будут линейными комбинациями че- четырех независимых SS, поэтому формулы для их дисперсий легко получить, используя предыдущие результаты о распреде- распределениях соответствующих SS при условиях Q. Эти формулы со- содержат неизвестные параметры; заменяя их оценками, мы полу- получим оценки этих дисперсий. Анализ влияния четырех SS на оценку дисперсии оценки суммы G.6.18) по прошлым экспериментам обычно подсказы- подсказывает нам способ улучшения размещения выборок в будущих экспериментах такого же рода. Аналогичное замечание можно сделать и в других случаях оценки компонент дисперсии. Точный доверительный интервал для а2е можно получить из распределения %2 величины SSe/a2e. Для других компонент дис- дисперсий методом конца § 7.2 можно получить приближенные до- доверительные интервалы; исключением является а2с в случае неравных {/,}. Применение этого метода для приближенного расчета мощности критерия гипотезы Нс не приводит к цели, так как получаемая при этом мощность зависит от неизвестных параметров конкурирующей гипотезы. Если мы будем строить приближенную интервальную оценку для ст*,, заменяя SSc на М (SSc)x/_i» a затем применяя метод конца § 7.2, то мы полу- получим результаты более грубые, чем в случае приближенного расчета мощности; результаты будут тем хуже, чем больше *) Если а^ возникает главным образом от изменчивости измерительных инструментов, а не от изменчивости отдельных кусков ткаии, то, вычитая из G.6.18) ст^, можно получить более хорошую меру; однако тогда мы не должны обозначать ее о^.
I 7.6. ГРУППИРОВАННЫЙ ПЛАН 295 разброс среди {/;}. Удовлетворительный доверительный интер- интервал для о2у, по-видимому, построить трудно; пока что лучше всего записывать оценку и ее стандартное отклонение. Приложение. Средние и дисперсии некоторых квадратичных форм Мы будем использовать следующую лемму. Лемма. Если S = ? av (*v — х,J, x» = Zav*v/a, a = zlav, V V V случайные величины {xv} независимы, М {#v} = 0 и D (xv) = сх2, то M(S) = Vl-a~lV2 G.6.19) D (S) = W2 - 2a~ W3 + a-2U^4 + 2а^У% G.6.20) т=1, 2, G.6.21) О О XV/ ^ »^ 4*1 4 а» —. v v , v v , v (х*) — 3. Если {xv} нормальны, то \2 v = 0 и потому Wm = 2?« при т = 2, 3; Г4 = 0. G.6.22) V Формулу G.6.19) можно получить, если вычислить матема- математическое ожидание правой части равенства avav,*vxv,. Для вывода G.6.20) надо исходить из формулы DE) = = M(S2) — [МE)]2. При возведении в квадрат 5 мы получаем члены четвертой степени по {xv}, поэтому нам нужно иметь М (xvxv,Xv»xv,,,y Это математическое ожидание равно соответ- соответственно (y2 v + 3) a4v, o2vol,,, о%о1„ ayv, когда v = v' = V' = = v'", v = V Ф v" = v'", v = v" Ф v' = v'", v=v'/'^v' = v"; в остальных случаях оно равно нулю. Встречающиеся далее суммы вида Z ?v ф v' a™a7'alal' преобразовываются в VmVm, — Z ау+т'о$ добавлением и вычитанием члена ? ^ V V Дальнейшие подробности вывода довольно утомительны. Эта лемма позволяет нам вычислять математические ожи- ожидания SS в таблице 5.3.2 при fi-предположениях настоящего параграфа (при этом предположение нормальности, конечно, излишне).
596 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Мы получаем 4 G-6.23) / V i i и ZZZ I J ft где Для иллюстрации этих вычислений получим формулу для Z J. G.6.24) М E5В). Запишем SSB = Z SSB, t, где Здесь ^'«/. + e//M, G.6.25) Z Z ei/ где где ь — Z Z к, т п Z к ?: а ZZ IX т. L, Уцкт 2j MUkhik т Z и</6*/ 6 Z Z Z </y* Z л*/г*/. I к I Z Z y Z 7 _ I к m _ I ' i»* n Z Z Z ei//im Z nHeU** _ I k m __ I
§ 7.6. ГРУППИРОВАННЫЙ ПЛАН 297 Подставляя G.6.25) и G.6.27) в G.6.24), получим sSB,i = Ttnil(gij-gi,f, G.6.28) где ? "tfltl + e s=—— При условиях Q {gt/} независимы и имеют нулевые средние и дисперсии d (е„) = о| + d (ith) + d (*,,„), которые с помощью G.6.26) можно записать в виде D (ёц) = °l + «Г/2 Vr + «Г/Ч G-6.29) Применим теперь лемму к G.6.28), заменив v на /, av на пц, хч на ?*/' ПРИ этом *• заменяется выражение G.6.29). Мы получаем на gijt при этом х, заменяется на gt,, а ^п^ — п. и ст* на - «г1 «г1 Z «?,- К + »;? V» + "Г/1^) = суммирование этого результата по t дает G.6.23). Для иллюстрации остальной части леммы рассчитаем D(SSc) при Kij = К, Мг/й = Ми при нормальных наблюдениях, чтобы воспользоваться G.6.22). (Ненормальность влияет на дисперсии SS.) Запишем G.6.13) в виде где {fi} независимы, нормальны, имеют средние, равные нулю I и дисперсии G.6.12), а ft = —.
298 ГЛ. 7. МОДЕЛИ СО СЛУЧАЙНЫМИ ФАКТОРАМИ Применим теперь лемму, заменив v на I, av на /(, хч на j\ и а\ на G.6.12). С помощью G.6.21) и G.6.22) вы- вычисляем У2 = I A We + /Г Ve) = Л2а2с + А,а\, i W2 = 2 ? /fOc + 2/Г'а2са2г + /ГVg) = 2 (А2о*с + 2Л,сх2с4 + /<?), < Гз = 2 ? А (оЬ + 2/Г'а2с4 + JTVe) = 2 (Л3а4с + 2А2а1а2е + Подставляя эти выражения и a = Ai в G.6.20), получаем D(S); умножая результат на (/СМJ, получаем G.6.15). ЗАДАЧИ 7.1. При изучении обычного производственного процесса консервного за- завода каждый оператор машины, разрезающей абрикосы, наблюдался в тече- течение пяти двухмннутных периодов. На трех различных производственных ли- линиях обрабатываются фрукты трех различных размеров (чем больше номер, обозначающий размер, тем меньше размер фруктов). В таблице А собраны данные отдельно по каждому размеру; обозначения соответствуют модели у-ц = [i, -|- at + etj, где уц — число абрикосов, разрезаемых в минуту i-м опе- оператором в у'-й период наблюдения, / = 5, а / указаны в таблице А. Таблица А Размер 2 3 4 / 9 17 17 у** 53,17 52,26 47,32 ssA 59,72 68,20 78,96 SSe 1,144 2,537 4,926 а) Вычислите в предположении нормальности оценки ц, ал, ае для каж- каждого размера отдельно в виде в ± &., где В — точечная оценка, а д. — опенка ее стандартного отклонения. б) Для каждого размера фруктов можно получить / оценок а| по пяти наблюдениям; поэтому выборочная дисперсия этих / оценок дает прямую оценку стандартного отклонения ае. Для размеров 2, 3, 4 эти прямые оценки равны 0,18, 0,26, 0,32. Сравните эти результаты с оценками по нормальной теории. Отличается ли от нормального распределение отклонений операторов от их собственных средних? 7.2. Таблица Б содержит результаты дисперсионного анализа четырех последовательных экспериментов (фактор В) с одной и той же выборкой 25 рас (фактор А) обычной плодовой мушки (Drosophila melanogaster); из каждой расы в каждом эксперименте отбирается 12 самок. Наблюдается количество яиц, отложенных самкой на Четвертый день кладки.
ЗАДАЧИ Таблица Б*) Источник дисперсии А В расы эксперименты В Х Ошибки Степень свободы 24 3 72 1 100 3 243 46 659 459 243 299 М (SS) *) Заимствовано из The estimation of variance components in analysis of variance, S. L. Crump, Biometrics Bulletin, т. 2, 1946. таблица 2, стр. 9. а) Заполните столбец M(SS). б) Проверьте каждую из гипотез На, Нв, Пав с уровнем значимости 0,025. в) Вычислите точечные оценки компонент дисперсии а2А, а\, а2^, а2. г) Оцените дисперсии этих оценок. д) Вычислите двусторонние 95-процентные интервалы для каждой ком- компоненты дисперсии. 7.3. Воспользуйтесь вычисленными SS в задаче 5.6, проверьте значимость различия между печатающими устройствами и различия между головками одного и того устройства. 7.4. а) С помощью вычисленных в задаче 5.7 средних квадратов оцените ас> аВ> °1 и al= °с + ав + ае; индексы С, В, е, у относятся соответствен- соответственно к городам; ящикам при данных городах, кускам ткани в ящиках и инди- индивидуальным измерениям. б) Оцените дисперсию каждой из четырех оценок в а). в) Предполагая, что главной целью эксперимента является оценка а2у, решите, как лучше разместить измерения в аналогичных будущих экспери- экспериментах. 7.5. Докажите, что для имеющих совместное распределение случайных величин b и и имеет место равенство DF)= M (DF|i/)+ D(M (b\u). Указание. Обозначьте М (&|и) == /(и), М F) = цй) так что М (/(«))= ^ь- перейдите к математическим ожиданиям в тождестве F — ш>J = = [Ь- f («)]2 + U(«)- Ц»]« + 2[f (и) - ць] [Ь -f(«)]. При вычислении математического ожидания первого и последнего из трех Членов справа сначала надо вычислить условное математическое ожидание при данном и.
Глава 8 СМЕШАННЫЕ МОДЕЛИ § 8.1. Смешанные модели в двухфакторном анализе В этой главе мы сначала подробно разберем смешанную модель в случае двух факторов, а затем для большего числа факторов сформулируем правила, по которым определяются и вычисляются SS их числа ст. св., их М (SS) и основанные на них приближенные F-критерии. Пример двухфакторного анализа, в котором один фактор можно рассматривать как постоянный, а другой как случайный, получается из примера § 7.4 со станками и рабочими, если ра- рабочих продолжать считать случайной выборкой из большой популяции, а станки — нет; в этом случае интерес представляет индивидуальная производительность станков. Такая модель по- получится, если в эксперименте имеются станки разных марок. Мы используем обозначения § 7.4 для факторов (А отно- относится к станкам, В — к рабочим), чисел уровней, индексов этих уровней. Мы опять допускаем К = 1, а также предполагаем, что выработка /-го рабочего за k-й день работы на i-м станке представима в виде уцк= тц + eifk, (8.1.1) где «ошибки» {sijk) независимы и одинаково распределены с нулевыми средними и дисперсией а\ и не зависят от «истин- «истинных» средних {mti}. Теперь мы попытаемся обосновать разумность ограничений, налагаемых на распределение {тц}; потом мы выведем рас- распределение главных эффектов и взаимодействия*). Приписывая опять рабочим из популяции индекс v с рас- распределением &v, мы будем обозначать «истинную» выработку рабочего v на t-м станке m(i,v). Здесь v есть случайная вели- *) Этот способ построения модели, принадлежит Шеффе (Scheffe, 1956a). Там же на стр. 35—36 имеются ссылки на другие работы.
§ 8.1. СМЕШАННЫЕ МОДЕЛИ В ДВУХФАКТОРНОМ АНАЛИЗЕ '301 чнна, соответствующая случайному выбору рабочего согласно распределению ?PV, но i не случайно*), а обозначает опреде- определенный станок с индексом i в эксперименте. / случайных вели- величин {m(i,v)} являются компонентами векторной случайной ве- величины m = m(v), многомерное распределение которой яв- является по существу основным понятием настоящей модели. Векторная случайная величина m = m(v) = (m(l,v),mB,v),...,m(I,v)Y (8.1.2) определяется популяцией рабочих; рабочему v в эксперименте соответствует значение т (v) этого вектора. Главные аффекты и взаимодействия будут определяться теперь через случайный вектор т. . . Вектор средних М(т) для (8.1.2) дает нам «истинные» сред- средние станков, т. е. мы определяем «истинное» среднее для г-го станка как |i/ = m(i», (8.1.3) где замена v звездочкой означает, что мы перешли к среднему по популяции рабочих, т. е. вычислили математическое ожида- ожидание m(i, v) относительно &>v. Генеральное среднее определяется как среднее арифметическое (8.1.3) по / станкам ц = ц* = = т(*, *); здесь замена I звездочкой означает среднее ариф- арифметическое по t. Величина превышения этого числа «истинным» средним t-ro станка а; = \т — ц.* = т(г,*)—т(*,*) называется главным эффектом t-ro станка. «Истинное» среднее рабочего v определяется как среднее из его «истинных» средних на / стан- станках и обозначается m(*, v); разность между этой величиной и генеральным средним b(v) = m(;o)—m(*,*) (8.1.4) называется главным эффектом рабочего v в популяции. Глав- Главный эффект рабочего v на ?-м станке можно определить как m(i,v) — m(i,*)\ разность этой величины и ее среднего значе- значения (8.1.4) по всем станкам Ci(v) — m(i, v)—m(i, *) — m(*, v) + m(*, *) *) Очень часто получают смешанные модели из более общих моделей, в которых i и v случайны, но индексы v в эксперименте являются выборкой / элементов из бесконечной популяции, а индексы i в эксперименте —• выбор- выборкой / элементов из конечной популяции объема /. Я считаю такой метод неудачным, так как хотя SS и M(SS) симметричны по / уровням и в том случае, когда индексы не являются выборкой, распределения, вообще говоря, будут в этих двух случаях различными, так как в реальных ситуациях трудно представить себе равновероятность Л перестановок индексов {1, ... . ., /} станков.
302 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ называется взаимодействием t-ro станка и рабочего v, в попу- популяции. Теперь мы имеем m (i,o) =|i +a,+ 6(i»)+с/(о). (8.1.5) Из этих определений главных эффектов и взаимодействий в популяции вытекают соотношения / = °> М(й(у)) = 0, X С/ (у) = 0 для всех у, M(Ci(u)) = 0 для всех i; эти соотношения аналогичны дополнительным условиям D.1.10) в случае, когда не только множество станков, но и множество рабочих конечно. Случайные эффекты {b(v),ci(v),...,Ci{v)} зависимы, их дисперсии и ковариации определяются матрицей ковариации векторной случайной величины т. Если обозначить элементы этой матрицы Оц> —Cov (m(i, v), m{i', v)), то, пользуясь выра- выражением b{v) = rl Z tn(i> v) — Ц Для определения случайных эффектов, можно вычислить D (Ь (v)) = Г2 ? I Cov (m (i, v), т (Г, v)) = Г2 ? I а,,-, ' 1> ' '' (8.1.6) Так как ct(v)= m(i,v)—m(«, и)— ц/ + ц, то ковариация Cov (с,-(у), сг (у)) не зависит от {ц,-}, поэтому при вычислении ее мы можем предположить, что все ц» = 0. Ее значение равно математическому ожиданию величины i, v) — m(*, v)][m(if, v) — m{*, v)] = — m (i, v) m (/', v) — m (/, v) m (*, v) — m (*, y) m (?', у) + + [m (*, u)]2 = m (J, o) m (/', v) - Г' E m (i, w) m («". o) - - Г1 Z m (Г, o) m (i', i») + Г2 Z Z m («", f) m (/'", o); отсюда Cov (с, (у), c,' (y)) = a,,' — 7 Z <*u" ~ '"' Z °n' + /~2 Z Z а,'Т"> ?• С i" I'" или Cov (C| (») C|' (o)) = a,c - a,. - av + a,,. (8.1.7) Заметим, что в силу симметричности матрицы (оц-), oit' = oi't, ait = o,i. Аналогичным образом вычисляется Cov (b (у), Ci(и))i= о„ — о4».
§ 8.1. СМЕШАННЫЕ МОДЕЛИ В ДВУХФАКТОРНОМ АНАЛИЗЕ 303 Примем следующие определения символов а2А, <т|, а2АВ: (8.1.8) i эти формулы можно получить, если воспользоваться определе- определениями, помещенными перед таблицей 4.3.1 для конечного мно- множества рабочих, а затем рассмотреть предельный случай бес- бесконечного числа рабочих. Величины <т| и о2АВ могут быть вы- выражены через матрицу ковариации о?-*а„, (8.1.10) формула (8.1.10) вытекает из (8.1.6), а формула (8.1.11) сле- следует из (8.1.7), если положить i = i' и ? (оа — 2<т?, + а„) = = Е (<у„ - <т„). Заметим, что о|=0 тогда и только тогда, когда b(v) = 0 при всех v, т. е. тогда и только тогда, когда основной вектор m(v) имеет вырожденное распре- распределение, удовлетворяющее усло- условию z] mi (у) = const = /|х. Далее, <г2._ = 0 тогда и только тогда, когда АВ при всех или Рис 8лл D(c,(y)) = р m(i,v)=m(*,v)+щ, т. е. случай- J^- ные величины тождественны с точ- точностью до аддитивных постоянных (но они не одинаково распреде- распределены). Мы достигнем большего понимания наших определений, если рассмотрим крайний симметричный случай, когда матрица ковариации m(v) удовлетворяет условиям <тИ' = ра2, если /' ф i, Оц = а2. (8.1.12) В этом случае из (8.1.10), (8.1.11) и (8.1.12) получаем где*) —(/—1)~'^р^1. Графики этих уравнений показаны на рис. 8.1.1. Вообще говоря, мы ие рекомендуем принимать *) Первое из этих неравенств является следствием (8.1.12) и того фак- факта, что матрица ковариации (вц1) должна быть положительно определенной.
304 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ условие (8.1.12) на практике, так как обычно такого рода сим- симметрии нет; в примере со станками и рабочими два станка мо- могут быть одной марки или модели, но сильно отличаться от других станков. Еще одно возражение против (8.1.12) состоит в том, что аналогичное ограничение в разобранной в § 4.3 мо- модели с конечным множеством рабочих приводит к таким усло- условиям*), для выполнения которых в большинстве приложений нет никаких оснований. Если / рабочих {vi,... ,vj} в эксперименте являются слу- случайной выборкой, то «истинное» среднее тц в (8.1.1) равно т (i, Vj), a / векторов (тц, т-ц,..., mi, /), или с / компонентами независимы и распределены как (8.1.2). Ра- Равенство (8.1.5) мы можем записать как тц = ц + <xi + Ь/ + Сц, где bj = b(vj), cu = Ci(vj); тогда / векторов (bj,cu,...,Cij)' с /+1 компонентами независимы и распределены как Обозначим сг)(/рабочих величину о\, определенную равен- равенствами D.3.7а) и D.1.9), для (/Х-О^плана с / станками и / действительно участвующими в эксперименте рабочими; ана- аналогично определим а2Л|/рабочих, 02ЛЙ|/рабочих. Эти три а2 яв- являются случайными величинами, зависящими от множества / рабочих, выбранного из популяции. Читатель может прове- проверить, что из сг| = О вытекает, что о\ (у рабочих = 0 для всех мно- множеств / рабочих; аналогичный вывод можно сделать, если <7^s = 0; в случае о\—0 это не так**). Теперь мы добавим условие нормальности, заключающееся в том, что векторная случайная величина m(v) имеет много- многомерное нормальное распределение и {вцн} нормальны; мы мо- можем записать полученные Q-предположения двумя эквивалент- эквивалентными способами: fc, / векторных случайных величин, (mt/, ... о 1 ..., тц)' независимы и распределены N(ц, Г), где и = (.![, ..., \it) и Г = (а<,'); °ни независимы от {вць}, юторые сами независимы и распределены Af(O, a-Y, *) См. Шеффе (Scheffe, 1956a, стр. 57). **) С аналогичной ситуацией мы встретимся ниже (см. 9.1.23}
§ 8.1. СМЕШАННЫЕ МОДЕЛИ В ДВУХФАКТОРНОМ АНАЛИЗЕ 305 ИЛИ для всех ;, а {&/}, {с;/}, {eilk} имеют совмест- совместное нормальное распределение; {е^ь} незави- независимы, имеют распределение N @, о2е) и не за- зависят от {Ь;} и {сц}, которые в свою очередь имеют нулевые средние и следующие дисперсии, определенные в терминах / X /-матрицы кова- риации с элементами {а,;'}: Cov F/, br) = Ьи-ат, Cov (си, с,'!') = Ьи> (аи' — аи — а.г + о„), Cov (Ь;, Сц') = 6ц' (а,-, — аи). Единственными ограничениями {оИ'} являются симметрич- симметричность и положительная определенность матрицы, составленной из этих элементов. В обеих формулировках Q неизвестными па- параметрами являются а\, элементы {он^ матрицы ковариацииГ и средние {щ}, которые во втором случае записываются в виде } Условимся для удобства обозначать в уравнениях, описы- описывающих смешанные модели, постоянные эффекты греческими буквами, а случайные —латинскими; мы придерживались этого обозначения в (8.1.13) и будем придерживаться во всей этой главе. Подставляя (8.1.13) в четыре выражения SS, определенных в таблице 4.3.1, мы получаем SSA = JKZ (ai + ci. + ei»~ e***Y> (8.1.14) SSB = IKZ (bj - b. + e,,, - ejf, (8.1.15) ZZZ(ijkiitf, (8.1.17) i I « так как с*/ = 0, а следовательно с*» = 0. Эти четыре S5 по- попарно независимы, кроме пары SSb, SSab- Докажем независи- независимость пары SSa, SSab', доказательство независимости осталь- остальных пар проводится аналогично. Запишем SSA = JKZ,Li; SSAB= V
306 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ где Li'=A(' + Bt', Ltj= At! + Вц, Ar = ct,-' -f- Ci't, Bf = ey,* — e^, At/ — ctj — C;., Btj = en* — e<*, — e,/. + ettt. Так как {Lt', Lf/} совместно нормальны, то нам достаточно доказать, что при всех i\ i, j Cov (Lf, Lif) — 0. Каждое из только что определенных В не зависит от любого А, поскольку мы предположили, что множества {ецн} и {тц} независимы. Далее, fie и Вц ортогональны; это доказывается уже известным нам способом построения фиктивной модели с постоянными факторами. Следовательно, нам осталось только доказать, что Cov (Л,', Л,-/) = 0; мы имеем «» »/ «* [ /- " v (/ г = /"'ZM(CiY Cil) - Г2 Z Z M (err с,г) = = Г'М [с, (у) с,- (У)] - /-'М [(с,- (у) с<- (v)] = 0, так как М (с,/с,'/') = б//'М [с,(у) се (и)]- Применяя к (8.1.17) рассуждения, связанные с фиктивной моделью с постоянными факторами, мы заключаем, что SS, есть сгД/у^.!)- Если мы положим в (8.1.15) bj-\-eti* = fl, то получим SSB = IK Yj (f/ — f*J> где {/7} независимы и имеют распределение ./V @, а|) с а^ = а| + 1~хК~хо\; поэтому SSB равно л, или (a2, -f /^DX/.p Отсюда следует, что e о8., (8.1.18) М (SSB) = о\ + 1Ка%. (8.1.19) В общем случае {с,} и {сц} в (8.1.14) и (8.1.16) имеют нерав- неравные дисперсии и коррелированы, поэтому следует ожидать, что SSa и SSab не будут распределены как кратные соответствую- соответствующих нецентральных (или центральных) величин х2; можно по- показать, что это так при / > 2. Однако если справедлива гипо- гипотеза Ндв : а2АВ = 0, то все с,-/ и с,- в (8.1.16) обращаются в нуль, и, рассуждая, как обычно, мы_ получаем, что SSAr равно aeX2/_D (/_!)• Для вычисления M(SS^) и NKSS^b) воспользуемся следующим легко выводимым правилом.
§ 8.1. СМЕШАННЫЕ МОДЕЛИ В ДВУХФАКТОРНОМ АНАЛИЗЕ 307 Лемма. Если {х,,...,Хц} независимые, одинаково распре- распределенные величины с дисперсией <т2, то D (*,) = #"'<& (8.1.20) D(xn-xt) = (l-N-l)o2x, (8.1.21) ZM(xn-xf = (N-\)a2x. (8.1.22) п Определив теперь для удобства а« = «//« —«/.«, (8.1.23) мы имеем а,- = at -f с> + е(>» — е„„ М (at) = а«, DFc,) = D(ci#)+ D(eu* — е,„). Применяя далее (8.1.20) и (8.1.21), находим D (а,) = D(c,.) + A - /-') D (е,..), ^ D (а,) = /-' [D (с, (v)) + К~1 A - /"') а2,]- Записывая SSa = JKYj&21 и подставляя (8.1.24) в М (SSA) = 1К1М (б*) = JK Z [D (й2) + а2], мы получаем М (SS,,) = ^ Z D (с? (о)) + (/ - 1) а\ + JKZ а2. Используя определения (8.1.8) и (8.1.9), находим М (S$A) = а2 + ^а^в + /Ка2,. (8.1.25) Вычисляя математическое ожидание (8.1.16), мы получаем ZZ + KM [Z Z (в|/. - е,„ - е„. Применяя обычные рассуждения, мы представляем второй член справа в виде а2 (/ — 1) (/ — 1). В силу (8.1.22) Z М (с?/ — сйJ = — (/— 1) D (Cj(f)); отсюда, учитывая (8.1.9), мы представляем первый член предыдущей суммы в виде KZ(J - l)D(Ci(v)) = K(J -l)(I - 1)<уав. Отсюда получаем ,) = o2, + /Co«fl. (8.1.26)
308 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ Таблица 8.1.1. Таблица дисперсионного анализа Источник дисперсии Главные эффекты А (постоянного) Главные эффекты В (случайного) (А X В)-взаимодействия Ошибки Степень свободы /— 1 У- 1 ЩК-1) SS SSA ssB SSAB М (.SS) в\ + K°AB + JK°A a\ + lKa2B a'e + КвАВ Выведенные нами формулы математических ожиданий сред- средних квадратов собраны в таблице 8.1.1. Они справедливы, как обычно, без предположения нормальности. С их помощью по- получаются следующие несмещенные оценки при К> 1: б% = (IK)-*JSSb -JSe), (8.1.27) 6AB = l?l(SSAB-SSe), (8.1.28) cii = SSe. (8.1.29) Найдем теперь точечные оценки для остальных параметров модели. Чтобы оценить |Х/ и а,-, мы можем воспользоваться теми же оценками, что и в модели с постоянными факторами, а именно «//*# и щ, определенными (8.1.23). Несмещенность второй оценки показана ниже формулы (8.1.23); аналогично можно доказать несмещенность первой оценки. Рассмотрим те- теперь составленные из средних / векторов-столбцов {уц*,У2!*,.-.,Уп*)'. (8.1.30) Из формулы (8.1.1) получаем Уп* = тц + еоч; (8.1.31) таким образом, / векторов (8.1.30) независимы и одинаково распределены. Обозначим z случайную векторную величину, имеющую такое же распределение, как каждый из этих векто- векторов; она, очевидно, нормальна. Вычислим ее M(z) и Г2. По- Поскольку в силу (8.1.31) М (уц*) = М (тц) = ц/, то М(г)= (г. Далее, обозначая (/,/') -й элемент Гг через т»', по- получаем т,|. = Cov (уц„ у 14,) = М {[(тц — \i{) + ei/J [{nti', — |х,') + е{',.]} = = Cov (тц, т^}) + М (е,7, еа,),
§ 8.1. СМЕШАННЫЕ МОДЕЛИ В ДВУХФАКТОРНОМ АНАЛИЗЕ 309 Несмещенной оценкой хи- элемента тп< является выборочная ковариация г-й строки средних {г/п*, уп* Ци*} с аналогич- аналогичной i'-й строкой: поэтому при К > 1 несмещенной оценкой элемента Оц' мат- матрицы ковариации основного вектора т нашей модели является аи'=тИ--ЬН'К~{б2е. (8.1.34) Заметим, что, подставляя (8.1.34) в (8.1.10) и (8.1.11), мы приходим к оценкам для ав и &АВ, совпадающим с получен- полученными ранее оценками (8.1.27) и (8.1.28). Все найденные нами оценки остаются несмещенными и без предположения нор- нормальности. При К > 1 доверительные интервалы для а2е можно строить *) на основе х2-РаспРеДеления величины SSe/a2e. Для отдельного at, отдельного ц, или отдельной разности at — a/ можно получить доверительные интервалы, основанные на /-распределении. Применение на практике основанных на t кратных доверительных интервалов встречает те же самые возражения, о которых говорилось в конце § 2.3; в этом случае обычно предпочтителен метод множественных сравнений. Если К> 1, то отношение (Щов + a|)~'SS;j K SSja2e имеет F-распределение с У —1 и П(К—\) ст. св. Поэтому довери- доверительные интервалы для о2в/о2е и критерии для гипотез о\ = 0 или o'B/o'i^ с можно строить обычным путем; мощ- мощность этих критериев может быть выражена через центральное F-распределение. Гипотезу Нлв '¦ адв = 0 можно проверять с помощью стати- статистики SSAn/SSe, которая при НАВ имеет F-распределение с (/—1) (/—1) и U (К—1) ст. св. Однако мощность этого критерия не выражается через центральное или нецентральное F-распределение, так как при невыполнении НАВ статистика SSab не распределена как кратное величины х2**)- Хотя SSa и SSab статистически независимы и при гипотезе НА: все а,- = 0 имеют одинаковые математические ожидания, их отношение при На, вообще говоря, не подчиняется ^-распределению. •) См. Шеффе (Scheffe, 1956а, стр. 32). **) Мощность этого критерия изучалась Имхофом (Imhof, 1958).
310 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ Точный критерий для этой гипотезы может быть основан на Р-статистике Хотеллинга *). Прежде чем заняться выводом этого критерия, заметим, что пока еще неясно, надо ли на практике использовать точный критерий вместо приближенного **) F-критерия, построенного с помощью таблицы 8.1.1 и основанного на замене распределе- распределения SSa/SSab на F-распределение с/— 1 и (/— 1)(/— 1) ст. св.; неясно, так как точный критерий сопровождается чрезвычайно громоздкими вычислениями. Если, применяя приближенный критерий, мы отвергнем гипотезу, мы можем потом воспользо- воспользоваться приближенными S- и Г-методами множественного срав- сравнения, в которых {«/i*»} при оценке сравнения ? С(«/,„ (? ct = (Л считаются независимыми величинами с одинаковыми диспер- дисперсиями, полученными из M(SS^) в таблице 8.1.1 вычитанием а2А и делением на JK. Для расчета Г2-статистики, а также в случае значимого ее отклонения для применения методов множественного сравнения мы построим прямоугольную таблицу с R — I—1 строками и / столбцами, поместив на пересечении r-й строки и /-го столбца ЛГ1 = Уг!' — Угг' (8.1.34а) далее, вычислим R средних {dr*} и -^R(R-\-\) сумм произве- произведений а„> = ? (dri - dr.) (dr4 - dr'.) = ? dridr>! - ]drtdr;. (8.1.35) / векторов d<» = (dlhd2i,...,dRjy (8.1.36) независимы и распределены А/(?,Га), причем r-я компонента % равна lr = ar —a/, a Г<* не вырождена ***). Несмещенной оцен- оценкой Та является td = (J— 1)-'A, (8.1.37) а матрица А=(агг') определяется (8.1.35). Обозначим d век- вектор, r-й элемент которого равен dr*; в силу (V. 5) приложения V \)Cd-\)'A-i{d-\) (8.1.38) *) Хотеллинг (Hotelllng, 1931). **) Можно доказать, что при выполнении условий симметрии (8.1.12) приближенный F-критернй и приближенные S- н Т-методы становятся точ- точными. ***) Если Га была бы вырождена, то {du- dR, t] должны были бы удовлетворять линейному соотношению.
§ 8.1. СМЕШАННЫЕ МОДЕЛИ В ДВУХФАКТОРНОМ АНАЛИЗЕ 311 распределена как статистика Т2 Хотеллинга, или как (/ - 1) (/ - 1) (/ - / + 1) ~lF,-u j-ш. (8.1.39) Мы, очевидно, должны предполагать / ^ /; таким образом, в нашем примере число рабочих в эксперименте не меньше числа станков. В условиях Q в силу (8.1.38) и (8.1.39) величина C(d-%)'A-Hd-%), (8.1.40) где С = /(/— /+!)/(/—1), имеет F-распределение с /—1 и / — / + 1 ст. св. При выводе этого распределения мы поль- пользовались тем, что / векторов (8.1.36) независимы и имеют одно и то же /^-мерное нормальное распределение. Вывод останется справедливым, если / векторов (ei/. ei/*) независимы и имеют одно и то же /^-мерное нормальное распределение; так будет, например, если вместо общей дисперсии ошибки а2е пред- предполагать различные для / станков дисперсии \р2е J. При гипотезе НА мы имеем 1 = 0, поэтому из (8.1.40) сле- следует, что статистика равна в этом случае F/_i, /_ж- ^-критерий для НА состоит в том, что мы отвергаем НА с уровнем значимости а, если g > Fa- /_i, i-i+\. Для фактического вычисления статистики 5 совершенно необязательно обращать (/? Х#) -матрицу А; вме- вместо этого мы можем воспользоваться формулой (V. 2) из при- приложения V которая требует только вычисления двух детерминантов по- порядка (RXR). Предыдущая форма Р-критерия кажется несимметричной, так как 1-я строка играет в нем особую роль. Однако нетрудно показать, что, используя вместо {dr = «/^»»—«/;»*} любой дру- другой базис в (/—1)-мерном пространстве, порожденном разно- разностями {«/,„ — #i',»}. мы приходим к тому же критерию*). Мощность этого критерия можно выразить в терминах не- нецентрального F-распределения. В силу (V. 6.7) в условиях Q статистика g распределена как F/_i. /_/+i; в» где 62 = /|Tj'| и (г, г')-й элемент Га равен Cov(drl, d/j) = %„• — xr[ — хгч + хц. *) Симметричную форму Р-статнстнкн (н определенный ниже параметр нецентральности б2) ввел Сюй; однако эта форма приводит к более громозд- громоздким вычислениям.
312 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ Из /^-распределения случайной величины (8.1.40) можно по- получить доверительный эллипсоид для ?, согласно которому с ве- вероятностью 1 —а С(%-d)Л-1 A -3)< Fa,,_,,,_,+!. (8.1.41) Центр эллипсоида находится в d. Этот эллипсоид существенно отличается от эллипсоида § 2.3, так как там форма и ориента- ориентация эллипсоида зависели от постоянной матрицы В и были фик- фиксированы, а здесь форма и ориентация эллипсоида зависят от случайной матрицы А и поэтому случайны. Однако мы все-таки можем воспользоваться приведенным в § 3.5 выводом метода множественного сравнения, используя доверительный эллипсоид не с фиксированными, а со случайными формой и ориентацией. Этот вывод основывался на том, что точка лежит внутри эл- эллипса тогда и только тогда, когда она лежит между любой парой параллельных опорных плоскостей; это обстоятельство остается справедливым и в нашем случае. Пусть а|) = X ciai — какое-либо сравнение {aj, так что i Xci = 0. Тогда имеет место также равенство ф = Хс;й*- i i Оценку для г|з можно записать как ^ = ^iciai или г{> = 2 CiVi**- i t i /-1 Мы можем записать также г|з = ? ct (аг — а;) = У с^ = А'|, 1 1 обозначая через h вектор (с\ c/_i)', на который не нала- налагается никаких условий. Применяя метод § 3.5 к эллипсоиду (8.1.41), мы находим, что с вероятностью 1— а одновременно при всех h i, (8.1.42) где через Fa обозначено Fa-i-i, j-i+i. Оценку ip можно предста- представить также в виде h'd; отсюда получаем D (ф) h'Vah—-J~xh'Tdh и с помощью (8.1.37) несмещенную оценку для D(ip) dJ = /(/-l)~1*'Aft. (8.1.43) Таким образом, (8.1.42) можно записать в виде | г|з — ^ где 52= C-lFaJ(J—\), или S» = (/-l)(/-l)(/-/+l)->fa.,_li/_7+1. (8.1.44) Итак, мы доказали, что вероятность того, что для всех / / / i \ сравнений ф = X см = 2 сгцг ( X ct = 0 1 одновременно вы- выполняются неравенства $ — Sa^ ^\|)^i|i -f Sa^, равна 1 —a,
§ 82. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОГ>НОМ АНАЛИЗЕ 313 если 5 задается формулой (8.1.44). Оценку w можно вычислять либо по формуле Е c{yitt, либо по формуле Е crdrn. Оценку Ь2. можно вычислять по формуле (8.1.43), используя квадра- квадратичную форму h'Ah с матрицей A = (arrj, определяемой (8.1.35), и вектором ft = (сь ..., C/_i)'; возможен также следующий спо- способ, не требующий вычисления {аГГ'} или {dr*}. Обозначим % оценку \|з, полученную из /-го столбца таблицы средних в ячейках {*/</*} Ф/ = ? сгуц.; тогда т$> = -ф^, а дф можно вычислить по формуле -ФJ. (8-1.45) которая представляет собой умноженную на /-' выборочную дисперсию {%}. Формулу (8.1.45) можно доказать, записав •ф/ = Е ct (уи» — у,,*) = Е Crdrl, i г ~ll2l2l crCr' (dri — dr*) (dr'j — dr'.) I r r' и суммируя последнее выражение сначала по /. В тех случаях, когда гипотеза НА отвергается по Р-критерию, в 5-критерии найдутся значимо отличающиеся от нуля сравнения, и наобо- наоборот; таким образом, когда по Г-критерию гипотеза НА отвер- отвергается, 5-метод можно использовать для нахождения таких сравнений. Если все вычисления для Г2-критерия гипотезы НА уже проведены, то с помощью (8.1.43) можно получить а\, по- видимому, быстрее, чем с помощью (8.1.45). § 8.2. Смешанные модели в многофакторном анализе В этом параграфе мы построим модели для двух примеров и дадим объяснения к ним; один из них относится к полному четырехфакторному анализу, а другой — к четырехфакторному анализу с пересекающимися и группированными факторами. Из этих примеров будет ясен путь построения уравнения мо- модели в любой данной схеме. Мы дадим также правила*), при- *) Эти правила заимствованы из книги Беннетта и Франклина (Bennett, Franklin, 1954, § 7.6).
314 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ менимые к общему сбалансированному плану, для определе- определения и вычисления S5, МE5) и их чисел ст. св. Эти правила основываются на уравнении модели. Далее мы проиллюстри- проиллюстрируем применение этих правил. В конце этого параграфа объ- объясняется, как использовать таблицу дисперсионного анализа, построенную по этим правилам, для построения F-критериев различных гипотез. Рассмотрим четырехфакторный анализ с двумя постоянными факторами А и В и с двумя случайными факторами С и D. Обозначим yuknq <?-e наблюдение в ячейке, для которой уровни факторов А, В, С и D равны соответственно i, /, k и п. Число Q наблюдений в одной ячейке может быть равно единице. Пред- Предположим, что Ijijknq = Ttlijkn + где ошибки {ецкпя} независимы, имеют нулевые средние и одну и ту же дисперсию о\, а также не зависят от истинных средних в ячейках {тцьп}- Мы приходим к разложению истинных средних в ячейках, которое приводит к уравнению модели В частных приложениях нам иногда приходится предполагать, что некоторые из взаимодействий (8.2.1) равны нулю. В (8.2.1) буквами ц и а обозначены постоянные, а буквами а — случай- случайные величины. Главный эффект или взаимодействие записы- записывается через а, если все факторы, являющиеся их индексами, постоянны; во всех других случаях мы пишем а. Для правил, которые будут даны несколько позднее, опре- определения 55 и т. п. необходимо выписать уравнение модели, но не требуются дополнительные условия, наложенные на эффек- эффекты. Индекс, обозначающий уровень фактора, нам будет удобно называть кратко «индексом фактора». Тогда дополнительные условия полного плана можно сформулировать следующим об- образом. Если а или а имеет индекс постоянного фактора, то сум- суммирование по этому фактору (в нашем примере по i или /) дает нуль при всех значениях других индексов (если они имеются). Таким образом, аА = аЛВ = аАВ = аАС = аАВС = aACD = aABCD = 0 И Т. Д. (8.2.2) при всех /, и k, п, но, вообще говоря, а^ ф 0, aff ф О, afsc ф о и т. д.
§ 8.2. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОРНОМ АНАЛИЗЕ 315 Все а имеют нулевые средние, т. е. М(а) = 0- Дисперсия а не зависит от индексов случайных факторов, но, вообще говоря, зависит от индексов постоянных факторов (если они есть); мы будем обозначать ее буквой а2 с индексами внизу, сначала теми (прописными), которые стоят при а вверху, а затем (строч- (строчными) индексами постоянных факторов, стоящими при а внизу (если они есть). Таким образом, DK) = 4> D«0 = a2Ci< при всех к, D {a°kn) = aCD ПРИ ВСеХ k> П< / при всех к, (8.2.3) ВСеХ *• «. D (атСп°) = a\BCD. И ПРИ ВСеХ *. Я И Т. Д. Мы здесь не будем выписывать ковариации для а. Они определяются*) с помощью функции m(i,j,u,v), которая вво- вводится ниже, и распределений 2Ри и 0>v индексов и и v. В формулы для М (SS) входят только а2 с индексами, обо- обозначающими факторы, а не уровни факторов. Если индексами являются только постоянные факторы, то а2 определяется обычным способом, а именно «А-(/-I)-1 $(«?>¦. 4 = (/-1Г1(/-1Г1^(«^J,ит.д. Выражения для а2, зависящих только от случайных факторов, уже были определены; так, а2с, a2CD даются формулами (8.2.3). Если имеются факторы обоих видов, то мы берем а2, опреде- определенные в (8.2.3) и зависящие от индексов постоянных факторов, суммируем их по каждому из этих индексов, деля каждый раз результат на число, равное наибольшему значению индекса без единицы; таким образом, олс = (/ - I) S о\с, и а\вс~ (/- I) (/ - I)"' Z ? о2АВС, ц, VACD = {I — 1) /LG = {1~ 1)"'(/— lr'ZZf&BCD, И И Т. Д. Рассмотрим в качестве второго примера эксперимент с че- четырьмя факторами, упомянутый в связи с E.3.10). В этом при- *) Они представляют собой линейные функции элементов трех матриц ковариации, а именно матриц ковариации // случайных величии {т((,/,«, v)}, tJ случайных величии {tn(i, /,«,.)} и // случайных величии {m{i, /,., v)}.
316 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ мере фактор А соответствует / режимам термообработки, а фак- фактор Р — N растворам, употребляемым при закалке; эти два фактора пересекаются. По каждой комбинации «режим термо- термообработки»— «раствор» группируются / «образцов», которые составляют фактор С. Фактор L, соответствующий К «местам» образцов, вполне пересекается с А, Р и С. В этом эксперименте «образцы» выбираются из большой популяции, так что С можно трактовать как случайный фактор. Чтобы иметь в этом примере другой случайный фактор, предположим, что состав «растворов» отличается друг от друга только случайными ко- колебаниями, возникающими от неконтролируемых причин; тогда фактор Р тоже можно считать случайным. Однако нас интере- интересуют индивидуально различные «режимы термообработки» и «места» образцов, поэтому факторы А и L мы считаем по- постоянными. Заменяя в E.3.10) на а те а, которые имеют среди индек- индексов случайные факторы, в данном случае, С и Р, мы можем формально получить уравнение модели (вывод которого дается чуть ниже) УЦНП, = I* + «? + «? + «?,, + «* + < + < + + С + «?&* + <t + ellknq. (8.2.4) Поскольку написание правильного уравнения модели, подоб- подобного (8.2.4), является наиболее важным моментом при исполь- использовании предлагаемых ниже правил, мы остановимся сейчас на том, как были получены члены выписанного выше уравнения. Уровни группированного фактора мы будем отмечать двумя или большим числом индексов. В настоящем случае / «образ- «образцов» группируются в каждой комбинации «режим — раствор», поэтому «образец» определяется тремя индексами: /-и образец в (/, га)-й комбинации «режим — раствор» обозначается /га/. В (8.2.4) главные эффекты факторов снабжены всеми теми индексами, которые необходимы для обозначения уровня соот- соответствующего фактора. Затем мы рассматриваем все двухфак- торные взаимодействия, указывая каждый раз индексы уровней обоих факторов. Для взаимодействия (А X С) такими индек- индексами должны быть i и inj. Однако влияние уровня с индексами /га/ уже учтено в afnj, поэтому мы исключаем слагаемое, пред- представляющее собой взаимодействие (Ау^С). Соответствующий член можно было бы включить либо в afnj, либо в af?,, либо записать каким-либо еще способом; однако в экспериментах подобного типа все эффекты с индексами /га/ неотличимы, по- поэтому мы собрали их в один член. Все это станет яснее ниже, когда мы будем вычислять эффекты этой модели. Рассуждая
§ 8.2. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОРНОМ АНАЛИЗЕ 317 аналогично, мы опускаем в (8.2.4) члены с индексами PC, АРС, ACL, PCL, APCL. Теперь мы рассмотрим дополнительные условия. Напомним, что даже в том случае, когда все факторы в E.3.10) постоянны, не все суммы по какому-либо индексу равны нулю. Например, суммы по i или п членов, содержащих индекс /, не равны нулю. Если мы назовем / «индексом группированного фактора» (уров- (уровни этого фактора обозначаются inj), то мы можем сформули- сформулировать следующее правило: суммы членов, содержащих индекс группированного фактора, не равны нулю, если суммирование производится по индексам тех факторов, по которым идет группировка. (Согласно вводимой ниже терминологии, мы мо- можем сказать, что суммы по «мертвым» индексам не равны нулю.) Кроме того, мы не имеем теперь дополнительных усло- условий*), связанных с суммами по случайным факторам (/ или п в нашем случае). Поэтому остаются только дополнительные условия < = «* = <р - < - < = С = «& = aZL = аЦ* = 0 (8.2.5) при всех i, /, k, n. Все а в (8.2.4) имеют нулевые средние. Дисперсии а не вависят от индексов случайных факторов, но, вообще говоря, зависят от индексов постоянных факторов: D (а?) = а2р при всех п, D (afnj) — а°с t при всех п, /, (8.2.6) D() всех "' ' и т- д- Формулы для М E5) содержат только выражения а2 без индек- индексов уровней факторов. Если определенное в (8.2.6) а2 имеет такие индексы (они будут обязательно индексами постоянных факторов), то мы избавляемся от них с помощью следующих формул: <?=(/-1Г'Е (О2, el = rlZol,(, i i -(/-lr1 (к-lr'ZZ («#)'. i k = rl(K—\)~lYjYJ^CL,tk И Т. Д. I k Коэффициенты в этих суммах представляют собой произведения числовых множителей, определяемых по индексам суммирова- суммирования следующим образом. *) Аналоги этих условий выполняются в популяциях, из которых взяты Шборки, но не в множестве членов, полученных в эксперименте.
318 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ Пусть индекс г фактора F меняется от I до R. Если F при- присутствует среди индексов а2, то этот числовой множитель равен (/? — I)-1; в остальных случаях он равен /?-'. Позднее мы уви- увидим, что этот коэффициент является обратным числом к числу ст. св. 5S с теми же индексами, что и а2. Мы предположим, как обычно, что ошибки {eijknq} в (8.2.4) независимы, имеют нулевые средние, одинаковые дисперсии а2 и не зависят от всех а. Мы не будем выписывать ковариации а; они определяются через введенные ниже функции m(i,u,v,k) и распределения !?и и !?v величин и и v. Читатель, интересующийся лишь правилами применения приближенных F-критериев для проверки обычных гипотез, может пропустить нижеследующую часть параграфа вплоть до пункта, озаглавленного «Определение и вычисление 55 и чисел степеней свободы». Возвратимся к нашему первому примеру. Мы придем к ток же самой модели полного четырехфакторного анализа, если представим себе, что К уровней С в эксперименте выбраны из некоторой популяции, N уровней О выбраны из другой популя- популяции, а уровни А и В не выбираются. Снабжая уровни в попу- популяциях факторов С и О индексами и и v, мы обозначим m(i,j,u,v) истинное среднее, соответствующее комбинации г-го уровня А, /-го уровня В, уровня и из популяции С и уровня v из популяции О. Индексы и и v случайны и независимы с рас- распределениями вероятностей &>„ и #V Истинные средние m(i,j,u,v) представляют собой // совместно распределенных случайных величин*). Обозначим ц = т(*, *, *, *), af = m(i, *, *, *) —т(*, *, *, *), ас(и) — т(*, *, и, *)—т(*, *, *, *), afu = ,n{i, i, *, *) — m(i, *, *, *) — — т(*, /, *, *) + т(*, *, *, *), afc (u) = m(i, *, и, *)—m(i, *, *, *)— — т(*. *, и, *) + т(*, *, *, *), (8.2.7) aCD(u, v) = m{*, *, и, v) — m(*, *, и, *)— — т(*, *, *, v) + m(*, *, *, *), affBC (и) = т (i, j, и, *) — т(*", /, *, *) — — m(i, *, и, *) —т(*. /, и, *) + тA, *, *, *) + + т(*, /, *, *) + т(*, *, и, *) — т{*, *, *, *) и т. д; *) Мы будем предполагать их дисперсии конечными, То же самое пред- предполагается в другом рассматриваемом примере четырехфакторного анализа.
§ 8.2. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОРНОМ АНАЛИЗЕ 319 здесь замена i нлн / на звездочку в m{i,j,u,v) означает усред- усреднение по i нлн / от 1 до / нлн / соответственно, а замена и илн v на звездочку означает переход к математическому ожи- ожиданию по и нли v относительно распределения $Ри нлн #V Таким образом, мы имеем т (i, и и, v) = ц + а? + af + ас (и) + aD (и) + af* + af (и) + + afD (v) + авс (и) + afD (о) + а™ (и, v) + af»c (и) + a$°D (о) + + atCD (и, v) + afCD (u,v) + а?°с° (и. v). (8.2.8) Из определения стоящих справа в (8.2.8) членов следует, что математическое ожидание каждого члена а равно нулю, а суммирование по i каждого члена, содержащего i, дает нуль при всех значениях остальных индексов /, и, о, от которых мо- может зависеть этот член; то же самое имеет место при суммиро- суммировании по /. Таким образом, прн всех i, /, и, v ал = af = a^s = aftB = а?с (и) = a™ (v) = afc (и) = a?° (v) = = С«С („) = аАВС („) в аАВС @) = aABD @) в аЖ1Д (ц> 0) = = afco (и, и) = aAfCD {и, v) = aftBCD (и, v) = 0. (8.2.9) Участвующие в эксперименте К уровней С и N уровней О рассматриваются как случайные выборки {пи ..., ик) н {v\,... ..., Vn} из соответствующих популяции уровней,т. е. {и\,..., ик) и {vi,...,vN} независимо распределены, {«*} согласно распре- распределению &и и {vn} согласно 9>v. Таким образом, истинное зна- значение тцкп наблюдения уцкщ равно rtiukn = tn (i, U щ, vn). Из (8.2.8) вытекает уравненне моделн (8.2.1), где а?-«с(«4). ^ = «°К), a% = af{uk), (8.2.10) a = a(UktVn) ит. д.; отсюда следует, что все а имеют нулевые средние. Дополни- Дополнительные условия (8.2.2) вытекают из (8.2.9). Равенство некото- некоторых дисперсии в (8.2.3) является следствием определения этих а в (8.2.10). Ковариацни величин а можно вычислить с по- помощью (8.2.10) н (8.2.7); далее, очевидны некоторые независи- независимости, например, af? не зависит от af?k9tD, если k^=k'. Построение модели, связанной с (8.2.4), во втором примере с четырьмя факторами А, Р, С, L производится следующим образом. Представим себе бесконечную популяцию «растворов», из которых выбирается N «растворов» для эксперимента; «рас-
320 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ творы» в популяции отмечаем индексом и, который имеет рас- распределение !?и; точно так же представляем себе бесконечную совокупность «образцов», из которой для эксперимента выбрано INJ «образцов»; «образцы» в популяции отмечаем индексом v, имеющим распределение 9>v. Если «образец» подвергается г-му «режиму термообработки» с «раствором» и, то истинный резуль- результат в k-м «месте» образца будем обозначать m(i,u,v,k). Нетрудно определить все возможные взаимодействия в попу- популяциях (даже те, которые совсем нельзя оценить в экспери- эксперименте рассматриваемого типа), а также найти способ вхожде- вхождения этих членов в уравнение модели (8.2.4). Мы определяем так же, как и в (8.2.7), 24 различных эффектов в популяциях A генеральное среднее, 4 главных эффекта, 6 двухфакторных взаимодействий и т. д.): \х = т(*, *, *, *), af = m(i, *, *, *) —т(*. *, *, *), ар(и) — т(*, и, *, *) —т(*, *, *, *), af(u) = m(i, и, *, *) — т (/, *, *, *) — (8.2.11) — т(*. и, *, *) + т(*, *, *, *), afpc {и, v) — m (i, и, v, *) — т (/, и, *, *) — т (г, *, v, *) — — т(*, и, v, *)-\-m(i, *, *, *) + т(*, и, *, *) -f + т (*, *, v, *) — т (•, •, •, •) и т. д. Из этих формул вытекает, что математическое ожидание лю- любого а равно нулю, а суммирование любого а или а по i или k дает нуль. Итак, мы получаем т{1, и, v, k) = ]x + af + ap(u) + a k f f + а% + аРС (и, v) + < (и) + ackL (v) + afpc (и, v) + а^ (и) + + af?L (v) + aPCL (и, v) + afPCL (и, v). (8.2.12) Положим, что {u\,...,Un} являются iV индексами «раство- «растворов», участвующих в эксперименте, так что {м„} независимо распределены по &и. Обозначим о,-„/ индекс /-го «образца», под- подвергнутого j-му «режиму термообработки» с «раствором» л; INJ величин {vini) независимо распределены по ?PD. Если сред- средние значения наблюдений уцкпц обозначать ты/к, полагая tjijknq = tTlinjk + eijknq, (8.2.13) то triinjk равно выражению (8.2.12), если заменить в нем и на «л и и на Ущ. Если мы подставим это выражение для тщк
§ 8.2. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОРПОМ АНАЛИЗЕ 321 в (8.2.13) и обозначим nAPL _ nAPL (и \ "ink ~aik («„)• «ft* - <L K/) + <4CL K/) + <CL К vi«>) + a?>PCL К vim), то мы получим. (8.2.4). Легко видеть, что все выражения для а в (8.2.14) имеют нулевые математические ожидания. Из послед- последних двух равенств (8.2.14) и выражений (8.2.11) вытекает acini = m(i, un, v(nl*)-m(i, un, *, •), а% = тЦ> «»» vinr k)-m(i, un, vinl, *)-m(i, un, *, k) + + m(i, un, *, *). (8.2.15) Из этого выражения для а^п1 вытекает, что при каждом i каж- каждый из JN эффектов ас1п, распределен так же, как m{i, и, у,») — —m(i,u,*,*). Обозначим их общую дисперсию а2с г Аналогично проверяются остальные утверждения (8.2.6) о равенстве неко- некоторых дисперсий. Дополнительные условия (8.2.5) вытекают из (8.2.14) и (8.2.11) или из (8.2.15) и (8.2.11). Определение и вычисление 5S и чисел степеней свободы Рассмотрим теперь смешанные модели с любым количеством факторов. Все наши правила будут основаны на уравнении модели той задачи, которую надлежит решить. Мы уже указы- указывали, как его найти. Если предположить, что все взаимодей- взаимодействия какого-либо рода равны нулю, например все (ЛХ^Х^-)- взаимодействия в (8.2.1) или все (Л X С)-взаимодействия в (8.2.4), то соответствующие члены в уравнении модели можно опустить, а соответствующие 55 не вычислять; S5 ошибок получается тогда, если вычесть из полного 55 (относительно общего среднего) вычисленные 55, по одному 55 для каждого члена уравнения модели, за исключением ц. Когда дисперсия а2 с соответствующими индексами (в наших примерах а\с или ст^) появляется в МE5), ее вычеркивают. Можно действовать иначе, сохраняя в уравнении модели все члены, вычисляя все 55 и включая в 55 ошибок те 55, которые соответствуют рав- равным нулю взаимодействиям; если соответствующие а2 появ- появляются в МE5), то мы полагаем их равными нулю. В обоих случаях для каждого члена (за исключением \х) принятого, уравнения модели вычисляется 55. 1 I Г. ШеЛАе
322 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ Напоминаем читателю, что под «индексом» группированного фактора мы понимаем единственный символ, определяющий уровень фактора внутри группы, а не полное множество сим- символов, определяющих уровень фактора. (Индексом С в (8.2.4) является /; его уровень имеет индекс inj). Определение и вычисление некоторого SS,числа его степеней свободы, его М {SS), можно производить, пользуясь обозначе- обозначением соответствующего члена в уравнении модели, который мы будем называть ключевым членом. Так, для (СХ ?)-взаимо- действия в условиях уравнения модели (8.2.4) ключевым чле- членом будет flf^ft. При вычислениях, связанных с выбранным ключевым членом, удобно разделить индексы на реальные, мертвые и отсутствующие. Реальными мы назовем те индексы, обозначение факторов которых является индексом ключевого члена: мертвыми назовем остальные индексы (если они есть), а отсутствующими назовем индексы, которые не содержатся в ключевом члене (но имеются в левой части уравнения мо- модели). Пределы изменения индексов также будем называть реальными пределами, мертвыми пределами и отсутствующими пределами. Таким образом, реальными индексы и пределы называются тогда, когда соответствующие факторы входят в обозначение взаимодействия или главного эффекта, мерт- мертвыми— когда по их факторам происходит группировка, и отсут- отсутствующими, если они принадлежат остальным факторам. В при- примере с ключевым членом a^jk и наблюдением ytjknq реальными индексами будут ] м k (они соответствуют С и L), мертвыми индексами будут i и п, отсутствующими — q\ реальными преде- пределами будут / и К, мертвыми пределами — / и N, отсутствую- отсутствующим пределом — Q. Ключевым членом главного эффекта Р будет арп; в этом случае п будет реальным индексом, i, j, k, q — отсутствующими (мертвых индексов нет). Правила для вычисления 55 и чисел степеней свободы фор- формально можно описать следующим образом. Выпишем соответ- соответствующее ключевому члену SS символическое произведение следующих сомножителей: каждому индексу соответствует со- сомножитель; за сомножитель мы принимаем индекс, если он мертвый, и индекс без единицы, если он реальный; затем рас- раскрываем скобки в этом произведении. Мы называем это произ- произведение символическим, поскольку в нем ни один из индексов не заменяется своим численным значением. Для (С X ^) -взаи- -взаимодействия в предыдущем примере с ключевым членом а^Ьк символическое произведение равно /я (/ — 1) (А — 1) = injk — inj — ink + in. (8.2.16)
§ 8.2. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОРНОМ АНАЛИЗЕ 323 При определении SS в квадрат возводятся выражения, соот- соответствующие построенному символическому произведению. В это выражение входит член ±у с индексами, входящими в соответствующий член произведения; недостающие индексы заменяются точками A в символическом произведении соот- соответствует ±у с одними звездочками). Знак ± совпадает со знаком перед соответствующим членом произведения. В рас- рассматриваемом примере символическое произведение (8.2.16) приводит к следующему выражению: уцнп* — уц*п% — (//**«* + -\-yi»*n*- Это выражение возводится в квадрат, суммируется по всем индексам, присутствующим в ключевом члене, и множится на отсутствующие пределы; таким образом получается 55. В настоящем примере мы получаем SSCL = Е Е Е Е i I k n Удобную для вычисления форму SS можно получить анало- аналогичным образом из символического произведения; в этом случае знак ± ставится уже перед суммой величин у2 с индексами, образованными по предыдущему правилу, причем суммирова- суммирование производится только по присутствующим в у2 индексам, а затем сумма домножается на пределы индексов, которые заменены на звездочки. Так, в предыдущем примере мы полу- получаем ZZZZy^QZZZ qEEE^. + qEE^. Одни и те же суммы обычно появляются при вычислении не- нескольких SS. Символическое произведение, связывающее ключевой член с SS, дает нам также и число степеней свободы. Мы получаем число степеней свободы, если заменим в символическом произ- произведении индексы на их пределы. В нашем примере с символи- символическим произведением (8.2.16) число ст. св. равно 1N(J— l)(K— 1). Мы уже говорили о том, что SS ошибок получается путем соответствующего вычитания из полного SS относительно об- общего среднего или, если в каждой ячейке имеется больше одного наблюдения, относительно средних по ячейкам. (В по- последнем случае мы потом включаем в SS ошибок все SS тех взаимодействий, которые мы полагаем равными нулю.) Для уравнения модели (8.2.4) SS ошибок будет равна I! Е Е Е Е (#(/*„, — Уцкп*Т>ес:пи Я>1- Мы можем связать И*
324 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ это с символическим произведением ijkn (q—])= ijknq — ijkn, (8.2.17) которое соответствует ключевому члену, записанному в виде aBijknq (вместо eljkn^, если через Е обозначить «фактор» «ошибки» или «повторения», a q — его индекс. Если SS ошибок образуется с помощью вычитания, то и число степеней свободы образуется таким же образом. Если SS ошибок образуется из SS по ячейкам, то число ст. св. равно числу ячеек, умножен- умноженному на число наблюдений в ячейке без единицы; в нашем при- примере это число равно IJKN(Q— 1), что соответствует символи- символическому произведению (8.2.17). Математические ожидания средних квадратов Для заполнения столбца M(SS) в таблице дисперсионного анализа построим сначала вспомогательную таблицу*), столб- столбцы которой озаглавлены членами уравнения модели (за исклю- исключением генерального среднего и члена-ошибки), а строки — используемыми индексами. Таким образом, вспомогательная таблица 8.2.1 для модели (8.2.4) имеет девять столбцов, оза- озаглавленных k, n, q. of, a: yAPL aink> и пять строк, озаглавленных i, j, Таблица 8.2.1. Вспомогательная таблица для вычисления коэффициентов в формулах М (SS) для моделя (8.2.4) i i k n q д ai 0 j к N Q p an I J К 1 Q ainl 1 1 К 1 Q L ak I J 0 N Q nAP ain 0 J к 1 Q AL aik 0 J 0 N Q PL ank I J 0 1 Q nCL ainik 1 1 0 1 Q nAPL aink 0 J 0 1 Q Таблицу можно быстро заполнить следующим образом. Прежде всего мы вспомним, а может быть, даже выпишем, *) Этот метод дан в книге Беннетта и Франклина (Bennett, Franklin, 1954, стр. 414) (с заменой строк столбцами и наоборот), где он применяется к «Модели III», включающей в себя как предельный случай все модели, рас- рассматриваемые здесь. Хотя метод Беннетта и Франклина правилен, их вывод некорректен. Некоторое указание на способ вывода дано Уилком н Кемптор- ном (Wilk, Kempthorne, 1955). Другая формулировка этих правил с намет- наметками доказательств дана Корнфилдом и Тьюки (Cornfield, Tukey, 1956, стр. 932).
§ 8.2. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОРНОМ АНАЛИЗЕ 325 какие из факторов постоянны и каковы их индексы; в нашем примере это А и i, L и k. Мы начинаем составление таблицы, частично заполняя столбцы. В заголовке каждого столбца мы интересуемся, является ли какой-нибудь верхний индекс посто- постоянным фактором; если да, то мы ставим 0 в строке с соответ- соответствующими индексами (т. е. с реальными индексами постоян- постоянных факторов); в строках, озаглавленных другими индексами, входящими в заголовок столбца (если такие есть), мы ставим 1. Таким образом, в столбце, озаглавленном a^jk, верхний индекс L является постоянным фактором, которому соответствует ниж- нижний индекс k\ поэтому в строке k мы ставим 0, а в строках, соответствующих другим нижним индексам, а именно i, n, /, мы ставим 1. После того, как во всех столбцах будут заполнены места по этому правилу, мы заполняем всю таблицу по стро- строкам, ставя на пустые места пределы тех индексов, которыми озаглавлены соответствующие строки. Каждому столбцу вспомогательной таблицы соответствует а2, нижние индексы которого равны верхним индексам заго- заголовка столбца; так, столбцу, озаглавленному af?, соответствует о2АР. Для каждой SS M(SS) представляет собой линейную комбинацию а\ с коэффициентом 1 и других а2, соответствую- соответствующих стоблцам с заголовками, в нижние индексы которых вхо- входят все нижние индексы ключевого члена SS с коэффициентами (некоторые из которых равны нулю), образованными из этих столбцов указанным ниже способом. В нашем примере для SSp с ключевым членом а% М (SSP) зависит, кроме а2, также от а2, ас> °ар> °pl> ®cl и aAPL> М (SSC) зависит от а2с, a2CL и а2; М (SSAL) зависит от а\А, a2CL, a2APL_^ o\. Коэффициенты в М {SS) при дисперсиях а2, отличных от а2е, равны произведению элементов, стоящих в соответствующих столбцах на строках, озаглавленных отсутствующими индек- индексами (для SS, для которой вычисляется M(SS)). Другими сло- словами, рассмотрим ключевой член суммы SS и представим себе, что строки с индексами, присутствующими в этом ключевом члене, вычеркнуты*), тогда коэффициент при каждом а2 равен произведению оставшихся чисел в соответствующих столбцах. Продолжая рассматривать наш пример, найдем коэффициенты при а2, а2с, а2АР, dpL, a2CL и a2ApL в M(SSP). Заметив, что ниж- нижним индексом ключевого члена является п, представим себе, что строка с индексом п вычеркнута; перемножим оставшиеся *) На практике это легко можно осуществить, закрывая эти строки ка- карандашами или узкими полосками бумаги.
326 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ оо, v X ж V я I 'а а обо а о л X 0J с 0J н и to to 1) к к A1 ВЫЧИСЛ1 со со 0J S к о ч е* а к Q ник )СИИ о g о ° 5 q 1 1 * **» см * * а? 1 1 * # СУ tN ft) СУ «^ «9, to СУ 1 * мЛ " СУ * а-. 1 1 # * I о о. to _|_ СУ ] 1 ^, # СМ -^ <г*Н СУ « га | * -S- О "У мо,™Ь СУ + СУ + 1 * 4 ^ о а-. # СУ ¦-> V СУ "С 0, to СУ 1 ,—. 1 1 * * г^ СУ ^ч]е й-1 | СУ 1 5 ^ 1 1 "i : : : &> &Г + i » '. ! * ^ W- о ¦-, X
§ 8.2 СМЕШАННЫЕ МОДЕЛИ В МНОГОФЛКТОРНОМ АНАЛИЗЕ 327 +1 + <§. СУ СУ + + + чо о о- * II # СЧ * 1 i сЛ W- СУ 1 * * CM *~* a> w- СУ • --, 1 * * ** JNQ] 7 1 # CM # w- СУ 1 * Wj СУ ! ^ ' 1 1 1 # a CN № t a> Г-Лн 1 * * СУ 1 ¦¦s. w* Г I- W« СУ 1 a &> . We СУ 1 + * a> W1 WJ СУ "-. 1 a> :w- ' СУ « 1 T II If W* H-« W.. fe: ? W- СУ XXX •4 Q, <J
Источник дисиерснн АХРХС Ошибки «Полная» сумма квадратов Определение SS 'Q 2j 2j Lu {yitknt ~ Vi*k*t ~ ink + ylZ + y*.S-y»ZJ V V V V V / \2 Lu Lj Zu Zj 2~i \У ilknq ~ УЦкп*) i j ft n q Z Z Z Z Z (yuknq - y.»..J i 1 к п q Вычисление SS ( n k i ft i n ft n i ft + IJKQ Z У1*п* - n V V V V V 2 2-i lu 2-i 2-i Z^y ilknq ~~ ilknq i 1 k n Z Z Z Z Z У ilknq ~ ilknq Таблн Степень свободы Ci-.)(»-.)«-.) UKN (Q - 1) UKNQ - 1 ц а 8.2.2 (продолжение) M (SS) 2 2 2 "I ra E E ra О J3 ra
§ 8.2. СМЕШАННЫЕ МОДЕЛИ В МНОГОФАКТОРНОМ АНАЛИЗЕ 329 элементы в столбцах. В столбце, соответствующем ар, мы нахо- находим произведение IJKQ, которое, таким образом, дает коэффи- коэффициент при ар; в столбце, соответствующем а2с, произведение равно KQ — оно также дает коэффициент при а2с; при а2Ар коэффициентом будет 0-JKQ = 0 и т. д. Все эти результаты собраны в таблице 8.2.2. Для вычисления M(SSc) мы вычеркиваем строки i, n, /, для M(SS4p) — строки i и п и т. д. Конечно, всегда M(SSg) = cr;. Теперь мы предлагаем читателю выписать, не обращаясь к (8.2.4), уравнение модели с четырьмя факторами А, Р, С, L в ситуации, рассматриваемой нами до сих пор (с индексами i, п, /, k соответственно и с индексом ошибок q), в которой С группируется по (ЛХ^3), L пересекается со всеми факторами, факторы А и L постоянны, а факторы Р и С — случайны. Сверив результат с (8.2.4), читатель должен построить вспомогатель- вспомогательную для вычисления M(SS) таблицу и сравнить ее с таблицей 8.2.1. Затем читателю предлагается построить таблицу диспер- дисперсионного анализа со столбцами: «источники дисперсии», «опре- «определение SS», «вычисление SS», «степени свободы» и «M(SS)>>, и сравнить ее с таблицей 8.2.2. Столбец M(SS), заполненный указанным способом, позво- позволяет нам применять ^-критерии, вообще говоря, приближенные даже в предположении нормальности. Для проверки гипотезы, соответствующей какой-либо строке таблицы (за исключением строки ошибок), в качестве числителя берем средний квадрат этой строки, а в знаменатель помещаем такой средний квадрат, который имеет при нашей гипотезе то же самое M(SS). Если такого среднего квадрата нет, то он заменяется линейной ком- комбинацией нескольких SS, математическое ожидание которой равно M(SS) числителя при нашей гипотезе. Мы приписываем этой линейной комбинации число ст. св., вычисленное по методу, указанному в конце § 7.5. Применяя этот метод, мы считаем средние квадраты SS независимыми, а каждый_55 распреде- распределенным как величина %2, умноженная на M(SS) и деленная на число ст. св. На самом деле независимость и х2'РаспРе" деление могут и не иметь места без дополнительных огра- ограничений. Если среди факторов имеется только один случайный, то для главных эффектов постоянных факторов можно построить точные критерии, основанные на статистике Т2 Хотеллинга. Если число уровней случайного фактора, например В, равно /, а число уровней одного из постоянных факторов, например А, равно / (/^/), то для анализа главных эффектов А с
330 ГЛ. 8. СМЕШАННЫЕ МОДЕЛИ помощью Т2 мы составляем таблицу (R~X,J) разностей где R = /— I, а уц равно среднему всех наблюдений с i-м уров- уровнем А и /-м уровнем В. Анализ далее идет по схеме, которая изложена ниже формулы (8.1.34а), если заменить там {г/,/,} на {jjij}, а {а,} обозначать главные эффекты А. Однако, если в сме- смешанной модели случайны по крайней мере два фактора, то кри- критерий Хотеллинга Т2 приводит к столь громоздким вычислениям, что вряд ли его можно применять на практике *). Модификация изложенных правил вычисления M(SS) в слу- случае, когда ошибки не имеют одинаковой дисперсии о*е, приво- приводится в начале § 10.4. ЗАДАЧИ 8.1. В таблице А приведены данные, характеризующие скорость истече- истечения топлива из сопел трех типов; измерения произзодились пятью операто- операторами, каждый из которых произвел по три наблюдения на каждом сопле. а) Проанализируйте эти данные с точки зрения смешанной модели § 8.1. б) Значимо ли различаются сопла, если анализ провести на основе мо- модели с постоянными факторами? Сопло А В С i 6, 6, —15 13, 6, 13 10, 10,-11 Та 26, 4, -35, бл 2 12 4, 0, и ц а , 5 11 -14 А*). 11 17, Оператор 3 , 4, 10, 11,-10, 4 17 -17 21, -5, 12, - 4 14, 2, -2, 7 — 16 25, 15, -4, 5 18, 8, ю, 25 1 24 *) Заимствовано из Fundamentals of Analysis of Variance, часть I, C. R. Hick, Indust- Industrial Quality Control, т. 13, 2, 1956, таблица IV, стр. 19. в) Если ответ на задачу б) отличен от соответствующего ответа зада- задачи а), то дайте интуитивное объяснение, почему разности, значимо отличаю- отличающиеся от нуля в одной модели, не отличаются от нуля в другой. 8.2. В таблице Б даны измерения водонепроницаемости (равные логариф- логарифмам проницаемости, измеренной в секундах; чем больше измеренное число, тем выше водонепроницаемость) листов некоторого материала, изготовлен- изготовленного на трех разных станках в течение девяти различных дней. а) Проверьте с уровнем значимости 0,05 каждую из гипотез НА, Нв, Нав, обозначая через А станки, через В — дни и применяя смешанную мо- модель § 8.1. б) Вычислите точечные оценки всех параметров этой модели (включая три коэффициента корреляции Оц,, (<^ ) р « '"). *) Имхоф (Imhof, 1958) нашел точный критерий и метод множественных сравнений, основанный на Т2 в случае полного трехфакторного анализа с двумя случайными факторами и одним постоянным.
ЗАДАЧИ Таблица Б*) 331 Станок 1 2 3 1 1,40 1,35 ,62 1,31 1,63 1,41 1,93 ,40 2 1,45 1,57 1,82 1,24 1,18 1,52 1,43 1,86 3 1,91 1,48 1,89 1,51 1,58 1,65 1,38 1,36 4 ,89 143 1,39 ,67 ,37 ,П ,72 1,37 5 К77 1,73 1,54 1,23 1,40 1,53 1,32 1,34 6 1,66 1,54 1,68 1,40 1,45 1,63 1,63 1,36 7 1,92 1,93 2,13 1,23 1,51 1,44 1,33 1,38 8 1,84 1,79 2,04 1,58 1,63 1,28 1,69 1,80 9 1,54 1,43 1,70 1,64 1,07 1,38 1,70 1,84 *) Заимствовано из таблицы 32, стр. 402, книги Хальда «Математическая статистика с техническими приложениями», ИЛ, 1956. в) Примените к разностям между тремя парами станков 5-метод. 8.3. а) Заполните столбец M(SS) в задаче 5.8. б) Затем постройте (приближенные) F-критерии. в) По шести средним значениям для различных расстояний найдите при- мую линию, пользуясь методом наименьших квадратов. г) Найдите для наклона прямой в в) 95-процентный доверительный ин- интервал. 8.4. Для изучения влияния М различных условий содержания цыплят проводят эксперимент, в котором из / пород цыплят выбирают по / групп, а из каждой группы по К петухов. Из потомства каждого из этих IJK. пету- петухов выбирается по MN цыплят, и в каждом из М условий содержат /V из этих цыплят. Составьте уравнение модели и постройте таблицу дисперсион- дисперсионного анализа, аналогичную таблице 8.2.2, для этой схемы. 8.5. Следующая задача рассматривается в §§ 8.23—8.26 книги Дэвиса (Davies, 1956). Для того чтобы исследовать устойчивость к коррозии / алю- алюминиевых сплавов (фактор А) в атмосфере химического завода, в каждом из / выделенных мест (фактор Б) завода помещено на год по одной пла- стиике каждого из / сплавов. Затем каждая пластинка оценивается каждым из К наблюдателей (фактор С). Мы условимся первоначально считать все три фактора постоянными; и частности, девять сплавов не являются выбор- выборкой из популяции сплавов. Однако мы можем ожидать, что имеется некото- некоторая изменчивость среди пластинок, изготовленных из одного и того же сплава, и, возможно, также среди различных частей одного и того же места (расположения пластинок). Чтобы все это учесть, добазьте к уравнению мо- модели с постоянными факторами случайные эффекты af, и пц и предполо- предположите, что эти эффекты независимы, имеют нулевые средние и D (afj) = оА и D(afy) = 5g. Покажите, что для получения M(SS) надо к каждой из фор- формул M(SS,,), M(SSB) и М (SSab) модели с постоянными факторами добавить 2\
Глава 9 РАНДОМИЗИРОВАННЫЕ МОДЕЛИ § 9.1. Случайные блоки. Оценки В рассматривавшихся до сих пор моделях мы предполагали, что ошибки наблюдений статистически независимы и имеют одинаковые дисперсии или же известную (может быть с точ- точностью до скалярного множителя) ковариационную матрицу (§ 1.5). В этой главе мы изучим модели, не налагая на ошибки ограничений такого рода. Такие рандомизированные модели *) будут построены для случайных блоков и планов с латинскими квадратами; сначала мы разберем вопрос об оценках в этих моделях, а затем проверку гипотез; последнее потребует введе- введения понятия перестановочного критерия. Читатель, вероятно, уже знаком с каким-нибудь нематематическим изложением (хотя бы с изложением в § 4.2), из которого нетрудно сделать вывод о том, что рандомизация позволяет избежать тех труд- трудностей, которые возникают при нарушении обычных предполо- предположений в нормальной теории. Точное описание рандомизирован- рандомизированных моделей по необходимости получается очень подробным; это подробное описание моделей, а также последующее их изу- изучение может показаться слишком громоздкими для тех стати- статистических выводов, к которым они приводят. Тем не менее автор считает полезным попытаться дать подробное изложение этих двух планов; с одной стороны, это изложение даст хотя бы частичное обоснование тех обобщений, с нестрогими выво- выводами которых читатель может быть знаком, и, с другой сто- •) Рандомизированные модели были введены Нейманом сначала (Ney- man, 1923) для полных рандомизированных планов, а затем (Neyman, 1935) для рандомизированных блоков, Велчем (Welch, 1937) и Питманом (Pitman, 1937) для латинских квадратов (при некоторой нулевой гипотезе), а Кемп- торном (Kempthorne, 1952, 1955) и Уилком (Wilk, 1955)—для многих других планов. Только Нейман (Neyman, 1935) и Уилк (Wilk, 1955) учитывали тех- технические ошибки, предполагая, что они имеют нулевые корреляции и одина- одинаковые дисперсии.
§ 9.1. СЛУЧАЙНЫЕ БЛОКИ. ОЦЕНКИ 333 роны, понимание природы распределения ошибок, порожденных механизмом рандомизации, должно быть частью нашего знания основной теории дисперсионного анализа. Читателю будет полезно вновь прочесть пункты в конце § 4.2, озаглавленные «План случайных блоков» и «Рандоми- «Рандомизация». Предположим, что / «совокупностей условий» сравниваются на // экспериментальных объектах (на сельскохозяйственных делянках, экспериментальных животных и т. д.), причем эти // объекта группируются в / блоков, по / объектов каждый. В каждом из этих блоков / «совокупностей условий» случайным образом ставятся в соответствие / объектам, независимо друг от друга в.каждом из / блоков, так что каждое из (/!)' соот- соответствий с одинаковой вероятностью может быть использовано в опыте. В каждом блоке экспериментальные объекты будем нумеровать v = 1, 2, ..., /. Пусть ц,;у означает «истинный» результат t-й «совокупности условий» на объекте (/, v) (т. е. на v-м объекте /-го блока); эта величина будет нами рассматри- рассматриваться как математическое ожидание результата, если j-я «со- «совокупность условий» применяется на объекте (/, v). Мы можем написать H//V = Ц + а« + Р/+ Y«/+ ei/v, (9.1.1) где генеральное среднее ц, главные эффекты «совокупностей условий» {а,}, главные эффекты блока {Р/}, взаимодействия «совокупность условий» — «блок» {yij} определяются в терми- терминах {ц«7*} так же, как они определяются в терминах {tj,/} в D.1.9); следовательно, они удовлетворяют обычным допол- дополнительным условиям, a 8,/v определяется как e>/v = fii/v — М-»/*- (9-1 -2) Заметим, что величины генерального среднего ц, = ц*** и глав- главных эффектрв «совокупности условий» {сс< = щ** — р] не зави- зависят от того, как разбиваются на блоки // экспериментальных объектов (по / объектов в каждом), так как они являются сред- средними по всем // объектам. Заметим также, что {e;/v} удовле- удовлетворяют равенству Eei/v = 0 (9.1.3) при всех t, /. (Все суммирования по v, v' ведутся от 1 до /.) Величина e,/v будет называться ошибкой объекта; это есть эф- эффект объекта (/, v) при /-й «совокупности условий» в }-м блоке. В умозрительном эксперименте, состоящем из последова- последовательности повторений одних и тех же условий (фактически это
334 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ бывает иногда невозможно), наблюденные результаты y,yv на объекте (/, v) при i-й «совокупности условий» будут отличаться от умозрительного «истинного» результата p.l7v на объекте (/, v) при i-й «совокупности условий» в любом частном испытании на техническую ошибку e,-,-v = yijv — ^,/v; eijv рассматривается как случайная величина с M(eilv) = 0, (9.1.4) так как по определению |a,/v есть математическое ожидание y,-,v. Техническую ошибку вф нужно отличать от ошибки объекта 8//v. Ошибка объекта есть константа, равная разности истин- истинного результата fi//v на объекте (/, v) при i-й «совокупности условий» и среднего истинного результата ц,7 объектов /-го блока при t-й «совокупности условий». Техническая ошибка ецк является случайной величиной, равной разности наблюденного результата j/,/v и его истинного среднего \ц,\. Ошибка объекта появляется потому, что истинные результаты на различных объектах одного и того же блока / при одной и той же «сово- «совокупности условий» i не равны друг другу; техническая ошибка является ошибкой измерения, равной разности между резуль- результатом наблюдения и соответствующим истинным значением, ошибкой, причина которой кроется в измерительном инстру- инструменте или наблюдателе. Рандомизация, ставящая в соответствие «совокупность условий» объектам, производится независимо от технических ошибок {ецх}. Если уц обозначает наблюдение в i-й «совокупности усло- условий» и /-м блоке, то*) УН = И + «г + Р/ + У И + ёи + ец; (9.1.5) ёц и ец равны соответственно e//v и e«vv, где v = v(i,/) — индекс, обозначающий объект в /-м блоке, которому поставлена в соот- соответствие t-я ситуация. Мы будем называть {ёц} так же, как и {etjv}, ошибками объектов, а {е,у} так же, как и {e,/v}—тех- {e,/v}—техническими ошибками. *) Попытка классифицировать рандомизированные модели на модели с постоянными случайными факторами и на смешанные модели представляет академический интерес. В самом деле, если мы воспользуемся обозначениями (9.1.5), то нам покажется, что мы имеет дело с моделью с постоянными факторами, так как все члены в (9.1.5), кроме членов ошибок, являются константами. Однако если мы определим наблюдение г, как наблюдение на объекте (/, v), то нам покажется, что мы имеем дело со смешанной моделью, так как z/v = ц + a/v + р, + c/v + f/v + //v. где {f/v) и {//v} - члены оши- ошибок, a. = 2_, dijvai и т- д-> а {di]v} — введенные ниже случайные величины. I
§ 9.1. СЛУЧАЙНЫЕ БЛОКИ. ОЦЕНКИ 335 Мы можем записать ошибку объекта ёц и техническую ошибку ец в следующем удобном виде *): ец = Z dijvsiiv, (9.1.6) V T (9.1.7) где определенные в (9.1.2) {e,,v} рассматриваются как неиз- неизвестные константы, a- {d,-,v} представляют собой Р] случайных величин, принимающих только значения 0 и 1. Случайная вели- величина di,v принимает значение 1, если г'-я ситуация поставлена в соответствие объекту (/, v); в остальных случаях она равна 0. Совместное распределение {dijv} полностью определяется **) описанной выше рандомизацией и не зависит от распределе- распределения {eijv}. Нам понадобятся первые и вторые моменты {ditv}. Если слу- случайная величина X принимает только значения 0 и 1, то М(Х)=Р{Х= 1}, поэтому М (dilv) = P{diiv = 1} = 1//, (9.1.8) так как все / «совокупностей условий» с одной и той же ве- вероятностью ставятся в соответствие объекту (/,v), и вероят- вероятность соответствия г-го объекта равна 1/7. Так как при / ф /' рандомизации в /-м и /'-м блоках незави- независимы, то dljv и d[i\' независимы и M(dd) AФГ) Чтобы вычислить М {dijydi'jv'), заметим, что rfj/vdr/v' = 0 или 1, поэтому М (d^dt'is) = P {dihdnv =1} = P {dih = 1, dw = 1}, или М (di!vdilV) = P{di-!v = 11 dilv =» 1} P{dl]y = 1}. (9.1.9) Обозначим временно Р написанную выше условную вероятность соответствия t'-й «совокупности условий» объекту (/, v') при *) Заимствовано из книги Кемпторна (Kempthorne, 1952). **) Это распределение можно представить себе следующим образом. Для различных / / множеств, содержащих по Л случайных величин {rf(-;v}. неза- независимы. При фиксированном / элементы множества {^цЛ можно предста- представить расписанными в квадрате (^Х0> на (~й строке и в v-м столбце кото- которого помещено d... Всего имеется /! квадратов, в каждой строке и в каж- каждом столбце которых имеется ровно по одной единице; каждый из этих /I квадратов берется с одинаковой вероятностью.
336 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ условии, что t-я «совокупность условий» поставлена в соответ- соответствие объекту (/,v). Легко найти, что 1, о, о, (/_ I)-1. если если если если V ~~- V V — v' v ф v', V =^= v', I i i i = 1', Ф1', ^ » Последнее значение вероятности следует из того факта, что если г-я «совокупность условий» поставлена в соответствие v-му объекту в /-м блоке, то i'-я «совокупность условий» не может быть поставлена в соответствие тому же объекту, поэтому она с одной и той же вероятностью ставится в соответствие любому из оставшихся /—1 объектов в блоке. Подставляя (9.1.10) и (9.1.8) в (9.1.9), получаем M Г / !6VV', если i = i', lt4dtW) = \ , , (9.1.11) (. / (/—1) A—6VV'), если 1ф1г, где 6VV' равно 1, если v = v', и 0 в противном случае. Из (9.1.6), (9.1.3) и (9.1.8) мы получаем М(ё//) = 0, (9.1.12) из (9.1.7), независимости двух множеств {dilv} и {вцх} и из (9.1.4) мы получаем М(е(,) = 0. (9.1.13) Если 1|з== Y,cfti — какое-нибудь сравнение главных эффектов i «совокупности условий» (Хс( = 0), то его несмещенная оценка равна ijj= ? ci#,*> так как из (9.1.5), (9.1.12) и (9.1.13) мы имеем М (уи) = ц + а/. Используя вычисленные моменты {dil4}, нетрудно получить выражение для D(ip) (это выражение имеет сложный вид и зависит от {e,yv}) и дисперсий и ковариаций {fii/v}. Чтобы найти несмещенную оценку для D(-ф), надо при- принять дополнительные упрощающие предположения*). Однако если мы предположим, что технические ошибки в разных бло- блоках независимы, то с помощью ^следующего приема можно получить верхнюю оценку. Мы оцениваем гр отдельно по каж- каждому блоку с помощью %= ? г С(У" *) Такие же, как ниже в пункте, озаглавленном «Эффективность случай- случайных блоков».
§ 0.1. СЛУЧАЙНЫЕ БЛОКИ. ОЦЕНКИ 337 (мы увидим, что эти оценки смещены на величины kj, опреде- определенные ниже). Выборочная дисперсия этих / оценок ^ = (/ — I) S (¦/ — «ФЛ8 (9.1.14) дает верхнюю оцеку D(tp) в том смысле, что М (s2/J)^ D (ф); ниже мы покажем, что М (s2//) = ГЧ/- I) ? к) + D (*), (9.1.15) где Я;= ? ci4u- Формула (9.1.15) выводится следующим обра- образом. Из (9.1.5) мы получаем ф/ = г|з -f- h + //> где fj— = ?cj (<?i/+ ?;/)• Величины {f/} независимы, так как они свя- связаны с разными блоками и имеют нулевые средние. Так как ф = ф„ то D ($) = Г2 ? D (/,). Запишем Так как = I d (//) - /d (О = I d (f;) -/-'Ed (f;), то м (9.1.16) Вычисляя математическое ожидание (9.1.14) с помощью (9.1.16) и деля на /, мы получаем (9.1.15). Из (9.1.15) вытекает, что s2// является несмещенной оценкой D (ф), если все взаимо- взаимодействия «блок — совокупность условий» {уif) равны нулю. Некоторые замечания об интервальных оценках для более частного случая настоящей модели можно найти в конце § 9.3. Математические ожидания средних квадратов Выражения SSjijin совокупностей условий и блоков будем обозначать через SSa и SSb соответственно, а остаточный SS (ошибок или взаимодействий)—через SSe. Они были опреде'
338 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ лены в § 4.2, Если мы предположим технические ошибки некоррелированными, то вычисления M(SS) будут просты, но утомительны. Нам достаточно предположить, что {e</v} некор- релированы *); тогда мы имеем Cov (el}, et'j') — М (е4/е,у) = = М (Y,dUveuv Z di'i\'ei'i'v'\ = Z Z M №/vrfiTv') M (e//ver/v)» V v v' / v v' так как {dijv} не зависят от {?,-/„}. Подставляя сюда сначала М (e//vei'/v) = 6i/'6//'evv'D fa/v)> а затем М ((dihJ) = /""', мы по- получаем /( e^^e/i'M"' Z D(^/v)- (9.1.17) Формулы для М {SS) легче всего интерпретировать, если вве- ввести: A) эффект «объекта» e,/v = fJ-i/v — №1* с номером /, v при «совокупности условий» i; B) главный эффект объекта в /-м блоке |/v = n*/v—м»/»; C) взаимодействие «совокупность усло- условий» — «объект» в /-м блоке r\ilv = \iijV—fi,/v—ц,7». Опреде- Определим символы а2ц я о2Аи (соответствующие фактору — объекту и его взаимодействию с «фактором совокупности условий», при- причем оба они берутся внутри блоков) следующим образом: ou = J (i—Ц Li Ъ s/v. gau^J (' — I) h L, L, Пг/v / V i i V Используя а2А, о%, о\в, определенные в D.3.7а), и о\ = ГхГх Z Z D(e(/) = /2/-' Z Z Z D(*,/v), (9.1.18) ( / i 1 v ((9.1.18) следует из (9.1.17)), получим искомые формулы**) М (SSa) == Jo л + аи + /"'(/- 2) оли + о\, М E5В) = 1в% + /"' (/ - 1) o2au + <4. (9.1.19) М (SSe) = а2лв + а?/ + /-•(/- 2) оАи + а2е. Интересно, что в случае отсутствия эффекта совокупности усло- условий (в том смысле, что главные эффекты «совокупности усло- условий» и взаимодействия «блок — совокупность условий» равны нулю, т. е. 0^ = 0^=0) имеет место равенство МE5л) = = M(SSe), если даже есть взаимодействие «совокупность усло- условий — объект» в блоках (о2^ — 0). *) Из независимости или нормальности {е;,} не следуют те же свой- свойства для {etj}. **) Кемпторн (Kempthorne, 1942, стр. 148) дал формулы М (S5~) и ука- указал их вывод в случае нулевых технических ошибок.
§ 9.1. СЛУЧАЙНЫЕ БЛОКИ. ОЦЕНКИ 339 Обозначим на минуту а2х любое из а2, входящих в формулы для M(SS), например о^, а2АВ и т. д. Мы будем иногда назы- называть план для проверки гипотезы о2х = 0 несмещенным, если существуют два SS, имеющие равные M(SS) при с^=0 (от- (отсюда еще не следует существования несмещенного критерия). Мы примем следующее, более удовлетворительное определение. План называется несмещенным для проверки ох = 0, если су- существуют два SS, которые имеют M(S5), разнящиеся на са2х, где с — известная ненулевая константа *). Так как в плане со случайными блоками М (SSa) — М (SSe) = ]а\ — о\в, то этот план является несмещенным только в том случае, когда мы предполагаем <У2АВ = 0. Проверка гипотез в таких моделях будет рассмотрена в § 9.3. Во многих приложениях, по-видимому, более удобно рас- рассматривать блоки как случайный фактор. Можно показать, что в случае, когда блоки рассматриваются как случайная выборка из бесконечной популяции блоков, мы получаем **) формулы, совпадающие с (9.1.19), только к МE5л) добавляется член а2АВ\ в этом случае М (SSA) - М (SSe) = Jo% (9.1.20) Любопытно отметить, что теперь план становится несмещенным в определенном выше смысле для проверки гипотезы о\ = 0. Отсюда возникает один кажущийся парадокс, разрешение ко- которого поможет углубить наше понимание взаимоотношения различных моделей, в которых один и тот же фактор рассмат- рассматривается соответственно как постоянный или случайный. Если дана выборка / блоков из бесконечной популяции, то матема- математические ожидания (9.1.19) можно рассматривать как условные, так что M(SSa — SSe\J блоков) = /ад — оАв- (9.1.21) Предположим теперь, что а^ = 0и о2АВ ф 0. Тогда М (SSA — SSe | / блоков) < 0. Так как М (SSA - SSe) = [M (SSA -SSe\J блоков)], (9.1.22) *) Из этого определения вытекает существование несмещенной оценки ах. Если х относится к постоянному фактору, то оценка ах обычно мало кого интересует. Я хочу включить в свое определение понятие, связанное с мощностью хорошего критерия, так что чем дальше отстоит истинная гипо- гипотеза от проверяемой, тем больше разница между двумя SS. **) Унлк (Wilk, 1954).
340 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ то M(SS/i — SS<?)<0, если блоки рассматривать как случайный фактор. Но в силу (9.1.20) в этом случае M(SSa — SSe)= 0. В этом парадоксе мы не обратили внимания на то, что а2А имеет разный смысл в зависимости от того, рассматриваются ли блоки как постоянный или случайный фактор. В первом слу- случае а2д относится к главным эффектам «совокупности условий», которые определяются как средние по / блокам в эксперименте; в последнем случае усреднение берется по блокам популяции. Аналогичное замечание относится и к усреднению в определе- определении взаимодействий, входящих в а^. Заменяя эти символы в первом случае на более точное обозначение 0^|/блоков» а\в\1 блоков и опуская предыдущее условие 0^ = 0, мы полу- чаем с помощью (9.1.20), (9.1.21) и (9.1.22) /о» = М (Jo\,, блоков - о\в,, блоков). (9.1.23) Если 0^ = 0, то отсюда еще не следует а\ |; блоков = 0; однако если последнее справедливо для всех множеств / блоков, то °2ab\i блоков также должно быть нулем для всех множеств / бло- блоков*). Это разрешает наш кажущийся парадокс. Эффективность случайных блоков Возвратимся к той точке зрения, что блоки соответствуют постоянному фактору. Мы рассмотрим эффективность планов со случайными блоками относительно полностью случайных пла- планов, в которых «совокупности условий» случайно ставятся в соответствие // «объектам», причем требуется только чтобы каждая «совокупность условий» появилась / раз, и каждое такое соответствие имело одну и ту же вероятность. Простые результаты можно получить только в том случае, если мы это сравнение произведем при предположении полной аддитивно- аддитивности, которое мы скоро определим. При этом представляют инте- интерес выражения, показывающие корреляцию ошибок в рандо- рандомизированных моделях и увеличение точности при сравнении с планом, в котором экспериментальные объекты оптимальным образом распределяются по блокам; эти выражения будут справедливы при условии полной аддитивности. Наибольшая точность получается, когда в модели блоки составлены так, чтобы они были по возможности однородными (т. е. когда раз- разности между эффектами объектов внутри блоков минимальны, *) Это вытекает из (9.1.23) прн а^ = 0; прямое доказательство в слу- случае, когда / блоков выбраны нз конечной совокупности / блоков (f > 1), указано в задаче 9.4.
§ 9.1. СЛУЧАЙНЫЕ БЛОКИ. ОЦЕНКИ 341 а между блоками — максимальны*). Если результирующие разности между блоками большие, то мы можем ожидать, что взаимодействия «совокупность условий — блок» также будут большими. Однако это обстоятельство не отражается в опреде- определяемой нами аддитивной модели. Под полной аддитивностью мы будем понимать отсутствие взаимодействий между «объектами» и «совокупностями усло- условий» в полностью случайных планах; это значит, что при любой группировке «объектов» в блоки взаимодействия «совокупность УСЛОВИЙ — блОК» {уц} И «СОВОКУПНОСТЬ УСЛОВИЙ — Объект» T),-/v внутри блока все равны нулю, т. е. ^в = 0' <4/ = 0; (9.1.24) это значит, далее, что технические ошибки аддитивны в том смысле, что, применяя «совокупность условий» i к «объекту» (/, v), мы получаем техническую ошибку ецУ, состоящую из независимых компонент ^/v и uj/v, связанных соответственно с «совокупностью условий» и «объектом», eiiv = tiiv + uifv, (9.1.25) где М (ttiv) — М (ui/v) = 0, a {ttjV}, {«<yv} предполагаются пол- полностью независимыми друг от друга и от {di,v}, так что где a] t = D (tijv) и а2и /v = D (wi/v). Здесь возможен случай, когда дисперсии наблюдений при одной или нескольких «со- «совокупностях условий» (или «объектах») намного больше по сравнению с остальными. Уравнение модели в случае полной аддитивности превра- превращается в у и = (J, + щ + Р/ + ёц + еи, где ёц — Y, duvliv (так как V все Ццч = 0, и поэтому e(/v = |/v) и вц = 2-1 dnveijv = 2.1 duv (tijv + Mf/V). V V С помощью сделанных до сих пор предположений относительно распределения {rfi/v} и {ецу} мы можем вычислить дисперсии и ковариации ошибок «объектов» {ё,;} и технических ошибок {} Cov (ёц, ei'г) = btr {btl> - Г1) аи, /, (9.1.27) *) В том смысле, что этот состав блоков минимизирует <7у и, следова- следовательно, обращает в максимум ст|, так как в (9.1.37) Оц фиксированно.
342 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ где <, = (/-lr'Ziy, Cov (etr et,r) = *„,*,/' К i + < /)' 2 j-1 V 2 где ои, i~I 2^°u, /v; и Cov(?«/, ei'.y)*=0. (9.1.29) Для вывода (9.1.27) мы воспользуемся (9.1.12) и напишем Cov (ёц, ei>i') = М (ёцёгг) = Z Z M №/v^'/v) v v' =б//' Z Z м (rfi/vrf«' V V' Далее, из (9.1.11) мы получаем при г = Cov (ёг/, ёц>) = б/Г Z Z /"'Sw'i V V' X 7-1 V *2 s /'i r-14 2 = йЯ'' 2j S/v = 0;7' \\—l ) <*U, I v и при г ф i' Cov (ё,7, ei'l-) = bij>rl (/— I)"' Z Z A—6w') i/vi/v' = —bii'J~lo2u, h V V' так как Z?/v = 0-H3 этих двух формул мы получаем (9.1.27). Для вывода (9.1.28) мы подставляем (9.1.26) в (9.1.17). (9.1.29) мы получаем из равенства Cov (eih et',>) = Z Z M №^iTv') 1/vM (er/'v')- V V' Из (9.1.27) мы находим, что коэффициент корреляции для двух различных ошибок «объектов» ёц и-ё;у в одном и том же блоке равен -1/G-1). (9.1.30) Если экспериментальные объекты упорядочены по времени по- получения наблюдений или в порядке расположения сельскохо- сельскохозяйственных участков, а блоки получены группированием по / расположенных последовательно объектов, то можно ожидать, что корреляция между объектами в одном и том же блоке будет положительной: смежные или близкие объекты более по- похожи друг на друга. Однако в (9.1.30) стоит знак минус; причи- причиной этого является то, что это вычисление было проведено для ошибок объектов внутри блоков; эта формула выражает корре- корреляцию разностей от средних в блоках, а упомянутая выше положительная корреляция относится к эффектам смежных
§ 9.1. СЛУЧАЙНЫЕ БЛОКИ. ОЦЕНКИ 343 блоков. В крайнем случае 1 = 2 ошибки объектов в /-м блоке удовлетворяют соотношению ёц + ёг/ = О, поэтому коэффициент корреляции равен (—1); то же самое дает (9.1.30). В предположении полной аддитивности Ун = V- + Щ + $, + ёц + ёц среднее г-й «совокупности условий» равно У и = I* + ai + ё{. + е„, а дисперсия оценки ij> = Z сгу1л сравнения Ч> = Ес,а„ (Zc( = 0) (9.1.31) равна D (i) = Z Z сicr [Cov (eit, et't) + Cov (eit, e{',)] = t i' [Cov (ёИ, ёП') + Cov (ellt e,r)]. (9.1.32) Подставляя (9.1.27) и (9.1.28) в (9.1.32), получаем D (ф) = .Г' [(о?, + al) Z с? + Z cK t], (9.1.33) где ^ 1IX 11ZZl (9.1.34) Напомним, что в (9.1.33) сг^ относится к ошибкам объектов в блоках, о\ — к компонентам технических ошибок, связанных с объектами, a o2t t — к компонентам, связанным с t'-й «сово- «совокупностью условий». Рассмотрим теперь полностью случайный план. Для нашей цели сравнения со случайными блоками нам будет удобно со- сохранить нумерацию // объектов двумя индексами, как будто они разбиты на / блоков по / объектов; однако мы не будем обращать внимания на эти фиктивные блоки при случайном соответствии «совокупностей условий» «объектам». В предпо- предположениях аддитивности этого пункта мы получаем результат наблюдения (если t-я «совокупность условий» применяется к (/, v)-My «объекту») H + ^ + kiv + tiiv + tiijv, (9.1.35) где *jv = P/ + 6/v (9.1.36) является эффектом объекта (не в /-м блоке, как |/v).
344 гл- 9- РАНДОМИЗИРОВАННЫЕ МОДЕЛИ Заметим, что X2^/v = 0. Тогда является мерой величины эффекта объектов; ее надо отличать от а^-меры величины эффекта объектов внутри блоков. Заме- Заметим, что д2ц не зависит от распределения // объектов по бло- блокам, a a\j зависит. Возводя в квадрат и суммируя (9.1.36), получаем (// - 1) дЪ -= I (/ - 1) о\ + / (/ - 1) о%. (9.1.37) В силу (9.1.35) t-e среднее «совокупности условий» равно /v(*/v + 'i/v + «i/v). (9-1.38) где случайные величины {f,/v} определяются для полностью слу- случайных планов аналогично {dijv}, определенных раньше для планов со случайными блоками: f(/v = 1, если t-я «совокупность условий» применяется к (/, v)-My «объекту», и 0 в остальных случаях. Аналогично (9.1.11) мы получаем '¦п^п- еСЛИ <>¦ ¦*+ <?•*¦ (9.,.з9) I~%i; если (/, v) = (/', v'). Если для сравнения (9.1.31) используется несмещенная оценка i то аналогично тому, как мы получали (9.1.33) из (9.1.38) и (9.1.39), получаем D (^) = У Udl + аи) Z ct + Z cWt. Л. (9.1.40) Сравнивая это выражение в (9.1.33), мы приходим к выводу, что план со случайными блоками более эффективен, чем пол- полностью случайный план (в том смысле, что дает несмещенную оценку (9.1.31) с меньшей дисперсией) тогда и только тогда, когда *\j<Ou, (9.1.41) а это условие не зависит от сравнения (9.1.31). В силу (9.1.37) условие (9.1.41) равносильно о2в>Г1дЬ или а'в > /'<*[/• Ниже, в приложении, мы покажем, что при случайном разбиении «объектов» на блоки, когда каждое из
§ 9.1. СЛУЧАЙНЫЕ БЛОКИ. ОЦЕНКИ 345 таких разбиений имеет одну и ту же вероятность, М (сг^) = Таким образом, условие (9.1.41) означает, что наше разбие- разбиение на блоки дает большую однородность в блоках (измеряе- (измеряемую а^), чем ее математическое ожидание в случайных блоках. Точное выражение возможного выигрыша при хорошем разбие- разбиении на блоки дается выражением (9.1.33); оно зависит от того, насколько малой можно сделать меру сг| изменчивости объек- объектов в блоках. Эффективность случайных блоков по сравнению с полностью случайными планами можно определить отношение <В = = D(ip)/D(ip) выражений (9.1.33) и (9.1.40) Оно зависит от рассматриваемого сравнения, если только все d\ i не равны одному и тому же сг^ в этом случае так как из (9.1.18), (9.1.26) и (9.1.34) вытекает а\ = а)-\-а\. Используя (9.1.37), мы можем записать Несмещенные оценки числителя и знаменателя этого отноше- отношения выражаются через SSb и SSab, так как в случае полной аддитивности из (9.1.19) и (9.1.24) следует М {Щ = 1о% + а], М (Щ = оЪ + о*е. С помощью данных эксперимента со случайными блоками мы можем оценить эффективность В, достигнутую с помощью на- нашего разбиения на блоки, (II -\)SSe если предположить полную эффективность и равенство {а;* Л. Заметим, что получаемое при разбиении на блоки преимуще- преимущество является в какой-то мере платой за потерю в плане со случайными блоками / — 1 степеней свободы из общего числа
346 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ /(/—1) ст. св. «ошибок» в полностью случайном плане. Напо- Напомним также наше прежнее замечание о том, что успешное раз- разбиение на блоки может увеличить меру о2дд взаимодействия «блок—совокупность условий». Приложение. Математические ожидания а\ и о2ц в случайных блоках Предположим, что имеется конечная популяция N = IJ объектов с эффектами {п,... ,xN), где 2тп = 0 и 5^ = п = (jV — 1)—12 т«' Пусть они разбиты на / блоков, по / объек- п тов в каждом. Обозначим fe/v эффект (не в блоках) v-ro объ- объекта в /-м блоке. Если разбиение на блоки случайно, то kjv равно одному из {т„}> причем каждое значение принимается с вероятностью -тт-. Поскольку м (ft"v) = Z -СР {fe/v = хп) = лг п ТО М(Ы = 0 и D(ft/v) = M(ft/v) = (l-^)St/- Коэффициент корреляции fe/v и fe/V' при v ф v' равен р = = — (N—1)~'. Этот хорошо известный результат для выборки из конечной популяции можно получить из (9.1.30), заменяя / на N. Отсюда при v ф \' получаем г1 Z С, п М (fe/vfe/v) == Cov (fe/v, fe/v) = pD (kh) = -N~lsh. M/v). (9-1.42) Так как Р/ = /~ X ^/v> T0 V V' При суммировании в (9.1.42) / членов с v = v' имеют вид (l — ЛГ1) 5у, а оставшиеся /(/— 1) членов имеют вид — N~ аи- Таким образом, М ($ = Г2[/ A - N~l) + 1A- 1) (-N~])] аЬ = //-1 (J-l)ob, в силу (9.1.37) М (аЬ) = /"' (/ - D [(// - 1) 5Ь - / (/ - 1) М Ов)] = °Ъ-
§ 9.2. ЛАТИНСКИЕ КВАДРАТЫ. ОЦЕНКИ 347 § 9.2. Латинские квадраты. Оценки Метод случайного отбора латинского квадрата обсуждался в § 5.1. Принятая в этом параграфе рандомизированная модель не зависит от выбора множества трансформаций, содержащего действительно использованный квадрат, а зависит от следую- следующего свойства метода отбора. Все квадраты из множества трансформаций, т. е. все квадраты, которые получаются из дан- данного перестановкой строк, столбцов и чисел, с одинаковой ве- вероятностью могут быть отобраны в эксперимент. Различные рандомизированные модели с этим свойством подходят к раз- различным ситуациям, три из которых упомянуты ниже*). I. Рассматриваются три фактора А, В, С с т уровнями каж- каждый; т2 «совокупностей условий», участвующих в эксперименте, выбираются по плану латинского квадрата. Наблюдения со- составляются из «истинных» значений наблюдений при этих «со- «совокупностях условий» плюс случайные технические ошибки, которые не зависят от рандомизации, использованной при отборе латинского квадрата. Эта модель может быть пригодна в физических экспериментах с тремя факторами и не опреде- определенными конкретно экспериментальными объектами; три фак- фактора могут изменяться, например, при получении каждого наблюдения на некоторой опытной установке. (Хотя эта модель и подходит в данном примере, сам план не будет хорошим, если факторы взаимодействуют.) II. Та же модель, что и выше, только т2 «совокупностей трехфакторных условий» случайным образом ставятся в соот- соответствие т2 экспериментальным объектам. Эта модель подхо- подходит к биологическим экспериментам, в которых эксперимен- экспериментальными объектами являются животные. В модель могут включаться и технические ошибки (подобно § 9.1). III. Существует лишь один фактор, например С, и в экспе- эксперименте участвуют т2 экспериментальных объектов. Вместо того чтобы случайным образом ставить в соответствие уровни фактора с объектами, мы попытаемся «элиминировать» неко- некоторую неоднородность экспериментальных объектов, группируя их, но не по одному признаку, как это можно сделать в планах со случайными блоками, а по двум признакам А и В. Напри- Например, т2 участков в сельскохозяйственном примере § 5.1 клас- классифицируются по строкам и столбцам. В эксперименте с авто- автомобильными покрышками интересующий нас фактор — это марка покрышки. Мы можем взять т = 4 и воспользоваться четырьмя автомобилями. Экспериментальными объектами будут *) Некоторые другие случаи, в которых факторы считаются не обяза- обязательно постоянными, рассмотрены Уилком и Кемпторном (Wilk, Kempthorne, 1957).
348 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ тогда 16 покрышек, которые классифицируются по автомоби- автомобилям и положению на нем. Если, например, имеется т пометов животных, то мы можем использовать т наибольших животных в каждом помете; таким образом, здесь имеется классификация по помету и по весовому порядку в помете*). Здесь тоже могут присутствовать технические ошибки. Мы не будем рассматривать случай II, в котором имеются две различные рандомизации: отбор из т3 возможных «сово- «совокупностей условий» т2, составляющих латинский квадрат, и вы- выбор одного из (т2)! возможных соответствий этих «совокупно- «совокупностей условий» с экспериментальными объектами. Наша модель будет включать случаи I и III, которые фактически имеют оди- одинаковое вероятностное строение, а отличаются лишь по нашему отношению к факторам А и В. В случае (I) эти факторы нас интересуют так же, как С, и мы желаем определить их эффекты; в случае (III) они носят вспомогательный характер и вводятся (а иногда даже определяются), чтобы как-то ослабить влияние неоднородности экспериментальных объектов (аналогично строкам и столбцам в сельскохозяйственном примере). Обозначим уць наблюдение, сделанное при «совокупности условий», состоящей из i-го уровня А, /-го уровня В и fe-ro уровня С. Мы можем разбить эту величину на истинное значе- значение цць = М (уцц) и техническую ошибку ецц, М (е,-/*) = 0. Для упрощения наложим на {ецк} более ограничительные предпо- предположения**) (по сравнению со случайными блоками), а именно будем считать их независимыми и имеющими равные дисперсии а2е. Мы имеем = I* + «? + «? + «? + «?/ + atk + «?*С + «7ДС + *„*. (9-2-0 где генеральное среднее, главные эффекты и взаимодействия определены так же, как в § 4.5 (мы здесь употребляем ц,/* вместо f\ijk), и удовлетворяют обычным дополнительным усло- условиям » .„ = afyf = af™ = a*f = 0 (9.2.2) *) Здесь можно также рассмотреть план дисперсионного анализа с рег- регрессией по весу. **) Оценка (9.2.17) сравнения не смещена, если М (ецк) = 0. Далее, при независимых {еци} формулы (9.2.12) и (9.2.13) для M(SS) справедливы, если мы определим о\ = т~ъ J] JjS"(ei/ft); эти Условия достаточны так- i 1 к же для сохранения результата (9.2.19) о средней дисперсии оценок т(т—1)/2 разностей. Если, далее, распределение ець не зависит от k и огдВС = 0, то результат (9.2.18), касающийся дисперсии оценки сравнения (9.2.17), также справедлив,
§ 9.2. ЛАТИНСКИЕ КВАДРАТЫ. ОЦЕНКИ 349 при всех i, j, k. Заметим, что в описанном выше случае (III), где факторы А, В являются характеристиками, по которым группируются т2 экспериментальных «объектов», главные эф- эффекты {af} и (а^) являются эффектами, которые «элимини- «элиминируются» группировкой (подобно эффектам блока в случайных блоках), взаимодействия {aff} остаются эффектами объекта, {aff\ и {а^с} являются взаимодействиями «совокупности усло- условий» С с двумя характеристиками группировки, а {о^Дс} есть взаимодействие «объект — совокупность условий». Полагая, что рандомизация порождена случайными величи- величинами {dijk}, определенными так же, как в § 9.1, а именно йцк = 1, если в эксперименте осуществляется «совокупность условий», состоящая из i-го уровня А, /-го — В и fe-ro — С, и dijk = 0 в остальных случаях, причем {dijk} не зависят от технических ошибок, мы получаем уравнения модели (для на- наблюдений). Эти уравнения можно записать в любом из трех видов Уц. = ЕацкУцк или Ум = ^лтУцк или У*1к = ^лтУц^ где {уцк} нужно заменить выражением (9.2.1), а уц„ представ- представляет собой наблюдение при «совокупности условий» экспери- эксперимента, состоящей из t-ro уровня А и /-го уровня В и т. п. Все статистики, использованные при анализе экспериментов с ла- латинскими квадратами в § 5.1, являются функциями полученных средних при различных уровнях трех факторов, полученного генерального среднего и полной SS. Эти статистики имеют сле- следующее строение. Полученные средние при г-м уровне А, /-м — В и k-м С соответственно равны yt» Z 5 шУцк Уф ? } k t y»k = m-xYlYJdijkyijk, (9.2.3) наблюденное генеральное среднее равно У,„ = т~2 Z ? ? dmyUb (9.2.4) I ] к а полная SS равна ssn0J« = ??I<*t/А; (9.2.5) I i к всюду надо заменить yijk выражением (9.2.1). Если мы подста- подставим (9.2.1) в (9.2.3), то структура наблюденных средних упро- упрощается и имеет вид U = I* + «? +«¦•?? dm (a« + «$с + eljk) (9.2.6)
350 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ (аналогичные выражения имеют yiifif и г/»,»), в силу Z d-цк = Z dtik = Z di!k = 1 и дополнительных условий (9.2.2). Заметим, что случайные ве- величины gk и вк в E.1.15) состоят из следующих членов (9.2.6): gk = л"' Z Z di/ft = (af,s + a?,f), eft = m~' Z Z «Wi/*. Результаты этого параграфа зависят от первых и вторых моментов {dijk}. При выводе этих моментов нам будет удобно называть уровни А строками, уровни В столбцами, а уровни С числами (подобно числам в E.1.1)). Из равенства М(*&/*) = = P{rfi/ft=l}. где Р{йцк = 1} есть вероятность появления числа & в ячейке (i,j), вытекает M(di!k) = m-\ (9.2.7) так как наша рандомизация эквивалентна рандомизации по строкам, столбцам и числам, и поэтому все числа с одинаковой вероятностью могут появиться в ячейке (t,/). При выводе вторых моментов мы воспользуемся приемом, аналогичным (9.1.9), М (dmdrrk') = P {diIk = 1} Р = т~1Р, (9.2.8) где Р — условная вероятность Р = Р {di'i'k' = 1 I dm = 1}. (9.2.9) Для определения Р рассмотрим четыре случая соответствую- соответствующих числу выполненных условий: i = if, / = /'. k = k'\ (9.2.10) в (I) случае выполнены все условия, во (II)—точно два, в (III) — точно одно, а в (IV)—ни одного. В силу симметрии плана с тремя факторами, при вычислении Р важно только количество N условий (9.2.10), имеющих место (N = 0, 1, 2,3), а не их состав. В случае (I) Р = P{ditk = 1 \diik = 1} = 1. В случае (II) предположим k=?k'. Тогда из (9.2.9) следует, что Р есть условная вероятность того, что число к! попало в ячейку (t,/) при условии, что в эту ячейку попало k. Следо- Следовательно, Р = 0. В случае (III) положим г=г' и рассмотрим только числа г-й строки. В этой строке появилась какая-то пере- перестановка чисел 1, 2, ..., т. Тогда Р есть условная вероятность появления числа k! в /-м столбце при условии, что число k появилось в /-м столбце. Так как наша рандомизация порож- порождается случайной перестановкой чисел, то в г-й строке равно- возможны все т\ перестановок 1, 2, ..., т. Из них в (т— 1)! к стоит в /-м столбце, а из этих последних перестановок
§ 0.2. ЛАТИНСКИЕ КВАДРАТЫ. ОЦЕНКИ 351 в (т — 2)! k' стоит в /'-м столбце. Следовательно, Р = — (т — 2)!/(т—1)! = (т—I)-1. В (IV) случае рассмотрим условную вероятность того, что число k' попадет в ячейку (i',jr) при условии, что такое же число k имеется в ячейке (?,/). Так как перестановка чисел случайна, то эта вероятность одинакова для всех k' Ф k, поэтому она равна (т — I) [1 — P{k в ячейке i, \'\k в ячейке i, /}] = = {т- I) [1 - P{di;-k = 11 dm = 1}] = (т- I) [l-(m-l)-1]; последнее равенство вытекает из значения Р в случае (III). Таким образом, в случае (IV) мы получаем Р=(т—\)~2(т—2). Подставляя эти значения Р в (9.2.8), мы получаем М из условии (9.2.10) (9.2.11) выполнены. т~1, если все три 0, если точно два т~!(т—1)~\ если точно одно т~1 (т—\)~2 (т — 2), если ни одного Суммы SS определяются и вычисляются так же, как в § 5.1. Их выражение в терминах случайных величин {dijk}, техниче- технических ошибок {ецк} и параметров ц и {«/} получается, если в SSC =/л подставить сначала (9.2.3) и (9.2.4), а затем (9.2.1); аналогично получаются формулы для SSa и SSb- С помощью (9.2.5) мы определяем затем SSe - SSnom - /ш/L - SSA - SSB - SSC. Математические ожидания этих сумм зависят от вторых момен- моментов {difk} и {Sijk}- Их вычисление довольно утомительно, по- поэтому мы приведем готовые результаты *) без доказательства: М (SSC) = о] + A - 2т-) а\вс + а\в + то%, (9.2.12) M(SSJ = a2e + (l-3m-1)^BC + ^B + ^c + a|c, (9.2.13) где ЕЮ2 ЕЕ («Л2 „2 _ _1 „2 _ ' / „2 _ т-\ • "ДВ (т-\У • "ABC— (m-\y *) Это есть частный случай формул Уилка и Кемпторна (Wilk, Kemp- thorne, 1957), которые рассматривали случай, когда уровни факторов могут выбираться из популяции уровней.
352 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ и т. д. Формулы для M(SS/0 и M(SSs) можно получить из (9.2.12), переставляя символы А, В, С. Заметим, что при гипо- гипотезе Нс: все а? = 0, или а2с = О, М {SSe) обычно превосходит МE5с); более точно, M(SSe)> M(SSc), если 'п{°'1ас + °1с)- (9-2.14) Согласно терминологии, введенной ниже (9.1.19), на стр. 339, наш план является смещенным для проверки гипотезы ^ = 0 (если только мы не предположим, что а2АС = адс = аАВС = 0). Если мы вспомним, что в случае (III) о2Адс является мерой величины взаимодействий «объект — совокупность условий» (см. рассуждение ниже (9.2.2)), то мы получим, что наш план, в отличие от плана со случайными блоками, смещен для про- проверки гипотезы с? = 0, если присутствуют взаимодействия «объект — совокупность условий», в том смысле, что оАВС вхо- входит в разность М (SSC) = М (SSe) = mal - aAD - о» с + тГ*а\вс, хотя и с коэффициентом т~1. Чтобы учесть хотя бы в первом приближении влияние взаи- взаимодействий на /^-критерий, когда а2 взаимодействий Снапример, а2АВ) входит в М (SS) как числителя, так и знаменателя, мы можем подобрать подходящее значение параметра нецентраль- нецентральности. В §§ 1.6 и 2.6 мы нашли, что SSn и SSd, числитель и знаменатель F-статистики, имеют математические ожидания М {SS.N) = о\ A + <Г'62). М (SSD) = al, где q — число ст. св. SSn, а б2 — параметр нецентральности. Мы можем воспользоваться другим параметром нецентральности (см. § 2.8) ф2 = (q + l)-'62; мощность критерия меньше ме- меняется и остается почти постоянной, если q меняется, а фикси- фиксировано ф2, а не б2. Итак, q M (SS..) - М (SSn) ц>2 = — { N> { D) . (9.2.15) * q+\ M(SSD) Мы будем называть <р2, определенный (9.2.15), обобщенным параметром нецентральности во всех случаях, когда рассмат- ?иваема? статистика равна отношению двух средних квадратов SSh и SSd- Мы можем считать ф2 грубой мерой мощности кри- критерия; убывание ф2 соответствует убыванию мощности.
§ 9.2. ЛАТИНСКИЕ КВАДРАТЫ. ОЦЕНКИ 353 В силу (9.2.12) и (9.2.13) обобщенный параметр нецентраль- нецентральности для SSc/SSe равен С Л"' Л " (9-2.16) т ?, + аАв + Кс + <%с) + A JABC т—\ тас r = —— Сравнивая его со значением ф2 = —— получающимся т ае при отсутствии взаимодействий, мы видим, что наличие взаи- взаимодействий, а2 которых, например а2АС, входит только в M(SSd), оказывает двойное влияние на уменьшение мощно- мощности, уменьшая числитель и увеличивая знаменатель ф2; в то же время наличие таких а2, например а2Ад, которые входят в М (SSN) и М (SSD) с одинаковыми коэффициентами, влияет только на знаменатель. Мы можем также сделать, например, следующий вывод: если оАдс = 0 и если а2АВ, а2АС, а2вс близки по значению к ст2, то мощность будет меньше, чем в том случае, когда нет взаимодействий, а дисперсия ошибки а\ увеличена примерно в четыре раза. Если мы рассматриваем влияние взаи- взаимодействий в приложении типа (III), о котором говорилось в начале параграфа, то аАВ представляет собой значение оши- ошибок объектов, которые не элиминируются двухфакторной груп- группировкой экспериментальных объектов; поэтому мы должны т — 1 то2с сравнивать (9.2.16) сф2 = 2 г—• Из (9.2.6) и (9.2.7) легко видеть, что наблюденное среднее «совокупности условий» уык является несмещенной оценкой истинного среднего «совокупности условий» |х + а?, какие бы при этом взаимодействия ни присутствовали. Следовательно, если ib= У. с. а? (У, ck = ОЛ является сравнением главных эф- k * * \ к ) фектов фактора С, то . $ = Zckyt,k, (9.2.17) будет оценкой ф. О(ф) можно непосредственно вычислить из (9.2.6) и (9.2.11), однако окончательное выражение D(ip) имеет довольно сложный вид, поэтому неясно, как ее оценивать. С помощью (9.2.12) можно получить более простые результаты относительно D(ip). Предположим сначала, что о2авс~®- Тогда, оценивая {|x-f-a?} с помощью {#***}, мы получаем в силу (9.2.6), что т ошибок этих оценок {ynk — [г — а?} сим- симметрично распределены; в частности, они имеют одинаковые 12 Г. Шеффе
354 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ дисперсии и одинаковые коэффициенты корреляции. Это позво- позволяет применить лемму 1 в конце этого параграфа и получить D (ф) = т-1 {а\ + а\в) Z с\. (9.2.18) В силу (9.2.13) m~l (SSe) Yjс\ является верхней оценкой D(ip), k т. е. имеет положительное смещение, за исключением случая а2АС = а2дс = 0, когда эта оценка несмещена. В общем случае мы не предполагаем о2Адс = 0. Интересуясь только оценками {У,*к — У,»k'} сравнений {а? — а?,}, являющихся разностями, мы можем получить среднее значение дисперсии этих оценок, осредненное по -~-т(т— 1) разностям, 2т~1 № + A - 2т-1) а\вс + о« J; (9.2.19) этот результат*) получается с помощью леммы 2, доказанной ниже. Возможна только приближенная оценка этой величины; статистика 2m~'SSe обычно является верхней (в силу замеча- замечания перед (9.2.14)). Две леммы В заключение докажем две леммы, которыми мы воспользо- воспользовались выше. Обе леммы касаются дисперсий оценок сравне- сравнений параметров {0Ь...,9*} вида i|> = I]cft9ft, где TjCk = 0. k k Пусть оценки {9\} не смещены, т. е. 9* = 9* + /*, и М (/*) = 0. Тогда if) = Yj c$k является несмещенной оценкой ¦$. Определим j Q= V-0 (9-2-20) и положим V = М (Q) — 0$, где символ 0% означает Лемма 1. Если {Qk} имеет одинаковые дисперсии и одина- одинаковые коэффициенты корреляции, то Доказательство. Выведем формулу для V в общем случае, когда М (fkfk>) = 9kk'ak°k'> a затем воспользуемся ее *) Получен Уилком и Кемпторном (Wilk, Kempthorne, 1957).
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 355 частным случаем. Подставляя 0ft — 94 = (9ft — QJ + (fk — ft) B (9.2.20) и переходя к математическим ожиданиям, мы получаем l(Zy Поскольку M(Zf2ft) = .Zf.^ZZp^^, то ft ft' / ft ft' И = (/С - О"' (Z Oft - К Z Z Ркк.о„ок\ (9.2.21) V ft ft ft' / В нашем частном случае все pkk' = 9 при k ф k' и все а| = а^, поэтому К членов с k = k' в двойной сумме (9.2.21) равны a2v а остальные К2 — К членов равны рст^. Таким образом, V = (К - 1)~1 {К<А - /Г1 [Ка\ + К(К-\) рстО) = о? A - р). С другой стороны, если в D (-ф) = Z Z ckck'Pkk'akak' мы п0Дста- ft ft' вим PftA'°rA°r&' = ori[P + 6ftft'A ~Р)]> т0 получим D (*) = ст^ [р Z Z ckck, + A - р) Z Z S^'fift Лемма 2. Среднее значение дисперсий -^К{К—1) разно- разностей {Qk — Qk'} равно IV. Доказательство. Для вычисления средней дисперсии мы можем взять умноженную на [К(К—1)]~' сумму D (Qk — 9ft') по всем k, k', для которых k Ф k'\ таким образом, каждое слагаемое встретится дважды. Однако, поскольку члены с k = k' равны нулю, сумма не изменится, если мы будем сум- суммировать по всем k, k'. Итак, умножая на [К{К—1)]~' сумму Z Z D(9b - 9ЬЛ = Z Z К + < - 2рьь,аьаьЛ = к ft' v * *' ftft'v " "' = Ж Z o\ - 2 Z Z 9кк.оьак, = 2К(К- 1) V, ft ft ft мы получаем среднюю дисперсию; последнее равенство следует из (9.2.21). Таким образом, средняя дисперсия равна 2 V. § 9.3. Перестановочные критерии Теперь мы приступим к задаче проверки гипотез в рандоми- рандомизированных моделях, которые мы определили и использовали в этой главе для оценок в планах со случайными блоками и латинскими квадратами. Точные критерии, возможные для 19*
356 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ некоторых гипотез в рандомизированных моделях, будем назы- называть перестановочными критериями*). Перестановочные крите- критерии для проверки некоторой гипотезы существуют всякий раз, когда совместный закон наблюдений при этой гипотезе обладает симметрией, заключающейся в том, что существует множество перестановок наблюдений, которые не меняют это распределе- распределение (распределение инвариантно относительно группы переста- перестановок). Эти критерии являются точными для очень большого числа гипотез в том смысле, что вычисленный уровень значи- значимости зависит только от симметрии распределения и не зависит от таких дополнительных предположений, как нормальность, равенство дисперсий или независимость. Этой симметрии можно добиться следующими тремя способами: I) с помощью предположения о том, что имеется случайная выборка из одной или нескольких популяций (как в первом из рассматриваемых ниже примеров); II) с помощью фактической рандомизации, устанавливаю- устанавливающей соответствие «совокупностей условий» экспериментальным «объектам» (например, в плане со случайными блоками); III) с помощью фактической рандомизации, по которой из множества «совокупностей условий» полного плана с несколь- несколькими факторами выбираются «совокупности условий» некото- некоторого неполного плана, которые и используются в эксперименте (например, в плане с латинским квадратом в случае (I) § 9.2). Как мы скоро увидим, перестановочные критерии легко определяются, но связанные с ними расчеты наталкиваются обычно на крайне громоздкие вычисления. Самым интересным для нас является то, что F-критерий, выведенный для соответ- соответствующей гипотезы в обычной модели с постоянными факто- факторами, включающей предположения нормальности, независимо- независимости и равенства дисперсий (или некоторое видоизменение этого критерия), часто можно рассматривать как хорошее приближе- приближение к перестановочному критерию, а этот последний является точным в менее ограничительных моделях. Прежде чем дать общее определение перестановочного кри- критерия, рассмотрим совсем простой числовой пример, который поможет нам понять основные интуитивные идеи. Пусть мы хотим иметь критерий для гипотезы Н, состоящей в том, что выборка объема три и выборка объема четыре являются неза- независимыми выборками из одной и той же популяции; предполо- предположим, что имеются упорядоченные в порядке роста чисел вы- выборки (О, 3, 5) и B, 3, 6, 9). (9.3.1) *) Они называются также рандомизированными критериями. Идея таких критериев принадлежит Фишеру (Fisher, 1925, § 24; 1935, § 21).
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 357 На практике обычно перестановочный критерий основан па некоторой выбранной статистике. Предположим, что мы вы- выбрали статистику, пригодную в обычных предположениях нор- нормальности к проверке гипотезы Я против двусторонней конку- конкурирующей гипотезы, т. е. против конкурирующей гипотезы, со- состоящей в том, что две выборки являются независимыми выборками из популяций, отличающихся друг от друга сдви- сдвигом. Мы выбираем тогда статистику \t\ = cx\x~z\S-xl\ (9.3.2^ в которой значимыми являются большие \t\, величина кон- константы с\ безразлична, х и z — выборочные средние, S — объ- объединенная SS а (хиХ2,х3) и (гЬ22,23,24) означают выборки. Для облегчения расчетов, связанных с появлением двух цифр 3 в (9.3.1), будем их снабжать индексами 1 и 2 и считать различными при счете числа перестановок или комбинаций, содержащих эти цифры; однако при определении численного значения статистики |/| мы в обоих случ.аях принимаем значение 3. Таким образом, мы имеем общую составную выборку {О, 2, 3„ 32, 5, 6, 9}. (9.3.3) В примерах, относящихся к (9.3.1), под словом «выборка» мы будем понимать «выборку, расположенную в порядке возраста- возрастания». Число способов, которыми эту выборку объема семь можно разбить на выборки объемов три и четыре, равно С^ = 7! D!31)~' = 35; при гипотезе Я, описанной выше (9.3.1), все эти выборки равновозможны, т. е. условная вероятность того, что две выборки состоят из любой комбинации трех и че- четырех цифр, взятых из данной составной выборки (9.3.3), равна 1/35. Выберем уровень значимости ее; идея построения переста- перестановочного критерия, основанного на статистике \t\, состоит в следующем. Для 35 комбинаций вычисляются 35 значений статистики \t\, некоторые из которых совпадают. Далее опре- определяем, какая пропорция из этих 35 значений |^) не меньше значения \t\ рассмотренной комбинации (9.3.1); мы отвер- отвергаем Я тогда и только тогда, когда эта пропорция не превос- превосходит а. Полученный критерий имеет вороятность ошибки пер- первого рода, не большую а (т. е. вероятность отвергнуть Я, когда она справедлива); в самом деле, условная вероятность (при данной упорядоченной выборке) отвергнуть Я, когда она спра- справедлива, не превосходит а, поэтому и безусловная вероятность
358 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ отвергнуть Н, являясь математическим ожиданием по всем упо- упорядоченным выборкам, не больше а. Тот же результат практически можно получить, пользуясь некоторыми упрощениями. Прежде всего, достаточно вычислить просто d = \x— z\ для 35 комбинаций и отвергать Н при боль- больших значениях этой статистики вместо \t\, так как при данной составной статистике |^| представляет собой строго возрастаю- возрастающую функцию d. Имеется тождество SSA + S = А, (9.3.4) справедливое для любой из 35 комбинаций; здесь SSa есть SS между группами для двух выборок, S — объединенная SS, опре- определенная выше, а А — полная SS относительно общего сред- среднего — имеет одно и то же значение для всех 35 комбинаций. Легко вычислить, что SSA = М2, (9.3.5) c2d2 где с2>0. Из формулы t2 = ,А __' с rf2) , полученной из (9.3.2), (9.3.4) и (9.3.5), видно, что t2 является строго возрастающей функцией от d; в то же время |^| является строго возрастаю- возрастающей функцией t2. Далее, пусть В = ? xt + Z Z/ при всех комбинациях имеет одно и то же значение. Тогда т r j = m Ц xt — r~l (В — ? x() = где С = mB/(m + г); в нашем примере т = 3, г = 4, В = 28, С =12. Второе упрощение приводит к тому, что мы строим наш критерий на основе статистики xt — С I .В таблице 9.3.1 Таблица 9.3.1. Значения статистики *^— С|, С = 12 Первая Первая выборка -c\ выборка 0 2 3. 7 2 3. 9 2 0 2 3, 7 2 3* 5 2 0 2 5 5 2 3» 6 1 0 2 6 4 2 3» 9 2 0 2 9 1 2 5 6 1 0 з, з2 6 2 5 9 4 0 3, 5 4 2 6 9 5 0 3, 6 3 3i 3? 5 1 0 3, 9 0 3, 3, 6 0 0 3? 5 4 со" 32 9 3 0 32 6 3 3, 5 6 2 0 3? 9 0 3, 5 9 5 0 5 6 1 3, 6 9 6 0 5 9 2 3? 5 6 2 0 В 9 3 3 5 9 5 2 3, 32 4 > 2 3 5 2 32 6 9 6 2 3. 6 1 5 6 9 8
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 359 приведены 35 комбинаций и соответствующие значения стати- статистик. Из этой таблицы мы видим, что значение статистики для рассмотренной комбинации равно 4 и что 15/35 комбинации дают значение статистики, не меньшее 4. Вероятность (услов- (условная, если наблюдено (9.3.3)) получить значение \t\, не мень- меньшее наблюденного, равна, таким образом, 15/35; поэтому нашу гипотезу можно было бы отвергнуть по перестановочному кри- критерию лишь с уровнем значимости, не меньшим 15/35. Уровень значимости должен быть установлен до всяких вы- вычислений, поэтому возможно следующее третье упрощение. Предположим, например, что мы установили уровень значи- значимости 10%- Гипотеза должна быть принята, если четыре из 35 комбинаций дают статистике ^Xi — С значение, не мень- i шее наблюденного значения; таким образом, кроме наблюден- наблюденной, надо найти еще три комбинации с такими значениями. Те- Теперь нам нужно вычислить лишь несколько значений в нашей таблице. Сначала мы вычисляем, что значение zlxt — С для ? наблюденной комбинации равно 4. Легко видеть, что значение \х — z\ будет наибольшим тогда, когда х принимает возможное наименьшее или возможное наибольшее значение (a z соответ- соответственно возможное наибольшее или наименьшее значения). Наименьшее значение х получается при комбинациях {0,2,3i} и {0,2,32}, а наибольшее—при {5,6,9}. Все значения нашей статистики, вычисленные для этих трех комбинаций, не меньше 4, поэтому гипотезу следует принять. Заметим, наконец, что не обязательно даже вычислять по- последние три значения, если можно показать каким-нибудь бо- более легким способом, что они не меньше 4. Эти упрощения ка- касаются точных вычислений, связанных с перестановочным критерием; приближение перестановочных критериев будет рас- рассмотрено ниже. Обычно необходимые вычисления легче производить в том случае, когда по перестановочному критерию гипотеза Н при- принимается, а не отвергается. Если число равновозможных при гипотезе Н выборок равно N (в нашем случае N = 35) и если М — наименьшее целое число >aN—1, то для принятия Н достаточно любым способом найти М выборок, отличных от наблюдений, которые дают статистике значение, не меньшее наблюденного значения; в то же время, если критерий отвер- отвергает гипотезу Н, то обычно нелегко показать, где расположены все такие комбинации, не производя, гораздо большего числа вычислений. Предыдущую гипотезу Н можно проверять также против односторонней конкурирующей гипотезы, заключаю- заключающейся в том, что лг-популяция отличается от z-популяции
J60 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ переносом направо; соответствующий перестановочный критерий основывается на статистике х— г вместо \х— г\, использован- использованной нами выше в двустороннем случае. При этих конкурирую- конкурирующих гипотезах, заключающихся в сдвигах, можно рассмотреть перестановочные критерии, основанные на статистиках х — z или \х — z|, где х и г — выборочные медианы. Однако по при- причинам, указанным выше, мы будем интересоваться главным образом перестановочными критериями, основанными на тех же статистиках, которые используются и для критериев в нор- нормальной теории. Если предыдущая гипотеза должна быть про- проверена при конкурирующей гипотезе, заключающейся в разли- различии масштаба, а не начала отсчета*), то мы могли бы по- построить перестановочный критерий на основе следующей ста- статистики: \-rz2 Если мы определим основанный на этой статистике перестано- перестановочный критерий так, чтобы большие значения были значи- значимы**), то он будет пригоден в случае, когда при конкурирую- конкурирующей гипотезе х-популяция более рассеяна по сравнению с г-по- пуляцией. Если мы хотим проверить Н с уровнем значимости а при двусторонней конкурирующей гипотезе (о разности мас- масштабов), то можно построить перестановочные критерии с уров- уровнями а/2, основанные на % и 1/%, и отвергать Н, если ее отвер- отвергает хотя бы один из этих критериев. Критерий, основанный на \1\, можно было выразить только через ?лгг; статистику g можно выразить в терминах ? xt и ? х\. Основную идею построения перестановочных критериев можно извлечь из только что разобранного примера. Переста- Перестановочные критерии могу быть построены для проверки таких гипотез Н, при которых распределение обладает определенной симметрией, упомянутой выше (инвариантно относительно груп- группы перестановок). Мы сформулируем сейчас это свойство сим- симметрии несколько иным способом, которое, будучи математи- математически равносильным, более длинно, но его легче применять. Пусть вектор у = (уи. ..,уп)' случайных величин представляет *) Определенного, например, с помощью медианы популяции. **) Если мы хотим отвергнуть гипотезу при каких-то других значениях статистики (например, при больших абсолютных значениях, малых алгебраи- алгебраических значениях или значениях, близких к нулю), то мы всегда можем так переопределить статистику, чтобы прийти к этому же условию (например, выше мы использовали \t\ вместо t).
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 36! собой вектор наблюдений, или выборку; пусть у0 = (ую,... ,упо)' означает возможное значение у. (Нам здесь надо различать обозначения случайной выборки у, которая может принимать различные возможные значения, и одно из этих возможных значений у0. Применяя сформулированные определения, мы представляем себе у0 возможным значением, а у — действи- действительно наблюденным.) Предположим, что существует множе- множество G, состоящее из L перестановок га элементов у, которое обладает следующим свойством симметрии. Обозначим 5(«/о) множество из L выборок, порожденных применением множества перестановок G к у0. Тогда нам потребуется следующее свой- свойство симметрии. Если дано, что у попало в множество S(ye), то условная вероятность (при Н) того, что у принимает любое фиксированное из L значений S(yo), равна 1/L для каждого из этих L значений; это свойство симметрии должно выпол- выполняться для всех значений у0, которые у может принимать. Если Уо содержит некоторые равные элементы, то их надо различать, когда мы приписываем им L равных вероятностей (в нашем примере мы снабжали такие элементы индексами). Перестано- Перестановочный критерий с уровнем значимости а является правилом *), по которому для каждого возможного множества S(yQ) опре- определяется подмножество S'(y0) выборок, число которых не пре- превышает aL; гипотеза Н отвергается тогда и только тогда, когда наблюденная выборка у0 содержится в S'{y0). Подмножество S'(jfo) «значимых» выборок обычно определяется с помощью некоторой статистики (как в разобранных выше примерах). Проиллюстрируем это общее определение перестановочного критерия разобранным выше случаем. Вектор у в нашем част- частном случае равен (x\,...,xm,z\,...,z,), n = m-\-r. Множество G перестановок, обладающее требуемым свойством, в нашем случае является множеством всех перестановок элементов у, *) Более строгое математическое изложение перестановочных критериев смотрите у Шеффе (Scheffe, 1943), Хефдннга (Hoeffding, 1952) или Лемана (Lehmann, 1959a). Если встать на более строгую, нежели принятая в этой книге, точку зрения, то следует рассмотреть некоторые подробности, которые усложняют простую интуитивную идею. Так, множества S'(yo) должны быть выбраны таким образом, чтобы их объединение по всем у} являлось борелев- ским множеством в выборочном пространстве. Это будет так, если критерий основан на измеримой по Борелю статистике. Далее, возникают некоторые трудности точного определения условных вероятностей при данном ysS(yo), так как последнее событие имеет нулевую вероятность, когда у распределено непрерывно. И наконец, для любого выбранного а можно сделать вероят- вероятность ошибки первого рода точно равной а вместо ^а, выигрывая при этом в мощности; для этого надо ввести для некоторых значений данных рандо- рандомизацию (когда данные уже получены) и решать вопрос о том, принять Н или отвергнуть по результату этой рандомизации. Хотя этот прием и полезен при сравнении мощностей критериев, я все же считаю применение его в реальных приложениях нежелательным.
362 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ так что число L всех перестановок в G равно п\. Значение любой статистики, симметричной по всем х и симметричной по всем z (например, t, \t\, %, 1/5), не меняется, если перестановка из G переставляет только х между собой и только z между со- собой; таких перестановок в G существует т\г\, поэтому вместо L =5 л! равновозможных перестановок мы можем рассматри- рассматривать N = п\(т\г\)~1 равновозможных их комбинаций*) (как мы и делали выше). Дальнейшее развитие применения общего определения к нашему случаю не представляет труда. Перестановочный критерий для случайных блоков Рассмотрим совсем общую модель, в которой наблюдение при 1-й «совокупности условий» в ;-м блоке имеет вид Уц = И + а,- + Р/ + Уц + ёи + ец, где ошибки объекта ёц и технические ошибки ец равны &ii = /L ^i/v8i/v» en = 2 d V а случайные величины и константы (обозначаемые соответ- соответственно латинскими и греческими буквами) подчиняются усло- условиям, установленным в § 9.1. В этой модели распределение при гипотезе На: «все ш = 0» не обладает такими свойствами сим- симметрии, чтобы можно было построить перестановочный крите- критерий. Однако мы можем построить перестановочный критерий для гипотезы Я, заключающейся в том, что между «совокупно- «совокупностями условий» нет абсолютно никакой разницы, т. е. (I) <JiA = a2AB = 0*^ = 0 и (II) совместное распределение техни- технических ошибок // объектов не зависит от того, как «совокупно- «совокупности условий» поставлены в соответствие «объектам». Мы можем написать, что при Н У ц = V + Р/ + ? dm (|/v + m,-v), (9.3.6) V где UjV — техническая ошибка, связанная с объектом (/, v); раньше мы ее записывали ец^,, а теперь предполагаем, что она не зависит от «совокупности условий», которая применяется к «объекту». По определению, М (uiv) = 0; в остальном совмест- совместное распределение {m,v} произвольно. Перестановочные критерии будут строиться на основе мно- множества G перестановок внутри блоков. Производя в каждом из / блоков по одной из /! возможных перестановок наблюде- *) Точные перестановочные критерии дисперсионного анализа можно в случае однофакторного анализа рассчитывать с комбинациями перестано- перестановок вместо перестановок.
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИЙ 363 ний этого блока, мы получаем элемент в G. Таким образом, число перестановок в G равно L = (/!)¦'. Обозначим у0 наблю- наблюденную выборку {уц} и обозначим S(yo) множество (/!)' вы- выборок, полученных из уо с помощью множества перестановок G. Для того чтобы легче было установить, что при Н и принятой рандомизации эксперимента все выборки в S(yo) имеют одну и ту же условную вероятность (при условии, что выборка лежит в S{y0)), перепишем (9.3.6) в виде Уц = Ле1„чг^, (9.3.7) V где z/v = |* + Р/ + |/v + m/v (9.3.8) является наблюдением экспериментального объекта /, v. Чита- Читатель, не желающий вдаваться в подробности доказательства, может пропустить конец этого абзаца. Мы можем отправляться от произвольного совместного распределения {zjv}; тогда при гипотезе Я, по определению, откуда в силу (9.3.8) следует М (m/v) = 0. Обозначим через г вектор (zu,...,zn,Z2i,...,Z2i,...,Zji,...,zji)' и через z0 зна- значение, которое принимает z в эксперименте. Каждое частное соответствие в рандомизации «совокупностей условий» «объек- «объектам» определяет йф", все такие соответствия имеют одинаковые вероятности. Вектор у определяется через z с помощью (9.3.7). Иначе говоря, элементы у получаются из элементов г с по- помощью одной из перестановок G, причем все такие перестановки равновероятны. Теперь ясно, что при z = z0 все у в S (z0) рав- равновероятны; здесь S(z0) обозначает множество выборок по- порожденных элементами z0 с помощью перестановок из G. Для любого z из S(zo) множество S(z) совпадает с S(z0); поэтому если известно, что z лежит в S(z0), то все у в S(z0) равно- равновероятны. Наконец, S(z0) совпадает с S(y0), a z лежит в S(zu) тогда и только когда, тогда у лежит в S(yo). Итак, мы получили доказываемый результат: все у из S(yo) имеют одинаковые ус- условные вероятности при условии, что у лежит в S(yo). Прежде чем вывести точный перестановочный критерий для проверки Н, основанный на статистике у -CSSA * ~~ SSe ' в которой суммы SS совпадают с SS, определенными в § 4.2, за- заметим, что SSa + SSe имеет постоянное значение на множестве , так как в равенстве
,64 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ справа стоят постоянные (на S(y0)) члены, причем сумма квад- квадратов SSb для блоков зависит только от средних в блоках. От- Отсюда следует, что @~ является строго возрастающей функцией от SSa, а следовательно, и от суммы квадратов X (И УцУ' Та- Таким образом, перестановочный критерий, основанный на этой статистике, равносилен перестановочному критерию, основан- основанному на ЗГ. Так как на значение этой статистики не влияет перестановка «совокупностей условий», то A\)' значений раз- разбиваются на множества по /! равных значений, т. е. можно предполагать, что при гипотезе Н (ЛO" значений имеют оди- одинаковые вероятности. В вычислениях мы можем, фиксируя наблюдения первого блока, производить (/!)/-1 перестановок наблюдений внутри остальных блоков. Обычно это число пере- перестановок столь велико, что расчет практически невозможен. Поэтому мы приведем приближенный расчет. Мы рассмотрим теперь перестановочный критерий, основан- основанный на статистике г, SSA . u ssA + sse' он равносилен критерию, основанному на 9Г. Мы предпочитаем строить критерий на статистике II, а не SSA, так как в этом случае удобно строить приближение, а также сравнивать полу- полученный перестановочный критерий с критерием в нормальной теории. Критерий, основанный в нормальной теории на F-pac- пределении статистики &~, равносилен критерию, основанному на р-распределении (определенном ниже) статистики U; но он не равносилен критерию, основанному на ^-распределении ста- статистики 55л. Статистика U более удобна, чем 5Г, поскольку в предлагаемом приближении и сравнении используются мо- моменты статистики, а [/ в отличие от @~ имеет при перестанов- перестановках из G постоянный знаменатель. Сначала мы предположим, что отсутствуют технические ошибки, т. е. а\=Ь, а значит, все u!v = 0. Таким образом, мы теперь предполагаем, что эти условия являются частным случаем обших условий, при которых справедливы*) формулы (9.1.19) для M(SS). Из этих *) При выводе (9.1.19) мы предполагали, что в рандомизированной мо- модели технические ошибки независимы; в нашем случае имеет место эта неза- независимость, так как а2 = 0.
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 365 формул мы получаем М (SSA) = (/ - 1)о?„ М (SSe) = (l-\)(J- \)al, где av=J (I—1)" 2 2 l/v Вычисляем постоянное значение ssA + sse Таким образом, математическое ожидание U равно М (U) = (SSA + SSe)-'M(SSA) = /->. (9.3.10) Дисперсия ?/ вычисляется довольно сложно; приведем сразу результат без доказательства *) Loh, Л, (9.3.11) где ay./ = (/—I) 2l/v; последнее можно назвать «диспер- V сией /-го блока». В предположениях (9.3.9) дисперсии блоков можно вычислить точно по наблюдениям {«/(/}; в самом деле, в силу U/v = 0 из (9.3.8) вытекает |/v = z,-v — 2;v, отсюда по- получаем - " Это выражение совпадает с al./^-ir'Z^-^J. (9.3.12) Результат (9.3.11) можно выразить через квадрат коэффициента ZK4J ZK./) вариации дисперсий блоков V = , 2,2 в следующем виде**): В предположениях (9.3.9) статистика U имеет дискретное распределение, сосредоточенное в 0^17^1. Приблизим его (непрерывным) р-распределением с теми же средним и дис- дисперсией. Говорят, что случайная величина X имеет ^-распреде- ^-распределение со ст. св. vi и V2 (или р-распределение с индексами \ч/2 *) Велч (Welch, I937, стр. 26—27), Питман (Pitman, 1937). **) Это полезное выражение дано Кемпторьом (Kempthorne, I952, стр. 142).
366 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ и vJ2), если при 0 ^ х ^ 1 X Vi-2 A-0 2 dt, где V,-2 Vi-2 С О A-0 Легко показать, что среднее и дисперсия р-величины равны *) Приравнивая их значениям M{U) и T)(U) и разрешая полу- полученные равенства относительно vi и V2, мы находим vi = = ф (/ — 1), v2 = Ф (/ — 1) (/ — 1), где ф= I— - . (9.3.15) Наше приближение перестановочного критерия Я, основанного на статистике U, состоит в том, что гипотеза Н отвергается в том случае, когда значение U для наблюдений выборки не меньше верхнего а-предела р-распределения с вычисленными выше ст. св. vi и V2- Если X есть р-величина со ст. св. vi и v2, то v2^/[vi(l — X)] является строго возрастающей функцией X и имеет F-распреде- ление со ст. св. vi и v2. Таким образом, отвергать Н при V, не меньшем верхнего а-предела р-распределения со ст. св. vi и V2, — все равно, что отвергать Н при У > Fa, v,, v2. Таким об- образом, наше приближение перестановочного критерия для про- проверки Н, основанное на статистике 9Г, равносильно видоизме- видоизмененному критерию в нормальной теории, получающемуся умно- умножением чисел степеней свободы F-распределения на множи- множитель ф. Множитель ф можно вычислить по наблюдениям {«/,/} с помощью (9.3.15) и -1 . (9.3.16) *) Их можно вычислить с помощью интегрирования по частям или же представляя М(Х*) в виде отношения полных ^-функций, выраженных через Г-фуикции; при этом надо использовать рекуррентную формулу Г(г+1) = = гГ(г).
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 367 Обычно, если нельзя пренебречь отклонением множителя ср от единицы, то оно положительно. Этот критерий, таким обра- образом, более чувствителен, чем обычный критерий в нормальной теории. Просматривая F-таблицы, нетрудно убедиться, что при a sg: 0,1 и v2 > 2 функция Fa, Vl, v,, убывает по vt и по v2; таким образом, значение статистики #", не значимое в обычном кри- критерии, может быть значимым в видоизмененном. Показано *) также, что C-распределение, подобранное по первым двум моментам V, имеет также близкие третьи и чет- четвертые моменты, если только V/J не близко к 1. Теперь мы дадим обоснование полученного приближения перестановочного критерия в том случае, когда технические ошибки {iijv} имеют произвольное распределение, подчиненное только условию М (ы/v) — 0. Рассмотрим условные распределе- распределения при данных {UjV}. В этом случае члены {u,v} в (9.3.6) яв- являются константами, а уравнение (9.3.6), описывающее струк- структуру наблюдений, можно записать в виде где i;.v = syv + u[v-uh, p; = р, + uh - и„, ц' = ц+ и„ и g;,= 0 при всех /, & = 0, так что условное распределение наблюдений та- такое же, как в (9.3.6), если {|/v} заменить на {l'jv}, {Р;} на {Р^}, ц на ц,', a {UjV} в (9.3.6) заменить нулями. Это условное рас- распределение U совпадает, таким образом, с распределением V в предыдущем случае, где {u/v} равны нулям, a {g/v} заменены на {|'v}: это последнее распределение U не зависело от ц или {Р;-}. В частности, если в определении дисперсии блоков а2ц мы заменим |/v на ?' то эти «условные» дисперсии блоков все еще определяются (9.3.16) в терминах наблюдений {г/i/}. Приближение к «условному» перестановочному критерию полу- получается, если числа степеней свободы критерия в нормальной теории умножаются на <р, вычисляемое с помошью (9.3.15) и (9.3.16). Фактически ср теперь есть случайная величина, ко- которая постоянна только по условному распределению. Однако если по условному распределению вероятность ошибки первого рода равна приблизительно а, то та же вероятность будет без- безусловной. Среди статистиков широко распространена уверенность, что критерии для средних**), построенные по обычной статистике Ф и F-таблицам (в нормальной теории), являются хорошим *) Питмаиом (Pitman, 1937, стр. 331—333); его коэффициент tf (M) A/Ч0 (M) @ **) Различие между критериями для средних и для дисперсий выясня- выясняется в § 10.2, в абзаце, следующем за формулой A0.2.8).
368 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ приближением точного перестановочного критерия, основанного на F-статистике соответствующей рандомизированной модели. Автор встретил трудности в попытках ясно сформулировать, в каком смысле понимать это приближение. В нормальной тео- теории мы отвергаем гипотезу с уровнем значимости а, если ЗГ ^ Fa> где Fa— константа, не зависящая от наблюденной вы- выборки у0. В точном перестановочном критерии мы можем гово- говорить, что мы отвергаем гипотезу, когда Ф~ ^ Fa (уо), где зна- значение Fa(yo) зависит от наблюденной выборки у0. Выше мы изучили, как приблизить Vа (уо) в схеме случайных блоков, ме- меняя числа ст. св. Fa в случае нормальной теории. Большинство доводов в пользу этой уверенности (о прибли- приближении перестановочных критериев критериями нормальной тео- теории) относится к случаям, когда наблюденная выборка уо под- подчиняется некоторым ограничениям*), например, из предыду- предыдущего следует, что это приближение будет хорошим, если функция ф от уо близка к единице, а это обычно так, когда V/J мало по сравнению с единицей. Эти доводы можно, вообще говоря, разбить на три группы: Во-первых, это опубликованные **) численные примеры (для частных уо), где есть близость Fa(y0) и Fa. Во-вторых, некоторые асимптотические вычисления. Легко доказать, что если в плане со случайными блоками увеличи- увеличивать число блоков /, оставляя фиксированным число «совокуп- «совокупностей условий» /, то предельное распределение статистики &~ в модели нормальной теории равно распределению %j_r Было доказано***), что если увеличивать / при фиксированном / *) Хефдииг (Hoeffding, 1952) доказал, что если в случайных блоках / увеличивается, а / постоянно, то при некоторых предположениях относитель- относительно последовательности распределений наблюдений «уровень значимости» Fa(y) перестановочного критерия (являющийся случайной величиной) схо- сходится по вероятности к константе. Отсюда он смог показать, что перестано- перестановочный критерий имеет асимптотически в некотором смысле ту же самую мощность, что и обычный F-крнтернй при конкурирующих гипотезах, обыч- обычных в моделях нормальной теории. Нам, конечно, более желательно было бы изучить эту мощность F-критерия при конкурирующих гипотезах, допустимых в рандомизированных моделях. **) Фишер (Fischer, 1935, §21), Велч (Welch, 1937, стр. 31), Пнтман (Pitman, 1937, стр. 334), Кемптори (Kempthorne, 1952, стр. 152), Идеи н Иэйтс (Eden, Yates, 1933). Результаты Идена и Иэйтса можно рассматривать как сравнение значений в /•'•таблице с оценками Fa(y0), полученными из эмпирических выборок перестановочных распределений статистики ЗГ для различных уровней а и единственного множества «наблюдений» уо (не дей- действительных наблюдений, а средних из множеств по восьми наблюдений в однотипных испытаниях со случайными блоками; они пользовались также z = -g-In??" вместо ИГ). К этой статье относится дискуссия между Нейма- Нейманом и Иэйтсом (Neyman, Yates, 1935, стр. 164, 165). ***) Вальд н Вольфович (Wald, Wolfowltz, 1944).
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 369 и если последовательность удовлетворяет некоторым ограниче- ограничениям, то перестановочное распределение статистики <Г имеет тот же предел. Аналогичные вычисления были проведены также для однофакторного анализа *). В-третьих, вычисления моментов. Моменты вычисляются обычно для преобразования U статистики #", проведенного выше, а именно V = SSH/(SSHX55e), где SSh и SSe являются соответственно SS числителя и SS знаменателя Sr. Мы рас- рассмотрим здесь лишь вычисление моментов для плана со случай- случайными блоками. Выше мы нашли, что М (?/) и D(f/) перестано- перестановочного распределения U, т. е. дискретного распределения, в ко- котором L выборкам из S(tfo) приписываются равные вероятности, даются формулами (9.3.10) и_(9.3.23). В нормальной теории при гипотезе Н статистика &~ = SSA/SSe имеет ^-распределение с G—1) и (/—1)(/ —1) ст. св.; поэтому U = SSA/(SSa + SSe) является р-величиной с теми же ст. св. Из (9.3.14) вытекает, что в нормальной теории Сравнивая эти выражения с (9.3.10) и (9.3.13), видим, что в обоих случаях M(U) одно и то же, a D(U) могут немного различаться, причем отношение D(U) в перестановочном рас- распределении к D(f/) в нормальной теории равно Если V/J мало по сравнению с единицей, то это отношение обычно близко к единице; оно точно равно единице, когда полу- полученный выше корректирующий множитель ф для чисел ст. св. равен единице. Получающееся хорошее соответствие (при Я) между пере- перестановочным распределением и распределением U (или, что равносильно @~ = 55^/55е) в нормальной теории несколько удивительно**), так как совместные распределения SSA и SSe *) Снлви (Silvey, 1954). **) Описываемое ниже явление не показалось удивительным аноним- анонимному читателю, который рецензировал рукопись_этой книги для издателя. Он указал, что совместное распределение SSa. и SSe в перестановочной теории можно рассматривать как условное при данных определенных условиях, нз которых вытекает, что_VaSSa_-)-veSSe — const Легко показать, что в нор- нормальной теории ?Г = SSA!SSe не зависит от SSA + SS^. Отсюда следует, что_в рамках нормальной теории условное распределена 9~ при данном vaSSa + \eSSe = const совпадает с безусловным, когда SSA и SSf незави- независимы.
370 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ в этих двух случаях сильно различаются. Обозначим в каждом из этих случаев_М (SSe) через а2. В нормальной теории распре- распределения SSa и SSe независимы с M(SSA) = M(SS~e) = o2, D (SSA) = 2vjW, D(SSe) = 2v^a4, где va = I — 1 и ve = (I—1)(/-—1); в перестановочном рас- пределении SSA и SSe полностью зависимы, так как vaSSa + + VeSSe = const, причем их моменты равны М (SSA) = М (SSe) = о2, DE5a) = 2vaVA-/-1)A-/"V), (9.3.17) D (SSe) = 2ve~ Vr' A - /~ V); (9.3.17) легко выводится из (9.3.13). Таким образом, SSa и SSe совпадают в обоих распределениях, ЭE5л) различаются весьма значительно (более чем в / раз). Показано*), что при V = 0 перестановочное распределе- распределение U хорошо согласуется с распределением в нормальной тео- теории по третьим и четвертым моментам. Очень мало известно о мощности F-критериев при конкури- конкурирующих гипотезах в рандомизированных моделях, не являю- являющихся таковыми в нормальной теории; кое-какую информацию дают только формулы для M(SS). Перестановочный критерий для латинских квадратов В модели, определенной формулой (9.2.1), не существует перестановочного критерия для проверки гипотез Нс, заклю- заключающейся в том, что а2с — 0, т. е. главные эффекты фактора С равны нулю. Однако мы можем найти перестановочный крите- критерий для проверки гипотезы Н, заключающейся в том, что фак- фактор С имеет все эффекты нулевыми в том смысле, что а2с = а2АС = а2вс = а2АВС = 0, а технические ошибки {ецк} обла- обладают следующим свойством: т2 величин {etjk}, осуществив- осуществившихся в эксперименте, распределены как т2 величин {еч}, рас- распределение которых не зависит от того, какие уровни С ком- комбинируются с уровнями Л и В; в частности, в случае (III) в на- начале § 9.2 совместное распределение {ец} для т2 эксперимен- экспериментальных объектов не зависит от того, как «совокупности усло- условий» поставлены в соответствие «объектам». Это совместное распределение {ец} подчиняется условию М(^)=0, а в ос- *) Питман (Pitman, 1937, стр. 333—335).
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 371 тальном произвольно*). При гипотезе Н наблюдение, сделан- сделанное при «совокупности условий», когда А находится на t-м уровне, В— на /-м, С — на k-м, имеет структуру Ущ ^» + af + af + af» + eit, (9.3.18) где a^ = af = а4р = а^в = 0 при всех i, /. Напомним читателю, что в ситуации типа (III) в начале § 9.2 [afP] являются ошиб- ошибками объектов (см. текст ниже (9.2.2)). Если латинский квадрат выбран случайно только из одного множества трансформаций, то в этом случае множество G пе- перестановок состоит из (т\K перестановок строк, столбцов и чисел. Если множество трансформаций было выбрано с опре1 деленными вероятностями из совокупности всех множеств трансформаций, то перестановочное распределение статистики и его моменты определяются, как и выше, для каждого множе- множества трансформации с последующим взвешиванием с теми же самыми вероятностями. Перестановочный критерий для проверки Я, основанный на %Г = SSclSSe, равносилен критерию, основанному на статистике U = SSc/(SSc -\-SSe), которая является строго возрастающей функцией от $Г; ее знаменатель постоянен для перестановоч- перестановочного распределения, так как члены, стоящие справа в SSC + SSe = 55полн - SSA - SSB + т2&„ постоянны. Точный вывод перестановочного критерия, по-види- по-видимому, будет самым простым, если его основывать на сумме квадратов для «чисел» (т. е. уровней фактора С), а именно на 2 ^*> гДе Tk — общая сумма т наблюдений, в которых к фактор С находится на уровне k. Число различных квадратов в множестве трансформации в т\(т—1)! раз больше числа стандартных квадратов в этом множестве. Так как наша ста- статистика инвариантна относительно т\ перестановок уровней С, то число ее различных значений, принимаемых с одинаковыми вероятностями при данном множестве трансформации, в \т— 1)! раз больше числа стандартных квадратов в этом мно- множестве. Систематически получить эти значения можно было бы, располагая наблюдения в квадрате, строки и столбцы кото- которого соответствовали бы уровням А и В; при этом надо, отправ- отправляясь от каждого стандартного квадрата множества трансфор- трансформаций, рассматривать (т—1)! квадратов, получающихся пере- перестановкой всех строк, кроме первой, из этого стандартного *) Эти предположения гораздо менее ограничительны, чем в § 9.2.
372 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ квадрата*). Мы, конечно, должны рассматривать сначала лишь те квадраты, которые могут дать нашей статистике значения, не меньшие наблюденного. При т = 4 существует два множества трансформации, в одном нз которых имеется один стандартный квадрат, а в другом — три; поэтому наша статистика прини- принимает 6 значений в одном множестве и 18 — в другом. Эти 24 значения будут равновозможны, если множества трансфор- трансформации выбираются с вероятностями, пропорциональными числу стандартных квадратов, содержащихся в них; это равносильно тому, что каждый из четырех стандартных квадратов выби- выбирается с одинаковой вероятностью. Критерий в нормальной тео- теории с обычными уровнями значимости, очевидно, будет очень плохим приближением перестановочного критерия, если т = 4. При т = 5 число значений F-статистики равно 56X4!= 1344. Из формул для MES) рандомизированных моделей в § 9.2 при о] = 0 вытекает, что M(U) в нормальной теории и в пере- перестановочном распределении совпадают. Была вычислена и D(t/), однако формулы**) столь сложны для численных рас- расчетов, что они непригодны для практического использования. Поэтому неосуществимым также является прием, который поз- позволял бы, вводя поправки ***) ст. св. критерия в нормальной теории, получать приближение к точному перестановочному критерию; для этого также нужно знать значение D(U). К со- сожалению, в настоящее время, по-видимому, единственным об- обстоятельством, указывающим на то, что критерий в нормальной теории не является слишком плохим приближением перестано- перестановочного критерия при т > 4, является наличие четырех числен- численных примеров, включенных в таблицу 9.3.2. Последний столбец дает приближенное значение вероятности того, что U > Uq при перестановочном распределении, если Uo равно 5%-ному *) В § 5.1 было установлено, что различные квадраты из множества трансформации можно получить из множества стандартных квадратов, содер- содержащихся в этом множестве трансформации, путем перестановок столбцов и всех строк, кроме первой. Здесь мы получаем их, переставляя «совокупности условий» и строки (кроме первой). Эти способы получения всех квадратов из множества трансформации равносильны, так как определение множества трансформации симметрично относительно строк, столбцов и чисел. Эти два метода, вообще говоря, связывают один и тот же квадрат с различными стандартными квадратами, однако каждый из них со стандартным квадра- квадратом связывает т\(т—1)! различных квадратов. Эти методы устанавливают различные соотношения эквивалентности квадратов в множестве трансфор- трансформаций. **) Велч (Welch, 1937, стр. 41); его иц соответствуют нашим aff и равны zii — zt* — г., + г*,, где zj/ — наблюдение в i-и строке и /-м столбце. ***) Бокс и Андерсен (Box, Andersen, 1955, стр. 13) и дали такие по- поправки в случае однофакторного анализа и, следовательно, в /-критерии для проверки различия средних; в их уравнениях C5) перед «Л = » должна быть вставлена запятая.
§ 9.3. ПЕРЕСТАНОВОЧНЫЕ КРИТЕРИИ 373 Таблица 9.3.2 *). Сравнение перестановочного критерия с критерием нормальной теории для трех искусственных примеров и трех испытаний иа равномерность I. II. III. IV. V. VI. Пример Искусственный пример Испытание на равномерность Испытание на равномерность Испытание на равномерность Искусственный пример Искусственный пример 4 4 5 6**) 6**) 6**) Отношение О (и) перестановочного распределения к т D (и) в нормальной теории 0,64 0,47 0,75 0,72 1,16 1,03 Приближенная вероятность в перестановочном распределении того, что U>Uo, где Uo—5%-иый уровень в нормальной теории — 0,029 0,027 0,062 0,053 *) Заимствовано нз On the z-test in randomized blocks and Latin squads, B. L. Welch, Blometrika, т. 29 U937), стр. 45. **) Примеры с m=6 были рассчитаны с помощью только двух нз 22 множеств транс- трансформаций, которые дают крайние значения некоторой константе, входящей в D (и). пределу в нормальной теории; это есть вероятность того, что &" > ^о,о5; m-i,(m-i)(m-2) в перестановочном распределении. При- Приближенное значение вычислено подбором к распределению О Р-распределения с такими же двумя первыми моментами (зна- (значения этих приближений при т = 4 опущены, так как дискрет- дискретное распределение, в котором приписаны одинаковые вероят- вероятности 24 возможным значениям U, очень плохо приближается непрерывным распределением на концах). Таким образом, учи- учитывая настоящее неудовлетворительное состояние наших зна- знаний, мы должны избегать пользоваться латинскими квадра- квадратами при т < 4, вычислять точный перестановочный критерий при т = 4 и пользоваться критерием нормальной теории при т > 4, если у нас есть подозрение в серьезном нарушении предположений нормальной теории. Замечание об интервальных оценках Предположим, что наблюдения в плане со случайными бло- блоками распределены так же, как при гипотезе Н, которую мы проверяли с помощью перестановочного критерия; разрешим только присутствие главных эффектов «совокупностей условий» {а,}, т. е. пусть уц определяется (9.3.6) плюс член (? предположения, связанные с другими членами
374 ГЛ. 9. РАНДОМИЗИРОВАННЫЕ МОДЕЛИ (9.3.6), остаются прежними. Тогда {уц — ос,} распределены так же, как tfij в (9.3.6); поэтому при любых истинных значе- значениях {а,} (/-1)/5;(^,-у„-о(J (9.3.19) SSe имеет такое же распределение, как статистика &~ = 55д/55е при гипотезе Н. Для любого данного а 5-метод множествен- множественного сравнения являе'тся точным, если а есть вероятность того, что (9.3.19) больше верхнего а-предела F-распределения с (/—1) и (/—1)(/—1) ст. св. Таким образом, этот 5-метод является хорошим приближением к случаю рандомизированной модели в том смысле, что номинальный уровень значимости, вычисленный для критерия проверки И в нормальной теории, сохраняется и в рандомизированной модели. Некоторые сооб- соображения в пользу этого были приведены выше. Однако улуч- улучшение этого приближения с помощью критерия нормальной теории с измененными числами ст. св. (с помощью множи- множителя ф) в случае оценок невозможно, так как выражение ф че- через наблюдения зависит от «условных» дисперсий блоков (/— I) X Z (liv + "/v — И/,J, которые являются известными функциями наблюдений лишь тогда, когда {а/} равны нулю или известны. Наши рассуждения неприменимы к Г-методу, так как он, в отличие от 5-метода, не связан с F-критерием. Мы можем попытаться обосновать 5-метод для латинских квадратов в рандомизированных моделях. Для этого надо к модели (9.3.18) добавить член а?, причем ?а?=0. Наши возражения против применения критерия нормальной теории при т =?Г 4 переносятся и на 5-метод. ЗАДАЧИ 9.1. Установите точную структуру наблюдений в схеме случайных бло- блоков при гипотезе отсутствия эффектов «совокупности условий» для (а) «кри- «критерия нормальной теории» и (б) перестановочного критерия. Для данных в схеме случайных блоков задачи 4.5 вычислите измененные числа ст. св., при которых (а) хорошо приближает (б). 9.2. Следующий план *) с латинскими квадратами применялся для изме- измерения влияйия применения четырех клеющих веществ на обрыв нитей осночы ткани; буквы относятся к четырем веществам, строки к четырем периодам *) Взято со стр. 66 Industrial Statistics, H. A. Freeman, John Wiley, New York, 1942.
ЗАДАЧИ 375 времени, а столбцы к четырем станкам, участвовавшим в эксперименте: 44 (D) 54 (А) 71 (С) 29 (В) 22 (С) 59 (В) 100 (D) 22 (Л) 31 (Л) 40 (С) 79 (В) 38 (D) 27 (В) 83 (D) 100 (/4) 29 (С) Используйте перестановочный критерий с уровнем значимости 0,05 для про- проверки гипотезы отсутствия эффекта вещества. (По критерию нормальной теории получается статистика #" с уровнем значимости 0,01.) 9.3. Рассмотрим сравнение Ф = а, — <ty. являющееся разностью главных эффектов в плане со случайными блоками, его оценку ¦ф=У/,— (/,',, /оце- /оценок {¦ф/ = у I/ — i/i'i}' образованных отдельно по блокам, и верхнюю оценку szIJ дисперсии D(if), образованную из ДО/} с помощью (9.1.14). Покажите, что среднее значение верхней оценки s2/J, осредненной по ¦?-/(/ —1) раз- разностям, равно 2SSe/J. Указание. Алгебраические выкладки при вычислении среднего аналогичны тем, которые проводятся при доказательстве леммы 2 в конце § 9.2. 9.4. Докажите, что если М = (ц,(/) есть такая (/ X Ji) -матрица, что прн некотором / </i в каждой (/ X Л -подматрице М сумма по строкам одина- одинакова (т.е. главные эффекты строк равны иулю), то строки равны (т.е. каж- каждая подматрица М имеет нулевые взаимодействия). Указание. Для доказательства того, что цгу = [х(.^ при всех (', I', /, до- достаточно доказать, что цп = ц^ для всех i, i', так как перестановка столб- столбцов не влияет на свойство равенства сумм по строкам. Далее, рассмотрите / + 1 подматриц, образованных первыми / + 1 столбцами М, кроме s-ro столбца (s = 1 / + 1). Выразите требуемые равенства в виде с( — |i, = /+1 = ct, — \x,{,s, где ct = ^ [х(., н просуммируйте их от s = 2 до У + 1.
Глава 10 ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ § 10.1. Введение В этой главе мы изучим влияние нарушения следующих предположений, принимавшихся в различных местах этой книги: (I) нормальность ошибок, а также нормальность слу- случайных эффектов в тех моделях, где они появлялись (гл. 7 и 8); (II) равенство дисперсий ошибок; (III) статистическая незави- независимость ошибок. Наше исследование не может быть исчерпы- исчерпывающим, поскольку нарушения могут быть очень многообраз- многообразными. Обычно мы будем исследовать только одно нарушение из трех. Мы не сможем исследовать все основные планы в мо- моделях, которые мы рассматривали. Некоторые из наших выво- выводов будут основаны на довольно маленьких числовых таблицах. Однако мы хотим попытаться убедить читателя в важности поднятых в этой главе вопросов, несмотря на то, что наше исследование следствий нарушения основных предположений будет неполным, и мы не сможем его поддерживать на уровне строгости, принятом в математике. Исследование влияния ненормальности удобно проводить с помощью мер *) Yi асимметрии и уг эксцесса распределения случайной величины х. Если среднее и дисперсию распределе- распределения обозначить \i и а2, то асимметрия у\ определяется как Yi = а~3М [ (х — |дK], а эксцесс у2 как у2 = 0~4М [ (х — цL] — 3. Эти меры не зависят от начала отсчета и масштаба (измеряе- (измеряемых соответственно ц и а2) распределения, т. е. если у = = с(х—а)—линейная функция от х, где а и с>0 — кон- константы, то х и у имеют одни и те же yi и у2- Для симметричных *) Иногда пользуются другими мерами асимметрии и эксцесса: Pi=Yi и Р2 "Ь Y2 "Ь 3. Для того чтобы указать знак асимметрии в |3-системе, \ч обычно обозначают как VPi. понимая под этим ± VPi. гДе знак совпадает со знаком Yi. Рассматривая асимметрию и эксцесс в этой главе, мы всегда будем предполагать, что соответствующие распределения имеют положитель ную дисперсию и конечные третий и четвертый моменты.
§ 10.1. ВВЕДЕНИЕ 377 распределений, очевидно, yi = 0. Положительные значения Yi указывают на то, что распределения «скошены вправо», т. е. правый хвост распределения в некотором смысле*) более «ве- «весом», чем левый. Для каждого распределения 72 s3= —2, а для нормального —у2 = 0. Пусть распределение симметрично, уни- унимодально и имеет плотность; если его «хвосты» более «весомы» по сравнению с нормальной плотностью, а центральная часть более заострена, то у2 > 0, если «хвосты» менее «весомы», а центральная часть более плоская (похожа на плечи), то Y2<0. Методом математической индукции нетрудно показать связь Yi и Y2 линейной комбинации N ^ A0.1.1) N независимых случайных величин {х/} с теми же коэффициен- коэффициентами отдельных {xj}. Пусть Xj имеет дисперсию сг2, асиммет- асимметрию Yi, / и эксцесс Y2, у- Обозначим X/ долю дисперсии с,-Х] в об- общей сумме 44 JV так что ?Яу = 1. Тогда Yi и \г величины v равны Yi = где знак ± совпадает со знаком с/, и Заметим, что разность двух независимых случайных величин с одинаковыми yi и одинаковыми дисперсиями имеет yi = 0. Это вытекает из A0.1.2); если положить там N = 2, d = = —с2 =1, сг| = а2, Yi. i = Yi, 2» то Yi = 0- Заметим также, что в случае, когда распределение линейной комбинации A0.1.1) приближается к нормальному при больших N, ± °о *) Иначе говоря, мы можем назвать \ (х — \iYdF(x) «весом» «хвоста» и. распределения (здесь F(x) обозначает функцию распределения я); при этом мы используем +оо для правого «хвоста» и —оо — для левого «хвоста?.
378 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИИ формулы A0.1.2) и A0.1.3) дают некоторое указание на скорость сходимости, т. е. показывают, как быстро Yi и Y2 величины A0.1.1) приближаются к нулевым значениям, имеющим место при нормальном распределении. Например, если все {с)о2<\ равны и все {с/} положительны, то Я/ = N~\ поэтому Yi = W~V>Yi , и Y2 = W~'y2 *• (Здесь Ym,* обозначают среднее из {Ут, lYm,2 Ут.Щ.) Для того чтобы иметь некоторое представление о том, какие значения (Y1.Y2) встречаются в приложениях, упомянем о де- девяти эмпирических распределениях*), связанных с техниче- техническими данными; каждое из них основано на нескольких сотнях измерений, проведенных в Bell Telephone Laboratories. Полу- Полученные в них оценки у\ изменяются от —0,7 до +0,9, а уг— от —0,4 до 1,8. Стьюдент (Student, 1927) нашел, что ошибки хи- химических анализов обычно имеют положительное уг; он приво- приводит также пример одного распределения из 100 измерений с оценкой Y2, равной 7. Положительное уг распределения оши- ошибок можно объяснить наличием случайных грубых ошибок. За- Заметим, что при равномерном распределении, которое обычно принимается для ошибок округления в численных расчетах, Y2 = —1. 2. Выпишем некоторые другие значения**) (уьТ2)» полученные при обработке очень большого числа индивидуумов A0 000 и выше): B,0; 6,3) для распределения возраста невест, выходивших замуж в Австралии в период 1907—1914 гг.; B,0; 5,3) — то же самое для женихов; @,3; —0,6)—распределение возраста матерей при рождении детей в Австралии в 1922— 1926 гг.; @,7; 0,6) — то же самое для отцов; @,5; 0,4)—для барометрического давления в Гринвиче за 1848—1926 гг.; (—0,9; 1,8) — для длины бобов (семян, а не стручков) некото- некоторой чистой линии; (—0,4; 0,6) —то же самое для ширины. Первые четыре момента популяции не определяют, конечно (даже приближенно), выборочные распределения всех стати- статистик, представляющих практический интерес (например, выбо- выборочных квантилей, выборочных третьего и четвертого момен- моментов). Однако мы увидим, что значение уг и, в меньшей степени, значение yi для ошибок (и для случайных факторов, если они присутствуют) являются при настоящем состоянии наших зна- знаний наиболее важными показателями, с помощью которых опре- определяется влияние ненормальности на обычные выводы диспер- дисперсионного анализа. При обсуждении нарушений предположения независимости удобно рассматривать простую модель серийной корреляции *) Эти распределения собраны Шухартом; значения опубликованы Пир- Пирсоном (Е. Pearson, 1931). **) Преториус (Pretorius, 1930).
§ 10.2. НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ПОДСЧЕТЫ 379 случайных величин Х\, Х2, ..., хг, эта модель подходит к тем случаям, когда измерения располагаются последовательно во времени или пространстве. Мы будем говорить, что {xt} имеет коэффициент серийной корреляции*) р, если коэффициент кор- корреляции между xt и Xi+\ равен р при i= 1, 2, ..., /— 1, а все остальные коэффициенты корреляции равны нулю. Не все зна- значения — l^p^l теоретически возможны, так как (/X/)- матрица коэффициентов корреляции, так же как ковариацион- ковариационная матрица, должна быть положительно определенной**); не- 1 . .1 трудно показать, что все значения из интервала —у ^ р ^-«• возможны. Построим следующий искусственный пример. Пусть Xi = zi + cZi+\, где z\, ..., 2/4-1 — независимые случайные вели- величины с одинаковыми дисперсиями, а с — константа. В этом слу- случае р = с/A + с2); легко видеть, что при изменении с от —1 1 . 1 до 1 р принимает все значения от —у до + у- В сериях из 100 анализов для каждого из пяти различных химических свойств, производимых ежедневно (в течение после- последовательных пятидневок) с выборками из одной партии хорошо перемешанного материала, Стьюдент A927) вычислил следую- следующие коэффициенты корреляции между последовательными ана- анализами: 0,27; 0,31; 0,19; 0,09; 0,09. Он отметил также, что он никогда не видел такие коэффициенты отрицательными. В слу- случае последовательных измерений выхода некоторого продукта производственного процесса, измеряемого после очередного освобождения сосуда, появляется отрицательная серийная кор- корреляция; причиной этого является флуктуация количества про- продукта, остающегося в сосуде после его освобождения. § 10.2. Некоторые элементарные подсчеты влияния нарушения предположений Все расчеты этого параграфа сделаны для того случая, когда число ст. св. ошибок очень велико. Это позволит нам получить элементарным путем все те выводы, которые позднее мы установим в общем случае, когда число ст. св. ошибок не обязательно велико. Если мы найдем, что в нашем частном случае некоторое нарушение предположений приводит к серьез- *) Это коэффициент серийной корреляции на расстоянии 1; коэффнци- №т корреляции между X; и Xi+!l называется коэффициентом серийной корре- корреляции на расстоянии h; таким образом, мы полагаем эти коэффициенты рав- равными нулю при h > 1. **) Необходимым и достаточным условием положительной определенно- определенности этой матрицы является |р| ^ {2 cos[jt/(/ -f- 1)]}~'; это неравенство мож- можно получить из результата Гренандера и Розенблатта (Grenander, Rosenblatt, 1956, стр. 101-102).
380 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ ному влиянию на выводы, то эти выводы будут несправедливы и в общем случае. Однако если нарушение не имеет серьезного влияния на выводы в нашем частном случае, то необходимо еще исследовать его в общем случае. Мы начнем со случая единственной выборки. Пусть {у\, У2,---,уп} — случайная выборка из популяции со средним ц, дисперсией а2 и эксцессом у2 (см. § 10.1). Если популяция нормальна, то мы имеем простейший случай общей теории гл. 2. Исследуем теперь влияние нарушения нормальности на выводы относительно среднего ц. В нормальной теории эти выводы обычно основываются (в случае доверительных интер- интервалов) на центральном ^-распределении случайной величины где у* и s2 = SSe равны выборочным средней и дисперсии, или же (в случае проверки гипотезы Н: \i = цо) на нецентральном /-распределении (напомним, что в приложении IV определение нецентрального распределения включает и центральное распределение). В слу- случае, когда мы используем равные «хвосты» /-распределения, наши методы эквивалентны методу доверительного «эллип- «эллипсоида» (в нашем случае интервала с центром у) для ц, осно- основанного на t2, которое в нормальной теории имеет центральное F-распределение, и F-критерию, основанному на г, которое в нормальной теории имеет нецентральное F-распределение. Если число п— 1 ст. св. ошибок велико, то s можно в A0.2.1) и A0.2.2) заменить*) на а. Далее, по центральной предельной *) Так как s сходится по вероятности к а, то предельное распределение A0.2.1) или A0.2.2) остается тем же при замене s на а (см. Крамер (Cra- (Cramer, 1946, § 20.6)). Сходимость s2 по вероятности к а2, а следовательно и s к а, вытекает из задачи JV. За. Аналогичным образом можно строго дока- доказать возможность замены SSe на о2. Заметим, что выражению «х распреде- распределено N \an, 6П) прн больших п» можно дать следующее точное математи- математическое определение. В сущности мы рассматриваем случайную величину х = хп, распределение которой зависит от n — N, N-\-l, N-\-2, ..., при некотором данном N. Предыдущее утверждение означает, что для последо- последовательностей констант {а„} и {&„} прн я-voo для каждого фиксированного t.
§ 10.2. НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ПОДСЧЕТЫ 381 теореме*) га'/г (yt — ц)/сг при больших га распределено N@, 1). Учитывая эти два результата, мы получаем, что при больших га отношение A0.2.1) распределено jV(O, 1), а отношение A0.2.2) распределено jVF, 1), где б равно параметру нецентральности 6 _ /г'/г (ц - }хо) а При больших га распределения t и f не зависят, таким образом, от популяции. Поэтому выводы о среднем ц, справедливые в нормальном случае, должны быть правильными для боль- больших п при любых видах популяции**). Совсем иную картину мы имеем при выводах относительно а2. Выводы ***) относительно сг2 в нормальной теории основы- (п— l)s2 . , ваются на распределении ^—, равной %n_v или величины s2/g2, равной xl-i/(n— 1).Для этого распределения М(~ ) = 1, A0.2.3) Уже отсюда мы можем видеть, что при сильно отличающихся от нуля у2 при любых га все сильно меняется, так как, хотя A0.2.3) остается тем же, вместо A0.2.4) мы имеем из C.8.1) Отношение A0.2.5) к A0.2.4) равно При больших п это отношение приближается к 1 +-^Y2. a s2 становится нормальным ****). Отсюда следует, что при боль- больших га Г-^-п—) (~ — И распределено как N (о, 1 -J—о" "V2 J; *) Крамер (Cramer, 1946, § 17.4). **) Мы предполагаем конечность у2, однако, настоящее утверждение можно доказать при условии конечности только а2. ***) Вычисление мощности критерия для проверки гипотезы а2=СТ2 основано на распределении s2/o^, но эта величина равна s2/a2, умноженной 0/9 иа сг/од. ****) Крамер (Cramer, 1946, § 28.3). При строгом подходе возникает во- вопрос о том, можно ли дисперсию предельного закона заменять пределом дисперсии; однако теорема Крамера непосредственно дает нужный резуль- результат, если в следующей ниже формуле п — 1 заменить на п.
382 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ в общем случае это распределение отлично от N@,1) (получаю- (получающегося в нормальной теории),' когда уг = 0. Если у2 сильно от- отличается от нуля, то это является очевидной причиной серьезных ошибок при определении доверительного коэффициента, уровня значимости и мощности по нормальной теории. Например, если при больших п мы воспользуемся доверительным интервалом с доверительной вероятностью 1 — а для а2, полученным по нормальной теори л, то вероятность того, что интервал не по- покроет а2, будет рав а вместо 2Bя) 2Bя) а/2 A0.2.7) A0.2.8) Здесь 2а/2 означает верхний A0.2.8), а -предел N@,1), определенный Некоторые значения этой вероятности при а = 0,05 показаны в таблице 10.2.1. В таблице 10.2.1 даны вероятности ошибок первого рода для обычного двустороннего критерия гипотезы с2 — а\ при номинальном 5% уровне значимости. Таблица 10.2.1. Влияние ненормальности на истинную вероятность того, что номинальный 95% доверительный интервал <Г2 не покрывает истинное значение о2 при больших п Ya Вероятность — 1,5 9-Ю -1 0,006 -0,6 0,024 0 0,050 0,6 0,080 1 0,11 2 0,17 4 0,26 7 0,36 Мы будем называть выводы, относящиеся только к посто- постоянным эффектам уравнения модели дисперсионного анализа, «выводами о средних», а выводы, относящиеся только к случай- случайным эффектам, «выводами о дисперсиях». Примерами выводов о средних являются критерии для гипотез, относящихся к по- постоянным главным эффектам и взаимодействиям, доверитель- доверительные эллипсоиды функций, допускающих оценки, S- и Г-методы множественного сравнения. Примерами выводов о дисперсиях
§ T0.2. НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ПОДСЧЕТЫ 383 являются доверительные интервалы для дисперсии ошибки о2е, для компоненты дисперсии а2А, где А — случайный фактор, или для отношения компонент дисперсий, и критерии равенства дис- дисперсий. Результаты, установленные нами в случае единственной выборки, будут сохраняться в каждом разобранном случае, причем причина этого в основном остается прежней. Нарушение нормальности оказывает слабое влияние на выводы о средних, но очень опасно при выводах о дисперсиях*). Причина этого явления состоит в следующем. В обоих случаях выводы о параметрах (средних и диспер- дисперсиях) основываются на распределении отклонений (в некотором смысле) оценок от своих параметров (это отклонение в нашем примере является разностью для \к, отношением для а2). Од- Однако, в то время как в случае средних наблюденное отклонение измеряется его отношением к оценке ошибки, вычисленной по наблюдениям (а это справедливо и без предположения нор- нормальности), в случае дисперсии оно измеряется сравнением с некоторой процентной точкой теоретического распределения, вычисленного в предположении, что эффекты, связанные с на- нашими дисперсиями, нормальны; это теоретическое распределе- распределение имеет вычисленное нами математическое ожидание и, по крайней мере при больших п, принятую нами форму, но если уг эффектов отличны от нуля, то это распределение имеет другое рассеяние. Другими словами, в случае средних мы пользова- пользовались критериями, «стьюдентизированными» вторыми моментами оценок, а в случае дисперсий — нет. Чтобы показать возможное влияние нарушения предположе- предположения независимости, изменим предыдущий пример, считая наблю- наблюдения {г/,} серийно коррелированными с серийным коэффици- коэффициентом корреляции р, введенным в конце § 10.1. Для упроще- упрощения мы будем предполагать, что п наблюдений совместно нор- нормальны, так что {г/;} имеют многомерное нормальное распре- распределение с М (г/,) = |г, D (г/г) = а2, коэффициент корреляции г/, и г/,+1 равен р для i — 1, .... п— 1, а остальные коэффициенты корреляции равны нулю. Тогда выборочное среднее г/* нор- нормально; для у* и выборочной дисперсии s2 легко вычислить М (*/*) = ц, *) Это явление было замечено Е. Пирсоном (Е. Pearson, 1931); причины его установлены Боксом (Box, 1953).
384 ГЛ 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ Последнюю формулу можно получить, вычисляя сначала мате- п п п п матическое ожидание от ^(у,— уЛ2 = Y, у2-— п~1 ? И У/У^ (при этом мы можем предположить, что М(г/<) = 0 и M(z/2) = or2) и полагая затем математические ожидания в двойной сумме равными нулю, за исключением п членов i = i' (они равны а2) и 2(п—1) членов, в которых i и i' разнятся на единицу (они равны рог2). Мы уже знаем, что уровни значимости и доверительные ве- вероятности, вычисленные на основе обычной нормальной теории, при выводах о ц основываются на отношении A0.2.1), имею- имеющем ^-распределение с п — 1 ст. св., а следовательно, распре- распределенными N@,1) при больших п. Опустим в A0.2.9) член порядка 1/ге2. В распределении от- отношения вида A0.2.1) при больших ns2 можно заменить на его математическое ожидание а2, а следовательно, s на ст; приме- применяя формулы A0.2.9), мы находим, что A0.2.1) имеет при больших п распределение N@,1 +2р) вместо N@,1). Вероят- Вероятность того, что доверительный интервал с номинальной довери- доверительной вероятностью 1 — а не покрывает ц, а также вероят- вероятность ошибки первого рода двустороннего критерия для про- проверки ц с номинальным уровнем значимости а даются форму- формулой A0.2.7) с ? = A+2р)'/2. Когда р приближается к — j, эта вероятность приближается к нулю. Когда р приближается к у2, эта вероятность приближается к 0,17, если а = 0,05. Не- Некоторые другие значения показаны в таблице 10.2.2, из которой видно, что серийная корреляция может серьезно влиять на вы- выводы о средних. Таблица 10.2.2. Влияние серийной корреляции на истинную вероятность того, что номинальный 95% доверительный янтервал Ц не покрывает истинное значение Ц при больших п р Вероятность —0,4 1 • 10~5 -0,3 0,002 —0,2 0,011 -0,1 0,028 0 0,050 0,1 0,074 0,2 0,098 0,3 0,12 0,4 0,14 Простейший пример, на котором мы можем увидеть влияние нарушения предположения о равенстве дисперсий ошибок, со- состоит из двух выборок. Рассмотрим однофакторный анализ, состоящий из двух групп объема ]\ и /2- Предположим, что две случайные выборки {#«ь#«2>....#ш}, t=l, 2, независимы и имеют средние ц,-, дисперсии ст? и эксцессы у2, и Обозначим г/,* и s)(i=l, 2) выборочные средние и выборочные дисперсии.
§ 10.2 НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ПОДСЧЕТЫ 385 Будем предполагать, что /i и /2, а следовательно, ii n = /i + /2, велики; под выражением «для больших п» мы будем понимать «для больших /i и /2». Обозначим /? = —, 0 = -у- отноше- /2 а2 ния объемов выборок и дисперсий. Обычные доверительные ин- интервалы, построенные по нормальной теории для разности сред- средних Д = \i] — ц2, или обычные вычисления уровня значимости критерия для гипотезы Д = До основаны на отношении у'*~у2*-д—, A0.2.10) которое при o\ — g\ имеет ^-распределение с п — 2 ст. сз., а при больших п имеет распределение N@, 1); здесь SSe полу- получается из объединенного SS для ошибок ее — ^ ' / i ' \ г ) г /in 9 111 е /,+ Уа-2 4 *" При больших п величина г/,* имеет распределение N(\it, и]/ поэтому числитель A0.2.10) имеет распределение N @, Jf[o\ + ^2~1(J2)- В знаменателе A0.2.10) мы можем заме- заменить *) si на а\ и s\ на ъ\, которые входят з SSe по формуле A0.2.11). Полагая /t =/?A+#)-'«, /2 = A + R)~lп, а\ = Ъа\ и пренебрегая членами порядка l/п, мы находим, что при больших п отношение A0.2.10) имеет распределение N@, @ + R) (RQ + I)). Если объемы выборок равны (/?=1), то это отношение при больших п распределено ./V@, 1), т.е. так же как в нормальной теории при равных дисперсиях, хотя эти две популяции могут быть ненормал-ьными, а дисперсии нерав- неравными. Это означает, что вычисленные в предположениях нор- нормальности и равенства дисперсий доверительные вероятности и уровни значимости остаются при больших п справедливыми и з том случае, когда эти предположения нарушаются, если только рассматривается однофакторный анализ с двумя рав- равными группами. Влияние неравенства дисперсий (9=^1) на истинные ве- вероятности, соответствующие номинальной доверительной ве- вероятности 1—а и номинальной вероятности ошибки первого рода а, мы можем изучить при больших п, полагая в A0.2.7) 9+1? V/» *) Статистика SSe сходится к A + R)~l (/?6+ 1) а|, по вероятности, если я->- оо, a R и 0 постоянны. 13 Г, Шеффе
386 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ При а = 0,05 некоторые значения показаны в таблице 10.2.3. Предельные значения 0 = 0, оо, конечно, недосягаемы, однако они дают возможность установить границы поведения вероят- вероятностей в каждой строке; аналогичную роль играет R = оо в каждом столбце. Таблица 10.2.3. Влияние неравенства дисперсий ошнСок н неравенства объемов групп на истинную вероятность того, что 95% доверительный интервал для (ij — Ц2 не покрывает истинное значение при больших п 0 — отношение дисперсий, R — отношение объемов групп ^\ е Г 2 5 оо *) 0*) 0,050 0,17 0,38 1,00 1 5 0,050 0,12 0,22 0,38 1 2 0,050 0,080 0,12 0,17 • 0,050 0,050 0,050 0,050 2 0,050 0,029 0,014 0,006 5 0,750 0,014 0,002 ыо-6 со») 0,050 0,006 ыо-5 0 *) Недостижимые предельные случаи показывают границы изменения вероятности. Мощность критерия для проверки гипотезы Д = До зависит от распределения A0.2.10), в котором Д заменено на До. Рас- Рассуждая так же, как и раньше, мы находим, что это распреде- распределение при больших п нормально со средним Д-До A0.2.12) где (o2),w — взвешенное среднее {а2,} с весами Jt И с дисперсией (9 + /?) A0.2.13) Если дисперсии равны d\ = вращается в = o2, то среднее A0.1.12) пре- преA0.2.14) а дисперсия A0.2.13)—в единицу. Если мы проведем вычисле- вычисления так, как будто а\ и о\ равны и имеют общее значение а2, то, для того чтобы A0.2.14) совпало с A0.2.12), мы должны заменить и2 в A0.2.14) на (а2)*ш. Однако если условие равен-
§ 10.2. НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ПОДСЧЕТЫ 387 ства дисперсий нарушено @ 9^= 1), результат вычисления мощ- мощности будет правильным тогда и только тогда, когда объемы групп одинаковы (R = 1), так как в других случаях дисперсия A0.2.13) отлична от единицы, как это требуется для правиль- правильного результата. Случай двух равных групп очень благоприятен в смысле устойчивости против нарушений условия равенства дисперсий, так как при больших п влияние этого нарушения равно нулю. Рассмотрим теперь случай / групп в однофакторном анализе. Мы найдем, что в модели с постоянными факторами наруше- нарушение условия равенства дисперсий оказывает некоторое, хотя и небольшое, влияние и при равных объемах групп, если Предположим, что случайные выборки {уи, ¦ ¦ ¦ ,уш), t = 1, ...,/, независимы, имеют средние ц,-, дисперсии а) и экс- эксцессы 1>2, /• Вычисления в гл. 3 (произведенные в условиях нормальности {г/г,} и равенства {<?]}) уровня значимости F-кри- терия для гипотезы \ц = цг = • • • = уч, доверительных эллип- эллипсоидов /—1 независимых сравнений {\ц} и S-метода множе- множественного сравнения для {ц,} основаны на отношении ^ ' V A0.2.15) (оно имеет ^-распределение с /—1 и ? (J{—1) ст. cb.V в котором -О. а Hi* и s) ~ выборочные среднее и дисперсия «-й группы. Предположим теперь, что {/;}, а следовательно и п —Х!/?> велики*); при этом мы будем просто говорить, что «велико п». Мы можем, рассматривая распределение A0.2.15), заменить s] в SS на а]', так как п велико, то мы можем заменить SSe на (сг2)^ —-^ среднее взвешенное {а2} с весами {/,}. i Мы можем применить к {у,} центральную предельную теорему, *) Мы произведем асимптотические расчеты при я-э-оо и постоянных }• 13*
388 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЯ по которой {vi} независимы и распределены М@, or2//,); таким образом, при больших п A0.2.15) распределено как (Ю.2.16) Для вычисления среднего и дисперсии S = ? h (vi — $f при- i меним лемму конца § 7.6. После небольших выкладок резуль- результат можно выразить следующим образом. При больших п ма- математическое ожидание случайной величины A0.2.16) равно где (с?),и — невзвешенное среднее {а|}, а ее дисперсия равна A0.2.18) где Vu и Vw — квадраты невзвешенных и взвешенных коэффи- коэффициентов вариации 1а2^, т. е. vB= j , vw= y-j- . w В предположениях нормальности и равенства дисперсий A0.2.15) распределено при больших п как (/—l)^, с ма- математическим ожиданием единица и дисперсией 2/(/—1). Из формулы A0.2.17) видно, что A0.2.16) будет иметь то же самое математическое ожидание (единицу) в общем случае тогда и только тогда, когда взвешенное среднее (от2)*,» равно невзвешенному среднему (а2)*„ Это условие будет выполняться для всех |о^| тогда и только тогда, когда все {/,-} равны. Если все {/;} равны, то Vw = Vu и дисперсия A0.2.18) превра- превращается в Если / = 2 или если {ог^ равны, то Уи = 0; тогда A0.2.16) имеет номинальную дисперсию 2/A—1); в остальных случаях дисперсия будет больше номинального значения (из-за множи- множителя, стоящего в скобках в A0.2.19)). Некоторое представление о величине этого множителя можно получить из первого, вто- второго и последнего столбцов таблицы 10.4.2 (приведенной ниже),
§ 10.2. НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ПОДСЧЕТЫ 389 где даны его значения для некоторых множеств {о-Л. При боль- больших п A0.2.16) представляет собой квадратичную форму / центрированных нормальных величин {vi\, и поэтому распре- распределено как линейная комбинация независимых величин %2 (за- (задача V. 2). Эта случайная ^личина неотрицательна; пока- показано*), что в этом случае хорошее приближение к ее распре- распределению дает распределение су^, причем константа с и число ст. св. v подбираются так, чтобы совпадали первые два мо- момента. Отсюда и из A0.2.19) вытекает, что истинные вероятно- вероятности ошибок первого рода, ошибок в доверительных эллипсоидах и S-методе множественного сравнения больше номинального значения а, если в однофакторном анализе**) объемы групп равны, а дисперсии не равны (величину этого превышения можно вычислить с помощью только что установленного при- приближения). Вычисление мощности, по-видимому, менее элементарно. Однако правило вычисления MES) в начале § 10.4 наводит на мысль, что при равных {/,•} мощность приближенно равна той мощности, которую можно вычислить в предположении равных дисперсий, если в правиле I § 2.6 заменить а2 на сред- среднее (о2) ьи- Наш последний пример касается влияния ненормальности в модели со случайными факторами. Рассмотрим простейший пример (из § 7.2) однофакторного анализа с / группами по / наблюдений в каждой. В этом случае уравнение модели равно уц = ц + а{ + еф A0.2.20) где ц — генеральное среднее, {а*} — главные эффекты фактора ^> {е</} — ошибки; предполагается также, что {ai) и {е,;} пол- полностью независимы. Предположим, что {а,} является случай- случайной выборкой из популяции эффектов с нулевым средним, дис- дисперсией a\ и эксцессом у2,а, а {е,,}—случайной выборкой из популяции с нулевым средним, дисперсией сг* и эксцессом у2, <?• В этом случае S5 равны ES^^VrEX *) См. Бокс (Box, 1954a, таблица I, стр. 294). **) Это верно также и в двухфакторном анализе, когда числа наблюде- наблюдений в ячейках равны и велики (задача 10.7), однако это, вообще говоря, неверно, если в двухфакторном анализе имеется по однэму_ наблюдению в ячейке; в этом случае в знаменателе У стоит остаточный 5S, а не SS, вы- вычисленный по ячейкам.
390 ГЛ- 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЯ где vi = ai + е„. A0.2.21) Напомним, что в нормальной теории SSe и SSA независимы, SSe равно al%2elve> где ve —/(/—1), SSa равно (о2е + JaA)%2I_l/(I — 1); отсюда мы получаем, что A + JQ)~lSS. —щ— A0-2-22) равно Fi-i,ve, если обозначить 9 = —j. На этом распределе- распределении основано обычное вычисление доверительных интервалов для 9 и вероятностей ошибок обоих родов при проверке гипо- гипотезы: (^ = 0, или более общей гипотезы: 0 ^ const. Исследуя распределение A0.2.22) при больших /, мы обна- обнаружим существенное расхождение между двумя случаями: о2А = 0 и (Тд > 0. Если о2А = 0, то распределение A0.2.22) должно совпадать с распределением статистики SF для про- проверки гипотезы равенства средних в модели с постоянными факторами, рассмотренной выше, когда все {/*} равны / и все {сг?} равны и2е; в этом случае структура наблюдений A0.2.20) дается только что описанной схемой. Но мы видели, что в этом случае наша статистика при больших / распределена так же, как и в предположении нормальности. Отсюда следует, что ненормальность при больших / не влияет на вероятность ошибки первого рода при проверке гипотезы иА = 0. Если о\ > 0, то мы, исследуя распределение A0.2.22), за- заменяем опять SSe на а], и рассматриваем распределение A0.2.23) которое можно записать*) з виде s^ = (/—1) lYJ(vi — v^f, и oi = о а -Ь J ло\. Таким образом, si распределено как выбороч- выборочная дисперсия случайной выборки объема / из популяции {о}; поэтому в силу A0.2.5) *) Следующие ниже вычисления при больших / можно упростить. Для этого надо заменить е,„ на 0, так как е,ч сходится к нулю по вероятности, и опустить члены порядка J~'. Я предпочитаю предложенное вычисление, так как она дает правильное значение дисперсии SSa при всех /.
I 10.3. ИССЛЕДОВАНИЕ ВЛИЯНИЯ НЕНОРМАЛЬНОСТИ 391 Из формулы A0.1.3) с N — J-\-l, Xj = eij, ct = I~l для / = 1 /, хц == ai и Си = 1 вытекает 9 у у»,. ) Таким образом, среднее A0.2.23) такое же, как в нормальной теории, а дисперсия, вообще говоря, отличается, завися от экс- эксцессов Y2, а и V2, е\ при больших / она равна При больших / мы приходим в этом примере к следующему заключению. Если эксцесс уг, л случайного фактора А равен нулю, то ненормальность этого фактора или ошибок не влияет на выводы относительно ^ = o2Ajo\\ но если уг, л Ф 0, то дове- доверительная вероятность 1 — аи вероятности ошибок обоих ро- родов изменяются, за исключением вероятности ошибки первого рода при проверке гипотезы о2А = 0. Если доверительная ве- вероятность равна 1 — а, а уровни значимости а, то истинное а будет меньше номинального а, если у2, л < 0, и больше, если V2,л > 0, причем величина этого влияния*) растет вместе с ве- величиной V2, А- Следствия из примеров этого параграфа можно кратко ре- резюмировать так. (I) Ненормальность почти не влияет на вы- выводы о средних, но серьезно влияет на выводы о дисперсиях случайных факторов, эксцессы у2 которых отличны от нуля. (II) Неравенство дисперсий в ячейках классификации мало влияет на выводы о средних, если числа наблюдений в ячейках равны, и сильно влияет, если они не равны друг другу. (III) Корреляция наблюдений может оказывать серьезное влияние на выводы о средних. § 10.3. Дальнейшее исследование влияния ненормальности В этом параграфе мы будем предполагать, если не огово- оговорено противное, что все ошибки имеют одинаковые асимметрии Yi.« H одинаковые эксцессы у% е- Мы начнем изложение с иссле- исследования влияния ненормальности на точечные оценки. Напо- Напомним читателю, что в прошлых главах мы установили, что не- ненормальность не нарушает свойства несмещенности наших точечных оценок функций, допускающих оценку (§ 1.4), а также наших точечных оценок компонент дисперсий. Однако ненор- *) Ее можно приближенно вычислить, считая A0.2.23) приближенно равным С%у, а Сиу определяя из первых двух моментов A0.2.23).
392 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ мальность делает, вообще говоря, неверными формулы, выве- выведенные в нормальной теории для дисперсий точечных оценок компонент дисперсий; эти формулы основываются на том, что средний квадрат распределен как величина, кратная %2, а это распределение, как мы видели в предыдущих примерах, яв- является плохим приближением, если эксцесс у2 не равен нулю. Дисперсии и ковариации точечных оценок в модели со слу- случайными факторами были вычислены *) без предположения нормальности в следующих случаях: в однофакторном анализе с неравными группами, в двухфакторном и многофакторном анализе с равными числами наблюдений в ячейках, в плане с латинскими квадратами, в сбалансированных неполных бло- блоках; во всех этих случаях предполагалось, что взаимодействия равны нулю**). Вид получающихся формул мы проиллюстри- проиллюстрируем на случае однофакторного анализа с равными группами (в предположениях последнего примера § 10.2). Если через д2А и а| обозначить оценки компонент дисперсий б\ = Г' (SSA - SSe), al = SSe, то для получения D F^) надо к формуле G.2.16), полученной в нормальной теории, добавить член Гху2, Аал> Для получе- получения D(o'g) надо добавить к G.2.15) член I~lJ~1y2, eae> ковариа- ция CovF2A, о2,) остается равной G.2.16а) без изменений. В общем случае дисперсия оценок компонент дисперсий зависит от дисперсии а2 и эксцессов у2 различных эффектов и ошибок. Если числа наблюдений в ячейках одно-, двух- и многофакторном анализе равны, то ненормальность ошибок мало влияет на результаты, так как в этом случае дисперсии оценок компонент дисперсий, отличных от компоненты ошибок Ь\, не зависят от эксцесса ошибок. В критериях проверки гипотез больше всего изучено влия- влияние ненормальности на ошибки первого рода. Имеется много результатов о влиянии ненормальности на /-критерии; приведем некоторые из них. Из многих выборочных экспериментов с не- ненормальными распределениями был сделан вывод***), что кри- *) Тьюки (Tukey, 1956, 1957а); некоторые из этих результатов были опубликованы раньше Хаммерсли (Hammersley, 1949). Тьюки получил ре- результаты в более общей форме, чем мы их даем здесь (они включают также случай, когда эффекты выбираются из конечных популяций). **) Тьюки (Tukey, 1956) в тех случаях, когда он не полагает взаимо- взаимодействия нулевыми, предполагает, что они полностью независимы, а это, как мы внделн в § 7.4, в случае ненормальности нереально. Хук (Нооке, 1956) получил некоторые результаты при более естественном предположении о взаимодействиях, но они очень сложны. ***) Пирсон (Е. Pearson, 1929, 1931).
§ 10.3. ИССЛЕДОВАНИЕ ВЛИЯНИЯ НЕНОРМАЛЬНОСТИ 393 терии, основанные на |/| или t2 и применяемые для выводов о среднем одной популяции (они эквивалентны F-критериям с 1 ст. св. в числителе), нечувствительны к асимметрии yi оши- ошибок; это не так в случае, когда t используется для проверки односторонней гипотезы. Что касается эксцесса у2 ошибок, то хотя он и влияет на распределение t, это влияние, вообще гово- говоря, невелико. Эти эмпирические выводы подтверждаются при- приближенными расчетами моментов*). Такие расчеты моментов показывают, что даже при одностороннем использовании t для проверки разности двух средних (в однофакторном анализе с двумя группами) влияние ненулевой асимметрии yi мало, если группы имеют одинаковый объем, одинаковые yi и одина- одинаковые дисперсии. Это влияние величины у\ увеличивается, если Yi различны для двух групп, или группы имеют разные объемы или разные дисперсии. Если мы вспомним замечания, сделан- сделанные нами относительно вычисления асимметрии разности и сред- среднего арифметического по формуле A0.1.2), то эти результаты не покажутся нам удивительными. Экспериментальные выборки **) в однофакторном анализе с числом групп, большим двух, также указывают на то, что ненормальность ошибок мало влияет на F-критерий для про- проверки гипотезы равенства средних. В этих экспериментах изу- изучалось эмпирическое распределение р-преобразования стати- статистики <F (§ 9.3). Результаты этих экспериментальных выборок Таблица 10.3.1*). Результаты экспериментальных выборок, показывающие влияние ненормальности ошибок иа распределение статистики W для проверки равенства средних в однофакторном анализе / (число групп) / (объем групп) Число выборок Yi ошибок Y2 ошибок 5 5 200 0 4,1 0,5 5 5 200 0,5 0,7 0,97 5 5 200 1,0 0,8 0,5 10 5 100 0 -0,5 0,7 10 5 100 0 1,1 0,7 10 5 100 0 4,1 0,2 10 5 100 1,0 3,8 0,07 10 4 50 0 -1,2 0,9 10 10 50 0,5 0,7 0,3 *) Заимствовано нз The analysis of variance incases ol nonnorma! variation, E. S. Pear- Pearson, Biometrika, т. 23 A031). показаны в таблице 10.3.1. Мы не воспроизводим здесь эмпири- эмпирические распределения. В последней строке таблицы, озаглав- озаглавленной буквой Р, помещены вероятности того, что статистика X2, построенная для теоретического р-распределения, подоб- подобранного по эмпирическому распределению в предположении *) Бартлетт (Bartlett, 1935) и Гири (Geary, 1936, 1947). **) Пирсон (Е. Pearson, 1931).
394 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ нормальности, превосходит свое наблюденное значение. Конечно, не следует применять критерий %2 (таблица 10.3.1) для про- проверки нулевой гипотезы в рассматриваемом случае; величину Р следует понимать скорее как условную меру соответствия, вы- выраженную на языке, знакомом статистикам; величины, мень- меньшие 0,05, указывают на плохое соответствие. В случае, когда перестановочный критерий строится на основе &" статистики, можно применить остроумный способ *) оценки влияния ненор- ненормальности с помощью изменения чисел ст. св.; мы, таким обра- образом, можем оценить во всяком случае влияние на первые два момента р-преобразования U нашей статистики (§ 9.3). Пред- Предположим, что мы имеем формулы для MP(U) и MP(U2), где Мр означает математическое ожидание, вычисленное по пере- перестановочному распределению. При любом распределении ЗР вы- выборочного у мы можем рассматривать эти математические ожи- ожидания как условные**) (см. § 9.3) и выразить безусловные соответствующие математические ожидания в виде (здесь М означает математическое ожидание по ZP) М (?/') = М (М„ (?/')) (f=l,2). A0.3.1) Если нам удается вычислить (хотя бы и приближенно) правые части A0.3.1), то мы можем подобрать р-распределение к U по этим первым двум моментам; это приближение, вообще говоря, к непрерывному распределению U должно быть лучше, чем аналогичное приближение к дискретному распределению § 9.3. Сравнивая числа ст. св. этого приближенного р-распределения U с числами ст. св. U или &" при условии нормальности и ра- равенства дисперсий, мы можем выразить влияние ненормально- ненормальности на распределение &" в виде поправок к числам ст. св. (как это мы делали в § 9.3). Если предположить, что в двухфакторном анализе***) с факторами А и В имеется по одному наблюдению в ячейке, ошибки независимы и одинаково распределены, и отсутствуют взаимодействия, то мы можем проверять гипотезу НА об отсут- отсутствии эффекта фактора А с помощью перестановочного крите- критерия для случайных блоков, основанного на статистике #" (этот *) Этот способ предложен Боксом и Андерсеном (Box, Andersen, 1955). Они использовали его также для исследования влияния неравенства диспер- дисперсий, однако применили только в случае двухфакторного анализа с одним наблюдением в ячейке. Приведенное нами в таблице 10.4.3 сравнение с точ- точными результатами показывает очень хорошее согласие. Это сравнение про- произведено Боксом. **) При условии, что у попадает в S(y<>) (в обозначениях § 9.3). ***) Я не касаюсь здесь схемы случайных блоков, рассмотренной Бок- Боксом и Андерсеном (Box, Andersen, 1955), поскольку предположение незави- независимости и одинаковой распределенное™ ошибок кажется нереалистичным в сеете нашей модели § 9.1.
§ 10.3. ИССЛЕДОВАНИЕ ВЛИЯНИЯ НЕНОРМАЛЬНОСТИ 395 критерий мы изучали в § 9.3). В этом случае справедливость перестановочного критерия зависит не от рандомизации «внутри блоков», образованных уровнями фактора В, а от симметрич- симметричности функции распределения при Нд, причиной которой яв- является предположение независимости и одинаковая распреде- ленность ошибок. В § 9.3 мы нашли, что относительно переста- перестановочного распределения U Mp(U) является не зависящей от наблюдений константой, a DP(U) представляет собой линейную функцию статистики V, определенной (9.3.16); эту статистику можно рассматривать как квадрат выборочного коэффициента вариации «дисперсии блоков». Таким образом, MP(U2) также является линейной функцией V. Отсюда можно сделать сле- следующие выводы о безусловных моментах U, вычисленных по A0.3.1): M(U) является константой MP{U), а для получения M(U2) надо в MP(U2) вместо V подставить M(V), вычисленное относительно распределения 9* выборки. Так как числа ст. св. приближенного р-распределения являются функциями только первых двух моментов, то для получения чисел ст. св. в слу- случае 9 мы можем в формулах для чисел ст. св. в случае пере- перестановочного критерия подставить M(V) вместо V. Применяя этот способ к (9.3.15), мы получаем, что числа ст. св. в слу- случае 9 получаются путем умножения чисел ст. св., полученных в нормальной теории, на множитель 1 2 I -J~1M(V) J(I- I) " Рассматривая это выражение с точностью до порядка /-', по- получаем l + /-i[M(V)— 2G — I)]. Можно показать*), что М(У) =/~'у2 + 2(/—1)~', если от- отбросить члены порядка /-' и выше; у2 обозначает здесь эксцесс распределения ошибок. Таким образом, для того чтобы устроить приближение в случае &, надо числа ст. св. .F-pacnpe- деления статистики &" в нормальной теории умножить на мно- множитель, который с точностью до /-' равен 1+G/)-'у2. (Ю.3.2) Отсюда видно, что при увеличении п = IJ наше распределение быстро приближается к распределению, построенному в нор- нормальной теории, причем мы получаем наглядную меру откло- отклонения от этого распределения. Аналогичное исследование однофакторного анализа с / груп- группами, по / наблюдений в каждой, приводит к тому же мно- множителю A0.3.2) (с точностью до порядка /-1), корректирую- корректирующему числа ст. св. распределения статистики ^" для проверки *) С помощью первых двух членов формулы D0) статьи Бокса и Аидер- сеиа (Box, Andersen, 1955).
396 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ Таблица 10.3.2*). Приближенные с помощью поправок чисел степеней свободы вероятности ошибок первого рода ^-критерия для проверки равенства средних в пяти группах, объема пять каждая Vi и Y2 равны асимметрии и эксцессу распределения ошибок 0 0,5 1 Распределение Пирсона Эджворта Эджворта **) Пирсона Эджворта Эджворта **) Пирсона Эджворта Эджворта **) Y2 -1 0,053 0,053 0,052 0,052 0,053 0,053 0,052 0,053 0,053 -0,5 0,051 0,051 0,051 0,051 0,051 0,052 0,050 0,052 0,052 0 0,050 0,050 0,050 0,050 0,050 0,050 0,049 0,050 0,051 0,5 0,048 0,049 0,049 0,049 0,049 0,049 0,048 0,050 0,050 1 0,048 0,048 ***) 0,048 0,048 0,048 0,049 0,049 *) Заимствовано нз Permutation theory in derivation of robust criteria and the study of departures from assumption, G. E. P. Box, S L. Andersen, Journ of the Royal Stat. Soc, серия В, т. 17 A955), стр. 14. **) Вероятность приближена другим способом. ***) Здесь приближение неудовлетворительно. гипотезы о равенстве средних в группах, причем у2 обозначает эксцесс ошибок, которые предполагаются независимыми и оди- одинаково распределенными. Числа, помещенные в таблице 10.3.2, получены с помощью этого множителя, вычисленного до членов порядка *) /~2; эти числа относятся к случаю пяти групп, по пяти наблюдений в каждой, с номинальным уровнем значимо- значимости 5%. Распределения Пирсона и Эджворта**) полностью определяются своими четырьмя моментами. Вычисления, свя- связанные с распределением Эджворта, произведены совсем дру- другим методом***). Как видно из этой таблицы, отклонение *) Улучшая поправочный множитель числа ст. св. путем более точ- точного вычисления математических ожиданий A0.3.1), не следует забывать, что остается еще отличие от точного распределения &~ из-за подбора Р-пре- образования только по первым двум моментам. **) Эги распределения определяются кривыми Пирсона и рядами Эджворта; см. Крамер (Cramer, 1946, §§ 19.4 и 17.7). ***) Гейен (Gayen, 1950) приблизил вероятность на верхнем «хвосте» распределения ^" линейной комбинацией неполных р-функций с коэффициен- коэффициентами, зависящими от /, / и уь Y2 ошибок. При пользовании распределением Эджворта возникает затруднение, так как оно определяется плотностью, ко- которая в случае ненормальности в некоторых точках области определения отрицательна.
§ 10.4. ИССЛЕДОВАНИЕ ВЛИЯНИЯ НЕРАВЕНСТВА ДИСПЕРСИИ 397 уровня значимости от своего номинального значения практи- практически неважно. Мы уже отмечали, что вопрос о влиянии ненормальности на вероятность ошибки второго рода не привлекал пока особого внимания. Из наших элементарных расчетов в § 10.2 вытекало, что ненормальность ошибок незначительно влияет в выводах о среднем на мощность, вычисленную в нормальной теории. Эмпирическое исследование двустороннего ^-критерия проверки среднего по выборке объема 5 или 10 показало незначитель- незначительность влияния ненормальности на мощность*). Вопрос о том, сохраняет ли ^-критерий при ненормальных конкурирующих гипотезах мощность, вычисленную по нормаль- нормальной теории, не надо смешивать с вопросом его эффективности при этих конкурирующих гипотезах относительно других кри- критериев. Мы коснемся последнего вопроса в § 10.6. § 10.4. Дальнейшее исследование влияния неравенства дисперсий Следующее правило позволяет нам обобщить все формулы для M(SS), выведенные при равных дисперсиях, на случай на- нарушения этого предположения. При этом мы считаем ошибки независимыми (друг от друга и от случайных эффектов модели, если они есть). Правило. Пусть Q есть квадратичная форма от {</,}; пусть {y} имеют структуру г/< = пц-\-ei, где {mi}— константы или случайные величины, {ei\ независимы между собой, а также от {mi}, если {mi}—случайные величины, М(е/) = 0, D (е^ = а2г Тогда формулу M(Q) можно получить из соответствующей формулы, выведенной для случая, когда все в] имеют одно и то же значение ctj, заменой п' в М (Q) на среднее взвешенное ]i,w,o2./y]w.. Вес w,, можно получить как значение Q при у., = \ и остальных г/, = 0. В частности, если Q равно SS, то вычисленная так 2l w( всегда равна единице. Далее, если Q i равно SS для классификации с равными числами в ячейке, то *) См. Пирсон (Е. Pearson, 1929, § 5). Он обнаружил, что симметрич- симметричные распределения оказывают малое влияние, а асимметричные несколько большее. Из двух наших замечаний по поводу формулы A0.1.2) следует, что в случае, когда f-критерий используется для проверки различия средних (это является простейшим примером однофакторного анализа), это влияние намного меньше, чем при проверке одного среднего (особенно при равных объемах групп), При проверке гипотезы \i = цо мощность будет больше или меньше мощности нормальной теории в зависимости от того, будет ли знак \i — Цо совпадать или нет со знаком Yi ошибок.
398 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ а\ заменяется на невзвешенное среднее {ст:} (если же все на- наблюдения в одной и той же ячейке имеют одинаковые диспер- дисперсии, то <з\ заменяется на невзвешенное среднее дисперсий в ячейках). Доказательство. Пусть ЕЕг/№ Подставляя г/< = т< + еь мы получаем Q = Z S aijtriinij + 2 Z S «/г/ + 2 Z (/;у Отсюда, вычисляя математические ожидания, находим М (Q) = М (Z Z ацт1т^ + Е «>,о», A0.4.2) где а» = о„. A0.4.3) В частности, если все сх, = о^, то М (Q) = М (Z S aGrn.my) -f сх* ? а,,. A0.4.4) Правило получается из сравнения формулы для M(Q) A0.4.2) в общем случае и формулы A0.4.4) в частном случае. Значения весов w'i вытекают из A0.4.3) и A0.4.1). Если Q равно SS и все (т^ = (т^, то, как мы знаем из предыдущего, последний член в A0.4.4) равена\, поэтому в этом случае ^Wi=l. И, нако- наконец, чтобы убедиться, что все {да,} равны в случае равных чисел в ячейках, мы должны убедиться, что значения, прини- принимаемые SS, когда yi=\, а остальные — нулю, не зависят от того, которое из yi равно 1. Это, пожалуй, легче всего сделать, анализируя, как проводятся вычисления, подобные тем, кото- которые сделаны в следующем ниже примере, в правилах, данных в § 8.2 для SS, записанной в форме, удобной для вычислений. Иллюстрируем применения этого правила в примере одно- факторного анализа с неравными числами. Пользуясь в этом примере нашими обычными обозначениями, мы должны а2е в М E5Л) заменить на Z 2 тц°\р гДе °2ц = D (Уц)> а значе- значения wt,}, получаются, если положить у^у — Х, а все остальные г/,7 = 0 в SS^a-ir'fZ/^-a-'r2), где Т% — сумма в /-й группе, Т — общая сумма, n = Yjh\ мы получаем, таким обра-
§ 10.4. ИССЛЕДОВАНИЕ ВЛИЯНИЯ НЕРАВЕНСТВА ДИСПЕРСИЙ 399 зом, wt'i' = (/— I) (/Г1 — я)- Итак, (Те заменяется в М {SSA) на (/-ir'ZZC/r'-n-1)^. A0.4.5) Аналогично а^ в М (SSe) надо заменить на ЕЕ У^ог^., причем значения оГ/, получаются, если положить yi4, = 1, а все осталь- остальные г/// = 0 в где ve==E(^i~l); таким образом, мы получаем vi'j-=vJ^(l—IT'i). Итак, о\ заменяется в М (SSe) на vj'EEO -J7{)o)i. A0.4.6) г / В случае, когда все ошибки в г-группе имеют одинаковые дис- дисперсии о2ч = о2, A0.45) превращается в (/—1)-' [I(o2)tU — — (с*2)*ш], где {о2)ш — невзвешенное среднее {о2}, a (o2)t!O — взвешенное среднее с весами {/,}; формула A0.4.6) превра- превращается во взвешенное среднее с весами {Jt—1}. Если все {/,} равны, эти различные средние равны друг другу; мы получаем результат, совпадающий с результатом, полученным по послед- последней части правила с равными числами наблюдений в ячейках. Из сформулированного выше правила вытекают следующие преимущества равных чисел наблюдений в ячейках в случае нарушения равенства дисперсий в полных классификациях. На- Напомним определение (§ 9.1) несмещенного плана проверки ги- гипотезы о^ = 0, где о\ означает а2, входящее в формулы M(SS). Определение состоит в том, что существуют два таких SS, что соответствующие М (SS) различаются на са2х, где с — извест- известная ненулевая константа. Так как при независимых ошибках и равных числах наблюдений в ячейках а2 заменяются в каж- каждом MES) на одно и то же среднее дисперсий, то план с рав- равными числами наблюдений в ячейках, несмещенный для про- проверки с*2 = 0 в условиях равных дисперсий, продолжает быть несмещенным, когда это условие нарушается. То, что это не- неверно вообще для планов с неравными числами, видно из про- проведенных выше вычислений для однофакторного анализа (таб- (таблица 10.4.1). В остальной части этого параграфа мы рассмотрим крите- критерий для средних в моделях с постоянными факторами с незави- независимыми нормальными ошибками. В этом случае имеются неко,-
400 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ Таблица 10.4.1*). Влияние неравенства дисперсий популяций иа вероятность ошибки первого рода двустороннего ^-критерия для проверки равенства средних с 5% номинальным уровнем значимости J\ и 1г равны объемам выборок, 6 = <т1|а2, a ai и <т| равны дисперсиям популяций (/I. /2) A5,5) E,3) G,7) в 0 0,32 0,22 0,072 0,1 0,23 0,14 0,070 0,2 0,18 0,10 0,063 0,5 0,098 0,072 0,058 1 0,050 0,020 0,050 2 0,025 0,038 0,051 5 0,008 0,031 0,058 10 0,005 0,030 0,063 00 0,002 0,030 0,072 ¦) Заимствовано из Contributions to the theory of Student's t-test as applied to the problem of two samples, P. L Hsu. Stat. Research Memoirs, т. 2. A938a), стр. 12. торые точные результаты, относящиеся к вероятностям ошибок первого рода. В таблице 10.4.1 даются вероятности*) ошибок первого рода двустороннего ^-критерия по проверке равенства двух средних с 5% номинальным уровнем, когда дисперсии по- популяций находятся друг к другу в отношении 8 = о^о\, а объ- объемы выборок равны (/,,/2)= A5,5), E,3) и G,7). Эта же таблица также дает вероятность того, что доверительный ин- интервал с номинальным доверительным коэффициентом 95% не покрывает истинную разность средних. Наши выводы в § 10.2 о том, что при больших выборках исследуемое влияние мало при равных объемах групп и может быть значительным при неравных объемах, переносится, таким образом, и па случай малых выборок. Более того, наш вывод в случае больших вы- выборок о том, что в однофакторном анализе с / равными груп- группами при неравенстве дисперсий в группах истинная вероят- вероятность ошибки первого рода превышает номинальную вероятно- вероятности, когда / > 2, при малых выборках **) действует даже для / = 2. Ниже мы рассмотрим случай, в котором осуществляется этот результат при / > 2 и малых объемах групп. Вероятности, помещенные в таблице 10.4.2, вычислены для однофакторного анализа с помощью теоремы, которая позво- позволяет при некоторых условиях найти распределение отношения ') Их вычислил Сюй (Hsu, 1938). **) Сюй (Hsu, 1938a) доказал общий результат, а именно: вероятность ошибки .первого рода ^-критерия проверки равенства средних при любых /i = h и любом а. является строго убывающей функцией от 0, когда 0 из- изменяется от 0 до 1, и строго возрастающей функцией от 9, когда 9 изме- изменяется от 1 до оо.
§ 10.4. ИССЛЕДОВАНИЕ ВЛИЯНИЯ НЕРАВЕНСТВА ДИСПЕРСИЙ 401 Таблица 10.4.2*). Влияние неравенства дисперсий на вероятность ошибки первого рода /"-критерия для проверки равенства средних в однофакторном анализе с 5% номинальным уровнем я — общее число наблюдений, Vu — квадрат коэффициента вариаций в группах Число групп / 3 3 5 7 Отношение дисперсий в группах К) 1:2:3 1:1:3 1:1:1:1:3 1:1...:1:7 Объемы групп Ui 5,5,5 3,9,3 7,5,3 3,5,7 5,5,5 7,5,3 9,5, 1 1,5,9 5, 5, 5, 5, 5 9, 5, 5, 5, 1 1,5,5,5,9 3,3,...,3,3 п 15 15 15 15 15 15 15 15 25 25 25 21 Вероятность ошибки первого рода 0,056 0,056 0,092 0,040 0,059 0,11 0,17 0,013 0,074 0,14 0,025 0,12 0,25 0,48 0,40 1,49 1,12 1,24 1,31 2,24 *) Заимствовано из Some theorems on quadratic forms applied in the study of analysis of variance problems, I. Effect ot inequality of variance in the one-way classification, G. E. P. Box, Ann. Math. Stat., т. 25 A954a), стр. 299. двух квадратных форм от центрированных нормальных случай- случайных величин *). Рассмотрим сначала четыре строки этой таблицы с груп- группами равных объемов (эти строки выписаны сразу после гори- горизонтальных линий). Формула A0.2.19) показывает, что в этом случае отклонение вероятности от ее номинального значения 5% должно быть положительным, если дисперсии в группах {оЧ не равны друг другу, причем это отклонение возрастает вместе с множителем 1 + (/ — 2) (/— 1)~'Vu, где V,, — квадрат коэффициента вариации дисперсий в группах. Все это имеет место в настоящем случае. Обозначим 0 отношение максималь- максимального значения {о^} к минимальному. Можно показать, что Vu будет при фиксированном 0 максимальным, когда {о^} нахо- находятся в отношении 1:1: ... : 1 :0. Последняя строка с 9 = 7 включена в таблицу для того, чтобы показать, как велико мо- может быть отклонение в крайне неблагоприятном случае, кото- который, по-видимому, на практике обычно не встречается. В двух остальных, если не во всех трех, строках с равными объемами групп отклонения можно считать терпимыми. Однако этого •) Бокс (Box, 1954a)
402 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ нельзя сказать о шести из восьми строк с неравными объемами групп. Некоторые вероятности *) в двухфакторном анализе с од- одним наблюдением в каждой ячейке помещены в таблице 10.4.3. Эти вероятности вычислены в случае, когда ошибки в ячейке (/, /) имеют одну и ту же дисперсию ст^ = ст^ в г-й строке. При гипотезе НА отсутствия эффектов строки распределение SSa совпадает с только что рассмотренным распределением в одно- факторном анализе с равными числами наблюдений; в то же время SSe определяется иначе. Поскольку в этом случае SSa и SSe оказываются независимыми (a SSB и SSe-~ нет), то можно применить приближение (о котором говорится после формулы A0.2.19)), приводящее к центральному F-распределе- нию. Так же, как в однофакториом анализе, истинные вероят- вероятности ошибок первого рода при проверке НА всегда превышают номинальные вероятности. Ситуация, возникающая при про- проверке гипотезы Ив отсутствия эффектов столбцов, отличается от рассмотренного выше случая однофакторного анализа, так как в первом случае дисперсии внутри столбцов различны, а во втором случае они постоянны внутри групп. Заметим, что в этом случае все истинные вероятности меньше номинальных. Ни одно из отклонений нельзя признать слишком большим **) (таблица 10.4.3). Почти все, что известно о влиянии неравенства дисперсий на мощность F-критерия, содержится на рис. 10.4.1 и 10.4.2***), которые представляют собой графики мощности F-критерия для проверки равенства средних с номинальным 5% уровнем в однофакторном анализе с четырьмя группами ****). Каждый *) Получены Боксом (Box, 19546). Я переменил местами строки и столбцы, чтобы согласовать обозначения с принятыми в настоящей главе. Оба результата (этот и тот, который будет изложен в § 10.5) для двухфак- торного анализа получены Боксом с помощью общих теорем, в которых наши столбцы (его строки) независимы и имеют одно и то же /-мерное нормаль- нормальное распределение. **) Бокс (Box, 19546) на стр. 493 замечает: «сравнение последних че- четырех строк таблицы показывает, что приближение действует хуже в крите- критерии по строкам, когда число строк больше числа столбцов, и хуже в крите- критерии по столбцам, когда число столбцов больше числа строк». ***) Численные расчеты для графиков рис. 10.4.1 и 10.4.2 произведены Хорснеллом (Horsnell, 1953), который основывался на методах Дэвида и Джонсона (David, Johnson, 1951). Сюй (Hsu, 1938a) получил некоторые точ- точные результаты относительно влияния неравенства дисперсий на мощность ^-критерия проверки разности двух средних; однако трудно оценить их прак- практическое значение. ****) Заимствовано из The effect of unequal group variances on the F-test for homogeneity of group means, Q. Horsnell, Biometrika, т. 40 A953), стр. 134.
§ 10.4. ИССЛЕДОВАНИЕ ВЛИЯНИЯ НЕРАВЕНСТВА ДИСПЕРСИЙ 403 Таблица 10.4.3*). Влияние неравенства дисперсий на вероятность ошибки первого рода F-критерия для проверки равенства средних по строкам и по столбцам в двухфакторном анализе с одним наблюдением в ячейке и номинальным 5% уровнем I — число строк, / — число столбцов, а- — дисперсия в t-й строке / 3 3 3 3 5 11 1 11 5 11 5 3 3 Отношение дисперсий строк И) 1:2:3 1:2:3 1:1:3 1:1:3 1:1:1:1:3 1 : 1 :..:! :3 Вероятность ошибок первого рода Критерий по строкам 0,055 **) 0,056 **) 0,059 **) 0,060 0,068 0,071 **) Критерий по столбцам 0,042 0,043 0,038 0,039 0,045 0,049 *) Заимствовано из Some theorems on quadratic forms applied in the study of analysis of variance problem. II. Effect of inequality of variance and correlation between errors in the two-way classification, Q. E. P Box, Ann. Math. Stat., т. 25 A9546), стр. 493. **) Приближенно. Объяснение см. в тексте. 1,0 1*— 1 —- / // J- / A V 5*- 0,8 a 1,6 г,о Рис. 10.4.1. Неравное среднее находится в группе с малой дисперсией о-^ : v\ : а\: о\ = 1 : 1 : 1 : 3 Ключ I 11 Ш 7 10 12 h 7 10 12 h 7 10 12 /4 19 10 4
404 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИИ из шести графиков построен по четырем (отмеченным на ри- рисунках) точкам, ординаты которых получены с помощью аппроксимаций, основанных на моментах. Во всех случаях дис- дисперсии групп находятся в отношении а]: а\: а\: а|= 1 : 1 : 1 : 3, объемы групп с равными дисперсиями равны; объемы групп трех графиков каждого рисунка равны (Уь /2, Jz,U) = G, 7, 7,19), го А f u 3,4 0,8 1,2 1,6 2,0 2,4 p Рис. 10.4.2. Неравное среднее находится в группе с большой дисперсией 9 af : 1:1:1:3 Ключ 1 11 111 7 10 12 7 10 12 7 10 12 1, 19 10 А A0,10, 10, 10) и A2,12, 12,4), так что общее число наблюдений всегда равно 40. Три из истинных средних {\ц} равны друг другу, а одно — отлично от них. На рис. 10.4.1 это последнее среднее находится в группе с малой дисперсией: ^! Ф ц2 — = ^3 = Ц4'. на рис. 10.4.2 оно находится в группе с большой дисперсией: \х\ = щ = ц3 Ф щ. Если все дисперсии {сг^ равны а2, то параметр нецентральности <р следует определять по фор- формулам (§ 2.8) , + Е h (^ - '-1
§ 10.5. ВЛИЯНИЕ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИ 405 где V| = / —3 н ц = Yjh^i/lLh- На наших рисунках по оси i t абсцисс откладывается ф, которое вычисляется по A0.4.7), если вместо а2 подставить (а2) = ?/л2./?/;. На каждом рисунке прерывистой линией нанесен график для случая равных дис- дисперсий. Выводы из этих графиков читатель может сделать сам. Воз- Возможно, его выводы совпадут с выводами автора этих графи- графиков*) и автора настоящей книги, заключающимися в том, что можно пользоваться, вообще говоря, схемой с равными объе- объемами групп; если же мы уверены, что некоторые группы имеют большие дисперсии, то в этом случае не будет вреда, если в этих группах будет сделано больше наблюдений. Однако обычно в двухфакторном или многофакторном анализе во всех случаях используют равные числа или «пропорциональные час- частоты» (см. конец § 4.4) из-за трудностей вычисления в других случаях. § 10.5. Дальнейшее исследование влияния статистической зависимости В гл. 9 мы изучали вопрос о том, в какой мере выводы, сде- сделанные при Q-предположениях в гл. 2, остаются справедливыми в рандомизированных моделях с неполными блоками и с латин- латинскими квадратами; в этом случае источником зависимости «ошибок объекта» является рандомизация. Помимо этих ре- результатов гл. 9 и элементарного примера с серийной корреля- корреляцией из § 10.2, мы можем предложить еще только один пример, который касается влияния серийной корреляции определенного типа на двухфакторный анализ с одним наблюдением в каждой ячейке. Предположим, что в двухфакторном анализе, в котором строки соответствуют фактору А, а столбцы — фактору В, на- наблюдения в каждом столбце серийно коррелированы, а наблю- наблюдения в разных столбцах не зависят друг от друга. Такая си- ситуация может встретиться, когда уровни -фактора А соответ- соответствуют равноотстоящим интервалам времени или пространства; так будет, например**), если строки являются 24 часами дня, столбцы —12 месяцами года, а число в ячейках показывает частоту дождей в определенном месте за десятилетний период. Числа, стоящие в соседних строках одного столбца, должны *) Хорснелл (Horsnell, 1953). **) Пример дан Фишером (Fisher, 1925); его выводы о влиянии корре- корреляции на два критерия для проверки главных эффектов были сформулиро- сформулированы без доказательства; теоретическое обоснование дал Бокс (Box, 19546).
406 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ быть положительно коррелированы, так как вероятность того, что идет дождь в каком-либо часовом интервале времени, будет больше или меньше в зависимости от того, шел или нет дождь в предыдущем часовом интервале времени; аналогичная зави- зависимость между столбцами гораздо слабее и ею можно пре- пренебречь. Для исследования влияния серийной корреляции *) в столб- столбцах с определенным в § 10.1 коэффициентом корреляции р на критерии можно применить полученные выше общие резуль- результаты, касающиеся квадратичных форм от нормальных случай- случайных величин. Говоря более точно, мы рассматриваем модель, в которой ошибки имеют совместное нормальное распределение с нулевыми средними, равными дисперсиями и нулевыми коэф- коэффициентами корреляций, кроме коэффициентов корреляции ря- рядом стоящих наблюдений в одном и том же столбце, равных р. Таблица 10.5.1*) Влияние коэффициента серийной корреляции р по столбцам в 5 X 5 классификации с одним наблюдением в ячейке на вероятность ошибки первого рода ^-критерия для проверки равенства средних в строках и в столбцах с 5% номинальным уровнем о Критерий дла строк Критерий для столбцов -0,4 0,059 **) 0,0003 -0,2 0,053 *¦) 0,010 0 0,050 **) 0,050 0,2 0,054**) 0,13 0,4 0,064 0,25 *) Заимствовано из Some theorems on quadratic forms applied in the study of analysis of variance problems, II. Effects of ineguality of variance and a correlation between errors In the two:way classification. G. E. P Box, Ann. Math Stat, т. 23 A9546), стр. 497. **) Приближенно; см. текст. В таблице 10.5.1 даны вероятности ошибок первого рода в этой модели при классификации 5X5 и номинальном 5% уровне значимости. Для расчета критерия для строк применялась аппроксимация того же вида, что и в таблице 10.4.3. Выводы очевидны: серийная корреляция в столбцах оказывает малое влияние на критерий для строк и сильно влияет на критерий для столбцов; положительная серийная Корреляция (она встре- встречается более часто; см. § 10.1) увеличивает вероятность ошибки первого рода. *) Предыдущему примеру с дождем лучше соответствует круговая кор- корреляция внутри столбцов, при котором первое и последнее наблюдения (для наших часовых периодов времени — период 24-го часа и период 1-го часа) имеют тот же самый коэффициент корреляции, что и соседние наблюдения. Далее, вряд ли можно предполагать, что коэффициент корреляции па рас- расстоянии 2, 3 и т. д. точно равны нулю.
§ 10.6. ВЫВОДЫ 407 § 10.6. Выводы Проверим еще раз те предварительные выводы о влиянии нарушений предположений, которые мы сделали в § 10.2. Среди основных предположений, при которых выводятся ста- статистические методы, обычно имеются такие, которые в прило- приложениях, как правило, не выполняются и введены только для облегчения математических выводов; к таким предположениям относится, например, нормальность. Статистические методы на- назовем корректными*), если выводы, сделанные по ним, не очень сильно изменяются при нарушении таких предположений. Оптимальность статистических методов обычно доказывается при этих предположениях. Поэтому корректность методов пред- представляет большой практический интерес**). Оптимальность критериев гарантирует наилучшую возможную в некотором смысле мощность при допустимых в предположениях Q конку- конкурирующих гипотезах. Если оптимальный критерий некорректен и существует корректный критерий, то мы второй безусловно предпочтем первому, если его мощность при Q не намного меньше мощности оптимального критерия. Ясно, как понятие корректности применяется к вероятностям ошибок первого рода и доверительным вероятностям; более трудно, по-видимому, распространить его на вероятности оши- ошибок второго рода. Например, чтобы сделать заключение о том, что мощность F-критерия для проверки равенства средних в однофакторном анализе не сильно зависит от неравенства дисперсий, нам надо было найги способ определения параметра нецентральности в случае неравных дисперсий. Во всяком слу- случае, корректность ошибок первого рода еще недостаточна для того, чтобы рекомендовать критерий; надо также рассматри- рассматривать его мощность при некоторых представляющих интерес конкурирующих гипотезах. Корректность, связанная с ошибками первого рода F-крите- риев для проверки средних, распространяется на соответствую- соответствующие S-методы множественного сравнения. Как мы видели в § 3.5, каждому такому критерию соответствует S-метод; в за- замечании о доверительных интервалах в конце гл. 9 указываются те распределения, при которых S-метод остается тем же, что и при нулевой гипотезе соответствующего критерия. Остано- Остановимся на этом результате более подробно. Мы проиллюстри- проиллюстрируем его на примере сравнения средних в однофакторном *) Бокс (Box, 1953). (В оригинале «robust») {Прим. перев.). **) Если я подозреваю, что ошибка первого рода стандартного критерия при ненормальности претерпевает изменение порядка, указанного в табли- таблице 10.2.1, то меня мало утешит известие о том, что установлена оптималь- оптимальность этого критерия (Scheffe, 1942).
408 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ анализе с четырьмя разными группами со средними {jj,,} и дис- дисперсиями {а?}. S-метод, так же как и F-критерий, корректен по отношению к ненормальности и неравенству дисперсий; это не очевидно относительно Г-метода множественного сравнения. Корректность по отношению к ненормальности имеет место также для основанных на ^-распределении интервальных оце- оценок индивидуальных сравнений. Однако основанные на t инди- индивидуальные интервальные оценки мало пригодны при неравных дисперсиях. Рассмотрим, например, интервальные оценки @,1 —\л2 и цз — (J-4, полученные обычным способом; пусть а2{ = а22 меньше, а ст^ = ст| больше среднего значения {сг?}. Тогда D(p,, —р,2) будет верхней, a D((x3—М~ нижней оцен- оценками; поэтому вероятность того, что соответствующий интервал не покрывает истинное значение, будет меньше номинальной вероятности в первом случае и больше — во втором; это рас- расхождение, очевидно, будет тем больше, чем сильнее разли- различаются дисперсии. Мы можем представить себе, что S-метод дает для всех сравнений некоторую среднюю вероятность, по- получающуюся из вероятностей, связанных с индивидуальными сравнениями. Возвратимся к изучению мощности критериев, корректных относительно ошибок первого рода: по-видимому, существуют критерии, корректные так же, как и F-критерии относительно ошибок первого рода, мощность которых немного меньше при нормальных конкурирующих гипотезах, но намного больше при «большинстве» ненормальных конкурирующих гипотез*). В на- настоящее время такие критерии не получены для обычно рас- рассматриваемых в дисперсионном анализе относительно сложных гипотез. В тех же случаях, когда такие критерии имеются и по ним гипотеза отвергается, возможное в принципе дальнейшее исследование (аналогично S-методу после F-критерия) кажется безнадежно сложным, кроме самых простейших случаев, таких, например, как сравнение средних двух популяций, отличаю- отличающихся друг от друга только сдвигом. Корректность относительно нормальности стандартных ме- методов выводов о средних и отсутствие корректности при выво- выводах о дисперсиях имеют следующие практические послед- последствия**). Поскольку методы исследования средних в диспер- дисперсионном анализе выводятся в предположениях, содержащих условие равенства дисперсий, иногда рекомендуется проверять это условие с помощью какого-нибудь статистического крите- *) См., например, Ходжес и Леман (Hodges, Lehmann, 1956). Такова природа критерия Уилконсона, когда он применим. **) Эти рассуждения принадлежат Боксу (Box, 1953).
§ ю.б. выводы 409 рия. Стандартный критерий *) проверки равенства дисперсий в случае уг < 0 несколько затушевывает разницу дисперсий, когда она существует, а в случае у2 > 0 находит эту разницу, когда ее нет. Чувствительность этого критерия к ненормально сти некоторых популяций с у2 > 0 сравнима с чувствитель- чувствительностью стандартных критериев ненормальности. Если дисперсии равны, а данные ненормальны и у2 > 0, то этот предваритель- предварительный критерий скорее всего отвергнет гипотезу равенства дис- дисперсионного анализа к средним, хотя на самом деле его можно было применять. Если можно выбрать план с равными числами наблюдений в ячейках, то не надо проявлять большого беспо- беспокойства о возможном неравенстве дисперсий, если только оно не чрезмерно. Корректность дисперсионного анализа средних относительно неравенства дисперсий, которую мы установили в случае плана с равными числами наблюдений в ячейках, приводит к про- простому приближенному анализу, заменяющему громоздкие точ- точные вычисления в случае неравных чисел в ячейках; его можно использовать так же, как предварительный анализ, после кото- которого мы можем обходиться без точного анализа, если получен- полученные результаты будут достаточно убедительными. Образуем обычный средний квадрат SS ошибок, складывая SS ячеек отно- относительно своих средних; обозначим его SS'e, а его число ст. св. \''е. Представим себе план, будем называть его L, с одним «наблюдением» в ячейке; за эти «наблюдения» мы будем при- принимать наблюденные средние в ячейках. Анализируем теперь план L так, как будто «наблюдения» имеют одинаковые дис- дисперсии, например сг^; во всех случаях, когда a2L надо оцени- оценивать с помощью SS, мы будем применять cSS'e с числом ст. св. \'е и с с, равным среднему обратных чисел наблюдений в ячей- ячейках нашей первоначальной модели. Если какое-нибудь из этих чисел наблюдений в ячейках равно нулю, метод неприменим. Чтобы обосновать этот приближенный анализ, предполо- предположим, что первоначальные наблюдения независимы и нормаль- нормальны, что число наблюдений в р-й ячейке равно пр, выборочные средние и дисперсии равны у и s2 а дисперсии популяций а2 (р=1, ..., N). Тогда дисперсия «наблюдения» ур в р-й ячейке L равна сг?//гр. Мы уже видели, что в случае неравных дисперсий в ячейках и равных чисел наблюдений в ячейках F-критерий и 5-метод множественного сравнения приближенно ведут себя так же, как если бы дисперсии были равны сред- *) Критерий Бартлетта (Bartlett, 1937).
410 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ нему из дисперсий ячеек; в нашем случае мы имеем ЛГ'ЕлДр. A0.6.1) р-1 Мы можем оценить A0.6.1) с помощью лг'?яр'4; (Ю.6.2) р если же мы предположим все {сг2} равными сг2 (как мы это обычно делаем в точном методе с неравными числами наблю- наблюдений в ячейках), то A0.6.1) превратится в o2QN~l Yjnpl- Ис- р пользуя объединенную оценку SS'e дисперсии а%, мы получаем оценку A0.6.1) в виде cSS'e с с = N~l^n~^\ как и утвержда- лось выше. Очевидно, что {др} и {s2} полностью независимы, поэтому любая оценка A0.6.1) не зависит от «наблюдений» в L, а следовательно, и от любых оценок SS, вычисленных в L. Указанный выше анализ соответствует точному анализу в пред- предположениях, что все {сг2} равны; однако, вообще говоря, он несколько менее эффективен*). Оценку A0.6.2) нужно упо- употреблять только в том случае, когда имеется основание пред- предполагать значительные различия среди {сг2}; для вычисления числа ст. св. A0.6.2) мы можем использовать метод, предложен- предложенный в конце § 7.5. Теперь кратко рассмотрим вопрос, как можно уменьшить влияние нарушения основных предположений в тех случаях, когда оно серьезно. Способ, позволяющий избежать нежелательных эффектов ненормальности при выводах о дисперсиях, был предложен в § 3.8 при сравнении нескольких дисперсий. В этом случае мы применяли дисперсионный анализ к выборочным диспер- дисперсиям. Этот способ неприменим для оценки компонент диспер- дисперсии, отличных от компоненты дисперсии ошибки сг2. Если мы имели бы представление о величине эксцесса уг эффектов, из- измеряемых данной компонентой дисперсии, то мы могли бы вос- воспользоваться этим для оценки ошибки точечной оценки; однако обычно нам ничего не известно об этой величине. Ситуация не очень обнадеживает, и выводы о компонентах дисперсии в нор- нормальной теории надо считать гораздо менее заслуживающими доверия, чем выводы о средних. Это заключение подкрепляется *) В случае классификации по одному признаку с двумя группами он идентичен точному анализу; в любом случае этот анализ использует доста- достаточные статистики {ур} и {si}.
§ 10.6. ВЫВОДЫ 411 также тем обстоятельством, что рассматриваемые модели с ком- компонентами дисперсий обычно довольно плохо отражают те при- применения, в которых не обеспечивается тот случайный выбор эффектов, который предполагается в этих моделях. Обычно при анализе средних мы не пытаемся преобразовы- преобразовывать данные, чтобы устранить ненормальность. Исключением являются данные ранжировки, например в экспериментах, в ко- которых эксперименты т объектам приписывают числа 1, 2, ... ..., т, упорядочивая их согласно своей оценке некоторой каче- качественной характеристики. Используя таблицы*) математиче- математических ожиданий упорядоченных элементов случайной выборки объема т из N@,1), мы можем преобразовать эти данные так, чтобы уменьшить ненормальность. Мы уже видели, что, используя в полном анализе равные числа наблюдений в ячейках, проще всего можно оградить себя от нежелательных влияний неравенства дисперсий. Если отношения дисперсий известны, то мы можем использовать ука- указанный в § 1.5 анализ с весами; там же имеется замечание о влиянии неправильных весов. В § 3.8 разобран пример (после формулы C.8.3)). Если имеется подозрение в сильном разли- различии дисперсий и имеется по нескольку наблюдений в каждой ячейке некоторого плана (или при каждой абсциссе некоторой подбираемой кривой), то мы можем применить анализ с весами, обратно пропорциональными оценкам дисперсии**). В много- многофакторном анализе этот прием приводит к вычислительным трудностям, так как даже при равных числах наблюдений в ячейках при анализе с весами теряется ортогональность, а следовательно и простота вычислений. Далее, мы очень мало знаем, какое влияние оказывает замена неизвестных постоян- постоянных весов случайными величинами***). Преобразования, устра- устраняющие неравенства дисперсий, будут рассмотрены в § 10.7. Если подозревается наличие корреляции типа серийной кор- корреляции с единственным коэффициентом р, то мы можем попы- попытаться оценить р с помощью данных и устроить приближе- приближение****), заменяя р на его оценку. Некоторые типы корреляции можно получить, привлекая многомерные распределения, как, например, мы получили *) Фишер и Иэнтс (Fisher и Yates, 1943, таблица XXI). **) Имеется в виду стандартная процедура подбора кривых в пробит- методе. См. Фишер и Иэйтс (Fisher и Yates, 1943, введение к таблицам X и XI). ***) В однофакториом анализе с / группами Сюй (Hsu, 1938a) устано- установил точный результат при / = 2, а Джеймс (James, 1951) и Велч (Welch, 1951)—приближенный результат при / > 2. Дальнейшие ссылки см. у ука- указанных авторов. ****) Точный результат Бокса (Box, 19456) справедлив для двух-фак- торного анализа.
412 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ корреляцию в столбцах смешанной модели двухфакторного ана- анализа в § 8.1. Вообще говоря, из трех видов нарушения наших предположений, которые мы рассмотрели, труднее всего пре- преодолеть влияние нарушения независимости. § 10.7. Преобразования наблюдений Преобразования наблюдений применяются иногда для устра- устранения взаимодействий (см. конец § 4.1) или для устранения ненормальности (см. выше), но наиболее часто для устранения неравенства дисперсии*). В большинстве случаев используются преобразования, являющиеся частными случаями или видоиз- видоизменениями **) следующего общего преобразования. Обозначим среднее, вообще говоря, неизвестное, случайное величины у че- через ц; пусть стандартное отклонение у является функцией Оу = <р(ц) от ц либо полностью известной, либо известной с точ- точностью до постоянного множителя. Это так, вообще говоря, в том случае, когда распределение у зависит от единственного параметра (который, однако, может быть функцией других интересующих нас параметров). Например, биномиальное рас- распределение числа успехов у в п испытаниях с постоянной ве- вероятностью р имеет М (у) = tip, ау = [пр A — р)]т, поэтому у обладает требуемым свойством с ф(ц) = [цA —«~'ц)] П б ру ф(ц) [ц( ц)] Попытаемся определить преобразование z = f(y) так, чтобы стандартное отклонение z было равно, хотя бы приблизительно, заданной константе az. Из приближенной формулы ог = <Jyf'(\i), которую можно вывести, приближая z линейной функцией у в окрестности у = ц, мы получаем /'(ц)= ог/ф(ц); интегрируя и меняя обозначение независимого переменного, получаем ш- A0-7Л) Таким образом, в нашем примере полагая С = 0 и выбирая аг = Dп)~~т, мы приходим к «пре- . ( U 41/2 образованию арксинуса» z = arcsm I — J , где у/п есть наблю- *) Любопытно отметить, что преобразование A0.7.1), выведенное для того, чтобы стабилизовать дисперсию, в случае выборочного коэффициента корреляции г (в этом случае оно называется преобразованием Фишера) дает распределение, очень похожее на нормальное (см. Крамер (Cramer, 1946, §29.7)). ¦*) Фримен и Тьюкн (Freeman. Tukey, 1950).
§ 10.7. ПРЕОБРАЗОВАНИЯ НАБЛЮДЕНИЙ 413 денная доля успехов, а арксинус измеряется в радианах. Если арксинус измерять в градусах, то ог = 28,6 п~112. Самым обычным преобразованием является логарифмиче- логарифмическое. Логарифмирование наблюдений пригодно для выравни- выравнивания дисперсий в том случае, когда коэффициент вариации постоянен; если в A0.7.1) положить оу = сц, то мы получаем логарифмическое преобразование. Важно помнить, что эти преобразования меняют не только дисперсии, но и средние; так, для преобразованной величины приближенно М(г:) = /(ц), а это может либо помочь, либо по- помешать нашему анализу. Примером, когда это преобразование помогает анализу, является эксперимент по превращению неко- некоторого химического вещества на опытной установке в конечный продукт с помощью катализатора; мы намереваемся изменять следующие четыре фактора: (I) вид катализатора, (II) количе- количество первоначального вещества, (III) время контакта катали- катализатора с этим веществом, (IV) температура реакции. Обозна- Обозначим у количество вещества, превратившегося в конечный про- продукт при одном цикле работы опытной установки. Если для множества уровней факторов в эксперименте изменения у очень большие (в процентах) и если относительная ошибка у меньше ее абсолютной ошибки, то для стабилизации дисперсии можно воспользоваться преобразованием f(y)=\ny. Что касается из- изменения с помощью этого преобразования средних, то оно в этом случае выгодно, так как количество прореагировавшего вещества лучше выражается в виде произведения четырех функций от четырех факторов, чем в виде их суммы; поэтому скорее М(\пу), чем М(у), представляет собой линейную ком- комбинацию четырех функций, зависящих от эффектов факторов. Мы вернемся к этому примеру ниже. При проверке гипотезы равенства групповых средних в од- нофакторном анализе преобразование, казалось бы, не должно создавать какие-либо трудности, так как при взаимно одно- однозначном преобразовании первоначальные средние будут равны друг другу тогда и только тогда, когда равны преобразованные средние. Однако если после преобразования наша гипотеза отвергается по F-критерию, и мы хотим провести дальнейшее исследование по методу множественного сравнения или по ка- какому-нибудь другому методу, то, пользуясь первоначальной шкалой средних, мы можем получить более значительные ре- результаты, чем в преобразованной шкале. Пусть, например, у равно наблюденной доле больных животных, вылеченных одним из нескольких лекарств, сравниваемых в эксперименте. Если обозначить р., и |д2 математические ожидания этих долей при первом и втором лекарствах, то легче использовать и оценить
414 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ тот факт, что m — ц2 лежит в определенном интервале, чем аналогичное утверждение для arcsin -\/jI7— arcsin Уц2- В двух- и многофакторном анализе возникает вопрос не только о значении различных шкал при сравнении или оценке, но и о зависимости обычно проверяемых гипотез от этих шкал. Мы уже видели, что это так для гипотез об отсутствии взаимо- взаимодействий (§ 4.1); при наличии взаимодействия (взаимодействие будет по крайней мере в одной из двух шкал, если преобразо- преобразование нелинейно) это также имеет место для гипотез о главных эффектах. Рассмотрим пример*) двухфакторного анализа, в котором один фактор представляет собой тип инсектицида, а второй —метод распыления; наблюдение уц равно доле уни- уничтоженных насекомых, когда i-й инсектицид распылялся ;-м ме- методом; ПуСТЬ М (уц) = Ц(/. Если мы вспомним, что главный эффект г-го инсектицида равен среднему по методам распыления, то мы увидим, что если гипотеза об отсутствии разности между главными эффек- эффектами справедлива для множества {ц;/} или /arcsin м^}, То она, вообще говоря, несправедлива для другого из этих множеств. Рассмотрим теперь возможный экономический аспект этих па- параметров. Если известно, что различные методы распыления применяются на практике с частотами {п\,п2,...}, то разумной мерой эффективности i-го инсектицида будет X^/N» однако едва ли можно было бы рассматривать ? яу arcsin \i)f как по- подобную меру. Иногда встречается мнение, что преобразование, уравниваю- уравнивающее дисперсии, устраняет также ненормальность и неаддитив- неаддитивность. Аддитивность и равенство дисперсий могут быть несов- несовместными, как показывает следующий пример, в котором мы можем получить только одно свойство ценой нарушения дру- другого. Пусть имеется / -f- / + 1 независимых пуассоновских пе- переменных, {«,} со средними {а,}, {и/} со средними {р,} и w со средним у. Пусть наблюдение уц в ячейке i, / двухфакторного анализа имеет структуру щ-\- Vj -\- w. Тогда М(«/*/) = а< +Р/ + -f- у, и мы имеем аддитивность; однако Dytj — а< + Р/ + Y. и мы не получаем равенства дисперсий, если только не равны друг другу все {а,} и {р,-}. Преобразование A0.7.1), уравнивающее дисперсию, превращается для пуассоновского распределения в z = y]i2, а это нарушает аддитивность. Неясно, какая в слу- случае пуассоновского распределения из величин у или yl>2 бли- ближе к нормальной величине, однако сейчас это для нас не- неважно. *) Этот пример предложен проф. Краскалом.
§ 10.7. ПРЕОБРАЗОВАНИЯ НАБЛЮДЕНИЙ 415 Если наши сведения об исследуемом явлении не ограничи- ограничиваются эмпирическими фактами, а частично вытекают из неко- некоторых теоретических принципов, то эти теоретические предпо- предпосылки часто указывают нам полезные и важные преобразования. Проиллюстрируем это на разобранном выше примере с превра- превращением химического вещества. Если обозначить через А количе- количество первоначального вещества и если возможна такая реак- реакция, когда почти все вещество превращается в конечный продукт, то физически невозможно получить большую флуктуа- флуктуацию количества превращенного вещества у, так как оно огра- ограничено числом А. В этом случае можно ожидать, что ау ошибки будет уменьшаться, когда у приближается к А, поэтому преоб- преобразование /"(i/) == In г/ не будет выравнивать дисперсию. Для того чтобы стабилизировать дисперсию, надо учесть влияние границы, растягивая шкалу у около у = А, подобно тому, как преобразование арксинуса дает растяжение шкалы около концов. Из интуитивных соображений мы потребуем, чтобы растяжение масштаба в разных частях шкалы было приблизительно пропорционально трудности увеличения значе- значения нашей величины в соответствующем месте (например, обычно труднее увеличить у от 0,98 А до 0,99 А, чем от 0,90 А до 0,91 А). Предположим, что реакция должна происходить примерно по схеме мономолекулярной реакции; в этом случае In-jzy^tt. (Ю.7.2) где t — время реакции. За преобразование f(y) можно взять {(у), определенную левой частью A0.7.2); это преобразование будет растягивать шкалу нужным нам способом. Преобразо- Преобразованная величина физически осмысленна, так как она тесно связана с теоретическим коэффициентом скорости реакции k в A0.2.7), который является одним из основных физических параметров. Далее, это преобразование делает зависимость от времени реакции одного из факторов эксперимента более близ- близкой к линейной (тем более близкой, чем точнее выполняется A0.2.7)). Заметим также, что дальнейшие теоретические сведения о процессе могут указать природу взаимодействия между фак- факторами температуры и времени реакции, а это в свою очередь может помочь в планировании эксперимента. В заключение рассмотрим связь между теоретическим урав- уравнением A0.7.2) и рассмотренным выше логарифмическим пре- преобразованием. Запишем A0.7.2) в виде М(«/)=-ДA-«-"). (Ю.7.3) заменяя у в A0.7.2) на М(у), так как фактически A0.7.2) от- относится к у, освобожденному от ошибок. Если мы положим
416 ГЛ. 10. ВЛИЯНИЕ НАРУШЕНИЯ ОСНОВНЫХ ПРЕДПОЛОЖЕНИЙ к = k(i,T), где i—номер катализатора, а Т — температура, то мы получим, что М {у) представляет собой функцию от i, t и Т, умноженную на функцию от А (в нашем случае просто на А). Далее, если рассматривать Ы, малые по сравнению с едини- единицей, то приближенно М(«/) = Akt и М(у) не достигает на у-шкале окрестности точки А, где действует эффект барьера. В этом случае М (у) разлагается на произведение функции от А на функцию от t и на функцию от i и Т. Логарифмирование здесь дает полезное преобразование, так как око делает эф- эффекты факторов Ant, коэффициент k(i,T) аддитивными. Во всяком случае это так, если теоретическое соотношение A0.7.2) выполняется точно. Если это соотношение выполняется прибли- приближенно, то можно ожидать, что анализ In у будет несколько проще, чем анализ у. ЗАДАЧИ 10.1. Примените приближенные /^-критерии, описанные в связи с A0.6.1), к данным задачи 4.8 и сравните полученные три /•"-отношения с точными значениями, получающимися в задаче 4.8. 10.2. Дайте объяснение, почему приведенные в § 10.1 (yi, Y2) имеют большее положительное Yi Для возрастов невест и женихов? Почему возраст отиов и матерей имеет меньшее значение yi? Почему уг больше у отцов, чем у матерей? 10.3. Пусть /i и 1г — объемы выборок /-критерия (с номинальным уров- уровнем а) для проверки разности двух средних. Покажите, что при J\ и /г -»- оо (любым способом) и постоянном а вероятность ошибки второго рода стре- стремится к нулю. Не предполагайте нормальности и равенства дисперсий. Указание. Используя формулы A0.2.12) и A0.2.13) для асимптотики среднего и дисперсии величины A0.2.10), докажите, что дисперсия заключена между 6 и 1/6, а среднее стремится к бесконечности. 10.4. Пусть в /-критерии проверки разности двух средних обычная оценка стандартного отклонения yi. — yz. заменена на (-T's^ +/.f'sj) (в обо- обозначениях A0.2.10)). Покажите, что если /i и /2->-°о, а отношение R = Utti постоянно, то получающийся критерий имеет правильный уровень значимости вне зависи- зависимости от значения в = crj^cTg. 10.5. В задаче 10.4 неважно, какое число v степеней свободы мы при- приняли в приближенном /-распределении, лишь бы v -»¦ оо вместе с 1\ и Ji- Какое значение v надо взять, если пользоваться этим критерием для малых выборок? Указание. Аппроксимируйте /f's] + -^'/s^ величиной с х, и вычислите V, приравнивая первые два момента этих величин (как в § 7.5); предпола- предполагайте нормальность и неравенство дисперсий. В окончательной формуле {ст2-} надо заменить на {sf}. 10.6. В § 10.2 мы отметили, что при больших п s2 нормальна, а в зада- задаче IV. 2 утверждается, чго %v нормальна при больших v. Отсюда следует, что при больших п sz/a2 равно с Xv ПРИ некоторых си, а) Покажите, что при небольших п ^-аппроксимации s2/o2 лучше, чем нормальная аппроксимация.
ЗАДАЧИ 417 б) Покажите, что если при любом п величины с и у/2-аппроксимации вычисляются приравниванием первых двух моментов, то с = 1/v и в) Пусть выборочные дисперсии s\ и s% независимы, s2 вычисляется по случайной выборке объема т из популяции с сг2 = а2, и у2 = y2i. Критерии и доверительные интервалы при сравнении <х| и ст2 основываются в нормаль- нормальной теории на отношении (s^/siQ/(a^/af). Приблизьте его к ^vb v,- Какой поправочный множитель необходим к Vi и V2, вычисленным в нормальной теории? 10.7. Пусть в двухфакторном анализе число К наблюдений в каждой ячейке велико. Предположим, что {(/>/*} независимы и имеют средние [у. + а; + ру + \lf}, где a, = P, = vf, = Y»/ = ° для всех I, /, и диспер- дисперсии {а],}. Покажите, что истинные вероятности ошибок первого рода при проверке гипотезы о том, что все щ = 0, всегда превышают номинальный уровень значимости. Указание. Можно показать, что вычислении, сделанные для A0.2.16), можно применить и к настоящему случаю, если определить подходящим образом {7f} и |сг2}. 10.8. Неравенство дисперсий может нарушить статистическую независи- независимость оценок и средних квадратов. Это можно показать на следующем про- простом примере. Пусть {#,•} независимы, нормальны, имеют нулевые средние и дисперсии {сг?}. Достаточным условием независимости среднего х» нли среднего квад- квадрата Ixl от среднего квадрата ошибок ? (xt — xtf является то, что все {xt — *,} имеют нулевую корреляцию с х*. Покажите, что это условие вы- выполняется только в том случае, когда все |о(-| равны. 10.9. Примените преобразование A0.7.1) к случаим, когда величина у равна (а) пуассоновской величине, (б) выборочной дисперсии s2 (\г предпо- предполагается известным), (в) выборочному коэффициенту коррелиции г. В случае (в) предположите, что двумерная популяция нормальна, и используйте при- приближенные равенства*) М (г) « р, D(r) « гс-'A—р2J, где р — коэффициент корреляции в популяции. *) См., например, Крамер (Cramer, 1946, § 27.8). 14 Г. Шеф<Ьв
Приложение I ВЕКТОРНАЯ АЛГЕБРА В этом приложении даются основные понятия векторной алгебры (а в следующем — матричной алгебры), достаточные для понимания этой книги. Мы ограничимся конечномерным векторным пространством. Математически более привлекатель- привлекательным является абстрактный*) подход, однако для наших спе- специальных целей он менее подходит. Читатель, желающий озна- ознакомиться более детально с вводимыми ниже понятиями, отсы- отсылается к книге Мурдоха (Murdoch, 1957)**). Определение 1. Вектором называется упорядоченное множество п действительных чисел A.1) Отметим, что поскольку мы рассматриваем упорядоченные множества чисел, то векторы различны. (Действительными числами являются числа, используемые в аналитической геометрии и в вычислениях, как, например, 2; — 1; 1,67; я; е\ л/Т. Будем предполагать, что читатель знаком с изображением действительных чисел на числовой оси. Недействительными (комплексными) числами являются, на- например, л/—1 и 2 + 3 У—1 .) *) Абстрактный подход развит, например, в книге Биркгофа н Мак- Лейна (Birkhoff, MacLane, 1953). •*) См. также Д. В. Беклемишев, Курс аналитической геометрии и линейной алгебры, «Наука», Москва, 1974. (Прим. перев.)
ВЕКТОРНАЯ АЛГЕБРА 419 В определении 1 п чисел записываются обычно в строку (хи Хг, ¦ • •, х„); однако, по причине, которая выяснится в при- приложении II, для нас удобнее записывать их, как в A.1). Для любого заданного п множество всех векторов обозна- обозначается через Vn- При м= 1, 2, или 3 вектор A.1) в «-мерном евклидовом пространстве может быть изображен точкой Р с координатами (хъ Х2, •. •, хп), однако лучше его изображать отрезком прямой, проведенным из начала координат в точку Р; например, изображение Т /хл векторов в Уз см. на рис. I. 1. Вешар\хЛ (Иногда более удобно допустить, ' что вектор ОР изображается так- также любым отрезком, полученным из отрезка ОР параллельным пе- переносом.) Это позволяет использо- использовать геометрические понятия при рассмотрении векторов в Уь V2 или Уз, а затем перенести их на рис j i случай У„ с п > 3. Так, например, в Уз число xt, называемое i-й координатой (или компонентой) вектора, является алгебраической длиной проекции этого век- вектора на г-ю координатную ось; мы увидим, что это также верно в Уп. Обозначение. Вектор A.1) мы будем обозначать че- через х. Запись x^Vn означает, что х является вектором из Уп. Теперь мы введем основные операции над векторами. Определение 2. Суммой х-\-у векторов и У~\ '. I является вектор Иными словами, при сложении векторов складываются их ко- координаты. Геометрически (а теперь мы попытаемся «предста- «представить» себе n-мерное пространство подобно тому, как мы пред- представляем себе трехмерное) мы получим рис. 1.2. Этот рисунок показывает, что сумма векторов х и у является проведенной через начало координат диагональю параллелограмма, по- построенного в «плоскости», определяемой х и у, и имеющего х, у смежными боковыми сторонами. С помощью рис. I. 2 легко получить другую геометрическую интерпретацию: если сдвинем векторы параллельно себе так, чтобы начало вектора у совпало с концом вектора х, то суммой будет вектор, соединяющий 14*
420 ПРИЛОЖЕНИЕ I начало х с концами у. Вторая интерпретация дает более простой геометрический способ сложения более чем двух векторов. В этом случае вектор не должен рассматриваться как «привя- «привязанный» к началу координат, а должен свободно перемещаться в пространстве, оставаясь параллельным себе. Такое переме- перемещение не изменяет значений его координат. В элементарной физике векторы используются для изо- изображения сил. Направление вектора указывает направле- направление силы, а его «длина» — ве- величину силы. Сложение векто- векторов, как мы его определили, эквивалентно сложению соот- . ветствующих сил. Если векто- векторы х, у изображают две силы, то вектор х + у изображает их равнодействующую. Очевидно, что сложение векторов ассоциативно и коммута- коммутативно, т. е. если х, у, z являются векторами, то рис> 1.2. Определение 3. Произведением сх вектора на скаляр с (т. е. на действительное число) называется вектор •схп Геометрическая интерпретация дается рис. 1.3. Введенная операция называется умножением вектора на скаляр. Оче- Очевидно, что выполняется следующее свойство: если х и у век- векторы, а с и d числа, то 1х = х, с(х + у) = сх + су, (с + d)x — cx-\-dx, c(dx) = d(cx) = cdx. Векторные операции, которые были определены, позволяют ввести понятие линейной комбинации векторов. Мы скажем, что
ВЕКТОРНАЯ АЛГЕБРА 421 вектор z является линейной комбинацией векторов ои.аг, ... ..., аг с коэффициентами си с2, ..., с, (числами), если Z = Citti + C2OC2 + . . .+ CrV.r- Сокращенно это будем записывать в виде Если пределы суммирования по i очевидны, то будем писать = ?с»аь или даже: z = Y. с<а,.Читатель, не освоившийся i X СХ f,..., схп) off с<В X ' \ (cxf,...,cxn) Рис. 1.3. с этим обозначением, должен убедить себя, что равенство г г 3 3 аналогично равенству ^ f (x) dx = \ / (у) dy. 1-1 y=i . 1 1 Введем третью основную операцию, которая любой паре век- векторов ставит в соответствие число. Определение 4. Скалярным (или внутренним) произ- произведением двух векторов и у = является число Обозначение. Из определения следует, что скалярное произведение коммутативно. По причинам, которые выяснятся в приложении II, мы обозначим скалярное произведение через Yl
422 ПРИЛОЖЕНИЕ I Пусть х, у, г — векторы, а с — число. Легко проверить следую- следующие свойства: В действительности х'х = 0 тогда и только тогда, когда х яв- является нулевым вектором, т. е. 'Л С° х=\ ' I. Важно отличать нулевой вектор 0 = ¦ о от числа нуль. Отметим, что эти два нуля связаны при любом х е Vn соотношением Оде = 0. Нулевой вектор 0 имеет свойство, аналогичное свойству числа 0 (по которому х -f- 0 = х при лю- любом числе х), а именно ж + 0 = ж при любом лее Vn. В случае одного, двух или трех измерений мы соответственно имеем х'х = х\, х'х — х\ + х\, х'* = х\ + ¦+- х\ + х\. Таким образом, в этих трех случаях {х'х)''« является дли- длиной вектора х. Понятие длины есте- естественно обобщается следующим определением. Определение 5. Нормой (или длиной) вектора A.1) (будем обозначать через 11*11) называется || х || = (*'*)'/'. A.2) Из A.2) следует, что || сх \\ = \с\ \\ х \\. В У2 и Уз скалярное произведение имеет важное геометри- геометрическое значение. Любая пара векторов х, у определяет тре- треугольник (см. рис. 1.4). «Теорема косинусов» утверждает, что \\х-у\\*=\\х II2 + || у II2 - 2|| х|| • || у || cos a, где а — угол между х и у. Подставляя в это равенство II * - У II2 = (* - У)' (х - У) = х'х - у'х - х'у + у'у, II х ||а = *'*, || у ||2 = у'у и у'х = х'у, получим *'y=||*IHIHcosa. Величина || х \\ cos a является алгебраической длиной проекции д- на у (эта величина является алгебраической длиной, так как она отрицательна в случае 90° < a < 180°). Следовательно, скалярное произведение х'у равно алгебраической длине проек- проекции одного вектора на другой, умноженной на норму послед-
векторная Алгебра 423 него. В частности, если вектор у имеет единичную длину, т. е. если || у || = 1, то х'у является алгебраической длиной проекции х иа у, так что вектор (х'у)у совпадает с проекцией х на у (см. рис. 1.5). Обобщим это понятие на У„. Отметим, что если у — любой ненулевой вектор в Vn, то HjHh'y имеет единич- единичную длину и такое же направ- направление, как у. Определение 6. Если х и у являются векторами в Va и уф 0, то вектор \\у\\~2{х'у)у называется проек- Рис. i.5. цией х на у. Мы лучше поймем понятие проекции, когда рассмотрим данное ниже более общее определение (определение 15), частным случаем которого является только что приведен- приведенное определение. В терминах скалярных произведений мы определим также важное понятие ортогональности векторов. В Vz Два ненулевых вектора, например х, у на рис. 1.4, ортогональны тогда и только тогда, когда а = 90°. Мы ус- условимся считать х и у также ортогональными и в том слу- случае, когда х или у является нулевым вектором. Следова- Следовательно, х и у ортогональны тогда и только тогда, когда х'у = 0. Это условие используем для определения ортогонально- ортогональности в общем случае. Определение 7. В пространстве Vn два вектора х, у называются ортогональными тогда и только тогда, когда х'у = 0. Из определения 6 следует, что в Vn два ненулевых вектора ортогональны тогда и только тогда, когда проекция каждого из иих на другой равна нулю. Обозначение. Запись xJLy имеет тот смысл, что век- векторы х и у ортогональны. Определение 8. Пусть {сц, аг, ..., as} — множество s векторов в Vn. Векторным пространством V, порожденным век- векторами {ai, аг, ..., as}, называется множеством всех векторов, состоящее из 0 и линейных комбинаций векторов «ь осг, ..., as. Обозначение {ось «2. • • •, as} нужно понимать как {ось «г} при s = 2, {ai} при s=l и как пустое множество при s = 0. Включение 0 вместе с ось аг, ..., ocs в определение 8 удобно (см., например, лемму 2) тем, что в случае пустого множества мы имеем пространство, состоящее только из 0. В определении 8 V называют также линейным подпростран- подпространством Vn- «Линейным» оно называется на основании следую- следующего легко проверяемого свойства: если х и у принадлежат V, то ах + by при любых числах а и b тоже принадлежит V. Да-
424 приложение t лее, V называется подпространством Vn (обозначается так: Vс Vn), так как из *еУ следует, что лее Уп (символы е и с являются символами включения; символ е означает «является элементом множества» или «принадлежит множеству», а с — «является подмножеством множества»). Рассмотрим в Уз два ненулевых и непараллельных вектора и и v. Если V состоит из линейных комбинаций и и v, то V яв- является плоскостью. Если w — любой вектор V, то линейное пространство, порожденное расширенным множеством {u,v,w}, снова совпадает с V. Отсюда возиикает потребность охаракте- охарактеризовать минимальное множество векторов, порождающее ли- линейное пространство. Определение 9. В Уп векторы {Рь Рг> • • • > Рг} назы- называются линейно зависимыми, если существует множество чисел {с\,С2,...,Сг}, в котором не все числа равны нулю, и такое, что CiPi-f C2P2+ ••• + CrPr = 0. Если такого множества чисел не существует, то векторы {рь р2, • • ¦. Рг} называются линейно независимыми. Пустое множество условимся считать множе- множеством линейно независимых векторов. Таким образом, при г > 1 векторы {рь Рг,..., р,} линейно независимы тогда и только тогда, когда не существует вектора, являющегося линейной комбинацией других векторов; при г = 1 {Pi} линейно независим в том и только в том случае, когда Pi Ф 0, при г = 0 имеем пустое множество, которое всегда является множеством линейно независимых векторов. Итак, в каждом случае векторы линейно независимы тогда и только тогда, когда среди этих векторов нет вектора, который входит в векторное пространство, порожденное другими векторами. Отсюда следует, что множество линейно независимых векторов не может содержать нулевого вектора и что любое подмноже- подмножество этого множества также является множеством линейно не- независимых векторов. В предыдущем примере векторы {a, v} ли- линейно независимы, а {и, v, w}—линейно зависимы. Установим следующую полезную лемму. Лемма 1. Если ненулевой вектор р не является линейной комбинацией множества {at, сег,..., аг} линейно независимых векторов, то {аь аг, ..., аг, р} тоже является множеством ли- линейно независимых векторов. Доказательство. Если множество {еи,...,аг} пусто, то лемма очевидна. Предположим теперь, что это множество не- непусто и что утверждение леммы неверно. Тогда существуют постоянные d, ..., сг, с, не все равные нулю, такие, что fiai + ... + c,ur + cp = 0. Если с равно нулю, то по крайней мере одно из {с,} должно быть отлично от нуля и тогда {а;} удовлетворяют равенству Ciai + • • • + crar = 0, что противо- противоречит линейной независимости {он}. Таким образом, с Ф 0
ВЕКТОРНАЯ АЛГЕБРА 426 и р = — Y, (ci/c) щ является линейной комбинацией {а,}. По- лученное противоречие доказывает лемму. Замечание. Ограничение, заключающееся в том, что р— ненулевой вектор, исключает случай, когда {ai,..., аг} — пус- пустое множество и р = 0. Определение 10. Базисом векторного пространства V называется множество линейно независимых векторов, которое порождает V. Лемма 2. Каждое векторное пространство имеет базис. Доказательство. По определению 8 существует мно- множество {ai,...,ccs}> которое порождает V. Если это множество пусто, то оно является базисом V (V состоит только из 0). Если {ось • • •. «s} не пусто, но все ос, = 0, то снова получим V с таким же базисом. Пусть теперь имеется по крайней мере одно аг ф 0. Тогда мы образуем подмножество {ai,...,as} путем выбрасы- выбрасывания всех аг, равных нулю. Затем начнем последовательно рас- рассматривать оставшиеся ос<; если рассматриваемое осг не является линейной комбинацией уже рассмотренных и оставленных век- векторов, то оно сохраняется, а в противном случае отбрасывается. Этот процесс можно начать с аг, не равного нулю. Из леммы 1 следует, что полученное таким путем подмножество будет ли- линейно независимым. Очевидно, что отбрасывание а, по описанному выше процессу не уменьшает пространства, порожденного оставшимися аг. Действительно, пусть через Рь ..., р, обозначены отбро- отброшенные {осг}, а через уь •••, Y' оставшиеся (<7 + r = s). Тогда каждый лее V является линейной комбинацией {ai, ..., as} = Ч г — {pb...,p,,Yi,...,Yr}, например, *=Е аД- + Z &/Y/- Но каждое рг является линейной комбинацией \h например, Р,- = X Ci/Y/ и> следовательно, х есть линейная комбинация только Yi, так как х = X ^/Y/. где dl = bj + X ЩСц. Итак, по- полученное подмножество является базисом V. Определение И. Размерностью векторного простран- пространства V называется число векторов в любом базисе V. Отсюда следует, что размерность векторного пространства, состоящего только из 0, равна нулю. Приведенное определение устанавливает размерность однозначно (независимо от исполь- используемого базиса). Это является следствием теоремы о базисе, которую мы .сейчас докажем. Мы также покажем, что по на- нашему определению размерность пространства Vn, которое мы называли «л-мерным», равна п.
426 ПРИЛОЖЕНИЕ I Теорема 1 (теорема о базисе). Любые два базиса векторного пространства содержат одно и то же число векторов. Доказательство. Если векторным пространством V яв- является {0}, то существует единственный базис, состоящий из пустого множества. В этом случае теорема верна. Рассмотрим другой случай; пусть {аь..., аг} и {Рь..., ps} — два различ- различных базиса V. Предположим, что г < s. Векторы {ом, ...,аг} порождают V и являются линейно независимыми, так как они составляют базис. Ясно, что ось • • •, «г, Pi порождают V. Однако они линейно зависимы, так как вектор рь принадлежащий V, должен быть линейной комбинацией базисных векторов ось • • • ...,ос,-. Таким образом, существуют постоянные 0ц, ..., а и та- такие, что Pi = onoci -f ... -\-a\rttr. Не все аи- = 0, так как в противном случае Pi = 0, a Pi является базисным вектором. Не нарушая общности, мы можем допустить, что аи ф 0. Тогда см является линейной комбинацией аг, ..., осг, Рь которые, сле- следовательно, тоже должны порождать V. Очевидно, что аг, ... ..., аг, Рь Рг порождают V. Однако они линейно зависимы, так как р2 является линейной комбинацией осг, ..., аг, Рь например, 02 = 022012+ ... + Оп-ОС, -f &2lPl- ЕСЛИ бы ВСе пи (i = % ¦ ¦ ¦ , г) равнялись 0, то рь ..., ps были бы линейно зависимыми, что противоречит нашему предположению. Таким образом, най- найдется по крайной мере одно а^и неравное 0, и снова, не ограни- ограничивая общности, мы сможем допустить, что 022 Ф 0. Тогда ос2 является линейной комбинацией «з, .... аг, Рь Рг, которые, сле- следовательно, должны порождать V. Повторяя такие рассужде- рассуждения, мы получим, что Рь р2, ..., рг порождают V; но тогда век- вектор рл+1 должен быть линейной комбинацией Рь ..., Рг. Это противоречит тому, что Рь ¦ • •, Ps образуют базис V. Следова- Следовательно, г не может быть меньше s. Аналогично доказывается, что s не может быть меньше г. Отсюда следует, что г = s. Пример. Рассмотрим сио.ва векторное пространство Vn. Пусть через 32 обозначено множество векторов 1 0 0 lo. . p2= 0 1 0 : ioj р„= 0 0 0 1 эти векторы линейно независимы, так как из равенства t=i
ВЕКТОРНАЯ АЛГЕБРА 427 следует, что а = сг = ... = с„ = 0. Кроме того, векторным пространством, порожденным 32, является Vn, так как любой вектор (I. 1) в Vn может быть п записан в виде х= ^ ле.р.. Следовательно, множество #={pi, рг рл} является базисом Vn. Применяя только что доказанную теорему, сразу по- получим следствие. Следствие 1. Любой базис Vn содержит точно п векто- векторов, т. е. размерность Vn равна п. Обозначение. Запись Vr c= Vn означает, что Vr является г-мерным векторным пространством, содержащимся в Vn- (Бу- (Будем всегда предполагать, что п > 0.) Обозначение Vr двусмыс- двусмысленно, так как раньше через Vr было обозначено множество всех г-мерных векторов, а теперь через Vr обозначено г-мерное векторное пространство л-мерных векторов; однако эта дву- двусмысленность является лишь чисто внешней*). Лемма 3. Если Vr czVn, r> 0, Vr порождается векторами {ось ... i as} и х е Vr, то коэффициенты в разложении x = aioci + «гаг ¦+¦ ... + ctsas однозначно определяются тогда и только тогда, когда {аь... ..., as} линейно независимы, т. е. тогда и только тогда, когда s = г и {ось • • • > OLr} является базисом Vr- s Доказательство. Пусть x=Xaia<- Допустим, что {bi} является любым другим множеством коэффициентов и S S х = X Ь<щ. Тогда Yj (Pi — аА щ = 0. Если {ос,} линейно незави- симы, то все bi — a, = 0 и, следовательно, а,- единственны. Если {а,} линейно зависимы, то существуют {с,}, не все равные нулю, s такие, что X С(«г = О. Фиксируя {а,} в разложении дс= ^ ага(, i l положим bi = ui -f- cr, тогда x= ? Ь{а( и не все bi — a,- = 0. Определение 12. Если {ai,a2,... ,сс„} — базис Vn, а х — произвольный вектор в Vn, то коэффициент а(- (г =1,...,«) S при ссг в единственном разложении х = X aiat по векторам базиса называется i-й координатой дев базисе {ai,...,a,,}. *) Эти два Vr изоморфны; см., например, Биркгоф и Мак-Лейн (Birk- hoff, MacLane, гл. 7, теорема 5) (илн Д. В. Беклемишев, Курс аналити- аналитической геометрии и линейной алгебры, «Наука», Москва, 1974, гл. VII, § 1, теорема 3, стр. 229).
428 ПРИЛОЖЕНИЕ I В связи с этим определением отметим, что i-я координата точки (х\, х2,..., хп) в Vn является i-й координатой вектора A.1) в базисе 91, введенном в рассмотренном выше примере. Определение 13. Базис {ai, ...,ссг} пространства Vrcz с Vn называется ортонормированным, если г векторов а* по- попарно ортогональны и имеют норму, равную единице. Используя символ Кронекера б,-/ = 1 при i = j и б,; = 0 при 1ф], мы можем сказать, что {ai,...,ar} является ортонорми- ортонормированным базисом, если («>/) = бг/(«. /=1. •••> г). Простейшим примером ортонормированного базиса является базис 91 пространства Vn, состоящий из единичных векторов координатных осей, имеющих положительное направление. В этом случае, как было показано раньше, мы видим, что ал- алгебраическая длина проекции вектора х на i-ю координатную ось равна р'{х = хг Рассмотрим более общий случай. Если {ai,..., ап} — произвольный ортонормированный базис, то в этом базисе г-я координата вектора х из Vn равна с^дс, т. е. равна проекции х на единичный вектор щ. Действительно, так как существуют единственные координаты а\, ..., а„ такие, что х — Yj «/«/> то отсюда следует К*=< ? «л=? «/«>/=? «А/=ai- Лемма 4. Если векторы а\, ссг, ..., аг попарно ортого- ортогональны и не равны нулю, то они линейно независимы. Доказательство. Пусть 0 = С\а.\ + ••• + crctr. Отсюда следует, что все с,- = 0. Действительно, умножая скалярно наше равенство на aj, получим 0 = a't X cjaj = Y, с/ага/ — ct \ at |f• Так как at ф 0, то с,- = 0. Лемма 5. Любое множество г линейно независимых век- векторов в У, с= Vn является базисом Vr. Доказательство. Предположим противное. Пусть а,е V, и {аь...,аг} линейно независимы, но не являются ба- базисом Vr. По лемме 2 пространство V, имеет базис {Эь...,Щ. Применяя к множеству 2г векторов {а\,...,аг,ф\, ...,&}, по- порождающему Vr, процесс, использованный в доказательстве леммы 2, получим базис Vr. Этот процесс не может отбросить ни одни из векторов ось • • •. ar, так как они линейно незави- независимы, и не может отбросить все Рь ..., $г, иначе {ai, ...,ссг} являлись бы базисом. Таким образом, полученный базис дол- должен иметь более, чем г векторов, что противоричит теореме о базисе.
ВЕКТОРНАЯ АЛГЕБРА 429 Следствие 2. Любые г -f- 1 векторов в Vr a Vn линейно зависимы. Из лемм 4 и 5 получаем также следующее утверждение. Следствие 3. Любое множество г ортогональных нену- ненулевых векторов в Vr czVn является базисом VT. Часто использование ортонормироваиного базиса приводит к упрощению доказательств. Мы покажем, что любой базис V, можно «ортонормировать». Ортонормируем базис в Уг- Если, как изображено на* рис. 1.6, {«1. аг} — произвольный базис, а я — проекция аг на он (по оп- определению 6), то векторы си и <*2 — я ортогональны. Следо- Следовательно, II «I ||—1се, и Наг — — я||~'(а2 — я) образуют орто- нормированный базис V^- Этот метод (процесс Шмидта) может быть обобщен. Его обоб- обобщение приводит к следующей Рнс- 1р6- лемме. Лемма 6. Для произвольно заданного базиса {аь аг,..., а,} пространства Vr существует ортонормированный базис {уь Y2. •. ¦, Y'} этого пространства такой, что каждое у< является линейной комбинацией аь аг, ..., а.,. Доказательство. Пусть р, = щ. Положим р2 = «2 — c2iPi, где с21 должно быть определено так, чтобы Р'Р2 = 0. Это усло- условие дает с2$Р, = Р',а2, с21^Р^а2/Р|Р1. Вектор Р2 ф 0, так как из равенства 02 = 0 следовало бы, что с^а, — а2 = 0, а это проти- противоречит линейной независимости {щ ar}. Теперь пусть Рз== аз ~ сзА ~ сз2^2 и ПУСТЬ выполняются условия PjP3 = 0, Р2Р3 = 0. Отсюда, учитывая, что Р^Р2 = О, находим с31 == Р[а3/Р|р, и сз2== Р^з/РгРг- Снова Р3 не может быть 0, так как в против- противном случае мы имели бы «з — c3i«i — с32 («2 — c2i«i) = 0, что при- приводит к линейной зависимости {ay}. Продолжая последова- последовательно такое построение, мы получим множество из г векторов (-1 {Р,, Р2 Рг}. где р, = а, - X cifij и си = Ру^/Р'/Р;. Эти векторы ортогональны по построению. Они не равны нулевому вектору, так как рг имеет вид а( — X dija/> и, следовательно, если Р( = 0, то векторы at должны быть линейно зависимыми. Таким обра- образом, по следствию 3 полученные векторы являются базисом Vr. Отсюда получаем для V', ортонормированный базис {Yi, Y2. .... Yr}. где Yi = P/1IPJ
430 ПРИЛОЖЕНИЕ I Лемма 7. Если {осьосг,..., осг}—ортонормированный ба- базис Vr cr Vn, то его всегда можно дополнить до ортонормиро- ванного базиса пространства Vn- Доказательство. Так же, как в доказательстве лем- леммы 5, мы можем показать, что можно найти векторы pr+i, ..., р„ так, чтобы {ось..., а„ pr+i,..., рп} являлись базисом У„. По лемме 6 мы можем ортонормировать этот базис и тогда полу- получим базис {Yb---iY'->Y'-+i»--->Y*}- Ho «ь •••> «»• Уже были по- попарно ортогональны. Отсюда легко проверяется, что все коэф- коэффициенты сц, Сз1, с32, •.., сг\, ..., сг<г-\ должны быть равны нулю, так что Y'— «< при /== 1, ..., г. Таким образом, мы дополнили {ai,.-..,ar} до ортонормированного базиса {ось... ... ,ar, Yr+i, • • • ,\п} пространства Vn- Определение 14. Пусть VraVn и *e=Fn. Говорят, что х ортогонален к Vr (обозначается х ± Vr) тогда и только тогда, когда х ортогонален к любому вектору в VT. Лемма 8. Если {ось ос2 ccs} порождает Vr с= Vn, то х е Vn ортогонален к Vr тогда и только тогда, когда он ортого- ортогонален к каждому ос/ (i = 1,..., s). Доказательство. Если X-LVr, то по определению х J_ сс«. Пусть *_1_ ос; при i = 1, ..., s. Если у е V,, то мы можем записать y=S^(a(- Тогда х'у = X bix'at = 0. Следовательно, .ir_L.V при любом ye Fr. Лемма 9. Пусть VrdVn и ie Fn. Тогда существуют век- векторы у и г такие, что х = у -f г, уеУ„ г _L Vr- Это разложе- разложение единственно, т. е. если мы имеем также х = у* -f z*, у* е е1/, иг*1 Vr, то отсюда следует, что у = у* и г = г*. Доказательство. Пусть {а,, а2, ... а,} — ортонормиро- ванный базис Vr и пусть у=Хс<аь гДе c( = *X-. Очевидно, г=1 г что ueI'., Пусть 2 = x — у = х— X сга<. При ?=1 г имеем г'а^ = ж'^ — X c(.a^aft = cft — ? cF(fc = cft — cfe = 0. Тогда по лемме 8 устанавливаем, что z ± Vr и, следовательно, векторы у и г удовлетворяют условиям леммы 9. Теперь допустим, что мы также имеем х = у*-\-г*, где у'еУ, и z*±Vr. Тогда (у* — у) + (г*—-г) = х — * = 0. Но, с од- ной стороны, ]/ = (у* — y)€^Vr, г = (г* — z) I Vr, а с дру- другой стороны, г = —у е Fr. Следовательно, г должен быть ортогонален самому себе, что возможно только при г = 0. Отсюда и из равенства y-f2 = 0 следует, что у = 0. Таким образом, у = у* и z = г*.
ВЕКТОРНАЯ ЛЛГЕБРЛ 431 В доказательстве единственности у было установлено также, что фактически у не зависит от выбора ортоиормированного ба- базиса {cci,...,ссг}, использованного в его определении. Это есте- естественно с точки зрения следующего определения. Определение 15. Если вектор x^Vn, то вектор y^Vr, определенный в лемме 9 условием х— у _L Vr, называется про- проекцией х на Vr. В случае г = 1 это определение сводится к определению 6 (где мы говорили о проекции х на ненулевой вектор вместо проекции на Vi, порожденное этим вектором). Теорема 2. Пусть заданы Vr a Vn, постоянный вектор х и переменный вектор y^Vr. Величина \\х — у\\ имеет мини- минимальное значение. Этот минимум достигается тогда и только тогда, когда у является проекцией х на V Г- Доказательство. Пусть у* является проекцией х на Vr- Используя равенство х — у = (х — у*) + (у* — у), найдем II х - у 1Р = (х - у*)' (х - у*) + (у* - уУ (у* -у) + + {х- У*) (У* -У) + (У* - у)' (х - у*). Но (х — y*)-L Vr, тогда как у*, у, а следовательно, и у*— у при- принадлежит Vr- Таким образом, в приведенном выше равенстве два последних члена равны нулю и Когда у изменяется в Vr, первое слагаемое в правой части остается постоянным, а второе изменяется, принимая неотри- неотрицательные значения, при- причем нулю оно равно тог- тогда и только тогда, когда у = у*. Следовательно, || х — у ||2 достигает сво- своего минимума тогда и только тогда, когда у=у*. Это доказательство изо- изображено на рис. I. 7. Следующая теорема является геометрически очевидной; она иногда полезна при доказательстве существо- существования решения системы линейных уравнений (см., например, конец § 1.4). Теорема 3. Если Vrс= Vn, х<= Vn и х ортогонален лю- любому у, ортогональному Vr, то х^ Vr. Доказательство. Пусть x = z-\-w, где zsKf, w _L Vr. Умножая это равенство скалярно на w, получим w'x = w'z -j- -f w'w. Ho w'z = О, а по условию теоремы w'x = 0. Отсюда на- находим, что w'w = 0, w = 0. Следовательно, х = геУ,. Рис. 1.7.
432 ПРИЛОЖЕНИЕ I В теореме 3 неявно используется понятие ортогонального дополнения, которое будет полезно и в дальнейшем (§§ 2.4 и 2.5). Определение 16. Если Vs является s-мерным подпрост- подпространством r-мерного подпространства Vr cz Vn, то совокупность всех векторов в Vr, ортогональных к Vs, называется ортого- ортогональным дополнением Vs в Vr. Пример. В трехмерном евклидовом пространстве точек с координата- координатами (Х[, х2, Xi) ортогональным дополнением (хи х?) -плоскости является ось *з- Лемма 10. Ортогональное дополнение Vs в V, является (г — s)-мерным подпространством Vr. Доказательство. Пусть {vi \s}—ортонормирован- ный базис Vs- Дополним его до ортонормированного базиса (уь •••> Ys> •••¦ Y'} пространства Vr. Тогда любой JteF, имеет вид 2 ciY( и ортогонален к Vs тогда и только тогда, когда с\ — сч. = ... = cs = 0, т. е. тогда и только тогда, когда х принадлежит (г — s) -мерному пространству векторов вида i-s+l Если обозначить через V,—s ортогональное дополнение Vs в Vr, то мы увидим, что ортогональным дополнением Vr-S в Vr s является Vs, так как Vs состоит из векторов вида Yi ctVh ис- пользованных в приведенном выше доказательстве. Теорему 3 можно рассматривать как частный случай этой леммы, когда г = п. ЗАДАЧИ 1.1. а) Пусть V является векторным пространством, порожденным он, «2, «з, в4, где AЛ ('А ( I а2= 4 I, о3= -2 I, о4= -1 ¦\) VJ \-°) к Для получения ортоиормированного базнса V применить процесс Шмидта к «1, «2, Яз, «4 в порядке их записи. б) Принадлежат лн следующие векторы ортогональному дополнению V) 1) A
ЗАДАЧИ 433 в) Разложить вектор —10 иа сумму х = у + г так, чтобы у е V и г 1 V. Проверить, что г || проекция х на К ||2= ^ || проекция * на Y; |р> i=\ где {vt, •••. V'} — ортонормироваиный базис, полученный в а). Вычислить минимум I! х — w ||2, где w — переменный вектор, принимающий значения в V. 1.2. Пусть х, ^ — произвольные векторы. Доказать, что |*'^|2sg < II х ||21| у ||2 (неравенство Коши). Указание. Рассмотреть многочлен второго порядка по с, равный || сх + у ||2; выразить в терминах дискриминанта тот факт, что он никогда не принимает отрицательных значений. п 1.3. Рассмотреть решение т линейных уравнений ^ а,,х. = с. 1=1 (/ = 1, ..., т) сп неизвестными {а, .... хп). а) Определить векторы {а,} и с так, чтобы т уравнений могли быть п выражены в виде одного векторного уравнения V х.а. = с. У=1 б) Проверить, что решение существует тогда и только тогда, когда с является линейной комбинацией {а,}. в) Если решение существует, то при каких условиях оно единственно? 1.4. Доказать, что если V и W являются векторными пространствами в Vn, то ортогональное дополнение суммы V и W равно произведению орто- ортогональных дополнений V и W. (Суммой двух множеств Л и В называется совокупность элементов, принадлежащих А или В; произведением Л и В на- называется совокупность элементов, принадлежащих и Л и В.)
Приложение II МАТРИЧНАЯ АЛГЕБРА В этом приложении мы приведем некоторые теоремы без доказательства*). Все переменные и постоянные будем счи- считать действительными числами. Рассмотрим линейное преобразование п переменных Х\, ... ..., хп в m переменных у\, ..., ут (или вектора х с п коорди- координатами в вектор уст координатами) + al2x2 + ... +alnxn, -f 022*2 + ••• am2x2+ ... +amnxn. Прямоугольная таблица коэффициентов этого преобразования называется матрицей линейного преобразования; мы обозна- обозначим ее (аи «12 ••• а Чт\ ат2 ... атп/ где верхний индекс (т X п) (читается «т на я») матрицы Д указывает, что А имеет т строк и п столбцов. Часто мы будем опускать этот индекс, если размеры матрицы очевидны. Иногда вместо (II. 2) мы будем использовать более короткое обозначе- обозначение А(тХп) = (а,-,); это обозначение показывает, что элемент i, j (элемент в j-й строке и /-м столбце) матрицы А равен а,-,-. Из-за того, что мы будем различать A X 1)-матрицу и действи- действительное число, которое является только ее элементом, не будет никаких недоразумений; в этом случае можно писать ДОо = (ац)=ац. *) Отсутствующие доказательства можно найти в книге Биркгофа и Мак-Лейна (Birkhoff, MacLane, 1953) или Мурдоха (Murdoch, 1957) (а так- также в книге Д. В. Беклемишева, указанной в сноске к началу приложе- приложения 1. — Прим. перев.)
МАТРИЧНАЯ АЛГЕБРА 435 Определение 1. Матрицей, транспонированной к (тХ«)- матрице А в (II.2) (обозначается А'), называется (nXm) матрица а,п а2п ¦ ¦¦ полученная из матрицы А взаимной заменой ее строк и столбцов. Таким образом, если А' = (а'ц), то а'ц = ац. Теперь мы введем три операции над матрицами. Определение 2. Суммой двух матриц Л<Х"> = (а,7) и в(тх«) = (bij) называется (mX «)-матрица Л + В = (а,/-|- + ?<,), полученная сложением соответствующих элементов. Сумма матриц определяется только для матриц одинаковых размеров. Очевидно, что сложение матриц коммутативно и ас- ассоциативно: А + В = В + А, (А + В)+С = А + (В+С) = Л + В + С. Транспонированная матрица суммы равна сумме транспониро- транспонированных матриц слагаемых (А + В)' = A' -f В'. Определение 3. Произведением (т У. п)-матрицы А на действительное число с называется (mX п) -матрица с А = = (са</), полученная умножением каждого элемента на с. Это умножение имеет такие же свойства, как умножение вектора на число. Отметим, что (сА)' = сА'. Прежде чем переходить к определению матричного умноже- умножения, мы рассмотрим сначала два последовательных линейных преобразования: преобразование хю\, ..., wn в Х\, ..., хп, а за- затем Х\, ..., хп в г/1,..., уп. Предположим, что преобразованием х в у является (II. 1) с матрицей A(mxn> в (II. 2), а преобразо- преобразованием w в х—преобразование = tblkwk а=1. -.., я) (II. 3) с матрицей СП 612 ••• &1 21 622 ••• Ьгг п\ ЬП2 . . . Ьп Результирующим преобразованием, полученным подстановкой (II. 3) в (/ = 1, .... т),
436 ПРИЛОЖЕНИЕ II является п г Vi= Zj aa Zj bjkWk, (П. 4) или г У1 = ? cifto)ft, где Cjfe = 2^ atjbjif Ш- 5) Матрица этого преобразования равна л(т X Г) I C21 С22 ... С2Г С "I \cmi cm2 • • • Ст. Эту матрицу С назовем произведением А на В, так что ДВ = С. Другими словами: Определение 4. Произведением матрицы Л<тХп> = (а,/) на B<"Xr> = (b/ife) называется матрица C<mXr) = (c,A), где с** определены формулой (II. 5). Произведение будем обозначать АВ, так что С = АВ. Раскрывая это определение, мы скажем, что элемент в t-й строке и k-u столбце АВ был получен попарным умножением элементов в t-й строке А на соответствующие элементы в k-u столбце В и суммированием (как в определении скалярного про' изведения векторов). Отметим, что произведение матриц определяется только в том случае, когда первая матрица имеет столько столбцов, сколько вторая строк; если матрицы имеют размеры (т X п) и (яХО> Т0 произведением будет (шХг)-матрица. Отметим, что матричное умножение некоммутативно. Если А является (тХ«)-матрицей, В—(п ХО -матрицей, то АВ определена, а ВА не определена, за исключением случая, когда m = п. Даже в этом случае обычно АВ Ф ВА. Например, A~lo J' в==\о о)' Для этих матриц
МАТРИЧНАЯ АЛГЕБРА 437 Матрица называется нулевой матрицей и обозначается 0<mxn) или 0, если каждый ее элемент равен 0. Результат умножения любой матрицы на нулевую слева или справа (с необходимым числом строк или столбцов) является нулевой матрицей. Это свойство аналогично свойству системы действительных чисел. Однако важно отметить, что имеется следующее отличие: про- произведение АВ может быть равно 0, тогда как А Ф 0 и В Ф 0 (например, (И.6)). Вектор х с п координатами можно рассматривать как (пX 1)-матрицу (или «столбцевую матрицу»). Вместо записи х в виде A.1) теперь мы можем использовать более удобную запись х = (х\, х% ..., хп)'. Отметим, что три векторные опера- операции х-\-у, сх и х'у, определенные в приложении I, согласуются с соответствующими матричными операциями сложения, умно- умножения на число, матричного умножения; так, например, Так как столбцы матрицы можно рассматривать как век- векторы или столбцевые матрицы, то мы можем образовать их линейные комбинации; аналогичные утверждения верны для строк. Интерпретация матричного умножения, которую мы бу- будем часто использовать, состоит в том, что k-й столбец АВ является линейной комбинацией столбцов А с коэффициентами, равными элементам ?-го столбца В. Это следует из определе- определения 4, по которому 6-й столбец АВ равен Z (II. 7) /-I Здесь линейная комбинация столбцевых матриц правой части вычисляется по определениям 3 и 2. Аналогично мы можем за- заключить, что i-я строка АВ является линейной комбинацией строк В с коэффициентами, равными элементам t-й строки А. Для того чтобы вспомнить, из каких множителей образуются столбцы произведения, нужно помнить, что если А — матрица
438 ПРИЛОЖЕНИЕ II размеров (mX«), а В— размеров (пХ.г), то АВ является (тХ г) -матрицей; таким образом, столбцы АВ имеют т эле- элементов и, следовательно, должны образовываться из столб- столбцов А; аналогичные рассуждения можно провести и для строк. Свойства матричного умножения Пусть Дсих»), В(пхг)( ?<пхг) и д(лхр) _ матрицы, а с —число. По определениям легко проверить следующие равенства, свя- связывающие три матричные операции: (сА)В = А{сВ)= с(АВ) = сАВ, {АВ)' = Из последнего равенства следует, что скобки могут быть по- поставлены или опущены, если рассматривается произведение ко- конечного числа матриц. Матричные обозначения позволяют более просто выражать линейные преобразования. Например, если мы обозначим через w, х, у векторы х2 \ I У* то преобразования (II. 1) и (II. 3) можно записать в виде у = Ах, (II. 8) x=Bw, (II. 9) и тогда результирующее преобразование (II.4), получающееся подстановкой (II. 9) в (II. 8), принимает вид у = ABw. Определители Мы введем определитель \А\ квадратной матрицы А по- посредством указания некоторого способа его вычисления, а его обычное определение давать не будем. Значение определителя (число) может быть вычислено по- последовательным применением замечания, сделанного после тео- теоремы 3 настоящего параграфа. Каждое применение этого свой- свойства понижает порядок определителя на 1; в конце концов мы получим определители порядка 1, равные единственному эле- элементу, из которого они состоят. Говорят, что \А\ и А имеют порядок п, если А является («X п) -матрицей. Сформулируем некоторые определения и теоремы об определителях.
МАТРИЧНАЯ АЛГЕБРА 439 Теорема 1. Если А является (пXп)-матрицей, то |А'| = Теорема 2. Если А и В — квадратные матрицы порядка п, то \АВ\ = \А\ \В\. Определение 5. Алгебраическим дополнением Ац эле- элемента ац матрицы А порядка п называется умноженный на (—1)/+/ определитель матрицы порядка п—1, которая полу- получается из А вычеркиванием /-й строки и /-го столбца. Например, алгебраическое дополнение а^г матрицы А<3х3> = = (a*/) равно аи а12 <231 2 Теорема 3. Если А является (пУ(п)-матрицей, то ? (И-10) 2 мер, В частности, при k = i мы получим формулу |А| = п 2 полезную для вычисления определителя. Напри- НаприЯЦ «12 <Zl3 021 «22 «23 «12 «13 «32 «33 022 «п a is «31 «33 Рассмотрим матрицу A<"X"> = (ац), у которой ац — 0 при i ф j (в этом случае А называется диагональной матрицей). После- Последовательным применением правила понижения порядка можно показать, что определитель диагональной матрицы \А\ равен произведению ап aii ¦¦¦ апп диагональных элементов А. Определение 6. Квадратная матрица А называется вы- вырожденной, если |Д| = 0, и невырожденной, если |А|=^0. Обратная матрица Матрица тождественного преобразования равна 1 о... (П.П) ,0 0... 1 Это преобразование является специальным случаем преобразо- преобразования у = Ах при А = /.
440 ПРИЛОЖЕНИЕ II Определение 7. /("Х"), определенная в A1.11), назы- называется единичной матрицей порядка п. При любых матрицах А(-тхп) и Всхг) мы имеем IB = В, AI = А (наиболее просто это можно показать по правилам, установленным в связи с (II. 7)). Отметим также, что |/|= 1. Определение 8. Если для матрицы A("x«) существует матрица B<nx«> такая, что ВА = АВ = I, то В называется об- обратной матрицей А и обозначается через В = А-1. Отметим, что обратная матрица определяется только для квадратных матриц. Теорема 4. Матрица А<-пХп) имеет обратную тогда и только тогда, когда А невырождена. В этом случае А-1 единственна, и если п > 1, то ({,\)-элемент А-1 равен A,i/\A\ (индексы пере- переставлены!). Доказательство. Если А имеет обратную А~\ то 1 = = |/| = |AA-'| = \А\ \А~1\ и, следовательно, |Л|^=0. Обратно, пусть |А|=7^0. Если А имеет порядок 1, то А = (а), а ф 0 и A X 1)-матрица В = (а~1) удовлетворяет равенствам ВА = = АВ — /; следовательно, В является обратной матрицей А. При п > 1 определены числа Ьц = Ац/\А\. Если В = (Ьц), то по теореме 3 (i, /)-й элемент ВА равен ^jbikakj = k = 1 A~l\ H a-ki^ki = вг/. Таким образом, ВА = 1; аналогично k находим, что АВ = I. Следовательно, В является обратной мат- матрицей А. Предположим, что С — другая обратная матрица. Тогда ВАС = (ВА) С = 1С = С и ВАС = В (АС) =В1 = В. От- Отсюда следует, что В = С. Итак, А~1 = В единственна. Замечание. Чтобы проверить, что М<-пхп'> является обрат- обратной матрицей А, достаточно проверить, что МА = / (или что АМ = 1). Действительно, переходя к определителям в равен- равенстве МА = I, мы видим, что |А|=т^0; следовательно, по тео- теореме 4 Л~' существует. Умножая МА справа на А~1, получаем М = А-К Лемма 1. Если A<"x"> невырождена, то обратная матрица транспонированной является транспонированной обратной, т. е. (Д')-1=(Д-1)'. Доказательство. По теореме 1 А' также не вырож- вырождена; следовательно, по теореме 4 существует обратная мат- матрица, которую мы обозначим через В = (А')~К Транспонируя равенство А'В = /, получаем В'А = /'==/. Следовательно, по сделанному выше замечанию В'= А~1 или В — (А~Х)', т. е. Лемма 2. Если A("x/t> и B<"xn> невырождены, то их про- произведение тоже невырождено и (АВ)-1 — В-1А~Х.
МАТРИЧНАЯ АЛГЕБРА 441 Доказательство. Если )А)=т^0, |В|=^0, то |АВ| = = \А\ \В\ Ф О, так что АВ тоже невырожденная матрица. Кроме того, (В-'Д-1) (АВ) = В-1 (А-1 А) В = В-ЧВ = В^В = I. Отсюда следует, что (АВ)~1 = В~1А~1. Ранг матрицы Как было отмечено раньше, в матрице А<гехт> = (ось аг,... ..., ат) столбцы oci ат можно считать векторами в Vn- Определение 9. Рангом А == (осьосг,... ,ат) называется максимальное число линейно независимых векторов множества {а,\,...,ат}, т. е. размерность векторного пространства, порож- порожденного столбцами А. Пример. Пусть определитель |А<ЛХ">| не равен нулю. Тогда суще- существует B<"Xi) такая, что АВ = I. Положим А = (ш ап) и / = (pi, ... ..., р«), где р являются векторами базиса 91, введенного после теоремы 1 в приложении I. Используя интерпретацию матричного умножения, описан- описанную выше (П. 7), мы видим, что векторы р, порождающие Vn, являются линейными комбинациями векторов а, которые, таким образом, тоже должны порождать Vn, а следовательно, они являются базисом Vn. Мы получили, что рг *) А = п. Этот пример показывает, что существует тесная связь между рангом и определителями. Действительно, можно установить следующий результат (здесь подматрица А понимается как матрица, полученная из А вычеркиванием некоторого числа строк и столбцов). Теорема 5. Рассмотрим все квадратные невырожденные подматрицы матрицы А(тхге>. Ранг А равен максимальному по- порядку этих невырожденных подматриц. Следствие 1. Максимальное число линейно независимых столбцов дспх") (т. е. ранг А) равно максимальному числу ли- линейно независимых строк. Доказательство. Использовать теорему 1. Следствие 2. r(A(mx">)<!. min(m, n). Лемм'а 3. r(AB)^mm(r(A), г{В)) Доказательство. Так как по правилу, приведенному перед (II. 7), столбцы АВ являются линейными комбинациями столбцов А, то число линейно независимых столбцов в АВ не может превосходить число линейно независимых столбцов в А; следовательно, г(АВ)^,г(А). Проведя аналогичное рассужде- рассуждение для строк, получим, что ргЛВ^ ргВ. Лемма 4. Если А — матрица размера (тХ«) и если ) u Q(nxm) невырождены, то r(PAQ) = r(A),T. e. ранг *) В формулах ранг А обозначается г(А).
442 ПРИЛОЖЕНИЕ II матрицы не меняется при умножении ее справа или слева на невырожденную матрицу. Доказательство. По лемме 3 г(РА)^г(А). Пусть РА = В. Так как Р-1 существует, то А = Р~'В. Следовательно, снова по лемме 3 г (А) ^. г (В) = г (РА). Итак, мы получили r(PA)^.r(A)s^r(PA); таким образом, ргРЛ = ргЛ. Анало- Аналогично находим, что если С имеет размеры (пг'Х.п), то r(CQ)~ = г(С). Теперь, применяя это к (PA)Q с РА = С, находим, что ((PA)Q) (PA) A) Квадратичные формы Определение 10. Квадратичной формой п переменных Х\, х2, ..., хп называется функция вида п п Q = (Е ? aijXiX,, где {ац} — постоянные. Напомним читателю о нашем общем предположении, что все переменные и постоянные — действительные числа. Используя вектор х = (хи х% ..., хп)' и матрицу А = (ац), мы сможем записать квадратичную форму в матричных обо» значениях Q = х'Ах. А называется матрицей квадратичной формы Q. Мы будем всегда предполагать, что матрица А квадратичной формы сим- симметрична (т. е. А' = А). Это оправдывается следующей леммой. Лемма 5. Не ограничивая общности, мы можем допустить, что матрица квадратичной формы симметрична. Доказательство. Так как Q является AХ1)-мат- рицей, то Q' = Q; следовательно, х'А'х = х'Ах или Q = 1 х'Ах + j х'А'х = х'Вх, где В = ~ {А + А'). Таким обра- образом, если мы заменим матрицу квадратичной формы Q на В, то получим такое же Q и В' = В. Пример. Если Q = Ъх\ + 12*!*2 + 7*| т0 Матрица этой формы симметрична. Во многих случаях, когда встречается квадратичная форма Q, бывает удобно сделать невырожденное линейное преобразо- преобразование переменных так, чтобы форма Q, выраженная в новых переменных, имела более простой вид. Мы увидим, что в Q всегда можно исключить члены с / Ф /, так что в новых пере-
МАТРИЧНАЯ АЛГЕБРА 443 менных yi, У2, ..., уп квадратичная форма Q будет иметь про- п стой вид Q = X А;*/?. Мы увидим также, что к такому виду Q может быть приведено при помощи специального линейного преобразования с простыми свойствами, называемого ортого- ортогональным. В этом случае коэффициенты {Я,} представляют наи- наибольший интерес. Пусть мы преобразуем х = (х\,...,хп)' в у = (у\,..., уп)' невырожденным линейным преобразованием у = Р-'je, так что х = Ру. Тогда х' = у'Р' я Q = х'Ах = у'Р'АРу. Матрицей квадратичной формы Q, выраженной через у, является Р АР. Таким образом, в матричной формулировке задача преобразования ставится так: задана симметричная матрица А; найти невырожденную матрицу Р так, чтобы Р'АР имела наиболее простой вид. Ортогональные матрицы и преобразования Определение 11. Матрица р("Х"> называется ортогональ- ортогональной матрицей, если Р'Р = I; тогда преобразование х = Ру на- называют ортогональным преобразованием. Отметим, что условие Р'Р = I эквивалентно условию РР' = = /, так как оба они эквивалентны Р~1 = Р'. Кроме того, об- обратная и транспонированная матрица ортогональной матрицы также является ортогональной, так как по леммам 1 и 2 из (PP')-i = / следует, что (Р-')'(Р-1) = /. Из определения немедленно можно получить следующие свойства ортогональных матриц и преобразований. Лемма 6. Матрица Р<"Х"> ортогональна тогда и только тогда, когда ее столбцы (или строки ее транспонированной мат- матрицы) являются ортонормированным базисом Vn. Лемма 7. Скалярное произведение х'г не изменится, если к х и z применить одно и то же ортогональное преобразование. Доказательство. Если P'P = I, x = Px*, z = Рг*, то x'z = x*'P'Pz* = x*'z*. Отсюда следует, что длина любого вектора х инвариантна относительно ортогонального преобразования. Мы можем рас- рассматривать ортогональное преобразование как преобразование точек «-мерного евклидова пространства (точек, расположен- расположенных на концах векторов х, проведенных из начала координат). Тогда расстояние между любыми двумя точками инвариантно. Действительно, если точки отмечаются векторами х и у, то рас- расстояние между ними равно ||ж — у\\ (см. рис. 1.4). Если теперь мы положим z = х — у, г* = х* — у*, где х = Рх*, у = Ру*,
444 ПРИЛОЖЕНИЕ II а Р — матрица ортогонального преобразования, то z = Pz* и, следовательно, z*'z* = z'z или || х*~ у*\\2 = || дс — у ||2. Так как при ортогональном преобразовании расстояния между лю- любыми парами точек при любом их расположении сохраняются, а начало координат фиксировано, то геометрически ясно, что это преобразование должно быть вращением вокруг начала координат с добавлением возможных отражений в некоторых плоскостях. Примером отражения может быть ортогональное преобразование с матрицей -1 О (Г /-1 0 04 0 10, V о о 1/ являющееся отражением в (х2,Хз) -плоскости. Следующая лемма иллюстрирует один случай, когда появ- появляется ортогональное преобразование. Лемма 8. Если {аьаг, ...,ап}, {РьРг, • • .,Рл}—ортого- .,Рл}—ортогональные базисы Vn и если аи ¦¦-, ап\ Ь\, ..., Ьп являются коор- координатами вектора х в этих базисах, то эти координаты связаны ортогональным преобразованием, т. е. если а = (а\,..., ап)', Ь = {Ь\,..., Ьп)', то существует ортогональное преобразование Р такое, что Ь = Ра. Доказательство. Пусть А и В — матрицы, столбцы ко- которых являются векторами базиса, т. е. A=(ai ап), В = = (Pi,..., р„), так что и А, и В ортогональны. Тогда, согласно интерпретации матричного умножения, приведенной перед я п (И. 7), соотношение х = ? а/в/ = ? 6(Э/ можно записать в виде х=Аа=ВЬ. Отсюда следует, что Ь—Ра с Р=В~1А и Р'Р = 1. Теорема о приведении к главным осям Определение 12. Квадратная матрица (а«;) называется диагональной матрицей, если ац = 0 при i Ф j (т. е. все «не- «недиагональные» элементы равны 0); квадратичная форма назы- называется диагональной квадратичной формой, если ее матрица диагональна (т. е. нет членов с различными индексами). Теорема 6 (теорема о приведении к главным осям). Для любой квадратичной формы Q = х'Ах от п пере- переменных существует ортогональное преобразование х = Ру, ко- которое приводит Q к диагональной квадратичной форме Я\] + К1+ +К1 Мы не будем доказывать эту теорему. Поясним ее название. Уравнение х Ах = const можно рассматривать как уравнение центральной поверхности второго порядка в «-мерном евкли- евклидовом пространстве (например, в трехмерном пространстве, эл-
МАТРИЧНАЯ АЛГЕБРА 445 липсоид или одно- или двуполостиый гиперболоид, или какая- нибудь вырожденная поверхность этих типов). Преобразование можно интерпретировать как переход к системе координат, сов- совпадающей с главными осями поверхности. Такой выбор приво- приводит к тому, что члены с разными индексами исчезают. Очевидна формулировка теоремы в матричной форме. Теорема 6'. Если А<"Х"> симметрична*), то существует ортогональная матрица р(«х"> такая, что Р'АР диагональна, т. е. {u) Теперь мы покажем, что независимо от ортогонального пре- преобразования Р, используемого для приведения к диагональному виду матрицы А в теореме 6', элементы {А,;} являются всегда, с точностью до расположения, одними и теми же. Мы увидим также, как можно вычислить {Я,,}. Определение 13. Характеристическим полиномом мат- матрицы Л(пхп) называется определитель \А — А,/|, являющийся полиномом по X степени п. Примеры. A) Если А=( " |2 ), то ее характеристический поли- V 021 J / иом равен Оц — Я <Zi2 или Я,2 — Я. (аи + ai2) + (аиам — а\гаг\). Й22 022 — ¦ B) Если Л(" х п) диагональна с диагональными элементами вц, ..., апп, так что А = (а(-г5;Л то ее характеристический полином равен (ам — Я,) X X (а22 - Я) ... (а„„ - Я,). Лемма 9. Если Р — ортогональная матрица, то характери- характеристический полином А инвариантен относительно преобразова- преобразования Р'АР (т. е. Р'АР имеет такой же характеристический по- полином, как А). Доказательство. Если А* = Р'АР, то ее характеристи- характеристическим полиномом является Так как из Р'Р = I следует, что \Р'\ |Р|= 1. Определение 14. Характеристическими числами матрицы д(гсхп) называются корни ее характеристического полинома. Так как характеристический полином инвариантен относи- относительно преобразования Р'АР, если Р ортогональна, то характе- характеристические числа тоже инвариантны. Теперь мы видим, что числа {Xj} в теореме о приведении к главным осям являются характеристическими числами матрицы квадратичной формы и, следовательно, могут быть вычислены, как решения уравне- уравнения и-й степени. Из теоремы 6' ясно, что характеристические числа {Xi} действительны. Отметим, что ранг А равен числу *) Напоминаем, что все матрицы предполагаются действительными.
446 ПРИЛОЖЕНИЕ II ненулевых характеристических чисел. Это следует из примера 2, теоремы 6' и леммы 4. Определение 15. Симметричная матрица А(пхп) и квад- квадратичная форма х'Ах называются положительно определен- определенными, если *) вое характеристические числа А положительны, и неотрицательно определенными (отметим, что это понятие включает положительную определенность), если все характери- характеристические числа неотрицательны. Такая терминология объясняется следующей леммой. Лемма 10. Квадратичная форма Q = х'Ах является поло- положительно определенной тогда и только тогда, когда Q > 0 при любом х ф 0, и неотрицательно определенной тогда и только тогда, когда Q ^ 0 при всех х. Доказательство. Пусть х = Ру является ортогональ- п ным преобразованием теоремы 6, так что Q—Л^.г/?. Если 1 Q положительно определенная и х Ф 0, то у ф 0 (иначе х = = Ру = 0); следовательно, некоторые у1ф0, а все X/ > 0, по- этому Q > 0. Обратно. Пусть Q > 0 при любом дс =^= 0. Пред- Предположим, что Q не является положительно определенной. Тогда существуют \k ^ 0. Рассмотрим вектор у, у которого &-я коор- координата равна 1, а остальные 0. Существует х = Хо, которое дает этот у, т. е. дс0 = Ру, *о Ф 0 (в противном случае у = Р~1х0 = = 0). При х = х0 квадратичная форма Q = X* sg: 0. Получен- Полученное противоречие доказывает первую часть леммы, вторая часть доказывается аналогично. Теперь из теорем 6 и 6' мы получим некоторые результаты о приведении квадратичных форм и матриц к специальному диагональному виду при помощи невырожденного (обычно не- неортогонального) преобразования. Лемма 11. Для любой квадратичной формы Q = x'Ax от п независимых переменных существует невырожденное преоб- разование х = Ру, которое приводит Q к виду Q = 2, Ьгу\, где 6t= 1, — 1 или 0. *) Для того чтобы определить, является ли А положительно определен- определенной, не обязательно вычислять ее характеристические числа. Подматрица А, диагональные элементы которой являются диагональными элементами А, на- называется главным минором. Множеством ведущих главных миноров является множество п главных миноров порядков 1, 2, ..., п, каждый из которых является подматрицей следующего, за исключением последнего, совпадаю- совпадающего с А. Для того чтобы А была положительно определенной, необходимо и достаточно, чтобы определители всех ведущих главных миноров были по- положительны. Доказательство см. в книге Сили (Seelye, 1958) (или в книге Д. В. Беклемишева, указанной в сноске к началу приложения I, гл. VIII, § 2, теорема 5, стр. 258. — Прим. перев.)
МАТРИЧНАЯ АЛГЕБРА 447 Лемма 11'. Для любой симметричной матрицы Л<«х«> су- существует невырожденная матрица Т такая, что Р'АР имеет диагональный вид FД,-), где б1 = 1, —1 или 0. Доказательство. По теореме 6' существует ортого- ортогональная Т такая, что Т'АТ = (АД-,). Пусть S—невырожденная диагональная матрица, t-й диагональный элемент которой равен (А,)"''2, если Х{ > 0, (— Ki)~4\ если U < 0, и 1, если Я, = 0. Тогда матрица S'(A,(-6y)S имеет требуемый вид и равна Р'АР, где Р == TS. Это доказательство использует {X;}, которые вычисляются как корни уравнения и-й степени. Однако при помощи другого доказательства можно показать, что матрицу преобразования Р, приводящую А к требуемому виду, можно найти, используя только рациональные операции (сложение, вычитание, умноже- умножение и деление) и извлечение квадратного корня из элементов А. Из леммы 4 следует, что независимо от невырожденного пре- преобразования Р, используемого в лемме 11', общее число {б,}, равных 1 и —1, должно всегда оставаться одним и тем же (т. е. рангом А); кроме того, можно также показать, что число {б,}, равных 1 (и, следовательно, число {б/}, равных —1), тоже инва- инвариантно. Это свойство называют иногда «законом инерции». В результате применения преобразования Р, используемого в доказательстве лемм 11 и 11', все {б,} получатся, очевидно, равными 1, если Q и А положительно определенные, а если Q и А неотрицательно определенные, то {б/} будут равны 1 или 0, причем число единиц равно рангу А. Используя закон инерции или непосредственным вычислением, как в доказательстве леммы 10, можно убедиться, что последнее утверждение верно при любом невырожденном преобразовании Р. Следствие 3. Если Q = х'Ах является квадратичной фор- мой от п переменных хи ..., х„ и ее ранг равен г (т.е. г(А) — = г), то существует г линейных форм (т. е. г линейных ком- бинаций) переменных xi, ..., хп, например Z\, .... zr, таких, т что Q — X S^ и каждое б* = 1 или •—1. Доказательство. Используем невырожденную матрицу Р леммы 11 для определения п линейных форм у\, ..., уп пере- переменных {х/}. Положим у — (г/ь. • • ,Уп)' — Р~1х, так что п Q=X^^(. ГДе г чисел б,- равно ±1, а остальные 0. Теперь искомыми г формами {г) будут те yt из {*/,}, при которых б; Ф 0. Приведем здесь еще один результат, который часто будем использовать.
448 ПРИЛОЖЕНИЕ 11 Теорема 7. Для любой действительной матрицы А мат- матрица АА' симметрична, неотрицательно определена и имеет ранг, равный рангу А. Доказательство. 1) Симметричность устанавливается транспонированием АА'. 2) Пусть В = АА'. По теореме о приведении к главным осям существует ортогональная матрица Р такая, что Р'ВР = = {Xibij), где %г являются характеристическими числами В. По- Получаем Р'ВР = Р'АА'Р = С С, где С = А'Р. Пусть у,- является /-м столбцом С. Тогда (i,/)-элемент С'С равен Ф,=а,Дг <п-12> В частности, является неотрицательным, так что В — неотрицательно опре- определенная матрица. 3) Учитывая равенство С = А'Р, из леммы 4 получим, что ранг А, ранг С, максимальное число линейно независимых у* и число ненулевых у/ равны между собой, так как {у/} ортого- ортогональны по A1.12). Следовательно, по A1.13) г(Д) = числу не- ненулевых h = г (В). Разбиение матриц В этой книге разбиение матриц используется только в конце § 1.4, так что читатель, пропустивший доказательства конца § 1.4, может пропустить конец этого приложения. Предполо- Предположим, что (ш X п) -матрица А разделена на ц/v подматриц Ац горизонтальными и вертикальными прямыми, как указано в таблице II. 1, так что Ац является (ггиУ^П/)-матрицей, пи > О, Таблица П.1 Разбиение Л-матрицы  столбцов Ш) строк { Ап ГПг строк { А2\ - - /Иц строк { Лц, «2 столбцов л22 столбцов А,
ЗАДАЧИ 449 2] ttii = m, tii > 0, X nt = n- Кроме того, предположим, что (п X г)-матрица В разделена аналогично А с тем только огра- ограничением, что п строк В разбиты на такие же множества, как п столбцов А; таким образом, строки В разбиты на множества, состоящие из щ, п% ..., nv строк. Пусть столбцы В разбиты р на множества из г\, т% ..., гр столбцов, где rk > 0 и ? rk = г. Получили разбиение В на vp подматриц В!к, где B!k является {tij X Гк) -матрицей. Теперь образуем произведение С = АВ и разобьем m его строк так же, как m строк Л, а г его столбцов так же, как г столбцов В, так что получится \ip подматриц С,-*., где Сik является (т/ Х^) -матрицей. Теперь мы получили Легко можно проверить, что подматрицы произведения удовле- удовлетворяют соотношению п Уди /тт 14-Л i которое совпадает с определением матричного умножения, если все «подматрицы» в (II. 14) считать числами. Итак, мы можем перемножать разделенные матрицы так, как будто подматрицы являются действительными числами, соблюдая при этом два правила: 1) разбиение строк второго множителя должно быть таким же, как разбиение столбцов первого; 2) порядок множителей должен быть сохранен в слагаемых правой части (II. 14). ЗАДАЧИ II. 1. Пусть 15 Г. Шеффе
450 ПРИЛОЖЕНИЕ II Вычислить последовательно (ЗА+В), (ЗА+В) С, С (ЗА+В)' и С' (ЗА'+ + *'). II.2. Пусть 1 1 2 3 2 1 2 0 1 2 1 2 1 1 2 1 7 — 1 3 7 26 7 2 29 7 И Е — Вычислить D-1 и ?-'. Проверить, что DD~l = / и ?-'? = /. Вычислить {ED)-* как обратную матрицу (?D). Проверить, что (ED)-1 = D-'E-1, тогда как (ED)-* Ф E-lD~l. Проверить также, что |??>| = |?| \D\ и |Е-'|Н?|-'. 11.3. Вычисление определителя непосредственным применением формулы, следующей за A1.10), становится утомительным, когда порядок я > 4. Тогда может оказаться полезным следующее свойство: значение определи- определителя \А\ не изменится, если к любой строке А прибавить линейную комби- комбинацию остальных строк А или к любому столбцу |Л| прибавить линейную комбинацию остальных столбцов. Используя это свойство, можно быстро сделать в некоторой строке или столбце все элементы, за исключением одного, равными нулю. После этого применение обычной формулы дает по- постоянную, умноженную на единственный определитель порядка я—1. Затем процесс можно повторить. Если есть элемент 1 или —1, то мы можем его использовать в этом процессе; если такого элемента нет, то можно попы- попытаться получить его, применяя описанное выше свойство. Например, в 2 3—45 5-232 4 13—4 3 4—46 мы можем использовать 1 во втором столбце и третьей строке для того, чтобы сделать другие элементы столбца нулями Для этого умножим третью строку сначала на —3 и прибавим к первой, затем на 2 и прибавим ко вто- второй, затем на —4 и прибавим к четвертой строке; третью строку оставим без изменения. Получим -10 13 4 -13 -13 9 3 -16 17 —6 -4 22 — 10 —13 17 13 9 -6 — 13 —16 22 Равенство получено по обычной формуле, примененной к элементам второго столбца. Вычислить определитель 4 6 8 1 -2-3 5 6 8 4 2 1 4 3 12 7 4 3 1 9 4 5 7 II. 4. Рассматривается (я X я) -матрица, все диагональные элементы ко- которой равны а, а недиагональные равны Ь. Доказать, что определитель этой матрицы равен [а+(п—1N] (а — о)"-1.
ЗАДАЧИ 451 Указание. Вычесть первую строку из остальных, затем прибавить к пер- первому столбцу сумму остальных столбцов и применить обычную формулу к элементам первого столбца. II. 5. Пусть А— симметричная матрица. Доказать, что характеристиче- характеристические числа Аг являются квадратами характеристических чисел А. Указание, Записать А в виде РАР', где Л — диагональная матрица (Ыц) и Р'Р = /. Образовать А2. II. 6. Доказать, что для симметричной матрицы А равенство А = А* верно тогда и только тогда, когда каждое характеристическое число А равно 0 или 1. II. 7. В этой книге нас обычно интересует только существование пре- преобразования, приводящего к главным осям. В серии задач II. 7—11.10 мы установим, как его можно вычислить фактически. Пусть Д(пХп) — симмет- симметричная матрица и (К\, ..., К) — ее характеристические числа. Вектор р Ф 0, удовлетворяющий равенству (А— Х;/)р = 0, называется собственным векто- вектором матрицы А, соответствующим характеристическому числу X/. Доказать, что собственные векторы, соответствующие различным характеристическим числам, ортогональны. Указание. Умножить слева на Ру/ и pj соответственно и сложить (А — ktl) р, = 0 и (А- ХГ1) р,, = 0. II. 8. Пусть AfnXn) симметрична, а ортогональная матрица Pl(rtXn) та- такова, что Р'АР является диагональной с диагональными элементами {Xi Х„}. Обозначим через {pi, ..., р^} столбцы Р. Показать, что р = р/ является собственным вектором А, соответствующим характеристическому числу X/. Указание. Рассмотреть соответствующие столбцы в АР = Р\ (где Л определено в задаче II. 5). II. 9. Пусть Q = х'Ах, где 4 5 34 5д/б 2 д/б 49 30 2 2 л/зо V5- 3 1 л/зо Определить симметричную матрицу В так, чтобы Q = х'Вх. Найти харак- характеристические числа {Хи Аг, Хз} матрицы В. Вычислить множество собствен- собственных векторов {рк рг, рз}, которые удовлетворяют равенству (В — А,7)р; = 0, и нормировать их (т.е. сделать PyPy=l). Проверить, что матрица Р, столб- столбцами которой являются {pi, рг, рз}, ортогональна и что Р'ВР — (Xidij). II. 10. Корни многочлена f(x)=aoXn-\-a\Xn-i-\-...-\-an или дифферен- дифференцируемой функции могут быть найдены численно (метод Ньютона). Сначала находят два достаточно близких значения х = х' и х = х" (например, два последовательных целых числа) так, чтобы f(x') и f(x") имели разные зна- знаки. Затем, линейно интерполируя по двум точкам (г, /(*')) и (х", f(x")), получают между х' н х" первое приближение лго корня (или одного из кор- корней) X функции f(*); х0 можно получить также графически. Применяя к х0 рекуррентную формулу Xf = ¦?/•—! """" 1,
452 ПРИЛОЖЕНИЕ II где f'(x)—производная f(x) (в случае многочлена f (*)= + + (п—l)aix"-z + ... + an-t), получим последовательно xi, хг, х3 При возрастании г величина х, сходится к X, за исключением того случая, когда начальная аппроксимация Хо не была достаточно хорошей. Сходимость мож- можно показать, рассматривая в окрестности х — А график f(x) и последова- последовательность треугольников, г-н треугольник (г = 1, 2, 3, ...), который обра- образуется касательной к графику в точке (xr-u f(xr-t)), ординатой в хт-\ н осью х; пересечением касательной с осью х является х,. Используя этот метод, найти с точностью до одной тысячной характеристические числа матрицы '3 2 Г А- /3 2 IN 1= 2-15. \1 5 4/ Указание. Корни расположены в окрестностях — 4, 2 и 8. 11.11. В задаче 1.3 (т X л)-матрнца (ац) называется матрицей коэффи- коэффициентов, а [ш Х(л + 1)]-матрица, полученная из (в;/) добавлением справа столбца из чисел {ct}, называется расширенной матрицей. Сформулировать условия в б) и в) задачи 1.3 в терминах рангов матрицы коэффициентов и расширенной матрицы. 11.12. Показать, что матрицы вида -у по отношению к сложению и умножению ведут себя так же, как комплексные числа z = х + «Л 11.13. Назовем (т X л) -матрицу «матрицей типа Г», если все ее диаго- диагональные элементы равны между собой и равны между собой все неднаго- нальные элементы. Доказать, что умножение матриц типа Т коммутативно и что произведение и разность матриц типа Т являются тоже матрицами типа Т. II. 14. Доказать, что матрица типа Т (задача II. 13) с диагональными элементами, равными а, недиагональными, равными Ъ, и с определителем Д = (а— Ь)[а+(л—1N] =й О имеет обратную матрицу, которая является матрицей типа Т. Найти обратную матрицу. Указание. Сначала допустить, что обратная матрица является матрицей типа Т с х на диагонали н с у вне. Получить два уравнения для х и у; решить их. Проверить непосредственно, что определенная таким образом матрица типа Т действительно является обратной. 11.15. Рассматриваются [Bл)ХBл)]-матрицы типа U V V W где V, V, W—матрицы типа Т (задача II. 13). Пусть матрица М = VW—V2 невырождена. Доказать, что А имеет обратную, определяющуюся по формуле А~х=- где X = WM-\ Y = —\Mr\Z = VM~\ и что все матрицы М, Л1-», X, Y, Z являются матрицами типа Т. II. 16. Пусть А и В — матрицы размеров соответственно (mXi) и (nXtn). Доказать, что матрицы АВ и ВА имеют одно и то же множество характеристических чисел.
ЗАДАЧИ 453 Указание*). Доказать тождество ( Х1т - АВ А \ ( 1т О Ч = / 1т О Ч / Х1т А Ч V О Х1Г )\В 1п) \В 1п )\ 0 Xln — BAJ' где /г — единичная матрица порядка г; переходя к определителям в этом тождестве, показать, что | Х1т — АВ | Я" = | Л/„ - ВА | Хт. II. 17. Пусть А и В — квадратные матрицы, причем А невырождена. До- Доказать, что А U] .IA\\B-VA-XU\, и что если В тоже невырождена, то последний определитель можно записать в виде | В - VA~lV | = | В11 /- VA~lVB~l |. Указание. Доказать тождество 1т О Ч/А V\(lm-A~X V\(A О Ч -УД /JU вД О /„J V.0 B-VA^UJ' где /m и /п — единичные матрицы таких же порядков, как А и В соответ- соответственно; перейти к определителям в этом тождестве. *) Доказательства, предложенные в указаниях к задачам II. 16 и II. 17, взяты из работы Афрайта «Orthogonal and oblique projectors and the cha- characteristics of pairs of vector spaces», S. N. Afrait. Proc. Cambridge Philos. Soc. т. 53 A957), стр. 802,
Приложение III ЭЛЛИПСОИДЫ И ИХ ОПОРНЫЕ ПЛОСКОСТИ*) В этом приложении изложены в матричных обозначениях некоторые факты аналитической геометрии. Мы будем рассмат- рассматривать некоторые множества точек в n-мерном евклидовом пространстве. Условимся говорить «точка х» в том смысле, что «точка расположена на конце вектора *, проведенного из на- начала координат», аналогично «точка а» и т. д. Определим сферу (n-мерную) радиуса г с центром в точке а как множе- множество всех точек, расстояние которых от а не превосходит г, т. е. как множество точек *, удовлетворяющих неравенству ||* — а || eg: г или ||* — а ||2 ^ г2. При а = 0 и г=\ получим сферу xfx^l, (III. 1) которую мы назовем единичной сферой с центром в начале ко- координат. Единичную сферу с центром в начале координат, равно- равномерно, растянутую по осям, назовем каноническим эллипсои- эллипсоидом. Будем говорить, что множество точек получено равномер- равномерным растяжением в ct раз (с* > 0) по xi-ocu, если каждая его точка получена перемещением по линии, параллельной *,-оси так, что ее i-я координата xt умножается на с«. Тогда старое *,- равно новому #*, деленному на с*; таким образом, если множе- множество точек, предназначенное для растяжения, задано**) урав- уравнением или неравенством, то растянутое множество можно *) Опорные плоскости эллипсоида являются его касательными плоско- плоскостями. В наших статистических приложениях в §§ 3.5 и 8.1 понятия опорной Н касательной плоскостей совпали. Однако опорные плоскости не всегда яв- являются касательными, например, в выпуклом многограннике (§ 3.7) каса- касательными плоскостями являются только те плоскости, которые совпадают с гранями; в этом случае мы использовали понятие опорной плоскости. **) В принципе любое множество точек S может быть определено урав- уравнением или неравенством. Пусть функция gs{x) равна 1 при хе5 н 0 в остальных случаях; gs(x) называется характеристической функцией S. Множество S можно определить уравнением gs(x) = 1 или неравенством gs(x) > 0.
ЭЛЛИПСОИДЫ И ИХ ОПОРНЫЕ ПЛОСКОСТИ 455 задать, заменяя в уравнении или неравенстве старое множество Xi на Xi/ci. Отсюда следует, что результат растяжения по не- нескольким осям не зависит от порядка выбора осей, по которым последовательно проводится растяжение. Растяжение с с,- < 1 является фактически сжатием. Если единичная сфера с центром в начале координат (III. 1) растягивается по осям с си с2, ..., сп, то результирующий канонический эллипсоид удовлетворяет не- неравенству Числа {с,} называются полуосями эллипсоида. Если мы впи- впишем (III. 1) в куб |*«|s?:l (t=l,...,n), то сфера и куб будут растянуты в эллипсоид (III. 2) и параллелепипед |д?г]^с,-, при- причем эллипсоид будет вписан в параллелепипед; интуитивно это очевидно из геометрических соображений; строго — можно до- доказать, используя результаты об опорных плоскостях сферы и эллипсоида. Канонический эллипсоид симметричен по всем координатным плоскостям, так как замена *,• на —дс,- не меняет (III.2), следовательно, начало координат мы можем назвать его центром. Эллипсоидом назовем множество точек, которое сдвигом с последующим ортогональным преобразованием может быть переведено в канонический эллипсоид. Сдвиг множества на вектор а состоит в том, что каждая точка х этого множества перемещается в точку х-{-а. Это приводит к тому, что множе- множество, определенное уравнением или неравенством, может быть сдвинуто на вектор а заменой х на х — а или хг на xt — ai, где a = (ai,...,an). Напомним, что геометрически ортогональ- ортогональное преобразование является вращением плюс возможные отра- отражения в координатных плоскостях. Центром только что опре- определенного эллипсоида является точка, которая переходит в центр канонического эллипсоида. Мы получим следующий основной результат: если М—сим- М—симметричная положительно определенная матрица, то неравенство — а)^\ (III. 3) определяет эллипсоид с центром в а. Сначала мы проведем сдвиг множества (III. 3) на вектор —а. Замена х на х-\-а дает x'Mx^l. (III. 4) Из теоремы б приложения II известно, что существует ортого- ортогональное преобразование, которое приводит (III.4) к виду Y, A.t#t^l> гДе {^«}—характеристические числа М (коорди-
456 ПРИЛОЖЕНИЕ 111 наты преобразованных точек мы будем тоже обозначать через {*;}, а не через {г/,}, как в теореме 6). Но это неравенство имеет вид неравенства (III. 2) и, следовательно, определяет ка- канонический эллипсоид с полуосями {ci = \74*}'> {А,<} положи- положительны, так как, по предположению, М — положительно опре- определенная матрица. Таким образом, (III. 3) определяет эллип- эллипсоид с центром в а. Нам потребуются также некоторые сведения об опорных плоскостях эллипсоида (III.3). Для любого вектора кфЬ мы определяем плоскость, проходящую через О ортогонально к h как множество точек, векторы х которых ортогональны к А. Эти векторы образуют (п—1)-мерное векторное пространство. Точки х лежат на плоскости тогда и только тогда, когда h'x = 0. Мы определяем плоскость как множество точек, кото- которое сдвигом может быть переведено в плоскость, проходящую через О. Следовательно, если А ф 0, то уравнение А'(*-*0) = 0 (III. 5) определяет плоскость, проходящую через точку Хо перпендику- перпендикулярно к А. Сдвигом на вектор а или линейным преобразо- преобразованием с любой невырожденной матрицей рсх") плоскость переводится в другую плоскость. Чтобы сдвинуть (III. 5) на век- вектор а, нужно подставить х — а вместо ж; получится другое урав- уравнение вида (III. 5) с хо, замененным на хо-\-а. Линейное пре- преобразование с невырожденной матрицей Р может быть выпол- выполнено заменой х на Р~]х; это дает уравнение вида (III. 5) с А' и х0, замененными на h'P~l и Рх0 соответственно. Плоскость, проходящая через Хо ортогонально к А Ф 0, де- делит /г-мерное пространство точек х на три части в соответствии с тремя условиями (=0, >0 или <0), наложенными на ли- линейную функцию f(x)=h'(x — xq). Мы будем говорить, что точки *(о и *B) лежат по одну сторону от плоскости, если f(Xl)f(x2)^0; (III. 6) в частности, это верно, если *(и и хB) лежат иа плоскости. Предположим, что мы плоскость и точки xw, дсB) преобразовали при помощи невырожденной матрицы Р. Тогда преобразован- преобразованными точками являются Pxw и РхB), а преобразованная пло- плоскость удовлетворяет уравнению J(x) — O, где f (ж) = А' (Р~1х — — хо). Отсюда получаем J(Pxw)f(Pxm)=f(xw)f(xm). Следовательно, при невырожденном линейном преобразовании точки, лежащие по одну сторону плоскости, остаются по одну сторону плоскости. Аналогично можно показать инвариантность относительно сдвига.
ЭЛЛИПСОИДЫ И ИХ ОПОРНЫЕ ПЛОСКОСТИ 457 Мы можем определить опорную плоскость эллипсоида (III. 3) как плоскость, имеющую по крайней мере одну об- общую *) точку с эллипсоидом и такую, что эллипсоид полностью находится по одну сторону от этой плоскости. Сфера (III. 1) является частным случаем (III.3). Найдем сначала опорные плоскости сферы. Наша интуиция подсказывает, что через каж- каждую точку *0 на поверхности сферы (т. е. через каждую точку х0, для которой «0*0= 0 проходит опорная плоскость, а именно плоскость, проходящая через *о ортогонально к вектору дг0. Уравнением этой плоскости является х'0(х — де0) = 0, или *о*=1- (Ш. 7) Чтобы доказать, что (III. 7) является опорной плоскостью, мы отметим, во-первых, что она имеет точку Хо, общую со сферой; во-вторых, чтобы показать, что любые две точки сферы *(п и *B) лежат по одну сторону плоскости, положим /(*) = х^х— 1. При i=l, 2 абсолютная величина *0'*<<> (длины проекции Хщ на *о) должна быть || xw || ^ 1, так что /(*«)) <|0. Следова- Следовательно, условие (III. 6) удовлетворяется. Заменив х0 на —*о в (III. 7), мы получим, что —Хох = 1 является опорной плоскостью сферы, проходящей через точку —*о. Следовательно, параллельные опорные плоскости, прохо- проходящие через х0 и —х0, определяются уравнениями ±1; (Ш. 8) одна уравнением с +1, а другая с —1. Предположим, что мы преобразовали сферу (III. 1) в эллип- эллипсоид (III.4): сначала растяжением привели к виду (III.2), а затем ортогональным преобразованием к (III. 4). Растяжение выполняется заменой х в (III. 1) на Сх, где C(nx"> = (б;,/сг)— невырожденная матрица; затем в (III. 2) вместо х мы подста- подставим Р~]х, где Р — ортогональная матрица. Но это равносильно подстановке Qx вместо *, где Q = СР~1. Следовательно, мат- матрица Q невырождена. Раньше мы отметили, что невырожден- невырожденным линейным преобразованием плоскость переводится в пло- плоскость; следовательно, общая точка сферы и ее опорной плоско- плоскости перейдет в общую точку преобразованной плоскости и эллипсоида. Так как сфера расположена по одну сторону от ее опорной плоскости, то, по сделанному выше замечанию, эллипсоид будет расположен по одну сторону от преобразован- преобразованной плоскости. Следовательно, плоскость, полученная линейным невырожденным преобразованием из опорной плоскости сферы (III. 1), является опорной плоскостью эллипсоида (III. 4). *) Мы считаем эллипсоид замкнутым множеством, так как в нашем определении (III. 3) стоит знак «О, а пе «<».
458 ПРИЛОЖЕНИЕ III Аналогично можно провести доказательство для преобразова- преобразования сдвига на вектор а. Тогда мы получим, что опорная пло- плоскость эллипсоида (III. 4) перейдет в опорную плоскость эллип- эллипсоида (III. 3). Замена х в *'* на Qx дает x'QQx = х'Мх; следовательно, Q'Q = М. Если мы заменим х на Qx в (III. 8), то для каждого *о с || *о II = 1 получим пару уравнений x'QQx = ±l (III. 9) параллельных опорных плоскостей эллипсоида (III. 4). Теперь мы покажем, что для каждого вектора ft Ф О существуют две опорные плоскости (III.9), ортогональные к ft, а затем найдем их уравнения. Плоскости (III. 9), очевидно, ортогональны к (*g, Q)', и следовательно, они будут ортогональны к ft тогда и только тогда, когда x'uQ — ch', где с—постоянная, т. е. тогда и только тогда, когда *o = cft'Q~'. Но хгох=\, следовательно, с должно удовлетворять уравнению ch'Q'-lhc — 1, или c2ft'Af~'ft = 1. Таким образом, плоскости (III. 9) будут ортого- ортогональны к ft тогда и только тогда, когда *oQ = ± (ft'Af~'ft) * ft. Подставляя это в (III. 9), находим h'x = ± (ft'Af~'ft)'/2. Применяя преобразование переноса на вектор а, получаем отсюда уравнения двух опорных плоскостей, ортогональных к ft: ft' (* - а) = ± (h'Nrxh)~4\ (III. 10) Наконец, нам потребуется еще неравенство (III. 11), которое определяет множество точек между двумя плоскостями (III. 10). Неравенство (III. И) геометрически для читателя очевидно. (Действительно, из неравенства | х'ох | <[ 1 следует, что проек- проекция х на *о не превосходит 1; (III. 11) можно интерпретировать как преобразование |*о*|^1.) В противном случае можно провести следующее формальное построение. Мы определим множество точек между плоскостями (III. 10), как множество тех точек, которые расположены по одну и ту же сторону от обеих плоскостей (по ту сторону, где расположен эллипсоид). Очевидно, результат будет таким же, если мы в определении этого множества заменим эллипсоид на его центр а. Чтобы использовать условие (III.6) для определения последнего мно- множества точек, положим f±(x) = h'(x — a)±ch, где ch = — (ft'AP'ftI''2, а знаки ± имеют такой же смысл, как в (III. 10). Для каждой плоскости хна будут с одной и той же стороны тогда и только тогда, когда f±{x)f±(a)^s 0, или ±chh'(x — а) + с|^0. Последние неравенства эквивалентны
ЗАДАЧИ 459 неравенствам ±h'(x— a) eg: — сл. Оба условия (для + и —) будут выполнены тогда и только тогда, когда ch *?Zh'(x — а) ^ eg: —ch, или | ft' (x - а) | < (h'M.-lhL'. (III. 11) Таким образом, мы получили неравенства, которые определяют множество точек между двумя опорными плоскостями, ортого- ортогональными к ft. ЗАДАЧА III. 1. Эллипсоид определяется центром аC, —1, 2, 0) и симметричной положительно определенной матрицей С 12 —2 2 — 2' 2 1 15 -4 -2 0 -4 а) Найти уравнения опорных плоскостей, ортогональных к аектору А=(—1, 0, 3, 1)'. б) Что является расстоянием между этими двумя плоскостями? в) Находится лн точка х=A4, —25, 7, 12)' между этими плоскостями? Указание. Для вычисления Л!-1 использовать М = Р'ЛР, где i 1 V6"l f 1 —2 0 ^ 1 2 1 —1 0 0 1 1 2 1 0 2 -1 и Р'Р = L. Используя (V.2), можно вычислить квадратичную форму не вычисляя М~1.
Приложение IV НЕЦЕНТРАЛЬНЫЕ t\ F и t Нецентральный %2 Если случайная величина х имеет нормальное распределе- распределение со средним | и дисперсией о2, то мы будем говорить, что «х имеет распределение NA, а2)». Определение 1. Если хь x<i хп независимы и xi V имеют распределение N(%i, 1), то случайная величина ?/ = ? х\ называется нецентральным. %2 («хи-квадрат») с v ст. св. (степе- нями свободы). Назовем 6 = 1 Zi Щ) параметром нецентраль- нецентральности этого распределения. Замечание. Отметим, что обычное, или центральное, %2-распределение является частным случаем нецентрального, когда параметр нецентральности 6 = 0. (Наша терминология до некоторой степени неудачна. Если мы говорим: «случайная величина %2>>> не указывая специально ее центральности, то нужно понимать, что это центральный %2, а если мы говорим «нецентральный %2», то он может быть центральным), это относится также к F- и ^-распределениям. Параметр нецент- нецентральности в литературе обычно определяется по-разному; одни авторы используют Я = б2, тогда как другие используют К=-^62, причем те и другие применяют один и тот же сим- символ X. Обозначение. Случайную величину, являющуюся не- нецентральным х2 с v ст- св- и параметром нецентральности б, мы будем обозначать через у?2 6, а %С% через х2,. Обозначение х^6 корректно, так как распределение этой величины зависит от |i, ?2, ..., iv только через функцию б. Геометрически это совсем очевидно. Функцией распределения U является F(u)=P{U^. ^ы}. Эта функция равна вероятности того, что точка Р = — (xi хп) не попала вне v-мерной сферы с центром в на-
НЕЦЕНТРАЛЬНЫЕ х', F II t 461 чале координат радиуса иук Распределение точки (xi,...,xv) относительно Q = (|i,...,5v) сферически симметрично. Следо- Следовательно, F(u) не меняется, когда Q движется по сфере по- постоянного радиуса б с центром в начале координат. Аналитически можно получить то же заключение, если орто- ортогональным преобразованием перейти к новым независимым переменным у\, ..., yv так, чтобы точка Q попала на г/1-ось. V Таким переходом получим U = у\ + ? у2, где у\ имеет рас- распределение iVF, 1), yi имеет распределение N@, 1) при i = 2, ... ..., v, а г/i, г/2. • • •. г/v независимы. Следовательно, ^ = x;% = (f + 6J + X2v_1( (IV. 1) где v не зависит от х^_, и имеет распределение N@,1). Хорошо известно, как из этого соотношения можно получить плотность распределения у? в. Эта плотность не имеет простого явного выражения *). Среднее и дисперсия х^в Мы будем использовать следующие элементарные формулы: если х распределен Л'@,1), то D(x)=M(x2)=l, D(x2)=M(x4) — [M(x2)]2 = 3— 1 = 2, Cov(x,x2)=M{[x-M(x)][x2-M(x2)}} = v Запишем (IV.1) в виде %'2. = (v + бJ-f Y, у], гДе », Уь ••¦ 1=2 ..., г/v независимы и нормально распределены с нулевыми сред- средними и единичными дисперсиями. Следовательно, М (*;%) = М (v2 + 2во + S2 + S2 г/?) = A + б2) + (v - 1), но D (о2 + 2бо) = D (о2) + D Bбо) + 2 Cov (о2, 2бо) = 2 + BбJ + О, *) См., например, Патнаик (Patnaik, 1949).
462 ПРИЛОЖЕНИЕ IV так что окончательно получаем (IV. 3) Сложение нецентральных х2 Рассмотрим независимые случайные величины U\ и С2 с не- не^ центральными ^-распределениями. U ' р ^рр U\ имеет распределение %'Vu fli, U2 имеет распределение у^г в>. Тогда по определению 1 отсюда немедленно следует, что U1 + (Л снова имеет нецентральное ^-распределение. U\ + U% имеет распределение х2,, а с v = v, + v2, б = (б2 + б!O'- (IV. 4) Нецентральное/7 Определение 2. Пусть l/i и (/j — независимые случай- случайные величины. Если 1)\ и Hi имеют распределение соответ- соответственно Xv2l>e и Xvj» т0 распределение частного (?/i/vi) / (C/2/V2) называется нецентральным ?-распределением с vi « V2 сг. cs. ы параметром, нецентральности б. Обозначение. Случайную величину, распределенную по закону нецентрального ^-распределения с vi и v2 ст. св. и пара- параметром нецентральности б, будем обозначать через F'v v.e. Плотность распределения нецентрального F может быть вы- вычислена обычными методами, но, так же как плотность нецент- нецентрального х2, она не имеет простого явного выражения *). Нецентральное t Определение 3. Если х и U—независимые случайные величины, причем х имеют распределение N(8,\), a U — %1, то распределение частного x/iil/v)'1' называется нецентральным t-распределением с v ст. св. и параметром нецентральности б. Обозначение. Случайную величину, имеющую <-распре- деление с v ст. св. и параметром нецентральности б, мы обо- обозначим через /^ в. Очевидно, что CU^^i.vjfl* *) См., например, Патнаик (Patnaik, 1949).
ЗАДАЧИ 463 Таблицы и диаграммы нецентральных распределений %2, F и / рассматриваются в § 2.8, а таблицы распределений и пре- пределов центральных %2, F и / в § 2.2. Аппроксимация*) нецентальных %2 и F Иногда полезно аппроксимировать %'2 и F' соответственно распределениям %2 и F. Можно аппроксимировать yfv26 вели- величиной сх% где постоянные с и v определяются по (IV. 2) и (IV. 3) так, чтобы средние и дисперсии двух распределений совпадали cv = v + 62, c2v = v + 262. (IV. 5) Тогда число v ст. св. обычно больше не является целым. Ап- Аппроксимация Xv% величиной с %1 немедленно дает аппрокси- аппроксимацию F'Vu Vi. e величиной cv^'v^ Vi, где с и vi определяются (IV. 5) с v и v, замененными на vi и vi. Этот метод очевидным способом может быть распространен на линейную комбинацию независимых нецентральных х2 с положительными коэффи- коэффициентами. ЗАДАЧИ IV. 1. Иногда (например, в § 4.8) может встретиться двойное нецен- нецентральное F-распределение. Соответствующую случайную величину можно обозначить через FV| Vj. в| вг; ее закон распределения определяется отноше- отношением двух независимых нецентральных х2 с числами ст. св. vi, V2 соответ- соответственно и параметрами нецентральности 64 и бг. Используя (IV. 5), показать, как аппроксимировать двойное нецентральное ^-распределение центральным F-распределеннем, т. е. F'^ Vj. в|_ в? величиной cF^ 9>; определить постоян- постоянную с и числа ст. св. Vi и \>2 через vi, V2, 6i, 62. IV. 2. Доказать, что при больших v Xv имеет распределение A^v, 2v). Указание. Центральная предельная теорема. IV. 3. Если для последовательности случайных величин {Xv} (v= I, 2, ...) существует постоянная G такая, что для любого е>0 Р {\XV — 8 | < е} -> 1 при v -> оо, то говорят, что Xv сходится по вероятности к G. а) Доказать, что достаточным условием для этого является M(Xv)->6, Xv) 0. Указание. Использовать неравенство Чебышева. б) Показать, что j(^/v сходится по вероятности к 1. в) Доказать б), используя результат задачи IV. 2. *) Эта аппроксимация была предложена Патнаиком (Patnaik, 1949). Численное согласие аппроксимации нецентрального х2 с его 5%-ным верхним пределом, по-видимому, было показано Тыоки (Tukey, 1957 b).
464 ПРИЛОЖЕНИЕ IV IV. 4. Построить следующую аппроксимацию для функция распределеяия «епентрального /, использующую распределение iV@,1): где г имеет распределение Л^ @,1). Указание. Предположим, что и и s1 независимы, v имеет распределение N(Q,1), a s1 имеет распределение Xv/V- Тогда s имеет приближенно распре- распределение W(l, Bv)~'), a (f + 6)/s^« тогда и только тогда, когда v — xs + 8 ^ 0.
Приложение V МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ Многомерное нормальное распределение т переменных мо- может быть определено как совместное распределение т линей- линейных (неоднородных) функций от независимых случайных вели- величин xi, х% ..., хп, каждая из которых имеет распределение N@,1). Это распределение является совместным распределе- распределением уи у2 уп, где у = Ах + г), х = (х{ х„), у — = (уи---,Уп), i4(mxn> — постоянная матрица, a t)(mxI) — постоян- постоянный вектор. Мы будем также говорить, что случайный вектор у имеет многомерное нормальное распределение. Так как х имеет среднее М(х)=0 и ковариационную матрицу ГХ = I, то из ре- результатов конца § 1.2 следует, что средним и ковариационной матрицей у являются М (у) = ц и Гу = АА'. Можно показать*), что многомерное нормальное распреде- распределение у полностью определяется первыми двумя моментами ЬЛ(у) и Гу. Из теоремы 7 приложения II следует, что Ту яв- является симметричной неотрицательно определенной матрицей; это утверждение верно для любой ковариационной матрицы. Можно также показать, что если Ту не вырождена, то у\ ут имеют совместную плотность распределения Bп)~т121 Гу \~Уг e~Q!2, где Q является квадратичной формой Отсюда следует, что у\ уп, имеющие нормальное распре- распределение с невырожденной матрицей Г\/, независимы тогда и только тогда, когда Ту диагональна, так как в этом и только в этом случае совместная плотность распределения равна про- произведению одномерных плотностей. Если Гу вырождена, то го- говорят, что у имеет вырожденное распределение; в этом случае, если r(Ty) = t, то вся «масса» распределения сосредоточена на /-мерном подпространстве m-мерного пространства у и не су- *) Доказательства утверждений этого параграфа читатель может найти в книге Крамера (Cramer, 1946, гл. 22, 24).
466 ПРИЛОЖЕНИЕ V ществует подпространства низшей размерности, обладающего таким свойством (t = ранг А следует понимать в определенном выше смысле). Мы будем использовать выражение «yf*1' имеет распреде- распределение N(i\,Ty)» в тех случаях, когда у имеет нормальное рас- распределение с указанными моментами. Так, например, можно сказать, что приведенный выше вектор х(ях1) имеет распреде- распределение N@,1). Из определения многомерного нормального рас- распределения следует, что любое линейное преобразование век- вектора у, имеющего многомерное нормальное распределение, тоже имеет многомерное нормальное распределение. Более точно, если у имеет распределение N(r\, Гу) и w{gxl) = By, где BWxm> — постоянная матрица, то w имеет распределение Ы(Вц,ВГуВ'). Теорема. Если у(тх1> имеет распределение N(i\,Ty) и Гу невырождена, то квадратичная форма (V. 1) имеет ^-распре- ^-распределение с m ст. св. Доказательство. В доказательстве леммы 11' прило- приложения II было показано, что существует невырожденная (/га X ш) -матрица Р такая, что РТУР' = I; следовательно, Ту = = (Р'Р)~К Определим случайный вектор и;(тх1> = Р(у — к]). Этот вектор w имеет распределение N(O,TW), где Гш = РТУР' = m = /; поэтому w'w = 2 w\, по определению приложения IV, имеет распределение %2 а Замечание. При вычислении значения квадратичной формы, матрица которой обратна к заданной, можно избежать фактического обращения матрицы и, используя соотношение *) e'A-'z=|A + f -I (V.2) заменить обращение матрицы вычислением только двух опре- определителей. Это может быть полезным в приложениях приве- приведенной выше теоремы. Т2 Хотеллинга Предположим, что мы имеем выборку объема / из лг-мерной нормальной популяции, т. е. наша выборка состоит из / незави- независимых векторов *<'> = (хц,...,Xmt)' j = 1, ..., /, каждый из *) См. Унлкс (Wilks, 1932, стр. 487—488). Из соотношения, эквивалент- эквивалентного его соотношению C6) и из уравнения, приведенного за D0), следует наша формула (V. 2).
МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ 467 которых распределен М(|,Г). Тогда вектор выборочного сред- среднего х = ? x(l)IJ, i-я компонента которого равна ж« = 2*//Д. распределен N(%, /~'Г). Несмещенной оценкой элемента (i,i') матрицы Г (т. е. Cov(.x:b xt')) является выборочная ковариация SW = (/ - 1)"' I (*„ - Xt) (Xt't - Xt'), (V.3) а матрица S, элемент (/,/') которой равен s«/, является несме- несмещенной оценкой Г. Можно показать, что случайная матрица S не зависит от *. Этот факт известен читателю в случае т = 1. Из приведенной выше теоремы мы знаем, что если Г невы- невырождена, то J(x-%)'r-l(x — l) (V.4) имеет ^-распределение с т ст. св. Случайная величина, полу- полученная из (V. 4) заменой Г на S, называется случайной вели- величиной Т2 Хотеллинга. Можно показать*), что Т* = / (х - 6) 'S-' (Ж - 6) распределено U'fj^ Fm, ,_m. (V. 5) В приложениях (V. 5) может оказаться полезным сделанное выше замечание. Если мы используем Г2-статистику для проверки гипотезы Н: | = 0, то для вычисления мощности этого критерия нам по- потребуется распределение /Jf'S^ в предположениях, противо- противоположных Н. Можно показать**), что если х имеет распреде- распределение N(%,Г), то Jx'S^x имеет распределение ^jz~- F'm. i-m; в. (V. 6) где параметр нецентральности б нецентрального ^-распределе- ния (приложение IV) определяется формулой б2 = Jfr-% (V. 7) В случае т= 1, где Т2 Хотеллинга становится случайной вели- величиной t2 Стьюдента, читатель знаком с (V. 5) и может легко проверить (V.6) и (V. 7). *) Прямое доказательство, показывающее, что Т2 распределено так же, как константа, умноженная на частное двух независимых х2. было дано Вийсманом (Wijsman 1957). **) См. у Вийсмана (Wijsman, 1957). Этот результат впервые получил Сюй (Hsu, 1938c).
468 ПРИЛОЖЕНИЕ V ЗАДАЧИ V. 1. Пусть {xt Хп] независимы и нормально распределены с одина- одинаковыми дисперсиями. Рассмотрим {yt, ..., у„}, являющиеся линейными функ- функциями {*/}. Доказать, что {(/,} независимы и имеют равные дисперсии тогда и только тогда, когда матрица преобразования отличается от ортогональной матрицы только числовым множителем. V. 2. Пусть Q — квадратичная форма от случайных величин, совместное распределение которых является невырожденным многомерным нормальным распределением. Доказать, что Q распределено, как линейная комбинация независимых нецентральных %2. Указание. Пусть Q = у'Ау, где у имеет распределение N(r\, Гу). Суще- Существуют невырожденная матрица Р и ортогональная матрица Т такие, что РГУР' = 1 и Т(Р'-«АР-«)Т' = (Ы(,). Пусть г = ТРу, так что Г2 = /. В Q= ^ Я,4г^ объединить члены с равными h- I
Приложение VI ТЕОРЕМА КОКРАНА Когда в различных случаях дисперсионного анализа полное SS разбивается на сумму других SS, то совместное распределе- распределение этих последних SS часто можно получить из теоремы Кок- рана. Мы не использовали теорему Кокрана в этой книге, но она является достаточно важной и часто встречается в лите- литературе по дисперсионному анализу, поэтому ее рассмотрение в этом приложении оправдано. Мы получим теорему Кокрана как простое следствие следующей теоремы. я Теорема [.Пусть ? y] = Ql + ... +QS, adeQ,{}= 1, .. .,s) t — 1 является квадратичной формой ранга п,- от переменных уъ ... ..., уп. Необходимым и достаточным условием существования ортогонального преобразования г = Ау, переводящего вектор У = {Уи- ¦ ¦ ,Уп)' в вектор z = Bi гп)' так, чтобы при этом 111 E Q2= ? 4 1=1 (VI. nj+ ... +ns Qs = E 4 n1+...+ns_1 + l является условие щ -f «2 + • ¦. + ns = п. Доказательство*). Необходимость. Если такое орто- тональное преобразование существует, то X*/j= ? г\. Левая часть является квадратичной формой ранга п, а правая часть — квадратичной формой ранга п\ -j- ... + ns. По лемме 4 приложения II отсюда следует, что ti\ -f ... -f ns = п. Достаточность. Так как ранг Q,- равен П/, то по следствию 3 приложения II отсюда следует, что существует nt линейных *) По существу это доказательство совпадает с доказательством Кокра- Кокрана (Cochran, 1934).
470 приложение vi форм {zi} переменных у\ уп, таких, что Qt=Y1 Ьгг\, где каждое б; = -f 1 или —1. В Q\ мы выберем индексы i в различ- различных Zi равными 1, 2, ..., п\\ в Q2 равными п\ -f 1, .... П\-\-щ и т. д. Если ? nt= п, то существует п линейных форм 2„ ко- которые в матричных обозначениях можно записать так: z(nxl) = Вводя диагональную (п Xя) -матрицу D с диагональными s п элементами 6i, ...,бП) получаем ? Qt = ? 6^ = z'Dz = = y'A'DAy. С другой стороны, ? Q/= ? ^ = 0'0. Так как симметричная матрица квадратичной формы единственна, то мы заключаем, что A'DA = I, следовательно, А невырож- невырождена. Теперь мы можем доказать, что D = I. Действительно, предположим, что б* = —1. Тогда по формуле у = A~lz мы можем найти значения у\, ..., уп, соответствующие значениям Zi = 0 при i Ф k и 2й = 1, а для этих значений п п Л У2,~ И б,2? = бь==— 1, что невозможно. Следовательно, ,•=1 (=i ' D = / и А'А = I. Последнее равенство показывает, что преоб- преобразование г — Ац ортогонально. До некоторой степени необычно, что условие J) щ — п обе- спечивает положительность квадратичных форм Qi, а также что все нх характеристические числа равны 0 или 1 (так как при ортогональном преобразовании квадратичная форма Q( равна сумме т величин {z^}). Теорема 2 (теорема Кокрана)*). Пусть случайные величины yt (/=l,...,rz) независимы, имеют распределение N(ци 1) и пусть квадратичные формы Q\, Q2, ..., Qs от величин {yi} таковы, что г-i ^ = Q1+ ... +QS. Положим**) rij = r(Qj). Тогда Qu ¦¦-, Qs будут иметь незави- независимые нецентральные ^-распределения с п\ ns ст. св. соот- S ветственно тогда и только тогда, когда 2 п/ = "• Если через *) Центральный случай был установлен Кокраном (Cochran, 1934), не- нецентральный— Мадоу (Madow, 1940). **) Ранг квадратичной формы Q будем обозначать r(Q).
ТЕОРЕМА КОКРАНА 471 б/ обозначен параметр нецентральности Qr, то значение б/ мо- может быть получено заменой yt на % в Q/. Доказательство. 1) Если {Q/} являются независимыми случайными величинами, имеющими х2"РаспРеДеления с {"/} s ст. св. соответственно, то из (IV. 4) следует, что ? Q/ имеет нецентральное 5С2-распределение с X щ ст. св. Но s п HQi=:Hy2i и имеет нецентральное х2'РаспРеДеление с п S ст. св. Следовательно, ? П/ = п. s 2) Допустим, что X п} = п. Тогда при ортогональном пре- преобразовании z = Ау теоремы 1, случайные величины {z,} снова будут независимыми и нормально распределенными. Из соот- соотношений (VI. 1) немедленно следует, что {Q,} имеют незави- независимые нецентральные х2-РаспРеДеления с {«/} ст. св. соответ- соответственно. Значение б) может быть получено по правилу 1 § 2.6. Часто теорема Кокрана применяется в центральном случае, т. е. в случае, где М(г/;)=0 (г = 1 п)- Тогда {Q,} имеют центральные ^-распределения. Следующее следствие к двум доказанным теоремам полезно в том случае, когда предложенным в начале этого приложения методом устанавливают ортогональные соотношения в теории распределения сумм квадратов, входящих в разбиение пол- полного 55. Следствие 1*). Пусть выполнены предположения тео- S ремы 2 и J] nt = n. Предположим, что каждое Q,- записано не- некоторым способом в виде суммы квадратов линейных форм {L,t} от переменных {у/} E Тогда при 1ф\ и любых t, t' (t = 1 т/; ? = 1 тд) формы L/t и Lff ортогональны. Доказательство. Так как {?/<} являются линейными формами от переменных {*/<}, то они также являются ли- линейными формами от {zi}, используемых в доказательстве *) Это следствие мне указал проф. Р. Вийсман,
472 ПРИЛОЖЕНИЕ VI теоремы 2. Обозначим через S/ множество, состоящее из «/ зна- значений i, при которых zt входит в Qi, тогда <ЭУ=(Е г] 0=1, .... s). (VI.2) Покажем, что в Lft с ненулевыми коэффициентами могут вхо- входить только {zi} с i e S/. Предположим противное, т. е. пусть п при некотором t ^ т,- и некотором кщ Si имеем L/, = и Ck ф 0. Тогда при значениях {г,- = б;*} получаем X что противоречит равенству Q,- = 0, которое следует из (VI. 2). Так как L/t и Ly^- являются линейными комбинациями мно- множеств {г,} с i входящими в 5/ и 5/' соответственно, а эти два множества случайных величин независимы, то Ljt и Lff тоже независимы; следовательно, как линейные формы переменных {«/,-} они ортогональны. Для иллюстрации использования теоремы Кокрана рас- рассмотрим случай двухфакторного анализа с одним наблюдением в ячейке в предположениях § 4.2. В этом параграфе из общей теории мы получили следующие 55: S5e = 2,2.0/„-*/,-.-*/./ +У*»J- Эти суммы мы можем также получить как интуитивные стати- статистические меры различия между строками и т. д.; 5Se может быть также подсказано построением, которое приводится ниже дяя получения тождества ZZy], = Hyi + SSA + SSB + SSe. (VI. 3) Это тождество следует из общей теории, но его можно получить непосредственно, если сохранить скобки при возведении в квад- квадрат и суммировании следующего выражения: у ii = у** + {у и — у**) + (y*i — у**) + (у а — у и — y*i + у**). Таким путем можно получить теорию распределения сумм квад- квадратов, используя теорему Кокрана. Чтобы применить теорему к (VI. 3), мы должны знать ранги четырех квадратичных форм в правой части. Раньше эти ранги были побочными результа- результатами общей теории (а именно числами ст. св. соответствующих нецентральных ^-распределений); теперь мы должны их полу-
ТЕОРЕМА КОКРАНА 473 чить непосредственно, но это нетрудно. Используем следующую лемму. Лемма 1. Ранг суммы квадратичных форм не превосходит суммы их рангов. Доказательство. Достаточно показать, что если А\ и А2 являются матрицами одного порядка и ранг А{ равен г,-, то г(А\ + А2)^г\-\-г2. Для векторного пространства, порожден- порожденного столбцами Ai, выберем базис из п векторов. Тогда так как столбцы А\ -f- А2 равны суммам соответствующих столбцов А{ и Ai, то они являются линейными комбинациями г\ + г2 век- векторов двух базисов; следовательно, число линейно независи- независимых столбцов в А\-\- А2 не может превосходить т\ + г2. Следствие 2. Если ? У\ = Q\ + • • • + Qs> г^е Ранг Qi не превосходит mt (/ = 1, ..., s), и если гп\ + • • • + ms = п, то r(Q,) = mj. Лемма 2. Если Q является квадратичной формой от пере- переменных х\, ..., хп и может быть выражена как квадратичная форма переменных z\ zp, являющихся линейными формами хи ..., хп, то r(Q)^.p. Доказательство. Пусть Q = х'Асх^х = 2'Bt"x">« и z = С(рхп)х, где А к В симметричны. Тогда из равенства Q = = х'С'ВСх следует, что А — С'ВС, а по лемме 3 приложения II получаем: r(Q) = r(A)^r(C); так как С является (рХ«-мат- (рХ«-матрицей, то г(С)^ р. Итак, SSa есть квадратичная форма от величин {г,- = yit — — #**}> являющихся линейными формами наблюдений {yij}', действительно, SS, = /?г?. Так как ? z, = 0, то мы можем л 1-1 l i=\ ' /-1 подставить Zj = X 2,- в SSA, чтобы выразить это 55 в виде квадратичной формы от /—1 линейных форм {z\,... ,z/_i}. Следовательно, по лемме 2 r(SSA)^I — 1. Таким же способом находим, что гE5в)^/ — 1. Аналогично устанавливается, что гE5в)^(/—1)(/—1). Действительно, 55в является квадра- квадратичной формой от // линейных форм {гц = уц — «/,-, — ущ + у,*}, где Х^/^О» 22г/ = 0 и, следовательно, 55в может быть вы- выражено в виде квадратичной формы от (/—1)(/—1) величин /-1 {zit} с / < /, / < /, так как zu = — Z *ц при i < I, zu — j-\ j-\ i-\ i-\ = — Z zih при / < / и z,j = — X 2// = X Z Zit- Наконец, <=i /=i /-1 г=1 по лемме 2 ранг Uy\t не превосходит 1. Теперь по следствию 2
474 ПРИЛОЖЕНИЕ VI отсюда получаем, что r(IJy2tJ=\, r(SSA) = I— I, r(SSB) = = / — 1 и r(SS.) = {l— 1)(/ — 1). Запишем (VI. 3) в виде По теореме 2 четыре суммы квадратов правой части этого равенства имеют независимые нецентральные ^-распределения с уже знакомыми нам числами ст. св. и значениями параметров нецентральности. Кроме того, следствие 1 дает известное свой- свойство ортогональности, по которому любая линейная форма, вхо- входящая в любое из четырех 55 (например, г/г, — У**)> ортого- ортогональна любой линейной форме, входящей в любое другое 55 (например, г/,,, - уе, - ул} + «/„). ЗАДАЧИ VI. 1. Решить задачу 4.13, используя теорему Кокрана. VI. 2. Построить теорию совместного распределения сумм квадратов, ис- используемых в плане латинского квадрата, а также получить ортогональные соотношения соответствующих множеств линейных форм. Для этого при- применить метод, использующий теорему Кокрана, как было показано выше на примере двухфакторного анализа.
ТАБЛИЦЫ И ДИАГРАММЫ Ниже приведены таблицы верхнего а-предела F-распределе- ния с vi и v2 ст. св. (табл. I—V)*) и таблицы верхнего а-пре- а-предела стьюдентизироваиного размаха qk,v — R/S, где k — объем выборки, имеющей размах R, a v — число ст. св. S (табл. VI— VIII)**). Далее следуют диаграммы Пирсона — Хартли (I—VIII)***) и диаграммы Фокса (IX—XVI)****) для вычисления мощно- мощности F-критерия (см. § 2.8; в этих таблицах вместо обозначения Ф использовано обозначение tp). *) Эти трехзначные таблицы получены посредством округления из таблиц Меррингтоиа и Томпсона (М. Merrington, С. М. Tompson, Biometrica, vol. 33, 1943, pp. 78—87). **) Заимствовано из Biometrica Tables for Statisticians, E. S. Pearson, H. O. Hartley, vol. 1, pp. 176—177, изд. Biometrica Trustees, Cambridge Uni- University Press, Cambridge A954). ***) Заимствовано из E. S. Pearson, H. O. Hartley, Biometrica, vol. 38 A951), pp. 115—122. ****) Заимствовано из М. Fox, Annals Math. Stat., vol. 27 A956), pp. 485—494.
ТАБЛИЦЫ И ДИАГРАММЫ Таблица I. 1 39,9 8,53 5,54 4,54 4,06 3,78 3,59 3,46 3,36 3,29 3,23 3,18 3,14 3,10 3,07 3,05 3,03 3,01 2,99 2,97 2,96 2,95 2,94 2,93 2,92 2,91 2,90 2,89 2,89 2,88 2,84 2,79 2,75 2,71 2 49,5 9,00 5,46 4,32 3,78 3,46 3,26 3,11 3,01 2,92 2,86 2,81 2,76 2,73 2,70 2,67 2,64 2,62 2,61 2,59 2,57 2,56 2,55 2,54 2,53 2,52 2,51 2,50 2,50 2,49 2,44 2,39 2,35 2,30 8 9,4 9,37 5,25 3,95 3,34 2,98 2,75 2,59 2,47 2,38 2,30 2,24 2,20 2,15 2,12 2,09 2,06 2,04 2,02 2,00 1,98 1,97 1,95 1,94 1,93 1,92 1,91 1,90 1,89 1,88 1,83 1,77 1,72 1,67 9 59,9 9,38 5,24 3,94 3,32 2,96 2,72 2,56 2,44 2,35 2,27 2,21 2,16 2,12 2,09 2,06 2,03 2,00 1,98 1,96 1,95 1,93 1,92 1,91 1,89 1,88 1,87 1,87 1,86 1,85 1,79 1,74 1,68 1,63 53,6 9,16 5,39 4,19 3,62 3,29 3,07 2,92 2,81 2,73 2,66 2,61 2,56 2,52 2,49 2,46 2,44 2,42 2,40 2,38 2,36 2,35 2,34 2,33 2,32 2,31 2,30 2,29 2,28 2,28 2,23 2,18 2,13 2,08 55,8 9,24 5,34 4,11 3,52 3,18 2,96 2,81 2,69 '2,61 2,54 2,48 2,43 2,39 2,36 2,33. 2,31 2,29 2,27 2,25 2,23 2,22 2,21 2,19 2,18 2,17 2,17 2,16 2,15 2,14 2,09 2,04 1,99 1,94 57,2 9,29 5,31 4,05 3,45 3,11 2,88 2,73 2,61 2,52 2,45 2,39 2,35 2,31 2,27 2,24 2,22 2,20 2,18 2,16 2,14 2,13 2,11 2,10 2,09 2,08 2,07 2,06 2,06 2,05 2,00 1,95 1,90 1,85 58,2 9,33 5,28 4,01 3,40 3,05 2,83 2,67 2,55 2,46 2,39 2,33 2,28 2,24 2,21 2,18 2,15 2,13 2,11 2,09 2,08 2,06 2,05 2,04 2,02 2,01 2,00 2,00 1,99 1,98 1,93 1,87 1,82 1,77 58,9 9,35 5,27 3,98 3,37 3,01 2,78 2,62 2,51 2,41 2,34 2,28 2,23 2,19 2,16 2,13 2,10 2,08 2,06 2,04 2,02 2,01 1,99 1,98 1,97 1,96 1,95 1,94 1,93 1,93 1,87 1,82 1,77 1,72
ТАБЛИЦЫ И ДИАГРАММЫ а = 0,10 10 60,2 9,39 5,23 3,92 3,30 2,94 2,70 2,54 2,42 2,32 2,25 2,19 2,14 2,10 2,06 2,03 2,00 1,98 1,96 1,94 1,92 1,90 1,89 1,88 1,87 1,86 1,85 1,84 1,83 1,82 1,76 1,71 1,65 1,60 12 60,7 9,41 5,22 3,90 3,27 2,90 2,67 2,50 2,38 2,28 2,21 2,15 2,10 2,05 2,02 1,99 1,96 1,93 1,91 1,89 1,88 1,86 1,84 1,83 1,82 1,81 1,80 1,79 1,78 1,77 1,71 1,66 1,60 1,55 15 61,2 9,42 5,20 3,87 3,24 2,87 2,63 2,46 2,34 2,24 2,17 2,10 2,05 2,01 1,97 1,94 1,91 1,89 1,86 1,84 1,83 1,81 1,80 1,78 1,77 1,76 1,75 1,74 1,73 1,72 1,66 1,60 1,55 1,49 20 61,7 9,44 5,18 3,84 3,21 2,84 2,59 2,42 2,30 2,20 2,12 2,06 2,01 1,96 1,92 1,89 1,86 1,84 1,81 1,79 ,78 ,76 ,74 ,73 ,72 ,71 ,70 ,69 ,68 ,67 1,61 ,54 ,48 1,42 24 62,0 9,45 5,18 3,83 3,19 2,82 2,58 2,40 2,28 2,18 2,10 2,04 1,98 1,94 1,90 1,87 1,84 1,81 1,79 1,77 1,75 1,73 1,72 1,70 1,69 1,68 1,67 1,66 1,65 1,64 1,57 1,51 1,45 1,38 30 62,3 9,46 5,17 3,82 3,17 2,80 2,56 2,38 2,25 2,16 2,08 2,01 1,96 1,91 1,87 1,84 1,81 1,78 1,76 1,74 1,72 1,70 1,69 1,67 1,66 1,65 1,64 1,63 1,62 1,61 1,54 1,48 1,41 1,34 40 62,5 9,47 5,16 3,80 3,16 2,78 2,54 2,36 2,23 2,13 2,05 1,99 1,93 1,89 1,85 1,81 1,78 1,75 1,73 1,71 1,69 1,67 1,66 1,64 1,63 1,61 1,60 1,59 1,58 1,57 1,51 1,44 1,37 1,30 60 62,8 9,47 5,15 3,79 3,14 2,76 2,51 2,34 2,21 2,11 2,03 1,96 1,90 1,86 1,82 1,78 1,75 1,72 1,70 1,68 1,66 1,64 1,62 1,61 1,59 1,58 1,57 1,56 1,55 1,54 1,47 1,40 1,32 1,24 120 63,1 9,48 5,14 3,78 3,12 2,74 2,49 2,32 2,18 2,08 2,00 1,93 1,88 1,83 1,79 1,75 1,72 1,69 1,67 1,64 1,62 1,60 1,59 1,57 1,56 1,54 1,53 1,52 1,51 1,50 1,42 1,35 1,26 1,17 ОО 63,3 9,49 5,13 3,76 3,10 2,72 2,47 2,29 2,16 2,06 1,97 1,90 1,85 1,80 1,76 1,72 1,69 1,66 1,63 1,61 1,59 1,57 1,55 1,53 1,52 1,50 1,49 1,48 1,47 1,46 1,38 1,29 1,19 1,00
ТАБЛИЦЫ И ДИАГРАММЫ Таблица II. 161 18,5 10,1 7,71 6,61 5,99 5,59 5,32 5,12 4,96 4,84 4,75 4,67 4,60 4,54 4,49 4,45 4,41 4,38 4,35 4,32 4,30 4,28 4,26 4,24 4,23 4,21 4,20 4,18 4,17 4,08 4,00 3,92 3,84 200 19,0 9,55 6,94 5,79 5,14 4,74 4,46 4,26 4,10 3,98 3,89 3,81 3,74 3,68 3,63 3,59 3,55 3,52 3,49 3,47 3,44 3,42 3,40 3,39 3,37 3,35 3,34 3,33 3,32 3,23 3,15 3,07 3,00 216 19,2 9,28 6,59 5,41 4,76 4 35 4,07 3,86 3,71 3,59 3,49 3,41 3,34 3,29 3,24 3,20 3,16 3,13 3,10 3,07 3,05 3,03 3,01 2,99 2,98 2,96 2,95 2,93 2,92 2,84 2,76 2,68 2,60 225 19,2 9,12 6,39 5,19 4,53 4,12 3,84 3,63 3,48 3,36 3,26 3,18 3,11 3,06 3,01 2,96 2,93 2,90 2,87 2,84 2,82 2,80 2,78 2,76 2,74 2,73 2,71 2,70 2,69 2,61 2,53 2,45 2,37 230 19,3 9,01 6,26 5,05 4,39 3,97 3,69 3,48 3,33 3,20 3,11 3,03 2,96 2,90 2,85 2,81 2,77 2,74 2,71 2,68 2,66 2,64 2,62 2,60 2,59 2,57 2,56 2,55 2,53 2,45 2,37 2,29 2,21 234 19,3 8,94 6,16 4,95 4,28 3,87 3,58 3,37 3,22 3,09 3,00 2,92 2,85 2,79 2,74 2,70 2,66 2,63 2,60 2,57 2,55 2,53 2,51 2,49 2,47 2,46 2,45 2,43 2,42 2,34 2,25 2,17 2,10 237 19,4 8,89 6,09 4,88 4,21 3,79 3,50 3,29 3,14 3,01 2,91 2,83 2,76 2,71 2,66 2,61 2,58 2,54 2,51 2,49 2,46 2,44 2,42 2,40 2,39 2,37 2,36 2,35 2,33 2,25 2,17 2,09 2,01 239 19,4 8,85 6,04 4,82 4,15 3,73 3,44 3,23 3,07 2,95 2,85 2,77 2,70 2,64 2,59 2,55 2,51 2,48 2,45 2,42 2,40 2,37 2,36 2,34 2,32 2,31 2,29 2,28 2,27 2,18 2,10 2,02 1,94 241 19,4 8,81 6,00 4,77 4,10 3,68 3,39 3,18 3,02 2,90 2,80 2,71 2,65 2,59 2,54 2,49 2,46 2,42 2,39 2,37 2,34 2,32 2,30 2,28 2,27 2,25 2,24 2,22 2,21 2,12 2,04 1,96 1,88
ТАБЛИЦЫ И ДИАГРАММЫ а = 0,05 10 12 15 20 24 30 40 60 120 242 19,4 8,79 5,96 4,74 4,06 3,64 3,35 3,14 2,98 2,85 2,75 2,67 2,60 2,54 2,49 2,45 2,41 2,38 2,35 2,32 2,30 2,27 2,25 2,24 2,22 2,20 2,19 2,18 2,16 2,08 1,99 1,91 1,83 244 19,4 8,74 5,91 4,68 4,00 3,57 3,28 3,07 2,91 2,79 2,69 2,60 2,53 2,48 2,42 2,38 2,34 2,31 2,28 2,25 2,23 2,20 2,18 2,16 2,15 2,13 2,12 2,10 2,09 2,00 1,92 1,83 1,75 246 19,4 8,70 5,86 4,62 3,94 3,51 3,22 3,01 2,85 2,72 2,62 2,53 2,46 2,40 2,35 2,31 2,27 2,23 2,20 2,18 2,15 2,13 2,11 2,09 2,07 2,06 2,04 2,03 2,01 1,92 1,84 1,75 1,67 248 19,4 8,66 5,80 4,56 3,87 3,44 3,15 2,94 2,77 2,65 2,54 2,46 2,39 2,33 2,28 2,23 2,19 2,16 2,12 2,10 2,07 2,05 2,03 2,01 1,99 1,97 1,96 1,94 1,93 1,84 1,75 1,66 1,57 249 19,5 8,64 5,77 4,53 3,84 3,41 3,12 2,90 2,74 2,61 2,51 2,42 2,35 2,29 2,24 2,19 2,15 2,11 2,08 2,05 2,03 2,01 1,98 1,96 1,95 1,93 1,91 1,90 1,89 1,79 1,70 1,61 1,52 250 19,5 8,62 5,75 4,50 3,81 3,38 3,08 2,86 2,70 2,57 2,47 2,38 2,31 2,25 2,19 2,15 2,11 2,07 2,04 2,01 1,98 1,96 1,94 1,92 1,90 1,88 1,87 1,85 1,84 1,74 1,65 1,55 1,46 251 19,5 8,59 5,72 4,46 3,77 3,34 3,04 2,83 2,66 2,53 2,43 2,34 2,27 2,20 2,15 2,10 2,06 2,03 1,99 1,96 1,94 1,91 1,89 1,87 1,85 1,84 1,82 1,81 1,79 1,69 1,59 1,50 1,39 252 19,5 8,57 5,69 4,43 3,74 3,30 3,01 2,79 2,62 2,49 2,38 2,30 2,22 2,16 2,11 2,06 2,02 1,98 1,95 1,92 1,89 1,86 1,84 1,82 1,80 1,79 1,77 1,75 1,74 1,64 1,53 1,43 1,32 253 19,5 8,55 5,66 4,40 3,70 3,27 2,97 2,75 2,58 2,45 2,34 2,25 2,18 2,11 2,06 2,01 1,97 1,93 1,90 1,87 1,84 1,81 1,79 1,77 1,75 1,73 1,71 1,70 1,68 1,58 1,47 1,35 1,22
ТАБЛИЦЫ И ДИАГРАММЫ Таблица III. 1 648 38,5 17,4 12,2 10,0 8,81 8,07 7,57 7,21 6,94 6,72 6,55 6,41 6,30 6,20 6,12 6,04 5,98 5,92 5,87 5,83 5,79 5,75 5,72 5,69 5,66 5,63 5,61 5,59 5,57 5,42 5,29 5,15 5,02 2 800 39,0 16,0 10,6 8,43 7,26 6,54 6,06 5,71 5,46 5,26 5,10 4,97 4,86 4,77 4,69 4,62 4,56 4,51 4,46 4,42 4,38 4,35 4,32 4,29 4,27 4,24 4,22 4,20 4,18 4,05 3,93 3,80 3,69 864 39,2 15,4 9,98 7,76 6,60 5,89 5,42 5,08 4,83 4,63 4,47 4,35 4,24 4,15 4,08 4,01 3,95 3,90 3,86 3,82 3,78 3,75 3,72 3,69 3,67 3,65 3,63 3,61 3,59 3,46 3,34 3,23 3,12 900 39,2 15,1 9,60 7,39 6,23 5,52 5,05 4,72 4,47 4,28 4,12 4,00 3,89 3,80 3,73 3,66 3,61 3,56 3,51 3,48 3,44 3,41 3,38 3,35 3,33 3,31 3,29 3,27 3,25 3,13 3,01 2,89 2,79 922 39,3 14,9 9,36 7,15 5,99 5,29 4,82 4,48 4,24 4,04 3,89 3,77 3,66 3,58 3,50 3,44 3,38 3,33 3,29 937 39,3 14,7 9,20 6,98 5,82 5,12 4,65 4,32 4,07 3,88 3,73 3,60 3,50 3,41 3,34 3,28 3,22 3,17 3,13 3,25 3,22 3,18 3,15 3,13 3,10 3,08 3,06 3,04 3,03 2,90 2,79 2,67 2,57 3,09 3,05 3,02 2,99 2,97 2,94 2,92 2,90 2,88 2,87 2,74 2,63 2,52 2,41 948 39,4 14,6 9,07 6,85 5,70 4,99 4,53 4,20 3,95 3,76 3,61 3,48 3,38 3,29 3,22 3,16 3,10 3,05 3,01 2,97 2,93 2,90 2,87 2,85 2,82 2,80 2,78 2,76 2,75 2,62 2,51 2,39 2,29 957 39,4 14,5 8,98 6,76 5,60 4,90 4,43 4,10 3,85 3,66 3,51 3,39 3,29 3,20 3,12 3,06 3,01 2,96 2,91 2,87 2,84 2,81 2,78 2,75 2,73 2,71 2,69 2,67 2,65 2,53 2,41 2,30 2,19 963 39,4 14,5 8,90 6,68 5,52 4,82 4,36 4,03 3,78 3,59 3,44 3,31 3,21 3,12 3,05 2,98 2,93 2,88 2,84 2,80 2,76 2,73 2,70 2,68 2,65 2,63 2,61 2,59 2,57 2,45 2,33; 2,22 2,11
ТАБЛИЦЫ И ДИАГРАММЫ а = 0,025 10 969 39,4 14,4 8,84 6,62 5.46 4,76 4,30 3,96 3.72 3,53 3,37 3,25 3,15 3,06 2,99 2,92 2,87 2,82 2,77 2,73 2,70 2,67 2,64 2,61 2,59 2,57 2,55 2,53 2,51 2,39 2,27 2,16 2,05 12 977 39,4 14,3 8,75 6,52 5,37 4,67 4,20 3,87 3,62 3,43 3,28 3,15 3,05 2,96 2,89 2,82 2,77 2,72 2,68 2,64 2,60 2,57 2,54 2,51 2,49 2,47 2,45 2,43 2,41 2,29 2,17 2,05 1,94 I 20 21 30 ¦10 60 120 985 39,4 14,3 8,66 6,43 5,27 4,57 4,10 3,77 3,52 3,33 3,18 3,05 2,95 2,86 2,79 2,72 2,67 2,62 2,57 2,53 2,50 2,47 2,44 2,41 2,39 2,36 2,34 2,32 2,31 2,18 2,06 1,94 1,83 993 39,4 14,2 8,56 6,33 5,17 4,47 4,00 3,67 3,42 3,23 3,07 2,95 2,84 2,76 2,68 2,62 2,56 2,51 2,46 2,42 2,39 2,36 2,33 2,30 2,28 2,25 2,23 2,21 2,20 2,07 1,94 1,82 1,71 997 39,5 14,1 8,51 6,28 5,12 4,42 3,95 3,61 3,37 3,17 3,02 2,89 2,79 2,70 2,63 2,56 2,50 2,45 2,41 2,37 2,33 2,30 2,27 2,24 2,22 2,19 2,17 2,15 2,14 2,01 1,88 1,76 1,64 1000 39,5 14,1 8,46 6,23 5,07 4,36 3,89 3,56 3,31 3,12 2,96 2,84 2,73 2,64 2,57 2,50 2,44 2,39 2,35 2,31 2,27 2,24 2,21 2,18 2,16 2,13 2,11 2,09 2,07 1,94 1,82 1,69 1,57 1010 39,5 14,0 8,41 6,18 5,01 4,31 3,84 3,51 3,26 3,06 2,91 2,78 2,67 2,59 2,51 2,44 2,38 2,33 2,29 2,25 2,21 2,18 2,15 2,12 2,09 2,07 2,05 2,03 2,01 1,74 1,61 1,48 1010 39,5 14,0 8,36 6,12 4,96 4,25 3,78 3,45 3,20 3,00 2,85 2,72 2,61 2,52 2,45 2,38 2,32 2,27 2,22 2,18 2,14 2,11 2,08 2,05 2,03 2,00 1,98 1,96 1,94 1,80 1,67 1,53 1,39 1010 139,5 13,9 8,31 6,07 4,90 4,20 3,73 3,39 3,14 2,94 2,79 2,66 2,55 2,46 2,38 2,32 2,26 2,20 2,16 2,11 2,08 2,04 2,01 1,98 1,95 1,93 1,91 1,89 1,87 1,72 1,58 1,43 1,27 16 Г. Шеффе
ТАБЛИЦЫ И ДИАГРАММЫ Таблица IV. 1 4050 98,5 34,1 21,2 16,3 13,7 12,2 11,3 10,6 10,0 9,65 9,33 9,07 8,86 8,68 8,53 8,40 8,29 8,18 8,10 8,02 7,95 7,88 7,82 7,77 7,72 7,68 7,64 7,60 7,56 7,31 7,08 6,85 6,63 2 5000 99,0 30,8 18,0 13,3 10,9 9,55 8,65 8,02 7,56 7,21 6,93 6,70 6,51 6,36 6,23 6,11 6,01 5,93 5,85 5,78 5,72 5,66 5,61 5,57 5,53 5,49 5,45 5,42 5,39 5,18 4,98 4,79 4,61 3 5400 99,2 29,5 16,7 12,1 9,78 8,45 7,59 6,99 6,55 6,22 5,95 5,74 5,56 5,42 5,29 5,18 5,09 5,01 4,94 4,87 4,82 4,76 4,72 4,68 4,64 4,60 4,57 4,54 4,51 4,31 4,13 3,95 3,78 4 5620 99,2 28,7 16,0 11,4 9,15 7,85 7,01 6,42 5,99 5,67 5,41 5,21 5,04 4,89 4,77 4,67 4,58 4,50 4,43 4,37 4,31 4,26 4,22 4,18 4,14 4,11 4,07 4,04 4,02 3,83 3,65 3,48 3,32 5 5760 99,3 28,2 15,5 11,0 8,75 7,46 6,63 6,06 5,64 5,32 5,06 4,86 4,69 4,56 4,44 4,34 4,25 4,17 4,10 4,04 3,99 3,94 3,90 3,85 3,82 3,78 3,75 3,73 3,70 3,51 3,34 3,17 3,02 7 5930 99,4 27,7 15,0 10,5 8,26 6,99 6,18 5,61 5,20 4,89 4,64 4,44 4,28 4,14 4,03 3,93 3,84 3,77 3,70 3,64 3,59 3,54 3,50 3,46 3,42 3,39 3,36 3,33 3,30 3,12 2,95 2,79 2,64 8 5980 99,4 27,5 14,8 10,3 8,10 6,84 6,03 5,47 5,06 4,74 4,50 4,30 4,14 4,00 3,89 3,79 3,71 3,63 3,56 3,51 3,45 3,41 3,36 3,32 3,29 3,26 3,23 3,20 3,17 2,99 2,82 2,66 2,51 9 6020 99,4 27,3 14,7 10,2 7,98 6,72 5,91 5,35 4,94 4,63 4,39 4,19 4,03 3,89 3,78 3,68 3,60 3,52 3,46 3,40 3,35 3,30 3,26 3,22 3,18 3,15 3,12 3,09 3,07 2,89 2,72 2,56 2,41 5860 99,3 27,9 15,2 10,7 8,47 7,19 6,37 5,80 5,39 5,07 4,82 4,62 4,46 4,32 4,20 4,10 4,01 3,94 3,87 3,81 3,76 3,71 3,67 3,63 3,59 3,56 3,53 3,50 3,47 3,29 3,12 2,96 2,80
ТАБЛИЦЫ И ДИАГРАММЫ а = 0,01 10 6060 99,4 27,2 14,5 10,1 7,87 6,62 5,81 5,26 4,85 4,54 4,30 4,10 3,94 3,80 3,69 3,59 3,51 3,43 3,37 3,31 3,26 3,21 3,17 3,13 3,09 3,06 3,03 3,00 2,98 2,80 2,63 2,47 2,32 12 6110 99,4 27,1 14,4 9,89 7,72 6,47 5,67 5,11 4,71 4,40 4,16 3,96 3,80 3,67 3,55 3,46 3,37 3,30 3,23 3,17 3,12 3,07 3,03 2,99 2,96 2,93 2,90 2,87 2,84 2,66 2,50 2,34 2,18 15 6160 99,4 26,9 14,2 9,72 7,56 6,31 5,52 4,96 4,56 4,25 4,01 3,82 3,66 3,52 3,41 3,31 3,23 3,15 3,09 3,03 2,98 2,93 2,89 2,85 2,81 2,78 2,75 2,73 2,70 2,52 2,35 2,19 2,04 20 6210 99,4 26,7 14,0 9,55 7,40 6,16 5,36 4,81 4,41 4,10 3,86 3,66 3,51 3,37 3,26 3,16 3,08 3,00 2,94 2,88 2,83 2,78 2,74 2,70 2,66 2,63 2,60 2,57 2,55 2,37 2,20 2,03 1,88 24 6230 99,5 26,6 13,9 9,47 7,31 6,07 5,28 4,73 4,33 4,02 3,78 3,59 3,43 3,29 3,18 3,08 3,00 2,92 2,86 2,80 2,75 2,70 2,66 2,62 2,58 2,55 2,52 2,49 2,47 2,29 2,12 1,95 1,79 30 6260 99,5 26,5 13,8 9,38 7,23 5 99 5,20 4,65 4,25 3,94 3,70 3,51 3,35 3,21 3,10 3,00 2,92 2,84 2,78 2,72 2,67 2,62 2,58 2,54 2,50 2,47 2,44 2,41 2,39 2,20 2,03 1,86 1,70 40 6290 99,5 26,4 13,7 9,29 7,14 5,91 5,12 4,57 4,17 3,86 3,62 3,43 3,27 3,13 3,02 2,92 2,84 2,76 2,69 2,64 2,58 2,54 2,49 2,45 2,42 2,38 2,35 2,33 2,30 2,11 1,94 1,76 1,59 60 6310 99,5 26,3 13,7 9,20 7,06 5,82 5,03 4,48 4,08 3,78 3,54 3,34 3,18 3,05 2,93 2,83 2,75 2,67 2,61 2,55 2,50 2,45 2,40 2,36 2,33 2,29 2,26 2,23 2,21 2,02 1,84 1,66 1,47 120 6340 99,5 26,2 13,6 9,11 6,97 5,74 4,95 4,40 4,00 3,69 3,45 3,25 3,09 2,96 2,84 2,75 2,66 2,58 2,52 2,46 2,40 2,35 2,31 2,27 2,23 2,20 2,17 2,14 2,11 1,92 1,73 1,53 1,32 оо 6370 99,5 26,1 13,5 9,02 6,88 5,65 4,86 4,31 3,91 3,60 3,36 3,17 3,00 2,87 2,75 2,65 2,57 2,49 2,42 2,36 2,31 2,26 2,21 2,17 2,13 2,10 2,06 2,03 2,01 1,80 1,60 1,38 1,00
ТАБЛИЦЫ И ДИАГРАММЫ Таблица V. i 16 200 199 55,6 31,3 22,8 18,6 16,2 14,7 13,6 12,8 12,2 11,8 11,4 11,1 10,8 10,6 10,4 10,2 10,1 9,94 9,83 9,73 9,63 9,55 9,48 9,41 9,34 9,28 9,23 9,18 8,83 8,49 8,18 7,88 2 20 000 199 49,8 26,3 18,3 14,5 12,4 11,0 10,1 9,43 8,91 8,51 8,19 7,92 7,70 7,51 7,35 7,21 7,09 6,99 6,89 6,81 6,73 6,66 6,60 6,54 6,49 6,44 6,40 6,35 6,07 5,79 5,54 5,30 3 21 600 199 47,5 24,3 16,5 12,9 10,9 9,60 -8,72 8,08 7,60 7,23 6,93 6,68 6,48 6,30 6,16 6,03 5,92 5,82 5,73 5,65 5,58 5,52 5,46 5,41 5,36 5,32 5,28 5,24 4,98 4,73 4,50 4,28 4 22 500 199 46,2 23,2 15,6 12,0 10,1 8,81 7,96 7,34 6,88 6,52 6,23 6,00 5,80 5,64 5,50 5,37 5,27 5,17 5,09 5,02 4,95 4,89 4,84 4,79 4,74 4,70 4,66 4,62 4,37 4,14 3,92 3,7-2 5 23 100 199 45,4 22,5 14,9 11,5 9,52 8,30 7,47 6,87 6,42 6,07 5,79 5,56 5,37 5,21 5,07 4,96 4,85 4,76 4,68 4,61 4,54 4,49 4,43 4,38 4,34 4,30 4,26 4,23 3,99 3,76 3,55 3,35 6 23 400 199 44,8 22,0 14,5 11,1 9,16 7,95 7,13 6,54 6,10 5,76 5,48 5,26 5,07 4,91 4,78 4,66 4,56 4,47 4,39 4,32 4,26 4,20 4,15 4,10 4,06 4,02 3,98 3,95 3,71 3,49 3,28 3,09 7 23 700 199 44,4 21,6 14,2 10,8 8,89 7,69 6,88 6,30 5,86 5,52 5,25 5,03 4,85 4,69 4,56 4,44 4,34 4,26 4,18 4,11 4,05 3,99 3,94 3,89 3,85 3,81 3,77 3,74 3,51 3,29 3,09 2,90 8 23 900 199 44,1 21,4 14,0 10,6 8,68 7,50 6,69 6,12 5,68 5,35 5,08 4,86 4,67 4,52 4,39 4,28 4,18 4,09 4,01 3,94 3,88 3,83 3,78 3,73 3,69 3,65 3,61 3,58 3,35 3,13 2,93 2,74 0 24 100 199 43,9 21,1 13,8 10,4 8,51 7,34 6,54 5,97 5,54 5,20 4,94 4,72 4,54 4,38 4,25 4,14 4,04 3,96 3,88 3,81 3,75 3,69 3,64 3,60 3,56 3,52 3,48 3,45 3,22 3,01 2,81 2,62
ТАБЛИЦЫ И ДИАГРАММЫ а = 0,005 10 24 200 199 43,7 21,0 13,6 10,3 8,38 7,21 6,42 5,85 5,42 5,09 4,82 4,60 4,42 4,27 4,14 4,03 3,93 3,85 3,77 3,70 3,64 3,59 3,54 3,49 3,45 3,41 3,38 3,34 3,12 2,90 2,71 2,52 12 24 400 199 43,4 20,7 13,4 10,0 8,18 7,01 6,23 5,66 5,24 4,91 4,64 4,43 4,25 4,10 3,97 3,86 3,76 3,68 3,60 3,54 3,47 3,42 3,37 3,33 3,28 3,25 3,21 3,18 2,95 2,74 2,54 2,36 15 24 600 199 43,1 20,4 13,1 9,81 7,97 6,81 6,03 5,47 5,05 4,72 4,46 4,25 4,07 3,92 3,79 3,68 3,59 3,50 3,43 3,36 3,30 3,25 3,20 3,15 3,11 3,07 3,04 3,01 2,78 2,57 2,37 2,19 20 24 800 199 42,8 20,2 12,9 9,59 7,75 6,61 5,83 5,27 4,86 4,53 4,27 4,06 3,88 3,73 3,61 3,50 3,40 3,32 3,24 3,18 3,12 3,06 3,01 2,97 2,93 2,89 2,86 2,82 2,60 2,39 2,19 2,00 24 24 900 199 42,6 20,0 12,8 9,47 7,65 6,50 5,73 5,17 4,76 4,43 4,17 3,96 3,79 3,64 3,51 3,40 3,31 3,22 3,15 3,08 3,02 2,97 2,92 2,87 2,83 2,79 2,76 2,73 2,50 2,29 2,09 1,90 30 25 000 199 42,5 19,9 12,7 9,36 7,53 6,40 5,62 5,07 4,65 4,33 4,07 3,86 3,69 3,54 3,41 3,30 3,21 3,12 3,05 2,98 2,92 2,87 2,82 2,77 2,73 2,69 2,66 2,63 2,40 2,19 1,98 1,79 40 25 100 199 42,3 19,8 12,5 9,24 7,42 6,29 5,52 4,97 4,55 4,23 3,97 3,76 3,58 3,44 3,31 3,20 3,11 3,02 2,95 2,88 2,82 2,77 2,72 2,67 2,63 2,59 2,56 2,52 2,30 2,08 1,87 1,67 60 25 300 199 42,1 19,6 12,4 9,12 7,31 6,18 5,41 4,86 4,44 4,12 3,87 3,66 3,48 3,33 3,21 3,10 3,00 2,92 2,84 2,77 2,71 2,66 2,61 2,56 2,52 2,48 2,45 2,42 2,18 1,96 1,75 1,53 120 25 400 199 42,0 19,5 12,3 9,00 7,19 6,06 5,30 4,75 4,34 4,01 3,76 3,55 3,37 3,22 3,10 2,99 2,89 2,81 2,73 2,66 2,60 2,55 2,50 2,45 2,41 2,37 2,33 2,30 2,06 1,83 1,61 1,36 СО 25 500 200 41,8 19,3 12,1 8,88 7,08 5,95 5,19 4,64 4,23 3,90 3,65 3,44 3,26 3,11 2,98 2,87 2,78 2,69 2,61 2,55 2,48 2,43 2,38 2,33 2,29 2,25 2,21 2,18 1,93 1,69 1,43 1,00
486 ТАБЛИЦЫ И ДИАГРАММЫ оо ос фю о сГ —* оо" г-»" со" S.SSS5.S СО О СО СО О СЧ оо,со.счсчсч —< со to со юЮ" ююо'ю'ю in*io*in"io"io" S. 00 *—• О С0 1Д Ю ¦* t^ ©со сэст> t-* ^o^tco ininioin in оо * — оо со ьоюетч1 ю еч еч еч —< ~ oo>o>oot>» со Ю ¦* •* ¦* Ч< чг оГ ~ об" i^" со" еч со !¦>¦ сч — со, о оо t~-,co со* со ю"ю*ю* 5 Я2222 SSSKS S Ю <N OO <N CO oo"—"oo"r~."cd tM— Ю О О СО "^ __ _ с^с^оо со ю^ ^^ сос^сч •—«*—I *—• <d о ONboot^y5 io со" ю" Ю* ю" Ю* Ю* Ю* Ю* Ю* Ю* Ю* Ю* Ю* Ю" Ю* V V ^* ^* *t ^** •— СО ^-« NCOO t-Ю 1>О>—'С01Л оо_оо_г - СО — СЧ 00 (^ 00 *г?1 co*io^io^io"id^ 1Л*и ^ m ^ Is". СО ^ •—'О О^ООС^ОО "^ •—' 00 Ю CS ^Э 00 СО 1О ^ СО СЧ ^^ •*** ^Э ^Э ^Э О) О) О co"io*io^io^irf lo'io'irfio'io^ ю'ю*^'*^'^* о о СО 00 СМ 1Л 1Лж00ж1^С^ СО" СЭ"^" СО* СО* 10*10* lO'iO'uf in со ^ЮО СОСОСОСЭСО lOOJCOOO4^ -ч|>Ю1МО О) СО СО СО i^H t^" lO СО М *~< СЭ О) О) 00 00 00 I4-* I4-* I4-* I4-* га Я S ¦^••«юсосо юосоою •—«ооюсо^- "^ ь* •—¦ ^ со <¦* со^ -^ w —л ол о_ оо оо. t-»_ (*-_ г»_ со_ о to. со ю_ **_ ^ со_ cs w 2 4" (м о) т <n io, i^, сч *^ oo 4J-" O)" O00rt-« •*? СО О* 00 *Ф —* -- «оо оо^^чэсо союююю CO-*, о co * * ¦* oo — coo ¦* л сч сч ^^ — о ) ^н COCO Г» t СО СО *"¦" О ^ *~< СО ^Э ^ О) СО СО СО CM CM W-t-OOJ 1П CO 1П CO <N — oo"co"ioio •—оосо-чкм г>.с^со^со — Cs| ^н .—1 ^ ^ О О^ О^ О^ 00^ 00^ 1 СО СО СО СО * со О) оо (м — — m О) о оо" со" ю"-*" ocotMooio сч •-* •— о о ----- . - tfl I tfl СЭ С? *Э О) О) О) О) Об 00 t1""- t*4» (О V -^ со* со" со" со" со" со" со* со* со" 58 ¦CON00N СОМООЮСО ОММО1* 05100СОСЧ 00 * СЧ — О О О^О^ ОО^ОО^М^ 00^ Г^ Г»ж 1-*.л Г^ СО^СО^СО^Ю^Ю^ ^ ¦^ сососососо сососососо сососососэ со i^cocotop cocsq>c?-E: сз о ® «^ 55 ^сп^^оо О СП 00 Is» Is- СО ЧЭ,1Й Ю^Ю^ 1О Ю^1^^1^ ^СО^СО^СО, <- к - . ^" со" со" со со" со" со" со* со* со" со" со" со" со" со" со" со* со" со* со* со СО I4-* 00 М СО lO I4-* М ^ СО СЭ 00 СО ^ С^ •"" ^Э СТ5 00 lO М СТ5 СО СО О *^ Is» ^ Ф t** Ю "^J" СО СО М М М 1^н ""• 1^н "¦"" 1^н 1^н ^Э ^Э СЭ СЭ СТ5 СТ5 CD w) со" ю" ¦**«"«" сососо оо"со* сосо"оо"сосо" со" со* со" со со —" -*-~-"-? ОО ОО ОО —< IQ Ю 00 ОО О) СО *«00)М О) ^теооо t^cocoioio ююш** 00"-*О0*С0"с" ----------- -------------- сч (m"(m"<n<n ечо оо соч* со ¦* ¦* оососо со ечечеч'ечеч еч C0t^000H — <N OO ¦* 1П CO f- 00 О) О TfOO O СО
ТАБЛИЦЫ И ДИАГРАММЫ 487 8 2 00 г~ SO ю •*¦ « (М 10 11 СП 00 1-~ СО Ю ¦ч- СО с* СО— О) t~- |~- •* t~- СО — — СО (О 0-*0)Ю— О) |~- (О •* СО — (О СО CM (N СМ Ю — 00 СО •* СО СМ — О О) О> 00 f~. f~. f~. Ю •* СО CM — О of «о* — о>* оо" г~Г г~." со to" to" (О* to"(o" to" io ioio"ioioio" ioioio"io">o" ю* ю — — оо см — о о оо о 1^.юЮ1^.о ¦* О) ^ о to iocs-—оо) г*. 00 (О — — — Ю — 00 Ю ** СМ — О О) О) KSSN<3 Ю**СОСЧО О) оо*(о"—о*оо" iCi~- to"to" со* to"to~to ю*ю*" ю"юю*ю"»о~ io"io"»o"io"io" *^ coco со oj со — «* о о) о) >— ю О)соО)Ю*-* O)Mt^io*^* со 0*^*000 <3" ONlOrt 0JOO)OH0 I^.I^.(OCOCO ТГСОИ —О О) схГсо^ноГм* iCiCсо*со'со со*to*ю"ю*ю* ю*ю lo*ю*ю* ю*ю"ю*ю"ю" *^" — СО ¦* •* Ю -Ч4 h- СОСЧСОЮОО С01^.СОО)Ю •* СО СМ — О О5 СМ — 00 О) О) СО О) СО •* CM -OOIOON SOISU1U1 •* СО СМ — О 00 !¦*. to* о 00* t1^ iC СОЮ* СО со" СО*СО*Ю*Ю Ю* 10*10*10*10*10* Юю"юЮ*Ю 'Ч* ю — >— О)СО TlOt^CDCT) COIOCDO)OJ <O^hI^.C0O) OOI^CDCOIO to COO)SN 00 МООЮСО- OOIOOSS tOtOlOlO-^* ЯИ-ОО) M <oioooo*iC i^.c6"co*co*co" to ю ю ю io юю"юю*ю* m*io*io*io*** *^ <OCN ^COMM.— M M O) >— Ю 0)^OCDC0 CN — >— О О О ¦^i^iotai^. — f~. •* сч — о) oo f~. r~ со lOioio^-tf сосм —oo> oo lOlOOQON 1^. CO CO* СО* СО Ю*Ю* 10*10*10* IO*IOIO*IO*IO* IG IG IG ift *T *^* (no co<oo)O)co oo — ¦* r~ Msraoxo иэт-Ф •& •& •* co^-^coioto ощео — о oiooscDin ю^^со^со^ o^-—^o^o^oq^ 1^ Vl0*O*00*I^.* I^*<O~CD*<O*<O* lO*lO*lo"lO*lO* Ю*1О*Ю*Ю*ю" 10*10*10*-^*rt1 rt1 1^1^. CNIOO)O)C3 —..— СОЮО) ^ О) Ю >— 00 00 0GM00X СП CN — CN CO "t 0)IOCNOO) OON (filO1* -^COCOCOCN ^-CQOON <O со"ю*о*оо r~" <o"<o"co*<o"io" inia\a\aiD io*io"io*io*io" ю*ю'-ч-"•**•** •* ю — — IO — CN О)с0ХМС0 --СЧСОО lO^N rtO О О О — — СЧ OI^.O)(NCO I^.*^*^-O)X StOlO't ^ COCOCNCNCN — О CT> 00 1^. CO оГ^оГоог*. со*со*со1л*ю" io"io*ioio"io* юю*ююю ю*1О*^*****^* ** lO "—• CNCOI^. ЮОЮ1^.(М — — CO CO — (O-^I^.-^1— — СМ О' СО* Ю <0_-^1^0_— СО СО_ О_ О0_ 1^._ ЮЮ^^СО^СО^ CN_CN—,—_— 0_0)^00_t^cO_ Ю_ О*^*0)*00*1^Г СОСОСО~10 10* Ю*Ю*1О*Ю*Ю* 10*10*10*10*10* Ю*** ** ^*^* ** <О СО О) О) СО СМ •* О 0H)СМ100 Ю— Г~ 51 —" СМ СМ СО Ю СО 1> — О'З'ООО) •* >— О) 1^. СО ^COCOCNCN >— — О О О О)Х1^.С0Ю *^* ОООО <NOf~.0>C0 Ю Г~ О) СО 00 СО О) <О СМ О -(NCOIOS О) ¦* ю — <о oo nOMOf со см — — о 00HHH) оо г~ <о ю •* со i^."coo)"iC<o" &<?u5\riin io"io"io~io"io' ю*-*-* •*"¦*" ¦*•*•*¦*¦* •* ююоо етиопо оетюо* о <о см о> г~ ооосм-*<о о> •tfOOOCOlO — 00 <О •* СО СМ — О О) О) 0H0 00 1^.1^. «5<ОЮ-*СО СЧ io'coooiCio i&iriininiri loioio-*"-* ¦* -^*¦*"¦* •* •* ¦**¦*•*•* •* ИЮП О — О •* <N СОЮ00ЭТ00 ¦* О Г~ 1П СМ •* <О О) — •* f~. — •* •* о со охочем— oo)ooooi^. ь. 1^.<о<о<о ю-*сососч — 40,4 11,7 8,04 6,71 6,03 5,63 5,36 5,17 5,02 4,91 4,82 4,75 4,69 4,64 4,59 4,56 4,52 4,49 4,47 4,45 4,37 4,30 4,23 4,16 4,10 4,03 37,1 10,9 7,50 6.29 5,67 5,30 5,06 4,89 4,76 4,65 4,57 4,51 4,45 4,41 4,37 4,33 4,30 4,28 4,25 4,23 4,17 4,10 4,04 3,98 3,92 3,86 OCNtOCN О 00 СО — СО СООЮ — 00 Ю СМ О 00 <О ОЮО)-*00 т O00000t-~.CN О)«5Ю-*СО СМ(М — —'О 0000H) O>00f~.f~.CO '¦?> со со — З1 о •* <о •* ю oo CTsmos юсо — о> оо соо>-*о<о — ОСООH<0 СО»- О О) 00 KlNNNCfi & <Э & IG Ю кП^^^сО СО МИШЮ1* *э* •& •& с* сэ cf со* со" со* со" сэ* со* со* со с* со* со со" со* со" со* ооосо-* <о-*<оою — оо <о со — qooi^.<oio смохосоо f~. ООЮ0)@ •* С«5 (М (М — —ОООО 00HHH) 0H0 00 00 00 fs. X (О "t СО* СО* СО*СО* СО*со"СО* СО*СО*СО* СО*СО* С* C*f <N* <N (N* Сч" сТ(>Г СМ" сТ CS* — (м со-ч1 ю @i^.oooH — см со •* ю @i^.oooH -*оооо „
488 ГАБЛИЦЫ И ДИАГРАММЫ о о II е > а Я S ч \о я о 2 00 (-~ ю Ю 2 сч о 00 «OCXWO со — — — 3Jio ю in оо со — — —• и —¦ — — §§Ю — О>СО <N СО О) CO- COCO —< —i —* gooot-*' <N CD 00 CO — CO — — — fc^-ююсч CO — — — ?oo<n«- tM -Ч- 00 CO — 266 34,1 17,9 13,1 10,9 § -4- Ю 00 t~- (NfflSNO gcO —СОЮ CO — — — CN-IDtNO CO —« — — tNOO-Ol CO — — ?$юсоюЙ <N —¦ — in O* ~ <N О — CO CN001O-O1 <N —¦ — gco in соей CNtD'J'OOO <N —¦ — CD CD <N — <N <N O) t~- Jgo CD— O) — О)" О с» CD to — о о о <мю t~- о-* оосою — <N CO ¦* Ю Ю CO ^ t>l Ю CD О Ю <N О O> O> c» 00 1Л •*? Gt \Л ^3* Ю О ^ "~* О О) 00 00 00 CDlO-N О CT> Ой Ой 00 cmSSSS O0J00 00N — CM CO CM О O0J00 00N 0HH0 00^ — о ¦* со — а» а> оо оо t^ ю ^о —* -^ о а> оо оо t^ t^ О X М !¦*. t^ ОЮ СОЮ CD сою о to со СТ> Ой Ой V- V- — СО 00 •* IN QQ0SSS NSOOtNin 00 — CD CO О оо оо" t~." t^T r~T oot^t^t- to ИООЧ-N CO CD IN O> CD 00t-t-<DCO 1^. 1^. CD CO CO о со о со ^ t^ 1^. CO CO CO CD — С0Ю •* Ю О CD 00 — t^ t^ CD CD CD 7,03 6,54 6,20 5,96 5,77 CO <N CO CO t^ со a> со ¦* см со ю юю ю ЮЧ- ¦*¦*¦* (ONOOOO ffScoSo ^^^^^ f^^^^cD CD CD О CD •* ^ <N —i a> x t^ t^ t— CD CD 7,36 7,17 7,01 6,87 6,76 ЮЮОМО mooimd I- ^ CD CD CO со ^ а со ю t^- CO CO CO CO CO CO CO CO CO ООЮЮ^СО CD CO CO CO CO со ю со см — CO CO CO CO CO 00 CM О X О ^ CO — О О CO CO CO CO Ю Ю О X X О СМ ~-О>Х X со со ю ю ю t^- ^ СО СО СО СТ> X t-~ СО Ю ю ю ю ю ю СЧ О О СМЮ СО Ю ^ СО СМ ю ю ю ю ю — О СТ> X X О) СМ СО — t- со со см см —« •— СМ СО "* Ю •-00H0 00 t^- t"— СО СО СО ст> о —«-^ со о о о х t- ^¦s-COCOCO t^- СО СО СО СО СО СО СО СО СО §оойсою СО СО СО СО СО С^ СО Ю X СМ оомоюю СО СО СО СО СО ^ СО X — Ю СО СО СО СО СО СО СО СО СО СО tO X "~* ^ Of ю ^ ^ со см со со со со со СО X — Ю О> * СО СО СМ — СО СО СО СО СО СО СМ СМ — О СО СО СО СО СО СМ Ю X СМ С-- CS — О OOf со" со" со со ю* О О О> X X СОСОЮЮЮ СМ Ю Of СО Of Of X t-« t-~ CO ю ю ю ю ю СМ СО О Ю —' t- СО СО Ю Ю ю ю ю ю ю О> СО X СО О> ю ю ю ю ю as ** с7>ю см — — оо о ю ю ю ю ю t- С- Ь- СО СО 22feSS CD S 00 0H ---tNCO CO ** CM OX CO CO CO CO Ю CO CO t-^ X Of Ю CO — OS t4» CO CO CO Ю Ю ЮИ-О?К CO CO CO Ю Ю CO CO CO Ю Ю coSoxco CO CO CO Ю Ю со •* со as *-• СОСОЮЮЮ CD 00 ОП CD CD CD Ю Ю Ю CD CD Ю Ю Ю — a> t^ со ¦* союююю О 00 CD Ю CO CD Ю Ю Ю Ю O» CD О Ю О —¦ ю о со — 00 CD Ю СО <N ю ю ю ю ю о ^ о ю с^ сою со см — Ю -Ч4 (М — О ю ю ю ю ю t^ ^ —| <Л t~* СО С4 — О) 00 t^ Ю СО IN — -OO00S — о о о о О) 00 f~ СОЮ Ю 'Ч* СО О» <N ""«"* "* ч* СО О) (N СО О О) 00 00 t^ t-~ СО СО СО СО СО ¦ч- о оо о сч со -^ со <м CD ю со ю и ю ю ю ю ю о ю 5,35 8 ю 23 ю CD ю 08 ю ? -* ОО 00 со ¦* g •* 4,40 сч •* со СО 8
а 2 I «5 .4 Значение функции мощности (/3) Л l№ In It XI \\ \\ р 1 •о ч^::; ^:^ ON» >v 1, 111» щ\ ч о с YN ^' / .\Л * Л \^ •Is4 s 8 Щ \\\ 111 s ч s 4 s s 4 4 \ \ ч 4 \ ч ч ч ч ч s ч 4 s ч 4 ч 4 4 \ ч 8 Co ч\ \ 4 s s 4 s s s s s s s л V ч 4 s 4 s ч s 4 4 $ s \ s 4 4 4 ч $ \ \ s \ 4 ч 4 4 4 ч 4 ч 4 4 4 4, \ s V ч ч s s 4 ч s ч 8 s 4 4 V V s \ N s s s s V ч ч ч s s 4 ч s V s s s s s 4, K, 4, ч 4 4 4 s S S ч ч \ s ft -:: ^, 4, 4, > Щ \\ \\ W ^; 4'* ч( * s S4 S s &- s S S s s ^ s s s s у s s \ ч у ч ч ч s« ч 4 4 \ s N V s 4 4 4 4 ч ч ч 4 4 ч ¦s. 4 4 s 4 ч 4 ч \ ч 4 \ "V 4 V, ч, ч. ч s 4 4, ч 4 s 4 4 4 v> 4 ч 4 ¦5 Oo 1 HWWVdJVHlT И
г Значение фуннс/ии ЛА А А А А мощности(/$) Ш\ 1 1 И 1 л ' s s у s 1 л ч Ч S S S S ч ч ч Ч s у Ч' ;s 8 у ^ 3 s Ч s S <Ь ^ / SN S ^ s s s * s s I 4.J s s s s s s к 4 / fs 4 s ч ч s ч ч 3 $« ч; ч; 4, ч 5 ? ч ч 4 4 N > s s s ¦s 1 s ч s N 4 ч k < s. s ч ^: я ^> s :^ \ ~ s s s 5::=: =5:::? <: ^ "*» s ( ::>. ^-: *>- IS» 1 ^. ¦N S **; > ^i «4. N. *> s I 8 IS 45 8 SO iqwwvdjvutr и wnniravi
ТАБЛИЦЫ И ДИАГРАММЫ 491 я S S а а. и а s
492 ТАБЛИЦЫ И ДИАГРАММЫ if5 8 8 u ••^ I t ^^ """ ^^:; к ^ ¦*. ^ ^** ^ • ^ «ъ ^ ^^ ^ 4 s v ^ s s NNS4V s V s ^ ;; % T" ^y л II I C\j*v .1 0,98 U, 0,90
Значение функции мощности (/3) Г ч Ш X Y\ V IV V \ 4 р s *№ ^! SSss \ л ^! I >8 *4tSss * \ \ 4 4 4 4 s ч V 4 ч ч ч s ч \ ^3 ^> ч \ s, s < s ^ \ s> 4, 4, Г ^s 8 „ ^, ^> *° » Cb, •>¦* >^ ^¦>. ^^ — ^ *"• <: «.^ ч •** ¦4» <*> -4 ¦«. Oo и iqnuirsvi
Значение функции 53 s ю •o S S
ТАБЛИЦЫ И ДИАГРАММЫ 49Е н S а а. я s
Значение функции мщнос/пи (ft) 961-
ТАБЛИЦЫ И ДИАГРАММЫ 497 8|^
498 ТАБЛИЦЫ И ДИАГРАММЫ X <з S S м о. Е* я я
ТАБЛИЦЫ И ДИАГРАММЫ 499 X я Я S я
500 ТАБЛИЦЫ И ДИАГРАММЫ га S S га о. u га s
ТАБЛИЦЫ И ДИАГРАММЫ 501
502 ТАБЛИЦЫ И ДИАГРАММЫ s s n fn
ТАБЛИЦЫ И ДИАГРАММЫ 503
504 ТАБЛИЦЫ И ДИАГРАММЫ
БИБЛИОГРАФИЯ S. L. Andersen, см. G. E. P. Box and... A955). R. L. Anderson and T. A. Bancroft A952), Statistical Theory in Re- Research, McGraw-Hill, New York. T. W. Anderson A958), An Introduction to Multivariate Statistical Analy- Analysis, John Wiley, New York. Anonymous. T. A. Bancroft, см. R. L. Anderson and... A952). T. A. Bancroft, см. также H. Bozivich, ..., and H. O. Hartley A956). M. S. В art let t A934), The Vector representation of a sample, Proc. Cam- Cambridge Philos. Soc, Vol. 30, pp. 327—340. M. S. В art let t A935), The effect of non-normality on the t-distribution, Proc. Cambridge Philos. Soc, Vol. 31, pp. 223—231. M. S. Bartlett A937), Properties of sufficiency and statistical tests, Proc. Roy. Soc. London, series A, Vol. 160, pp. 268—282. M. S. Bartlett and D. G. Kendall A946), The statistical analysis of variance-heterogeneity and the logarithmic transformation, J. Royal. Stat. Soc, Series B, Vol. 8, pp. 128—138. R. E. Bechhofe. r A951), The Effect of Preliminary Tests of Significance on the Size and Power of Certain Tests of Univariate Linear Hypotheses, unpublished Ph. D. thesis, Columbia Univ. R. E, Bechhofer A954), A single-sample multiple-decision procedure for tanking means of normal populations with known variances, Annals Math. Stat., Vol. 25, pp. 16—39. R. E Bechhofer A958), A sequential multiple decision procedure for se- selecting the best one of several normal populations with a common un- unknown variance, and its use with various experimental designs, Bio- Biometrics, Vol. 14, pp. 408—429. С A. Bennett and N. L. Franklin A954), Statistical Analysis in Che- Chemistry and the Chemical Industry, John Wiley, New York. J. Berkson A950), Are there two regressions? J. Amer. Stat. Assoc, Vol. 45, pp. 164—180. G. Birkhof f and S. MacLane A953), A Survey of Modern Algebra, Mac- millan, New York. R. С Bose A944), The fundamental theorem of linear estimation, Proc. 31 st. Indian Sci. Congress, pp. 2—3 (abstract). R. С. В о s e A949a), Least Squares Aspects of Analysis of Variance, Inst. Stat. Mimeo, series 9, Chapel Hill, N. C. R. С Bose A949b), A note on Fisher's inequality for balanced incomplete block designs, Annals Math. Stat., Vol. 20, pp. 619—620. R. С Bose, W. H. Clatworthy and S. S. Shrikhande A954), Tables of Partially Balanced Designs with Two Associate Classes, Inst. Stat. Univ. N. C, reprint series 50, Raleigh. G. E. P. Box A953), Non-normality and tests on variances, Biometrika, Vol. 40, pp. 318—335.
506 БИБЛИОГРАФИЯ G. E. P. Box A954a), Some theorems on quadratic forms applied in the study of analysis of variance problems: I. Effect of inequality of vari- variance in the one-way classification, Annals Math. Stat., Vol. 25, pp. 290— 302. G. E. P. Box A954b), Somme theorems on quadratic forms applied in the study of analysis of variance problems: II. Effect of inequality of variance and of correlation of errors in the two-way classification, An- Annals Math. Stat., Vol. 25, pp. 484—498. G. E. P. Box and S. L. Andersen A955), Permutation theory in the deri- derivation of robust criteria and the stydy of departures from assumption, J. Roy. Stat. Soc, series B, Vol. 17, pp. 1—34. G. E. P. В о x, частное сообщение. H. Bozivich, Т. A. Bancroft and H. О. Hartley A956), Power of analysis of variance test procedures for certain incompletely specified models, Annals Math. Stat., Vol. 27, pp. 1017—1043. I. Bross A950), Fiducial intervals for variance components, Biometrics, Vol. 6, pp. 136—144. R. H. В ruck and H. J. Ryser A949), The nonexistence of certain finite projective geometries, Canadian J. Math., Vol. 1, pp. 88—93. M. G. Bulmer A957), Approximate confidence limits for components of variance, Biometrika, Vol. 44, pp. 159—167. W. H. С la t worthy, см. R. С Bose and S. S. Shrikhande A954). W. G. Cochran A934), The distribution of quadratic forms in a normal system, with applications to the analysis of covariance, Proc. Cambridge Philos. Soc, Vol. 30, pp. 178—191. W. G. Cochran and G. Cox A957), Experimental Designs, second edition, John Wiley, New York. J. Cornfield and J. W. Tukey A956), Average values of mean squares in factorials, Annals Math. Stat., Vol. 27, pp. 907—949. R. Courant A950), Differential and Integral Calculus, Interscience, New York. G. Сох, см. W. G. Cochran and... A957). H. Cramer A946), Mathematical Methods of Statistics, Princeton Univ. Press. С Daniel, частное сообщение. F, N. David and N. L. Johnson A951), The effects of nonnormality on the power function of the F-test in the analysis of variance, Biometrika, Vol. 38, pp. 43—57. O. L. Davies, editor A956), The Design and Analysis of Industrial Experi- Experiments, second edition, Oliver & Boyd, Edinburgh and Hafner Publishing Co., New York. D. B. Duncan A952), On the properties of the multiple comparison test, Vir- Virginia J. of Sci., Vol. 3, pp. 49—67. D. B. Duncan A955), Multiple range and multiple F-tests, Biometrics, Vol. 11, pp. 1—42. D. B. Duncan A957), Multiple range tests for correlated and heteroscedastic means, Biometrics, Vol. 13, pp. 164—176. D. B. Duncan. P. S. Dwyer A951), Linear Computations, John Wiley, New York. T. Eden and F. Yates A933), On the validity of Fisher's z-test when applied to an actual sample of non-normal data, J. Agricultural Sci., Vol. 23, pp. 6—16. С Eisenhart A947), The assumptions underlying the analysis of variance, Biometrics, Vol. 3, pp. 1—21. R. A. Fisher A918), The correlation between relatives on the supposition of Mendelian inheritance, Trans. Roy. Soc. Edinburgh, Vol. 52, pp. 399—433.
БИБЛИОГРАФИЯ 507 R. A Fisher A925), Statistical Methods for Research Workers, first edition, Oliver & Boyd, Edinburgh. R. A. Fisher A926), The arrangement of field experiments, J. Ministry Agri- Agriculture, Vol. 33, pp. 503—513. Включено в качестве статьи 17, в сб. Con- Contributions to Mathematical Statistics by R. A. Fischer, John Wiley, New York, 1950. R. A. Fisher A932), Statistical Methods for Research Worers, fourth edition, Oliver & Boyd, Edinburgh. R. A. Fisher A935), The Design of Experiments, Oliver & Boyd, Edinburgh. R. A. Fisher A940), An examination of the different possible solutions of a problem in incomplete blocks. Annals Eugenics, Vol. 10, pp. 52—75. R. A*. Fisher and F. Yates A943), Statistical Tables for Biological, Agri- Agricultural and Medical Research, Oliver & Boyd, Edinburgh. R. A. Fisher. E. Fix A949), Tables of noncentral %2, Univ. Calif. Publications in Statistics, Vol. 1, N 2, стр. 15—19. Заголовки в таблицах а = 0,01 и а = 0,05 на стр. 17 и 19 должны быть взаимно заменены. М. Fox A956), Charts of the power of the F-test, Annals Math. Stat., Vol. 27, pp. 484—497. N. L. F r a n k 1 i n, см. С A. Bennett and ... A954). H. A. Freeman A942), Industrial Statistics, John Wiley New York. M. F. Freeman and J. W. Tu keу A950), Transformations related to the angular and the square root transformations, Annals Math. Stat., Vol. 21, pp. 607—611. K. F. Gauss A809), Theoria motus corporum coelestium in sectionibus conicis solem ambientium, Perthes and Besser, Hamburg. W. G a u t s h i, частное сообщение. А. К. Gayen A950), The distribution of the variance ratio in random samples of any size drawn from non-normal universes, Biometrika, Vol. 37, pp. 236—255. R. C. Geary A936), The distribution of 'Student's'ratio for non-normal samp- samples, J. Roy. Stat. Soc, Suppl., Vol. 3, pp. 178—184. R. С Geary A947), Testing for normality, Biometrika, Vol. 34, pp. 209—242. F. A. Gray bill A954), On quadratic estimation of variance components, Annals Math. Stat., Vol. 25, pp. 367—372. U. Grenander and M. Rosenblatt A956), Statistical Analysis of Sta- Stationary Time Series, John Wiley, New York. J. M. Hammersley A949), The unbiased estimate and standard error of the interclass variance, Metron, Vol. 15, pp. 173—188. H. O. H a r 11 e у, см. Е. S. Pearson and ... A951). H. O. Hartley, S. S. Shrikhande and W. B. Taylor A953), A note on incomplete block designs with row balance, Annals Math. Stat., Vol. 24, pp. 123—126. H. O. H a r 11 e у, см. также E. S. Pearson and . .. A954). H. O. Hartley, см. также H. Bozivich, Т. A. Bancroft and ... A956). W. С H e a 1 у, Jr. A956), Two-sample procedures in simultaneous estimation, Annals Math. Stat. Vol. 27, pp. 687—702. L. H. Herbach A957), Optimum Properties of Analysis of Variance Tests Based on Model II and Some Generalizations of Model II, Scientific Paper 6, Engineering Statistics Laboratory, New York Univ. College of Engineering, Research Division, New York, 170 pp. lithographed. J. L. Hodges, Jr., and E. L Lehmann A956), The efficiency of some non- parametric Competitors of the t-test, Annals Math. Stat., Vol. 27, pp. 324—335. J. L. Hodges, Jr., частное сообщение. W. Hoe ff ding A952), The large sample power of tests based on permuta- permutations of observations, Annals Math. Stat., Vol. 23, pp. 169—192.
508 БИБЛИОГРАФИЯ R. Hooke A956), Some applications of bipolykays to the estimation of vari- variance components and their moments, Annals Math. Stat., Vol. 27, pp. 80— 98. G. Horsnell A953), The effect of unequal group variances on the F-test for the homogeneity of group means, Biometrika, Vol. 40, pp. 128—136. H. H о t e 11 i n g, см. Н. Working and ... A929). H. Ho telling A931), The generalization of 'Student's'ratio, Annals Math. Stat., Vol. 2, pp. 360—378. P. L. Hsu A938a), Contribution to the theory of 'Student's' t-test as applied to the problem of two samples, Stat. Research Memoirs, Vol. 2, pp. 1—24. P. L. H s u A938b), On the best unbiased quadratic estimate of the variance, Stat. Research Memoirs, Vol. 2, pp. 91 — 104. P. L. Hsu A938c), Notes on Hotelling's generalized T, Annals Math. Stat., Vol. 9, pp. 231—243. P. L. Hsu A941), Analysis of variance from the power function standpoint, Biometrika, Vol. 32, pp. 62—69. G. A. H u n t and CM. Stein, неопубликованная работа. J. S. Hunter, см. W. J. Youden and ... A955). J. P. Imhof A958), Contributions to the Theory of Mixed Models in the Analysis of Variance, Ph. D. thesis, Department of Statistics, Univ. Ca- Calif., Berkeley. G. S. James A951), The comparison of several groups of observations when the ratios of the population variances are unknown, Biometrika, Vol. 38, pp. 324—329. N. L. Johnson, см. F. N. David and ... A951). O. Kempthorne A952), The Design and Analysis of Experiments, John Wiley, New York. O. Kempthorne A955), The randomization theory of experimental inference, J. Amer. Stat. Assoc, Vol. 50, pp. 946—967. 0. Kempthorne, см. также М. В. Wilk and ... A955). О. Kempthorne, см. также М. В. Wilk and ... A957). D. G. К е n d a 11, см. М. S. Bartlett and ... A946). M. G. Kendall A946), The Advanced Theory of Statistics, Vol. II, Charles Griffin, London. J. Kiefer and J. Wolfowitz A958), Optimum Designs in Regression Problems, мимеографическое издание, 35 pp., Cornell Univ. S. Kolodziejczyk A935), On an important class of statistical hypotheses, Biometrika, Vol. 27, pp. 161—190. С. Н. Kraft, частное сообщение. C.Y.Kramer A956), Extension of multiple range tests to group means with unequal numbers of replications, Biometrics, Vol. 12, pp. 307—310. W. H. К r u s k a 1, частное сообщение. A. M. Legendre A806), Nouvelles Methodes pour la Determination des Orbites des Cometes; avec un Supplement Contenant Divers Perfection- nements de ces Methodes et Leur Application aux Deux Cometes de 1805, Courcier, Paris. E. L. Lehmann and H. Scheffe A955), Completeness, similar regions and unbiased estimation: Part II, Sankhya, Vol. 15, pp. 219—236. E. L. L e h m a n n, см. J. L. Hodges, Jr., and ... A956). E. L. Lehmann A959a), Testing Statistical Hypotheses, John Wiley, New York. E. L. Lehmann A959b), Optimum properties of the analysis of variance test, submitted to Annals Math. Stat. E. L. Lehmann. частное сообщение. E. Lehmer A944), Inverse tables of probabilities of errors of the second kind, Annals Math. Stat., Vol. 15, pp. 388—398. G. J. Lieberman, см. G. J. Resnikoff and ... A957),
БИБЛИОГРАФИЯ 509 Р. К. Loraine A952), On a useful set of orthogonal comparisons, J. Royal Stat. Soc, series B, Vol. 14, pp. 234—237. S. M а с L a n e, см. G. Birkhoff and ... A953). W. G. Madow A940), The distribution of quadratic forms in noncentral nor- normal random variables, Annals Math. Stat., Vol. 11, pp. 100—103. W. G. Madow A948), On a source of downward bias in the analysis of variance and covariance, Annals Math. Stat., Vol. 19, pp. 351—359. H. B. Mann A949), Analysis and Design of Experiments, Dover Publications, New York S. Moriguti A954), Confidence limits for a variance component, Reports of Stat. Applications in Research, Japanese Union of Scientists and Engi- Engineers, Vol. 3, no. 2, pp. 29—41. M. E. M u 11 e г, частное сообщение. D. С. Murdoch A957), Linear Algebra for Undergraduates, John Wiley, New York. J. Neyman A923), Sur les applications de la theorie des probabilites aux experiences agricoles: Essay des principes, Roczniki Nauk Polniczch, Vol. 10, pp. 1—51. На польском языке; есть краткое изложение содер- содержания по-немецкн. J. Neyman and E. S. Pearson A928), On the use and interpretation of certain test criteria for purposes of statistical inference. Biometrika, Vol. 20A, pp. 175—240, 263—294. J. Neyman and E. S. Pearson A931), On the problem of k samples, Bull. Acad. Polonaise Sci. Lett., series A, pp. 460—481. J. Neyman and E. S. Pearson A933), On the problem of the most efficient tests of statistical hypotheses, Philos. Trans. Roy. Soc. London, series A, Vol. 231, pp. 289—337. J. Neu m a n A935), совместно с К. Iwaszkiewicz and S. Kolod z ie j - с z у k, Statistical problems in agricultural experimentation, J. Royal Stat. Soc, Suppl., Vol. 2, pp. 107—154. J. Neyman A937), Outline of a theory of statistical estimation based on the classical theory of probability, Philos. Trans. Roy. Soc. London, series A, Vol. 236, pp. 333—380. P. B. Patnaik A949), The noncentral %2 and F-distributions and their appro- approximations. Biometrika, Vol. 36, pp. 202—232. A. E. Paull A950), On a preliminary test for pooling mean squares in the analysis of variance, Annals Math. Stat., Vol, 21, pp. 539—556. E. S. P e a r s о n, см. J. Neyman and ... A928). E. S. Pearson A929), The distribution of frequency constants in small samp- samples from non-normal symmetrical and skew populatios, Biometrika, Vol. 21, pp. 259—286. E. S. Pearson A931), The analysis of variance in cases of non-normal va- variation, Biometrika, Vol. 23, pp. 114—133. E. S. Pearson, см. также J. Neyman and ... A931). E. S. Pearson, см. также J. Neyman and ... A933). E. S. Pearson and H. O. Hartley A951), Charts of the power function of the analysis of variance tests, derived from the non-central F-distri- bution, Biometrika, Vol. 38, pp. 112—130. E. S. Pearson and H. O. Hartley A954), Biometrika Tables for Stati- Statisticians, Vol. 1, Cambridge Univ. Press, Cambridge. K. Pearson A934), Tables of the Incomplete Beta Function, Cambridge Univ. Press, Cambridge. A. M. Peiser A943), Asymptotic formulas for significance levels of certain distributions, Annals Math. Stat., Vol. 14, pp. 56—62. Correction, Vol. 20 A949), pp. 128—129. К. С S. Pill a i and K. V. Ramach-andran A954), On the distribution of Ihe ratio of the i-th observation in an ordered sample from a normal
510 БИБЛИОГРАФИЯ population to an independent estimate of the standard deviation. Annals Math. Stat., Vol. 25, pp. 565—572. E. J, G. P i t m a n A937), Significance tests which may be applied to samples from any populations: III. The analysis of variance test, Biometrika, Vol. 29, pp. 322—335. S. J, G. P re tori us A930), Skew bivariate frequency surfaces, examined in the light of numerical applications, Biometrika, Vol. 22, pp. 109— 223. K- V. R a m а с h a n d r a n, см. К. С S. Pillai and ... A954). С R. Rao A946), On the linear combination of observations and the general theory of least squares, Sankhya, Vol. 7, pp. 237—256. С R. Rao A952), Advanced Statistical Methods in Biometric Research, John Wiley, New York. G. J, Resnikoff and G. J. Lieberman A957), Tables of the Non-central t-distribution, Stanford Univ. Press, Stanford, Calif. M. R о s e n Ы a 11, см. U. Grenander and .. . A957). H. J. Ryser, см. R. H. Bruck and ... A949). F. E. Satterthwaite A946), An approximate distribution of estimates of variance components, Biometrics Bulletin, Vol. 2, pp. 110—114. H. Schef fe A942), On the ratio of the variances of two normal populations, Annals Math. Stat, Vol. 13, pp. 371—388. H. Scheffe A943), Statistical inference in the non-parametric case, Annals Math. Stat., Vol. 14, pp. 305—332. H. Scheffe A952), An analysis of variance for paired comparisons, J. Amer. Stat. Assoc, Vol. 47, pp. 381—400. H. Scheffe A953), A method for judging all contrasts in the analysis of variance, Biometrika, "Vol! 40, pp. 87—104. H. Scheffe, см. также E. L. Lehmann and ... A955). H. Scheffe A956a), A 'mixed model' for the analysis of variance, Annals Math. Stat., Vol. 27, pp. 23—36. H. Scheffe A956b), Alternative models for the analysis of variance, Annals Math. Stat., Vol. 27, pp. 251—271. H. Scheffe A958), Fitting straight lines when one variable is controlled, J. Amer. Stat. Assoc, Vol. 53, pp. 106—117. С J. Seelye A958), Conditions for a positive definite quadratic form estab- established by induction, Amer. Math. Monthly, Vol. 65, pp. 355—356. W. A. Shewha rt. S. S. Shrikhande A951), Designs for two-way elimination of heteroge- heterogeneity, Annals Math. Stat., Vol. 22, pp. 235—247. S. S. Shrikhande, см. также H. O. Hartley and W. B. Taylor A953). S. S. Shrikhande, см. также R. С. Bose, W. H. Clatworthy and ... A954), S. D. Silvey A954), The asymptotic distributions of statistics arising in certain non-parametric tests, Proc. Glasgow Math. Assoc, VoL 2, pp. 47—51. H. F. S r i m i th. G. W. Snedecor A937), Statistical Methods, Iowa State College Press, Ames. D. A. Sprott A956), A note on combined interblock and intrablock estima- estimation in incomplete block designs, Annals Math. Stat., Vol. 27, pp. 633— 641. Correction, Vol. 28 A957), p. 269. С. М, Stein A945), A two-sample test for a linear hypothesis whose power in independent of the variance, Annals. Math. Stat., Vol. 16, pp. 243— 258. С. М. Stein A948), The selection of the largest of a number of means, Abstract 5, Annals Math. Stat., Vol. 19, p. 429. (В приведенной там формуле числитель последней дроби должен быть 2tt вместо </.) С. М. S t e i п, см. также G. A. Hunt and...
БИ БЛИОГ РАФИЯ 511 Student A927), Errors of routine analysis, Biometrika, Vol. 19, pp. 151— 164. P. C. Tang A938), The power function of the analysis of variance tests with tables and illustrations of their use, Stat. Research Memoirs, Vol. 2, pp. 126—149. G. Tarry A900), Le probleme de 36 officiers, Compte Rendu de l'Association Francaise pour I'Avancement de Science Naturel, Vol. 1 A900), pp. 122— 123; Vol. 2 A901), pp. 170—203. W. B. Taylor, см. H. 0. Hartley, S. S. Shrikhande and... A953). W. A. Thompson, Jr. A955), The ratio of variances in a variance compo- components model, Annals Math. Stat., Vol. 26, pp. 325—329. J. W. Tukey A949a), One degree of freedom for non-additivity, Biomtrics, Vol. 5, pp. 232—242. J. W. Tukey A949b), Dyadic anova, an analysis of variance for vectors, Human Biology, Vol. 21, pp. 65—110. J. W. Tukey A949c), Interaction in a Row-by-Column Design, Memo. Report 18, Stat. Research Group, Princeton Univ., 14 pp. Этот материал вклю- включен в Cornfield and Tukey A956). J. W. Tukey, см. также M. F. Freeman and ... A950). J. W. Tukev A951), Components in regression, Biometrics, Vol. 7, pp. 33—69. J. W. Tukey A953), The Problem of Multiple Comparisons, Princeton Univ. J. W. Tukey A955), Answer to query no. 113, Biometrics, Vol. II, pp. Ill— 113. J. W. Tukey A956), Variances of variance components: I. Balanced designs, Annals Math. Stat., Vol. 27, pp. 722—736. J. W. Tukey, см. также J. Cornfield and... A956). J. W. Tukey A957a), Variances of variance components: II. The unbalanced single classification, Annals Math. Stat., Vol. 28, pp. 43—56. J. W. Tukey A957b), Approximations to the upper 5% point of Fisher's В distribution and noncentral x2, Biometrika, Vol. 44, pp. 528—530. J. W. Tukey, частное сообщение. J. W. T u k e у. A. W a 1 d A940), A note on the analysis of variance with unequal class fre- frequencies, Annals Math. Stat., Vol. 11, pp. 96—100. A. Wald A942a), On the power function of the analysis of variance test, Annals Math. Stat., Vol. 13, pp. 434—439. A. Wald A942b), On the Principles of Statistical Inference, Notre Dame Math. Lectures, no. 1, Edwards Brothers, Ann. Arbor, Mich. A. Wald and J. Wolfowitz A944), Statistical tests based on permutations of the observations, Annals Math. Stat., Vol 15, pp. 358—372. G. S. Watson A955), Serial correlation in regression analysis Biometrika, Vol. 42, pp. 327—341. B. L. Welch A937), On the z-test in randomized blocks and Latin Squares, Biometrika, Vol. 29, pp. 21—52. B. L. Welch A951), On the comparison of several nean values: an alterna- alternative approach, Biometrika, Vol. 38, pp. 330—336. R. A. Wijsman A957), Random orthogonal transformations and their use in some classical distribution problems in multivariate analysis, Annals Math. Stat., Vol. 28, pp. 415—423. R. A. W i j s in a n, частное сообщение. M. В. Wilk A954), The Logical Derivation of Linear Models for Experimen- Experimental Situations and Their Use in Selecting the Appropriate Error Term in the Analysis of Variance. VI. Interactions with Experimental Units (AV-10), Analysis of Variance Project, Stat. Laboratory, Iowa State Col- College. M. B. Wilk A955), Linear Models and Randomized Experiments, Ph. D. thesis, Iowa State College.
512 БИБЛИОГРАФИЯ М. В. Wilk and О. Kempthorne A955), Fixed, mixed and random mo- models in the analysis of variance, J. Amer. Slat. Assoc., Vol. 50. pp. 1144— 1167. M. B. Wilk and O. Kempthorne A957), Nonadditivities in a Latin Square design, J. Amer. Stat. Assoc, Vol. 52, pp. 218—236. S. S. Wilks A932), Certain generalization of the analysis of variance, Bio- metrika, Vol. 24, p. 471—494. J. Wolf о wit z, см. A. Wald and ... A944). J. Wol f owit z, см. также J. Kiefer and... A958). H. Working and H. Ho tell ing A929), Application of the theory of error to the interpretation of trends, J. Amer. Stat. Assoc, Mar. Suppl., pp. 73—85. F. Y a t e s, см. Т. Eden and... A933). F. Yates A935), Discussion of Neyman's 1935 paper, J. Roy. Stat. Soc, Suppl., Vol. 2, pp. 161 — 166. F. Yates A936), Incomplete randomized blocks, Annals Eugenics, Vol. 7, pp. 121—140. F. Yates A940), The recovery of inter-block information in balanced in- incomplete block designs, Annals Eugenics, Vol. 10, pp. 317—325. F. Yates, см. также R. A. Fisher and... A943). W. J. You den and J. S. Hunter A955), Partially replicated Latin Squares, Biometrics, Vol. II, pp. 399—405. Д-р Хантер любезно сообщил мне о следующих опечатках: в формуле в скобках на стр. 409 6 должно быть заменено G, а в формуле на стр. 410 (сверху) значение (k + 1) должно быть заменено (k -+- 3).